tensorrt推理第11页

无线通信网络拓扑推理采样率实验（对比测试）

接上文：无线通信网络拓扑推理采样率实验（数据生成）四、对比测试#作者：zhouzhichao#创建时间：25年6月11日#内容：进行采样率实验importwarningswarnings.simplefilter

zzc921·2025-06-13 06:35

图注意力卷积神经网络GAT在无线通信网络拓扑推理中的应用

torch_geometric.nn下既有一般图神经网络GCNConv包,也有图注意力神经网络GATConv包程序：#作者：zhouzhichao#创建时间：25年6月10日#内容：比较GAT和GCN在无线通信网络拓扑推理中的效果

zzc921·2025-06-13 06:34

RAPTOR：树结构的索引和检索系统的递归抽象处理

在推理阶段，我们的RAPTOR模型会从这个树中检索信

lichunericli·2025-06-13 05:59

OpenPrompt 是什么？

其核心目标是通过系统化的方法提升模型在特定任务上的响应质量，例如推理、分类、生成等。二、OpenPrompt的核心功能1.提示词设计与模板化提供标准化的提示词模板

ZhangJiQun&MXP·2025-06-12 22:37

【代码分析】TensorRT sampleINT8 详解

目录前言代码分析Main入口构建(Build)网络BatchStream推理(Infer)过程资源释放前言TensorRT可以通过INT8量化处理网络，然后大幅加速网络推理速度，本文旨在详细分析MNISTINT8Sample

HaoBBNuanMM·2025-06-12 20:24

使用 Ollama + FastAPI 打造轻量级 AI 应用部署方案

1.1Ollama：本地化模型运行专家1.2FastAPI：现代Web开发利器1.3协同优势二、核心实现：五步构建AI服务2.1环境准备（5分钟）2.2创建FastAPI基础框架2.3集成Ollama推理引擎

傻啦嘿哟·2025-06-12 18:41

RK3588平台开发系列：RKNPU Android的介绍和示例代码

RKNPU是Rockchip公司自家研发的神经网络处理器，它可以在边缘设备上高效地执行深度学习推理任务。在本文中，我们将详细介绍RKNPUAndroid的功能和使用方法，

天使问过的键盘·2025-06-12 18:35

开放创新，昇腾 CANN 再向深处

4月29日凌晨4点，Qwen3正式发布，并开源全部8款混合推理模型。发布仅2小时，Qwen3模型在GitHub上的Star数已近17k。

·2025-06-12 17:06

deep seek简介和解析

pwd=w896提取码:w896一篇文章带你全面了解deepseek目录一、deepseek是什么DeepSeek-R1开源推理模型，具有以下特点：技术优势：市场定位：DeepSeek能够做什么基础功能

寺中人·2025-06-12 17:29

Akamai云上AI推理：赋能开发者加速边缘原生应用

人工智能（AI）的热度持续攀升，行业的焦点正从单纯的模型训练转向如何高效部署模型以实现实际应用——这正是AI推理技术的核心价值所在，即利用训练完成的AI模型生成预测与洞察。

Akamai中国·2025-06-12 11:21

AI大模型技术进阶学习——提示词(Prompt)、知识库、思维链(CoT)和Agent(代理)

“大模型的推理能力配合外部工具才能真正发挥大模型的作用”在学习和使用大模型的过程中，我们会发现大模型只能用来进行一下简单的问答；一旦涉及到复杂的问题，大模型就无能为力了。

AI小白熊·2025-06-12 11:21

【目标检测基础】YOLOv1算法详解：从“一次看全”到实时检测的革命性突破

其革命性体现在：“看一次就够”的直觉：抛弃传统的多阶段流程（候选框生成+分类），将检测任务简化为单次全局推理。

出不了新手村·2025-06-12 09:32

LangChain 中的文档加载器（Loader）与文本切分器（Splitter）详解《二》

LangChain中TextSplitter的使用详解：从基础到进阶（附代码）一、前言在处理大规模文本数据时，特别是在构建知识库或进行大模型训练与推理时，文本切分（TextSplitting）是一个非常关键的预处理步骤

要努力啊啊啊·2025-06-12 08:00

ARM服务器解决方案综合分析

适配多样化场景‌覆盖边缘AI推理、物联网数据处理、云手机虚拟化、国产化需求等场景，提供差异化解决方案‌。二

ARM2NCWU·2025-06-12 08:28

RKNN3588配置推理环境

查看NPU使用率sudowatch-n0.1/sys/kernel/debug/rknpu/loa

不要绝望总会慢慢变强·2025-06-12 04:58

DeepSeek-V3/R1上线背后的超低推理成本技术揭秘

百度智能云针对此次模型上线提供了行业领先的超低推理价格，低至DeepSeek官方刊例价3-5折，当前还可享受限时免费服务。

百度Geek说·2025-06-12 02:55

编写一款2D CAD/CAM软件（九）视图缩放

数学推理假设鼠标位置（缩放中心）在视图中坐标为Pcenter(Xcenter,Ycenter),对应几何坐标为Pgeo(Xgeo,Ygeo)；当前，几何坐标系原点在视图坐标系下位置坐标为P_orig_geo

Arthur...J·2025-06-12 01:19

表格数据处理大语言模型训练新范式：交叉验证与混合训练集构建

传统解决方案通常存在以下问题：推理能力不足：现有benchmark提供的简短答案无法支持复杂表格操作所需的推理过程数据多样性有限：训练数据主要集中在表格查询操作，缺乏更新、合并、绘图等实际办公需求格式适应性差

CodePatentMaster·2025-06-12 01:41

多智能体协同推理架构革新：大模型任务处理效率提升实战解析

【标注信息】申请人：北京百度网讯科技有限公司|申请号：CN202411615690.1|申请日：2024.11.12|发明创造名称：基于多智能体协作的明确结果获取类任务处理方法及相关装置一、技术原理深度剖析痛点定位当前生成式大模型在复杂任务处理中存在两大瓶颈：显存与算力浪费：单一模型端到端处理多类型子任务时，需要全程保持全参数激活状态，造成显存占用峰值过高（通常超过80GB）结果确定性缺失：传统方

CodePatentMaster·2025-06-12 00:09

安全大模型智驱网络和数据安全效能跃迁

网络安全行业就一直尝试和AI大模型来结合，解决网络安全的痛点，例如告警多，专家少，新的APT攻击层出不穷，已有的基于规则的防护手段失灵，如何使用大模型的泛化能力来提升对未知威胁的检测能力，如何用大模型的推理能力

芯盾时代·2025-06-11 22:25

FPGA × GPU 混合推理系统架构实战：协同执行链设计与性能对比分析

《FPGA×GPU混合推理系统架构实战：协同执行链设计与性能对比分析》关键词FPGA加速、GPU推理、混合部署架构、DPU调度、异构计算、协同执行链、推理任务分配、性能对比分析摘要在实际工程中，单一加速器已难以满足复杂

观熵·2025-06-11 19:34

TensorRT × TVM 联合优化实战：多架构异构平台的统一推理加速与性能调优全流程

TensorRT×TVM联合优化实战：多架构异构平台的统一推理加速与性能调优全流程关键词TensorRT、TVM、异构推理优化、跨平台部署、GPU加速、NPU融合、自动调度、深度学习推理引擎、性能调优摘要在深度学习模型推理部署场景中

观熵·2025-06-11 19:31

【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）

对象实例化参数2.4.2pipeline对象使用参数2.4pipeline实战2.5模型排名三、总结一、引言pipeline（管道）是huggingfacetransformers库中一种极简方式使用大模型推理的抽象

LDG_AGI·2025-06-11 17:43

【深度学习解惑】结合神经网络结构剪枝或知识蒸馏，能否把 Inception 精剪到 mobile‑friendly 仍保持精度？

系列模型移动端压缩研究报告摘要Inception系列卷积神经网络（如GoogLeNet/Inceptionv1、v3等）通过模型剪枝和知识蒸馏等压缩技术可以显著减小模型规模，使其更适合移动端部署，同时保持较高的推理准确率

云博士的AI课堂·2025-06-11 16:12

Open AI o3 推理大模型的核心实现原理讲解，数学公式，并各个符号详细解释

OpenAIo3推理大模型的核心实现原理讲解，数学公式，并各个符号详细解释文章目录OpenAIo3推理大模型的核心实现原理讲解，数学公式，并各个符号详细解释剖析OpenAIo3推理大模型的核心实现原理1

AI天才研究院·2025-06-11 16:07

处理长文本输入的 Transformer 模型优化策略在 Android 端的应用：性能瓶颈剖析与滑窗分段推理实战指南

处理长文本输入的Transformer模型优化策略在Android端的应用：性能瓶颈剖析与滑窗分段推理实战指南关键词Android推理优化、Transformer长文本、滑动窗口、分段处理、轻量模型部署

观熵·2025-06-11 15:01

retinaface在ubuntu20.04(wsl2)下使用tensorrt(c++)部署

1.参考博客：1.RetinafaceTensorrtPython/C++部署：https://blog.csdn.net/weixin_45747759/article/details/1245340792

狄龙疤·2025-06-11 14:29

HarmonyOS AI 架构深度剖析：分布式智能平台设计与端侧能力融合实战

HarmonyOSAI架构深度剖析：分布式智能平台设计与端侧能力融合实战关键词HarmonyOS、HiAIEngine、分布式智能、端云协同、软总线、AI能力调度、多设备协同推理、系统级AI框架、国产操作系统

观熵·2025-06-11 14:58

硅基流动完成新一轮数亿元融资，打造开发者首选生成式 AI 开发平台

今年以来，随着阿里巴巴通义千问Qwen、DeepSeek等开源大模型崛起以及AI推理算力需求激增，公司业务迎来了爆发式增长。感谢多方投资机构

CSDN资讯·2025-06-11 14:24

RAG是什么？手把手教你从零构建RAG系统全面指南（含代码）

尽管大语言模型具备出色的推理能力和广泛的通用知识，但它们在检索精确信息、获取最新数据或提供可验证的回答时常常遇到困难。

大模型研究院·2025-06-11 10:23

开放词汇检测分割YOLOE从pytorch到caffe

开放词汇检测分割YOLOE从pytorch到caffe0.前沿开放词汇检测的概念CLIP模型1.YOLOE环境配置1.1虚拟环境1.2YOLOE模型推理测试1.2.1文本提示检测和分割测试1.2.2无提示检测和分割

wangxiaobei2017·2025-06-11 09:21

DeepSeek全域智能革命：从量子纠缠到星际文明的认知跃迁引言：认知边界的坍缩与重构

通过辛几何约束下的参数投影，模型在保留数学证明能力（F1值达0.92）的同时，将推理速度提升至320tokens/s。这种流形蒸馏使得工业级部署的显存消耗降低73%，为实时认知计算奠定基础。1.2多

feng99520·2025-06-11 07:05

RKNN-Toolkit 开源项目教程

项目地址:https://gitcode.com/gh_mirrors/rk/rknn-toolkit1.项目介绍RKNN-Toolkit是一款由Rockchip开发的软件工具包，旨在为开发者提供模型转换、推理以及性能评估等功能

彭宏彬·2025-06-11 01:24

多区域协同的异地多活AI推理服务架构

多区域协同的异地多活AI推理服务架构上海区域北京区域广州区域延迟最低北京故障转移备用命中未命中缓存未命中冷启动拉取冷启动拉取分发模型权重/CDN缓存写入异地日志上海API网关上海区域负载入口上海推理调度器上海

大数据张老师·2025-06-10 22:29

知识表示与推理：AI技术的未来趋势

1.背景介绍随着人工智能技术的不断发展，知识表示与推理技术在AI领域的重要性逐渐凸显。

AI天才研究院·2025-06-10 17:17

Cursor AI编程助手模型选择对了吗？

一、Cursor中的可用模型类型1.GPT系列模型GPT-4o(推荐)特点：OpenAI最新的多模态模型优势：理解能力强，支持图片和文本输入代码生成质量高推理能力

奋斗中的小猩猩·2025-06-10 16:11

少儿编程是不是智商税

少儿编程教育的核心价值‌思维训练维度‌培养系统性思维：通过分解问题、设计算法等环节锻炼逻辑推理能力。‌‌‌‌强化跨学科应用

小眼哥·2025-06-10 15:33

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型（LLM）参数规模的增长，推理阶段的内存占用和计算复杂度成为核心挑战。

华清远见成都中心·2025-06-10 12:19

DeepSeek-R1-0528实测：小版本更新带来大进步，前端能力惊艳、幻觉降低，能力更强！

：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder）目录一、技术架构革新：从Base到Beast的华丽转身1.核心架构升级2.思维深度的量化突破二、性能表现深度解析：全方位能力跃升1.数学推理能力的巅峰表现

Code_流苏·2025-06-10 10:36

基于 LoRA 和 GRPO 的 Qwen2.5-3B 数学推理模型微调示例

一、项目概述本项目基于Qwen2.5-3B-Instruct模型，结合LoRA（低秩自适应）和GRPO技术，针对数学推理任务（GSM8K数据集）进行微调，旨在训练一个能以XML格式输出链式思考和答案的数学助理模型

大鹏的NLP博客·2025-06-10 03:15

【iSAQB软件架构】软件架构定性评估和定量评估

以下是其核心区别、实践意义及协同关系的深度解析：1.定性评估（QualitativeAssessment）核心定义通过主观经验、专家判断和逻辑推理评估架构属性（如可维护性、可扩展性、安全性），关

小马哥编程·2025-06-10 01:03

tiny_dnn_test250101

改进版三版250305:增加保存模型下次提取模型以及参数，直接推理选择Y(继续）训练……并再次保存训练模型以及参数的部分：#include#include#include//C++17文件系统检查#include"tiny_dnn

aw344·2025-06-09 20:00

多模态图像修复系统：基于深度学习的图片修复实现

系统包含完整的数据处理、模型训练、推理部署流程。importtorchimportnumpyasnpfromPILimportImage,ImageDrawfromdiffusersimportSta

神经网络15044·2025-06-09 17:38

Prompt工程学习之思维树（TOT）

思维树定义：思维树（TreeofThoughts,ToT）是一种先进的推理框架，它通过同时探索多条推理路径对思维链（ChainofThought）**进行了扩展。

FserSuN·2025-06-09 16:01

轻量化图像超分新范式：残差注意力网络重构超分计算逻辑

技术原理深度剖析痛点定位当前图像超分辨率技术面临三重挑战：显存黑洞：传统残差网络堆叠导致参数量指数级增长，移动端部署时显存占用超过500MB细节丢失：常规通道注意力机制在压缩过程中丢失高频纹理信息，PSNR指标下降超过1.2dB推理延迟

CodePatentMaster·2025-06-09 15:22

QwenLong-L1横空出世：强化学习让大模型“长记性”，长文档推理新王者？

各位AI圈的老铁们，今天咱们来聊点硬核又不失风趣的话题——长上下文推理大模型的新晋王者：QwenLong-L1。别急着划走，这不是广告，而是一次技术圈的“吃瓜”现场，瓜保熟，技术干货管够！

许泽宇的技术分享·2025-06-09 14:47

BayesFlow：基于神经网络的摊销贝叶斯推断框架

贝叶斯推断为不确定性条件下的推理、复杂系统建模以及基于观测数据的预测提供了严谨且功能强大的理论框架。

·2025-06-09 14:16

数据集-目标检测系列- 猴子数据集 monkey ＞＞ DataBall

Xian-HHappy·2025-06-09 13:35

OpenCV图像处理——Python开发中OpenCV视频流的多线程处理方式

如果使用单线程处理，很多时候会出现比较严重的时延，如果算力吃紧，模型推理所占用的更长的话，这种延迟感会更加明显，会出现卡帧的现象。

知来者逆·2025-06-09 12:03

强化学习之父告警：数据枯竭！AI狂飙突进“经验革命”新时代

技术热榜的常驻话题已从"参数量"转向"推理能力"，具身智能成为资本押注的新赛道。

TGITCIC·2025-06-09 09:40

推荐频道

tensorrt推理