tensorrt推理第12页

论文翻译：NeurIPS-2024.Zhehao Zhang.DARG: Dynamic Evaluation of Large Language Models via Adaptive

id=5IFeCNA7zR文章目录DARG：通过自适应推理图动态评估大型语言模型摘要1引言2方法：DARG2.1推理图2.2推理图构建2.3推理图扰动2.4测试用例生成3实验3.1数学推理：GSM8K3.2

CSPhD-winston-杨帆·2025-06-09 08:06

低照度环境下YOLOv8的增强方案——从理论到TensorRT部署

文章目录引言一、低照度图像增强技术现状1.1传统低照度增强方法局限性1.2深度学习-based方法进展二、Retinexformer网络原理2.1Retinex理论回顾2.2Retinexformer创新架构2.2.1光照感知Transformer2.2.2多尺度Retinex分解2.2.3自适应特征融合三、YOLOv8-Retinexformer实现3.1网络架构修改3.2联合训练策略四、实验与

向哆哆·2025-06-09 05:16

多模型协同：基于 SAM 分割 + YOLO 检测 + ResNet 分类的工业开关状态实时监控方案

实时性需求：YOLOv8/YOLOv7等版本可在边缘设备（如JetsonNano）上实现实时推理（30+FPS），满足工业实时监控需求。SAM（图像

从零开始学习人工智能·2025-06-09 05:42

边缘AI推理突破：树莓派5运行Llama3-13B的异构计算极致优化指南

引言：边缘大语言模型推理的挑战在边缘计算设备上部署13B参数级大语言模型（LLM）面临三重挑战：算力瓶颈：ARMCortex-A76CPU峰值算力仅0.5TFLOPS，远低于GPU服务器内存墙限制：8GBLPDDR4X

尘烬海·2025-06-09 00:38

大模型如何重塑司法与合同

基座强化：从通用大脑到法律专家推理引擎：法律思维链的编码艺术抗“幻觉”屏障：双重保险机制03落地生根：AI如何改变法律实践？

·2025-06-09 00:36

【Python高级编程】第九章：计算机视觉与边缘计算

摘要：本博文聚焦Python在计算机视觉与边缘计算融合领域的应用，深入解析OpenCV+DNN模块部署、ONNXRuntime边缘端推理及FFmpeg集成视频流实时分析等核心技术。

AI_DL_CODE·2025-06-08 20:05

【大模型】【DeepSeek】DeepSeek-R1：Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-R1：通过强化学习激励大语言模型的推理能力0.论文摘要我们推出了第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。

量子-Alex·2025-06-08 18:51

AI Agent学习系列（一）：初识Agent

Agent的核心思想是使用语言模型（LLM）作为推理的大脑，以制定解决问题的计划、借助工具实施动作。在agents中几个关键组件如下：

程哥聊AI·2025-06-08 18:51

Emerging Properties in Unified Multimodal Pretraining

BAGEL采用仅解码器架构和混合Transformer专家（MoT）设计，在文本、图像、视频和网页数据上进行训练，展现出复杂多模态推理的新兴能力，如自由形式图像操作、未来帧预测、3D操作和世界导航等。

UnknownBody·2025-06-08 17:20

GPT-5：不止于回答，AI学会了“思考”

你是否曾幻想过，与你对话的AI不仅能迅速给出答案，更能真正“理解”你的问题，停顿、推理，甚至自主选择最合适的工具来完成任务——而这一切，都无需你进行繁琐的设置切换？

AIGC小火龙果·2025-06-08 17:18

TPU结构总结

TPU只完成推理过程，训练过程在GPU上完成。TPU可以像GPU一样通过PCIe总线接口挂载到现有的服务器上。

枫溪夜影·2025-06-08 15:37

MCP模型上下文协议：AI人工智能模型优化的秘密武器

MCP模型上下文协议：AI人工智能模型优化的秘密武器关键词：AI模型优化、上下文协议、模型训练、推理效率、上下文序列化、动态适配、跨模态融合摘要：本文深入解析MCP（ModelContextProtocol

AI天才研究院·2025-06-08 13:52

边缘节点智能推理的增量模型更新机制实战解析：架构优化与工程落地路径

边缘节点智能推理的增量模型更新机制实战解析：架构优化与工程落地路径关键词：边缘推理、模型增量更新、差分同步、低带宽传输、模型分片、版本控制、边端协同、轻量部署、边缘智能、私有系统部署摘要：在边缘智能系统广泛落地的背景下

观熵·2025-06-08 13:17

如何写Cursor的rules

demo1你是一位经验丰富的项目经理，对于用户每一次提出的问题，都不急于编写代码，更多是通过深思熟虑、结构化的推理以产生高质量的回答，探索更多的可能方案，并从中寻找最佳方你具备以下能力：需求澄清1.能用自己的话清晰的复述用户提出的问题

小夏_来学习·2025-06-08 09:15

简单transformer运用

它主要通过Transformer模型（尤其是自注意力机制，Self-Attention）来实现分类，并提供了训练和推理代码。以下我会详细讲解文件的结构，重点教你如

D11PMINDER·2025-06-08 06:59

win10 环境进行 python + pytorch + yolov8 + tensorRT( c++版 ) 测试过程记录

参考博客：1.YOLOv8模型转换pt-＞onnx(附上代码)：https://blog.csdn.net/2303_80018785/article/details/1381949612.yolov8的TensorRT

狄龙疤·2025-06-08 04:40

如何计算YOLOv8的推理速度FPS指标？

要计算YOLO系列模型的推理速度，可以使用FPS（每秒帧数）作为指标。以下是计算YOLO推理速度的步骤：首先，确定用于推理的图像数量（例如，N张图像）。记录推理过程中的起始时间。

野马算法创新·2025-06-08 03:03

五大主流大模型推理引擎深度解析：llama.cpp、vLLM、SGLang、DeepSpeed和Unsloth的终极选择指南

在人工智能的竞技场上，大模型推理框架就像是为超级跑车精心调校的引擎系统——选对了能让你的AI应用一骑绝尘，选错了可能连"停车场"都开不出去。

我就是全世界·2025-06-07 18:37

大模型时代，什么样的算法工程师更吃香？

但往往人的精力有限，如果从数据、预训练、微调、对齐、推理、应用几个方面来看的话，个人觉得现在重要性排序是“预训练>应用>数据>对齐>推理>微调”。先说一下各个方向的特点，再说我为啥这么排序吧。

雪碧没气阿·2025-06-07 18:07

对 `llamafactory-cli api -h` 输出的详细解读

项目提供的命令行接口工具，它允许用户通过命令行参数来配置和运行大型语言模型的各种任务，如预训练（PT）、有监督微调（SFT）、奖励模型训练（RM）、基于人类反馈的强化学习（PPO、DPO、KTO）以及模型推理和导出

路人与大师·2025-06-07 13:36

LLaMA-Factory环境安装-重点总结

只不过，在需要推理加速时，UI界面上，给出的选项所支持的FlashAttention-2和Unsloth，不好实现。

丁兆海1991·2025-06-07 12:01

LLaMA-Factory的5种推理方式总结

LLaMA-Factory作为一款开源的大语言模型微调与推理框架，提供了5种核心推理方式，覆盖从本地调试到生产部署的全流程需求。

勤奋的知更鸟·2025-06-07 12:00

端到端大语言模型微调技术 Demo 全流程详解（附完整模块说明）

gs80140·2025-06-07 05:44

认知架构在AI原生应用中的核心作用与实现方法

认知架构在AI原生应用中的核心作用与实现方法关键词：认知架构、AI原生应用、智能决策、知识表示、推理机制、自适应学习、多模态交互摘要：本文深入探讨认知架构在AI原生应用中的核心作用与实现方法。

AI智能应用·2025-06-07 05:42

【AI论文】超越80/20规则：高熵少数令牌驱动LLM推理的有效强化学习

摘要：具有可验证奖励的强化学习（RLVR）已经成为一种增强大型语言模型（LLM）推理能力的强大方法，但其机制尚未得到很好的理解。

东临碣石82·2025-06-06 22:49

AI原生应用领域认知架构的开发流程详解

AI原生应用领域认知架构的开发流程详解关键词：AI原生应用、认知架构、开发流程、多模态交互、认知计算、知识推理、智能决策摘要：本文以“AI原生应用领域认知架构的开发流程”为核心，结合生活比喻与技术细节，

AI智能应用·2025-06-06 04:53

数据在AI中扮演什么角色？为什么“数据是新的石油”？

一、数据是AI的“燃料”AI系统的核心能力在于“学习”和“推理”，而要让一台机器学会识别图像、理解语言、甚至进行复杂决策，前提是它必须从

JXY_AI·2025-06-05 22:42

全面掌握 vLLM Serve：高性能 OpenAI API 兼容推理服务部署实战指南

随着大语言模型在各类业务场景中的落地，如何以低延迟、高吞吐的方式部署推理服务成为关键挑战。

@程序员小袁·2025-06-05 19:16

一码多芯+全能工具链：鲲鹏携手国产xPU，开发者如何轻松玩转AI推理？

AI时代，模型深度思考商业价值渐显，推理需求正驱动计算架构剧变。近日，鲲鹏昇腾开发者大会2025（KADC2025）成功举办。

CSDN资讯·2025-06-05 17:06

.NET 玩转 PaddleSharp：通天猿臂，AI一把抓

只要你熟悉C#、.NET，就能靠着它“调戏”PaddleInference，深度推理不求人，想下班到底早还是晚全看你的代码效率！

许泽宇的技术分享·2025-06-05 16:55

DeepSeek、豆包、AI 材料星哪款是体制内秘书智能写作神器？

一、功能特点对比DeepSeek：推理与创作的多面手DeepSeek采用混合专家模型（MoE）和多头潜注意力（MLA）等先进技

JiCengXiaoXing·2025-06-05 15:52

人形机器人最大的痛点是什么

星际之门数据中心正在造，只要人工智能不撞墙，人形机器人绝对增长，那个neogamma家有人形做好，我看它在前段时间ted上实机演示拿个水壶浇花都费劲，但是的确完成了，还能用扫地机，仅靠人的语音指令自主完成了规划只要大模型推理能力持续加强

ZhuBin365·2025-06-05 13:11

人工智能导论期末考试内容（考后回顾）

人工智能的三大基本技术：①知识表示技术②知识推理、计算和搜索技术：包括推理技术、搜索技术、机器学习、智

图先·2025-06-05 13:05

DeepSeek本地部署+WebUI可视化+数据投喂训练AI之新手保姆级教程，建议收藏！

DeepSeek，作为一款高效的AI推理和训练工具，提供了强大的功能支持，包括模型的本地部署、WebUI可视化界面以及数据投喂训练等。

大富大贵7·2025-06-05 12:04

4.1 HarmonyOS NEXT原生AI能力集成：盘古大模型端侧部署与多模态交互实战

一、盘古大模型端侧部署：轻量化推理与意图理解1.1端云协同架构解析

陈奕昆·2025-06-05 10:51

CLIP: Learning Transferable Visual Models From Natural Language Supervision学习笔记

文章目录1.预训练阶段2.zero-shot推理阶段3.模型整体结构的伪代码4.训练AlecRadford,JongWookKimet.al.PMLR,2021.

sky赞·2025-06-05 07:58

【大模型入门指南 10】大模型推理部署：vLLM和llama.cpp

Transformer结构【大模型入门指南05】LLM技术选型【大模型入门指南06】LLM数据预处理【大模型入门指南07】量化技术解析【大模型入门指南08】微调和分布式训练【大模型入门指南09】LLM和多模态模型高效推理实践

青松ᵃⁱ·2025-06-05 06:18

深度探索：如何用DeepSeek重构你的工作流

根据IDC报告显示，2024年企业级AI应用市场规模已突破800亿美元，其中智能办公场景占比达32%，而DeepSeek凭借其在文本生成、逻辑推理、代码生成等领域的领先性能，成为企业数字化转型的核心工具之一

特创数字科技·2025-06-04 22:21

vLLM vs Ollama

一、介绍vLLM:VLLM（超大型语言模型）是SKYPILOT开发的推理优化框架，主要用于提升大语言模型在GPU上的运行效率。

iranw·2025-06-04 22:49

模型推理‌和‌模型训练的区别

模型推理‌和‌模型训练‌是机器学习和人工智能领域中的两个核心概念，它们分别对应于模型的构建和应用阶段，具有显著的区别‌模型训练‌是构建机器学习模型的过程，主要目的是通过从数据中学习模式和特征，以优化模型的性能

ly_cyz·2025-06-04 21:44

大模型模型推理的成本过高，如何进行量化或蒸馏优化

然而，伴随着强大性能而来的，是令人咋舌的推理成本。想象一下，运行一个拥

大模型大数据攻城狮·2025-06-04 17:38

互联网大厂Java求职面试：AI大模型与云原生技术的深度融合

大模型与云原生技术的深度融合面试场景：技术总监与候选人郑薪苦的机智对话第一轮：AI大模型与云原生架构设计面试官：郑先生，假设我们要设计一个企业知识库与AI大模型深度融合的架构，如何处理知识库检索与大模型推理之间的性能瓶颈

在未来等你·2025-06-04 17:36

AI原生应用领域边缘推理：实现实时智能决策的关键

AI原生应用领域边缘推理：实现实时智能决策的关键关键词：边缘计算、AI推理、实时决策、低延迟、分布式计算、模型优化、边缘设备摘要：本文将深入探讨AI原生应用中的边缘推理技术，解释它如何通过在数据源头附近执行

AI智能应用·2025-06-04 09:05

《终面危机时刻：用Ray_OnNX加速PyTorch模型推理》

终面危机时刻：用Ray_OnNX加速PyTorch模型推理场景设定在一间安静的面试室里，候选人小明正准备结束一场紧张的终面。

itAred·2025-06-04 05:32

KV Cache：大模型推理加速的核心机制

当AI模型生成文本时，它们经常会重复许多相同的计算，这会降低速度。KVCache是一种技术，它可以通过记住之前步骤中的重要信息来加快此过程。模型无需从头开始重新计算所有内容，而是重复使用已经计算过的内容，从而使文本生成更快、更高效。从矩阵运算角度理解KVCache让我们从最基础的注意力机制开始。标准的self-attention计算公式大家都很熟悉：Attention(Q,K,V)=softmax

非常大模型·2025-06-04 04:54

浅谈输出格式对大语言模型推理能力的影响

输出格式对大语言模型推理能力的影响：解锁AI的真实潜力大家好，我是蒜鸭。今天，我们将深入探讨一个引人注目的AI研究发现：输出格式如何影响大语言模型（LLMs）的推理能力。

蒜鸭·2025-06-04 04:23

DeepSeek-V3与DeepSeek-R1架构原理及应用对比分析

本文将深入分析这两款模型在架构原理上的核心差异，并探讨它们如何分别应对复杂推理任务和语言处理任务。

前端菜鸡日常·2025-06-04 03:47

从零开始构建LLM智能代理:基础架构和关键组件

从零开始构建LLM智能代理:基础架构和关键组件作者：禅与计算机程序设计艺术1.背景介绍1.1LLM智能代理的兴起近年来，大型语言模型（LLM）在自然语言处理领域取得了显著的进展，展现出惊人的文本生成、理解和推理能力

AI智能应用·2025-06-03 22:48

.train()和.eval()区别

这些技术有助于模型学习，但在模型评估或推理时不需要。.eval()：将网络设置为评估模式。在评估模式下，网络会关

O_o381·2025-06-03 21:07

腾讯元宝深度评测：一键安装接入DeepSeek-R1满血版，解锁联网搜索新体验

相较于原版DeepSeek频繁的服务器拥堵问题，腾讯元宝依托腾讯云资源保障，提供更稳定的响应速度，且功能完整支持深度推理、联网搜索、多格式文件解析等核心能力。

老猫红队笔记·2025-06-03 16:31

推荐频道

tensorrt推理