推理

使用SQL-Ollama与自然语言交互SQL数据库的指南

SQL-Ollama是一个专门设计的模板，利用Zephyr-7b模型，通过Ollama在本地运行推理，使这一过程变得简单而高效。##核心原理解析SQL-Ollama通过将自然语言转换为
antja_·2025-06-30 13:42

本地运行大型语言模型(LLM)的实践指南

隐私上，数据不需要发送到第三方，避免了商业服务条款的限制；成本方面，无需支付推理费用，尤其是对于那些需要大量计算的应用，如长时间的模拟和总结。
yunwu12777·2025-06-30 11:58

记录一个异常检测库

https://github.com/openvinotoolkit/anomalib/tree/main关于一个异常检测库，包括最先进的算法和功能，如实验管理，超参数优化和边缘推理。
STO检测王·2025-06-30 09:46

YOLOv13：开启目标检测新时代，手把手教你实操

目录一、YOLOv13初印象1.1YOLO系列发展脉络1.2YOLOv13独特之处二、前期准备工作2.1环境搭建2.2依赖安装三、深入使用指南3.1模型验证3.2模型训练3.3模型推理四、应用案例与拓展
奔跑吧邓邓子·2025-06-30 06:33

从入门到实战：YOLOv13 安装与使用全攻略

1.2YOLOv13核心技术亮点1.3性能优势展现二、前期准备2.1系统环境要求2.2软件依赖安装三、安装流程3.1获取源码3.2环境搭建3.3安装验证四、使用指南4.1模型验证4.2模型训练4.3模型推理
奔跑吧邓邓子·2025-06-30 06:33

当语言模型”思考”时，它真的在推理吗？

这些看似严谨的推理过程，到底是一场精妙的模仿秀，还是真正智能的曙光？1.被误解的”思考者”走进任何科技论坛，你都能看到人们对GPT-4解题过程的惊叹：”看这一步一步的推导，它简直像人类一样在思考！”
qq_502428990·2025-06-30 04:45

MiniMax - M1：开源大模型的革命性突破

MiniMax-M1作为全球首个开源大规模混合架构的推理模型，一经发布便引起了广泛关注。它在长上下文处理、推理效率和成本控制等方面展现出了卓越的性能，为人工智能的发展带来了新的思路和方向。
·2025-06-30 01:01

海思Hi3519DV500方案1200万无人机吊舱套板

ISP图像处理能力，支持2FWDR、多级降噪、六轴防抖、全景拼接、多光谱融合等多种传统图像增强和处理算法，支持通过AI算法对输入图像进行实时降躁等处理，为用户提供了卓越的图像处理能力，集成了高效的神经网络推理引
weixin_Todd_Wong2010·2025-06-30 00:23

搜索领域知识图谱的知识推理算法研究

搜索领域知识图谱的知识推理算法研究关键词：知识图谱、知识推理、搜索算法、图神经网络、路径推理、规则推理、表示学习摘要：本文深入探讨搜索领域中知识图谱的知识推理算法。
搜索引擎技术·2025-06-29 21:06

因果推理与因果学习原理与代码实战案例讲解

因果推理与因果学习原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：因果关系发现、因果推断、因果学习、机器学习、统计方法1.背景介绍
AI天才研究院·2025-06-29 21:32

Trae CN

三模型并行推理，最终由规则引擎校验API兼容性（如微信SDK版本匹配）。性能实测数据场景响应时间代码通
WangLinXX·2025-06-29 21:00

141G显存H20单机DeepSeek-R1满血FP8版性能测试

H20141G单机8卡，CUDA12.4，vLLMv0.8.3，flashinferv0.2.2#服务化命令#基于知乎大神的推荐出装与前期H800双机生产环境测试，在H20上开启EP、MLA等核心优化参数，实现推理吞吐性能最优吞吐量破
·2025-06-29 19:18

Alluxio在数据索引和模型分发中的核心价值与应用

这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息，进行模型训练和推理。这一过程需要强大的数据分发能力，尤其是在多个服务器同时拉取同一份数据时，更是考验基础设施的性能。
Alluxio·2025-06-29 15:21

选择Alluxio来解决AI模型训练场景数据访问的五大理由

在AI模型训练尤其是大模型领域，存储系统的性能和稳定性直接决定了模型训练、推理、部署任务的效率和成本。
Alluxio·2025-06-29 15:51

智能体综述和参考资料整理

目录总体介绍核心组件记忆系统工具系统计划与推理开发框架Single-AgentMulti-Agent智能体平台技术实现通信协议角色系统对话记忆MCP协议参考链接总体介绍智能体（AIAgents）是人工智能领域的重要发展方向
木鱼时刻·2025-06-29 13:03

Windows系统部署YOLOv5 v6.1版本的训练与推理环境保姆级教程

文章目录一·概述二·依赖环境(`prerequisites`)2.1硬件环境2.2软件环境三·环境安装3.1创建并激活虚拟环境3.2安装`Pytorch`与`torchvision`3.3校验`Pytorch`安装3.4下载`YOLOv5``v6.1`源码3.5安装`YOLOv5`依赖3.6下载预训练模型3.7安装其他依赖3.8测试环境安装3.9测试训练流程四·参考链接一·概述本文档主要记录使用工
lujx_1024·2025-06-29 12:57

大模型的“Tomcat”：一文读懂AI推理引擎（Inference Engine)

实战干货：编程严选网1推理引擎是啥？从熟悉的“服务器”说起，想象你用Java写好了一个业务应用，如订单处理服务，打成一个JAR或WAR包。这包能直接
·2025-06-29 10:04

Python编程：使用 YOLO 目标检测

与传统的两阶段目标检测方法（如R-CNN系列）不同，YOLO将目标检测任务视为一个单一的回归问题，直接在图像上进行一次推理即可预测边界框和类别概率。
倔强老吕·2025-06-29 09:37

【通过pip安装 Open-WebUI 快速使用入门】

它支持各种LLM运行器，如Ollama和OpenAI兼容的API，内置RAG推理引擎，使其成为强大的AI部署解决方案。
慕慕涵雪月光白·2025-06-29 08:59

✨【CosyVoice2-0.5B 实战】Segmentation fault (core dumped) 终极解决方案 （保姆级教程）

——每一位搞TTS的开发者内心独白本文聚焦使用CosyVoice2-0.5B进行TTS推理过程中，常见的torchaudio.save()崩溃问题——Segmentationfa
杨靳言先·2025-06-29 07:17

Bagel: 开源协作式AI数据管理平台的使用指南

Bagel:开源协作式AI数据管理平台的使用指南引言在人工智能和机器学习领域，高质量的数据集对于模型训练和推理至关重要。
llzwxh888·2025-06-29 07:46

AI原生应用性能优化：混合推理的7个最佳实践

AI原生应用性能优化：混合推理的7个最佳实践关键词：AI原生应用、性能优化、混合推理、最佳实践、推理效率摘要：本文主要探讨了AI原生应用性能优化中混合推理的相关内容。
AI天才研究院·2025-06-28 23:51

使用vllm部署 Nanonets-OCR-s

使用vLLM部署Nanonets-OCR-s模型的完整指南Nanonets-OCR-s作为基于Qwen2.5-VL-3B的多模态OCR模型，结合vLLM的高效推理引擎可显著提升部署性能。
没刮胡子·2025-06-28 23:20

探秘阿里云Tair KVCache：大模型推理的加速引擎

随着模型规模的不断扩大和推理需求的日益增长，大模型推理过程中的显存瓶颈问题逐渐凸显，成为制约其发展和应用的关键因素。
云资源服务商·2025-06-28 20:56

高通 QCS8550 大模型性能深度解析：从算力基准到场景实测的全维度 Benchmark

前言在人工智能技术狂飙突进的时代，大模型正以前所未有的速度重塑各行业生态，从智能客服到多模态交互，从边缘推理到端侧部署，其应用场景不断拓展。而这一切革新的背后，离不开底层硬件的强力支撑。
伊利丹~怒风·2025-06-28 17:40

【重构推荐系统】国产大模型驱动的电商个性化推荐完整实战：架构设计、推理优化与在线部署闭环

个人简介作者简介：全栈研发，具备端到端系统落地能力，专注大模型的压缩部署、多模态理解与Agent架构设计。热爱“结构”与“秩序”，相信复杂系统背后总有简洁可控的可能。我叫观熵。不是在控熵，就是在观测熵的流动个人主页：观熵个人邮箱：[email protected]座右铭：愿科技之光，不止照亮智能，也照亮人心！专栏导航观熵系列专栏导航：AI前沿探索：从大模型进化、多模态交互、AIGC内容生成，到
观熵·2025-06-28 16:27

企业级知识库私有化部署：腾讯混元+云容器服务TKE实战

本文以某证券机构智能投研系统为原型，演示如何基于腾讯混元大模型与TKE容器服务实现：千亿级参数模型的私有化部署金融领域垂直场景微调高并发低延迟推理服务全链路安全合规方案1.1典型技术挑战#性能基准测试数据
大熊计算机·2025-06-28 14:45

潜入思维的海洋：SoftCoT++如何让语言模型更聪明

在人工智能的浩瀚星空下，大型语言模型（LLMs）如同一颗颗璀璨的恒星，照亮了从文本生成到复杂推理的广阔领域。
步子哥·2025-06-28 13:40

DeepSeek-V3混合精度推理（FP8/BF16）原理与实战全解析

目录摘要混合精度推理的背景与意义DeepSeek-V3混合精度架构设计FP8与BF16核心原理详解混合精度推理核心实现实践案例：FP8权重转BF16与推理部署常见问题与注意事项最佳实践与扩展建议总结参考资料附录
CarlowZJ·2025-06-28 06:25

C++day02(基本数据类型)

玩过身份推理桌游吗?这类桌游中的角色有不同的身份。比如狼人杀中有狼人、平民、预言家、女巫等等不同身份的身份卡。编程语言的数据也有不同的类型,比如整数类型、字符类型、浮点数类
有点。·2025-06-28 06:23

小模型和大模型的区别在哪里？

训练与运行速度：由于参数数量的差异，小模型的训练和推理速度通常比大模型快。这
我非常不满意·2025-06-28 03:06

【PyTorch】保存和加载模型

目录■state_dict■用于推理的保存和加载模型保存/加载state_dict保存/加载整个模型以TorchScript格式导出/加载模型■保存和加载用于推断和/或恢复训练的一般检查点(Checkpoint
Jackilina_Stone·2025-06-28 01:54

PyTorch教程：LSTM语言模型的动态量化技术解析

语言模型的动态量化技术解析tutorialsPyTorchtutorials.项目地址:https://gitcode.com/gh_mirrors/tuto/tutorials前言在深度学习模型部署过程中，模型大小和推理速度是两个至关重要的考量因素
怀灏其Prudent·2025-06-28 01:52

蔡高厅老师 - 高等数学-阅读笔记 - 01 - 前言、函数【视频第01、02、03、】

多元函数数，微分学、积分学、矢量代数、空间解析几何无穷级数、微分方程，多元函数微分学和积分学目的：高等数学3基：1高等数学的基本知识2高度数学的基本理论3高等数学的基本计算方法提高数学素养培养：抽象思维、逻辑推理
Franklin·2025-06-28 01:20

大模型量化

大模型量化是一种优化技术，旨在减少深度学习模型的内存占用和提高推理速度，同时尽量保持模型的精度。量化通过将模型中的浮点数权重和激活值转换为较低精度的表示形式来实现这一目标。
需要重新演唱·2025-06-28 00:13

onnx-web + yolov8n 在视频流里做推理

顺着我上一篇文章使用onnxruntime-web运行yolov8-nano推理继续说，有朋友在问能不能接入视频流动，实时去识别物品。
CHEN_RUI_2200·2025-06-27 23:11

【大模型学习 | 量化】pytorch量化基础知识（1）

performingcomputationsandstoringtensorsatlowerbitwidthsthanfloatingpointprecision.支持INT8量化，可以降低4倍的模型大小以及显存需求，加速2-4倍的推理速度通俗理解
九年义务漏网鲨鱼·2025-06-27 23:37

配置不当的MCP服务器使AI代理系统面临入侵风险

随着代理型AI（AgenticAI）的兴起，MCP服务器正迅速成为增强AI模型推理上下文的关键工具。但安全研究人员警告，大量公开共享的MCP服务器存在不安全配置，攻击
FreeBuf-·2025-06-27 22:59

昇腾AI生态组件全解析：与英伟达生态的深度对比

一、昇腾核心组件与英伟达对标分析1.推理引擎：MindIEvsTensorRT昇腾MindIE1.0.0基于昇腾芯片的深度学习推
·2025-06-27 20:13

暴雨携AMD ，实现大规模 AI 和 Agentic 工作负载性能突破

与上一代相比，大规模AI训练和推理工作负载的性价比将提高超过两倍。
BAOYUCompany·2025-06-27 17:30

LLM推理入门实践：基于 Hugging Face Transformers 和 vLLM

文章目录1.HuggingFace模型下载2.HuggingFaceTransformers库模型推理3.关于prompt的组成：system、user、assistant4.vLLM模型推理vLLM的多卡推理踩坑
ctrl A_ctrl C_ctrl V·2025-06-27 17:57

vLLM（Virtual Large Language Model） 框架：一个开源的高性能推理和服务的框架

vLLM（VirtualLargeLanguageModel）是一个开源的高性能推理和服务的框架，专为大语言模型（LLM）设计，旨在优化推理速度、内存效率和吞吐量。
彬彬侠·2025-06-27 17:54

DeepSeek 部署中的常见问题及解决方案：从环境配置到性能优化的全流程指南

从环境依赖、资源限制，到推理性能和服务稳定性，开发者往往会遇到一系列“踩坑点”。本文将系统梳理DeepSeek模型在部署过程中的典型问题与实践经
慌ZHANG·2025-06-27 16:49

【软件系统架构】系列四：嵌入式软件-M2M 与 NPU 技术对比及协同设计方案

功能能力对比五、应用场景对比六、综合对比总结表七、协同场景建议八、M2M+NPU协同系统设计方案1.系统架构图（简化逻辑）2.模块划分与功能说明三、通信时序图（关键路径）四、数据协议定义（JSON）上报事件（推理结果
·2025-06-27 15:47

MI300X vs H100：DeepSeek 部署在哪个 GPU 上性价比最高？

随着大模型部署和推理变得越来越普及，开发者和企业对GPU的选择也越来越挑剔。
卓普云·2025-06-27 15:15

MiniMax-M1 如何用 MoE 架构实现大模型推理的极致效率。

效率的胜利：MiniMaxM1如何用架构智慧挑战AI的“蛮力时代”楔子：一场必要的豪赌在人工智能的“暴力美学”时代，巨头们用无尽的参数和算力堆砌着通往未来的巴别塔。然而，在上海，一家名为MiniMax的初创公司，却选择了一条截然不同的朝圣路。2023年夏，一个看似疯狂的决定震动了观察圈：MiniMax将80%的资源，悉数押注于底层模型架构的一场革命。这并非一次寻常的技术迭代，而是在资源悬殊的牌局上
技术程序猿华锋·2025-06-27 13:03

OpenAI O3 大模型深度解析：功能、API Key 获取、Python 代码开发教程 (附代码)

引言：OpenAIo3大模型：新一代推理引擎的崛起人工智能领域正经历着前所未有的飞速发展，其中大型语言模型(LLM)的能力边界不断被拓宽。
技术程序猿华锋·2025-06-27 13:02

开源新王MiniMax -M1 vLLM本地部署教程：百万级上下文支持成大模型领域新标杆！

一、模型介绍MiniMax-M1是由中国AI公司MiniMax于2025年6月17日推出的全球首个开源大规模混合架构推理模型，凭借其百万级上下文支持、超高效计算性能和突破性成本表现，成为大模型领域的新标杆
算家计算·2025-06-27 07:17

LnagChain思维链提示技术解析：原理、架构与源码实现(13)

LANGCHAIN思维链提示技术解析：原理、架构与源码实现一、LangChain思维链提示概述1.1思维链提示的基本概念思维链提示（ChainofThought,CoT）是一种通过引导大型语言模型（LLM）生成中间推理步骤来提高复杂问题解决能力的技术
Android 小码蜂·2025-06-27 07:14

从零开始理解零样本学习：AI人工智能必学技术

零样本学习（Zero-ShotLearning,ZSL）就像AI的“推理翻译官”，能让机器通过“文字描述”理解“没见过的图片”。本文将用“认新单词”的生活故事，一步步拆解零
AI学长带你学AI·2025-06-27 06:11
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他