【2025】LLM(大模型)开源项目介绍与使用场景

LLM(大模型)开源项目介绍与使用场景

一、大语言模型

通用大模型

首先介绍我们目前市面上主流比较强的通用大模型，榜单来自于SuperCLUE总排行榜（2025年3月）

排名	模型名称	机构	总分	数学推理	科学推理	代码生成	智能体Agent	精确指令遵循	文本理解与创作
1	o3-mini(high)	OpenAI	76.01	94.74	70.00	88.78	57.14	66.4	79.01
2	DeepSeek-R1	深度求索	70.33	85.96	64.00	86.94	65.18	39.52	80.41
3	Claude 3.7 Sonnet	Anthropic	68.02	78.07	59.00	86.73	56.62	48.92	78.77
4	GPT-4.5-Preview	OpenAI	67.46	67.54	70.00	79.18	71.88	35.75	80.4
5	QwQ-32B	阿里巴巴	66.38	88.6	67.00	81.84	48.66	29.92	82.27
6	Gemini-2.0-Pro-Exp-02-05	Google	65.35	65.79	70.71	77.76	64.88	33.6	79.34
7	Doubao-1.5-pro-32k-250115	字节跳动	64.68	62.28	70.00	76.94	54.46	46.77	77.66
8	hunyuan-turbos-20250226	腾讯	62.49	47.37	63.00	74.49	70.09	41.13	78.88
9	DeepSeek-R1-Distill-Qwen-32B	深度求索	59.94	85.85	62.89	73.43	36.77	23.18	77.53
10	Qwen-max-latest	阿里巴巴	59.34	42.98	68.00	76.33	58.48	29.38	80.88

针对榜单主流模型以及对应的厂商介绍

• o3-mini(high) （https://chatgpt.com） (OpenAI 高速轻量版，体验前沿， 非开源！): OpenAI 最新推出的轻量级模型版本，可能是 GPT-4o 的精简高速版。旨在提供更快速的响应和高效的推理体验，方便用户在算力受限或需要快速反馈的场景下使用。 非开源！ 是体验 OpenAI 最新技术，注重速度和效率用户的 闭源 选择。（国内使用因为需要科学上网，并且官网经常会检测ip，影响使用体验，并且API关闭了免费调用，推荐不缺钱使用）
• DeepSeek-R1 （https://www.deepseek.com/） (算法优化，本地部署领先， 开源！): DeepSeek 公司今年大热的明星模型，以算法优化和卓越推理能力著称。能够在更少算力下实现更高精度，推动大模型本地化部署。 开源！ 是追求高性能、高效率，并希望进行本地部署和二次开发的 开源 优选。（因为热度太高了，官网调用基本上很难调用成功，所以推荐到第三方模型厂家调用相对不会卡，可以选择硅基流动或者阿里等各大云服务厂商以及可以使用groq进行免费调用api。因为开源，所以可以很方便的进行本地部署。推荐使用）
• Claude 3.7 Sonnet （https://claude.ai/）(Anthropic 高性价比之选，均衡能力， 非开源！): Claude研发团队核心成员基本上来自于OpenAI。Anthropic Claude 3 系列中的 Sonnet 版本，定位为性能与成本的平衡点。在保持 Claude 3 系列优秀推理和创作能力的同时，提供更具竞争力的价格。 非开源！ 适合对模型性能有要求，同时注重成本效益的 闭源 用户。（和chat gpt 差不多，一公司出来的，基本上也是国内非常不友善，官网可以免费使用，但api调用同样收费）
• QwQ-32B（https://tongyi.aliyun.com/ ）(阿里推理最强，开源！): 阿里目前最强的推理模型，性能比肩DeepSeek-R1，并且开源。 （国内开源扛把子，阿里yyds，阿里目前基本上各类型的语言模型都有涉及。推荐使用）
• Gemini-2.0-Pro-Exp-02-05 （https://aistudio.google.com/）(Google Gemini Pro 实验版，探索前沿， 非开源！): Google Gemini Pro 模型的实验版本，标注 “Exp” 和日期，表明这是一个实验性质的早期版本，可能用于内部测试或特定目的。 代表 Google 在 Gemini 模型上的持续迭代和探索。 非开源！ 适合关注 Google 大模型技术发展，具有实验精神和探索精神的 。并且可以一次性传输2M token的输入数据，应该是目前市面上可以一次性输入最大token的厂商了。（可以通过API免费调用他家的最新大语言模型，包括视觉识别，并且是目前可以一次性传输最大量的输入token的厂商，推荐使用）
• Doubao-1.5-pro(豆包 Pro，非开源！):模型使用 MoE 架构，并通过训练-推理一体化设计，探索模型性能和推理性能之间的极致平衡。Doubao-1.5-pro 仅用较小激活参数，即可比肩一流超大稠密预训练模型的性能，并在多个评测基准上取得优异成绩。值得注意的是，通过模型结构和训练算法优化，我们将 MoE 模型的性能杠杆提升至 7 倍，此前，业界的普遍水平为不到 3 倍。（目前国内非研发人员使用量最大厂商，听身边的朋友说使用起来还不错，在DeepSeek没火之前一直是国内下载量第一的，并且使用过字节的coze，体验效果不错）
• hunyuan-turbos-20250226 (腾讯混元 Turbo S，速度优化， 非开源！): “混元” 为腾讯公司的大模型品牌， “Turbo S” 和 “速度优化” 表明该版本可能侧重于提升推理速度和效率。“20250226” 是版本日期，非开源！ 适合需要腾讯系大模型支持，注重速度和效率的 闭源 用户。（近期广告投放过多了，哪都是腾讯混元）

二、大模型本地部署

主要介绍3种：LM Studio、Ollama、GPT4All

1. Ollama:（https://ollama.com/）

• 定位: 命令行优先的本地 LLM 运行工具，更注重灵活性和可定制性。
• 特点:

  • 命令行界面 (CLI): 主要通过命令行进行操作，适合熟悉命令行的用户。

  • 模型管理: 提供方便的命令来下载、管理和运行 LLM。

  • 支持多种模型: 支持多种流行的开源 LLM，如 Llama 2、Mistral、Codellama 等。

  • 自定义模型: 允许用户通过 Modelfile 定义和运行自定义模型。

  • API 服务器: 可以启动一个 API 服务器，方便与其他应用集成。

  • GPU 加速: 支持 GPU 加速。

  • 跨平台: 支持 macOS、Linux 和 Windows (通过 WSL 2)。

  • 开源: 完全开源，社区活跃。

  • 相对较高的技术门槛: 更适合有一定技术基础的用户。
    部署教程：https://blog.csdn.net/star_nwe/article/details/143141025
    因为模型的地址在国外，如果下载过慢可以选择用魔塔社区的镜像地址下载：如：
    DeepSeek-R1:

    ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF

2. LM Studio:(https://lmstudio.ai/)

• 定位: 强调易用性和图形化界面的本地 LLM 运行环境。
• 特点:
  • 图形化界面 (GUI): 提供直观的图形化界面，用户可以轻松下载、管理和运行各种开源 LLM。
  • 内置聊天界面: 具有内置的聊天界面，可以直接与 LLM 交互，无需编写代码。
  • 模型发现: 方便地浏览和发现 Hugging Face Hub 上的各种开源模型。
  • 一键安装和运行: 简化了模型的安装和运行过程，降低了使用门槛。
  • 本地推理服务器 (Local Inference Server): 可以启动一个本地服务器，通过兼容 OpenAI API 的方式访问 LLM，方便集成到其他应用。
  • GPU 加速: 支持 GPU 加速，可以显著提高推理速度。
  • 跨平台: 支持 Windows、macOS 和 Linux。
  • 相对封闭的生态： 虽然支持很多开源模型，但用户不容易自己添加模型，自定义程度相对较低。
    部署教程：https://blog.csdn.net/hj960511/article/details/145390784

3. GPT4All:(https://gpt4all.io)

• 定位: 开源的本地 LLM 运行工具，强调易用性和 CPU 推理。
• 特点:
  • 开源和免费： 完全免费，可以自由使用。
  • 图形化界面 (GUI) 和命令行界面 (CLI)： 两种方式都支持。
  • 内置聊天界面: 提供简单的聊天界面，方便与 LLM 交互。
  • CPU 优化: 即使没有强大的 GPU，也可以在 CPU 上运行 LLM，降低了硬件要求。
  • 模型支持: 支持多种流行的开源 LLM。
  • 易于安装: 安装过程简单，开箱即用。
  • 性能相对较低: 在 CPU 上运行 LLM 的速度通常比 GPU 慢。
  • 相对不活跃： 相较于前两个，更新并不是很频繁

对比总结表格:

特性	LM Studio	Ollama	GPT4All
核心理念	易用性, GUI, 本地 LLM	灵活性, CLI, 本地 LLM	易用性, CPU 推理, 本地 LLM
主要功能	GUI, 聊天界面, 模型发现, 一键安装, 本地服务器	CLI, 模型管理, 自定义模型, API 服务器	GUI/CLI, 聊天界面, CPU 优化, 易于安装
适用场景	普通用户, 快速体验 LLM, 无需代码	技术用户, 自定义模型, 集成	普通用户, CPU 运行, 简单体验
技术要求	低	中等 (熟悉命令行)	低
GPU 加速	支持	支持	有限支持/更侧重CPU
跨平台	Windows, macOS, Linux	macOS, Linux, Windows (WSL2)	Windows, macOS, Linux
开源	否	是	是
生态	相对封闭	活跃开源社区	相对不活跃

如何选择：

• LM Studio: 如果您是普通用户，希望以最简单的方式在本地运行 LLM，不需要编写代码，并且希望有一个友好的图形化界面，那么 LM Studio 是最佳选择。
• Ollama: 如果您是技术用户，熟悉命令行，希望有更大的灵活性和可定制性，能够自己定义和运行模型，并且希望与其他应用集成，那么 Ollama 更适合。
• GPT4All: 如果您的硬件资源有限，没有强大的 GPU，或者希望在 CPU 上运行 LLM，并且希望有一个简单易用的工具，那么 GPT4All 是一个不错的选择。

总之, 如果你注重易用性和图形界面, LM Studio 是首选. 如果你喜欢命令行和定制化, Ollama 更好. 如果你希望强调免费和 CPU 运行降低门槛, GPT4All 适合.

三、大模型(LLM)工具

这里主要介绍Langflow、Flowise、Dify、Coze、AutoGPT UI 和 AgentGPT

1、低代码 LLM 工作流构建器： Langflow 和 Flowise

都是基于 LangChain 的工作流工具，帮助开发者设计、构建并部署多步骤的 LLM 应用程序。二者的核心区别在于界面设计和功能的简洁性，Flowise 更加强调可视化设计。

1. Langflow：（https://www.langflow.org/）
   Langflow 是一个基于 LangChain 的框架，专注于为 LLM（大语言模型）应用程序 提供构建流式流程的能力。Langflow 使开发者能够构建对话流、自动化工作流和集成多种工具等，使得开发人员可以通过低代码的方式开发更加复杂的应用。

   核心特点：

   • 基于 LangChain：LangChain 是一个支持 LLM 应用程序开发的框架，Langflow 就是其上层封装，简化开发过程。
   • 工作流和对话流构建：允许开发人员快速设计和部署多步的 LLM 应用程序，支持 API 调用、文件存储等多种操作。
   • 可视化界面：允许通过图形化界面拖拽组件，来构建流程。

2. Flowise：（https://flowiseai.com/）
   Flowise 是一个开源工具，帮助用户在没有编程背景的情况下，快速构建、管理和优化 语言模型应用 的工作流。类似于 Langflow，它也是基于 LangChain 构建的，但其目标是让用户可以通过图形化的方式设计工作流，尤其适合需要与多个外部数据源交互的应用场景。

   核心特点：

   • 拖拽式界面：通过可视化界面快速构建工作流。
   • 多数据源支持：支持与 RESTful API、数据库、Webhooks 等进行集成。
   • 集成 LLM：基于 LangChain，支持与 OpenAI、LlamaIndex、Pinecone 等流行工具的集成。
   • 开放源码：免费开源，任何开发者都可以根据需要进行修改。

2、自主代理平台/工具：AutoGPT 和 AgentGPT

AutoGPT 和 AgentGPT：这两款产品都聚焦于自定义和自动执行任务，且支持代理的自主决策与执行。它们的核心区别在于 AutoGPT 更加关注自主学习和任务执行的自我改进能力，而 AgentGPT 强调任务灵活性和定制性。

1. AutoGPT：（https://agpt.co/）
   AutoGPT 是一种 自主代理 系统，结合了 大语言模型 和一些自我强化学习机制，目标是实现完全的自动化应用。AutoGPT 可以根据用户的需求，主动执行任务并进行反馈，甚至可以进行自我改进。搭配AutoGPT UI使用

   核心特点：

   • 自主决策：自动化执行任务，无需人工干预。
   • 持续学习：可以根据用户需求和环境变化不断学习和适应。
   • 多任务支持：不仅可以用于对话生成，还可以处理如电子邮件、文档编写、网络抓取等任务。

2. AgentGPT：（https://agentgpt.reworkd.ai/zh）
   AgentGPT 是一个 自定义代理 系统，能够通过提供用户输入并将其转化为操作任务，来帮助用户完成实际任务。与 AutoGPT 类似，AgentGPT 可以自动执行任务并进行调度，但它更强调任务的可定制性和执行逻辑的灵活性。

   核心特点：

   • 自定义代理：支持用户定义代理执行的具体任务，极大地提升灵活性。
   • 多功能集成：支持与多种应用、API 的集成。
   • 基于任务的模型：针对特定任务进行优化，执行效率较高。

3、LLM 应用开发平台：

相当于上面的结合体平台，功能更加全面，可以使用工作流构建也可以使用agent构建自己的LLM 应用
Dify 和 Coze：这两款工具都集成了大语言模型（LLM）和任务自动化功能，适合用来构建智能应用。Dify 更偏向于开发者进行智能应用的构建，而 Coze 则专注于团队协作和智能工作流管理。

1. Dify：（https://dify.ai）
   Dify 是一个开放平台，致力于简化和加速开发 智能应用。它集成了大语言模型（LLM），可以帮助开发者构建智能对话、推荐系统等应用。Dify 允许用户通过创建多步骤的工作流，来管理和调度任务。

   核心特点：

   • 多功能平台：不仅支持 LLM，还支持数据库和 API 调用。
   • 自动化任务：通过工作流自动化调度和执行任务，提供智能决策支持。
   • 集成外部数据源：可以与 REST API、Webhooks、数据库等集成。

2. Coze（扣子）：（https://www.coze.com/）
   Coze 是一款 AI 驱动的协作工具，专注于 智能工作流 和 自动化任务，支持多个人工智能应用的整合。它更像是一个能够在企业环境中使用的智能助手，帮助企业自动化日常流程和任务。

   核心特点：

   • 自动化任务调度：通过 AI 来自动化重复任务。
   • 协作性强：多个用户可以一起在平台上共同完成任务。
   • 集成多种工具：包括对话型 AI、邮件、日程管理等。

四、AI物联网实现方向

一般如果是企业落地场景一般推荐使用Dify进行搭建一个综合智能体应用，在通过API进行调用接入本地应用服务实现项目场景的落地

1.人工智能和物联网：

主要以图像识别为主，例如通过摄像头实现查询工厂内员工是否有正常穿戴工作服和头盔等图像识别功能等（通过视觉识别模型：Qwen2.5-VL-72B-Instruct、Gemini 2.0 Flash Thinking Experimental 01-21）

2.语言控制：

操作人员通过语音实现现场设备的控制，如：通过话筒说关闭1号设备，系统自动去关闭对应的1号设备；（通过调用语音识别模型，或者文本转语音在通过调用文本模型）

3.报表分析：

通过语音说查找某个报表，系统弹出跳转到指定页面，页面快速实现调出指定报表功能页面。（通过调用语音识别模型，或者文本转语音在通过调用文本模型）browser-use + 语音控制模型/deepseek（先把语音转文字） 实现浏览器控制

4.知识检索：

在工程安装或者设备维修保养的时候，对着系统说查找某个设备的安装，系统自动调用对应设备的安装保养手册（通过调用语音识别模型，或者文本转语音在通过调用文本模型）

五、AI落地相关优秀项目：

1.Chat2DB ：https://chat2db-ai.com/resources/docs/start-guide/getting-started
a)Chat2DB 是一款AI first的数据管理、开发、分析工具，它的核心是AIGC（Artificial Intelligence Generation Code）能力，它可以将自然语言转换为SQL，也可以将SQL转换为自然语言，也可以自动生成报表，极大的提升人员的效率。通过一个产品可以实现数据管理、数据开发、数据分析的能力，即使不懂SQL的运营业务也可以使用快速查询业务数据、生成报表能力。

2.data-formulator：https://github.com/microsoft/data-formulator
微软雷德蒙研究院的研究员们开发的一款超实用的AI 工具——Data Formulator，这款工具巧妙地结合了图形化用户界面（就是咱们熟悉的点选、拖拽操作）和自然语言输入（比如直接打字告诉它你的需求），让用户能更轻松地向 AI 传达自己的想法。这样一来，无论是调整图表样式还是更新数据，AI 都能精准理解你的意图，一步步帮你完成复杂的可视化设计。简单来说，Data Formulator 就像是一个