数据猎手小k
数据猎手小k

最全 高质量 大模型 -预训练数据集（不定期更新）

大模型中的预训练数据集就像是给模型喂的“食物”，这些“食物”的质量和种类直接影响到模型的“成长”和“智慧”。通俗来说，预训练数据集有以下3个特点：

1、量大：预训练数据集通常包含海量的数据，这就像是给模型提供了丰富的“食物”，让它能够学习到更多的知识和信息。想象一下，如果一个人从小接触到各种各样的书籍和知识，他长大后就会更加聪明和有见识。

2、多样化：数据集覆盖了多种类型和领域的内容，这意味着模型能够接触到不同的“风味”，从而学习到更广泛的知识。就像一个人如果尝试过各种不同的食物，他的口味就会更加丰富，对食物的理解和欣赏也会更深。

3、迁移学习能力强：预训练的模型就像是有了良好基础的学生，当它被应用到新的、具体的任务时，能够更快地学习和适应。这就像是一个人如果已经掌握了一门语言，再学习第二门语言时就会容易得多。

数据集：Chinese Fineweb Educhinese-fineweb-edu|教育数据集|预训练数据集

  • 发布时间：2024-08-26

  • 链接地址：chinese-fineweb-edu|教育数据集|自然语言处理数据集

  • 数据集介绍：Chinese Fineweb Edu 数据集是一个精心构建的高质量中文预训练语料数据集，专为教育领域的自然语言处理任务设计。该数据集通过严格的筛选和去重流程，利用少量数据训练打分模型进行评估，从海量的原始数据中提取出高价值的教育相关内容，确保数据的质量和多样性。最终，数据集包含约90M条高质量的中文文本数据，总大小约为300GB。

数据集：IndustryCorpus_technology|行业模型训练数据集|预训练数据集数据集

  • 发布时间：2024-07-25

  • 发布机构：Beijing Academy of Artificial Intelligence

  • 链接地址：IndustryCorpus_technology|行业模型训练数据集|预训练数据集数据集

  • 数据集介绍：该数据集是为了解决行业模型训练中数据量不足、质量低和缺乏领域专业知识的问题而构建的。通过应用22个行业数据处理操作符，从超过100TB的开放源数据集中筛选出3.4TB的高质量多行业分类的中英文预训练数据集，包括1TB的中文数据和2.4TB的英文数据。数据集进行了12种类型的标签标注，并经过了行业分类语言模型的过滤和文档级别的去重处理。数据集涵盖了18个行业类别，并针对每个行业类别提供了数据大小。为了验证数据集的性能，还进行了持续预训练、SFT和DPO训练，结果显示性能有显著提升。

数据集：IndustryCorpus_mathematics|数学数据集|预训练数据集数据集

  • 发布时间：2024-07-25

  • 发布机构：Beijing Academy of Artificial Intelligence

  • 链接地址：IndustryCorpus_mathematics|数学数据集|预训练数据集数据集

  • 数据集介绍：本数据集是一个高质量的多行业分类中英文预训练数据集，通过22个行业数据处理操作符从超过100TB的开放源数据集中筛选出3.4TB的高质量数据，包括1TB的中文数据和2.4TB的英文数据。数据集涵盖18个行业类别，并进行了详细的标注和过滤处理，如传统中文转换、电子邮件和IP地址移除、链接移除、Unicode修复等。此外，数据集还进行了模型训练验证，显示了显著的性能提升。

数据集：IndustryCorpus_agriculture|农业数据集|预训练数据集数据集

  • 发布时间：2024-07-25

  • 发布机构：Beijing Academy of Artificial Intelligence

  • 链接地址：IndustryCorpus_agriculture|农业数据集|预训练数据集数据集

  • 数据集介绍：该数据集是通过应用22个行业数据处理操作符，从超过100TB的开放源数据集中筛选出的3.4TB高质量多行业分类的中英文预训练数据集。筛选后的数据包括1TB的中文数据和2.4TB的英文数据，并进行了12种类型的标签标注。数据集涵盖18个行业类别，包括医疗、教育、文学、金融等，并提供了各行业类别的数据大小。

数据集：dclm-baseline-1.0-parquet|预训练数据集数据集|自然语言处理数据集

  • 发布时间：2024-07-01

  • 链接地址：dclm-baseline-1.0-parquet|预训练数据集数据集|自然语言处理数据集

  • 数据集介绍：DCLM-baseline 是一个包含4万亿个标记和30亿个文档的预训练数据集，由DCLM团队精心策划，使用英语，并根据CC-by-4.0许可证发布。该数据集源自Common Crawl，经过一系列清洗、过滤和去重步骤处理，特别适用于作为DCLM基准的研究基线。

数据集：TigerResearch/pretrain_zh|对话系统数据集|预训练数据集数据集

  • 发布时间：2023-06-14

  • 链接地址：TigerResearch/pretrain_zh|预训练数据集数据集

  • 数据集介绍：该数据集是Tigerbot项目的中文预训练部分，包含12G的中文书籍、25G的中文互联网文本和19G的中文百科内容，总计56G。数据集用于中文预训练，包含多种中文文本资源，适合用于训练中文自然语言处理模型。

数据集：OmniCorpus - 最大开源图文交错数据集|多模态数据集数据集|人工智能研究

  • 发布时间：2024-06-12

  • 发布机构：上海人工智能实验室、哈尔滨工业大学、南京大学、复旦大学等

  • 链接地址：OmniCorpus - 最大开源图文交错数据集|多模态数据集数据集|

  • 数据集介绍：OmniCorpus由上海人工智能实验室联合多所知名高校及研究机构共同构建，是迄今为止最大的多模态数据集。该数据集包含了86亿张图像和1696亿个文本Token，支持中英双语。与现有的数据集相比，其在以下方面具有显著优势：1）更大的数据规模：与之前最大的多模态数据集LAION-5B相比，OmniCorpus的数据集在图像方面大了1.7倍，在文本方面大了12.5倍，同时保持了出色的数据质量。2）更丰富的数据多样性：从更广泛的数据源中提取数据，OmniCorpus数据集比其他图像-文本交错数据集更具多样性。它包括中英文双语多模态数据，并包括从常见网站和视频平台提取的以文本为中心和以视觉为中心的文档。3）更灵活的格式：OmniCorpus的流式数据格式提供了非凡的灵活性，允许适应各种数据结构，包括纯文本语料库、图像-文本对和交错数据格式。数据集制作pipeline由五个关键阶段组成：主体提取、初步文本过滤、文档重复数据消除、图像下载和过滤以及详细文本过滤。每个阶段都有效地减少数据集，只保留高质量的数据。OmniCorpus的多语言特性和高质量数据为多模态机器学习模型提供了丰富的训练资源，推动了人工智能领域的研究进展。

数据集：Zyda - 包含1.3万亿Token的开源预训练数据集|语言模型数据集|预训练数据集

  • 发布时间：2024-06-07

  • 链接地址：Zyda|大型语言模型数据集|数据预处理数据集

  • 数据集介绍：Zyda数据集是由Zyphra公司创建的一个大型语言模型预训练数据集。该数据集通过整合多个开源数据集并进行深度处理来构建，包含了1.3万亿Token，其质量接近商业语料。Zyda数据集的创建过程包括了严格的过滤和去重处理，以保持和提高从原始数据集中派生出的质量。实验结果表明，使用Zyda训练的语言模型在多项评估任务上，性能优于其他同类数据集，如Dolma、FineWeb和RefinedWeb。Zyda的发布为开源社区提供了一个高质量的、大规模的预训练语料库，为开源语言模型研究奠定数据基础。

数据集：VishnuPJ/Malayalam_CultureX_IndicCorp_SMC|预训练数据集

  • 发布时间：2024-06-05
  • 链接地址：VishnuPJ/Malayalam_CultureX_IndicCorp_SMC|预训练数据集
  • 数据集介绍：用于马来语预训练和分词的预处理和合并数据集，数据来源包括ai4bharat、CulturaX和Swathanthra Malayalam Computing。预处理步骤包括去除非马来语字符、合并文本文件以及去除少于5个字符的行。数据集包含文本特征，分为训练和测试集，具有相应的字节数和示例数。

数据集：m-a-p/Matrix|语言模型数据集|预训练数据集数据集

  • 发布时间：2024-06-03
  • 链接地址：m-a-p/Matrix|语言模型数据集|预训练数据集数据集
  • 数据集介绍：Matrix是一个包含46900亿个标记的开源预训练数据集，支持英语和中文双语，用于训练新型模型。该数据集由多个源自不同领域的组件构成，包括Common Crawl、代码、论文、书籍、指导材料、考试、新闻、维基和专利，每个组件在语言建模和处理中都有不同的用途。

数据集：开放新闻库（OpenNewsArchive）|新闻文本数据集|预训练数据集数据集

  • 发布时间：2024-04-28

  • 发布机构：OpenDataLab

  • 链接地址：开放新闻库（OpenNewsArchive）|新闻文本数据集|预训练数据集数据集

  • 数据集介绍：此开放新闻库数据集是由OpenDataLab、联合蜜度、商汤等多家联盟机构进行开源开发，其中包含了880万篇新闻文章的信息，涵盖了各种不同主题和来源的新闻内容。

数据集：BAAI-CCI 2.0|中文语料库数据集|预训练数据集数据集

  • 发布时间：2024-04-19

  • 发布机构：北京智源人工智能研究院

  • 链接地址：BAAI-CCI 2.0|中文语料库数据集|预训练数据集数据集

  • 数据集介绍：一个规模为500GB的高质量中文互联网语料库

数据集：MAP-CC|自然语言处理数据集|预训练数据集数据集

  • 发布时间：2024-04-05

  • 发布机构：Multimodal Art Projection 、复旦大学、北京大学等

  • 链接地址：MAP-CC|自然语言处理数据集|预训练数据集数据集

  • 数据集说明：MAP-CC是一个开源的中文预训练数据集，其规模达到了800亿个词汇(token)。它提供了一套详细的中文网络语料库清洗流程，为自然语言处理(NLP)社区提供了高质量的中文预训练数据和有效的数据准备方法。这个数据集由多模态艺术投影(Multimodal Art Projection)、复旦大学、北京大学等机构共同研发。它包含了来自不同数据源的多个子集，如博客、新闻文章、中文百科全书、中文学术论文、中文图书等。通过精心设计的数据清洗和筛选流程，MAP-CC提高了中文网络语料库的质量，为学术界和工业界提供了宝贵的资源。此外，MAP-CC数据集的构建突破了传统以英文数据为主的训练模式，为非英语语言，特别是中文的深度学习和理解能力提供了新的研究范式。这对于推动中文及其他非英语语言的NLP研究和应用具有重要意义。

数据集：LLM360/CrystalCoderDatasets|预训练数据集数据集|代码生成数据集

  • 发布时间：2024-04-02

  • 发布机构：LLM360

  • 链接地址：LLM360/CrystalCoderDatasets|预训练数据集数据集|代码生成数据集

  • 数据集介绍：该数据集整合了CrystalCoder训练中使用的全部数据序列，包括来自三个预训练阶段的数据，总计约1300亿个token。这些token分布在三个阶段，每个阶段使用不同的数据源和处理方法。第一阶段使用SlimPajama数据集的一半，约345亿个token；第二阶段使用剩余的SlimPajama数据和StarCoder数据的两轮迭代，总计927亿个token；第三阶段重新使用StarCoder数据中的Python和网页相关数据，以及部分SlimPajama数据，总计约110亿个token。此外，还使用了多种指令调优数据集，总计约10亿个token，以增强模型在实际聊天场景中的能力。

数据集：出门问问序列猴子开源数据集|自然语言处理数据集|预训练数据集数据集

  • 发布时间：2024-02-05

  • 链接地址：出门问问序列猴子开源数据集|自然语言处理数据集|预训练数据集数据集

  • 数据集介绍：序列猴子是出门问问提供的超大规模语言模型，基于其通用的表示与推理能力，支持多轮交互，能够大幅度提高生产效率和数据处理能力，被广泛应用于问答系统、自然语言处理、机器翻译、文本摘要等领域。 序列猴子数据集是用于训练序列猴子模型的数据集合，现选择部分数据集向公众开放。 序列猴子开源数据集1.0为序列猴子数据集的首个开源版本，涉及以下领域：中文通用文本语料、古诗今译语料、文本生成语料。

数据集：Chinese-Poetry 最全中文诗歌古典文集数据库|中文诗歌数据集|预训练数据集

  • 发布时间：2024-02-01

  • 链接地址：Chinese-Poetry 最全中文诗歌古典文集数据库|中文诗歌数据集|预训练数据集

  • 数据集介绍：该数据集是最全的中华古典文集数据库，包含 5.5 万首唐诗、 26 万首宋词、 2.1 万首宋词等古典文集。诗人包括唐宋两朝近 1.4 万古诗人，和两宋时期 1.5k 古词人。数据来源于互联网。

数据集：WanJuan2.0 (WanJuan-CC)|自然语言处理数据集|预训练数据集数据集

  • 发布时间：2024-01-15

  • 发布机构：OpenDataLab

  • 链接地址：WanJuan2.0 (WanJuan-CC)|自然语言处理数据集|预训练数据集数据集

  • 数据集介绍：WanJuan-CC 是从CommonCrawl获取的一个 1T Tokens 的高质量英文网络文本数据集。结果显示，与各类开源英文CC语料在 Perspective API 不同维度的评估上，WanJuan-CC都表现出更高的安全性。此外，通过在4个验证集上的困惑度（PPL）和6下游任务的准确率，也展示了WanJuan-CC的实用性。WanJuan-CC在各种验证集上的PPL表现出竞争力，特别是在要求更高语言流畅性的tiny-storys等集上。通过与同类型数据集进行1B模型训练对比，使用验证数据集的困惑度（perplexity）和下游任务的准确率作为评估指标，实验证明，WanJuan-CC显著提升了英文文本补全和通用英文能力任务的性能。

数据集：SkyPile-150B 综合性大规模中文数据集|预训练数据集数据集|中文语言模型

  • 发布时间：2024-01-11

  • 发布机构：昆仑万维

  • 链接地址：SkyPile-150B 综合性大规模中文数据集|预训练数据集数据集|中文语言模型数据集

  • 数据集介绍：SkyPile-150B 是专门为大型语言模型预训练而设计的综合性大规模中文数据集。它源自大量可公开访问的中国互联网网页。数据集采用严格的过滤、广泛的重复数据删除和彻底的敏感数据过滤来确保其质量。此外，研究人员还利用 fastText 和 BERT 等先进工具来过滤掉低质量的数据。

你可能感兴趣的:(语言模型)

  • Qwen3 大模型实战：使用 vLLM 部署与函数调用（Function Call）全攻略 曦紫沐 大模型大模型部署Qwen3vLLM函数调用
    文章摘要本文将带你从零开始，深入掌握如何使用Qwen3-8B大语言模型，结合vLLM进行高性能部署，并通过函数调用（FunctionCall）实现模型与外部工具的智能联动。我们将详细讲解部署命令、调用方式、代码示例及实际应用场景，帮助你快速构建基于Qwen3的智能应用。一、Qwen3简介与部署环境准备Qwen3是通义千问系列的最新一代大语言模型，具备强大的自然语言理解和生成能力，尤其在函数调用、工
  • 【三桥君】MCP中台，究竟如何实现多模型、多渠道、多环境的统一管控？如何以MCP为核心设计AI应用架构？ 三桥君 《三桥君MCP落地方法论》《三桥君AI大模型落地方法论》#《三桥君AI产品方法论》人工智能AI产品经理MCPAPI三桥君系统架构llama
    你好，我是✨三桥君✨本文介绍>>一、引言随着人工智能技术的快速发展，越来越多的企业开始引入大语言模型（LLM）以提升用户体验和运营效率。然而，如何高效、稳定地将这些AI能力落地到生产环境呢？传统的系统架构往往难以应对AI应用的高并发、低延迟和灵活扩展需求，因此，从整体架构角度设计AI应用架构显得尤为重要。本文三桥君将深入探讨以MCP为核心的AI应用架构，并分析多种部署方式的优劣势，为企业在AI落地
  • ChatGPT还不能写小说吗？ 刘若愚
    最近，ChatGPT大热，据说可以写论文，编故事，好像无所不能。于是，我给它出了个题目：写一篇5万字的科幻小说。人物：刘若愚，化学家；刘子琪，大律师；仔仔，刘子琪的宠物猫；周金凝，医生；刘泽余，大侦探；赵政淇，程序猿；杰夫（Jeff）机器人它给我的回答是：我很抱歉，我是一个AI语言模型，无法写出如此长篇的小说。但我可以为您提供一些写作灵感和指导：确定故事背景和时间线：在科幻小说中，背景和时间线非常
  • AI心理学四层架构揭秘：语言模型为何“说谎“？ TGITCIC AI-大模型的落地之道语言模型人工智能自然语言处理大模型国产大模型大模型落地
    第一章神经层：代码编织的"脑电图"1.1注意力权重的量子跃迁当Claude3.5Haiku处理"达拉斯所在州的首府"这类问题时，其注意力权重图谱呈现出量子跃迁特征。研究团队通过归因图技术捕捉到：在输入"达拉斯"的瞬间，模型内部Texas节点的激活强度达到87.6%，首府概念节点同步飙升至79.3%。这种非线性激活模式与人类大脑的默认模式网络惊人相似。模型层级激活时序决策路径可解释性神经层300ms
  • BEYOND BINARY REWARDS: TRAINING LMS TOREASON ABOUT THEIR UNCERTAINTY 樱花的浪漫 大模型与智能体对抗生成网络与动作识别强化学习人工智能语言模型自然语言处理机器学习深度学习
    https://gist.github.com/josherich/8a30dbf3d6ae0cae1048c3331f38fe80https://gist.github.com/josherich/8a30dbf3d6ae0cae1048c3331f38fe801引言与此担忧一致，研究表明，即使最初校准良好的大型语言模型（LLMs）在RL训练后也会变得过度自信（Lengetal.,2
  • Gradient-Adaptive Policy Optimization:Towards Multi-Objective Alignment of Large Language Models 樱花的浪漫 大模型与智能体对抗生成网络与动作识别强化学习语言模型人工智能自然语言处理深度学习机器学习
    2025.acl-long.549.pdfhttps://aclanthology.org/2025.acl-long.549.pdf1.概述大型语言模型（LLMs）（Anthropic,2023;OpenAI,2024）已经在广泛的实际应用中展示了显著的能力（Bubecketal.,2023），包括内容创作（Yuanetal.,2022）、编程辅助（Chenetal.,2021;Gaoetal.
  • Uncovering Bias in Large Vision-Language Models at Scale with Counterfactuals 樱花的浪漫 因果推断大模型与智能体人工智能算法机器学习语言模型自然语言处理
    UncoveringBiasinLargeVision-LanguageModelsatScalewithCounterfactuals-ACLAnthologyhttps://aclanthology.org/2025.naacl-long.305/1.概述最近，大型视觉-语言模型（LVLMs）因其能够将语言模型（LLMs）的对话能力扩展到多模态领域而受到欢迎。具体来说，LVLMs可以根据文本提
  • Langchain学习笔记(十)：文档加载与处理详解
    注：本文是Langchain框架的学习笔记；不是教程！不是教程！内容可能有所疏漏，欢迎交流指正。后续将持续更新学习笔记，分享我的学习心得和实践经验。前言在构建基于大语言模型的应用时，文档处理是一个至关重要的环节。无论是构建RAG（检索增强生成）系统，还是进行知识库问答，我们都需要将各种格式的文档转换为模型可以理解和处理的形式。Langchain提供了强大的文档加载和处理功能，支持多种文件格式，并提
  • BGE-M3模型结合Milvus向量数据库强强联合实现混合检索
    在基于生成式人工智能的应用开发中，通过关键词或语义匹配的方式对用户提问意图进行识别是一个很重要的步骤，因为识别的精准与否会影响后续大语言模型能否检索出合适的内容作为推理的上下文信息（或选择合适的工具）以给出用户最符合预期的回答。在本篇文章中，我将尽可能详细地介绍想达成准确识别用户提问意图的解决方案之一，即基于功能强大的BGE-M3模型和Milvus向量数据库实现混合检索（稠密向量densevect
  • 构建高效 RAG 流程的七个关键点及其落地实践 charles666666 搜索引擎大数据需求分析交互笔记数据库
    人工智能应用浪潮中，检索增强生成（RAG）技术凭借着结合大型语言模型（LLMs）的生成能力和信息检索系统的独特优势，成为了各企业挖掘数据价值、提升业务智能化水平的关键手段之一。然而，构建一个高效且精准的RAG流程并非易事，其中存在着诸多关键点和挑战。作为一名非资深IT技术顾问，我将基于丰富的实战经验，为大家深入剖析构建高效RAG流程的七个关键点及其落地实践。一、文档解析：混合格式的“第一道坎”在企
  • 使用中转API在Python中调用大型语言模型 (LLM) 的实践** qq_37836323 python语言模型开发语言
    **在人工智能技术中，大型语言模型(LLM)已成为自然语言处理(NLP)和生成任务的重要工具。然而，由于网络限制，直接访问OpenAI的API在中国可能面临挑战。因此，本文将介绍如何使用中转API地址http://api.wlai.vip来调用LLM，并提供相关的demo代码。什么是大型语言模型(LLM)？大型语言模型是一种深度学习模型，训练于大量文本数据上，能够生成、总结、翻译和回答问题等。Op
  • 大模型【进阶】（四）QWen模型架构的解读 ReinaXue 人工智能transformer语言模型迁移学习AudioLM语音识别神经网络
    一、Qwen大模型的背景Qwen（通义千问）是阿里巴巴云开发的大型语言模型（LLM）和多模态模型系列，旨在提供强大的自然语言理解、文本生成、图像理解、音频处理及工具使用能力。Qwen系列包括Qwen、Qwen1.5、Qwen2、Qwen2.5和Qwen3等版本，涵盖了从小型（0.5B参数）到超大型（480B参数）的模型规模，支持多语言（119种语言）和多模态任务（文本、图像、音频、视频）。本文将重
  • 2025年最新五大顶级大模型技术对比分析报告 it_czz 人工智能
    2025年最新五大顶级大模型技术对比分析报告执行摘要本报告基于2025年最新数据，深度分析当前最顶尖的5个已发布大语言模型：KimiK2(月之暗面)、Claude3.5Sonnet、GPT-4o、Gemini2.5Pro、DeepSeekR1，从技术架构、成本效益、性能表现、适配场景等多个维度进行全面对比。核心发现KimiK2：中文优化最强，超长上下文处理能力突出，本土化程度最高Claude3.5
  • AI+MCP智能研判系统架构
    AI+MCP智能研判系统架构1.系统概述1.1核心理念AI+MCP智能研判系统是一个创新的网络安全分析平台，通过将大语言模型（LLM）的智能理解能力与MCP（ModelContextProtocol）协议的标准化工具调用能力相结合，实现了"自然语言提问→AI智能理解→MCP工具调用→AI深度研判→智能结果输出"的完整闭环。1.2技术创新点智能意图识别：基于LLM的自然语言理解，自动解析用户查询意图
  • 优化提示内容生成技术框架：提示工程架构师的坚实后盾
    优化提示内容生成技术框架：提示工程架构师的坚实后盾引言背景：大语言模型时代的“提示瓶颈”当GPT-4、Claude3、Gemini等大语言模型（LLM）的参数规模突破万亿、上下文窗口扩展至百万token时，一个矛盾逐渐凸显：模型能力的跃升与提示质量的滞后，正在成为制约AI应用落地的核心瓶颈。2023年斯坦福大学的研究显示，在企业级LLM应用中，70%的功能故障源于提示设计缺陷——或因指令模糊导致输
  • 从0搭建到持续优化：提示工程架构师的评估体系迭代全流程
    从0搭建到持续优化：提示工程架构师的评估体系迭代全流程引言：AI时代的关键角色与评估挑战在人工智能技术迅猛发展的今天，提示工程(PromptEngineering)已从一个小众技能演变为决定AI系统成败的核心能力。随着大语言模型(LLM)能力的不断增强，提示工程架构师(PromptEngineeringArchitect)作为一个新兴职业应运而生，成为连接业务需求与AI能力的关键桥梁。为什么提示工
  • ！LangChain代理决策架构与源码深度剖析(75)
    LangChain代理决策架构与源码深度剖析一、LangChain代理决策架构概述1.1代理决策架构的核心组件LangChain代理的决策架构是其智能交互的核心，主要由大语言模型（LLM）、工具集（Tools）、提示模板（PromptTemplate）、规划器（Planner）、执行器（Executor）和反馈机制六大组件构成。这些组件通过协同工作，实现从用户输入解析到最终结果输出的完整决策流程。
  • Crome：因果鲁棒奖励建模框架——破解LLM对齐中的奖励黑客难题 大千AI助手 人工智能#OTHERPython人工智能深度学习神经网络大模型因果推断奖励黑客RewardHacking
    Crome（CausalRobustRewardModeling）是由GoogleDeepMind联合麦吉尔大学和魁北克人工智能研究所（MILA）于2025年提出的创新框架，旨在解决大语言模型（LLM）对齐中奖励模型（RM）的奖励黑客（RewardHacking）问题。该框架通过因果数据增强与反事实训练机制，显著提升RM对真实质量属性（如事实性、安全性）的敏感性，同时抑制对虚假属性（如文本长度、格
  • LIMO：仅需817样本激活大模型数学推理能力，挑战“数据规模至上”传统范式 大千AI助手 人工智能#OTHER#Prompt人工智能机器学习神经网络算法大模型LIMOLessIsMore
    “以认知模板唤醒沉睡知识，让推理能力在精不在多”LIMO是由上海交通大学、SII（ShanghaiArtificialIntelligenceLaboratory）、GAIRLab联合提出的突破性研究（2025年2月发表），其核心颠覆了传统AI领域“复杂推理需海量训练数据”的认知，证明仅用817个高质量样本即可激发大语言模型（LLMs）的数学推理能力，在AIME、MATH等竞赛级任务中超越使用10
  • 【Ollama】大模型本地部署与 Java 项目调用指南 科马 LLMjava开发语言llama语言模型
    Ollama大模型本地部署与Java项目调用指南一、引言背景介绍Ollama是一个轻量级的大语言模型部署工具，支持快速在本地拉取、运行主流开源模型（如LLaMA3、Mistral、Gemma等）。它简化了模型部署的过程，内置RESTfulAPI，使得开发者可以像调用本地服务一样使用强大的大模型能力。本文将介绍如何在本地部署Ollama模型，并通过Java项目调用Ollama提供的API接口，实现本
  • 人机协作革命：AI原生应用的商业化路径探索 AGI大模型与大数据研究院 AI-nativeai
    人机协作革命：AI原生应用的商业化路径探索关键词：AI原生应用、人机协作、商业化路径、智能代理、大语言模型、AI产品设计、价值闭环摘要：本文深入探讨AI原生应用在商业化过程中的关键路径和挑战。我们将从技术架构、产品设计和商业模式三个维度，分析如何构建可持续的AI商业生态。通过解析智能代理系统、价值闭环设计等核心概念，结合多个行业案例，为开发者提供从技术实现到商业变现的全链路思考框架。背景介绍目的和
  • DesktopCommanderMCP：深度部署与使用指南 皓月照山川 AI人工智能人工智能自动化运维windows
    DesktopCommanderMCP：深度部署与使用指南引言DesktopCommanderMCP是一个强大的本地化模型上下文协议（ModelContextProtocol,MCP）服务器，它通过为大型语言模型（如Claude）提供与其桌面环境直接交互的能力，极大地扩展了AI助手的应用边界。它允许模型执行终端命令、管理文件系统、控制进程，从而实现从代码编写、项目构建到系统管理的端到端自动化工作流
  • 提示工程监控不到位：5个未做日志记录导致的排查困难
    提示工程监控不到位：5个未做日志记录导致的排查困难关键词：提示工程,日志记录,LLM应用调试,AI监控,排查困难,提示模板,上下文追踪摘要：在大语言模型(LLM)应用爆发的时代，提示工程已成为连接人类需求与AI能力的核心桥梁。但多数开发者聚焦于"如何写好提示"，却忽视了"如何记录提示"——日志记录作为提示工程的"黑匣子"，直接决定了AI应用故障排查的效率与准确性。本文通过5个真实场景案例，深入浅出
  • 提示工程中的上下文窗口优化：架构师提升模型记忆的关键 AI实战架构笔记 ai
    提示工程中的上下文窗口优化：架构师提升模型记忆的关键元数据标题：提示工程中的上下文窗口优化：架构师提升模型记忆的关键策略与实践指南关键词：上下文窗口管理、提示工程架构、大型语言模型优化、注意力机制效率、长序列处理、记忆增强技术、动态上下文规划摘要：在大型语言模型(LLM)应用中，上下文窗口是连接模型能力与实际需求的关键桥梁。本文从架构师视角，系统探讨上下文窗口优化的理论基础、设计原则与实施策略。通
  • 实践篇：构建基于LLM与本地Pandas的混合式数据分析引擎 超人阿亚 pandas数据分析数据挖掘
    公众号：dify实验室基于LLMOps平台-Dify的一站式学习平台。包含不限于：Dify工作流案例、DSL文件分享、模型接入、Dify交流讨论等各类资源分享。在上一篇《思路探索：当大型语言模型遇见数据分析的现实挑战》中，我们阐述了团队确立的技术路线：利用大型语言模型（LLM）作为自然语言到代码的“翻译器”，并结合PythonPandas库作为后端的高性能“计算核心”。本文将从工程实践的角度，详细
  • 2024智能交通趋势：提示工程架构师用AI提示词引领技术变革 AIGC应用创新大全 人工智能ai
    2024智能交通趋势：提示工程架构师用AI提示词引领技术变革副标题：从自动驾驶决策到城市交通大脑——大语言模型提示工程实战指南摘要/引言问题陈述：智能交通系统正面临前所未有的复杂性挑战——自动驾驶车辆需要实时处理多源异构数据，城市交通管理需平衡效率与安全，出行服务平台要满足个性化需求。传统AI开发模式依赖大量标注数据和专业领域知识，导致系统迭代缓慢、场景适应性差。当大语言模型(LLM)成为通用人工
  • 思路探索：当大型语言模型遇见数据分析的现实挑战
    大家好，我是dify实验室的阿亚。近期，我们团队启动了一项旨在简化数据分析流程的探索性项目。我们的目标是构建一个能够通过自然语言进行交互的数据分析工具，让业务人员无需编写复杂的查询语句，仅通过提问即可获取数据洞察。然而，在将这一构想付诸实践的过程中，我们遇到了一系列预料之外的挑战。本文旨在记录我们的探索路径与思考沉淀。一、第一阶段探索：直接利用大模型进行数据分析项目初期，我们最直接的设想是利用大型
  • 字节跳动Coze Studio开源了！架构解析 GISer_Jinger 中大厂面试项目开源架构前端javascript
    CozeStudio是字节跳动推出的一款AI应用开发平台，专注于帮助开发者快速构建、测试和部署基于大语言模型的智能应用。其整体架构围绕“低代码开发AI应用”的核心目标设计，融合了模型能力、工具集成、流程编排和多端部署等功能。以下是其整体架构的详细解析：1.前端交互层（UILayer）核心功能：提供可视化操作界面，是开发者与平台交互的入口，聚焦于低代码开发体验。主要组件：应用编辑器：支持拖拽式流程编
  • Java中的模型API、RAG与向量数据库：构建智能应用的新范式 张道宁 人工智能
    引言在当今人工智能迅猛发展的时代，Java开发者如何利用最新的AI技术构建智能应用？本文将深入探讨模型API、检索增强生成(RAG)和向量数据库这三种关键技术，以及它们如何协同工作来提升Java应用的智能化水平。一、模型API：Java中的AI能力接入1.1什么是模型API模型API是大型语言模型(LLM)提供的编程接口，允许开发者通过HTTP请求与AI模型交互。在Java生态中，我们可以通过多种
  • 详细指南:如何使用WildCard升级到ChatGPT 4.0 扑扑特桔 chatgptAIGCChatGPTChatGPTplusopenai
    1.了解ChatGPT自从ChatGPT3.5发布以来,它便吸引了无数人的注意。今天我们要聊的,是它的继任者——ChatGPT-4.0。1.1什么是ChatGPT-4.0？ChatGPT-4.0是由OpenAI研发的一款先进的人工智能语言模型。相比于其前任,它在自然语言的理解和生成上,有了更进一步的提升。想象一下,这个模型能更流畅地对话,理解复杂问题,并且在执行各种任务时都能提供更精准的答案。从信
  • 怎么样才能成为专业的程序员？ cocos2d-x小菜 编程PHP
      如何要想成为一名专业的程序员？仅仅会写代码是不够的。从团队合作去解决问题到版本控制，你还得具备其他关键技能的工具包。当我们询问相关的专业开发人员，那些必备的关键技能都是什么的时候，下面是我们了解到的情况。   关于如何学习代码，各种声音很多，然后很多人就被误导为成为专业开发人员懂得一门编程语言就够了？！呵呵，就像其他工作一样，光会一个技能那是远远不够的。如果你想要成为
  • java web开发 高并发处理 BreakingBad javaWeb并发开发处理高
    java处理高并发高负载类网站中数据库的设计方法（java教程,java处理大量数据，java高负载数据） 一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。 一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（
  • mysql批量更新 ekian mysql
    mysql更新优化： 一版的更新的话都是采用update set的方式，但是如果需要批量更新的话，只能for循环的执行更新。或者采用executeBatch的方式，执行更新。无论哪种方式，性能都不见得多好。 三千多条的更新，需要3分多钟。 查询了批量更新的优化，有说replace into的方式，即： replace into tableName(id,status) values
  • 微软BI（3） 18289753290 微软BI SSIS
    1) Q：该列违反了完整性约束错误；已获得 OLE DB 记录。源:“Microsoft SQL Server Native Client 11.0” Hresult: 0x80004005 说明:“不能将值 NULL 插入列 'FZCHID'，表 'JRB_EnterpriseCredit.dbo.QYFZCH'；列不允许有 Null 值。INSERT 失败。”。 A：一般这类问题的存在是
  • Java中的List g21121 java
            List是一个有序的 collection（也称为序列）。此接口的用户可以对列表中每个元素的插入位置进行精确地控制。用户可以根据元素的整数索引（在列表中的位置）访问元素，并搜索列表中的元素。         与 set 不同，列表通常允许重复
  • 读书笔记 永夜-极光 读书笔记
       1.  K是一家加工厂,需要采购原材料,有A,B,C,D 4家供应商,其中A给出的价格最低,性价比最高,那么假如你是这家企业的采购经理,你会如何决策?          传统决策: A:100%订单  B,C,D:0%     &nbs
  • centos 安装 Codeblocks 随便小屋 codeblocks
    1.安装gcc,需要c和c++两部分,默认安装下,CentOS不安装编译器的,在终端输入以下命令即可yum install gccyum install gcc-c++   2.安装gtk2-devel,因为默认已经安装了正式产品需要的支持库,但是没有安装开发所需要的文档.yum install gtk2* 3. 安装wxGTK    yum search w
  • 23种设计模式的形象比喻 aijuans 设计模式
    1、ABSTRACT FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory 　　工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：
  • 开发管理 CheckLists aoyouzi 开发管理 CheckLists
    开发管理 CheckLists(23) -使项目组度过完整的生命周期 开发管理 CheckLists(22) -组织项目资源 开发管理 CheckLists(21) -控制项目的范围开发管理 CheckLists(20) -项目利益相关者责任开发管理 CheckLists(19) -选择合适的团队成员开发管理 CheckLists(18) -敏捷开发 Scrum Master 工作开发管理 C
  • js实现切换 百合不是茶 JavaScript栏目切换
    js主要功能之一就是实现页面的特效,窗体的切换可以减少页面的大小,被门户网站大量应用思路: 1,先将要显示的设置为display:bisible 否则设为none 2,设置栏目的id ,js获取栏目的id,如果id为Null就设置为显示 3,判断js获取的id名字;再设置是否显示   代码实现:   html代码: <di
  • 周鸿祎在360新员工入职培训上的讲话 bijian1013 感悟项目管理人生职场
            这篇文章也是最近偶尔看到的，考虑到原博客发布者可能将其删除等原因，也更方便个人查找，特将原文拷贝再发布的。“学东西是为自己的，不要整天以混的姿态来跟公司博弈，就算是混，我觉得你要是能在混的时间里，收获一些别的有利于人生发展的东西，也是不错的，看你怎么把握了”，看了之后，对这句话记忆犹新。  &
  • 前端Web开发的页面效果 Bill_chen htmlWebMicrosoft
    1.IE6下png图片的透明显示： <img src="图片地址" border="0" style="Filter.Alpha(Opacity)=数值(100),style=数值(3)"/> 或在<head></head>间加一段JS代码让透明png图片正常显示。 2.<li>标
  • 【JVM五】老年代垃圾回收：并发标记清理GC(CMS GC) bit1129 垃圾回收
      CMS概述 并发标记清理垃圾回收(Concurrent Mark and Sweep GC）算法的主要目标是在GC过程中，减少暂停用户线程的次数以及在不得不暂停用户线程的请夸功能，尽可能短的暂停用户线程的时间。这对于交互式应用，比如web应用来说，是非常重要的。   CMS垃圾回收针对新生代和老年代采用不同的策略。相比同吞吐量垃圾回收，它要复杂的多。吞吐量垃圾回收在执
  • Struts2技术总结 白糖_ struts2
      必备jar文件 早在struts2.0.*的时候，struts2的必备jar包需要如下几个： commons-logging-*.jar   Apache旗下commons项目的log日志包 freemarker-*.jar          
  • Jquery easyui layout应用注意事项 bozch jquery浏览器easyuilayout
    在jquery easyui中提供了easyui-layout布局，他的布局比较局限，类似java中GUI的border布局。下面对其使用注意事项作简要介绍：      如果在现有的工程中前台界面均应用了jquery easyui，那么在布局的时候最好应用jquery eaysui的layout布局，否则在表单页面（编辑、查看、添加等等）在不同的浏览器会出
  • java-拷贝特殊链表：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ bylijinnan java
    public class CopySpecialLinkedList { /** * 题目：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ 拷贝pNext指针非常容易，所以题目的难点是如何拷贝pRand指针。 假设原来链表为A1 -> A2 ->... -> An，新拷贝
  • color Chen.H JavaScripthtmlcss
    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"  "http://www.w3.org/TR/html4/loose.dtd">    <HTML>    <HEAD>&nbs
  • [信息与战争]移动通讯与网络 comsci 网络
          两个坚持:手机的电池必须可以取下来                光纤不能够入户,只能够到楼宇       建议大家找这本书看看:<&
  • oracle flashback query(闪回查询) daizj oracleflashback queryflashback table
    在Oracle 10g中，Flash back家族分为以下成员： Flashback Database Flashback Drop Flashback Table Flashback Query(分Flashback Query,Flashback Version Query，Flashback Transaction Query) 下面介绍一下Flashback Drop 和Flas
  • zeus持久层DAO单元测试 deng520159 单元测试
    zeus代码测试正紧张进行中,但由于工作比较忙,但速度比较慢.现在已经完成读写分离单元测试了,现在把几种情况单元测试的例子发出来,希望有人能进出意见,让它走下去. 本文是zeus的dao单元测试: 1.单元测试直接上代码   package com.dengliang.zeus.webdemo.test; import org.junit.Test; import o
  • C语言学习三printf函数和scanf函数学习 dcj3sjt126com cprintfscanflanguage
    printf函数 /* 2013年3月10日20:42:32 地点：北京潘家园 功能： 目的： 测试%x %X %#x %#X的用法 */ # include <stdio.h> int main(void) { printf("哈哈！\n"); // \n表示换行 int i = 10; printf
  • 那你为什么小时候不好好读书? dcj3sjt126com life
    dady, 我今天捡到了十块钱, 不过我还给那个人了 good girl! 那个人有没有和你讲thank you啊 没有啦....他拉我的耳朵我才把钱还给他的, 他哪里会和我讲thank you   爸爸, 如果地上有一张5块一张10块你拿哪一张呢.... 当然是拿十块的咯... 爸爸你很笨的, 你不会两张都拿   爸爸为什么上个月那个人来跟你讨钱, 你告诉他没
  • iptables开放端口 Fanyucai linuxiptables端口
    1，找到配置文件 vi /etc/sysconfig/iptables   2，添加端口开放，增加一行，开放18081端口 -A INPUT -m state --state NEW -m tcp -p tcp --dport 18081 -j ACCEPT   3，保存 ESC :wq!   4，重启服务 service iptables
  • Ehcache（05）——缓存的查询 234390216 排序ehcache统计query
    缓存的查询 目录 1.    使Cache可查询 1.1     基于Xml配置 1.2     基于代码的配置 2     指定可搜索的属性 2.1     可查询属性类型 2.2 &
  • 通过hashset找到数组中重复的元素 jackyrong hashset
      如何在hashset中快速找到重复的元素呢?方法很多，下面是其中一个办法： int[] array = {1,1,2,3,4,5,6,7,8,8}; Set<Integer> set = new HashSet<Integer>(); for(int i = 0
  • 使用ajax和window.history.pushState无刷新改变页面内容和地址栏URL lanrikey history
    后退时关闭当前页面 <script type="text/javascript"> jQuery(document).ready(function ($) {         if (window.history && window.history.pushState) {
  • 应用程序的通信成本 netkiller.github.com 虚拟机应用服务器陈景峰netkillerneo
    应用程序的通信成本 什么是通信 一个程序中两个以上功能相互传递信号或数据叫做通信。 什么是成本 这是是指时间成本与空间成本。 时间就是传递数据所花费的时间。空间是指传递过程耗费容量大小。 都有哪些通信方式 全局变量 线程间通信 共享内存 共享文件 管道 Socket 硬件（串口，USB） 等等 全局变量 全局变量是成本最低通信方法，通过设置
  • 一维数组与二维数组的声明与定义 恋洁e生 二维数组一维数组定义声明初始化
    /**  *  */ package test20111005; /**  * @author FlyingFire  * @date:2011-11-18 上午04:33:36  * @author ：代码整理  * @introduce :一维数组与二维数组的初始化  *summary：  */ public c
  • Spring Mybatis独立事务配置 toknowme mybatis
    在项目中有很多地方会使用到独立事务，下面以获取主键为例   （1）修改配置文件spring-mybatis.xml  <!-- 开启事务支持 -->  <tx:annotation-driven transaction-manager="transactionManager" />   &n
  • 更新Anadroid SDK Tooks之后，Eclipse提示No update were found xp9802 eclipse
    使用Android SDK Manager 更新了Anadroid SDK Tooks 之后， 打开eclipse提示 This Android SDK requires Android Developer Toolkit version 23.0.0 or above, 点击Check for Updates  检测一会后提示 No update were found 
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他