Python&LLM

本地推理,单机运行,MacM1芯片系统基于大语言模型C++版本LLaMA部署“本地版”的ChatGPT

OpenAI公司基于GPT模型的ChatGPT风光无两，眼看它起朱楼，眼看它宴宾客，FaceBook终于坐不住了，发布了同样基于LLM的人工智能大语言模型LLaMA，号称包含70亿、130亿、330亿和
2301_77550592·2023-07-17 13:51

LLM Prompt Technique 论文精读-2

LLMPromptTechnique论文精读-1QLoRA:EfficientFinetuningofQuantizedLLMs链接：https://arxiv.org/abs/2305.14314标题：QLoRA:高效量化LLM
Zeeland·2023-07-17 13:19

开源 sysgrok — 用于分析、理解和优化系统的人工智能助手

作者：SeanHeelan在这篇文章中，我将介绍sysgrok，这是一个研究原型，我们正在研究大型语言模型(LLM)（例如OpenAI的GPT模型）如何应用于性能优化、根本原因分析和系统工程领域的问题。
Elastic 中国社区官方博客·2023-07-17 12:40

微软开源了一个 助力开发LLM 加持的应用的 工具包 semantic-kernel

非常重要的一点是这些产品都是使用.NET构建的，这些项目可以快速的使用LLM加持，
2301_77550592·2023-07-17 12:25

使用 LangChain、Pinecone 和 LLM（如 GPT-4 和 ChatGPT）构建基于文档的问答系统

目录一、简介二、为什么语义搜索+GPT问答比微调GPT更好？2.1、更广泛的知识覆盖：2.2、特定于上下文的答案：2.3、适应性2.4、更好地处理模糊查询三、LangChain模块四、设置环境五、加载文档六、分割文档七、使用OpenAI嵌入文档八、使用Pinecone进行向量搜索九、查找相似的文档十、使用LangChain和OpenAILLM进行问答十一、示例查询和答案十二、结论一、简介今天我们将
技术狂潮AI·2023-07-17 01:05

embedding和向量数据库(pinecone)

embedding和向量数据库(pinecone)玩了这么久的gpt，大家多少都会发现使用过程中有一些尴尬的点：LLM的训练数据是有ddl的，无法获取到最新的一些信息LLM不知道答案，开始放飞自我，出现
学习3人组·2023-07-17 00:03

LLM - 读取 Lora 模型进行文本生成

目录一.引言二.Lora模型文本生成1.模型读取1.1AutoModelForCausalLM.from_pretrained1.2PeftModel.from_pretrained2.文本生成2.1Tokenizer2.2model.generate3.输出实践三.总结一.引言前面介绍了使用Baichuan7B从样本生成到Lora模型微调和存储的流程，本文介绍基于Lora得到的微调模型进行文本生
BIT_666·2023-07-17 00:02

大模型基础之大语言模型的进展

关键字：LLM大语言模型，fine-tuning微调预训练语言模型的两种范式1特征提取器提取语言的特征和表示，作为下游模型的输入。例如有名的word2vec模型。
只要开始永远不晚·2023-07-17 00:54

四两拨千斤，训练大模型的PEFT方法

自然语言处理进入大语言模型（LargeLanguageModel,LLM）时代之后，模型的参数量级越来越庞大，以稍早之前的GPT-3为例，它有175B即1亿7千5百万参数，而ChatGPT及后续模型则更大
从流域到海域·2023-07-16 22:17

论文笔记--Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks

论文笔记--Goat:Fine-tunedLLaMAOutperformsGPT-4onArithmeticTasks1.文章简介2.文章概括3文章重点技术3.1LLM的选择3.2算数任务的可学习性(learnability
Isawany·2023-07-16 18:56

LangChain：使用自然语言查询数据库

目录前言LangChain介绍为什么选择LangChainLangChain的结构代理SQLDatabaseAgent数据库模式和资源导入必要的库连接到数据库：设置LLM、工具包和代理执行器：使用自然语言查询数据库
技术狂潮AI·2023-07-16 17:49

【LLM】Langchain使用[二]（模型链）

文章目录1.SimpleSequentialChain2.SequentialChain3.路由链RouterChainReference1.SimpleSequentialChain场景：一个输入和一个输出fromlangchain.chat_modelsimportChatOpenAI#导入OpenAI模型fromlangchain.promptsimportChatPromptTemplat
山顶夕景·2023-07-16 17:17

LLM - Baichuan7B Lora 训练详解

tokenizer加载2.加载DataSet与Model3.Model参数配置4.获取peftModel5.构造Trainer训练6.训练完整代码四.Shell执行1.脚本构建2.训练流程3.训练结果五.总结一.引言LLM-Baichuan7BTokenizer
BIT_666·2023-07-16 17:37

LangChain 本地化方案 - 使用 ChatYuan-large-v2 作为 LLM 大语言模型

一、ChatYuan-large-v2模型ChatYuan-large-v2是一个开源的支持中英双语的功能型对话语言大模型，与其他LLM不同的是模型十分轻量化，并且在轻量化的同时效果相对还不错，仅仅通过
小毕超·2023-07-16 16:01

生成式AI：大语言模型ChatGPT交互的机制

制作提示，与大型语言模型（LLM）（如ChatGPT）交互的机制，并不是它最初看起来的简单语法任务。在与ChatGPT的第一次交换的新颖性之后，很明显需要练习和考虑才能迅速掌握。因此，开发流程以创建最
ygtu2018·2023-07-16 16:28

MOSS-RLHF实现大模型和人类价值观对齐

以ChatGPT为代表的大型语言模型（LLM）在各项任务上的高效表现彰显了其广阔发展前景。然而，大模型回复与人类价值偏好经常存在不一致问题。
sam5198·2023-07-16 13:26

LangChain 完整指南：使用大语言模型构建强大的应用程序

它提供了一套工具、组件和接口，可简化创建由大型语言模型(LLM)和聊天模型提供支持的应用程序的过程。
手把手教你学AI·2023-07-16 11:16

LangChain（5）Conversational Agents

LargeLanguageModels(LLMs)在语义知识方面表现不错，但也有一些不足，如：不能正确计算数学公式、无法获取最新知识新闻通过Agents可以赋予LLMs更多能力，让LLM能够计算、上网查询
小何才露尖尖角·2023-07-16 11:45

langchain源码阅读系列（一）之LLM输入输出管理

从本节开始我将对langchian各个模块对照源码进行介绍，首先看ModelI/O模块LLM应用构建实践笔记
莫尔索随笔·2023-07-16 11:45

【LLM】Langchain使用[三]（基于文档的问答）

文章目录一、基于文档的问答1.创建向量存储2.不同类型的chain链二、本地知识库问答Reference一、基于文档的问答1.创建向量存储使用DockArray内存搜索向量存储，作为一个内存向量存储，不需要连接外部数据库创建向量存储：导入一个索引，即向量存储索引创建器fromlangchain.chainsimportRetrievalQA#检索QA链，在文档上进行检索fromlangchain.
山顶夕景·2023-07-16 11:41

【LLM】Langchain使用[一]（模型、提示和解析器、存储）

note文章目录note零、LangChain介绍一、模型、提示和解析器1.提示2.使用langchain写提示3.输出解析器4.链式思考推理(ReAct)二、存储1.对话缓存存储2.对话缓存窗口存储3.对话token缓存存储4.对话摘要缓存存储Reference零、LangChain介绍为各种不同基础模型提供统一接口帮助管理提示的框架一套中心化接口，用于处理长期记忆（参见Memory）、外部数据
山顶夕景·2023-07-16 11:11

自然语言处理从入门到应用——LangChain：代理（Agents）-[代理类型]

分类目录：《自然语言处理从入门到应用》总目录代理使用LLM来确定应采取哪些操作以及以何顺序执行这些操作。动作可能是使用工具并观察其输出，或向用户返回响应。
von Neumann·2023-07-16 05:10

从大型语言模型LLM走向人工通用智能AGI的改进方向（public）

返回论文和资料目录1.导读这篇博客主要基于《SparksofArtificialGeneralIntelligence:EarlyexperimentswithGPT-4》文中第9和第10节、以及我自己对当前LLM
小怪兽会微笑·2023-07-16 05:02

LangChain大型语言模型(LLM)应用开发(一)：Models, Prompts and Output Parsers

它提供了一套工具、组件和接口，可简化创建由大型语言模型(LLM)和聊天模型提供支持的应用程序的过程。LangChain可以轻松管理与语言模型的交互，将多个组件链接在一起，以便在不同的应用程序中使用。
-派神-·2023-07-16 02:29

chatglm+langchain+互联网，你可以将大模型接入网络了

最近发现一个好的项目，可以直接将大模型接入互联网，笔者这么极客的人，肯定不会错过，使用了一下，哈哈先来看看界面，使用streamlit包构建的页面目前支持，纯llm聊天，还有sd插件生成图片，然后就是接入互联网
weixin_39394916·2023-07-16 01:59

langchain-chatglm上传word文档异常处理

文章目录1.langchain-chatglm本地部署2.langchain的UnstructuredFileLoader\UnstructuredWordDocumentLoader最近LLM模型非常火
爱在一瞬间·2023-07-16 01:24

LangChain大型语言模型(LLM)应用开发(六)：Agents

它提供了一套工具、组件和接口，可简化创建由大型语言模型(LLM)和聊天模型提供支持的应用程序的过程。LangChain可以轻松管理与语言模型的交互，将多个组件链接在一起，以便在不同的应用程序中使用。
-派神-·2023-07-16 00:52

CSDN-AI小组2023-半年-研发总结

目录1.丐版「大模型」，Proofofconcept2.LLM和AIGC的各种综述3.基于Embedding的应用，问答，AI编程4.评论区的AI助手5.结合AIGC的各种数据自动计算6.个性化推荐的系统重构
幻灰龙·2023-07-16 00:49

给LLM装上知识：从LLM+LangChain的本地知识库问答到LLM与知识图谱的结合

前言过去半年，随着ChatGPT的火爆，直接带火了整个LLM这个方向，然LLM毕竟更多是基于过去的经验数据预训练而来，没法获取最新的知识，以及各企业私有的知识为了获取最新的知识，ChatGPTplus版集成了
v_JULY_v·2023-07-15 17:50

大语言模型排行榜 | Vicuna夺冠，清华ChatGLM进前5！（UC伯克利发布）

顾名思义，「LLM排位赛」就是让一群大语言模型随机进行battle，并根据它们的Elo得分进行排名。然后，我们就能一眼看出，某个聊天机器
机器学习与AI生成创作·2023-07-15 16:17

大语言模型介绍(一)

大语言模型(英语：largelanguagemodel，LLM)是一种语言模型，由具有许多参数（通常数十亿个权重或更多）的神经网络组成，使用自监督学习或半监督学习对大量未标记文本进行训练。
kissshot13·2023-07-15 16:46

AN OVERVIEW OF LANGUAGE MODELS RECENT DEVELOPMENTS AND OUTLOOK

LLM系列相关文章，针对《ANOVERVIEWOFLANGUAGEMODELS:RECENTDEVELOPMENTSANDOUTLOOK》的翻译。
UnknownBody·2023-07-15 12:25

LangChain（3）对话缓存方式 Conversational Memory

LLM默认是无状态的，即询问当前的问题与上下文无关，当我们需要将多轮对话信息给到LLM时，就需要使用缓存Memory。缓存方式有多种。
小何才露尖尖角·2023-07-15 12:14

LangChain大型语言模型(LLM)应用开发(四)：Q&A over Documents

它提供了一套工具、组件和接口，可简化创建由大型语言模型(LLM)和聊天模型提供支持的应用程序的过程。LangChain可以轻松管理与语言模型的交互，将多个组件链接在一起，以便在不同的应用程序中使用。
-派神-·2023-07-15 12:39

InstructGPT：语言模型的人类反馈指令对齐

然而LLM
酷酷的群·2023-07-15 00:36

【LLM】大模型中的温度系数是啥玩意

文章目录一、LLM中的温度系数二、代码举例Reference一、LLM中的温度系数temperature参数控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率；其值越大
山顶夕景·2023-07-15 00:43

自然语言处理从入门到应用——LangChain：代理（Agents）-[基础知识]

分类目录：《自然语言处理从入门到应用》总目录有些应用程序不仅需要预先确定的LLM或其他工具调用链，而且可能需要根据用户输入的不同而产生不同的链条。在这些类型的链条中，有一个“代理”可以访问一套工具。
von Neumann·2023-07-14 21:39

利用 Elasticsearch、ESRE、LLM 和 LangChain 加速制药行业的研发 — 第 1 部分

作者：ValerioArvizzigno,DimitriMarx,FrancescoDiStefano这是一篇通过生成式AI/LLM、自定义模型和Elasticsearch相关性引擎(ESRE)支持制药行业更快的药物创新和发现的综合指南
Elastic 中国社区官方博客·2023-07-14 21:08

什么是提示工程？

即使是最有成就的技术专家也会对大型语言模型(LLM)的意想不到的能力感到困惑，大型语言模型是ChatGPT等人工智能聊天机器人的基本构建模块。
wwlsm_zql·2023-07-14 20:16

大语言模型调研

其愿景是通过LLM引擎为每个人提供帮助。为了实现这个目标，该项目基于开源预训练大语言模型，如BLOOM和LLAMA，进行了中文优化。模型调优过程仅使用由ChatGPT生产的数据，而不包含任何其他数据，
kafkabalu·2023-07-14 19:40

吴恩达 ChatGPT Prompt Engineering for Developers 系列课程笔记--01 Introduction

01课程介绍Introduction1)两种LLM(LargeLanguageModels)BaseLLM：根据训练数据自动预测下一个单词。
Isawany·2023-07-14 19:30

吴恩达ChatGPT《LangChain for LLM Application Development》笔记

基于LangChain的LLM应用开发1.介绍现在，使用Prompt可以快速开发一个应用程序，但是一个应用程序可能需要多次写Prompt，并对LLM的输出结果进行解析。因此，需要编写很多胶水代码。
datamonday·2023-07-14 19:53

开源LLM大模型微调简明教程

这些大型语言模型（通常称为LLM）开启了自然语言处理的许多可能性。推荐：用NSDT设计器快速搭建可编程3D场景。1、什么是大型语言模型或LLM？
新缸中之脑·2023-07-14 17:59

基于LLM大模型开发Web App生成器

1、在Node应用程序中使用LLM虽然我们通常将Python视为与AI和ML相关的所有内容，但Web开发社区严重依赖JavaScript和Node.js。以下是你可以在此平台上使用大
新缸中之脑·2023-07-14 17:58

数字人解决方案——实时对话数字人源码与环境配置

技术流程大概如下图：其实最重要的一环应该属于LLM(大型语言模型)，LLM相当于一个人的意识，如果没有LLM,这一套完全没有深度。
知来者逆·2023-07-14 16:38

使用 PostgreSQL pgvector 和 Amazon SageMaker 构建 AI 驱动的搜索应用

各行各业的组织正在寻求利用生成式人工智能（GenerativeAI）和大型语言模型（LLM）的巨大潜力，显著改进用户体验的新方法。在时尚行业，生成式人工智能完全改变了创作过程。
亚马逊云开发者·2023-07-14 15:50

当 MQTT 遇上 ChatGPT：探索可自然交互的物联网智能应用

近期，由OpenAI发布的ChatGPT、GPT-3.5和GPT-4等先进大语言模型（LLM）及其应用在全球范围内迅速普及，为通用人工智能（AGI，ArtificialGeneralIntelligence
EMQX·2023-07-14 14:42

ChatGLM-6B+LangChain实战

目标：原始使用ChatGLM-6B可接受的文字长度有限，打算结合LangChain实现长文本生成摘要.方法：step1：自定义一个GLM继承LangChain中的langchain.llms.base.LLM
stay_foolish12·2023-07-14 13:02

Langchain-ChatGLM配置文件参数测试

1已知可能影响对话效果的参数（位于configs/model_config.py文件）：#文本分句长度SENTENCE_SIZE=100#匹配后单段上下文长度CHUNK_SIZE=250#传入LLM的历史记录长度
Raine_Yang·2023-07-14 13:27

什么是从人类反馈中强化学习（RLHF）？

自从OpenAI公司发布ChatGPT以来，人们对大型语言模型(LLM)的这一重大进步感到兴奋。
冲浪中台·2023-07-14 12:10
上一页 96 97 98 99 100 101 102 103 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他