Python&LLM

LangChain+LLM实战---Embedding Model

原文地址：ChoosingtheRightEmbeddingModel:AGuideforLLMApplications什么是向量Embedding在AI聊天机器人的开发领域中，向量Embedding在获取文本信息的本质方面起着关键作用。向量Embedding的核心是指在数学空间中将单词、句子甚至整个文档表示为密集的低维向量的过程。与依赖于稀疏表示(如one-hot编码)的传统方法不同，向量Emb
lichunericli·2023-11-05 18:57

LangChain+LLM实战---向量数据库介绍

原文：VectorDatabasesEmbeddings是由人工智能模型(如大型语言模型)生成的，具有大量的属性或特征，使其表示难以管理。在人工智能和机器学习的背景下，这些特征代表了数据的不同维度，这些维度对于理解模式、关系和底层结构至关重要。这就是为什么我们需要一个专门为处理这类数据而设计的专门数据库。向量数据库通过为Embeddings提供优化的存储和查询功能来满足这一要求。向量数据库具有传统
lichunericli·2023-11-05 18:27

LangChain+LLM实战---实用Prompt工程讲解

原文：PracticalPromptEngineering注：本文中，提示和prompt几乎是等效的。这是一篇非常全面介绍Prompt的文章，包括prompt作用于大模型的一些内在机制，和prompt可以如何对大模型进行“微调”。讲清楚了我们常常听到的一些名词的具体意思，包括zero-shot、few-shot、微调、对齐、指令、角色扮演等等。文章主要目的是为了让大家可以通过prompt工程来提高
lichunericli·2023-11-05 17:53

【LLM】预训练||两句话明白儿的底层原理

预训练鼻祖阶段：目前认为是Bert时期从字面上看，预训练模型（pre-trainingmodel）是先通过一批语料进行训练模型，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：预训练阶段（pre-training）和微调（fune-tuning）阶段。预训练阶段一般会在超大规模的语料上，采用无监督（unsupervised）
思考实践·2023-11-05 16:01

【LLM】大模型中的温度系数temperature是啥玩意||底层逻辑

【LLM】大模型中的温度系数是啥玩意_山顶夕景的博客-CSDN博客大佬两句话就讲明白了，厉害~总结一下就是crossentropy里面引入t如下页ppt公式所示，t越大，每个词都有更大的概率被使用，也就体现出了多样性
思考实践·2023-11-05 16:00

【LLM】大语言模型高效微调方案Lora||直击底层逻辑

大白话:DL的本质就是矩阵的乘法，就能实现LLM,假设两个矩阵都很大，一个mxn,一个nxd的矩阵，m,n,d这几个数字可能几千甚至上万的场景，计算起来代价很大，如果我们可以small这些数字，缩小到10
思考实践·2023-11-05 15:54

Instruction Tuning for Large Language Models_ A Survey

Abstract本文综述了快速发展的指令微调(IT)领域的研究工作，IT是增强大型语言模型(LLM)的能力和可控性的关键技术。
藏星万朵·2023-11-05 14:07

【ChatOCR】OCR+LLM定制化关键信息抽取（附开源大语言模型汇总整理）

目录背景技术方案存在的问题及解决思路关键信息提取结果其他解决方案替换文心一言LangChain大型多模态模型（LargeMultimodalModel,LMM）开源大模型汇总LLaMA——Meta大语言模型StanfordAlpaca——指令调优的LLaMA模型Lit-LLaMA——基于nanoGPT的语言模型GPT4All——基于LLaMA的大语言模型Chinese-LLaMAGLM——用于自然
liuz_notes·2023-11-05 14:04

Langchain+ElasticSearch+文心千帆 构建检索增强LLM Agent

Background很早就开始做检索增强的大语言模型Agent了，通过外接知识库为LLM提供外部知识能增强它回答的准确性。
。未央·2023-11-05 12:57

面向小白的本地部署大模型完整教程：LangChain + Streamlit+ LLama

在过去的几个月里，大型语言模型(llm)获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。
欣一2002·2023-11-05 12:53

从LangChain+LLM的本地知识库问答到LLM与知识图谱、数据库的结合

前言过去半年，随着ChatGPT的火爆，直接带火了整个LLM这个方向，然LLM毕竟更多是基于过去的经验数据预训练而来，没法获取最新的知识，以及各企业私有的知识为了获取最新的知识，ChatGPTplus版集成了
u013250861·2023-11-05 12:20

LangChain+LLM实战---ChatGPT的即时插件套件制作

英文原文：InstantPluginsforChatGPT:IntroducingtheWolframChatGPTPluginKit在一分钟内构建一个新插件几周前，我们与OpenAI合作发布了Wolfram插件，使ChatGPT可以使用Wolfram语言和Wolfram|Alpha作为工具，在ChatGPT内部自动调用。可以将其视为向ChatGPT添加广泛的“计算超能力”，从而让它获得Wolfr
lichunericli·2023-11-05 12:19

LangChain+LLM实战---Midjourney高级技巧的极简教程

原文：AnadvancedguidetowritingpromptsforMidjourney(text-to-image)作者：LarsNielsenMidjourney生成的图像，文本Prompt：beautiful,fantasycityunrealengine一句话介绍midjourney?对于那些还没有听说过Midjourney的人，这里是一个简短介绍：Midjourney是一款文本到图
lichunericli·2023-11-05 12:48

LangChain+LLM实战---Midjourney(v5.1) Prompt深度剖析

原文：AnatomyofMidjourneyPromps:In-DepthStudyforeffectivePromptingStrategies—V5.1examples作者：MichaelKing你是否曾经发现自己盯着Midjourney的空白画布，手指悬停在键盘上，让我问自己：“我应该问这个东西什么？”我也曾经有过同样的经历，朋友。就像站在一个售卖艺术品的自动贩卖机前一样，但你需要喂它文字而
lichunericli·2023-11-05 12:48

LangChain+LLM实战---如何训练大模型（LLM）

在本文中，我们将概述我们如何训练LLM（
lichunericli·2023-11-05 12:18

LangChain+LLM实战---部署本地大模型(基于Langchain)

原文：TrainingYourOwnLLMusingprivateGPT作者：Wei-MengLee了解如何在不向提供者公开私有数据的情况下训练自己的语言模型使用公共AI服务(如OpenAI的ChatGPT)的主要问题之一是将您的私人数据暴露给提供商的风险。对于商业用途，这仍然是考虑采用AI技术的公司最担心的问题。很多时候，您希望创建自己的语言模型，该模型是根据您的数据集(例如销售见解，客户反馈等
lichunericli·2023-11-05 12:13

LangChain 版 Auto-GPT 学习笔记

实战：LangChain版Auto-GPTAuto-GPT项目定位与价值解读Auto-GPT是一个开源项目，旨在利用GPT-3和其他大型语言模型（LLM）来自动生成代
weixin_58038421·2023-11-05 10:25

AI时代新宠，向量数据库

随着生成式人工智能（GAI）应用以及大语言模型（LLM）的快速发展，一种新型数据库也获得了市场和资本的重点关注，它就是向量数据库（VectorDatabase）。
不剪发的Tony老师·2023-11-05 06:08

中文大语言模型汇总

推荐一篇非常棒的github：Awesome-Chinese-LLM另附语言模型排行榜：FastChat里面总结了几乎所有目前主流的中文大语言模型。在此记录一下，方便以后慢慢学习。
Hilbob·2023-11-05 03:28

【腾讯云HAI域探秘】速通腾讯云HAI

在HA]中，根据应用智能匹配并推选出最适合的GPU算力资源，以确保您在数据科学、LLM、AI作画等高性能应用中获得最佳性价比此外，HAI的一键部署特性让您可以在短短几分钟内构
指剑·2023-11-05 02:17

【腾讯云HAI域探秘】速通腾讯云HAI

在HA]中，根据应用智能匹配并推选出最适合的GPU算力资源，以确保您在数据科学、LLM、AI作画等高性能应用中获得最佳性价比此外，HAI的一键部署特性让您可以在短短几分钟内构
指剑·2023-11-05 02:13

利用大语言模型（LLM ）提高工作效率

大语言模型（LLM）的好处是让寻求答
软件测试潇潇·2023-11-04 22:09

LLM系列 | 03：实测讯飞星火、文心一言、bing chat和chatgpt

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。今天这篇小作文主要是为了庆祝网上铺天盖地高呼666和999的讯飞版ChatGPT：星火的诞生。
JasonLiu1919·2023-11-04 18:46

LLM系列 | 26：阿里千问Qwen模型解读、本地部署

引言简介预训练数据来源预处理分词模型设计外推能力模型训练实验结果部署实测对齐监督微调(SFT)RM模型强化学习对齐结果(自动和人工评估)自动评估人工评估部署实测总结引言人生自是有情痴，此恨不关风与月。今天这篇小作文主要介绍中文大模型阿里千问Qwen，具体包括模型细节解读和实战这2部分。如需与小编进一步交流(包括完整代码获取)，可以通过主页添加小编好友。简介Qwen是一个全能的语言模型系列，包含各种
JasonLiu1919·2023-11-04 18:44

英伟达发布 Windows 版 TensorRT-LLM 库

导读英伟达发布了Windows版本的TensorRT-LLM库，称其将大模型在RTX上的运行速度提升4倍。
分享IT资源·2023-11-04 17:03

我用 LangChain 打造自己的 LLM 应用项目

随着LLM的技术发展，其在业务上的应用越来越关键，通过LangChain大大降低了LLM应用开发的门槛。
机器学习社区·2023-11-04 17:08

PaddleMIX学习笔记(1)

写在前面之前对HyperLedger的阅读没有完全结束，和很多朋友一样，同时也因为工作的需要，最近开始转向LLM方向。
yyri·2023-11-04 15:53

又一大语言模型上线！一次可读35万汉字！

10月30日，百川智能正式发布Baichuan2-192K长窗口大模型，将大语言模型（LLM）上下文窗口的长度一举提升到了192Ktoken。
机器学习社区·2023-11-04 11:05

我的大语言模型微调踩坑经验分享

当下开源的LLM（Largelanguagemodel）非常多，可谓是百模大战。面对诸多开源本地模型，根据自己的需求，选择适合自己的基座模型和参数量很重要。
机器学习社区·2023-11-04 11:05

如何控制 LLM 的输出格式和解析其输出结果？

现在很多人对于如何使用像ChatGPT这样的LLM已经比较有经验了，可以使用各种不同的Prompt得到自己想要的结果。
rongyili88·2023-11-04 10:38

LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM

在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展（可以参考之前写的LLM推理部署（一）：LLM七种推理服务框架总结
wshzd·2023-11-04 03:01

LLM之Prompt（一）：5个Prompt高效方法在文心一言3.5的测试对比

在EffectivePrompt:编写高质量Prompt的14个有效方法文中我们了解了14个编写Prompt的方法（非常感谢原作者），那么这些Prompt在具体大模型中的效果如何呢？本文以百度文心一言3.5版本大模型在其中5个方法上做个测试对比。第1条：明确“好结果”的标准第2条：精准表达任务指令第3条：为否定句设置兜底策略第4条：指定模型所扮演的角色第5条：使用思维链直接计算也可以得出正确的结果
wshzd·2023-11-04 03:00

.NET周报 【5月第4期 2023-05-27】

国内文章C#使用词嵌入向量与向量数据库为大语言模型(LLM)赋能长期记忆实现私域问答机器人落地之openai接口平替https://www.cnblogs.com/gmmy/p/17430613.html
dotNET跨平台·2023-11-04 03:16

多模态：BLIP-2论文讲解

论文讲解IntroductionMethod第一阶段第二阶段实验Introduction多模态学习在近两年我们已经见证了他的快速发展，由于它是视觉-语言的交叉领域，我们自然地期待可以借助目前风头正盛的LLM
HanZee·2023-11-04 03:44

讲座分享｜《追AI的人》——中国科学技术大学张卫明教授分享《人工智能背景下的数字水印》

跨媒介攻击方式（屏摄）文档水印音频水印3D网格水印3D打印水印3D打印实体水印WatermarkforAImodels白盒水印黑盒水印无盒水印攻击方式WatermarkforAIGC大模型生成文本的安全风险LLM
_Meilinger_·2023-11-04 02:44

Langchain-chatchat（开源项目基于知识库的问答）

16G或24G的服务器）这里是用镜像源里chatglm2-6b的模型，需要12.5G的显存（如果想要更长的上下文可以下载charglm2-6b-32k这个模型推理需要20G显存）一共有三种对话模式1.基于LLM
NLPnoproble·2023-11-04 00:52

云智慧联合北航提出智能运维（AIOps）大语言模型及评测基准

如何将LLM的强大特性与特定领域的需求相结合，成为了学术界和工业界密切关注的焦点。近日，云智慧智能研究院与北航合作，共同推出了首个专为运维领域定制的大语言模型——“Owl”，有效提高
云智慧AIOps社区·2023-11-03 20:24

AIGC | 如何用“Flow”，轻松解决复杂业务问题

随着LLM（大语言模型）的爆火，不少企业都在寻找通过LLM解决企业业务问题的方法，以达到降本增效的效果。
极光JIGUANG·2023-11-03 18:24

知识图谱与大模型结合方法概述

《UnifyingLargeLanguageModelsandKnowledgeGraphs:ARoadmap》总结了大语言模型和知识图谱融合的三种路线：1）KG增强的LLM，可在LLMs的预训练和推理阶段引入
华为云PaaS服务小智·2023-11-03 11:05

Zephyr-7B-β ：类GPT的高速推理LLM

Zephyr是一系列语言模型，经过训练可以充当有用的助手。Zephyr-7B-β是该系列中的第二个模型，是Mistralai/Mistral-7B-v0.1的微调版本，使用直接偏好优化(DPO)在公开可用的合成数据集上进行训练。我们发现，删除这些数据集的内置对齐可以提高MTBench的性能，并使模型更加有用。然而，这意味着该模型在提示时可能会生成有问题的文本，并且只能用于教育和研究目的。你可以在技
新缸中之脑·2023-11-03 10:59

LLMs之HFKR：HFKR(基于大语言模型实现异构知识融合的推荐算法)的简介、原理、性能、实现步骤、案例应用之详细攻略

LLMs之HFKR：HFKR(基于大语言模型实现异构知识融合的推荐算法)的简介、原理、性能、实现步骤、案例应用之详细攻略目录HFKR的简介异构知识融合:一种基于LLM的个性化推荐新方法
一个处女座的程序猿·2023-11-03 09:08

解锁AI语言模型的秘密武器 - 提示工程

文章目录一、LLM概念1.1什么是LLMs1.2LLMs类别1.3如何构建LLM二、提示工程简介2.1基础提示2.2使用提示词的必要性三、提示3.1如何写好提示词3.1.1使用分隔符3.1.2结构化输出
MOLWH·2023-11-03 08:36

Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）

如今大火的语言大模型LLM也都是基于Transformer，但是Transformer中的Q、K、V和多头注意力到底是什么呢？这里简单做个学习记录，进行再一次认识和掌握。
陈子迩·2023-11-03 07:20

AI和软件测试结合-使用LLM将自然语言生成TestCase

曾在工作之余，设想过一个能提升测试流程左侧效率的点子，结合人工智能，将自然语言自动转化为通用的功能用例、接口用例、代码单元测试用例等一系列用例，碰上这2年LLM模型大爆发，遂有自己炼一个用例生成的专用模型的想法
木法星人·2023-11-03 07:28

LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】

前言目前训练超大规模语言模型主要有两条技术路线：TPU+XLA+TensorFlow/JAX和GPU+PyTorch+Megatron-LM+DeepSpeed。前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说，只可远观而不可把玩，后者背后则有NVIDIA、Meta、MS大厂加持，社区氛围活跃，也更受到群众欢迎。上面提到的DeepSpeed的核心是ZeRO(Z
u013250861·2023-11-03 07:41

Kaggle - LLM Science Exam（四）：Platypus2-70B with Wikipedia RAG

文章目录一、赛事概述1.1OpenBookQADataset1.2比赛背景1.3评估方法和代码要求1.4比赛数据集1.5优秀notebook1.6RAG二、Platypus2-70BwithWikipediaRAG（Version8）2.1离线安装依赖2.2导入库并设置常量2.3设置辅助功能2.4SentenceTransformerClass2.5处理测试模式的context2.6创建从Kagg
神洛华·2023-11-03 07:39

RPA、低代码、流程挖掘纷纷引入生成式AI，超自动化迎来LLM时代

3月7日，有个名为Kognitos智能RPA厂商拿到了675万美元融资，自送绰号“生成式AI自动化”先驱。其主要业务，是提供类似ChatGPT的对话式功能，为客户提供更人性化的智能自动化服务。对于Kognitos的绰号，业内人士看后呵呵一笑。谁不知道，微软早已将ChatGPT融合到RPA产品中，也在同一天宣布已将ChatGPT技术扩展到PowerPlatform（包含RPA产品PowerAutom
RPA中国·2023-11-03 02:15

Dify.AI 用户直面会：Dify 产品规划与 LLM 应用落地常见问题

交流会主要围绕Dify的产品规划、用户对于LLM的探索和理解、用户使用Dify过程中遇到的问题和困惑等方面展开讨论。相信对所有基于LLM或Dify创造应用的小伙伴们都能提供很好的思路和借鉴。
Dify.AI·2023-11-03 02:15

为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）

为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。
CrissChan·2023-11-03 02:45

LLM-微调：Peft库--get_peft_model()--＞在llm基座模型的基础上注入Lora模块（加载流程）【注入的Lora模块的初始参数是随机初始化的】

一、site-packages-->peft-->mapping.py-->get_peft_model()defget_peft_model(model:PreTrainedModel,peft_config:PeftConfig,adapter_name:str="default")->PeftModel:"""ReturnsaPeftmodelobjectfromamodelandaconf
u013250861·2023-11-03 02:13
上一页 71 72 73 74 75 76 77 78 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他