Python&LLM

【LLM】Windows10环境部署阿里通义千问大模型(Qwen-14B-Chat-Int4)

文章目录环境文件准备项目代码模型相关文件运行准备工作运行demoTips环境系统版本：Windows10企业版版本号：20H2系统类型：64位操作系统,基于x64的处理器处理器：Intel®Core™[email protected]机带RAM：16.0GB显卡：NVIDIARTX4080（16G）Python版本：3.10.11文件准备项目代码Git地址：https://github.co
喝不完一杯咖啡·2023-09-27 19:49

抢先体验虚拟角色开发工具，Cocos Persona Editor 开启内测！

不管是元宇宙的美好畅想还是乍一看魔法般神奇的语言大模型(LLM)，再好的产品呈现都需要良好创作内容的加持，而帮助快速孵化优秀内容才应该是工具向产品应该解决的问题。
Cocos 引擎·2023-09-27 17:24

【斯坦福cs324w】中译版 大模型学习笔记八 新的模型架构

符号定义平衡专家示例SwitchTransformerBalancedAssignmentofSparseExperts(BASE)layersGLaMFacebookMoE基于检索的模型RAG参考资料llm
自律版光追·2023-09-27 12:32

9月人工智能论文和项目推荐

因为LLM的火爆，所以最近的论文都是和LLM相关的论文1、LongLoRAhttps://arxiv.org/abs/2309.12307LoRA是人工智能中有效扩展预训练语言模型(llm)上下文大小的一种方法
·2023-09-27 10:18

AIGC应用实践 GPT 生成 PPT(一) : 简介与技术选型

笔者在今年的AIGC应用开发也耕耘了一段时间了,对于大多数人而言也只能算先跑半步我的项目点击前往GitHub支持我就给我点个星星吧试用网址点击试用技术选型磨刀不误砍柴工,让我们准备好了再出发往往比直接做更有效率LLM
沾霞染清霄·2023-09-27 09:30

构建卓越语言模型应用的利器：LangChain | 开源日报 No.39

LLMs和Prompts：包括prompt管理、prompt优化、所有LLM的通用接口以及与LLMs一起使用的常见工具。
开源服务指南·2023-09-27 07:20

优刻得大模型技术实践（四）｜参数高效微调技术解析及AdaLoRA的应用

在上一期的大模型技术实践中，我们为大家介绍了基于“LangChain+LLM”框架快速搭建知识增强后的问答机器人，并探讨了提升模型内容理解和执行能力的潜在优化方向。
·2023-09-26 19:21

LLM - 通俗理解位置编码与 RoPE

目录一.引言二.Why位置编码?三.What绝对位置编码?1.绝对位置编码A.EmbeddingTableB.公式计算2.外推性四.How位置编码？1.直接编号2.乘法表示3.严格的乘法表示4.距离衰减五.That'sRoPE!1.Self-Attention2.RoPE的复数形式3.RoPE的二维形式4.RoPE的多维形式A.矩阵形式B.图例形式5.RoPE的性质验证A.严格的乘法表示B.距离衰
BIT_666·2023-09-26 18:30

4项简化IT服务台任务的ChatGPT功能

什么是ChatGPT和LLM？ChatGPT是OpenAI开发的机器学习模型，它使用基于生成预训练转换器（GPT）架构的大型语言模型（LLM）。ChatGPT以互联网上的海量
Zoho_Manager·2023-09-26 16:30

4项简化IT服务台任务的ChatGPT功能

什么是ChatGPT和LLM？ChatGPT是OpenAI开发的机器学习模型，它使用基于生成预训练转换器（GPT）架构的大型语言模型（LLM）。ChatGPT以互联网上的海量
·2023-09-26 15:32

LLM - Make Causal Mask 构造因果关系掩码

目录一.引言二.make_causal_mask1.完整代码2.Torch.full3.torch.view4.torch.masked_fill_5.past_key_values_length6.TestMain三.总结一.引言CausalMask主要用于限定模型的可视范围，防止模型看到未来的数据。在具体应用中，CausalMask可将所有未来的token设置为零，从注意力机制中屏蔽掉这些令牌
BIT_666·2023-09-26 11:46

如何设计一个 JVM 语言下的 LLM 应用开发框架？以 Chocolate Factory 为例

本文将介绍ChocolateFactory框架背后的一系列想法和思路。在我们探索和设计框架的过程中，受到了：LangChain4j、LangChain、LlamaIndex、SpringAI、SemanticKernel、PromptFlow的大量启发。欢迎一起来探索：https://github.com/unit-mesh/chocolate-factory。顺带一提，在我们的参考架构里，框架/
Phodal·2023-09-26 06:38

RWKV 语言模型：具有 Transformer 优点的 RNN

RWKV可视化浅谈outlier对LLM的影响…RWKV-LM项目地址ChatRWKV聊天项目地址WebUi-ChatRWKV项目地址discord加入此项目首先先解释一下模型为何叫RWK
帅气多汁你天哥·2023-09-26 05:16

LLM-TAP随笔——有监督微调【深度学习】【PyTorch】【LLM】

文章目录5、有监督微调5.1、提示学习&语境学习5.2、高效微调5.3、模型上下文窗口扩展5.4、指令数据构建5.5、开源指令数据集5、有监督微调5.1、提示学习&语境学习提示学习完成预测的三个阶段：提示添加、答案搜索、答案映射提示添加“[X]我感到[Z]”x=“我不小心错过了公共汽车。”x’=“我不小心错过了公共汽车。我感到[Z]”答案搜索Z={“太好了”，“好”，“一般”，“不好”，“糟糕”}
来杯Sherry·2023-09-26 03:04

LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】

文章目录2.大语言模型基础2.1、编码器和解码器架构2.2、注意力机制2.2.1、注意力机制（`Attention`）2.2.2、自注意力机制（`Self-attention`）2.2.3、多头自注意力（`Multi-headedSelf-attention`）2.3、transformer2.4、BERT2.5、GPT2.6、LLaMA2.大语言模型基础2.1、编码器和解码器架构这个架构常用于编
来杯Sherry·2023-09-26 03:03

LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】

文章目录3、语言模型训练数据3.1、词元切分3.2、词元分析算法3、语言模型训练数据数据质量对模型影响非常大。典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。训练数据和测试数据的时间错配会一定程度上影响模型的的效果。3.1、词元切分构建词元表：覆盖绝大部分的输入词，并避免词表过大所造成的数据稀疏问题。BPE将字
来杯Sherry·2023-09-26 03:00

基于通用LLM的一次测试用例自动生成的实验

基于通用LLM的一次测试用例自动生成的实验选择很多，最后选择了讯飞的星火做本次实验，原因还是因为讯飞的LLM的API是有免费额度的，案例代码相对比较成熟易学易用1LLM和基于LLM的应用最近这段实际LLM
CrissChan·2023-09-26 03:56

LLM预训练

网上大量预训练代码都是封装了trainer-deepspeed后的结果，看了也不了解其中所用技术的优化点在哪。本文从最基础的训练过程开始，层层加码并对比。基础版本1.代码fromtransformersimportAutoModel,AutoTokenizerfromtorch.utils.dataimportDataset,DataLoader#模型加载model_path="xxx/glm2"
zhouzhou0929·2023-09-25 23:36

【LangChain】LLM

LangChain学习文档基础【LangChain】LLM概述LLMChain是一个简单的链，它围绕语言模型添加了一些功能。它在整个LangChain中广泛使用，包括在其他链和代理中。
山鬼谣me·2023-09-25 23:05

LLM 基础-transformers 库快速入门

一，Transformers术语1.1，token、tokenization和tokenizer1.2，inputIDs1.3，attentionmask1.4，bos_token、eop_token、pad_token、eos_token1.5，decodermodels1.6，架构与参数二，Transformers功能API概述三，快速上手3.1，transformer模型类别3.2，Pipe
嵌入式视觉·2023-09-25 23:04

LLM基础

LLM:AGI通用人工智能计算不可约性原理监督微调、奖励建模饶毅关于gpthttps://mp.weixin.qq.com/s/Govj_KD_afL_nK9T16nE0wgpt2windows:https
一叶柒刺郎·2023-09-25 23:03

使用 FHE 实现加密大语言模型

近来，大语言模型(LLM)已被证明是提高编程、内容生成、文本分析、网络搜索及远程学习等诸多领域生产力的可靠工具。
Hugging Face·2023-09-25 19:45

代码生成优化：微调Falcon40b

Falcon-40b-Instruct模型基于Falcon40b模型进行微调，用于指令接收和对话任务，在HuggingFace的LLM基准测试中名列前茅，仅次于基于Meta的非开源Llama系列的模型。
·2023-09-25 18:55

MLC-LLM大语言模型部署实战（基于CUDA）

1.简介MLC-LLM为5月初开源的一款基于ApacheTVMUnity、专门用于在不同硬件设备上部署大语言模型的框架；github仓库：https://github.com/mlc-ai/mlc-llmMLC-LLM
wangx569·2023-09-25 16:29

【原创】MLC LLM AI 本地部署

sudoaptinstallgccsudoaptinstallgitgit-lfssudoaptinstallzipunzipsudoaptinstallcargoccachecmakelib64gcc-12-devlibgcc-12-devsudoaptinstallcuda-toolkit-12-1cudacuda-toolkit-12-1cuda-keyringsudoaptinstalll
zhipeng-python·2023-09-25 16:58

基于KubeFATE的FATE-LLM任务实战

随着大型语言模型的不断蓬勃发展，相关新模型，新应用和新范式也在不断涌现，自4月发布以来，FATE-LLM已经迭代发布了多个版本，不断完善大语言模型在联邦学习场景下的支持，以解决构建、使用大模型时的数据隐私保护问题以及公域数据短缺
VMware中国研发中心·2023-09-25 16:55

LLM 10-大模型之Adaptation

LLM10-大模型之Adaptation使用语言模型（例如在上下文学习中）通过仅给出提示，我们已经能够执行一些任务。
Gocara·2023-09-25 16:15

LLM 11-环境影响

LLM11-环境影响在本章中，首先提出一个问题：大语言模型对环境的影响是什么？
Gocara·2023-09-25 16:15

大模型从入门到应用——LangChain：代理（Agents）-[代理执行器（Agent Executor）：结合使用Agent和VectorStore]

总目录LangChain系列文章：基础知识快速入门安装与环境配置链（Chains）、代理（Agent:）和记忆（Memory）快速开发聊天模型模型（Models）基础知识大型语言模型（LLMs）基础知识LLM
von Neumann·2023-09-25 14:19

文献阅读：LIMA: Less Is More for Alignment

设计3.实验结果1.基础实验2.消解实验3.多轮对话4.结论&思考文献链接：https://arxiv.org/abs/2305.112061.内容简介这篇文章是Meta在今年5月发的一篇文章，算是对LLM
Espresso Macchiato·2023-09-25 14:13

Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking

本文是LLM系列文章，针对《FactLLaMA:OptimizingInstruction-FollowingLanguageModelswithExternalKnowledgeforAutomatedFactFactLLaMA
UnknownBody·2023-09-25 11:27

Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Reliable Response

本文是LLM系列的文章，针对《Knowledge-tuningLargeLanguageModelswithStructuredMedicalKnowledgeBasesforReliableResponseGenerationinChinese
UnknownBody·2023-09-25 11:27

CFGPT: Chinese Financial Assistant with Large Language Model

本文是LLM系列文章，针对《CFGPT:ChineseFinancialAssistantwithLargeLanguageModel》的翻译。
UnknownBody·2023-09-25 11:26

高性能计算环境下的深度学习异构集群建设与优化实践

深度学习算法；强化学习；神经网络；卷积神经网络；人工神经网络；VIBE算法；控制系统仿真；机器学习；高性能计算；数据挖掘；超算；ACL；算力；计算机视觉；PSU；Transformer；PLM；SLM；NLM；LLM
·2023-09-24 23:56

生成代理:人类行为的交互模拟（Generative Agents: Interactive Simulacra of Human Behavior）

GenerativeAgents:InteractiveSimulacraofHumanBehavior简介论文是斯坦福大学和deepmind团队联合发表，主要介绍了一种利用LLM模型指导生成Agents
WitsMakeMen·2023-09-24 23:03

一致性思维链（SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS）

本方法通过采样多个思维链集合，然后LLM模型生成后，选择一个最一致的答案作为最后的结果。一致性思维链认为复杂的推理问题，有不同的思维方式去解决，从而得到最终唯一答案。
WitsMakeMen·2023-09-24 23:31

AI一点通： chatGPT等大模型是如何“深呼吸”和“一步一步思考”的？

令人惊讶的是，当这些短语用于提示大型语言模型（LLM）时，尤其是在与数学相关的查询中，生成的响应似乎更准确或更有条理。这是否意味着AI实际上变得更聪明了？这背后有什么原因？让我们探讨一下。
robot_learner·2023-09-24 18:46

使用 FHE 实现加密大语言模型

近来，大语言模型(LLM)已被证明是提高编程、内容生成、文本分析、网络搜索及远程学习等诸多领域生产力的可靠工具。
·2023-09-24 11:24

使用 FHE 实现加密大语言模型

近来，大语言模型(LLM)已被证明是提高编程、内容生成、文本分析、网络搜索及远程学习等诸多领域生产力的可靠工具。
·2023-09-24 11:23

LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】

GitHub项目：Chinese-LLaMA-Alpaca由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。在通用中文语料上训练了基于sentencepiece的20K中文词表并与原版LLaMA模型的32K词表进行合并排除重复的token后，得到的最终中文LLaMA词表大小为49953需要注意的是，在fine-tune阶段Alpaca比LLaMA多一个pa
u013250861·2023-09-23 22:37

中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码

EfficientandEffectiveTextEncodingforChineseLlamaandAlpacaPDF:https://arxiv.org/pdf/2304.08177v1.pdfCode:https://github.com/ymcui/Chinese-LLaMA-Alpaca导读大型语言模型LLM
CVHub·2023-09-23 22:33

Learn Prompt-Prompt 高级技巧:Agents 组件详解

在以LLM驱动的Agent系统中，LLM扮演着Agent的大脑角色，并辅以几个关键组件：规划：LLM能够进行全面的规划，不仅仅是简单的任务拆分。
xiaoshun007～·2023-09-23 16:22

思维链（Chain-of-Thought Prompting Elicits Reasoning in Large Language Models）

概括论文主要描述了一种用思维链的提升LLM模型推理能力的方式，并且通过实验的方式，证明了思维链在算术、常识和符号等任务方面的显著效果。
WitsMakeMen·2023-09-23 16:22

大模型从入门到应用——LangChain：代理（Agents）-[代理执行器（Agent Executor）：处理解析错误、访问中间步骤和限制最大迭代次数]

总目录LangChain系列文章：基础知识快速入门安装与环境配置链（Chains）、代理（Agent:）和记忆（Memory）快速开发聊天模型模型（Models）基础知识大型语言模型（LLMs）基础知识LLM
von Neumann·2023-09-23 16:15

如何使用ChatGPT，而不是生成默认风格的八股文

但与所有强大的工具一样，ChatGPT和类似的大型语言模型(LLM)也有其局限性。在我从事人工智能工作的过程中，我多次偶然发现它们。如果您在业务中依赖ChatGPT而不了解其局限性，那是不科学的。
坐望云起·2023-09-23 10:57

LLM（二）| LIMA：在1k高质量数据上微调LLaMA1-65B，性能超越ChatGPT

本文将介绍在Lit-GPT上使用LoRA微调LLaMA模型，并介绍如何自定义数据集进行微调其他开源LLM监督指令微调（SupervisedInstructionFinetuning）什么是监督指令微调？
wshzd·2023-09-23 08:56

OpenAI官方吴达恩《ChatGPT Prompt Engineering 提示词工程师》(1）指南：提示LLM的原则

最后并带您使用LLM构建聊天机器人。
李又懂·2023-09-23 08:23

吴恩达＋Open AI 《面向开发者的ChatGPT Prompt 工程》课程学习1——课程介绍

但是从开发者的角度来说，通过API调用LLM（largelanguagemodel大语言模型）来快速构建应用程序这个强大的功能被严重低估了。
会写代码的孙悟空·2023-09-23 08:23

【LLM系列之Tokenizer】如何科学地训练一个LLM分词器

1背景与基础1.1为什么需要分词对于人而言，在我们学会阅读之前，仍然可以理解语言。比如当你开始上学时，即使你不知道名词和动词之间的区别，但是你已经可以和你的同学交谈了，比如“我喜欢吃香蕉”，孩子对于这些虽然不清楚，但是知道是什么意思的。在此刻，我们学会了把语音/语言变成一种书面语言，这样你就可以读写了。一旦你学会了将文本转换为声音，你就可以回忆使用之前学过的词义库。计算机（即语言模型(LM)或查找
致Great·2023-09-23 03:45

ChatGLM LLM大模型训练和预测如何计算算力需求

架构+数据+算力8*A100微调大模型lora工具微调内容审核:输入的审核生成的审核;GPU并行处理能力算力计算一个LLaMA-6B的数据类型为Int8模型参数6B1bytes=6GB梯度6B1bytes=6GB优化器参数Adam2倍模型参数:6GB*2=12GB训练共24GB的显存推理算力模型参数6B*1bytes=6GB推理共6GB的显存Transformer多头注意力Transformer可
张志翔的博客·2023-09-23 03:15
上一页 80 81 82 83 84 85 86 87 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他