Python&LLM

【LLM GPT】大型语言模型 理解和实现

目录1概述1.1发展历程1.2预训练+监督学习预训练的好处1.3增强式学习1.4对训练数据的记忆1.5更新参数1.6AI内容检测1.7保护隐私1概述怎么学习？——给定输入和输出：但是这样做不现实，因为这样输入-输出需要成对的资料，而chatgpt成功解决了这一个难题。chatgpt不需要成对的资料，只需要一段有用的资料，便可以自己学习内容，如下：1.1发展历程初代和第二代gpt第二代到第三代gpt
学渣渣渣渣渣·2023-06-14 20:31

AnalyticDB(ADB)+LLM：构建AIGC时代下企业专属Chatbot

这个春天，最让人震感的科技产品莫过于ChatGPT的横空出世，通过大语言模型（LLM）让人们看到了生成式AI能实现到和人类语言高度相仿的语言表达能力，AI不再遥不可及而已经可以走进人类的工作和生活，这使得沉寂一段时间的
·2023-06-14 16:20

【AI实战】开源大语言模型LLMs汇总

【AI实战】开源大语言模型LLM汇总大语言模型开源大语言模型1、LLaMA2、ChatGLM-6B3、Alpaca4、PandaLLM5、GTP4ALL6、DoctorGLM（MedicalGPT-zhv2
szZack·2023-06-14 16:18

阿里云 OpenSearch 重磅推出 LLM 问答式搜索产品，助力企业高效构建对话式搜索服务

1.企业专属问答搜索1.1.世界知识vs企业专属知识ChatGPT、通义千问正在引领搜索技术变革，其表现出的“什么都懂，什么都能聊”关键是依赖于底座大语言模型（LargeLanguageModel,LLM
·2023-06-14 15:13

重磅再推 | 基于OpenSearch向量检索版+大模型，搭建对话式搜索

面向企业开发者的PaaS方案一周前，阿里云OpenSearch发布的LLM智能问答版，面向行业搜索场景，提供企业专属问答搜索服务。
·2023-06-14 15:13

基于 OpenSearch 向量检索版+大模型，搭建对话式搜索

面向企业开发者的PaaS方案一周前，阿里云OpenSearch发布的LLM智能问答版，面向行业搜索场景，提供企业专属问答搜索服务。
·2023-06-14 15:53

LLM：Prompt-Tuning微调新范式

背景Pre-training+Fine-tuning模式：先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trainedLanguageModel，PLM）（e.g.GPT、EMLO、BERT），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。缺陷：在大多数的
-柚子皮-·2023-06-14 14:46

《中国电子报》专访简丽荣：“模型热”将引发云计算与数据库行业大变革

随着LLM智能涌现的发生和API的爆发式发展，各行各业都在关注如何用好通用模型，如何调校好适合自己的行业应用。LLM最重要的输入是数据，最频繁的接口是数据库。模型应用的普及会对数据库产生哪些影响？
·2023-06-14 11:32

ChatGLM-6B LLM大模型使用

ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。本机显卡只有6G（GTX1660Ti），所以刚好可以使用，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存），可以去下面参考链接下载对应模型参考：https://huggingface.co/THUDM/chatglm-6b-int
loong_XL·2023-06-14 09:08

大模型应用开发框架【LLM】

随着人工智能的能力，特别是大型语言模型(LLM)的不断发展和演变，开发人员正在寻求将AI功能整合到他们的应用程序中。
新缸中之脑·2023-06-14 09:37

如何利用LLM大模型和智能问答BI生成智能报表

近年来，LLM大模型和智能问答BI技术的出现，使得企业可以更加高效地进行数据分析和决策。本文将介绍如何利用LLM大模型和智能问答BI生成智能报表，以提高企业的决策效率。
捉虫师GG·2023-06-14 09:06

LLM 大模型

namemodelweightsnoteLLaMA7B,13B,33B,65BVicunavicuna-7bVicunavicuna-13bAlpacaAlpaca-7B基于LLaMA，使用LoRA做Fine-Tuning得到AlpacaAlpaca-13BChinese-VicunaVicuna-lora-7b基于LLaMA，使用LoRA做Fine-Tuning得到Chinese-VicunaV
法海你懂不·2023-06-14 09:36

大模型部署实战（三）——ChatGLM-6B

后续会继续输入更多优质内容❤️有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）博主原文链接：https://www.yourmetaverse.cn/llm
Chaos_Wang_·2023-06-14 05:43

B. Random Teams【1300 / 组合数学】

codeforces.com/problemset/problem/478/B#includeusingnamespacestd;typedeflonglongintLL;LLn,m;LLget1(LLn,LLm
幽殇默·2023-06-14 02:20

python调用chatGPT的API

前言：最近一直在研究GPT，LLM，把其他东西都荒废了，随便更新一个，凑个字数。
PoomHey·2023-06-13 23:43

像医生一样的大规模AI模型

目录华佗：BenTsao相关工作华佗模型实验HuatuoGPT动机解决方案混合数据的SFT基于AI反馈的RL医学中的LLM指令微调华佗：BenTsao大型语言模型（LLM），如LLaMA模型，已经证明了它们在各种通用领域自然语言处理
tzc_fly·2023-06-13 19:30

重磅再推 | 基于OpenSearch向量检索版+大模型，搭建对话式搜索

面向企业开发者的PaaS方案一周前，阿里云OpenSearch发布的LLM智能问答版，面向行业搜索场景，提供企业专属问答搜索服务。
阿里云大数据AI技术·2023-06-13 18:39

阿里云OpenSearch重磅推出LLM问答式搜索产品，助力企业高效构建对话式搜索服务

阿里云OpenSearch重磅推出LLM智能问答版，面向行业搜索场景，提供企业专属问答搜索服务。智能问答版基于内置的LLM大模型提供问答能力，一站式快速搭建问答搜索系统。
·2023-06-13 15:42

重磅再推 | 基于OpenSearch向量检索版+大模型，搭建对话式搜索

面向企业开发者的PaaS方案一周前，阿里云OpenSearch发布的LLM智能问答版，面向行业搜索场景，提供企业专属问答搜索服务。
·2023-06-13 15:53

探究ChatGPT与GPT-4的缺陷不足，揭示大预言LLM模型的局限性——没有完美的工具

目录ChatGPT与GPT-4的缺陷不足——任何工具都不是万能的1.引言2.事实性错误2.1问题示例2.2原因分析2.3解决方法3.实时更新3.1问题示例3.2原因分析3.3解决方法4.总结参考资料其它资料下载ChatGPT与GPT-4的缺陷不足——任何工具都不是万能的1.引言  2022年末ChatGPT的横空出世，在整个自然语言处理乃至人工智能领域都掀起了一阵海啸。自席卷全球以来便引起各行各业
小胡说人工智能·2023-06-13 12:31

无需训练让LLM支持超长输入:知识库 & unlimiformer & PCW & NBCE

这一章我们聊聊有哪些方案可以不用微调直接让大模型支持超长文本输入，分别介绍显式搜索，unlimiformer隐式搜索，并行输入的PCW，和并行解码的NBCE方案
风雨中的小七·2023-06-13 07:00

大模型LLM-微调经验分享&总结

模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。liucongg/ChatGLM-Finetuning:基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等(github.com)https://gith
思考实践·2023-06-13 05:33

大模型微调踩坑记录 - 基于Alpaca-LLaMa+Lora

前言为了使用开放权重的LLM(大语言模型)，基于自己的训练集，微调模型，会涉及到如下一些技术要点：配置运行环境下载、加载基础模型收集语料、微调训练检验训练效果在实施过程中，遇到不少困难，因此写下这篇文档
Anycall201·2023-06-13 02:57

大模型部署实战（二）——Ziya-BLIP2-14B-Visual

❤️有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）大模型部署系列：博主原文链接：https://www.yourmetaverse.cn/llm
Chaos_Wang_·2023-06-13 02:40

QCon高分演讲：火山引擎容器技术在边缘计算场景下的应用实践与探索

近日，火山引擎边缘云原生团队的同学在QCon全球软件开发大会上分享了火山引擎容器技术在边缘计算场景下的应用实践与探索，并在一众AIGC、LLM等当下热门议题中脱颖而出，入选观众满意度投票中“叫好又叫座议题
火山引擎边缘云·2023-06-12 23:58

LangChain与大型语言模型(LLMs)应用基础教程:Prompt模板

大型语言模型(LLM)正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。
-派神-·2023-06-12 19:27

拥抱生成式大模型 -- langchain篇 （博客搬家至知乎，同步更新）

它赋予LLM两大核心能力：数据感知（Bedata-aware），让语言模型可以与其他数据源相连接；代理能力（Beagentic），允许语言模型与其环境互动。
有莘不殁·2023-06-12 19:57

使用大语言模型集成工具 LangChain 创建自己的论文汇总和查询工具

Langchain可以帮助开发人员构建由大型语言模型(llm)支持的应用程序。它提供一个框架将LLM与其他数据源(如互联网或个人文件)连接起来。
deephub·2023-06-12 19:21

如何在 Jupyter Notebook 用一行代码启动 Milvus？

随着各种大语言模型（LLM）的涌现和AI技术变得越来越普遍，大家对于向量数据库的需求也变得越来越多。
·2023-06-12 18:53

QCon高分演讲：火山引擎容器技术在边缘计算场景下的应用实践与探索

近日，火山引擎边缘云原生团队的同学在QCon全球软件开发大会上分享了火山引擎容器技术在边缘计算场景下的应用实践与探索，并在一众AIGC、LLM等当下热门议题中脱颖而出，入选观众满意度投票中“叫好又叫座议题
·2023-06-12 18:22

大模型研究方向0611

大模型的评测角度4.大模型的安全角度5.大模型结构角度附上刘知远老师的见解：https://hub.baai.ac.cn/view/272831.大模型自身角度认知角度即大模型的理解，现在，大众普遍认为LLM
YingJingh·2023-06-12 17:40

使用LoRA对大语言模型LLaMA做Fine-tune

使用LoRA对大语言模型LLaMA做Fine-tune前言下载配置环境模型的训练Fine-tune模型的使用Inference参考问题汇总前言目前有大量对LLM（大语言模型）做Fine-tune的方式，
蒋含竹·2023-06-12 17:33

LLM：finetune预训练语言模型

RoBERTa/BERT/DistilBERTandmaskedlanguagemodeling[transformers/examples/pytorch/language-modelingatmain·huggingface/transformers·GitHub]Wholewordmasking[transformers/examples/pytorch/language-modelinga
-柚子皮-·2023-06-12 17:02

LLaMA, ChatGLM, BLOOM的参数高效微调实践

LIMA[1]证明了LLM的几乎所有知识都是在预训练过程中学习到的，只需要有限的指令微调数据就可以生成高质量的回复。因此，基座模型的性能是至关重要的，如果基座模型的性能不够好，指令微调和强化学
汀、人工智能·2023-06-12 14:47

魔法打败魔法？OpenAI用GPT-4 来解释 GPT-2 的行为

大语言模型（LLM）像大脑一样，它们是由“神经元”组成的，它们观察文本中的一些特定模式，以影响整个模型接下来“说”什么。
海森大数据·2023-06-12 09:17

NLP大模型微调原理

1.背景LLM(LargeLanguageModel)大型语言模型，旨在理解和生成人类语言，需要在大量的文本数据上进行训练。一般基于Transformer结构，拥有Billion以上级别的参数量。
狮子座明仔·2023-06-12 09:16

LLM__llama-7B模型试验

llama模型已经开源很久了，所以拿做小的模型做了个简单尝试一、服务器购买与配置1.1服务器购买因为做简单尝试并不打算长期持有，所以以便宜、够用、好退货为主要参考依据购买阿里云服务器、我看7B的模型权重大小就13GB，所以先购入一个32GB内存的虚拟机CPU&内存:4核(vCPU)32GiB~操作系统:AlibabaCloudLinux3.2104LTS64位ARM版等保2.0三级版实例规格:ec
Scc_hy·2023-06-12 09:14

大模型LLM

大模型LLM的1000+篇文章总结本文收集和总结了有关大模型LLM的1000+篇文章，由于篇幅有限只能总结近期的内容，想了解更多内容可以访问：http://www.ai2news.com/,其分享了有关
AI牛丝·2023-06-12 04:17

大语言模型的1000+篇文章总结

query2023-02-14大语言模型(LLM)可以自我迭代http://www.ai2news.com/blog/2632512/2023-03-05大语言模型（LLM）：一
AI牛丝·2023-06-12 04:17

聊聊ChatGPT

ChatGPT是基于LLM（l
小小谢先生·2023-06-12 03:50

大模型 LLM 综述, A Survey of Large Language Models

大模型LLM综述,ASurveyofLargeLanguageModels一、概述一般认为NLP领域的大模型>=10Billion参数(也有人认为是6B、7B,工业界用,开始展现涌现能力);经典大模型有
Macropodus·2023-06-12 00:48

追忆美加逝水旅途(5)：旧金山会Maggie

记得夏天Maggie刚来加州读LLM时，思乡情重，听我说十月短游加州，喜出望外，说这下日子有盼头了，不然要等到圣诞节她的律师夫君老高和靓仔儿子小高前来慰
沙田山居·2023-06-12 00:38

QLoRa：在消费级GPU上微调大型语言模型

大多数大型语言模型(LLM)都无法在消费者硬件上进行微调。例如，650亿个参数模型需要超过780Gb的GPU内存。这相当于10个A10080gb的gpu。
deephub·2023-06-11 19:07

LLM：huggingface-datasets库

数据加载load_datasetdatasets.load_dataset(path:str,name:Optional[str]=None,data_dir:Optional[str]=None,data_files:Optional[Union[str,Sequence[str],Mapping[str,Union[str,Sequence[str]]]]]=None,split:Option
-柚子皮-·2023-06-11 15:04

使用大型语言模(LLM)构建系统(四)：链式提示

下面是我们访问大型语言模(LLM)的主要代码：importopenai#您的openai的apikeyopenai.api_key='YOUR-OPENAI-API-KEY'defget_completion_from_messages
-派神-·2023-06-11 09:57

大型语言模(LLM) 之 提示词工程(三)

以下是我写的关于该课程的前两篇博客：大型语言模(LLM)之提示词工程(一)大型语言模(LLM)之提示词工程(二)今天我们来学习第三部分内容：推断(Inferring)推断(Inferring)所谓推断是指
-派神-·2023-06-11 09:20

智源论文前沿记录230610

文章目录大LLM使用过程中的成本缩减策略Google发布生成式AI教程《GoogleCloudSkillsBoost》马毅团队新工作｜突破黑盒，深度网络研究大模型微调究竟需要多少数据YannLeCun-
YingJingh·2023-06-11 09:51

关于操作系统调度器的三篇论文

【引子】没有忘记，目前从事的是DingOS操作系统相关工作，没有因为LLM而迷失。
半吊子全栈工匠·2023-06-11 04:24

阿里云 OpenSearch 重磅推出 LLM 问答式搜索产品，助力企业高效构建对话式搜索服务

1.企业专属问答搜索1.1.世界知识vs企业专属知识ChatGPT、通义千问正在引领搜索技术变革，其表现出的“什么都懂，什么都能聊”关键是依赖于底座大语言模型（LargeLanguageModel,LLM
阿里云云栖号·2023-06-10 23:48

吴恩达 ChatGPT Prompt Engineering for Developers 系列课程笔记--06 Transforming

06Transforming大语言模型（LLM）很擅于将输入转换为不同格式的输出，比如翻译、拼写校正或HTML格式转化。相比于复杂的正则表达式，ChatGPT实现更加准确和高效。
Isawany·2023-06-10 18:39
上一页 100 101 102 103 104 105 106 107 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他