Llama 第32页

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力随着大语言模型（LargeLanguageModels）的爆火，例如ChatGPT，GPT-4，PaLM，LLaMA等，如何让大语言模型更好的应对有很长的上下文信息

AI生成曾小健·2023-06-20 20:26

百川智能开源大模型baichuan-7B剖析

来自：吃果冻不吐果冻皮进NLP群—>加入NLP交流群baichuan-7B主要是参考LLaMA进行的改进，且模型架构与LLaMA一致。

zenRRan·2023-06-20 03:36

基于llama模型进行增量预训练

目录1、llama模型转换(pytorch格式转换为HuggingFace格式)1.1、拉取Chinese-LLaMA-Alpaca项目1.2、准备文件夹1.3、下载llama官方原始模型1.4、移动文件到指定位置

小生浩浩·2023-06-19 23:11

中文版LLaMA：Chinese-LLaMA-Alpaca

GitHub：GitHub-ymcui/Chinese-LLaMA-Alpaca:中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署(ChineseLLaMA&AlpacaLLMs)以ChatGPT

u013250861·2023-06-19 23:24

大模型入门（一）—— LLaMa/Alpaca/Vicuna

LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力

柴神·2023-06-19 22:28

截至目前最强的70亿参数大语言模型：开源可商用的RedPajam 7B完全版发布！

2023年6月6日，TOGETHER在官方宣布该模型完成训练，经过测试，该模型目前超过所有7B规模的大模型，比LLaMA-7B和Falcon-7B的效果还要好！

语音之家·2023-06-19 20:35

百川智能发布开源中英文大模型；GitHub调查显示92%的程序员使用AI编码工具；第一季度中国云服务支出增长6%丨每日大事件...

baichuan-7B在C-Eval、AGIEval和Gaokao中文权威评测榜单上，超过了ChatGLM-6B等其他大模型，并且在MMLU英文权威评测榜单上，领先LLaMA-7B。

数据猿·2023-06-19 16:47

IDPChat：探索基于LLaMA和Stable Diffusion的「开源」中文多模态AI大模型

中文多模态模型IDPChat和大家见面了。随着GPT4、文心一言等的发布，预训练大模型正式开启由单模态向多模态模型演进。多模态的特性为语言模型带来更加丰富的应用场景。我们认为，未来的AI应用将主要以大模型为核心基石。而在大模型的领域，基于基础模型（Foundationmodel）构建领域或企业自有的大模型，会是近中期的重要发展趋势。但在私有化大模型微调和应用方面，企业和机构仍面临着微调复杂、部署困

·2023-06-19 16:58

李沐论文精度系列之十：GPT-4

文章目录一、AIGC资讯速览1.1Toolformer（2023.2.9）1.2ChatGPTplugin1.3LLaMA（2023.2.24）1.4VisualChatGPT（2023.3.8）1.5GigaGAN

神洛华·2023-06-19 04:41

LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）

文章目录一、GPT系列1.1GPTs（OpenAI，2018——2020）1.2InstructGPT（2022-3）1.2.1算法1.2.2损失函数1.3ChatGPT（2022.11.30）1.4ChatGPTplugin1.5GPT-4（2023.3.14）二、LaMDA系列2.1LaMDA（Google2021.5）2.1.1简介2.1.2LaMDA预训练与微调2.1.3事实根基（真实性、

神洛华·2023-06-19 04:40

p-tuing和Lora的区别

一、前言自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的

AI生成曾小健·2023-06-18 21:41

scratch lenet(1): 读写 pgm 图像文件

2.1概要2.2meta信息2.3像素内容3.创建.pgm文件4.使用C语言读取.pgm灰度图文件4.1实现4.2解释5.使用C语言保存.pgm灰度图文件1.目的最近在github上关注了LLM的流行库llama.cpp

baiyu33·2023-06-17 19:37

开源大模型文档

江小皮不皮·2023-06-17 13:03

大模型入门（四）—— 基于peft 微调 LLaMa模型

llama-7b模型大小大约27G，本文在单张/两张16GV100上基于huggingface的peft库实现了llama-7b的微调。

柴神·2023-06-16 16:11

·2023-06-16 11:39

Meta语音达LLaMA级里程碑！开源MMS模型可识别1100+语言

在语音方面，Meta又达到了另一个LLaMA级的里程碑。今天，Meta推出了一个名为MMS的大规模多语言语音项目，它将彻底改变语音技术。

javastart·2023-06-16 09:06

国产开源中文大语言模型再添重磅玩家：清华大学NLP实验室发布100亿参数规模的开源可商用大语言模型CPM-Bee

根据官方的测试结果，其英文测试水平约等于LLaMA-13B，中文ZeroCLUE评测结果仅次于人类水平。开源地址：OpenBMB/CPM-Bee:百亿参数的中英文双语基座大模型(githu

沧海之巅·2023-06-15 23:53

大模型入门（五）—— 基于peft微调ChatGLM模型

经过中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，ChatGLM因为是中文大模型，在中文任务的表现要优于LLaMa，我在一些实体抽取的任务中微调ChatGLM-6B，都取得了很不错的效果

柴神·2023-06-15 21:51

Video-LLaMA 开源，大语言模型也能读懂视频了！

出品人：Towhee技术团队作者：张晨架构Video-LLaMA旨在使冻结的LLM能够理解视频中的视觉和听觉内容。

·2023-06-15 16:50

LaWGPT：你的私人法律顾问！

该系列模型在通用中文基座模型（如Chinese-LLaMA、ChatGLM等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。

flower_drop·2023-06-15 14:18

LaWGPT：一款可以用来维权的AI大模型

上两天发过一篇文章，介绍了一个基于LLaMA训练得到的AI医生咨询助手。看不少小伙伴都感兴趣，咱今天再介绍一个法律领域的LaWGPT。

Python算法实战·2023-06-15 01:10

【AI实战】开源大语言模型LLMs汇总

【AI实战】开源大语言模型LLM汇总大语言模型开源大语言模型1、LLaMA2、ChatGLM-6B3、Alpaca4、PandaLLM5、GTP4ALL6、DoctorGLM（MedicalGPT-zhv2

szZack·2023-06-14 16:18

Video-LLaMA：给大语言模型赋予视听觉能力

从这个问题出发，阿里达摩院的研究人员提出了Video-LLaMA，一个具有综合视听能

机器学习与AI生成创作·2023-06-14 12:14

LLM 大模型

namemodelweightsnoteLLaMA7B,13B,33B,65BVicunavicuna-7bVicunavicuna-13bAlpacaAlpaca-7B基于LLaMA，使用LoRA做Fine-Tuning

法海你懂不·2023-06-14 09:36

像医生一样的大规模AI模型

tzc_fly·2023-06-13 19:30

LLaMA快速上手指南

近期，Meta发布了人工智能大语言模型LLaMA，包含70亿、130亿、330亿和650亿这4种参数规模的模型。其中，最小的LLaMA7B也经过了超1万亿个tokens的训练。

·2023-06-13 18:20

GPT现状终于有人讲清楚了！OpenAI大牛最新演讲爆火，还得是马斯克钦点的天才

此外Karpathy透露，由于训练和数据的扩展，LLAMA65B“明显

Openlab.cosmoplat·2023-06-13 17:55

【无标题】

最终性能超越650亿的LLaMA，以及MPT、Redpajama等现有所有开源模型。

Openlab.cosmoplat·2023-06-13 17:25

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

这篇文章中，我们来聊聊如何使用两张显卡来进行LLaMA65B大模型的微调工作，以及如何在一张普通的4090家用显卡上，只花几个小时，就能够完成7B模型的微调。

soulteary·2023-06-13 15:20

GPT能给审计带来什么

GPT模型作为重要的支撑，国内外近段时间密集性地发布了众多的大语言模型，OpenAI推出GPT-4、谷歌推出LaMDA和PaLM等大模型、Meta推出开源大模型LLaMA，而国内众多大厂也紧追其后，百度推出

局外人一枚·2023-06-13 06:25

大模型微调踩坑记录 - 基于Alpaca-LLaMa+Lora

前言为了使用开放权重的LLM(大语言模型)，基于自己的训练集，微调模型，会涉及到如下一些技术要点：配置运行环境下载、加载基础模型收集语料、微调训练检验训练效果在实施过程中，遇到不少困难，因此写下这篇文档，做为记录。环境配置1.模型加载-icetk报错(1)问题描述在huggingface的模型库中，大模型会被分散为多个bin文件，在加载这些原始模型时，有些模型(如Chat-GLM)需要安装icet

Anycall201·2023-06-13 02:57

LLaMA 的学习笔记

LLaMA是一种用于自然语言处理的深度学习模型，它的全称是LanguageLearningwithAdaptiveMulti-taskArchitecture。

onlyfansnft.art·2023-06-13 02:12

斯坦福的 Alpaca 学习笔记

Alpaca的来源Alpaca的来源是Meta公司发布的LLaMA7B模型¹，它是一个基于元学习的大规模语

onlyfansnft.art·2023-06-13 02:39

使用LoRA对大语言模型LLaMA做Fine-tune

使用LoRA对大语言模型LLaMA做Fine-tune前言下载配置环境模型的训练Fine-tune模型的使用Inference参考问题汇总前言目前有大量对LLM（大语言模型）做Fine-tune的方式，

蒋含竹·2023-06-12 17:33

LLaMA, ChatGLM, BLOOM的参数高效微调实践

1.开源基座模型对比大语言模型的训练分为两个阶段：（1）在海量文本语料上的无监督预训练，学习通用的语义表示和世界知识。（2）在小规模数据上，进行指令微调和基于人类反馈的强化学习，更好地对齐最终任务和人类偏好。LIMA[1]证明了LLM的几乎所有知识都是在预训练过程中学习到的，只需要有限的指令微调数据就可以生成高质量的回复。因此，基座模型的性能是至关重要的，如果基座模型的性能不够好，指令微调和强化学

汀、人工智能·2023-06-12 14:47

NLP大模型微调原理

NLP界发生三件大事：ChatGPT：2022年11月OpenAI发布的AI聊天机器人程序，基于GPT-3.5LLaMA：2023年2月Meta发布的预训

狮子座明仔·2023-06-12 09:16

LIMA和QLoRA论文解读

LessIsMoreforAlignment》paper:https://arxiv.org/abs/2305.11206Meta在2023年5月发布了论文《LIMA:LessIsMoreforAlignment》，基于LLaMa

狮子座明仔·2023-06-12 09:16

LLM__llama-7B模型试验

llama模型已经开源很久了，所以拿做小的模型做了个简单尝试一、服务器购买与配置1.1服务器购买因为做简单尝试并不打算长期持有，所以以便宜、够用、好退货为主要参考依据购买阿里云服务器、我看7B的模型权重大小就

Scc_hy·2023-06-12 09:14

NLP大模型微调答疑

什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？

狮子座明仔·2023-06-12 09:44

开源模型的力量

2月，Meta发布了其大型语言模型：LLaMA。与OpenAI及其ChatGPT不同，Meta不仅仅为世界提供了一个可以玩的聊天窗口。相反，它将代码发布到开源社区，此后不久模型本身就被泄露了。

网络研究院·2023-06-12 08:15

大模型 LLM 综述, A Survey of Large Language Models

>=10Billion参数(也有人认为是6B、7B,工业界用,开始展现涌现能力);经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA

Macropodus·2023-06-12 00:48

跑分达ChatGPT的99％，人类难以分辨开源“原驼”大模型爆火

以Meta的美洲驼LLaMA为基础，得到原驼650亿参数版只需要48GB显存单卡微调24

手把手教你学AI·2023-06-11 19:09

MiniGPT-4 and LLaMA 权重下载

MiniGPT-4权重文件下载权重文件下载官方下载https://huggingface.co/docs/transformers/main/model_doc/llama填写表单，等待申请磁力下载磁力

星空liang·2023-06-11 12:20

【大模型】开源大模型汇总以及微调策略

目录前言LLaMAstanfordAlpacaGuanacoVicunaChinese-LLaMA-AlpacaChinese-VicunaLuotuo-ChineseFalconOpenBuddy-FalconChatGLM

桐原因·2023-06-10 16:29

Llama的使用

1.介绍Llama(LowLatencyApplicationMAster)是一个Yarn的ApplicationMaster，用于协调Impala和Yarn之间的集群资源的管理和监控。

weixin_34149796·2023-06-10 06:39

llama_index中query_engine的response_mode详解

文章目录0.前言1.ResponseMode:tree_summarize（总结摘要-最优）2.ResponseMode:generation3.ResponseMode:no_text4.ResponseMode:simple_summarize（最省token）5.ResponseMode:refine（基于关键词询问-最优）6.ResponseMode:compact（较省token）0.前

如果皮卡会coding·2023-06-10 06:36

大模型部署实战（一）——Ziya-LLaMA-13B

（封面图由文心一格生成）大模型部署实战（一）——Ziya-LLaMA-13BZiya-LLaMA-13B是IDEA-CCNL基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取

Chaos_Wang_·2023-06-10 06:35

Chinese-LLaMA-Alpaca代码实战

文章目录微调chinese-alpaca部署llama.cpp将FP16模型量化为4-bit项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca微调chinese-alpaca

dzysunshine·2023-06-09 18:44

十一、搭建自己的GPT模型

LLaMa的模型训练太耗费gpu，很多人也跑不了，所以暂时选择这个。

vandh·2023-06-08 23:00

Vicuna：斯坦福开源一个性能相当于90%ChatGPT的聊天机器人

自从Meta公司发布LLaMA以来，围绕它微调和开发的模型越来越多，这得益于它的性能和效果，2023年3月份发布的草泥马（Alpaca）是由Meta的LLaMA7B微调而来的全新模型，仅用了52k数据，

wshzd·2023-06-08 22:34

推荐频道

Llama