对小工蚁关于LLM的技术总结+个人思考

LLM能力从何而来:

对小工蚁关于LLM的技术总结+个人思考_第1张图片
推理能力?目前还未知晓为何得到结果
对小工蚁关于LLM的技术总结+个人思考_第2张图片

斯坦福大学的AI指数

通过种子任务自动生成数据训练LLM

对小工蚁关于LLM的技术总结+个人思考_第3张图片

基于self-instruct及175条种子任务生成数据。

LLM大模型如何进行微调?

1.blog/trl-peft.md at main · huggingface/blog · GitHub

2.基于强化学习的微调(这个挺好)

微软发布的文本生成增强框架DTG,让LLM主动思考和生成能力提升

[2305.19835] Deliberate then Generate: Enhanced Prompting Framework for Text Generation (arxiv.org)

LLM如何使用SQLChain读取数据库进行问答

Querying a SQL DB | ️ Langchain

开源FastChat平台实现LLM的智能应用框架

GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
可用于快速测试LLM大模型实现

提示工程快速构建

Azure OpenAI 的提示工程技术 - Azure OpenAI Service | Microsoft Learn[没找到视频所说,粘贴自己觉得比较好的]

增强生成LLM+本地知识库应用场景的方式

Retrieval Augmented Generation using Azure Machine Learning prompt flow (preview) - Azure Machine Learning | Microsoft Learn

音频和视频如何训练LLM?

通用思路: 先转换音频或视频为文本,然后导入LLM。比较复杂的是音频或视频如何变为有价值的文本?欢迎讨论思考。

参考:

小工蚁创始人视频合集

你可能感兴趣的:(人工智能之数据与语言,笔记,chatgpt,人工智能,深度学习,python,学习)