降本增效及大模型优化调研总结[小工蚁视频调研]

可用需求1:可用于大模型优化的技术

最强长上下文Text Embedding 开源模型M2-BERT-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

疑问:和Text2vec或sentence2vec的区别,谁更好?

智谱AI GLM4和InternLM2国产大语言模型更新迭代 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

Glm4可调研

国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

模型号称数学和代码能力碾压LLama2?

Unsloth微调LLM训练更快2~5倍 GPU显存省50% #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

若可行,可提高Gpu使用率,可后续调研

训练大语言模型LLM 如何定义自己训练数据集?#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

不知道是否能否有效提高LLM效果,可以后续按此实现下

如何将GPU切片运行多个实体?Multi-Instance GPU #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可验证是否可用于NSTL但A100GPU单卡部署多个实体

合并同源模型权重获得新能力,阿里开源DARE算法 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可验证是否能够用于NSTL多场景合并效果。

中文大语言模型如何评估? C-Eval演示使用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

也采用此种方式评估大模型好坏,不过具体场景还需要结合具体场景数据验证

如何评估量化后大语言模型?对比14B量化和7B模型哪个好?#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

采用人工问答的方式评估大模型的基础能力,于此量化不太相同,可参考验证下

Docker容器中运行大语言模型 推理加速,使用更简便-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

当前推理仅需部署好环境就行,因此需要对比看下两者那种更好。

微调大语言模型如何自动生成 训练数据以及优化技巧-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可具体学习下是否可用

如何让清华ChatGLM2-6b模型推理性能提升20倍? #小工蚁 #chatglm2-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

再用glm-6b,具体需要我实验实验

M3E中文文本嵌入模型:替代OpenAI text-embedding-ada-002的最佳选择-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

TGI让Huggingface Transformer推理速度提升10倍,本地演示 #小工蚁 #huggingface-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可用需求2:可用于公司降本增效的方法

如何让智能体团队协作开源框架CrewAI #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

CrewAI实现角色定制互相协作?

GPU服务器如何选购?#小工蚁 #dell-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可用于GPU服务器选购参考

Tesseract开源文字识别OCR引擎 支持100多种语言-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

OCR引擎,是否能用可后续参考

Flowise低代码构建本地知识库智能问答应用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可后续验证这种代码是够更简洁

AutoLabel:自动标注,比人快100倍,准确度和人一样!#小工蚁 #大语言模型-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

当前有些业务用得到自动标注,这个具体是否可用,还是需要实际运行测试

小工蚁开源大模型解决方案 快速部署,轻松满足定制需求-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

里面的思路后续写解决方案还是可以参考用下,省些时间

你可能感兴趣的:(人工智能,深度学习,语言模型)