谷歌Gemini1.5火速上线:MoE架构,100万上下文

谷歌Gemini1.5火速上线:MoE架构,100万上下文

机器之心 2024-02-16 08:53 北京

机器之心报道

机器之心编辑部

今天,谷歌宣布推出 Gemini 1.5。

Gemini 1.5 建立在谷歌基础模型开发和基础设施的研究与工程创新的基础上,包括通过新的专家混合 (MoE) 架构使 Gemini 1.5 的训练和服务更加高效。

谷歌现在推出的是用于早期测试的 Gemini 1.5 的第一个版本 ——Gemini 1.5 Pro。它是一种中型多模态模型,针对多种任务的扩展进行了优化,其性能水平与谷歌迄今为止最大的模型 1.0 Ultra 类似,并引入了长上下文理解方面的突破性实验特征。

Gemini 1.5 Pro 配备了 128000 个 token 上下文窗口。但从今天

你可能感兴趣的:(#,混合专家模型MOE,LLM大语言模型,人工智能,深度学习,pytorch,机器学习,python)