Google力作 | Infini-attention无限长序列处理Transformer

 

更多文章，请关注微信公众号：NLP分享汇

原文链接：Google力作 | Infini-attention无限长序列处理Transformerhttps://mp.weixin.qq.com/s?__biz=MzU1ODk1NDUzMw==&mid=2247485000&idx=1&sn=e44a7256bcb178df0d2cc9b33c6882a1&chksm=fc1fe702cb686e14b6ced5733b83e9838f933dee1df02a5bdf73c6575106d40fc580063390ac&token=1933560269&lang=zh_CN#rd

---

 

论文链接：https://arxiv.org/pdf/2404.07143.pdf

google

这篇论文的标题是《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》，作者是Tsendsuren Munkhdalai、Manaal Faruqui和Siddharth Gopal，来自Google。论文介绍了一种新的方法，可以将基于Transformer的大型语言模型（LLMs）扩展到无限长的输入，同时保持内存和计算资源的有界性。核心是一种名为Infini-attention的新型注意力机制。

摘要（Abstract）

• 论文提出了一种有效的方法，使得基于Transformer的大型语言模型能够处理无限长的输入序列，同时保持内存和计算资源的有界性。

• 介绍了Infini-attention，这是一种新的注意力技术，它在传统的注意力机制中加入了压缩记忆(compressive memory)，并在单个Transformer块中集成了masked局部注意力和long-term线性注意力机制。

• 通过在长上下文语言建模基准、1M序列长度的密钥上下文块检索和500K长度的书籍摘要任务上的实验，证明了该方法的有效性。

• 该方法引入了最小化的有界内存参数，并使得大型语言模型能够进行快速的流式推理。

方法（Method）

• 论文比较了Infini-Transformer和Transformer-XL，并解释了In