直接扩展到无限长,谷歌Infini-Transformer终结上下文长度之争
谷歌又放大招了,发布下一代 Transformer 模型 Infini-Transformer。
-
引入了一种实用且强大的注意力机制 Infini-attention—— 具有长期压缩内存和局部因果注意力,可用于有效地建模长期和短期上下文依赖关系; -
Infini-attention 对标准缩放点积注意力( standard scaled dot-product attention)进行了最小的改变,并通过设计支持即插即用的持续预训练和长上下文自适应; -
该方法使 Transformer LLM 能够通过流的方式处理极长的输入,在有限的内存和计算资源下扩展到无限长的上下文。
-
论文链接:https://arxiv.org/pdf/2404.07143.pdf -
论文标题:Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
(来源:机器之心)