浙大校友创新多token注意力机制，革新Transformer性能

Meta FAIR团队近期推出了一种创新的多token注意力机制（MTA），显著提升了Transformer模型在处理复杂信息和长距离依赖任务中的性能。这一机制通过引入键-查询卷积、头混合卷积和带深度缩放的组归一化三大关键创新，打破了传统注意力机制的局限，使模型能够同时依据多个查询和键向量来确定注意力权重，从而实现更精准的注意力分配。同时，MTA在数据恢复领域的潜在应用价值也引起了广泛关注。

MTA的三大关键创新

1. 键-查询卷积键-查询卷积通过二维卷积操作，将多个查询和键token的信息整合在一起，计算出更准确的注意力权重。这种机制特别适用于需要同时关注多个关键信息的任务，如在长文本中查找特定信息。通过合理设置卷积核大小，MTA能够同时捕捉多个关键信息，显著提升了模型的检索能力。
2. 头混合卷积头混合卷积在不同注意力头之间共享信息，打破了传统多头注意力机制中各头信息独立的局限。通过信息共享，模型能够从多个角度综合信息，从而更全面地理解文本内容。这种机制在处理复杂文本和数据恢复任务中表现出色，能够有效整合多源信息，提高恢复的准确率。
3. 带深度缩放的组归一化为了解决模型训练过程中残差流过大导致的梯度传递问题，MTA引入了带深度缩放的组归一化。这一机制通过分别对每个头进行归一化操作，并根据层的深度进行调整，确保了模型训练的稳定性和效率。这对于处理大规模数据和复杂任务尤为重要，尤其是在数据恢复过程中需要处理大量信息时。

MTA的实际应用表现

MTA在多个实验中表现出卓越的性能，尤其在以下场景中表现突出：

• 简单任务：在需要同时关注多个关键信息的简单任务中，MTA几乎以零错误率完成了任务，而传统Transformer的错误率极高。
• 语言建模：在880M参数模型的训练中，MTA在验证困惑度和基准测试中均优于传统Transformer和差分Transformer。
• 长文本处理：在长上下文微调任务中，MTA显著提升了模型对上下文信息的利用能力，尤其在LAMBADA任务中表现优异。
• 长距离依赖任务：在「大海捞针」和BabiLong任务中，MTA展现了强大的长距离信息检索能力，准确率显著提升。

数据恢复领域的潜在应用

MTA的创新机制为数据恢复领域带来了新的可能性。通过键-查询卷积和头混合卷积，MTA能够更高效地整合和检索分散的信息，这对于从大量数据中恢复关键信息尤为重要。此外，带深度缩放的组归一化确保了模型在处理大规模数据时的稳定性和效率，这对于数据恢复任务中的复杂场景具有重要意义。

作者介绍

论文的第二作者Tianlu Wang是一位浙大校友，曾在弗吉尼亚大学获得计算机科学博士学位，研究兴趣包括机器学习模型的公平性、鲁棒性和问责制。她的工作为MTA的开发提供了重要支持。