【第762期】声明性注意机制：大模型自主控制注意力跨度

今天的这篇的主题是： Language Models Can Control Their Own Attention Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 语言模型的大部分注意力实际上集中在上下文中的一小部分内容上，但为了找到少数真正重要的 Token，它们仍然需要读取整个 KV 缓存。例如，当用户询问一段包含 100 万 Token 的对话中的某个历史细节时，全局注意力层必须在生成回复的每一个 Token 时扫描完整的上下文。 一种主流方法是通过轻量级代理评分（Proxy Scores）预先筛选相关 Token，但这种外部评分机制仍然会在每个生成步骤产生 O(N) 的计算开销。 我们采用了一种内生式方法（Intrinsic Approach），其出发点是一个简单的问题：模型自身难道不应该已经知道上下文中的哪些部分是相关的吗？ 我们提出了声明式注意力（Declarative Attention，DA），一种引导模型在其思维链（Chain-of-Thought）中主动声明需要关注哪些上下文区域的协议。该协议将生成过程划分为三种模式： （1）<global>：全局模式，关注完整上下文。 （2）<focus>：聚焦模式，仅关注特定的上下文区域。 （3）<local>：局部模式，仅关注最近生成的输出。 推理引擎像解析工具调用一样解析这些声明，从而跳过对 KV 缓存中绝大部分内容的读取。 在涵盖 15 项长上下文任务的零样本评估中，将 DA 应用于现成模型 Gemma-4-31B 和 Qwen-3.6-27B 后，尽管引入了额外的解码步骤，每次响应所需关注的 Token 总量仍分别减少了 45.8% 和 19.6%，而准确率仅分别下降了 1.40 和 2.10 个百分点。随着模型规模增大，这种准确率损失进一步缩小。 DA 为稀疏注意力机制开辟了一个新的优化维度，并有望通过基于训练的方法进一步释放其潜力。 原文链接：https://arxiv.org/abs/2609.02737 前往小宇宙评论区与主播互动