Skip to content
Sign in
Artwork for Seventy3
TechnologyEducationScience

Seventy3

任雨山

73播客，Sheldon最喜欢的数字，内容均为Google NotebookLM原生生成，每天由AI领读最新的前沿论文。欢迎投稿合作。

Play
Open in
  • 44 episodes
  • daily
  • Avg 19 min
  • Chinese

Episodes 44

NewestOldestLongest
All4Unplayed4In progress0Played0
Counted on this page — what you have heard stays on this device, so it is not something the list can be paged by.
  • July 28 · 13 min

    【第667期】Self-harness：大语言模型代理的进化演进系统

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：seventy3_podcast（加群/投稿论文） 今天的这篇的主题是： Self-Harness: Harnesses That Improve Themselves Summary Based LLM-based agent（基于大语言模型的智能体）的性能受其基座模型以及协调其与环境交互的框架/驾驭系统（harness）共同塑造。由于不同的模型表现出截然不同的行为特征，因此有效的 harness 设计本质上是需要针对特定模型定制的。然而，智能体 harness 至今在很大程度上仍由人类专家手动工程化构建，随着现代 LLM 日益多样化且快速迭代，这种范式在扩展性方面表现极差。 在本文中，我们提出了 Self-Harness——一种全新的范式，在此范式下，基于 LLM 的智能体可以在不依赖人类工程师或更强外部智能体的情况下，自我改进其运行 harness。我们将 Self-Harness 实例化为一个包含三个阶段的迭代循环： 弱点挖掘（Weakness Mining）：从执行轨迹中识别特定模型的失败模式； Harness 方案提出（Harness Proposal）：生成与这些失败紧密相关的、多样化且最小化的 harness 修正方案； 方案验证（Proposal Validation）：仅在通过回归测试后才接受候选的修改。 我们在 Terminal-Bench-2.0 上使用一个极简的初始 harness 以及来自不同家族的三款基座模型（MiniMax M2.5、Qwen3.5-35B-A3B 和 GLM-5）对 Self-Harness 进行了实例化评估。在这三款模型上，Self-Harness 均一致提升了性能，保留测试集（held-out）的通过率分别从 40.5% 提升至 61.9%、从 23.8% 提升至 38.1%，以及从 42.9% 提升至 57.1%。 定性分析进一步表明，Self-Harness 并不仅仅是添加通用的指令，而是有效地将特定模型的弱点转化为具体、可执行的 harness 改动。这些结果表明，基于 LLM 的智能体不仅能被其 harness 塑造，还能开辟一条参与重塑自身 harness 的演进路径。 原文链接：https://arxiv.org/abs/2606.09498 前往小宇宙评论区与主播互动

  • July 27 · 23 min

    【第666期】MiniMax Sparse Attention-算力缩减28倍的MSA架构

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：seventy3_podcast（加群/投稿论文） 今天的这篇的主题是： MiniMax Sparse Attention Summary 超长上下文能力正在成为前沿大语言模型（LLM）不可或缺的能力：智能体工作流（agentic workflows）、代码仓库级别的代码推理（repository-scale code reasoning）以及持久化记忆（persistent memory）都要求模型能够联合关注数十万到数百万级别的 token。然而，softmax 注意力机制的二次计算复杂度，使得这种能力在实际部署规模下难以实现。 我们提出了 MiniMax 稀疏注意力（MiniMax Sparse Attention, MSA），这是一种基于分组查询注意力（Grouped Query Attention, GQA）构建的块级稀疏注意力机制。MSA 包含一个轻量级的索引分支（Index Branch），用于对键值（key-value）块进行评分，并为每个 GQA 组独立选择一个 Top-k 子集，从而实现针对不同组的稀疏检索，同时保持高效的块级执行；随后，**主分支（Main Branch）**仅在被选中的块上执行精确的块稀疏注意力计算。 MSA 的设计遵循简单性与可扩展性原则，经过刻意精简，使其能够在广泛的 GPU 平台上直接高效部署。为了将稀疏性转化为实际的速度提升，我们进一步针对 MSA 设计了专用的 GPU 执行路径：该路径采用无指数运算（exp-free）的 Top-k 选择机制以及 KV 外置稀疏注意力（KV-outer sparse attention），在块粒度访问模式下提升张量核心（tensor core）的利用率。 在一个具有原生多模态训练能力的 109B 参数模型上，MSA 的性能与 GQA 基本相当，同时在 100 万 token 上下文长度下，将每个 token 的注意力计算量降低了 28.4 倍。结合我们共同设计的 GPU 内核（kernel），MSA 在 H800 GPU 上实现了 14.2 倍的预填充（prefill）加速以及 7.6 倍的解码（decoding）端到端速度提升。 原文链接：https://arxiv.org/abs/2606.13392 前往小宇宙评论区与主播互动

  • July 26 · 26 min

    【第665期】语言模型的睡眠、记忆巩固与自进化

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：seventy3_podcast（加群/投稿论文） 今天的这篇的主题是： Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories Summary 过去几十年见证了机器学习算法设计领域的重大进步，从早期针对特定任务的浅层模型研究，到如今更加通用的深度大语言模型（Large Language Models, LLMs）。尽管现有模型在需要即时预测或上下文学习（in-context learning）的任务中展现出了良好的效果，但它们仍然缺乏持续学习的能力，也无法有效地将其随时间积累的上下文知识迁移到长期参数中。 受到人类学习过程的启发，我们引入了一种称为 “睡眠（Sleep）”范式 的方法，使模型能够持续学习，通过回放（replay）机制将短期且脆弱的记忆蒸馏为稳定的长期知识，并通过“做梦（Dreaming）”过程递归地实现自我改进。 更具体地说，睡眠过程包含两个阶段： （1）记忆巩固（Memory Consolidation）： 这是一个向上的蒸馏过程，称为知识播种（Knowledge Seeding）。在该过程中，将较小版本自身模型（smaller-self）的记忆蒸馏到一个更大的网络中，从而在保留已有知识的同时提供更大的容量。作为概念验证，我们提出了一种新的用于知识播种的广义蒸馏过程（Generalized Distillation process），即结合了**在策略蒸馏（on-policy distillation）**与基于强化学习（Reinforcement Learning, RL）的模仿学习（imitation learning）的蒸馏方法。 （2）做梦（Dreaming）： 这是一个自我改进阶段。在该阶段，模型利用强化学习生成一个合成数据课程（curriculum of synthetic data），用于反复练习新知识，并在无需人工监督的情况下优化已有能力。 我们在长时间跨度任务（long-horizon tasks）、持续学习任务（continual learning）、知识融入任务（knowledge incorporation）以及少样本泛化任务（few-shot generalization tasks）上的实验结果，验证了睡眠阶段的重要性。 原文链接：https://arxiv.org/abs/2606.03979 前往小宇宙评论区与主播互动

  • July 25 · 19 min

    【第664期】嵌套学习：深层架构的幻象与神经学习模块

    Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：seventy3_podcast（加群/投稿论文） 今天的这篇的主题是： Nested Learning: The Illusion of Deep Learning Architecture Summary 尽管近年来取得了显著进展，尤其是在语言模型的发展方面，但关于这类模型如何能够持续学习/记忆、自我改进以及寻找有效解决方案，仍然存在一些根本性的挑战和未解问题。在本文中，我们提出了一种新的学习范式，称为嵌套学习（Nested Learning, NL）。该范式以一种统一的方式，将机器学习模型表示为一组嵌套的、多层次的和/或并行的优化问题，其中每一个优化问题都具有其自身的上下文流（context flow）。 通过 NL 的视角来看，现有的深度学习方法通过压缩自身的上下文流来从数据中学习，而**上下文学习（in-context learning）**则自然地在大规模模型中涌现出来。NL 提出了一种设计理念：通过引入更多层次来设计具有更强表达能力的学习算法，从而实现更高阶的上下文学习，并有可能解锁有效的持续学习能力。 我们通过以下三个核心贡献来阐述并倡导 NL： （1）表达性优化器（Expressive Optimizers）： 我们展示了，诸如 Adam、带动量的 SGD（SGD with Momentum）等已知的基于梯度的优化器，实际上是联想记忆模块（associative memory modules），其目标是通过梯度下降来压缩梯度信息。在这一洞见的基础上，我们提出了其他更具表达能力的优化器，它们具备深层记忆能力和/或更强大的学习规则。 （2）自修改学习模块（Self-Modifying Learning Module）： 利用 NL 对学习算法的洞察，我们提出了一种序列模型，该模型能够通过学习自身的更新算法，来学习如何修改自身。 （3）连续记忆系统（Continuum Memory System）： 我们提出了一种新的记忆系统表述方式，将传统的长短期记忆（long/short-term memory）视角进行了推广。结合我们的自修改序列模型与连续记忆系统，我们提出了一种持续学习模块，称为 Hope。实验结果表明，该模块在语言建模、知识融入、少样本泛化任务、持续学习任务以及长上下文推理任务中均展现出了良好的潜力。 原文链接：https://arxiv.org/abs/2512.24695 前往小宇宙评论区与主播互动

Showing 41–44 of 44 episodes