TechnologyEducationScience

Seventy3

任雨山

73播客，Sheldon最喜欢的数字，内容均为Google NotebookLM原生生成，每天由AI领读最新的前沿论文。欢迎投稿合作。

Play

Open in

83 episodes
daily
Avg 19 min
Chinese

Episodes 83

Newest Oldest Longest

All20 Unplayed20 In progress0 Played0

Counted on this page — what you have heard stays on this device, so it is not something the list can be paged by.

August 16 · 21 min
【第686期】大语言模型智能体通信协议技术分类
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： A Technical Taxonomy of LLM Agent Communication Protocols Summary 随着大语言模型（LLM）的发展，以及多智能体系统（multi-agent systems）致力于突破单体智能体的局限，稳健的通信协议正在成为分布式智能体网络不可或缺的基础设施。然而，碎片化的协议格局带来了显著的互操作性挑战。本研究建立了一个技术分类法（taxonomy），用以分类和分析 LLM 智能体通信协议。遵循成熟的迭代方法，我们定义了该分类法的目标、元特征及终止条件，随后对 9 个活跃维护且具备明确应用案例的开源协议开展了 5 轮迭代（3 轮由经验到概念，2 轮由概念到经验）。该分类法包含 5 个维度：对手方（counterparty）、有效载荷（payload）、交互状态（interaction state）、发现机制（discovery mechanism）以及架构模式/模式灵活性（schema flexibility）。分类结果揭示了屡次出现的架构模式：所有抽样的智能体对智能体（agent-to-agent）协议均结合了混合有效载荷与会话状态持久化；大多数协议支持多种预定义模式（schema），其中两个协议支持运行时模式协商，这表明协议正在走向模式灵活性；去中心化的发现机制依然罕见。分析表明，短期内存在将智能体对智能体通信与智能体对上下文（工具和数据）通信进行统一的协议收敛压力。然而从长期来看，没有任何单一协议能够同时实现通用性、效率和便携性的最大化。该领域更有可能演进为一个联邦化、分层的协议栈。该框架为协议选择提供了指导，并突出了隐私保护和策略执行等尚存的研究空白。原文链接：https://arxiv.org/abs/2606.19135 前往小宇宙评论区与主播互动
August 15 · 24 min
【第685期】Agent-as-a-Router：编程任务的智能模型路由框架
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Agent-as-a-Router: Agentic Model Routing for Coding Tasks Summary 在现实场景中，用户通常可以接入来自不同供应商的多个大语言模型（LLM），且这些 LLM 往往在不同的领域各有所长，但没有单个模型能够独霸所有领域。因此，将每个任务路由至最合适的模型，对于提升性能和控制成本均至关重要。现有的路由器将该问题视为一种静态的、一次性的分类问题。然而，我们发现这些路由器的性能瓶颈在于信息匮乏：仅仅为原生 LLM 路由器补充任务维度层面的性能统计数据，就能带来 15.3% 的相对收益，超越基于同等维度先验构建的启发式路由方式。受此发现启发，我们提出了 Agent-as-a-Router 框架，将路由过程形式化为一个 C-A-F 循环（上下文 Context →行动 Action → 反馈 Feedback → 上下文 Context）。该框架通过在部署期间不断积累基于执行实践的经验，填补了信息鸿沟。我们将该框架实例化为 ACRouter（由协调器 Orchestrator、验证器 Verifier 和记忆模块 Memory 组成），并推出了 CodeRouterBench 评估环境——该环境包含约 1 万个任务实例，并附带来自 8 个前沿 LLM 的验证得分，从而支持在流式任务上进行基于“后悔值”（regret-based）的路由器对比。实验表明，ACRouter 在域内（in-distribution）任务上取得了最低的累计后悔值，并且能够泛化至域外的具主体性编程（agentic-programming）任务，证明了我们的路由框架能够主动弥合信息差。原文链接：https://arxiv.org/abs/2606.22902 前往小宇宙评论区与主播互动
August 14 · 17 min
【第684期】Autodata：以智能体模拟数据科学家构建高质量合成数据
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Autodata: An agentic data scientist to create high quality synthetic data Summary 我们推出了 Autodata，这是一种能够让 AI 智能体充当“数据科学家”来构建高质量训练和评估数据的通用方法。我们展示了如何训练（元优化，meta-optimize）这样一个数据科学家智能体，使其学会创建质量更高的数据。我们阐述了其整体公式设计，以及一个具体的实用实现方案——Agentic Self-Instruct。我们在计算机科学研究任务、法律推理任务以及数学对象推理任务上进行了实验，与传统合成数据集创建方法相比，我们取得了更优异的结果。此外，对数据科学家智能体本身进行元优化，带来了更为显著的性能提升。具主体性的数据创建（Agentic data creation）提供了一种将增加的推理算力转化为更高质量模型训练的途径。总体而言，我们相信这一方向有望改变我们构建 AI 数据的方式。原文链接：https://arxiv.org/abs/2606.25996 前往小宇宙评论区与主播互动
August 13 · 16 min
【第683期】Agent-Native Memory System的现状与评估综述
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Are We Ready For An Agent-Native Memory System? Summary 大语言模型（LLM）智能体的记忆系统已迅速从简单的检索增强机制，演变为能够在智能体执行过程中支持持久化信息存储、检索、更新、整合以及动态生命周期管理的数据管理系统。尽管有了这样的演进，现有评估仍主要通过端到端任务成功率指标（例如 F1、BLEU）来对智能体记忆进行基准测试，同时将底层系统视为一个单体黑盒。因此，包括运营成本、跨记忆模块的架构权衡以及在动态知识更新下的鲁棒性等关键系统层面的关切，依然缺乏充分探讨。在本文中，我们从数据管理的视角对智能体记忆进行了系统的实验研究。我们提出了一个分析框架，将智能体记忆拆解为四个核心模块：记忆表示与存储（memory representation and storage）抽取（extraction）检索与路由（retrieval and routing）维护（maintenance）在该框架下，我们在涵盖 11 个数据集的 5 个基准工作负载上，评估了 12 个具有代表性的记忆系统和 2 个参考基准（baselines）。我们广泛的端到端评估表明，没有任何单一架构能在所有场景中占据绝对主导地位；相反，其有效性在很大程度上取决于记忆结构与工作负载瓶颈的匹配程度。此外，通过细粒度的消融实验，我们量化了各模块对表示忠实度、检索精确度、更新正确性以及长程稳定性的具体影响。最后，我们揭示了在现实工作负载下的成本与性能权衡，表明局部维护比全局重组具有更高的成本效益。基于这些发现，我们指出了构建真正“智能体原生”（agent-native）记忆系统的前景方向。原文链接：https://arxiv.org/abs/2606.24775 前往小宇宙评论区与主播互动
August 12 · 24 min
【第682期】Sakana Fugu 技术报告：通过集体智能实现模型编排
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Sakana Fugu Technical Report Summary 前沿大语言模型（LLM）的能力持续提升，不同的提供商也日益在各自的领域形成独特优势。这自然引出了下一个目标：如何将各个 LLM 的独特专长整合为一个协同智能系统。为此，我们报告了 Sakana Fugu 的研发进展——这是一个协调器（orchestrator）模型家族，旨在驾驭并放大 LLM 智能体团队的能力。 Fugu 模型本身也是语言模型，经过专门训练后，能够理解用户查询并动态设计“具主体性”（agentic）的支架来解决问题。通过这些自适应支架，Fugu 释放出了超越任何单一 LLM 智能体的高强性能，在一系列极具挑战性的任务中（包括 SWE-Bench Pro、Terminal Bench、LiveCodeBench、GPQA-Diamond、Humanity's Last Exam 以及 CharXiv Reasoning），相较于其他公开可用的模型取得了最前沿（SOTA）的成果。我们发布了两款模型： Fugu：兼顾性能与延迟，适合日常使用； Fugu-Ultra：在极高难度的任务上优先保证回答质量。我们详细阐述了自身的训练范式——涵盖大规模微调、进化算法与强化学习方法，以及将这些方法转化为生产级系统的基础设施和核心设计原则。我们希望本报告能够推动对多智能体系统以及“动态/查询自适应”智能体支架的进一步研究，将其作为通过群体智能迈向 AI 能力下一前沿的有效路径。原文链接：https://arxiv.org/abs/2606.21228 前往小宇宙评论区与主播互动
August 11 · 17 min
【第681期】Critique of Agent Model：从代理系统到自主主体的演进
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Critique of Agent Model Summary 什么是智能体（Agent）？什么构成了主体性（Agency）？随着被营销为“编程智能体”、“AI联合科学家”以及其他承诺能大幅提升生产力的“具主体性”（agentic）工具的崛起，与此同时，关于AI可能在推测性的“机器主体性”驱使下摆脱人类控制并施加破坏性力量等“生存级”担忧也日益增长。在此背景下，无论对于构建能力强大的系统，还是对于理解我们是否以及该恐惧什么，明确自动化在哪里终结、主体性从哪里开始，都已变得至关重要。借鉴笛卡尔将主体性建立在独立思考之上的观点，以及科幻小说中对自主存在的描绘，我们综述了当前AI智能体的现状，并从五个维度分析了智能体架构：目标（goal）、身份（identity）、决策（decision-making）、自我调节（self-regulation）和学习（learning）。具体而言，我们认为真正的主体性要求这些结构内化于系统本身内部，而非通过外部支架搭建而成。这种在“代理型”（agentic）系统（其能力依赖于工程化的工作流）与“主体型”（agentive）系统（其能力包括社交互动，均源于内生）之间的区分，划清了专为预设任务设计的系统与能够在开放世界中以真正自主性运行的系统之间的界限。基于这一分析，我们提出了一种用于通用智能体模型的“目标-身份-配置器”（Goal-Identity-Configurator, GIC）架构，它结合了层级化目标分解、身份演化、基于独立训练的世界模型的模拟推理、习得性自我调节，以及来自真实与模拟经验的自主学习。此外，我们还就拥有更高自主性和“主体性”但仍处于人类监督之下的主体型系统的可审计性、可控性和安全性分享了见解。原文链接：https://arxiv.org/abs/2606.23991 前往小宇宙评论区与主播互动
August 10 · 17 min
【第680期】世界价值模型：机器人操纵的通用价值评估
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： World Value Models for Robotic Manipulation Summary 通用价值模型（Generalist value models）在从大规模、质量混合的数据中扩展机器人策略学习方面发挥着关键作用。从数学角度来看，准确的价值估计需要深刻的时序理解，这要求模型既能利用历史上下文来锚定当前信念，又能对未来结果进行规划。然而，大多数现有的机器人价值模型都是基于视觉语言模型（VLM）底座构建的，这些底座主要在静态或时序稀疏的视觉观测数据上进行预训练，缺乏价值估计所需的时序建模能力。与 VLM 不同，世界模型（world models）天然擅长时序建模与未来规划，这使其成为学习具备泛化能力的价值函数的理想基础。基于这一洞察，我们将世界模型与价值估计相结合，构建了一种全新的机器人通用价值模型——世界价值模型（World Value Model，简称 WVM），能够提供准确的任务进度预测以评估数据质量。在标准基准测试中，WVM 取得了最先进的（SOTA）价值顺序相关性（VOC）结果。除了仅包含专家数据的标准评估套件外，我们还推出了 Suboptimal-Value-Bench，这是一个多具身（multi-embodiment）基准测试，由 800 条包含高保真、人工标注帧标签的次优轨迹组成。评估表明，WVM 在 Suboptimal-Value-Bench 上依然保持了 SOTA 性能，证实了其在处理专家数据和次优数据时的鲁棒性。当应用于策略学习时，无论在模拟环境还是真实世界的部署中，WVM 都提升了各种策略提取方法的操纵性能，为从混合质量的数据中进行学习提供了稳健的指导。原文链接：https://arxiv.org/abs/2606.24742 前往小宇宙评论区与主播互动
August 9 · 19 min
【第679期】PAPO：对齐扩散大语言模型推理的奖励与状态
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Back on Track: Aligning Rewards and States for Reasoning in Diffusion Large Language Models Summary 强化学习（RL）在提升扩散大语言模型（dLLM）的推理能力方面蕴含着巨大的潜力。然而，这一领域的进展从根本上受到了真实生成轨迹与梯度更新过程之间“双重错位”（dual misalignment）的限制：过程-奖励错位（Process-reward misalignment）：稀疏的终局奖励被无差别地赋予给生成过程的所有中间步骤，无法提供区分度高的信用分配（credit assignment）。状态-轨迹错位（State-trajectory misalignment）：策略更新往往偏离至人造的、脱离轨迹的状态，将梯度浪费在信息量较低的样本上。为了解决这些局限，我们提出了过程对齐策略优化（Process Aligned Policy Optimization，简称 PAPO）。这是一个全新的框架，通过两大机制将 RL 更新与 dLLM 的生成轨迹进行整体对齐：步骤感知过程奖励（Step-Aware Process Rewards，简称 SPR）：将稀疏的终局奖励转化为密集的步骤级信用；熵引导历史重演（Entropy-Guided Historical Re-enactment，简称 EHR）：在高不确定性步骤下重演真实轨迹。在四个基准测试上的大量实验表明，PAPO 显著优于基线方法，在 GSM8K 上实现了高达 4.5% 的提升， MATH500 上提升 4.8%， Countdown 上提升 42.2%，数独（Sudoku）上提升 16.1%。原文链接：https://arxiv.org/abs/2606.08501 前往小宇宙评论区与主播互动
August 8 · 13 min
【第678期】OpenClaw-Skill：基于集合技能树搜索的智能体强化学习
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： OpenClaw-Skill: Collective Skill Tree Search for Agentic Large Language Models Summary 为大语言模型（LLM）Agent 赋予有效的技能，对于解决像 OpenClaw 这类现实世界系统中的复杂任务至关重要。在这项工作中，我们的目标是开发一个能够自动构建此类可重用技能的框架，从而增强 LLM 在工具使用、多步推理以及动态环境交互方面的能力。为此，我们提出了群体技能树搜索（Collective Skill Tree Search，简称 CSTS），这是一种全新的基于树搜索的技能构建框架，能够构建出结构化、多样化且具备泛化能力的技能树。CSTS 的核心思想是利用群体智慧，通过两个迭代阶段来共同搜索、识别与组合有效技能：群体技能节点生成（CSN-Gen）和群体技能节点评估（CSN-Assess）。CSN-Gen 利用来自多个模型的群体知识，为每个子任务探索多样化的候选技能，从而实现全面的技能探索。CSN-Assess 则采用多个模型作为裁判，通过两种打分机制来评估和选择技能节点：（1）群体质量打分，通过聚合独立评估，对技能有效性做出稳健的估计；（2）群体可迁移性打分，显式地验证某项技能是否能在不同模型间良好泛化。借由 CSTS，我们构建了一套完整的技能树以及技能增强的训练数据，使模型能够有效地学习并利用技能。此外，我们还引入了群体技能强化学习，它能主动从树中选择多个相关技能，以拓宽解空间探索，避免陷于单一技能及其产生的同质化或次优解中。结果表明，我们训练出的模型 OpenClaw-Skill 在长流程规划、工具使用以及挑战性基准测试的泛化能力方面，展现出了卓越的 Agent 能力。原文链接：https://arxiv.org/abs/2606.16774 前往小宇宙评论区与主播互动
August 7 · 15 min
【第677期】从学徒到导师：强化学习环境生成框架
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： From Trainee to Trainer: LLM-Designed Training Environment for RL with Multi-Agent Reasoning Summary 强化学习（RL）在大语言模型（LLM）训练中的流水线，通常依赖于在不同阶段之间手动重新设计环境，这就需要从业人员凭启发式经验去推断哪种配置最能提升当前的策略模型。为了将这一过程实现自动化，我们提出了 LLM 作为环境工程师（LLM-as-Environment-Engineer）的框架：在该框架中，当前的策略模型会分析失败轨迹并结合上下文信息，从而为下一阶段的训练环境配置提出修改建议。我们还推出了 MAPF-FrozenLake，这是一个可控的测试床，其生成器暴露了多维度的环境配置，非常适合用来研究和评估环境的重新设计。在该测试床中，我们以策略行为、失败案例和环境统计数据的结构化摘要作为条件引导环境工程师，使其生成下一训练阶段的配置。在以 Qwen3-4B 作为骨干模型时，我们的框架在基准测试中取得了最强的综合性能，超越了更大的闭源商业 LLM（例如 GPT、Gemini）以及固定环境训练的基线方法。我们进一步分析了哪种形式的上下文最为有效，发现成功的环境更新依赖于失败证据，并且会保留已经生效的配置。有趣的是，当前的 RL 检查点（checkpoint）比原始的基座模型能扮演更好的环境工程师角色，这表明策略学习提升了模型诊断自身剩余缺陷的能力。原文链接：https://arxiv.org/abs/2606.17682 前往小宇宙评论区与主播互动
August 6 · 17 min
【第676期】智能自动机学习：大语言模型智能体发现世界模型
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Can LLM Agents Infer World Models? Evidence from Agentic Automata Learning Summary 我们提出了“Agent 化的自动机学习”（agentic automata learning），用于评估工具调用型 LLM Agent 通过交互揭示隐藏环境的能力。在我们的设定中，Agent 需通过与 Oracle（神谕/专家）进行两种交互来揭示一个隐藏的确定性有限状态自动机（DFA）：（1）成员查询（“该字符串是否属于目标语言？”）以及（2）等价性查询（“这是目标 DFA 吗？”）。这提供了一个具有可控任务复杂度、可测量交互效率以及强基线（传统的自动机学习算法）的可扩展测试床。对最先进的 LLM 进行评估后，我们发现其性能随着 DFA 规模的增大而急剧下降。推理模型（reasoning models）的表现显著强于非推理模型，但轨迹分析揭示了其在查询规划、证据整合和假设构建方面反复出现的失败。总体而言，我们的结果表明，当前的 LLM Agent 有时能够完成非平凡的交互式探索，但该任务上的鲁棒性和效率仍远落后于传统算法。原文链接：https://arxiv.org/abs/2606.16576 前往小宇宙评论区与主播互动
August 5 · 20 min
【第675期】PreAct：基于状态机与验证机制的计算机辅助代理加速系统
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： PreAct: Computer-Using Agents that Get Faster on Repeated Tasks Summary 计算机操作 Agent（Computer-using agents）通过屏幕直接驱动真实软件——进行点击与打字——但它们解决每个任务时都是“从头开始”：当被要求重复某项任务时，Agent 会重新读取屏幕、重新推理每一次点击，并再次付出全部代价。我们提出了 PreAct，它能让此类 Agent 在执行曾经做过的任务时速度大幅提升。在首次成功完成任务时，PreAct 会将该运行过程编译为一个精简的状态机程序（状态负责检查屏幕，转移负责执行动作）；在后续运行中，PreAct 会直接重放该程序，而无需调用 Agent——不仅没有每一步的语言模型调用，速度还提升了 8.5 到 13 倍。这种重放并非盲目进行：在每一步执行前，PreAct 都会检查屏幕是否符合程序的预期，一旦出现异常便会立即将控制权交还给 Agent。在决定保留哪些程序时，PreAct 同样遵循这一严格原则：一个新编译的程序只有在从干净状态重新运行、并经独立评估器确认确实解决了任务后，才会存入存储库——这能有效筛选出那些虽然重放到最后一步但实际并未完成任务的无效程序。在涵盖移动端、桌面端和 Web 端的三项基准测试中，这种存储阶段的校验将“越用越好”的重复运行与“因错误程序累积而导致性能下降”的运行成功区分开来，在三项基准测试中均带来了相同的正面效果（相当于每项基准测试提升 1.75 到 2.6 个任务）；再加上当没有合适程序时重新进行探索的回退机制（fallback），使 PreAct 达到了与强劲的“录制与重放”（record-and-replay）基线相媲美的水平。此外，我们还报告了哪些因素并不重要：提示词措辞、运行时防护栏（guardrails），以及究竟是由语言模型还是普通的嵌入检索器来选择复用哪种程序。原文链接：https://arxiv.org/abs/2606.17929 前往小宇宙评论区与主播互动
August 4 · 16 min
【第674期】SkillWeaver：组合式 LLM 代理技能路由框架
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Compositional Skill Routing for LLM Agents: Decompose, Retrieve, and Compose Summary LLM Agent 越来越依赖外部技能（即包含重用工具规范的定义），但现实世界中的任务通常需要组合多个技能，而不仅仅是选择单个技能。我们将该问题形式化为组合式技能路由（Compositional Skill Routing）问题：给定一个复杂的用户查询和一个庞大的技能库，将查询拆解为原子子任务，为每个子任务检索合适的技能，并构建出一个可执行的规划。我们提出了 SkillWeaver，这是一个结合了 LLM 任务分解器、带 FAISS 索引的双编码器（bi-encoder）技能检索器以及依赖感知 DAG 规划器的“拆解-检索-组合”框架。为了支持评估，我们推出了 CompSkillBench，这是一个包含 300 个组合式查询的基准测试，涵盖来自公开 MCP 生态系统、跨越 24 个功能类别的 2,209 个真实 MCP 服务端技能。我们的实验表明，任务分解的质量是主要瓶颈：标准 LLM 分解在步骤层面的类别召回率（category recall）仅达到 34.2%。为了解决这个问题，我们提出了迭代式技能感知分解（Iterative Skill-Aware Decomposition，简称 SAD），这是一种检索增强的反馈循环，能够迭代地将分解过程与可用技能进行对齐。SAD 在单次迭代中将分解准确率从 51.0% 提升至 67.7%（相对提升 +32.7%，Wilcoxon 检验 p<10−6）；基于分解准确性（DA）的条件分析证实，正确的粒度是实现有效检索的前提条件（当 DA=1 时，CatR@1 从 34% 上升至 41%）。 SkillWeaver 将上下文窗口的消耗降低了 99% 以上，迁移实验也证实了其泛化能力（即使检索池中缺失目标类别，相对 DA 收益仍达到了 +35.6%）。原文链接：https://arxiv.org/abs/2606.18051 前往小宇宙评论区与主播互动
August 3 · 15 min
【第673期】SpatialClaw：重塑智能体空间推理的代码动作接口
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning Summary 空间推理（即确定物体位置、相互关系以及在三维空间中如何运动的能力）依然是视觉语言模型（VLM）面临的一项根本性挑战。工具增强型 Agent 试图通过为 VLM 补强专业感知模块来解决这一问题，但其有效性受到调用这些工具的动作接口（action interface）的限制。在本文中，我们研究了该接口的设计如何塑造 Agent 进行开放式空间推理的能力。现有的空间 Agent 要么采用单次代码执行，这种方式在观察到任何中间结果之前就已确定了完整的分析策略；要么依赖结构化的工具调用接口，这往往缺乏自由组合操作或针对具体任务量身定制分析的灵活性。这两种设计对于开放式、复杂的 3D/4D 空间推理所提供的灵活性都非常有限。因此，我们提出了 SpatialClaw，这是一个采用代码作为动作接口的无需训练的空间推理框架。SpatialClaw 维持一个有状态的 Python 内核，其中预载了输入帧以及一系列感知和几何图元，允许由 VLM 支持的 Agent 在每一步根据所有先前的输出来编写一个可执行单元格，从而使 Agent 能够灵活地组合与操作感知结果，并根据中间的文本、视觉观察以及每个问题的需求来调整其分析过程。在跨越广泛静态与动态 3D/4D 空间推理任务的 20 个空间推理基准测试上的评估表明，SpatialClaw 实现了 59.9% 的平均准确率，超越了近期的空间 Agent +11.2 个百分点；且在来自两个模型家族的六个 VLM 底座上均实现了持续的性能提升，期间无需任何针对基准测试或特定模型的微调适配。原文链接：https://arxiv.org/abs/2606.13673 前往小宇宙评论区与主播互动
August 2 · 17 min
【第672期】FlashMemory-DeepSeek-V4：前瞻稀疏注意力的超长上下文技术
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention Summary 传统大语言模型（LLM）在解码阶段需要将全部 KV 缓存（KV Cache）保持加载状态，这导致在超长上下文服务场景下面临严重的 GPU 显存瓶颈。在本报告中，我们提出了前瞻稀疏注意力（Lookahead Sparse Attention，简称 LSA），这是一种由基于 DeepSeek-V4 架构构建的神经记忆索引器（Neural Memory Indexer）驱动的全新推理范式。与被动地对所有历史 Token 进行注意力计算不同，LSA 能够主动预测未来的上下文需求，并仅在 GPU 显存中保留对查询至关重要的 KV 块（KV Chunks）。关键在于，我们通过脱离骨干模型的解耦训练（backbone-free decoupled training）策略实例化了该架构。通过将索引器构建为标准的双编码器（dual-encoder）架构，我们利用标准的检索训练框架对其进行独立训练，而无需将庞大的骨干模型加载到 GPU 显存中。我们证明了这种“少即是多”的范式在大幅提升服务效率的同时，还能在依赖长期全局记忆的任务中充当有效的注意力去噪器（attention denoiser）。在主流的长上下文评估套件（例如 LongBench-v2、LongMemEval 和 RULER）中，FM-DS-V4 将平均物理 KV 缓存占用大幅压缩至全上下文基线（full-context baseline）的 13.5%，同时持续保持甚至略微提升了下游任务的准确率（平均绝对提升 +0.6%）。在 1M（百万）上下文长度下，每个解码 Token 的计算量降至基线的 0.30 倍，GPU KV 缓存体积缩减了 90%（从 3.73 GB 降至 0.37 GB），从而在 8× H20 GPU 上的首字/解码分离（PD-disaggregated）服务中，实现了2.8 倍的总吞吐量提升和 2.7 倍的并发量提升。原文链接：https://arxiv.org/abs/2606.09079 前往小宇宙评论区与主播互动
August 1 · 15 min
【第671期】从监督微调到强化学习：在线蒸馏的参数空间几何特性
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： On the Geometry of On-Policy Distillation Summary 在线策略蒸馏（On-Policy Distillation，简称 OPD）越来越多地被用于提升大语言模型的推理能力，但其训练动态机制（training dynamics）至今仍缺乏深入了解。我们对 OPD 在参数空间中的更新轨迹进行了刻画，并将其与监督微调（SFT）以及基于可验证奖励的强化学习（RLVR）进行了比较。一系列参数空间诊断结果一致表明，OPD 处于一种宽松的非主方向机制（relaxed off-principal regime）：与 SFT 相比，它的更新所影响的权重更少，且更强烈地避开了主方向（principal directions）；而与 RLVR 相比，它的限制程度则没有那么严苛。除了这种静态定位之外，OPD 还展现出了子空间锁定（subspace locking）现象：其累积更新会迅速进入一条狭窄的低维通道。将训练限制在训练早期形成的更新子空间内，能够保留 OPD 的性能，却会大幅降低 SFT 的效果，这表明被锁定的子空间在功能上对于 OPD 来说是充分的。对照实验进一步表明，稀疏化更新 Token（sparsifying update tokens）以及将 Rollout 生成转为离线策略（off-policy）依然能保持其秩动态特性（rank dynamics）；然而，将 OPD 目标与 RLVR 混合使用则会改变这一特性。总体而言，这些结果表明 OPD 并非仅仅是 SFT 和 RLVR 之间的过渡状态，而是在参数空间中诱导出了其独特的更新几何结构（update geometry）。原文链接：https://arxiv.org/abs/2606.07082 前往小宇宙评论区与主播互动
July 31 · 13 min
【第670期】Agentopia：大语言模型长周期社会生活模拟与学习
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Agentopia: Long-Term Life Simulation and Learning in Agent Societies Summary 人类从社会生活中进行学习。利用大语言模型（LLM）驱动的 Agent 来模拟这一过程是一个很有前景的研究方向，由此也衍生出一个自然的问题：LLM 能否从这种模拟的社会经验中学习，从而更好地理解和复刻人类行为？然而，以往的 Agent 社会模拟通常局限在“天”的量级，限制了社会交互的深度与长期成长。在本文中，我们针对 Agent 社会中的长期生活模拟与 LLM 学习展开研究，旨在实现两个目标：（1）探索终身模拟中涌现出的社会行为；（2）通过数年的模拟社会经验，培养 LLM 的拟人化能力，特别是其在社会生活中的智能水平。具体而言，我们提出了 Agentopia，这是一个用于多 Agent 社会长期生活模拟的综合框架。在该框架中，100 个 Agent 在 10 个模拟年里自主追求个人成长、建立社会关系，并满足自身的需求与目标。我们定义了用来镜像人类幸福感（well-being）的“生活奖励”（life reward），并利用该奖励通过拒绝采样（rejection sampling）来训练 LLM。大量实验表明，Agent 表现出了丰富且涌现出的社会行为。此外，基于生活奖励的训练有效提升了底座 LLM 的能力，这不仅改善了 Agent 在模拟中的幸福感，还泛化到了下游的角色扮演基准测试中，带来了 +15.6% 的性能提升。原文链接：https://arxiv.org/abs/2606.07513 前往小宇宙评论区与主播互动
July 30 · 20 min
【第669期】从助手到智能体：AI重塑知识工作的自主性、效率与范围
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： How AI Agents ReshapeKnowledge Work: Autonomy,Efficiency, andScope Summary 前沿 AI 系统正在实现从“对话助手”向“能够端到端执行任务的自主 Agent”的转变，从而弥合智能与实用价值之间的鸿沟。我们利用来自 Perplexity 的 Search（搜索）与 Computer（电脑/计算）产品的生产数据，通过研究 AI Agent 如何加速并重塑知识工作，对这一转型进行了探讨。研究得出了三个关键的实证发现：第一，将使用两个产品尝试相同底层任务且初始查询对近乎一致的会话作为自然实验，数据显示，在每个用户会话中，Computer 能够执行 26 分钟的自主工作，而 Search 仅为 33 秒。 Computer 实现了任务拆解与执行的自动化，而这些工作在过去可能需要 Search 用户手动去协调和实施。因此，Computer 将后续查询的分布推向了诸如“验证”与“拓展”等更高阶的工作。自主性同时也提升了执行质量：Computer 上每条查询的不满意率比 Search 低 55%。第二，得益于其自主性优势，在匹配的同类任务上，Computer 将完成时间从 269 分钟缩减至 36 分钟。与仅配备 Search 的人类相比，估计的时间和成本分别降低了 87% 和 94%。第三，Computer 改变了用户尝试的工作范围：相较于同一批用户对 Search 的使用，Computer 上的查询更频繁地跨越职业边界、需要更高阶的认知能力、调用更广泛的专业知识，并且更多地表现为将相互依存的子任务打包进单个查询的复合型任务，从而解锁了在 Search 使用中基本不存在的工作活动。综合来看，这些证据表明 AI Agent 能够加速工作流程、提升输出质量、降低成本，并拓展自动化工作的广度与深度。原文链接：https://arxiv.org/abs/2606.07489 前往小宇宙评论区与主播互动
July 29 · 24 min
【第668期】Agents’ Last Exam：工业级通用AI智能体评测基准
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Agents’ Last Exam Summary 近期的人工智能系统在一系列广泛的基准测试中取得了优异的成绩，然而这些进步并未能在众多专业领域中转化为具备经济意义的落地应用。我们认为，这一差距很大程度上源于评估环节的问题：目前被广泛使用的基准测试缺乏对真实且具备经济价值的工作流程进行持续性的性能测量。本文介绍了“Agent 的终极考场”（Agents' Last Exam, 简称 ALE），这是一个旨在评估 AI Agent 在具有可验证结果、长流程、具备经济价值且贴近现实世界任务中表现的基准测试。ALE 是与 250 多位行业专家合作开发的，其覆盖的非物理产业均参考了 O*NET / SOC 2018（美国联邦职业分类体系）进行定义。它围绕一个包含 55 个子领域、归类为 13 个行业集群的任务分类体系展开，涵盖 1000 多个任务。目前的结果表明，最难的梯队距离“饱和”还差得远：在主流的框架（harness）和骨干模型（backbone）配置下，平均完全通过率低于 1%。ALE 被设计为一个动态发展的基准测试：随着新工作流程和新行业的不断加入，其任务池将持续扩大。更广泛地说，ALE 的定位不仅是另一个排行榜，更是缩小基准测试的成功与对国内生产总值（GDP）产生实际影响之间差距的工具。原文链接：https://arxiv.org/abs/2606.05405 前往小宇宙评论区与主播互动
July 28 · 13 min
【第667期】Self-harness：大语言模型代理的进化演进系统
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文）今天的这篇的主题是： Self-Harness: Harnesses That Improve Themselves Summary Based LLM-based agent（基于大语言模型的智能体）的性能受其基座模型以及协调其与环境交互的框架/驾驭系统（harness）共同塑造。由于不同的模型表现出截然不同的行为特征，因此有效的 harness 设计本质上是需要针对特定模型定制的。然而，智能体 harness 至今在很大程度上仍由人类专家手动工程化构建，随着现代 LLM 日益多样化且快速迭代，这种范式在扩展性方面表现极差。在本文中，我们提出了 Self-Harness——一种全新的范式，在此范式下，基于 LLM 的智能体可以在不依赖人类工程师或更强外部智能体的情况下，自我改进其运行 harness。我们将 Self-Harness 实例化为一个包含三个阶段的迭代循环：弱点挖掘（Weakness Mining）：从执行轨迹中识别特定模型的失败模式； Harness 方案提出（Harness Proposal）：生成与这些失败紧密相关的、多样化且最小化的 harness 修正方案；方案验证（Proposal Validation）：仅在通过回归测试后才接受候选的修改。我们在 Terminal-Bench-2.0 上使用一个极简的初始 harness 以及来自不同家族的三款基座模型（MiniMax M2.5、Qwen3.5-35B-A3B 和 GLM-5）对 Self-Harness 进行了实例化评估。在这三款模型上，Self-Harness 均一致提升了性能，保留测试集（held-out）的通过率分别从 40.5% 提升至 61.9%、从 23.8% 提升至 38.1%，以及从 42.9% 提升至 57.1%。定性分析进一步表明，Self-Harness 并不仅仅是添加通用的指令，而是有效地将特定模型的弱点转化为具体、可执行的 harness 改动。这些结果表明，基于 LLM 的智能体不仅能被其 harness 塑造，还能开辟一条参与重塑自身 harness 的演进路径。原文链接：https://arxiv.org/abs/2606.09498 前往小宇宙评论区与主播互动

Showing 61–80 of 83 episodes