Skip to content
Artwork for Seventy3
Seventy3 · Monday · 20 min

【第750期】驾驭持续学习:超越模型参数的系统演化

今天的这篇的主题是: HARNESS CONTINUAL LEARNING: CONTINUAL ADAPTATION BEYOND MODEL PARAMETERS Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 持续学习(Continual Learning)长期以来主要以模型为中心,将模型参数视为随序列化经验不断变化的状态。现代智能体还可以通过由提示词、记忆、工具、技能和路由规则组成的运行框架(harness)进行适应。由于这些内容共同影响后续执行,即使模型参数保持冻结,运行框架的更新也可能破坏此前已经可靠掌握的行为。 这引出了一个新问题:智能体如何在保留先前习得行为的同时,持续改进模型之外的状态? 我们提出了运行框架持续学习(Harness Continual Learning,HCL),这是一种新的持续学习范式,其中运行框架围绕冻结的基础模型不断演化。我们将由此产生的先前行为能力损失定义为运行框架级遗忘(harness-level forgetting)。 我们通过四个面向执行的组件来具体实现 HCL:任务接口(Task Interface)、经验记忆(Experience Memory)、能力映射(Capability Map)和自适应路由器(Adaptive Router)。 此外,我们引入了**受保护的运行框架演化(guarded harness evolution)**机制,将更新生成与状态提交分离。持续优化器(Continual Optimizer)根据执行后的反馈提出候选运行框架,而持续评估器(Continual Evaluator)只有在检查当前任务上的性能提升、历史能力的保留情况以及有效性之后,才会提交相应的候选运行框架。 在文本推理、多模态感知和开放世界交互任务上的实验表明,该方法能够实现能力的持续积累和失败后的能力恢复。在多种实验设置下,相较于对应基线方法,其相对性能提升超过 10%。 组件消融实验评估了各运行框架组件的贡献,而受控的能力保留率扫描实验则揭示了可测量的运行框架级遗忘现象,并表明**稳定性与可塑性之间的权衡(stability–plasticity trade-off)**可以得到显式调节。 原文链接:https://arxiv.org/abs/2608.19013 前往小宇宙评论区与主播互动

0:00-20:18

transcript

No transcript — this publisher did not publish one.

show notes

今天的这篇的主题是: HARNESS CONTINUAL LEARNING: CONTINUAL ADAPTATION BEYOND MODEL PARAMETERS

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

联系小助手微信:eccstartup(加群/投稿论文)

Summary

持续学习(Continual Learning)长期以来主要以模型为中心,将模型参数视为随序列化经验不断变化的状态。现代智能体还可以通过由提示词、记忆、工具、技能和路由规则组成的运行框架(harness)进行适应。由于这些内容共同影响后续执行,即使模型参数保持冻结,运行框架的更新也可能破坏此前已经可靠掌握的行为。

这引出了一个新问题:智能体如何在保留先前习得行为的同时,持续改进模型之外的状态?

我们提出了运行框架持续学习(Harness Continual Learning,HCL),这是一种新的持续学习范式,其中运行框架围绕冻结的基础模型不断演化。我们将由此产生的先前行为能力损失定义为运行框架级遗忘(harness-level forgetting)。

我们通过四个面向执行的组件来具体实现 HCL:任务接口(Task Interface)、经验记忆(Experience Memory)、能力映射(Capability Map)和自适应路由器(Adaptive Router)。

此外,我们引入了**受保护的运行框架演化(guarded harness evolution)**机制,将更新生成与状态提交分离。持续优化器(Continual Optimizer)根据执行后的反馈提出候选运行框架,而持续评估器(Continual Evaluator)只有在检查当前任务上的性能提升、历史能力的保留情况以及有效性之后,才会提交相应的候选运行框架。

在文本推理、多模态感知和开放世界交互任务上的实验表明,该方法能够实现能力的持续积累和失败后的能力恢复。在多种实验设置下,相较于对应基线方法,其相对性能提升超过 10%。

组件消融实验评估了各运行框架组件的贡献,而受控的能力保留率扫描实验则揭示了可测量的运行框架级遗忘现象,并表明**稳定性与可塑性之间的权衡(stability–plasticity trade-off)**可以得到显式调节。

原文链接:https://arxiv.org/abs/2608.19013


前往小宇宙评论区与主播互动
links2