Andrej Karpathy的RSS订阅清单 · Saturday · 7 min

舒尔曼：「新模型一个月后又显得笨」AGI循环为何难破

本期「Andrej Karpathy的RSS订阅清单」深度解析 Dwarkesh Patel 与 John Schulman、Beren Millidge、Charlie O'Neill 的一场前沿对谈：递归自我改进能否形成闭环，AI 是否会因此加速迈向 AGI？讨论没有停留在模型跑分，而是直指真正的瓶颈：AI 能否提出值得探索的问题、把模拟环境中的能力迁移到真实世界，以及在持续更新中避免遗忘。节目带你理解，所谓“智能爆炸”或许并非模型瞬间自我觉醒，而是“部署—反馈—训练”循环被压缩到小时级的结果。原文链接： https://www.dwarkesh.com/p/john-beren-charlie 原文标题：AI researchers debate how close we are to recursive self-improvement 建议结合原文阅读，获取三位研究者完整、直接的观点交锋。主要内容： • 新模型发布后“惊艳一个月、随后又显得笨”的循环，揭示了能力提升与真实短板持续暴露之间的张力。 • 自动化 AI 研发的关键难点不只是跑实验，而是判断什么问题值得研究、下一步该做什么。 • 将真实研发中的失败经验转化为训练环境，能持续提升下一代模型；但这更接近蒸馏，未必足以突破人类已知边界。 • 从模拟到现实的鸿沟依然巨大。长期工作、社会协作与动态环境中的判断，难以完全装进数据中心的强化学习沙盒。 • 更现实的递归自我改进路径，是不断缩短“部署—收集反馈—构造环境—再训练—发布”的迭代周期，而非单个模型实时改写自身权重。推荐理由：这篇对谈难得之处，在于它没有把 AGI 简化为乐观或悲观的时间表之争。三位一线研究者从训练方法、研发流程、持续学习、真实世界部署与数据蒸馏等角度，拆解了递归自我改进真正可能发生的路径与阻力。它尤其适合希望跳出“模型更强＝AGI 更近”这一简单叙事、理解 AI 能力演进底层机制的读者。 --- 「Andrej Karpathy的RSS订阅清单」为您精选全球最前沿的AI技术博客文章，深度剖析技术背后的核心洞察。由 voieech.com 提供技术支持。

0:00-7:54

Play in

transcript

No transcript — this publisher did not publish one.

show notes

本期「Andrej Karpathy的RSS订阅清单」深度解析 Dwarkesh Patel 与 John Schulman、Beren Millidge、Charlie O'Neill 的一场前沿对谈：递归自我改进能否形成闭环，AI 是否会因此加速迈向 AGI？

讨论没有停留在模型跑分，而是直指真正的瓶颈：AI 能否提出值得探索的问题、把模拟环境中的能力迁移到真实世界，以及在持续更新中避免遗忘。节目带你理解，所谓“智能爆炸”或许并非模型瞬间自我觉醒，而是“部署—反馈—训练”循环被压缩到小时级的结果。

原文链接：
https://www.dwarkesh.com/p/john-beren-charlie
原文标题：AI researchers debate how close we are to recursive self-improvement
建议结合原文阅读，获取三位研究者完整、直接的观点交锋。

主要内容：

• 新模型发布后“惊艳一个月、随后又显得笨”的循环，揭示了能力提升与真实短板持续暴露之间的张力。

• 自动化 AI 研发的关键难点不只是跑实验，而是判断什么问题值得研究、下一步该做什么。

• 将真实研发中的失败经验转化为训练环境，能持续提升下一代模型；但这更接近蒸馏，未必足以突破人类已知边界。

• 从模拟到现实的鸿沟依然巨大。长期工作、社会协作与动态环境中的判断，难以完全装进数据中心的强化学习沙盒。

• 更现实的递归自我改进路径，是不断缩短“部署—收集反馈—构造环境—再训练—发布”的迭代周期，而非单个模型实时改写自身权重。

推荐理由：
这篇对谈难得之处，在于它没有把 AGI 简化为乐观或悲观的时间表之争。三位一线研究者从训练方法、研发流程、持续学习、真实世界部署与数据蒸馏等角度，拆解了递归自我改进真正可能发生的路径与阻力。它尤其适合希望跳出“模型更强＝AGI 更近”这一简单叙事、理解 AI 能力演进底层机制的读者。

---

「Andrej Karpathy的RSS订阅清单」为您精选全球最前沿的AI技术博客文章，深度剖析技术背后的核心洞察。
由 voieech.com 提供技术支持。