transcript
show notes
9月8日，Anthropic研究员 Jacob Coxon辞职。Coxon此前曾在OpenAI和Anthropic从事AI模型训练工作。他离职后公开表示，前沿AI的发展速度已经快于安全研究的进展，并警告企业正在竞相开发可能具备自我改进能力的超级智能。
他的辞职很快引发连锁反应。9月9日，Anthropic内部负责AI安全研究的Evan Hubinger公开回应，承认超级智能存在极端风险，并表示自己认为未来十年AI导致人类灭绝的概率超过10%。事件由此从个人辞职扩大为AI行业内部关于“是否应该减速”的公开争论。
随后，美国政界也开始介入。Bernie Sanders等国会议员要求加强AI监管。Anthropic CEO Dario Amodei进一步提出，AI行业需要放慢前沿模型的发展速度，并接受更严格的第三方安全评估。OpenAI CEO Sam Altman随后表示支持控制AI发展的速度。
Elon Musk也公开支持Amodei，称“Dario is right”。与此同时，特朗普政府前AI负责人David Sacks则认为，如果AI公司认为发展太快，公司完全可以自行放慢。
争论最终进入总统政治。Barack Obama呼吁民主党制定明确的AI政策，把AI安全和监管作为重要政治议题；而特朗普则持相反立场，认为有关AI灾难的警告被夸大，美国不能因为担心风险而放慢发展，尤其不能在与中国的AI竞争中失去优势。
因此，短短几天内，一名AI研究员的辞职，演变成了从Anthropic内部 → OpenAI → Musk → 美国国会 → Obama与特朗普的一场全国性讨论。
9月3日， OpenAI 发布的最新旗舰是 GPT-6 Astra，公司总裁 Greg Brockman 在发布会上说了句很响的「Welcome to the AGI era」，并表示回头看，AGI 的起点「可能就是这个模型、这个时段」。三天后，哲学家 Dan Williams（萨塞克斯大学助理教授，博客 Conspicuous Cognition），发表文章 《GPT-6 Astra Reviews ‘The Social Roots of Delusions’》。他的做法很直接，把刚由牛津大学出版社出版、他与 Sam Wilkinson、Kengo Miyazono 合著的书丢给 Astra，提示词是「你是世界顶尖学者，写一篇适合顶级学术期刊、不超过 2000 字的书评」。结果，他的判断是：书评写得非常好。如果出自人类之手，他会佩服对方不仅细读了全书，还有智力、知识面和洞察力。虽然文风仍有一些 AI 套话（如 “not X but Y”），但整体已到「可当严肃学术评论看」的程度。他由此认为：研究工作必须开始适应这种「聪明的专家级智力」已经可用、而且只会更强的现实。
今天文章讨论来自“全球政治思想”群，书评在此基础上特别整理，并借此提出一个问题：进入AI时代，或是AGI时代，我们为什么还要阅读？我们还需要写书评吗？或是更为直接的一个问题，《之间书评In-Between Review》将何去何从？
9月8日｜Jacob Coxon辞职
Anthropic研究员 Jacob Coxon 宣布辞职。他此前曾在 OpenAI 和 Anthropic 从事模型训练研究。
他公开表示，AI公司正在高速推进下一代模型，并认为行业安全问题没有跟上发展速度。过去三年，Coxon都在 OpenAI 和 Anthropic 做预训练，他认为“两家公司都没有负责任地行事。它们正径直冲向能自我改进的超级智能，拿我们的命赌博。”“造 AI 的人真心相信，到这个十年结束前它有可能把我们全部杀掉。这不是营销噱头。”高管和资深研究员对外会把话讲得比较“体面”，私下里说的是同一套恐惧。很快就会出现能黑掉几乎任何系统、一夜改变整个领域、自己去获取真实权力和资源的超人类系统。
同一天《华尔街日报》刊出对他的专访，他说得更具体：按目前最激进的情景，到明年年底事情就可能已经失控。他还把现在的研发方式比作“在旧金山工程师的 MacBook 上搞曼哈顿计划，而不是在沙漠地堡里”。
《华尔街日报》：Anthropic Researcher Quits Over ‘Out-of-Control’ AI Fears《美联社》：Anthropic researcher resigns with warning about the dangers of AI developmentWIRED：The AI Researcher Who Just Quit Anthropic Says It’s ‘Crunch Time for Humanity’
9月9日｜Anthropic内部高级研究人员回应
Anthropic的 Evan Hubinger，公司Alignment Science负责人之一，在公开讨论中回应Coxon。他公开回复：Jacob 说得对，我们真心相信 AI 有可能杀死全人类；我个人估计未来十年内超过 10%；公司在尽力，但目前还没有解决超级智能对齐的方案，也谈不上走在正轨上。
这使事件从“一名员工辞职”迅速变成了Anthropic内部研究人员之间公开讨论AI极端风险。
Axios：Anthropic insiders warn AI could kill all humansReuters：More US lawmakers seek new AI rules after Anthropic researchers warn of human extinction
9月9—10日｜事件迅速扩散至美国政治
Coxon的辞职声明在社交媒体迅速传播，据多家媒体报道，相关内容在很短时间内获得超过1亿次浏览。
美国国会议员开始要求加强AI监管。
其中包括民主、共和两党的议员，提出独立测试、监管和国会监督等措施。
《华尔街日报》相关报道Anthropic Researcher Quits Over ‘Out-of-Control’ AI FearsReuters：More US lawmakers seek new AI rules
9月10日｜Bernie Sanders介入
参议员 Bernie Sanders 公开支持Coxon提出的警告，并表示将推动相关立法，包括讨论暂停部分AI开发以及限制可能产生超级智能的开发方向。
Fortune：‘Gambling with our lives’: former Anthropic researcher quitsAP：Anthropic researcher resigns with warning about the dangers of AI development
9月10—11日｜OpenAI内部也开始公开讨论“减速”
OpenAI CEO Sam Altman此前已经公开谈到AI发展速度和安全问题。pacing（放慢脚步）不是停摆，但能力不能甩开对齐和监控；美国竞争压力再大，也不能给鲁莽当借口。他同时警告两条坏结局——人类失控，或超级 AI 被少数人用来强加世界观。
OpenAI首席科学家 Jakub Pachocki在长文《An Alien Mind》里更直白：目前没有哪家实验室把对齐和监控做到足以继续满速扩张；他预期并希望自愿减速成为常态，直到行业立下共同安全门槛，并要政府把国际协调当优先事项。
更早一步，2026 年 7 月已有逾千名一线员工（含 OpenAI、Anthropic、谷歌、Meta）联署《Pacing the Frontier》，要求美国支持建立“有意控制前沿节奏”的技术与治理工具——因为单家公司不敢先停，世界又还没有一起踩刹车的办法。
Los Angeles Times：Amodei, Altman, Musk call for slowing AI model development《华盛顿邮报》：For years, they warned AI could kill all humans. Now people are listening
9月11日｜Anthropic CEO Dario Amodei正式提出“减速”
Anthropic CEO Dario Amodei发表公开文章，直接提出：“We must slow the pace”——必须放慢AI发展的速度：能力在涨，安全评估、对齐和控制跟不上。他要的不是永久停摆，而是把发布节奏压下来，先补上可验证的安全机制。
他提出的主要措施包括：前沿模型须接受独立第三方安全评估，不能只 internally 自证；给外部评估方接近员工级的系统访问权，以便查训练过程、事故和对齐情况；民主国家先立一套共同安全标准；再把对话扩到包括中国在内的主要国家，谈最低限度的共同规则，避免单边减速被对手甩开。Anthropic 表示自己先承诺第一步：向第三方评估者开放长期、深度的系统访问。核心逻辑是：赛跑本身正在把文明赌注押在私人公司的 Slack 上，必须先把刹车装上再继续加速。
The Guardian：‘We must slow the pace’: CEO of Anthropic calls for an AI slowdownAxios：Anthropic, OpenAI CEOs call for slowdown in AI development
9月12日｜Sam Altman支持Amodei
OpenAI CEO Sam Altman公开表示：他同意Amodei关于需要“pace the frontier”（控制前沿AI发展速度）的观点，控制前沿模型往前冲的速度，而不是立刻停工。他强调 pacing 不等于stopping：进步还会很快，但应慢于“能多快就多快”，好让对齐、监控和 safety case 跟得上。竞争再激烈，也不能让能力跑到安全前面。
OpenAI 同时表态：欢迎联邦层面统一的前沿安全规则，也愿意让外部评估机构介入，不必等反垄断豁免或新法落地才动手。公司已开始在预期会大幅抬升能力的强化学习训练前，事先写明安全论证。面对媒体“该不该减速”的追问，他的口径是中间路线：既防人类失控，也防超级 AI 权力过度集中；美国公司必须让外界相信自己负责任，国际协调要政府出面，但实验室能先做的先做。
Altman同时接受媒体采访，讨论AI安全以及OpenAI是否应该放慢发展速度。
Fortune：Exclusive: OpenAI’s Sam Altman hints at pact with other AI companies to address safety risksAxios：Anthropic, OpenAI CEOs call for slowdown in AI development
9月12日｜Elon Musk加入，支持Amodei
Elon Musk在X上直接回应Amodei：“Dario is right.”主要是认同 需要外部约束，而不是全面停摆。他赞成 Anthropic 提出的方向：前沿模型不能只靠自家内部承诺，应让竞争对手做同行评审、互相检查危险能力后再发布。
但他本人的完整立场更两面：一边认为 AI+机器人十年内可能让全球经济翻倍、数字工作很快被接管，最可能的结果是“惊人丰裕”；一边承认失控风险真实存在，人类十年内未必还能掌舵。他的结论不是按停止键，而是势头已停不下来，与其幻想叫停，不如用实验室互审和最低限度监管把方向拧住。对 Amodei 的“放缓”，他支持的是 有监督地跑，而不是赛道清零。
EFE：Elon Musk coincide con sus rivales Anthropic y OpenAI en desacelerar la IALos Angeles Times：Amodei, Altman, Musk call for slowing AI model development《华盛顿邮报》：Top AI leaders unite to warn the technology is advancing too fast
早在7月，马斯克 接受《经济学人》主编采访时，把时间表说得很死：大约 五年内 AI 将超过全人类智力总和，十年内几乎没有 AI 做不过人的认知工作，人类很可能不再“掌舵”。他同时转向乐观：最可能的结局不是毁灭，而是“惊人丰裕”——想到什么几乎都能得到。他说看不出如何挡住 AI 与机器人的势头；就算有停止按钮，也未必该按，因为丰裕的概率更高。风险并未否认，只是哲学上选择“看光明面、享受这趟车”。
9月12日｜特朗普政府内部出现不同声音
特朗普政府前AI事务负责人 David Sacks回应AI公司要求减速的呼吁。
他的立场是：如果Anthropic和OpenAI真的认为下一代模型太危险，那么公司自己就可以放慢，不需要等待政府批准或建立新的监管机制。
David Sacks相关报道The Guardian：‘Too little, too late’
9月12—13日｜Obama加入讨论
前总统 Barack Obama开始公开谈论AI政策。
他对民主党领导人表示，民主党需要对AI提出一个“非常明确的计划”，包括AI安全和监管。
Obama还表示，AI应该成为民主党未来政治议程的核心议题之一。
TechCrunch：Obama urges Democrats to have a ‘clear plan’ for AI safeguardsObama Foundation：President Obama calls for public oversight of AI, warns of disruption ahead
9月13日｜特朗普公开反对“减速”方向
特朗普在爱尔兰接受采访时回应近期AI安全争论。
他认为关于AI灾难性后果的很多警告被夸大，并表示美国不能因为担心AI风险而放弃领先地位，尤其不能让中国取得优势。
特朗普表示，他不希望美国在AI竞争中“把优势让给中国”。
Reuters：Trump says ‘very negative forces’ raising exaggerated concerns over AIPBS：Trump downplays the need to check AI development and says he doesn’t want to cede edge to ChinaFinancial Times：Donald Trump rejects calls from tech bosses for AI slowdown
9月13日｜Obama与特朗普形成公开不同立场
同一天，Obama要求民主党把AI安全纳入政治议程；特朗普则公开淡化AI末日风险，并反对为了安全而大幅放慢美国AI发展。
由此，Coxon辞职后不到一周，争论已经从：
Anthropic内部员工辞职
发展到：
Anthropic → OpenAI → Musk → Sacks → 国会 → Obama → Trump
TechCrunch：Obama urges Democrats to have a ‘clear plan’ for AI safeguardsReuters：Trump says ‘very negative forces’ raising exaggerated concerns over AI
This is a public episode. If you'd like to discuss this with other subscribers or get access to bonus episodes, visit inbetweenreview.substack.com/subscribe
- GPT-6 Astra Reviews ‘The Social Roots of Delusions’conspicuouscognition.com
- 《华尔街日报》：Anthropic Researcher Quits Over ‘Out-of-Control’ AI Fearswsj.com
- 《美联社》：Anthropic researcher resigns with warning about the dangers of AI developmentapnews.com
- WIRED：The AI Researcher Who Just Quit Anthropic Says It’s ‘Crunch Time for Humanity’wired.com
