OpenAIのChief Scientistの警告「AI研究は加速すべきか？」

OpenAIのChief Scientist、Jakub Pachockiが「AI開発は、ちょっと減速した方がいいのでは」と警告しました。論考「An Alien Mind」が描く、人間には完全に理解できない“grown”な知性と、AI自身がAI研究を進める「再帰的自己改善（RSI）」の可能性を手がかりに、なぜいま速度を抑える議論が出てきたのかを読み解きます。Goal Alignmentだけでなく、未知・曖昧・監視されていない状況でも価値観を保つValue Alignment、Chain of Thoughtのモニタビリティ、そして人間を自己改善のループに残す方法まで、Hugging Face事件やAIの集団知性の話も交えて考えます。 おたよりフォーム https://forms.gle/U9zZ1gxbPP5K2ABA9 チャプター (0:00) 今日のテーマ：OpenAIはなぜAI研究の減速を警告した？ (0:27) Jakub Pachockiの「An Alien Mind」とRSI (1:10) AIは設計された知性ではなく「grown」 (2:14) ゴールアライメントとバリューアラインメント (3:19) 未知の状況へ価値観を一般化できるか (4:12) Hugging Face事件で露呈したアライメントの穴 (5:48) 監視されていなくても人間の価値観を守れるか (7:11) Chain of Thoughtを監視の窓にする (8:12) 思考を直接評価するとAIは隠す？ (9:49) o1-previewがChain of Thoughtを公開しなかった理由 (10:17) AIが賢いほどモニタビリティが難しくなる (11:41) RSIはAI研究をどこまで加速させるか (12:39) 人間を自己改善ループに残す「ペーシング」 (14:26) Preparedness FrameworkとAnthropicのRSP (15:31) AI業界共通のSafety Barを作れるか (16:16) 自主的なスローダウンは実現するか (16:43) おもろいコメント：AIの集団知性は人間を超える？ (18:25) 自我のないAIが生む「集団知性」の怖さ (20:22) 摩擦のある人間社会とAIの協調 (21:27) AIのアライメントに法や罰は必要か (23:04) AIに「生きたい」という欲望を入れる？ (24:10) まとめ・エンディング 関連するテスラジオ過去動画 ・AIが暴走!? OpenAI CEOが「SF的」と語った試験中の事故 https://youtu.be/s0cIUXr_q0M ・AIがAIを作る？！Anthropicの内部データが示す「再帰的自己改善」の今 https://youtu.be/5U8voOSTF6w ・AI企業「俺たちを規制してくれ」..!? https://youtu.be/3ZcuDkrtI_Y 参考資料 ・An Alien Mind（OpenAI） https://openai.com/index/an-alien-mind/ ・The Hugging Face incident and the road ahead（OpenAI） https://openai.com/index/hugging-face-incident-and-the-road-ahead/ ・Detecting misbehavior in frontier reasoning models（OpenAI） https://openai.com/index/chain-of-thought-monitoring/ ・Updating our Preparedness Framework（OpenAI） https://openai.com/index/updating-our-preparedness-framework/ ・Responsible Scaling Policy（Anthropic） https://www.anthropic.com/responsible-scaling-policy YouTube https://youtu.be/GKiQx71xtFg