
transcript
show notes
OpenAI 發佈前沿 AI 訓練安全指引,回答 AI 安全裡出事時誰能喊停。安全功能要 fail closed,沒開監控就不能開跑,每位審查高層都能單獨否決,但做法仍在實施中。
⭐ 文章深度讀:OpenAI 的 AI 訓練出事時如何喊停?沒開監控就不能開跑
→ https://heymaibao.com/who-can-stop-openai-ai-training-a9e664/
⚡ 章節重點
AI 訓練的起飛檢查表 00:00
安全文件與喊停機制 00:41
一封鐵道事故信的啟示 02:54
承諾書與觀眾的兩個問題 04:39
📝 懶人包
∙ OpenAI 主張前沿強化學習訓練要繼續跑之前,先交結構化安全文件
∙ OpenAI 要求安全功能 fail closed,主張沒開監控就不該能開跑
∙ safety case 要給多位高層審,每一位都能單獨否決這次訓練
∙ 我的觀點:這份指引談的是部署之前的訓練階段,重點是出事時有沒有人能喊停
📚 參考資料
Towards safety cases for frontier AI training
→ https://openai.com/index/towards-safety-cases-for-frontier-ai-training
How we think about securing frontier RL training runs: https://t.co/yrvjpfa7Pd
→ https://x.com/OpenAI/status/2104815409522483470
Letter to DOT Secretary
→ https://www.ntsb.gov/Advocacy/Activities/Pages/homendy-20210930.aspx