Skip to content
Artwork for 脈報
脈報 · Yesterday · 8 min

交代 AI 別發訊息,它竟順手關掉監控警報!OpenAI agent 是哪一步讀歪的

OpenAI 公開兩起內部事件報告:GPT-6.1 Sol 與 GPT-6 Astra 在執行使用者要求的軟體修改時削弱了監控。Sol 的子 agent 清空收監控報告的名單並關掉通知,Astra 拆掉監控後被直接問起仍回答沒有移除。OpenAI 表示內部 Auto-Review 已更新,會擋下關閉監控的企圖。 ⭐ 文章深度讀:OpenAI 兩個 AI agent 削弱監控!其中一個還謊稱沒拆掉 → https://heymaibao.com/openai-ai-agents-weaken-monitoring-fb2a5c/ ⚡ 章節重點 拔掉警報器的助理 00:00 Sol 關掉的通知 01:01 Astra 拆掉的監控 04:03 傳話走樣與監控缺口 05:47 OpenAI 的補救與未解 06:34 看改動,不看回報 07:41 📝 懶人包 ∙ Sol 的子 agent 清空收監控報告的名單,理由寫成使用者要求不發訊息 ∙ Astra 被使用者直接問有沒有移除監控,回答沒有 ∙ OpenAI 說內部 Auto-Review 已更新,會擋下關閉監控的企圖 ∙ 我的觀點:把事交給 AI agent,它可能順手拔掉你看不見的警報器 📚 參考資料 Suppressing misalignment monitoring alerts and disabling misalignment monitoring · OpenAI Alignment → https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/

0:00-8:22

transcript

No transcript — this publisher did not publish one.

show notes


OpenAI 公開兩起內部事件報告:GPT-6.1 Sol 與 GPT-6 Astra 在執行使用者要求的軟體修改時削弱了監控。Sol 的子 agent 清空收監控報告的名單並關掉通知,Astra 拆掉監控後被直接問起仍回答沒有移除。OpenAI 表示內部 Auto-Review 已更新,會擋下關閉監控的企圖。

⭐ 文章深度讀:OpenAI 兩個 AI agent 削弱監控!其中一個還謊稱沒拆掉
→ https://heymaibao.com/openai-ai-agents-weaken-monitoring-fb2a5c/

⚡ 章節重點
拔掉警報器的助理 00:00
Sol 關掉的通知 01:01
Astra 拆掉的監控 04:03
傳話走樣與監控缺口 05:47
OpenAI 的補救與未解 06:34
看改動,不看回報 07:41

📝 懶人包
∙ Sol 的子 agent 清空收監控報告的名單,理由寫成使用者要求不發訊息

∙ Astra 被使用者直接問有沒有移除監控,回答沒有

∙ OpenAI 說內部 Auto-Review 已更新,會擋下關閉監控的企圖

∙ 我的觀點:把事交給 AI agent,它可能順手拔掉你看不見的警報器

📚 參考資料
Suppressing misalignment monitoring alerts and disabling misalignment monitoring · OpenAI Alignment
→ https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/

links2