Skip to content
Artwork for オッカムのカミソリ
オッカムのカミソリ · Wednesday · 12 min

質問の「順番」を変えただけでAIが豹変した――GPT-2で確かめられた"転換点"を予測する数式

同じ質問でも、聞く順番を変えるだけでAIの答えは安全な側から危うい側へ傾く。米ジョージ・ワシントン大学の物理学者らは、その転換点を予測する数式を導き、GPT-2などで検証しました。注意をめぐる綱引きという仕組みと、Anthropicの関連研究、専門家の批判までを分かりやすく整理します。 参考情報 〇Simple math can predict when AI is about to go rogue, physicists say(2026年10月14日) https://www.livescience.com/technology/artificial-intelligence/simple-math-can-predict-when-ai-is-about-to-go-rogue-physicists-say 〇Competition for attention predicts good-to-bad tipping in AI(2026年2月16日) https://arxiv.org/abs/2602.14370 〇Competition for attention predicts good-to-bad tipping in AI(Patterns掲載版、2026年10月8日) https://doi.org/10.1016/j.patter.2026.101666 〇Multispin Physics of AI Tipping Points and Hallucinations(2025年8月) https://arxiv.org/abs/2508.01097 〇Many-shot jailbreaking(2024年4月2日) https://www.anthropic.com/research/many-shot-jailbreaking 〇Tracing the thoughts of a large language model(2025年3月27日) https://www.anthropic.com/news/tracing-thoughts-language-model 〇AIは「守る側」にもなれるか——DeepMindが描くバイオレジリエンスの設計図(2026年7月19日) https://note.com/kojifukuoka/n/n3d400f6a9e6f #AI #人工知能 #AI安全性 #生成AI #ChatGPT #大規模言語モデル #LLM #物理学 #ジョージワシントン大学 #ティッピングポイント #アテンション #ジェイルブレイク #Anthropic #プロンプト #AI倫理 #GPT2 #解釈可能性 #科学ニュース #数理モデル #AIリスク #科学 #サイエンス #技術 #テクノロジー #科学技術

0:00-12:33

transcript

No transcript — this publisher did not publish one.

show notes

同じ質問でも、聞く順番を変えるだけでAIの答えは安全な側から危うい側へ傾く。米ジョージ・ワシントン大学の物理学者らは、その転換点を予測する数式を導き、GPT-2などで検証しました。注意をめぐる綱引きという仕組みと、Anthropicの関連研究、専門家の批判までを分かりやすく整理します。

参考情報

〇Simple math can predict when AI is about to go rogue, physicists say(2026年10月14日)

https://www.livescience.com/technology/artificial-intelligence/simple-math-can-predict-when-ai-is-about-to-go-rogue-physicists-say


〇Competition for attention predicts good-to-bad tipping in AI(2026年2月16日)

https://arxiv.org/abs/2602.14370


〇Competition for attention predicts good-to-bad tipping in AI(Patterns掲載版、2026年10月8日)

https://doi.org/10.1016/j.patter.2026.101666


〇Multispin Physics of AI Tipping Points and Hallucinations(2025年8月)

https://arxiv.org/abs/2508.01097


〇Many-shot jailbreaking(2024年4月2日)

https://www.anthropic.com/research/many-shot-jailbreaking


〇Tracing the thoughts of a large language model(2025年3月27日)

https://www.anthropic.com/news/tracing-thoughts-language-model


〇AIは「守る側」にもなれるか——DeepMindが描くバイオレジリエンスの設計図(2026年7月19日)

https://note.com/kojifukuoka/n/n3d400f6a9e6f

#AI #人工知能 #AI安全性 #生成AI #ChatGPT #大規模言語モデル #LLM #物理学 #ジョージワシントン大学 #ティッピングポイント #アテンション #ジェイルブレイク #Anthropic #プロンプト #AI倫理 #GPT2 #解釈可能性 #科学ニュース #数理モデル #AIリスク #科学 #サイエンス #技術 #テクノロジー #科学技術