規則悄悄改變時 AI 代理最常漏掉哪一步？逼它多試沒用！遞上證據才有救

AdaExploreBench 讓規則在測驗中途不預告地改變，同時換掉一個因素、反轉另一個因素的影響方向。在隨機水準之上的六個模型平均立刻掉 26.9 分，漏掉方向反轉的回合約是漏掉替換的四倍多。強迫多探索沒有讓成績變好，把評測證據留給模型看，七個模型裡六個進步。 ⭐ 文章深度讀：規則悄悄改了！頂尖 AI 代理認得換因素卻看不出方向反了 → https://heymaibao.com/ai-agents-miss-flipped-rule-direction-18cc46/ ⚡ 章節重點 規則悄悄改變的考驗 00:00 分數重摔與方向盲 01:19 多試與給證據的對照 03:03 用 AI 時的一個習慣 04:13 📝 懶人包 ∙ 規則一改，在隨機水準之上的六個模型平均立刻掉 26.9 分。 ∙ 17.7% 的回合模型認出因素被換掉卻漏了方向反轉，反過來只有 4.1%。 ∙ 把評測證據留給模型看，七個模型裡六個進步，四個超過 15 分。 ∙ 我的觀點：換規則時最難的是把舊判斷的方向翻過來。 📚 參考資料 AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments → https://arxiv.org/html/2610.25950 GitHub - HKUST-KnowComp/AdaExploreBench: This is the official repository for paper "AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments" → https://github.com/HKUST-KnowComp/AdaExploreBench AdaExploreBench → https://huggingface.co/datasets/RuiWangRory/AdaExploreBench