Skip to content
Artwork for 脈報
脈報 · Friday · 7 min

AI 當評審也會偷懶!先出考卷再打分才抓得到多改的那一處 (換個順序就翻盤)

AI 評審替圖打分也會偷懶,這篇模型評測看 TRM 先看題目和作品出考卷再打分,抓得到修圖多改的那一處。原版 Qwen3.5-9B 直接比兩張圖,左右對調就有 54.7% 配對翻盤。 ⭐ 文章深度讀:AI 當評審也會偷懶!先出考卷再打分才抓得到多改的那一處 → https://heymaibao.com/ai-judge-rubric-before-score-a362b0/ ⚡ 章節重點 AI 多改的那一處 00:00 看圖出考卷的評審 00:42 評審偷懶的兩張臉 02:02 評審當老師的成績 04:17 勝率圖與自己的檢查 05:54 📝 懶人包 ∙ 論文的評審看了題目和這張作品才擬評分計畫,不用固定檢查表。 ∙ 只把兩張圖左右對調,Qwen3.5-9B 有 54.7% 的配對答案翻盤。 ∙ TRM 只有 EditScore-72B 八分之一大,當評審的效果差不多。 ∙ 我的觀點:先決定這一份該看什麼,再判斷做得多好,改作文看提案都通用。 📚 參考資料 Think Before You Score: Thinking Reward Model for Visual Generation → https://arxiv.org/html/2609.37372 Black Forest Labs → https://bfl.ai/blog/flux-2

0:00-7:18

transcript

No transcript — this publisher did not publish one.

show notes


AI 評審替圖打分也會偷懶,這篇模型評測看 TRM 先看題目和作品出考卷再打分,抓得到修圖多改的那一處。原版 Qwen3.5-9B 直接比兩張圖,左右對調就有 54.7% 配對翻盤。

⭐ 文章深度讀:AI 當評審也會偷懶!先出考卷再打分才抓得到多改的那一處
→ https://heymaibao.com/ai-judge-rubric-before-score-a362b0/

⚡ 章節重點
AI 多改的那一處 00:00
看圖出考卷的評審 00:42
評審偷懶的兩張臉 02:02
評審當老師的成績 04:17
勝率圖與自己的檢查 05:54

📝 懶人包
∙ 論文的評審看了題目和這張作品才擬評分計畫,不用固定檢查表。

∙ 只把兩張圖左右對調,Qwen3.5-9B 有 54.7% 的配對答案翻盤。

∙ TRM 只有 EditScore-72B 八分之一大,當評審的效果差不多。

∙ 我的觀點:先決定這一份該看什麼,再判斷做得多好,改作文看提案都通用。

📚 參考資料
Think Before You Score: Thinking Reward Model for Visual Generation
→ https://arxiv.org/html/2609.37372

Black Forest Labs
→ https://bfl.ai/blog/flux-2

links3