
transcript
show notes
AI 接手同事做到一半的試算表,25 次嘗試無一解出,其中 12 次改掉同事原本做對的列。同一個模型換上修正過的考卷,通過率從 62.8% 升到 89.2%。追前提、把沒講的規則寫出來、拿自己的工作試,是換榜也能用的三個檢查習慣。
⭐ 文章深度讀:AI 接手同事試算表 25 次全沒解出!模型評測分數怎麼讀
→ https://heymaibao.com/ai-spreadsheet-handoff-benchmark-scores-f6b08f/
⚡ 章節重點
接手半成品的 AI 00:00
榜首 12% 的讀法 01:51
自圓其說的敗法 02:40
考卷分與碼表外 04:05
沒講出口的規則 06:20
換榜也能用的習慣 07:05
📝 懶人包
∙ 接手同事試算表的 Bellwood 任務,25 次嘗試無一解出。
∙ GDPx 綜合分數裡,最好的模型也只拿到 12%。
∙ 考卷修好後,Sonnet 5.5 從 62.8% 升到 89.2%。
∙ 我的觀點:看 AI 離你的工作多遠,看接手試算表比看數學題準。
📚 參考資料
GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains
→ https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities
Preference Model
→ https://preferencemodel.com/blog/terminal-bench-4-is-saturated/
About SemiAnalysis: Independent Semiconductor & AI Research
→ https://semianalysis.com/about/
GDPx: The General Agentic Benchmark
→ https://gdpx.semianalysis.com/
- https://heymaibao.com/ai-spreadsheet-handoff-benchmark-scores-f6b08f/heymaibao.com
- https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilitiesnewsletter.semianalysis.com
- https://preferencemodel.com/blog/terminal-bench-4-is-saturated/preferencemodel.com
- https://semianalysis.com/about/semianalysis.com