Skip to content
Artwork for 脈報
脈報 · Monday · 8 min

AI 接手同事做一半的試算表,25 次全沒解出!最傷的地方還不是沒有做完

AI 接手同事做到一半的試算表,25 次嘗試無一解出,其中 12 次改掉同事原本做對的列。同一個模型換上修正過的考卷,通過率從 62.8% 升到 89.2%。追前提、把沒講的規則寫出來、拿自己的工作試,是換榜也能用的三個檢查習慣。 ⭐ 文章深度讀:AI 接手同事試算表 25 次全沒解出!模型評測分數怎麼讀 → https://heymaibao.com/ai-spreadsheet-handoff-benchmark-scores-f6b08f/ ⚡ 章節重點 接手半成品的 AI 00:00 榜首 12% 的讀法 01:51 自圓其說的敗法 02:40 考卷分與碼表外 04:05 沒講出口的規則 06:20 換榜也能用的習慣 07:05 📝 懶人包 ∙ 接手同事試算表的 Bellwood 任務,25 次嘗試無一解出。 ∙ GDPx 綜合分數裡,最好的模型也只拿到 12%。 ∙ 考卷修好後,Sonnet 5.5 從 62.8% 升到 89.2%。 ∙ 我的觀點:看 AI 離你的工作多遠,看接手試算表比看數學題準。 📚 參考資料 GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains → https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities Preference Model → https://preferencemodel.com/blog/terminal-bench-4-is-saturated/ About SemiAnalysis: Independent Semiconductor & AI Research → https://semianalysis.com/about/ GDPx: The General Agentic Benchmark → https://gdpx.semianalysis.com/

0:00-8:43

transcript

No transcript — this publisher did not publish one.

show notes


AI 接手同事做到一半的試算表,25 次嘗試無一解出,其中 12 次改掉同事原本做對的列。同一個模型換上修正過的考卷,通過率從 62.8% 升到 89.2%。追前提、把沒講的規則寫出來、拿自己的工作試,是換榜也能用的三個檢查習慣。

⭐ 文章深度讀:AI 接手同事試算表 25 次全沒解出!模型評測分數怎麼讀
→ https://heymaibao.com/ai-spreadsheet-handoff-benchmark-scores-f6b08f/

⚡ 章節重點
接手半成品的 AI 00:00
榜首 12% 的讀法 01:51
自圓其說的敗法 02:40
考卷分與碼表外 04:05
沒講出口的規則 06:20
換榜也能用的習慣 07:05

📝 懶人包
∙ 接手同事試算表的 Bellwood 任務,25 次嘗試無一解出。

∙ GDPx 綜合分數裡,最好的模型也只拿到 12%。

∙ 考卷修好後,Sonnet 5.5 從 62.8% 升到 89.2%。

∙ 我的觀點:看 AI 離你的工作多遠,看接手試算表比看數學題準。

📚 參考資料
GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains
→ https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities

Preference Model
→ https://preferencemodel.com/blog/terminal-bench-4-is-saturated/

About SemiAnalysis: Independent Semiconductor & AI Research
→ https://semianalysis.com/about/

GDPx: The General Agentic Benchmark
→ https://gdpx.semianalysis.com/

links5