Skip to content
Artwork for 课代表立正
课代表立正 · October 10 · 29 min

对话 331|半小时,教会你做出比Jev更厉害的替代品,并手机部署

我是孙煜征,大家叫我立正,康奈尔经济学博士、《真本事》作者、Superlinear Academy创始人。在这里,和我一起把AI、工作与人生中的重要问题想明白。 了解我、阅读文章与查找往期节目 https://www.lizheng.ai/ 本期内容 Jev 是 TypeSafe 做的决策模型,发布当天 Vercel 的 CEO 说 AI Gateway 上大约 13% 的活跃团队用了它。最出圈的是它能实时玩从没见过的游戏。鸭哥用开源的吃豆人做了三个实验:接上 Jev,10 局平均吃 178 颗豆,每步约 115 毫秒;同样的文字换给没做过决策训练的普通模型,微软 3.8B 的 Phi-4-mini 平均吃 232 颗;再让 27B 大模型离线给游戏状态打标签,蒸馏出一个 0.8B 小模型,按真实时钟平均吃 425 颗,每步 55 毫秒,小到能装进 iPhone 离线跑。 代价是它只在这一件事上更强。194 道和吃豆人无关的通用判断题,蒸馏出的 0.8B 只得 0.53,同样大小的决策模型 Tev1 得 0.66。所以结论不是“普通模型一定能替代 Jev”,而是换之前先在自己的任务上测:要零配置、开箱即用的广泛判断力,托管的 Jev 很好;要更低延迟、要离线在设备上跑、或者某个任务比通用能力重要得多,模型在自己手里,这些取舍才由你来定。 开头一分钟是立正:之前那期讲过,评价一个技术最重要的是找对标,这一期是鸭哥把 Jev 的对标做了出来。鸭哥用英文讲,画面里有中英字幕。 AI Builders 2027 下一期 10 月 12 日开课,两次直播课,立正和鸭哥各讲一半。课上给的优惠码 beyond-jev 减 $200,下面的链接已经带上: https://maven.com/superlinear/aibuilders?promoCode=beyond-jev 错过报名截止,可以发邮件到 support@maven.com。 课件:https://ai-builders.com/resources/jev/ 代码(README 里有课上每个数字对应的命令):https://github.com/grapeot/decision-pacman 蒸馏出来的 0.8B 模型:https://huggingface.co/grapeot/decision-pacman-0.8b-GGUF 章节: 00:00 立正:为什么要看鸭哥这节课 01:06 开场:Jev 为什么值得一整节课 06:01 实验一:把 Jev 接进吃豆人,看它读到了什么 10:06 实验二:换成普通 LLM 12:31 两个质疑:输出可不可靠,结论能不能推广 14:24 实验三:模型归你以后,先让它更快 16:59 让它更聪明:27B 与 lockstep 18:40 蒸馏一个 0.8B,跑上 iPhone 20:11 代价:通用判断题 21:15 托管还是自己的模型,以及什么会留下来 23:22 课程介绍:AI Builders 2027 问问立正|把问题想明白 听完还有问题,或想把一个观点用到自己的处境里?试试我做的「问问立正」:AI会从我的公开文章、视频和《真本事》中寻找相关内容,整理回答,并附上出处。每天可免费提问3次。 https://ask.lizheng.ai/ Superlinear Academy|免费AI社区 想和一群认真用AI的人一起交流?加入我创办的Superlinear Academy免费社区,看真实项目、找学习资料,带着你的问题参与讨论。 https://www.superlinear.academy/ AI Builders|系统学懂AI,真正用起来 想系统学懂AI、用它做好重要工作,把想法做成作品?了解我和鸭哥一起做的AI Builders课程。 https://ai-builders.com/

0:00-29:27

transcript

No transcript — this publisher did not publish one.

show notes

我是孙煜征,大家叫我立正,康奈尔经济学博士、《真本事》作者、Superlinear Academy创始人。在这里,和我一起把AI、工作与人生中的重要问题想明白。

了解我、阅读文章与查找往期节目

https://www.lizheng.ai/

本期内容

Jev 是 TypeSafe 做的决策模型,发布当天 Vercel 的 CEO 说 AI Gateway 上大约 13% 的活跃团队用了它。最出圈的是它能实时玩从没见过的游戏。鸭哥用开源的吃豆人做了三个实验:接上 Jev,10 局平均吃 178 颗豆,每步约 115 毫秒;同样的文字换给没做过决策训练的普通模型,微软 3.8B 的 Phi-4-mini 平均吃 232 颗;再让 27B 大模型离线给游戏状态打标签,蒸馏出一个 0.8B 小模型,按真实时钟平均吃 425 颗,每步 55 毫秒,小到能装进 iPhone 离线跑。

代价是它只在这一件事上更强。194 道和吃豆人无关的通用判断题,蒸馏出的 0.8B 只得 0.53,同样大小的决策模型 Tev1 得 0.66。所以结论不是“普通模型一定能替代 Jev”,而是换之前先在自己的任务上测:要零配置、开箱即用的广泛判断力,托管的 Jev 很好;要更低延迟、要离线在设备上跑、或者某个任务比通用能力重要得多,模型在自己手里,这些取舍才由你来定。

开头一分钟是立正:之前那期讲过,评价一个技术最重要的是找对标,这一期是鸭哥把 Jev 的对标做了出来。鸭哥用英文讲,画面里有中英字幕。

AI Builders 2027 下一期 10 月 12 日开课,两次直播课,立正和鸭哥各讲一半。课上给的优惠码 beyond-jev 减 $200,下面的链接已经带上:

https://maven.com/superlinear/aibuilders?promoCode=beyond-jev

错过报名截止,可以发邮件到 support@maven.com。

课件:https://ai-builders.com/resources/jev/

代码(README 里有课上每个数字对应的命令):https://github.com/grapeot/decision-pacman

蒸馏出来的 0.8B 模型:https://huggingface.co/grapeot/decision-pacman-0.8b-GGUF

章节:

00:00 立正:为什么要看鸭哥这节课

01:06 开场:Jev 为什么值得一整节课

06:01 实验一:把 Jev 接进吃豆人,看它读到了什么

10:06 实验二:换成普通 LLM

12:31 两个质疑:输出可不可靠,结论能不能推广

14:24 实验三:模型归你以后,先让它更快

16:59 让它更聪明:27B 与 lockstep

18:40 蒸馏一个 0.8B,跑上 iPhone

20:11 代价:通用判断题

21:15 托管还是自己的模型,以及什么会留下来

23:22 课程介绍:AI Builders 2027

问问立正|把问题想明白

听完还有问题,或想把一个观点用到自己的处境里?试试我做的「问问立正」:AI会从我的公开文章、视频和《真本事》中寻找相关内容,整理回答,并附上出处。每天可免费提问3次。

https://ask.lizheng.ai/

Superlinear Academy|免费AI社区

想和一群认真用AI的人一起交流?加入我创办的Superlinear Academy免费社区,看真实项目、找学习资料,带着你的问题参与讨论。

https://www.superlinear.academy/

AI Builders|系统学懂AI,真正用起来

想系统学懂AI、用它做好重要工作,把想法做成作品?了解我和鸭哥一起做的AI Builders课程。

https://ai-builders.com/

links5