传说巴别塔倒塌之后，人类开始说不同的语言，从此再也无法轻易理解彼此。

千年后，我们造出了精通所有语言的 AI，她能写诗、编程、聊天、抚慰陌生人的心灵。但一个诡异的问题随之出现——当机器学会了语言，是否意味着她理解了我们的世界呢？

LLM出生于文字，她读过无数次的“猫”，却没有摸过任何一只猫; 她知道什么叫“前后左右”，却从未真正站在房间内转过身；她可以描述悲伤，却从未真正体验过失去。

这正是Grounding（符号接地）所追问的问题：语言的意义，究竟来自语言内部，还是必须最终落回到真实世界？

本期《AI实话实说》，我们和 Freda Shi 教授从语言学聊到认知科学，从维特根斯坦聊到AI写诗，Freda本人也像这个问题的映射：做着精确的符号研究，却深爱历史诗歌和那些无法完全形式化的东西。

也许通向 AGI 的最后那一步，不是让AI再读万亿 token，而是让语言——终于落到地上。

欢迎关注同名小红书“AI实话实说”，加入群组和嘉宾、主持人互动！

Freda Shi（石昊悦），滑铁卢大学计算机科学教授，Vector Institute Faculty Member，并担任 Canada CIFAR AI Chair。研究方向横跨自然语言处理、计算语言学、Grounding、多模态模型、模型认知与程序语言。

她于 2024 年加入滑铁卢大学，此前在 Toyota Technological Institute at Chicago 获得计算机科学博士学位，她本科就读于北京大学 EECS，后进入自然语言处理与计算语言学研究领域，曾在 Google DeepMind、Meta 等机构从事研究。

Freda 是一个很难用单一学科装下的研究者。她做 NLP，也读语言学；写代码，也爱历史、文学和维特根斯坦。她尤其关注那些主流 benchmark 不容易照到的角落。

Grounding / 符号接地
把语言中的符号与意义、感知或外部世界建立联系。模型是否真正尊重语言背后的 semantics，而不只是统计上生成了合理的文本。

Symbol Grounding Problem / 符号接地问题
认知科学和人工智能中的经典问题：如果一个系统中的符号只是通过其他符号来定义，那么这些符号最终如何获得真实意义？这一问题通常被追溯至 Stevan Harnad 对符号系统意义来源的讨论。

Stochastic Parrot / 随机鹦鹉
Emily Bender 等人提出的著名比喻：语言模型可能非常擅长复现语言形式，却并不真正理解这些语言对应的意义。

Inductive Bias / 归纳偏置
学习系统在看到数据之前就具有的结构性假设。例如卷积神经网络偏向利用局部空间结构，而循环神经网络偏向顺序处理信息。归纳偏置可以提高样本效率，但也可能限制模型能够学习到的模式。

Bitter Lesson
Rich Sutton 提出的机器学习观点：长期来看，依赖大规模计算和通用学习机制的方法，往往会超过高度依赖人工设计知识和领域先验的方法。它常被用于解释深度学习和大规模模型的发展路径。

Emergence / 涌现
指模型在规模扩大后表现出的、在较小模型中不明显的新能力。研究界对于部分“涌现”现象是否真正是突然发生，还是由评价指标离散化造成的表象，仍存在持续讨论。

Mechanistic Interpretability
试图从模型内部结构出发，解释神经网络如何实现某种计算或行为。研究对象通常包括神经元、注意力头、特征表示、计算回路以及不同层之间的信息流。

Sparse Autoencoder（SAE）/ 稀疏自编码器
一种用于分析神经网络内部表示的方法，通过将密集的 activation 分解成较稀疏的特征，希望获得更容易分析和命名的内部表示。近年来被广泛应用于大语言模型可解释性研究。

Actionable Interpretability
一种更务实的可解释性观点：解释模型不是为了“看起来解释了”，而是要能帮助 improve the model、better understand the model，或者更安全地与模型互动。

02:58 Freda 还是昊悦？一个英文名字如何变成另一种语言里的身份

05:12 兴趣与天赋并不匹配：爱文学和历史，为什么最后还是选择了计算机？

14:37 从维特根斯坦到 NLP：为什么语言最终成为她研究世界的入口？

20:28 当 AI 让所有人说同一种“语言”，人类会不会失去认知的多样性？

29:02 什么是 Grounding？为什么一个会说话的模型，不等于一个理解意义的模型？

36:05 Grounding 是手段还是目的？如果机器人不知道自己在做什么，我们敢让它进入现实世界吗？

45:50 从 Coding 到 Grounding：为什么代码验证与外部世界反馈必须同时存在？

56:58 Scaling 能解决 Grounding 吗？能力是突然涌现，还是一点点长出来的？

1:00:02 有意思，还是有意义？一个研究者到底该追求什么？

1:07:27 能不能像研究人脑一样研究 LLM？Behavioral Science 与 Mechanistic Interpretability 的边界

1:17:58 如何带学生：研究品味、自由，以及“有意思”和“有意义”的双向选择

1:20:10 AI 会写诗吗？艺术究竟发生在创作者手里，还是发生在读者心里？

1:29:34 AI Slop、论文评价体系与 Reward Hacking：学术发表体系还能撑多久？

1:36:02 未来三年的一个判断：论文发表体系会崩，具身智能会继续向前

AI实话实说

Episodes 9