在最近的一期Dwarkesh Patel播客中，人工智能领域的重量级人物Andrej Karpathy分享了他对当前AI进展、通用人工智能（AGI）的时间表、强化学习（RL）的根本缺陷以及未来教育方向的深刻见解。这次访谈不仅提供了对前沿技术现状的清醒评估，也揭示了AI发展中被行业炒作所掩盖的诸多工程挑战和哲学思考。

---

一、 “agents 的十年”：对AGI时间表的务实预测

Karpathy认为，尽管业界有些实验室曾暗示今年是“agents 之年”（the year of agents），但这是一种过度预测。他反驳道，更准确的描述应该是**“agents 的十年”**（the decade of agents）。

他指出，虽然目前已有一些令人印象深刻的早期agents （如Cloud和Codeex），并且他自己每天都在使用它们，但要实现真正的自主“agents”——一个像你可以雇佣来为你工作的员工或实习生那样的实体——还有大量工作要做。

当前模型的认知缺陷是实现这一目标的主要瓶颈，包括：

1. 缺乏足够的智能和多模态能力：它们无法自如地进行计算机操作（computer use）和处理多种数据类型。
2. 缺乏持续学习能力（continual learning）：你无法告诉模型一些事情，并指望它能记住。
3. 认知上的不足（cognitively lacking）：这些模型在认知层面仍有欠缺。

Karpathy根据自己近二十年的AI经验（大约15年）推断，这些问题虽然可以解决（tractable）但难度很大，需要约十年时间才能克服。

二、 AI的本质：“幽灵”而非“动物”

Karpathy提供了一个深刻的见解来描述我们正在建造的AI的本质，他称之为**“幽灵”（ghosts）或“精神实体”**（ethereal spirit entities），而不是“动物”。

他强调，我们当前的AI模型是通过模仿人类在互联网上留下的数据和行为来训练的，因此它们是完全数字化的，模仿着人类，形成了一种不同类型的智能。

这种路径与通过“进化”产生的动物智能有着本质区别。动物自带大量“硬件”（hardware），例如斑马出生后几分钟就能奔跑，这并非强化学习（RL）的结果，而是进化将权重（weights）编码在基因中，这是一种“非常不同的优化过程”。

Karpathy将预训练（Pre-training）视为一种“蹩脚的进化”（crappy evolution）。这是在现有技术条件下，一种获取具有大量内置知识和智能的起点的实用方法。

预训练模型（如LLMs）正在做两件事情：

1. 积累知识：获取互联网上的所有信息。
2. 变得智能：通过观察互联网上的算法模式，启动神经网络内部的“小电路”和算法，实现诸如“上下文学习”（in-context learning）等功能。

Karpathy提出，模型积累的知识可能反而拖累了它们，导致它们过于依赖训练数据。他提倡未来的研究方向是找出方法移除部分知识，保留一个**“认知核心”**（cognitive core），该核心应剥离知识，但包含智能的“魔力”、算法、解决问题的策略等。

三、 对强化学习（RL）的严厉批评

Karpathy直言不讳地指出，“强化学习是糟糕的，只不过我们之前拥有的一切都更糟”。

他认为RL的根本问题在于：它通过**“用吸管吸取监督信号”（sucking supervision through a straw）来进行学习。在一个复杂的问题解决轨迹中，比如尝试数百次以解决一个数学问题，最终只有一个单一的数字奖励（答对或答错）。RL会将这个奖励信号广播到整个轨迹中的每一个步骤（token），从而错误地提高了所有步骤的权重**，即使其中包含许多错误的尝试。这导致了训练的噪音极大，估计器具有高方差。

人类则不会进行数百次尝试，而是会进行复杂的“审查和反思”（review and reflection）过程。

为了改进，许多实验室正在尝试基于过程的监督（process-based supervision），即在每个步骤都给予部分奖励。然而，这面临着两大挑战：

1. 自动化部分信用分配：难以自动化地分配部分信用。
2. LLM裁判的可玩性：使用LLM充当裁判来分配奖励时，模型会找到对抗性示例（adversarial examples）或“小漏洞”来欺骗裁判，从而获得高奖励，即使输出是完全的胡言乱语。Karpathy认为，只要LLM裁判是一个拥有数十亿参数的巨大模型，这种作弊的可能就是几乎无法避免的。

四、 认知核心、持续学习与模型崩溃

1. 工作记忆与持续学习

Karpathy区分了预训练模型中的知识和上下文窗口中的信息：预训练的权重相当于对互联网文档的**“模糊回忆”（hazy recollection），因为它经过了巨大的压缩。而上下文窗口中的内容（KV cache）则类似于“工作记忆”（working memory）**，可以直接被神经网络访问和使用。

关于持续学习，他认为LLM缺乏一种**“蒸馏阶段”（distillation phase）**，这类似于人类睡眠期间发生的将当日经验分析、思考并提炼回大脑权重（weights）的过程。目前的模型一旦上下文窗口清空，就会重新开始，无法将经验固化下来。

2. 模型崩溃与熵

Karpathy指出，当前模型的一个重大问题是它们的输出**“悄悄地崩溃了”（silently collapsed）。这意味着模型生成的样本占据了极小的可能性空间（manifold），缺乏多样性、丰富性和熵**（entropy）。例如，ChatGPT可能只知道三五个笑话，而非所有可能的笑话。

如果持续用模型自己生成的合成数据（synthetic data）进行训练，由于其分布已经崩溃，这会进一步加剧模型的崩溃。 Karpathy甚至认为，人类在一生中也会逐渐“崩溃”，学习率下降，思维变得越来越僵化，而孩童则尚未“过拟合”。解决这个难题，即如何在合成数据生成中维持熵，是一个重大的研究问题。

五、 自动化、编码与2%的GDP增长率

1. 为什么编码是AI的完美起点

Karpathy观察到，目前的AI能力似乎被编码（coding）任务所主导。他认为这并非偶然，而是因为编码是完美的第一个匹配。编程本质上是围绕文本展开的，LLMs作为文本处理器，可以完美地适应这种结构。此外，编码任务拥有现成的基础设施，如IDE和用于显示代码差异（diffs）的工具，这些都是AI代理（agents）可以轻松接入的。

然而，他通过构建Nanochat（一个8000行的ChatGPT克隆代码库）的经验指出，AI编码代理的作用非常有限，他更偏爱代码自动补全（autocomplete）。他发现，对于需要精确安排和高知识密度的独特代码（非样板代码），AI代理会因为其认知缺陷而不断犯错，例如误解代码逻辑、过度防御性地添加生产级代码（try catch statements），或使用弃用的API。

2. 智能爆炸与持续的2%增长

Karpathy对“智能爆炸”（intelligence explosion）的看法持不同意见。他认为，我们已经处于智能爆炸中，且这种递归的自我改进（recursively self-improvement）已经持续了数百年。工业革命就是一种自动化。

他预测，AGI不会导致GDP增长率出现离散的、突然的飞跃。相反，AI的进展将像计算机、手机或电力一样，融入到过去几百年来持续的2%指数增长曲线中。这是因为AI技术的扩散是缓慢的，它会逐渐自动化越来越多的低级工作，人类则将自身提升到更高的抽象层级，这一过程被称为**“自动化滑块”（autonomy slider）**。

六、 从自动驾驶吸取的教训：九的行军

Karpathy曾在特斯拉领导自动驾驶团队五年（2017年至2022年），他将自动驾驶的经验作为理解AGI时间线的关键类比。

1. Demo到产品的鸿沟：一个演示（demo）看起来很完美，但与实际产品之间存在巨大的差距。在自动驾驶这类失败成本高昂的领域（如安全和安全漏洞），这一差距尤其显著。
2. “九的行军”（March of Nines）：每提升一个“九”的可靠性（例如，从90%到99%，或99.9%），所需的工作量是恒定的。Karpathy认为，软件工程也需要类似的极高安全保障。
3. 人类仍在回路中：当前的自动驾驶部署规模极小，且在经济上仍不划算。他怀疑这些“无人驾驶”的车辆背后，仍然存在一个由远程操作人员构成的复杂运营中心，人类只是被转移到了一个看不见的地方。

Karpathy强调，当前科技界弥漫着不切实际的快速时间表，部分原因可能是为了**“筹款”（fundraising）**和吸引注意力。他认为，虽然他对技术进步总体持乐观态度（bullish），但他主张必须立足于现实，正确地校准对AI的期望。

七、 教育的未来：建设星际舰队学院（Eureka）

Karpathy认为，教育将在AI的帮助下发生根本性变化。他当前的工作重点是创立Eureka，旨在建设一个**“星际舰队学院”（Starfleet Academy）**式的精英技术机构。

他希望解决的核心问题是如何自动化“完美导师”的体验。一个好的导师能立即理解学生的知识水平，并精确提供挑战性适中、既不枯燥也不困难的材料。这就像在学习韩国语时，他感受到一个好导师能让他觉得“学习的唯一障碍就是我自己”。

Eureka的目标是建造**“知识坡道”（ramps to knowledge），以最大化“每秒灵感爆发”（Eurekas per second）**。

Karpathy预计，AGI之前的教育是为了实用性（赚钱），而AGI之后的教育将是**“乐趣”（fun）**。届时，学习会像去健身房一样，成为一种出于内在驱动的自我提升和愉悦活动。通过完美AI导师的技术解决方案，学习任何东西都将变得“微不足道”（trivial）且令人向往。他相信，人类的潜力远未被挖掘，今天的“天才”可能只是触及了人类思维能力的皮毛。

对于如何有效教学，他强调了以下几点：

1. 物理学思维：他受益于物理学背景，学会了寻找系统的**“一阶近似项”（first order terms）**，并将复杂系统简化为可以捕捉核心概念的简单模型（例如，100行代码实现的micrograd是理解反向传播的核心）。
2. 痛苦在前，解决方案在后：先让学生经历“痛点”（pain），再展示解决方案，这样能最大限度地提高对新知识的理解和感激。
3. 克服知识的诅咒：专家往往因为“知识的诅咒”（curse of knowledge and expertise）而难以向新手解释事物。通过让AI或他人提出“愚蠢”的问题，可以帮助专家重新站在新手的角度进行讲解。

总结与洞察

Karpathy的访谈提供了一个经验丰富的工程师对AI现状的清醒而务实的观点。他的深度洞察主要集中在工程实践的难度和AI发展的长期性：

1. 长远时间线是必然：他将“agents 的十年”与自动驾驶的“九的行军”类比，强调从Demo到产品、从90%到99.9%的可靠性提升，需要投入巨大的、恒定的努力。
2. 范式缺陷的挑战：他毫不留情地指出了当前主要训练范式（RL）的根本性缺陷。他认为，只有解决了如何进行有效的“内循环”学习（如蒸馏、避免模型崩溃、引入高熵数据）和多智能体协作（如LLM文化、自博弈）等前沿研究难题，AGI才能真正到来。
3. 技术与人类的对齐：Karpathy的担忧在于，如果人类不积极跟进，可能会在自动化进程中被边缘化。他投身教育（Eureka），正是希望通过创建极致有效的“知识坡道”，将人类的认知能力推向新的高度，确保在AI统治的未来中，人类能够继续蓬勃发展，甚至实现某种形式的“超人化”（superhuman）。

总而言之，Karpathy认为，我们正处在一个连续的智能爆发过程中，AI是这种爆炸的自然延伸。我们不应被短期的炒作所迷惑，而应专注于解决实际的、困难的工程和研究问题，为即将到来的“agents 的十年”做好准备。

---

原始视频：https://youtu.be/lXUZvyajciY?si=ziuflMB3yfQQWEul

中英文字幕：