微精选

Karpathy 说 AGI 还要十年，但这十年会发生什么？

Dwarkesh Patel 最新一期播客请来了 Andrej Karpathy，这位前 Tesla 自动驾驶负责人、前 OpenAI 研究科学家进行了长达两个多小时的深度对谈。

这次访谈信息量巨大，从 AGI 的时间线到人类智能的本质，从教育的未来到文明的演化，Karpathy 的观点既理性又充满洞察。

本文进行了整理，访谈内容如下：

AGI 还要十年

Karpathy 开门见山地表示，AGI 可能还需要十年时间。

他认为目前我们还没有找到正确的算法，现在的系统还存在太多根本性缺陷。

他举了个生动的例子：

PIT STOP

如果把 AGI 比作曼哈顿计划，我们现在可能还处于 1941 年左右的阶段。

虽然有了核裂变的概念，但离真正的原子弹还有好几年。

类似地，虽然 Transformer 和大语言模型展现了惊人的能力，但它们离真正的通用智能还有很大距离。

更重要的是，Karpathy 指出我们可能需要完全不同的架构。

现在的 LLM 就像是在模拟「系统一」思维：快速、直觉性的反应，但缺乏深度推理能力。而真正的 AGI 需要「系统二」思维：慢速但深入的思考过程。

他特别强调，目前没有任何系统能够真正进行科学研究。

即使是最先进的模型，也无法独立提出假设、设计实验、分析结果。这种创造性和探索性的智能，是 AGI 的核心标志。

强化学习很糟糕，但必要

Karpathy 的这句话应该会震惊很多人：

PIT STOP

强化学习很糟糕

不过他也马上解释：

只是碰巧我们之前拥有的一切都更糟糕。

他详细解释了 RL 的问题：

信号稀疏、训练不稳定、样本效率低下。

在大多数现实任务中，奖励信号来得太晚太少，模型很难知道哪些行为是好的。这就像在黑暗中摸索，偶尔碰到墙才知道走错了方向。

但为什么还要用它呢？

因为 RL 是目前唯一能让模型从环境反馈中学习的方法。监督学习只能模仿，RL 才能创新。在 RLHF（从人类反馈中进行强化学习）中，RL 让模型学会了如何更好地回答问题，如何避免有害输出。

Karpathy 认为，未来的突破可能来自于更好的信用分配机制：让模型更清楚地知道哪些决策导致了最终的结果。这涉及到因果推理，而不仅仅是相关性。

LLM 的认知缺陷：它们到底缺什么？

Karpathy 深入分析了当前 LLM 的局限性。它们没有真正的世界模型，只是在做高维空间的模式匹配。

举个例子，LLM 可以流畅地谈论物理定律，但它并不真正理解重力是什么。它知道「苹果会落下」这个模式，但不理解背后的因果机制。

这就像一个会背诵所有棋谱但不懂棋理的人。

缺乏持续学习能力是另一个大问题。每次对话对 LLM 来说都是全新的，它无法积累经验。

Karpathy 打了个比方：这就像每天早上醒来都失忆的人，虽然保留了知识，但失去了所有个人经历。

还有长期规划能力的缺失。LLM 生成文本是逐个 token 进行的，没有整体规划。这就像写文章时只考虑下一个词，而不考虑整篇文章的结构。

虽然通过巧妙的提示可以部分缓解，但这是架构层面的根本限制。

幻觉问题也被详细讨论。Karpathy 解释说，LLM 的幻觉不是 bug，而是 feature 的副作用。模型被训练来生成「看起来合理」的文本，而不是「真实」的文本。

它们没有真实性的内在概念，只是在概率分布中采样。

人类如何学习？AI 能学到什么？

Karpathy 花了大量时间讨论人类学习机制，这部分内容也特别精彩。

人类学习是多模态的。

我们不仅通过语言学习，还通过视觉、触觉、运动等多种方式。一个孩子学习「球」这个概念，不是通过定义，而是通过看、摸、扔、接等互动。这种具身认知（embodied cognition）是 LLM 完全缺失的。

睡眠在学习中的作用被特别强调。

Karpathy 提到，睡眠不仅是休息，更是大脑整合信息、巩固记忆的关键时期。海马体在睡眠时会「重放」白天的经历，将短期记忆转化为长期记忆。有趣的是，这个过程是生成性的：大脑会创造新的连接，产生顿悟。

他推测，AI 系统可能也需要类似的「睡眠」机制。

不是简单的离线训练，而是一种经验整合和知识蒸馏的过程。这可能是实现持续学习的关键。

好奇心驱动的学习是另一个重要话题。

人类，尤其是儿童，有强烈的探索欲望。我们不需要外部奖励就会主动学习。Karpathy 认为，这种内在动机（intrinsic motivation）可能是 AGI 的必要组件。

他还讨论了社会学习的重要性。

人类的大部分知识不是自己发现的，而是从他人那里学来的。语言让我们能够传递抽象概念，文化让知识能够跨代积累。AI 系统目前主要是从静态数据学习，缺乏这种动态的社会互动。

AGI 将带来 2% 的 GDP 增长

Karpathy 对 AGI 经济影响的预测倒是有些出人意料地保守：

PIT STOP

融入 2% 的 GDP 增长。

他解释说，技术革命的影响往往被高估了短期效应，低估了长期影响。电力、互联网都是这样。

AGI 可能也会遵循类似模式：不是突然的断崖式变化，而是渐进的渗透。

生产力悖论被详细讨论。

即使有了 AGI，物理世界的限制仍然存在。建造房屋、生产食物、运输货物……等等，这些都需要时间。AGI 可以优化流程，但不能违反物理定律。

Karpathy 认为，AGI 最初会在信息密集型产业产生最大影响：金融、法律、咨询、研发等。这些领域的工作主要是处理和生成信息，AGI 可以大幅提高效率。

但他也警告了分配问题。

2% 的 GDP 增长可能集中在少数人手中，导致更大的不平等。这不是技术问题，而是社会和政治问题。

不过，Karpathy 提到AGI 可能会创造新的需求。

就像互联网创造了社交媒体、电商等新产业，AGI 也可能开启我们现在无法想象的新领域。

超级智能：失控还是共生？

谈到 ASI（人工超级智能），Karpathy 的观点既现实又略带悲观。

他描述了一个渐进式失控的场景。

不是机器人起义那种好莱坞式的剧变，而是人类逐渐将决策权交给 AI，因为 AI 的决策确实更好。最终，我们可能生活在一个由 AI 优化和管理的世界中，享受着舒适的生活，但失去了真正的自主权。

这让人想起 E.M. Forster 的《机器停了》。在这个故事中，人类完全依赖机器生活，当机器故障时，文明瞬间崩溃。

Karpathy 认为，我们可能正在走向类似的未来。

智能爆炸（intelligence explosion）的可能性也被讨论。

一旦 AI 能够改进自己，可能会出现正反馈循环：更智能的 AI 创造更智能的 AI。但 Karpathy 指出，这可能不会像某些人想象的那么快。

硬件限制、数据限制、算法复杂性都会减缓这个过程。

他特别强调了对齐问题（alignment problem）。

即使我们创造了超级智能，如何确保它的目标与人类一致？

这不仅是技术问题，更是哲学问题。

甚至，连我们自己都不清楚人类的共同目标是什么。

智能与文化的协同演化

Karpathy 称：智能和文化是协同演化的。

人类之所以能主宰地球，不仅因为我们的大脑，更因为我们的文化。语言让我们能够传递复杂信息，文字让知识能够跨越时空，科学方法让我们能够系统地积累真理。

每一代人都站在巨人的肩膀上。

他指出，如果把一个现代人类婴儿送回石器时代抚养，他不会比石器时代的人更聪明。我们的生物硬件几万年来没有太大变化，变化的是文化软件。

这对 AI 有什么启示呢？

Karpathy 认为，AI 的发展也需要「文化」。

不是简单的数据集，而是一个能够积累、传承、演化知识的生态系统。现在的模型训练是一次性的，未来可能需要持续的、社会性的学习过程。

他还讨论了模因（meme）的概念。

就像基因在生物演化中传播，模因在文化演化中传播。AI 系统可能会加速模因的传播和变异，创造全新的文化演化动力学。

自动驾驶为什么这么难？

作为前 Tesla 自动驾驶负责人，Karpathy 对这个问题自然有着独特的见解。

「长尾问题」是核心挑战。

日常驾驶的 99% 都很简单，但那 1% 的异常情况可能致命。施工区域、紧急车辆、掉落的货物、突然冲出的行人……每一种情况都需要正确处理。

Karpathy 详细解释了感知与预测的困难。

人类司机不仅看到当前状态，还能预测其他人的意图。那个行人会不会过马路？那辆车会不会变道？这需要对人类行为的深刻理解，而不仅仅是物体检测。

数据问题也很关键。

虽然 Tesla 有庞大的车队收集数据，但真正有价值的是罕见事件的数据。如何从数百万小时的正常驾驶中找出那些关键时刻？这本身就是一个巨大的工程挑战。

他提到了仿真的局限性。

很多人认为可以在仿真中训练自动驾驶系统，但 Karpathy 指出，「你无法伪造物理」。真实世界的复杂性如光线、天气、路面、传感器噪声等，很难完全模拟。

监管和责任问题增加了复杂性。

当自动驾驶汽车出事故时，谁负责？制造商？软件开发者？车主？这些法律和伦理问题可能比技术问题更难解决。

但 Karpathy 仍然乐观。

他认为自动驾驶最终会实现，只是时间问题。关键是要有耐心，逐步改进，不要期待一夜之间的突破。

教育的未来：AI 导师时代

关于教育，Karpathy 的愿景令人兴奋。

个性化学习将成为常态。

每个学生都有一个 AI 导师，了解他们的学习风格、进度、兴趣。不再是一刀切的教育，而是真正的因材施教。

他举了个例子：学习物理时，有的学生喜欢从方程开始，有的喜欢从实验开始，有的喜欢从历史开始。AI 导师可以为每个学生定制最适合的路径。

互动式学习会取代被动听讲。

与其看教授录制的视频，不如与 AI 导师对话。你可以随时提问，要求解释，甚至辩论。这种苏格拉底式的教学方法已被证明更有效。

Karpathy 特别强调了创造力的培养。

他认为，当 AI 能处理大部分例行工作时，人类教育应该更注重创造力、批判性思维、情商等「人类特质」。

教育民主化是另一个重要主题。

世界上最好的教育资源目前集中在少数精英机构。AI 导师可以让每个人都接触到顶级教育。一个非洲农村的孩子可以有和哈佛学生一样好的「老师」。

但他也提出了担忧：

PIT STOP

如果 AI 做了所有的思考，人类会不会变笨？

这就像 GPS 导航让人们失去了方向感。我们需要找到平衡——利用 AI 增强学习，而不是替代学习。

网友热议

这次访谈自然也引发了广大网友的热烈讨论，也是同样精彩。

有人称这是「成年人的摇篮曲」，还有人把它当作健身播客。

一位卡尔加里的网友说，雨天、热咖啡、Karpathy 访谈——完美组合。

技术讨论也很深入。

有网友分享了 Google 的论文，关于 In-Context Learning（ICL），Karpathy 的观点得到了 Google 论文的支持。

论文表明，：注意力机制在前向传播时动态更新 MLP 权重，就像临时的微调。

见前文：Anthropic CEO：模型可在一亿上下文窗口中学习，且不改变权重，未来AI将每月10万美元

也就是说，基于Transformer 的 LLM 不仅仅是在做模式匹配，而是在某种程度上「学习」如何处理当前的任务。

Lee Smart 则提出了哲学观点：LLM 的限制不是硬件或数据，而是我们把认知当作计算而非连贯性。

他认为人类推理和 AI 推理都是「波函数坍缩」的表现。每个 token 选择都是连贯性形成的微小行为，这与生物学用 53-87 Hz 绑定感知的机制相呼应。

还网友问道：当 AI 训练数据越来越多来自真实世界而非数字世界时，会发生什么？

物理世界的「噪声」可能正是 AI 需要的。

值得一提的是，Karpathy 在访谈中还讨论了φ-scaled recursion的概念。

他认为，一旦我们设计出能够维持 φ 尺度递归而不是统计预测的架构，通用智能就不会是十年之后的事，而是一个相变（phase change）。

这也暗示着，我们可能需要一个根本性的范式转变。

关于模型的「思考」过程，Karpathy 提到现在的模型缺乏真正的「思考时间」。它们在生成每个 token 时使用相同的计算量，无论问题多么复杂。

而人类会根据问题的难度调整思考时间。这可能是未来架构改进的一个方向。

也有人提出了「每秒顿悟数」（Eurekas per second）这个有趣的指标。

虽然听起来有些搞笑，但它也指向了一个问题：

我们如何衡量 AI 的创造力呢？

关于睡眠与学习，有网友引用了耶鲁大学的研究：大脑在睡眠时不是简单重放，而是生成性地处理经验。

这或许也会给 AI 系统设计带来启发：LLM 是否也需要一个「睡眠」过程来整合对话经验，将其提炼成权重更新？

还有网友注意到 Karpathy 说话特别快，开玩笑说：

PIT STOP

是 Karpathy 说话太快，还是我思考太慢？

还有人承认自己有「上瘾问题」：

PIT STOP

「我会看 Andrej 发表的每一个演讲。」

关于持续学习和永久记忆，有网友指出这是当前 AI 系统的关键缺失。

如果 AI 能够真正积累经验，而不是每次对话都从零开始，其能力可能会有质的飞跃。

也有网友呼吁关注 AI 在疾病治疗等实际应用。确实，除了 AGI 这些宏大叙事，AI 在医疗、气候、能源等领域的应用可能更快改变世界。

最后，网友“Riseyourself” RL Narayanan（@rlnarayanan）echo 了 LeCun 并称：

PIT STOP

Game over（游戏结束）

访谈链接：

https://www./watch?v=lXUZvyajciY