来源：新智元

【导读】牛津大学教授新研究，未来AI的增长率足以在不到10年的时间里，推动相当于100年的技术进步。AI变革或将完全颠覆人类社会！

未来，AI研究的发展速度将比人类快500倍，10年内就能推动100年的技术进步！
牛津教授Will MacAskill等人最近的这篇博文，对未来提出了许多惊人的预测。
在他们看来，即便AI没能实现「递归自我改进」，即便算力的扩展陷入停滞，即便算法效率提升的速度放缓，AI的发展增速仍足以在不到10年的时间内，推动相当于100年的技术进步。
而且根据他的预测，未来AI还将高速发展——
训练算力还有约1万倍的增长空间；推理算力能保持1000倍增长；未来10年AI训练算力×算法效率×推理算力的乘积，将增长1000亿倍(10¹¹倍)！
而到了20年后，AI的技术研发实力总体上将和人类相当。
之后，AI还会继续发展，全面超越人类智能总和，而人类将面临前所未有的难题！
比如，新型的大规模杀伤性武器、AI赋能的专制政权等等，所以，现在我们就得为AGI做好准备，应对智能爆炸可能带来的各种令人迷失的方向。

十年内，比人类聪明得多的AI就将出现

     

在接下来的十年内，我们很有可能会看到比人类聪明得多的AI。
如今的推理模型，已经让我们窥见了这一雏形。
那么，结果是非黑即白的吗？要么我们未能对齐 AI，导致人类永久失去权力；要么我们成功对齐AI，然后利用它解决所有其他问题。
并非如此。
能有意义地替代人类研究劳动力的AI的发展，可能会推动非常迅速的技术进步，将数十年的科学、技术和智力发展压缩到几年甚至几个月。
医学的进步，会大幅延长我们的寿命，丰富的物质，会让每个人都活得如同今天的亿万富翁。
但一系列危险，也如影随形：谁将控制超级智能，谁就会将人类接管。
还有一个新问题会出现：AI能力已经与人类相当后，人类还需要花多少精力，去研究AI？
假设AI能力已经与人类相当，由于电力限制，进一步扩大训练规模已不再可能，并且不存在软件反馈循环。
此外，可以假设计算推理的增长和效率提升比当前速度减缓约30%。
在此情景下，AI研究的工作量在达到人类水平后的十年内，仍将平均每年以5倍的速度扩展。

十年内，AI帮人类实现一个世纪的进步！

     

在最激进的设想，可以假设集体AI能力很快就能达到与人类相当，同时在扩大训练规模和推理计算方面仍有很大的提升空间，并且AI自动化进行AI研发确实会形成一个软件反馈循环。
牛津教授的简单模型表明，AI研究大约1000倍的增长，将导致在十年内产生超过一个世纪的技术进步！
保守起见，可以假设围绕物理实验和资本的复杂性，意味着我们实际上需要在 10年内进一步增加10倍的认知研究努力 —— 即10000倍的增长。
但当前的趋势表明，在十年内，一旦AI达到人类水平，我们将获得AI研究能力的数千亿倍增长（如果计算规模停止扩展，甚至算法效率改进有所放缓）到百万兆倍增长（如果我们得到一个积极的软件反馈循环）。
因此，如果我们继续扩大AI规模，而没有集体同意减缓速度，那么十年内实现一个世纪的技术进步似乎是可能的！
甚至，更加惊人的加速也极有可能实现。

AI让科技提速10倍

     

想想过去100年的技术进步，试想如果这些进展发生在十年里会怎样：
从第一次跨太平洋飞行到登月，仅仅四个月；
从曼哈顿计划到广岛长崎爆炸原子弹，仅仅三个月。
现在，设想一下在没有AI的情况下，100年后也就是2125年，你希望能看到的科学、知识和技术方面的所有进步。
然后想象一下，只要10年，有生之年这些都实现了！
牛津大学的哲学家和作家William MacAskill认为，AI能极大推进技术的进步：
即使没有软件反馈循环（即「递归式自我改进」），即使算力的扩展陷入停滞，算法效率提升的速度放缓，AI的发展增速仍然足够快，能够在不到10年的时间内推动相当于100年的技术进步。
趋势看起来很明显。
2019年的时候，当时最厉害的语言模型连话都说不利索。可到2023年初，语言模型不仅能流利地回答各种问题，而且掌握的常识比地球上任何人都要多得多。
在2023年初，在解答科学问题时，顶尖模型表现甚至还不如瞎猜。可如今不一样了，它们的表现已经比博士级别的专家还要出色。

上千人集体预测：AGI将在2030年来临。

牛津教授惊人预警：AI十年科学发现，顶人类100年！科研速度已超人类500倍

AI的算力每年增加30倍

     

目前，训练的算力和算法主导了AI的进步：
训练算力：自2010年以来，训练运行所使用的最大算力每年增加约4.5倍。
训练算法效率：根据当前趋势，训练模型所需的物理算力每年减少大约3倍。
把两个因素结合起来了，是衡量「有效训练算力」的标准——
即在没有任何算法创新的情况下，为了达到相同的模型性能，所需增加的原始算力。
预训练的有效训练算力每年增加超过10倍。
此外，在工具使用、提示方法、合成数据、创造性的生成和选择答案的方式以及各种其他方面，研究人员引入了「训练后增强」。
Anthropic非正式估计，训练后增强目前每年提供3倍的效率提升。
因此，就最先进的AI模型能力而言，相当于训练算力每年增长超过30倍。
随着训练规模越来越大，越来越好，AI模型质的进步也在不断涌现，表现形式微妙而令人惊讶。

为什么AI总体上能比人类聪明？

目前，全球的整体研发投入增长缓慢，年增长率不到5%。
然而，AI在认知劳动方面的增长速度，比人类快了足足500倍。
这种趋势很可能会持续，直到AI的认知能力超越所有人类。
AI研发效能和人类认知研发效能增长速度比较
所以，一旦AI的认知劳动总量开始与人类的认知劳动总量相当，整体认知劳动的增长率将大幅上升，从而加速技术进步。
这并不是白日做梦：运行效率的提升和可用推理算力的增加，能让「AI总量」增长约25倍/年。
推理效率：有效训练算力大约翻倍时，相应的推理成本大致减半，目前有效训练算力每年增加约10倍。
推理算力：用于推理的算力增长速度大约2.5倍/年。
这些变化意味着，不仅是最先进的AI，而是所有的AI，性能会得到明显提升。
假设当前趋势继续发展，直到AI与人类科研投入大致持平。
假如AI研究员的有效数量与人类研究员数量相当，技术研发效能的增长速度会受到什么影响？
不妨假设训练进步完全等于推理效率提升，而更多的推理计算完全用于运行更多的AI。
现在已经看到，推理效率大致与有效训练算力同步提升，每年约增长10倍，推理算力每年至少增加2.5倍。
因此，如果继续维持当前趋势，直到AI研发效能与人类科研投入相当，AI研发效能估计将继续以每年至少25倍的速度增长。
即便如此，这也低估了AI研发效能的增长率。
至少，并没有考虑到超越人类水平的AI能力提升时，AI研发效能会增长得有多快。
为了理解这一点，不妨看一下人类研究员：在大脑体积和文凭上，他们的差异相对较小。
但在某些领域，杰出的研究员的生产力可能是同行的数百倍。
还没有考虑来自训练后增强每年提升3倍有效训练算力，这能让年增长率从25倍提高到75倍。
结合考虑，AI研发效能的增长率可能远超这一数字。

AI究竟还有多大进步空间？

规模化和效率提升的趋势，还能持续多久？
训练算力方面：规模最大的训练任务还有约1万倍的增长空间（很可能在未来十年内实现）。
之后由于电力等因素，很难再增长。即便突破电力限制，芯片产能、数据稀缺性和硬件延迟也将成为新的天花板。
训练算法效率：如果保持算力扩张与效率提升的现有比例，训练算法效率还能提升1000倍。
这意味着有效训练算力在未来十年将比现在增长1000万倍——相当于每年约5倍的有效算力提升，低于目前每年≥10倍的增长速度。
推理算力方面：合理推测同期推理算力也将实现1万倍增长，保持每年2.5倍的增速。
保守估计，若AI进步仅依赖规模扩张而不突破其他维度，测算规模上限可推知AI研发效能：
未来十年AI总体研发效能（训练算力×算法效率×推理算力的乘积）将增长1000亿倍(10¹¹)，年均增速略超10倍。
哪怕十年内在物理层面遭遇瓶颈，但算法的进步却可能大幅提速。
因为AI模型自身，可能会促使软件技术显著改进，包括AI算法、数据处理、训练后强化等。
这将催生出更强大的AI，进而推动算法进一步发展，形成软件反馈循环，使AI能力持续提升，而无需额外的物理资源投入。
不过，并非必然会出现软件反馈循环。
多数新技术充其量只是提升研究员生产力的手段，难以驱动自我维持式的进步。从理论上讲，AI也可能面临类似状况。
即便「数字机器学习（ML）研究员」能够取代人类研究员，进展仍可能放缓：第一代数字ML研究员或许能让下一代AI研究员的表现翻倍，可第二代可能仅提升1.5倍，依此类推。
最终，进步只是短暂性的，而且随时间逐渐速度还在下降。
要实现快速且持续的发展，投入翻倍至少产出需要翻倍，且需重复多次。
然而，根据对软件领域经验估算显示，认知投入（研发效能）翻倍，通常能使软件性能或效率提升超过一倍。因此，有理由认为，由AI驱动的软件反馈循环，极有可能推动AI性能与效率加速提升。
当然，反馈循环无法无限加速，软件反馈循环最终必然趋于饱和。
但当前算法效率，远未达到理论上限。
据计算，大语言模型（LLM）的学习效率，约为人类的十万分之一（基于成年人大脑的计算能力），且这一上限很可能远超人类大脑的效率。
所以，若能成功构建软件反馈循环，AI能力在十年内，或许能让有效训练算力增长至100万倍，实现约一万亿倍（10¹²）的有效训练算力增长，或者使推理计算与有效训练计算的乘积增长至10¹⁶，即每年增长约40倍。
无论怎样，推理算力与有效训练算力的乘积，至少会以600倍的速度增长，远超人类认知劳动对技术进步的贡献，且仍有极大的提升潜力。

20年后，AI与人类平起平坐

     

在未来二十年内，AI研发投入量将等于人力研发投入。
这意味着AI系统可以共同执行几乎所有与研究相关的认知工作。
而这些工作，以前只有人类能完成。
由于规模化驱动了如此大的进步，甚至可能在未来十年，AI就接近人类认知，在规模扩展遇电力和其他实际限制之前。
而即使在规模化显著放缓之后，算法进展仍然可能推动AI继续前进。
无论如何，AI与人类在认知上平等，可能只是几年之遥。
为了验证这一点，可以直接看看AI能力的提升情况。
在博士级科学问题的基准测试GPQA上，GPT-4的表现仅略优于随机猜测。18个月后，最好的推理模型已经超越了博士级专家。
不同模型在博士级GPQA Diamond基准测试上的准确率
这种迅猛的发展，极有可能催生出超越人类顶尖研究者能力的AI，而且几乎覆盖所有关键认知领域。
未来五年内，即便训练算力扩展不能达成目标，预训练算法效率的提升、后训练增强技术的进步、推理效率的提高以及推理算力的增长，仍将推动AI研究不断向前，突破物理扩展受限和训练数据不足的阻碍。
所以，虽然难以确切预估时间，但在未来几年，AI极有可能达到甚至超越人类顶尖研究水平。

AI研究总量指数级增长

     

一旦超越了人类顶尖研究水平，AI的总体研究能力将呈指数级增长。
可以想象，最初或许会出现约十万名相当于人类专家级别的AI研究员。
其中，多数可能专注于优化下一代AI，或投身于其他回报丰厚的科技领域。
随着有效计算能力的提升和推理算力的增加，认知投入可能会成倍增长，迅速超越约一千万在职人类研究员。
继而超过全球八十亿人口的认知总和。此后，总体能力还将持续翻倍增长。
实际上，特定领域的AI应用早已展现出超越新增人类研究员的推动作用。
例如，谷歌DeepMind的AlphaFold，已预测出超过2亿种新蛋白质结构。
对于人类而言，哪怕有100万的研究员，要耗时多年做实验才能完成。
而且，通用型AI不会局限于人类研究员技能，还会不断开拓创新。

AI能比人类强多少？

这取决于两个关键变量：当前AI能力距人类水平的差距，以及持续快速提升的整体潜力空间。
保守预测：在达到人类水平后十年内，AI研发效能将保持年均5倍增速。
假设AI能力在达到人类水平时，训练算力已因能源限制无法继续扩张，且不存在软件自我迭代的正反馈循环。同时，推断算力增长与算法效率提升速度较当前放缓约30%。
激进预测：AI集体能力将短期内达到人类水平，但满足2个假设条件：
  1. 扩展空间充足：训练算力与推理算力仍存在巨大提升空间
  2. 正反馈循环形成：AI自动化研发切实产生软件自我迭代效应

人类岔路口

     

一般来说，技术进步使生活变得更好、更轻松。

但它也常常带来重大挑战，比如：核武器、监控技术、气候变化、工厂化养殖的恐怖。
而且错失了很多弥补的机会，就像当初对待核能那样。
也就是说，技术带来了许多「重大挑战」：人类进步道路上的岔路口。
由AI驱动的技术变革将带来许多新的重大挑战。
首先，部分人可能会指挥AI帮助他们获取并巩固特权。
AI还可能赋能或扭曲集体推理。
AI说服力超群，可能找到并传播病毒式的观念，或对提问者提供「为达目的，不择手段」的马基雅维利式建议。
更有可能的是，AI将增强人类的推理能力：
超级智能ASI，可以指导人做出最重要的决策；
AI超级预言家，则能让人对未来有更清晰的预见。
确保真正利用AI帮助人类做出更好的决策，将是在加速技术变革时期做出正确决策的关键。
还将面临如何与AI系统共存的问题，而且AI系统很快会超过全球总人口。
同时，也会有关于如何治理外太空的问题——如何管理在太阳系内争夺资源的竞争，甚至如何去开拓新的恒星？
在AGI出现后，这一切变得更加容易。
AI进步可能带来的收益是惊人的：物质上的丰盈，今天的亿万富翁都会嫉妒。
这提供了目前就可以达成的协议，使每个人的生活都比现在更好——
这样每个人都能分得这块巨大的未来蛋糕。
如果抓住这个机会，AI可以在协调、保护和民主方面为人类提供有意义的帮助。
AI甚至可以自动化政策分析和良好判断，帮助我们更好地思考其他挑战。
但是，如果能够让超级智能与人类对齐，难道不能利用它解决其他问题吗？难道我们可以推迟准备吗？
在许多情况下，这是正确的。
但并不总是如此，原因有三：
  1. 在拥有对齐的超级智能来帮助人类之前，许多挑战就已经出现了。
  2. 一些机会窗口会提前关闭。
  3. 需要确保超级智能能在正确的时间，给正确的人提供帮助。

参考资料：https://www./research/preparing-for-the-intelligence-explosion

https:///willmacaskill/status/1899488909433741673