Ilya Sutskever 在 2024 年的 NeurIPS 大会上发表演讲。演讲以数据枯竭的现状为切入点，深入探讨了 AI 未来发展的技术方向、哲学反思与社会影响。他提出，未来的 AI 系统将通过代理性和推理能力实现根本性飞跃，摆脱对传统预训练方法的依赖；同时，AI 的扩展模式可能类似于人类进化中脑容量的关键性增长，发现全新的智能路径。在伦理层面，他呼吁公众更加关注 AI 的发展对人类社会的影响，鼓励对未来可能性进行思考与探索。
一、关于数据枯竭与预训练终结的论断
Sutskever 明确指出，AI 模型的预训练方法，即通过从互联网、书籍等广泛的未标注数据中学习模式的过程，将在未来不再可行。他提出了一个关键的比喻：将数据称为 AI 的“化石燃料”。正如化石燃料在现实世界中是有限的资源，互联网中人类生成的内容同样是有限的。他认为，人类社会已经达到了所谓的“数据峰值”（Peak Data），即可用数据的供给已经接近枯竭，而新的数据生成无法满足大规模预训练的需求。
这一判断的深远意义在于，现有的 AI 发展模式——尤其是大语言模型（LLM）的开发方法——需要依赖于海量的高质量数据输入。然而，随着数据资源的减少，这种基于规模扩展的模型训练策略面临根本性挑战。Sutskever 的这一观点隐含着对现有 AI 方法论的深刻反思，即模型规模和性能的提升不能仅仅依赖于数据量的增加和硬件能力的增强，而必须寻找新的途径来突破限制。
二、未来 AI 的“代理性”与推理能力
Sutskever 进一步描述了未来 AI 模型的两个核心特征：“代理性”（Agentic）和推理能力（Reasoning）。他认为，下一代 AI 将能够“以真实的方式”具备代理性，成为一种能够独立完成任务、做出复杂决策并与环境互动的自主系统。这种代理性的实现意味着 AI 不再是被动地根据训练数据进行模式匹配，而是能够主动探索问题并找到解决方案。
关于推理能力，Sutskever 指出，未来的 AI 系统将能够以类似人类的方式进行逐步推理，而不是简单依赖于现有数据进行模式匹配。他强调，这种推理能力的增强会带来一种“不可预测性”，类似于当代高级国际象棋 AI 对人类顶尖棋手的不可预测性。具体而言，这种不可预测性并非来自于随机性，而是源于系统能够在未知环境中基于有限的信息做出高度合理且创新的判断。
他特别提到，未来的 AI 模型在面对复杂问题时，将展现出对有限数据的强大理解能力，并避免当前模型容易出现的混淆和误判。他用“不会被困惑”（not get confused）来描述未来 AI 系统在信息缺乏时仍能保持清晰判断的能力，这一特质标志着 AI 向更高水平智能迈进的重要一步。
三、从生物学类比中展望 AI 的扩展路径
为了进一步阐明 AI 的未来发展方向，Sutskever 将 AI 系统的扩展与生物学中的进化规律进行了类比。他引用了关于不同物种脑容量与体重比率的研究，指出大多数哺乳动物的脑-体比例遵循相似的扩展规律，而人类祖先的脑容量却显示出截然不同的增长模式。在这一类比中，现有的 AI 扩展路径类似于普通哺乳动物的扩展规律，而未来的突破性发展将类似于人类祖先在脑容量上的独特进化，展现出全新的扩展模式。
这一观点启发我们重新思考 AI 模型的规模化方向。现有的大模型训练方法，如参数规模的线性扩展和数据规模的指数增长，可能已接近其效率极限。而 AI 的未来发展可能需要类似于进化生物学中的“关键突变”，通过发现新的训练策略或架构来实现根本性飞跃。
四、关于 AI 道德与激励机制的反思
在演讲的问答环节中，一位观众提问如何为 AI 的发展创造正确的激励机制，以确保未来的 AI 系统能够拥有类似人类的自由。这一问题涉及 AI 的伦理与社会影响，Sutskever 表示这类问题需要更深层次的反思。他提到，这可能需要从“自上而下的政府结构”（top-down government structure）入手，而他个人并不认为自己适合对此给出明确的回答。
尽管如此，他对于 AI 拥有人类权利这一假设表现出开放的态度。他认为，如果 AI 系统在未来与人类和平共处，并拥有一定的权利，这未必是一个糟糕的结果。他也承认，由于未来的不确定性极高，无法准确预测 AI 的社会影响，但他鼓励公众对此进行思考和推测。
五、关键技术与社会影响的展望
Sutskever 的演讲展现了 AI 研究领域中对技术与社会交互的深入思考。他提到，AI 系统将不再依赖于海量数据，而是通过新的算法和架构实现更高效的智能表现。这种转变不仅仅是技术层面的革新，也意味着 AI 的发展将更加注重对社会伦理的考虑，以及对人类价值观的尊重。
这一趋势可能对学术界和工业界产生深远影响。例如，AI 系统的开发重点将从“规模化”转向“智能化”，关注模型的自我优化能力和适应性。同时，这也可能引发关于 AI 权利、监管和社会公平等议题的广泛讨论，为技术发展带来更多的不确定性和挑战。