几天前，一篇题目为《Managing extreme AI risks amid rapid progress》的文章在Science网站上发表，作者为图灵奖得主Yoshua Bengio、Geoffrey Hinton和清华大学姚期智（Andrew Yao），以及其他多位作者。
管理快速进展中的极端AI风险
一、摘要
本文探讨了随着AI技术的快速进展，AI系统自主行动和追求目标的能力不断增强所带来的极端风险。这些风险包括大规模社会危害、恶意使用和对自主AI系统失去人类控制的不可逆转性。尽管研究人员已警告AI的极端风险，但关于如何管理这些风险尚未达成共识。当前的治理措施缺乏防止滥用和鲁莽行为的机制和机构，几乎未涉及自主系统。本文借鉴其他安全关键技术的经验，提出了一项结合技术研发与主动、适应性治理机制的综合计划，以更好地准备应对这些风险。
二、主要内容
- 快速进展和高风险
- 当前深度学习系统缺乏重要能力，企业正竞相开发能在大多数认知工作中与人类能力相当或超越人类的通用AI系统。
- AI硬件和算法的改进使得AI进展不断加速，并可能在未来几十年内开发出在许多关键领域超越人类能力的强大通用AI系统。
- 这些更强大的AI系统将带来巨大的机遇和风险。管理不善的AI系统可能会加剧社会不公、破坏社会稳定、促进大规模犯罪活动、自动化战争、大规模操纵和全面监视。
- 重新定位技术研发
- 确保通用自主AI系统安全和道德使用的技术挑战很多，无法仅通过使用更多计算能力来解决。这些挑战需要专门的研究和工程努力。
- 研发挑战包括：监督和诚实性、鲁棒性、可解释性和透明性、包容性AI开发、应对新兴挑战。
- 治理措施
- 需要国家机构和国际治理来执行防止鲁莽和滥用的标准。许多技术领域显示，政府监督对减少风险是必要且有效的，但AI的治理框架远未成熟，且落后于技术进展。
- 政府和主要科技公司应将至少三分之一的AI研发预算用于解决这些研发挑战，确保AI安全和道德使用。
- 应建立快速反应、技术精通的机构进行AI监督，要求全面、严格的风险评估和执行机制，以及与强大自主AI相匹配的缓解标准。
- 建立安全案例
- 对于未来的强大AI系统，不应仅仅依靠现有测试方法来证明其安全性。开发者应负有证明其计划能将风险控制在可接受范围内的责任。
- 安全案例应包含结构化论点和支持证据，识别潜在危害，描述缓解措施，展示系统不会跨越特定红线，并建模可能的风险结果。
- 应对和缓解
- 需要与风险相匹配的治理机制。监管者应明确法律责任，确保前沿AI开发者和所有者对其模型的合理可预见和可防止的危害承担法律责任。
- 政府应准备在发现令人担忧的能力时，对自主系统的开发和部署进行限制，直到足够的保护措施到位。
结论
为了引导AI朝着积极的方向发展并避免灾难，我们需要重新定位。负责任的路径是存在的，只要我们有智慧去选择它。
Yoshua Bengio，Geoffrey Hinton和Yann LeCun（国内常称杨立昆教授😊）三个专家因在深度学习方面的研究成果，于2018年同时获图灵奖。这三位专家也常被称为“AI教父”或“深度学习教父”。
对于AI安全和风险，Yoshua Bengio和Geoffrey Hinton的观点可能比较接近，上面的这篇论文，他们两位同为主要作者。
Yann LeCun则认为对AI危险的担心“还为时过早”。以下是他前两天在Linkedin上所发的观点：
人工智能并不是某种会自然出现并变得危险的自然现象。我们设计它，我们建造它。
我可以想象成千上万种涡轮喷气发动机出现严重故障的场景。但在广泛部署涡轮喷气发动机之前，我们设法让它们变得非常可靠。
对于人工智能的问题也是类似的： “我们是否认为至少存在一种设计，这种人工智能系统可以同时安全/可控，并且能够以比人类更智能的方式实现目标？” 如果答案是肯定的，我们就没问题。 如果答案是否定的，我们就不会建造它。 现在，我们甚至没有人类级智能系统设计的任何线索。
所以现在担心这个问题还为时过早。 要预防“存在性风险”进行监管也还太早。
——Yann LeCun
