美国人工智能安全研究所 (US AI Safety Institute, AISI) 隶属于美国国家标准与技术研究院 (NIST)，致力于推动人工智能安全科学的研究、实践和应用。AISI 关注范围广泛的AI风险，包括国家安全、公共安全和个人权益。它的主要任务包括推动AI安全的研究和测评，制定风险评估和缓解的指导方针，并与多方合作制定可信的技术标准。AISI 的工作受到总统行政命令的指导，并与全球机构合作。
AISI专注于推动人工智能系统的安全性和可信度。AISI 的工作涉及多个方面，包括：
- AI安全的研究与评估：开发和完善AI系统的安全测试和评估方法，确保这些系统在不同场景中的可靠性和安全性。
- 标准和指南制定：与行业、学术界和政府合作，制定AI风险管理的标准和最佳实践指南。
- 政策支持与国际合作：支持政策制定者，并与国际伙伴合作，推动全球范围内的AI安全标准化。
AISI 的目标是通过研究、标准化和协作，最大程度减少AI系统可能带来的风险，确保它们能够安全、公平地应用于社会各个领域。
美国人工智能安全研究所联盟 (Artificial Intelligence Safety Institute Consortium, AISIC) 是由NIST设立的一个合作组织，旨在支持AISI的工作，并推动AI的安全和可信度。该联盟目前汇集了280多家组织，致力于开发基于科学的AI测量和政策指南，并为AI模型和系统的安全性制定标准。AISIC的工作包括知识共享、协作研究、技术转让以及评估AI对社会和经济的影响。联盟还支持AI开发的风险管理和安全测试环境的建立。
近日，US AI Safety Institute宣布与Anthropic和OpenAI签订协议，正式展开在人工智能安全研究、测试和评估方面的合作。
每家公司签署的谅解备忘录为US AI Safety Institute获取其新模型的访问权限提供框架，并在公开发布前后进行合作研究。这些协议将促进在评估能力和安全风险、以及减轻风险的方法方面的研究合作。
此外，US AI Safety Institute计划与英国人工智能安全研究所密切合作，为Anthropic和OpenAI的模型安全改进提供反馈。
US AI Safety Institute基于NIST超过120年的测量科学、技术和标准的积累，通过这些协议进行的评估将推动NIST在AI领域的工作，特别是在风险领域进行深入合作和探索性研究。这些评估将有助于根据拜登-哈里斯政府的人工智能行政命令和领先AI模型开发者对政府的自愿承诺，促进安全、可靠和可信的AI开发和使用。