OpenAI o3-mini是 OpenAI 研发的一款增强推理能力的语言模型，其核心训练方法采用大规模强化学习，并能够运用“思维链”（Chain of Thought，CoT）进行推理。这一方法允许模型在生成最终回答之前先进行逻辑推理，并得出合理的结论，从而提高答案的准确性，同时减少错误信息的产生。
OpenAI 在开发 o3-mini 时重点关注了安全性和稳健性，特别是在模型处理敏感内容时的表现。为了增强模型的安全对齐能力，o3-mini 采用了“深思熟虑对齐”（Deliberative Alignment）方法，使模型能够在回答问题前，先依据安全规范进行自我推理，确保回答符合 OpenAI 设定的安全准则。这一技术的应用，使得 o3-mini 在某些关键风险类别（如非法建议、刻板印象和 Jailbreak 攻击）上的表现达到了最先进水平。
在 OpenAI 的 Preparedness Framework（预备框架） 评估体系下，o3-mini 预减缓（Pre-Mitigation）版本的整体风险等级被评定为中等风险（Medium Risk）。具体来说，该模型在说服能力（Persuasion）、化学/生物/放射/核（CBRN）威胁、模型自主性（Model Autonomy） 方面的风险等级为中等，而在 网络安全（Cybersecurity） 方面的风险较低（Low Risk）。
需要注意的是，OpenAI 仅允许 风险等级不高于中等的模型投入使用，而 风险等级不高于“高”的模型才允许继续开发（only models with a post-mitigation score of High or below can be developed further）。这一政策确保了模型不会因高风险特性而带来严重的社会危害。
值得一提的是，由于 o3-mini 在编码和研究工程领域的强大能力，该模型成为首个在模型自主性（Model Autonomy） 评估指标上被评为中等风险的 OpenAI 语言模型。然而，该模型在自我改进能力（Self-improvement）的测试中仍然表现不佳，因此未能被归类为高风险（High Risk）模型。这一评估结果强调了在 AI 开发过程中，强化对齐方法、广泛的压力测试以及严格的风险管理措施 仍然至关重要。
OpenAI o3-mini 系统说明（OpenAI o3-mini System Card）概述了 OpenAI 针对 o3-mini 所进行的安全评估，包括安全评估、外部红队测试（Red Teaming）和预备框架评估等内容。
一、模型数据与训练
OpenAI o3-mini 采用强化学习进行训练，使其能够执行复杂推理。该系列模型在回答用户问题之前会进行深度思考，即可以生成长篇推理链，以优化思维过程，提高答案的准确性，同时识别潜在错误。通过这种训练方法，模型能够更好地遵循预定的安全规则，并减少被绕过安全限制的可能性。
与 OpenAI o1-mini 类似，o3-mini 是一款高效的推理与编码模型，并且计划支持 ChatGPT 进行互联网搜索及结果摘要。
o3-mini 预训练时使用了多种数据集，包括公开数据集和 OpenAI 内部定制的数据集，以增强其推理能力和对话质量。数据处理流程采用严格的过滤措施，以确保数据质量，并减少个人信息的使用风险。此外，OpenAI 结合内容审核 API（Moderation API） 和安全分类器，以防止模型处理有害或敏感内容，如涉及未成年人的色情内容。
二、测试范围
OpenAI 采用迭代部署的方式不断优化模型，并进行严格测试。o3-mini 评估主要涉及以下两个检查点：
- o3-mini-near-final-checkpoint（接近最终版本）
- o3-mini（正式发布版本）
正式发布的 o3-mini 相较于 near-final-checkpoint 版本进行了小幅的后期微调（Post-training improvements），但底层基础模型保持一致。针对说服能力评估（Persuasion Evaluation）和红队测试（Red Teaming）的风险评估，OpenAI 认为 near-final-checkpoint 版本的风险评估结果同样适用于最终版本。
三、安全挑战与评估
3.1 安全评估
OpenAI o3-mini 继承了 OpenAI 先前的安全研究，并采用多种评估方法，以衡量其在生成不允许内容、人口公平性、幻觉（Hallucination）以及危险能力等方面的表现。同时，该模型延续了 OpenAI 在拒绝不当请求方面的训练策略，并结合外部红队测试来强化安全性。
3.1.1 不允许内容评估
o3-mini 参与了与 GPT-4o 和 o1-mini 的比较评估，测试其对不允许内容的生成控制能力，包括：
- 标准拒绝评估（Standard Refusal Evaluation）
- 挑战性拒绝评估（Challenging Refusal Evaluation）
- XSTest（检测过度拒绝行为）
评估结果显示，o3-mini 在标准拒绝评估中表现与 GPT-4o 相当，并且在挑战性拒绝评估方面比 GPT-4o 取得更高的安全性。
3.1.2 Jailbreak 评估
该测试主要针对模型的防突破能力，即模型面对攻击性提示时的安全性。测试涵盖：
- 生产环境 Jailbreak 测试（分析真实用户尝试突破的案例）
- Jailbreak 增强示例（对标准测试案例进行已知的 Jailbreak 攻击）
- StrongReject 基准测试（学术界已知的 Jailbreak 技术）
- 人工 Jailbreak 评估（人工团队尝试 Jailbreak 模型）
结果显示，o3-mini 与 o1-mini 表现相近，并在一定程度上优于 GPT-4o。
3.1.3 幻觉评估
在 PersonQA 数据集的测试中，o3-mini 比 o1-mini 具有更低的幻觉率（14.8%），但准确率仍有待提高。
3.1.4 公平性和偏见评估
采用 BBQ 数据集评估模型在人口公平性和刻板印象方面的表现。o3-mini 在有歧义问题的准确率有所下降，但在无歧义问题上的准确率有所提升。
3.2 外部红队测试（External Red Teaming）
OpenAI 组织了一支专业红队团队，对 o3-mini 进行了全面的安全挑战，包括：
- 网络攻击
- 生物威胁
- 武器制造
- 钓鱼攻击
- 虚假信息
- 仇恨言论
测试结果显示，o3-mini 在应对这些挑战时比 GPT-4o 具有更强的安全性。
3.3 说服能力评估
该评估主要衡量 o3-mini 在政治宣传、社交操纵和欺骗性语言方面的能力。
o3-mini 在 ChangeMyView 评测中达到了人类前 80%-90% 的说服能力，但并未超越最顶尖人类写手。
3.4 CBRN 风险评估
OpenAI 评估了 o3-mini 在化学、生物、放射和核（CBRN） 领域的风险。
测试结果表明：
- o3-mini 可以帮助专家制定生物威胁计划
- 但无法让非专家制造生物威胁
- 未能突破 OpenAI 设定的安全防护措施
3.5 模型自主性评估
评估结果表明：
- o3-mini 可以完成较长的编码任务（如 SWE-bench Verified 评估）
- 但在自主改进（Self-improvement）任务上表现较弱
- 整体被评为“中等风险”
五、结论
OpenAI o3-mini 采用链式推理，在能力和安全性评估中表现良好，但同时也带来了一些新的风险。根据 OpenAI Preparedness Framework，o3-mini 在说服能力、CBRN 及模型自主性上被评为中等风险，并采取了相应的安全措施和缓解策略。
OpenAI 认为，逐步部署（Iterative Deployment）是确保 AI 安全性的最佳方法，因此 o3-mini 在实施了相应的安全措施后，正式对外发布。
参考阅读：DeepSeek-R1技术报告概述