论文Safety principles for medical summarization using generative AI（《利用生成式AI进行医学摘要的安全原则》）探讨了生成式AI，尤其是大型语言模型（LLMs）在医学摘要中的应用与挑战。论文提出了基于风险管理的AI安全应用原则，强调了生成式AI在医疗环境中实现安全、有效、合伦理性的必要性。这一框架不仅适用于MedLM，也可作为通用指南，指导医疗机构在生成式AI的广泛应用中实施有效的安全防护策略，以确保最终的医疗服务质量和患者安全。
论文作者为Dillon Obika , Christopher Kelly , Nicola Ding, Chris Farrance, Jonathan Krause, Praney Mittal, Donny Cheung , Heather Cole-Lewis , Madeleine Elish, Alan Karthikesalingam , Dale Webster , Bakul Patel & Michael Howell，来自Google Health。
以下从背景、模型简介、风险管理体系的具体细节、安全性挑战及对应的应对策略、以及结论与未来展望五个方面对论文进行概要说明：
1. 背景：生成式AI在医疗领域的潜在应用与风险
生成式AI特别是大型语言模型（LLMs），因其在复杂推理和生成自然语言内容方面的潜力而备受关注。它们不仅能够生成类似人类撰写的文本，还能适用于大量跨行业任务。这类模型在医疗领域的应用场景主要集中在数据总结、信息提取、患者病历分析等方面。然而，医疗决策具有高度的复杂性和专业性，其风险极高，不当的信息可能直接危及患者的生命安全。因此，确保生成式AI在医疗环境中的安全、有效和合伦理性显得尤为重要。
论文指出，生成式AI系统的风险管控尤为复杂，主要原因在于这些系统的灵活性难以完全预判所有潜在的使用情境和相应的风险。任务特定的AI系统往往有明确的用途和风险评估，而生成式AI因其宽泛的适用性，其风险评估难度更大。为此，论文选取了医疗文本总结作为代表性应用场景，以深入探讨生成式AI在该场景中的安全挑战及应对策略。
2. MedLM模型简介及其医疗文本总结应用
MedLM是谷歌开发的专门用于医疗领域的生成式AI模型系列，属于大型文本到文本语言模型（text-to-text LLM）。该模型是在谷歌LLM基础上通过微调（fine-tuning）而得，其开发初衷是为了简化和加速医疗文本总结工作。举例而言，MedLM可以帮助医护人员将复杂的住院记录简化为便于患者理解的出院总结，或将门诊记录转化为易于查看的就诊摘要。
MedLM的设计原则强调“草稿生成”的概念，即模型生成的内容需经过医护专业人员的复核和审批，不能直接应用于临床决策或诊疗。通过这种模式，MedLM意图在非诊疗环节（如行政、后勤和研究）中提供支持，从而在不增加患者风险的前提下提升工作效率。此外，谷歌在MedLM的开发中参考了其自身的AI原则，以确保安全和公平性优先，并通过渐进式反馈机制逐步在生命科学和医疗保健领域推广应用。
3. 风险管理体系的具体构成
生成式AI在医疗场景中的风险管理体系至关重要，因其决定了模型的实施方式和适用范围。论文特别指出，由于不同医疗机构的工作流、文件格式、患者群体存在显著差异，模型开发者的风险评估需与实际应用场景的风险管理结合，以保证模型的安全性和适应性。以下是MedLM的主要风险管理框架：
- 用途明确性：首先定义模型的预期用途非常关键，因为这可以为后续的风险评估奠定基础。MedLM的主要用途是“生成草稿总结”，以确保其内容经过审核后才可用于医疗场景。
- 风险识别：在实际部署之前，模型开发者需要识别可能的风险点。例如，模型组件、训练数据、模型透明度、可解释性以及与患者隐私保护相关的伦理问题，都是风险识别的关键点。模型的透明性不仅关乎技术，还涉及如何避免可能的偏见和隐私泄露。
- 风险评估：风险评估需对潜在风险的发生概率和危害程度进行量化。在模型开发阶段可以通过基准测试作为合理代理进行评估，但建议在真实部署情境中进一步评估，包括观察AI与人类使用者的复合表现。
- 风险缓解措施：对于已识别的风险，需制定相应的缓解策略。新型风险（如“幻觉”）尤其需要创新的缓解工具。例如，通过模型卡片和使用指南提供模型的局限性信息，帮助医疗机构在使用时作出明智决策。
- 部署后监控：生成式AI在医疗场景中的长时间应用可能会带来未预见的风险，因此需持续监测并优化。长期监测机制可以帮助模型开发者及时发现并解决潜在的隐患。
4. 安全性挑战及应对策略
在医疗文本总结场景中，生成式AI模型如MedLM面临的主要安全性挑战包括以下几点：
- 模型幻觉：幻觉是指模型可能生成出不准确或虚构的内容，这是生成式AI固有的挑战之一。在医疗场景中，这一问题尤为严重，因错误信息可能误导医护人员，进而危害患者。为减少幻觉现象，论文提出采用“取证支持生成（retrieval-augmented generation）”等技术，使模型生成的内容基于可靠的来源，并建议在模型生成的内容实际使用前由医护人员进行复核。
- 信息遗漏：在医学文本总结过程中，模型可能忽略关键信息，导致生成内容不够全面。这种情况尤其可能发生在复杂病例中，因为临床上并没有统一的“关键信息”标准。应对策略包括限制模型的使用场景，如仅用于非诊疗场景，此外还可采用与健康信息技术类似的风险管理框架，确保医护人员意识到模型的局限性。
- 偏见风险：生成式AI模型可能因训练数据中的偏见而输出带有文化或种族偏见的内容。论文建议，通过对抗性测试和分组评估等方法识别和消除模型的偏见，并通过模型卡片向使用者告知潜在局限性，以便用户做出合适的选择。
- 误导性解释和期望偏差：由于输出内容的格式不规范，可能导致医护人员对内容产生误解，例如将生成的非结构化药物列表误以为未进行的检查。论文建议，通过微调模型提高格式输出的标准化，或者利用提示工程改善输出格式。
- 有害语言：即便模型输出内容在临床上准确，某些术语仍可能对患者或医护人员产生冒犯。技术过滤器可以帮助检测和屏蔽含有攻击性或危险内容的文本，避免此类语言对用户造成不良影响。
- 预见性误用：生成式AI的宽泛功能可能导致其用途“超出范围”，例如在生成病历摘要时，可能错误地生成治疗建议。论文建议通过技术保护措施、教育和工作流改善，防止模型被用于预期外的用途，同时需考虑恶意使用的风险。
5. 结论与未来展望
论文最后指出，生成式AI在医学文本总结领域拥有显著的潜力，能够提高医疗工作效率并减轻医护人员的工作负担。然而，生成式AI也伴随风险，若未被审慎管理，可能对患者安全造成潜在威胁。为此，开发适用于医疗领域的生成式AI应以临床安全和健康公平为首要任务，模型开发者应进行详尽的风险识别、缓解并透明披露。论文提供的风险管理框架为生成式AI在医疗领域的应用奠定了安全原则，并为其他开发者提供了可借鉴的实践标准。