论文Towards Democratization of Subspeciality Medical Expertise深入探讨了 AMIE（Articulate Medical Intelligence Explorer） ——一种基于大型语言模型（LLM）的人工智能系统——在心血管领域（特别是遗传性心肌病）中的应用。该研究主要聚焦于评估AMIE在辅助普通心脏科医生进行诊断和临床决策时的有效性，并与专科医生的评估结果进行对比。AMIE作为辅助工具能够显著提升普通心脏科医生的诊断和管理决策质量，尤其是在处理复杂病例时。若能进一步改进AMIE的错误率和完善其与医生的协作模式，未来有望成为临床上不可或缺的辅助工具。
论文作者为Jack W. O’Sullivan, Anil Palepu, Khaled Saab, Wei-Hung Weng, Yong Cheng, Emily Chu, Yaanik Desai, Aly Elezaby, Daniel Seung Kim, Roy Lan, Wilson Tang, Natalie Tapaskar, Victoria Parikh, Sneha S. Jain, Kavita Kulkarni, Philip Mansfield, Dale Webster, Juraj Gottweis, Joelle Barral, Mike Schaekermann, Ryutaro Tanno, S. Sara Mahdavi, Vivek Natarajan, Alan Karthikesalingam, Euan Ashley, Tao Tu，来自Google Research, Google DeepMind, Stanford University。
一、研究背景
- 医疗专家短缺：
- 全球缺乏专科医生： 根据世界卫生组织（WHO）的数据，到2030年，全球将缺少约1800万名医疗专业人员，其中稀有且复杂的疾病尤为缺乏专科医生。这种情况在心脏病学领域尤为严重，尤其是对于 肥厚型心肌病（HCM） 等少见疾病。HCM是导致年轻成人猝死的主要原因之一，但美国有一半以上的州缺乏专科治疗中心。
- HCM诊断困难： HCM患者由于缺乏及时的专科治疗，很多病例未被诊断，尤其是在没有HCM中心的地区。超过60%的美国HCM患者没有得到及时诊断，这导致了大量可以预防的猝死事件。
- LLM在医疗中的潜力：
- LLM在快速处理和合成大规模临床数据、提供差异诊断和管理建议方面展示了巨大潜力。尽管如此，LLM在专科领域的能力尚未经过充分验证，特别是在复杂疾病和高专科要求的情境下，如HCM和其他遗传性心血管疾病。
二、研究目的
该研究旨在通过 AMIE，探索 LLM在医学专科领域的辅助作用，尤其是在心血管疾病的诊断和治疗决策中，具体目标包括：
- 评估AMIE在辅助普通心脏科医生做出关于稀有、致命心血管疾病（如遗传性心肌病）的临床决策时的表现。
- 检验AMIE如何帮助弥补普通心脏科医生在高度专业化领域的知识不足，尤其是在心血管遗传病的诊断、转诊及管理中。
- 通过创建并开源一个 遗传性心血管疾病 的真实病例数据集，推动该领域的进一步研究。
三、研究方法
- 数据收集与处理：
- 数据集： 研究使用了来自斯坦福大学遗传性心血管疾病中心的204例真实病例。这些病例包括多种类型的心血管疾病（如肥厚型心肌病、扩张型心肌病、缺血性心脏病等），并且包含了各种临床检查数据，如心电图（ECG）、超声心动图（TTE）、心脏MRI、基因检测等。
- 数据去识别化： 所有数据进行了去识别化处理，并公开发布，以便未来的研究者使用。
- AMIE模型优化：
- 少样本学习： 为了使AMIE能够适应这一心血管遗传学专科领域，研究团队使用了少样本学习方法，仅依赖9个病例进行模型适配，结合专家反馈进行了迭代优化。
- 增强功能： AMIE还结合了 自我批判 和 网络搜索增强 的功能。自我批判功能使得AMIE在给出诊断和建议后，能够根据反馈进行自我调整；而网络搜索增强功能则使AMIE能够访问最新的医学指南和文献，提高其诊断的准确性。
- 研究设计：
- 对比评估： 普通心脏科医生和AMIE分别对204个病例进行了诊断和管理方案的评估。评估使用了 10维度评估标准，涵盖了诊断、转诊建议、管理方案、遗传信息解释等。
- 盲法评估： 为了确保评估的客观性，所有评估者（包括专科医生）在评估过程中都不知道诊断的来源（即AMIE或普通医生的回答）。
- 评估指标：
- 评估的10个维度包括：整体印象、诊断、转诊评估、管理建议、遗传信息解释等。评估者通过选择“AMIE优于医生”、“医生优于AMIE”或“无差异”的方式进行评分。
四、主要结果
- AMIE的独立表现：
- 在10个评估维度中，AMIE在5个维度表现优于普通心脏科医生，分别为：诊断解释、附加患者信息、附加检查信息、管理建议和遗传学解释。
- 在其他5个维度中，AMIE与普通医生的表现相当。
- 错误类型： 尽管AMIE在一些维度上表现出色，但其错误类型主要是“过度建议”（例如不必要的额外测试或检查），而普通医生的错误更多是“遗漏”（例如未能识别重要症状或检查结果）。
- AMIE辅助作用：
- 普通医生在看到AMIE的反馈后，63.7%的病例评估质量得到改善，仅有3.4%的病例评估质量下降。
- 在所有10个评估维度中，AMIE辅助后的医生评估均优于没有AMIE辅助时的评估。
- 临床反馈分析：
- 专科医生认为AMIE在提供诊断时更加全面和敏感，能够提供广泛的鉴别诊断，并建议更详细的检查。
- 但AMIE的回答有时过于冗长，建议了一些不必要的测试，这与普通心脏科医生的简洁和针对性形成对比。
- 普通医生的回答则更具针对性，但有时过早集中在某个诊断上，可能导致遗漏其他潜在的病因。
五、讨论
- AMIE的优势：
- AMIE能够补充普通心脏科医生在遗传性心血管疾病中的知识缺口，特别是在面临复杂病例时，AMIE能提供更为全面的诊断建议。
- 由于其能提供较为全面的差异诊断，AMIE对于具有复杂症状的患者（如HCM）尤为重要。通过对多种病因的考虑，AMIE能够帮助识别那些可能被普通医生忽略的疾病。
- AMIE与普通心脏科医生的互补：
- AMIE和普通心脏科医生的互补性在于：AMIE可以提供全面的初步诊断，而普通医生则能对其进行验证和优化。这一过程类似于初步筛查测试（AMIE）和后续确认测试（普通医生）的组合。
- AMIE的优势在于其能够快速集成大量数据并提供详细的管理建议，而普通医生则能从AMIE的辅助中获取精确的患者信息。
- 局限性和挑战：
- 临床错误： AMIE的错误通常涉及不必要的测试和程序，而普通医生的错误更倾向于漏诊或忽略重要数据。这些错误类型需要在实际应用中加以控制。
- 数据限制： 由于本研究的数据集仅来自美国斯坦福中心，且为英语文本数据，因此其结果可能无法直接推广到其他地区和语言背景下的应用。
六、未来研究方向
- 多中心验证： 研究表明，AMIE有潜力成为一种有效的辅助工具，但为了验证其广泛的临床实用性，还需要进行多中心、跨地区的前瞻性研究。
- 模型优化： 为了提升AMIE在实际临床环境中的表现，未来的工作可能需要进一步优化模型的准确性和灵敏性，并减少不必要的误诊和过度检查。
- 患者反馈： 未来的研究应当结合患者的反馈，探索AMIE在实际临床中与患者互动的潜力。
相关阅读：AMIE助力肿瘤疗护，Exploring Large Language Models for Specialist-level Oncology Care