论文Collaboration between clinicians and vision–language models in radiology report generation（《临床医生与视觉-语言模型在放射报告生成中的合作》）主要讨论了一种名为Flamingo-CXR的AI系统，旨在为胸部X光片生成自动化放射报告，并评估这种报告在临床中的适用性和质量。
Flamingo-CXR是一种结合了视觉和语言表示的先进AI模型，展示了在自动化放射报告生成方面的显著潜力。通过在不同数据集和临床场景中的实验，研究人员验证了它在提高报告质量、减少医生工作负荷方面的实际效果。然而，由于数据集复杂性和区域差异，Flamingo-CXR在不同场景中的表现仍有待提升。未来，通过增强模型的控制能力、支持小样本学习和开发交互式功能，可以进一步提升其在临床中的应用价值。
论文作者为Ryutaro Tanno, David G. T. Barrett, Andrew Sellergren, Sumedh Ghaisas, Sumanth Dathathri, Abigail See, Johannes Welbl, Charles Lau, Tao Tu, Shekoofeh Azizi, Karan Singhal, Mike Schaekermann, Rhys May, Roy Lee, SiWai Man, Sara Mahdavi, Zahra Ahmed, Yossi Matias, Joelle Barral, S. M. Ali Eslami, Danielle Belgrave, Yun Liu, Sreenivasa Raju Kalidindi, Shravya Shetty, Vivek Natarajan, Pushmeet Kohli, Po-Sen Huang, Alan Karthikesalingam & Ira Ktena，主要来自Google.
1. 背景和动机
放射学在现代医学中起着至关重要的作用。通过医学影像，放射学可以帮助医生进行疾病诊断、治疗方案的制定以及患者的健康管理。然而，全球放射科医生的严重短缺正制约着医学服务的可及性，特别是在偏远或医疗资源匮乏的地区。这种短缺不仅加重了现有医生的工作负担，还导致了临床决策中的延误与错误，使患者的治疗效果大打折扣。
在过去的十年中，人工智能（AI）被视为一种强大的辅助技术，具有提高放射学护理可及性、效率和质量的潜力。特别是在美国，大约三分之一的放射科医生已经在临床工作中受益于AI技术。然而，大多数获得FDA批准的AI产品仅能处理具体的病理分类与量化任务，如检测胸腔积液或心脏肥大等。临床放射学远不止这些细化的任务，还需要对发现进行综合分析、评估病变的临床意义，并形成有助于患者护理的整体诊断意见。
目前，AI在自动化放射报告生成方面的研究与应用受限于多个因素，其中之一是如何有效评估AI生成报告的临床质量。与结构化任务相比，自由文本报告有更高的自由度，可能出现多种不同类型的错误。而在临床实际应用中，不同的临床环境、地区以及标准化方式对于报告的要求各不相同。因此，如何高效评估AI生成的放射报告成为该领域的一个核心难题。
2. 模型概述
2.1 Flamingo-CXR简介
Flamingo-CXR是基于视觉-语言基础模型（VLM）构建的放射报告生成系统。它通过对大规模去识别化的数据集进行微调，学习如何生成胸部X光片的完整放射报告。这些数据集包括来自美国紧急部门的MIMIC-CXR数据集，以及来自印度住院和门诊环境的IND1数据集。Flamingo-CXR通过利用大规模预训练模型（如Flamingo）中的视觉-语言表示，进一步提升了其在特定医学任务中的表现，使其能够生成更全面和更具临床意义的报告。
2.2 模型训练细节
Flamingo-CXR使用了两个主要的数据集：
- MIMIC-CXR 数据集：这是一个去识别化的、来源于美国急诊科的大型公开数据集，包含数以万计的胸部X光影像及其对应的自由文本放射报告。
- IND1 数据集：这个数据集来自印度多个医疗环境，包含住院和门诊病例。这使得模型能够在不同的临床环境下进行训练，从而提高其泛化能力。
在训练过程中，Flamingo-CXR主要关注两个报告部分：发现（Findings）和印象（Impressions）。报告的生成不仅要描述影像中的具体异常，还需要结合病人的临床背景，提供有助于进一步治疗的建议。
2.3 评估指标
为了评估Flamingo-CXR的性能，论文使用了多种评估指标：
- CheXpert F1 Score：这是一个基于CheXpert标签的评估指标，用于衡量生成报告与放射科医生原始报告之间的相似性。Flamingo-CXR在MIMIC-CXR数据集上的CheXpert F1得分为0.519，相较于先前的最佳模型（如R2GenGPT）的0.389有显著提升。
- RadGraph F1 Score：用于评估报告中放射学实体和关系的准确性。Flamingo-CXR取得了0.205的得分，显著超过了当前的基准模型。
- 自然语言生成（NLG）指标：包括CIDEr、BLEU4和Rouge等，用于评估生成文本与参考文本在语言上的相似度。尽管Flamingo-CXR在这些指标上的表现有所波动，但其在临床语义准确性上优于这些自然语言评估方法的结果。
3. 实验与评估
3.1 自动化报告生成的评估
研究人员首先对模型生成的报告进行了自动化的质量评估。Flamingo-CXR在多项指标上都取得了显著提升，特别是在MIMIC-CXR数据集上的CheXpert F1得分达到0.519，比之前的最先进方法提高了33%。这一结果显示，Flamingo-CXR在处理“发现”和“印象”两个部分时，具有明显的优势，能够更好地描述病灶位置、大小和严重程度。
3.2 与人类专家的比较
为了更好地评估生成报告的临床质量，研究人员招募了27位具有放射科认证的医生，对AI生成的报告与人类医生撰写的报告进行了对比评估。评估分为两种场景：完全自主生成的AI报告，以及AI生成报告由人类医生修正的合作场景。
- 自主AI报告的评估：在77.7%的IND1病例中，Flamingo-CXR生成的报告被认为与人类报告相当或更优。在56.1%的MIMIC-CXR病例中，AI报告也达到了类似的评估结果。这表明，AI在某些情况下生成的报告质量完全可以和人类医生相媲美，尤其是那些无明显异常的病例。
- AI与医生协作的评估：AI与医生合作生成的报告在71.2%的IND1病例中被认为与人类报告相当或更优，显示出AI在辅助医生撰写报告方面的巨大潜力。
3.3 误差分析与改进
实验表明，Flamingo-CXR与人类报告都存在不同程度的错误。在IND1数据集中，有22.8%的病例AI报告包含临床显著错误，而14%的病例中人类报告也有类似错误。对于这些报告，研究人员设计了一个“误差修正”任务，要求放射科医生对错误报告进行修改，并记录修改原因和临床意义。结果表明，AI报告中的一些错误往往涉及对影像中病灶位置或严重程度的误判，而人类医生则更容易因为过度诊断而犯错。
4. 局限性
尽管Flamingo-CXR在报告生成方面取得了显著进展，但仍存在一些局限性：
- 多样性和复杂性：MIMIC-CXR数据集中的报告内容更复杂，涉及多种病理和临床场景，Flamingo-CXR在这种复杂环境下的表现相对逊色。而IND1数据集的报告结构更为规范，这使得AI模型在处理这些报告时更为轻松。
- 区域差异：不同地区的放射科医生对AI报告的接受度存在显著差异。美国和印度的放射科医生在对AI生成报告的偏好和错误评估方面有不同看法，可能与各自的培训背景和报告风格有关。
- 合作模式的效果有限：尽管医生与AI的合作模式提高了报告的整体质量，但某些情况下合作产生的报告并未优于医生单独撰写的报告。这可能与医生在协作过程中对AI生成的报告过度依赖有关，也反映了合作过程中的挑战。
5. 未来研究方向
5.1 增强模型的控制能力
未来，研究者计划增强Flamingo-CXR的用户控制能力，使放射科医生能够通过自然语言命令更灵活地控制生成报告的内容和风格。这将使AI生成的报告更符合个体患者的需求，也有助于在不同的临床场景中应用。
5.2 小样本学习与跨域学习
由于不同临床场景之间存在显著差异，Flamingo-CXR需要更好地学习如何从有限的数据中进行泛化。为此，研究者建议采用小样本学习（Few-shot Learning）和参数高效优化（Parameter-efficient Optimization）等方法，使模型能够在新领域中快速适应，减少对大规模标注数据的依赖。
5.3 交互式AI系统
未来的AI系统将不仅仅是生成初稿的工具，而是可以实时与医生互动，像一位经验丰富的同事一样为医生提供反馈。例如，AI系统可以在报告撰写过程中标出可能存在的错误或遗漏的发现。这种交互式功能将显著提升AI的临床应用价值，使其成为医生的重要助理。
6. 实践意义
6.1 提高临床效率与准确性
Flamingo-CXR的应用有助于提高放射科医生的工作效率，特别是在那些诊断难度相对较低的病例中，如正常胸部X光片的报告生成。通过自动生成这些报告，医生可以将更多的时间和精力投入到异常复杂病例的诊断和分析中，从而改善整体的医疗服务质量。
6.2 解决医疗资源不平衡的问题
在资源匮乏的地区，放射科医生的短缺导致了很多病人无法及时得到诊断。而Flamingo-CXR这样的AI系统可以帮助这些地区的医疗机构为病人提供高质量的诊断报告，从而在一定程度上弥补医疗资源的不足。
6.3 医生与AI的协同合作
研究表明，医生与AI的合作可以产生比单独工作更高质量的放射报告。特别是在复杂病例中，AI系统可以为医生提供初步的分析结果，帮助医生更快地锁定关键问题，并形成最终的诊断意见。这种合作模式不仅提高了诊断的准确性，也大大减轻了医生的工作负担。