Digital Health Insider: 超越 MedQA：迈向 LLM 时代的真实世界临床决策

论文信息

标题 (Title)：Beyond MedQA: Towards Real-world Clinical Decision Making in the Era of LLMs

作者 (Authors)：Yunpeng Xiao, Carl Yang, Mark Mai, Xiao Hu, Kai Shu

发表年份 (Year)：2025

原文链接 (URL)：https://arxiv.org/abs/2510.20001

结构化摘要 (Structured Abstract)

背景/目标 (Background/Objective)：尽管大型语言模型 (LLMs) 在医学领域展现出巨大潜力，但目前主流的评测基准（如 MedQA）大多基于简化的问答 (Q&A) 任务，这与真实世界中复杂的临床决策过程存在显著差距。本研究旨在弥合这一差距，通过提出一个统一的分析范式来系统性地梳理和评估 LLMs 在临床决策任务中的能力和挑战。

方法 (Methods)：研究提出一个二维分析范式，从以下两个维度来解构临床决策任务的复杂性：

临床背景 (Clinical Backgrounds)：根据信息输入的完备性和真实性，将任务背景分为四类：无背景、精确信息背景、丰富信息背景和不完整信息背景。

临床问题 (Clinical Questions)：根据问题形式和答案的开放性，将问题类型分为四类：是非题、选择题、简答题和开放式问题。
基于该范式，论文对现有数据集和评测基准进行了归类总结，并系统性地回顾了用于提升 LLM 临床决策能力的主流方法（训练时技术和测试时技术）。

结果 (Results)：论文的分析揭示，现有研究大多集中在“精确信息背景 + 选择题”这一组合上，而这恰恰是与真实临床场景（通常是丰富或不完整信息背景 + 开放式问题）相去最远的。此外，论文将评估指标从单一的“准确率”扩展到“效率”和“可解释性”，并指出了当前研究在这些方面存在的不足。

结论 (Conclusion)：本研究提供了一个清晰的框架来理解和评估 LLMs 在真实临床决策中的应用现状和挑战。结论强调，未来的研究需要超越传统的 MedQA 范式，创建更贴近真实临床场景的数据集和基准，并开发新的训练和评估方法，特别是在处理不完整信息、过滤冗余信息以及应对开放式问题方面。

1. 引言 (Introduction)

1.1. 研究背景与核心问题 (Research Background & Problem Statement)

随着 LLMs 的飞速发展，其在医疗领域的应用前景广阔，从辅助诊断到个性化治疗方案制定，潜力巨大。然而，评估这些模型能力的标准却显得滞后。目前，绝大多数对医疗 LLM 的评测都依赖于标准化的问答数据集，如 MedQA、MMLU-Med 等。这些数据集通常提供一个简洁的病例描述和几个固定选项，模型只需选出正确答案即可。

这种简化的 Q&A 模式与真实世界的临床决策 (real-world clinical decision making) 过程严重脱节。在现实中，医生面临的情况要复杂得多：

信息不完整：初诊时，医生需要通过问诊和检查逐步收集信息。

信息冗余和嘈杂：电子病历 (EHR) 中包含大量与当前问题无关的数据。

决策是多步且动态的：需要不断综合新信息，修正判断。

问题是开放式的：最终的决策往往不是一个简单的选择题，而是需要生成详细的诊断报告或治疗计划。

因此，本文要回答的核心研究问题 (RQs) 是：

RQ1: 如何系统性地定义和分类现有的医疗 LLM 任务，以揭示它们与真实临床决策之间的差距？

RQ2: 当前有哪些主流技术方法被用来提升 LLM 的临床决策能力？它们各自适用于什么样的场景？

RQ3: 除了准确率，我们应该从哪些维度来评估 LLM 在临床决策中的表现？

RQ4: 未来，为了让 LLM 真正成为可靠的临床助手，亟待解决的关键挑战是什么？

这是一个新的、具有高度概括性的问题，旨在为整个领域的研究提供一个清晰的“地图”和“路线图”。

1.2. 文献综述与研究缺口 (Literature Review & Research Gap)

作者观察到，尽管已有大量工作在 MedQA 等数据集上“刷分”，但很少有研究系统性地反思这些评测任务本身的局限性。虽然一些前沿研究开始探索更复杂的场景，例如将 MedQA 转化为医患对话任务，或向数据中手动添加干扰信息，但这些努力是零散的，缺乏一个统一的理论框架来指导和衡量这些任务在多大程度上模拟了真实世界。

本文所针对的“研究缺口” (Gap) 在于：当前领域内缺乏一个公认的、系统的范式来描述和组织关于 LLM 临床决策的研究。这导致了：

假设不清：不同研究在评估模型时，其背后的任务设定和假设（如信息是否完备）往往是隐性的。

比较困难：由于任务设定各异，不同研究成果之间难以进行公平、标准化的比较。

发展方向模糊：研究者们容易陷入在简化任务上提升性能的“内卷”，而忽略了通往真实世界应用所面临的更大挑战。

本文的创新之处在于，它首次提出了一个二维分类框架，为该领域的所有研究工作提供了一个统一的坐标系，从而填补了上述空白。

1.3. 研究目标与核心假设/命题 (Objectives & Hypotheses/Propositions)

研究目标：

为 LLM 时代的临床决策任务提供一个清晰的定义和分类范式。

基于该范式，对现有文献（包括数据集、方法、评估指标）进行系统性梳理。

识别当前研究的局限性，并为未来的研究指明开放性挑战和方向。

核心命题 (Propositions)：

P1: 临床决策任务的复杂性可以被有效地分解为“临床背景”和“临床问题”两个核心维度。

P2: 沿着这两个维度从简单（如精确背景+选择题）向复杂（如不完整背景+开放题）演进，任务难度会显著增加，也更贴近真实世界。

P3: 当前的研究生态系统在该二维谱系中的分布是不均衡的，严重偏向于简化的任务设置。

2. 研究设计与方法 (Methodology)

2.1. 研究范式与方法论 (Research Paradigm & Methodology)

本研究属于定性研究中的综述与理论构建 (Review and Theory Building)。作者通过对现有文献的广泛调研和归纳，提出了一个新的理论框架（二维范式），并用该框架来组织和分析已有知识，最终提出对未来研究的展望。

论文中提到的解决方案之关键是什么？
其解决方案的关键是提出了一个二维分析范式 (Two-Dimensional Paradigm)，这是一个用于分类和理解所有临床决策任务的“坐标系”。

X轴：临床背景 (Clinical Backgrounds) - 描述了任务输入信息的特征。

无背景 (No Background)：纯粹的医学知识提问，如“糖尿病的症状是什么？”。

精确信息背景 (Precise Information Background)：提供简洁、无冗余的核心病例信息，如同教科书或考试题目。这是 MedQA 等基准的典型设置。

丰富信息背景 (Rich Information Background)：提供大量信息，可能包含多模态数据（如影像、心电图）和大量文本，其中混杂着冗余和噪声。这更接近真实的电子病历 (EHR)。

不完整信息背景 (Incomplete Information Background)：初始信息不足，需要模型（扮演医生）通过多轮交互（如向“患者”提问、要求做检查）来逐步获取完整信息。这最接近真实的临床初诊场景。

Y轴：临床问题 (Clinical Questions) - 描述了任务输出的形式要求。

是非题/选择题 (True/False & Multiple Choice)：封闭式问题，答案空间有限。

简答题 (Short Answer Questions)：要求输出特定实体，如疾病名称、药品剂量等，答案空间较大但仍相对固定。

开放式问题 (Open-Ended Questions)：要求生成长文本答案，如撰写诊断报告、解释伦理问题等，答案形式多样，没有唯一标准答案。

跟之前的方法相比有什么特点和优势?

系统性 vs. 零散性：之前的研究是“点状”的，各自探索一个特定的任务。该范式提供了一个“面状”的视角，将所有这些点都定位在一个统一的二维空间中，使得它们之间的关系和相对难度一目了然。

揭示研究偏向：通过将现有数据集和基准“填入”这个二维网格（如图3所示），该范式清晰地揭示了当前研究的“热点区”（精确背景+选择题）和“无人区”（不完整背景+开放题），为研究者指明了更有价值的探索方向。

标准化语言：为领域内交流提供了一套标准术语。研究者可以清晰地说明自己的工作是针对“丰富信息背景下的简答题”，这比模糊地描述任务要精确得多，便于同行理解和比较。

2.2. 数据来源与样本 (Data Source & Sample)

本文作为一篇综述，其“数据”是公开发表的学术论文、数据集和基准测试。作者广泛调研了近年来在 LLM for Healthcare 领域的相关工作，并将它们作为分析和归类的对象。

2.3. 操作化与测量 (Operationalization & Measurement)

核心概念操作化：论文将“临床决策”这个抽象概念，通过二维范式具体操作化为四种背景和四种问题类型的不同组合。

测量：论文不仅关注传统的有效性 (Effectiveness) 指标（即准确率 Accuracy），还引入并定义了另外两个重要的评估维度：

效率 (Efficiency)：在信息不完整或冗余的背景下，模型能否通过最少的交互或最快的速度提取关键信息并做出决策。

可解释性 (Explainability)：模型的决策过程是否透明、可信，能否为自己的答案提供合理的解释。这对于开放式问题尤其重要。

3. 结果与发现 (Results & Findings)

3.1. 主要发现概述 (Overview of Key Findings)

研究分布严重失衡：如图3所示，绝大多数主流数据集（MedQA, MMLU, PubMedQA等）都集中在“精确信息背景 + 选择题”这个象限。而更能反映真实临床挑战的“丰富/不完整信息背景”和“简答/开放式问题”象限的研究则相对稀少。

任务难度随维度演进而增加：论文总结出现有研究表明，当任务从“精确背景”移动到“不完整背景”时，即使是同一个数据集，模型的性能也会大幅下降。同样，问题的开放性越大，评估也越困难。

技术方法的适用性：

训练时技术：监督式微调 (SFT) 和强化学习 (RL) 能从根本上提升模型的领域能力，尤其适用于有明确监督信号的任务。

测试时技术：思维链 (CoT)、检索增强生成 (RAG) 和多智能体系统 (Multi-agent Systems) 在不改变模型权重的情况下提升表现。其中，多智能体系统被认为是模拟“不完整信息背景”下医患交互的理想方法。

评估指标亟待扩展：单一的准确率无法全面衡量 LLM 的临床决策能力。效率和可解释性的评估虽然已有初步探索（如使用 LLM-as-a-judge），但仍缺乏成熟、可靠的标准。

3.2. 关键数据与图表解读 (Interpretation of Key Data & Figures)

图1：三种临床背景设置 (Three different clinical settings)

展示内容：该图直观地展示了“精确信息”、“丰富信息”和“不完整信息”三种背景的区别。

揭示关系：从上到下，信息的复杂性和获取难度依次递增。精确信息是“喂到嘴边”的短文本；丰富信息是混杂了多模态数据和噪声的“大杂烩”；不完整信息则需要通过“医患对话”的主动交互来获取。这清晰地阐释了背景维度的核心思想。

图2：四种临床问题设置 (Four different clinical question settings)

展示内容：展示了从最封闭的是非题到最开放的开放式问题的四种问题类型。

揭示关系：从左到右，答案的自由度和评估的难度逐渐增加。选择题有固定答案，而开放式问题的答案则有多种可能性。

图3：主流数据集/基准的临床背景与问题设置 (The clinical background and clinical question settings of mainstream medical datasets/benchmarks)

展示内容：这是一个核心的总结性图表，它将论文中提到的多个主流数据集和基准“定位”到了二维范式的网格中。

揭示关系：这张图是本文“结果”部分最有力的证据。我们可以清晰地看到，左上角的“精确信息背景 + 选择题”格子中挤满了大家熟知的 MedQA, MMLU 等。而右下角的“不完整信息背景 + 开放式问题”几乎是空白。这直观地暴露了当前研究的巨大偏向和未来的机会所在。

4. 讨论 (Discussion)

4.1. 结果的深度解读 (In-depth Interpretation of Results)

回答了研究问题：本文通过二维范式成功地分类了现有任务，揭示了其与真实世界的差距。通过梳理主流技术和评估方法，系统性地回答了引言中的核心问题。

“MedQA 模式”的终结：研究结果强烈暗示，单纯在 MedQA 这类简化任务上追求更高的准确率已经进入了瓶颈期，其对衡量模型真实临床能力的指导意义正在减弱。社区需要向着二维坐标系的右下方，即更复杂、更真实的场景迁移。

从“知识再现”到“能力模拟”：简单任务主要考察 LLM 对医学知识的记忆和再现能力。而复杂任务则考察其信息处理能力（过滤噪声）、交互能力（有效提问）和生成能力（撰写报告），这些是更贴近医生核心能力的模拟。

4.2. 理论贡献 (Theoretical Contributions)

提出了首个临床决策任务的系统性分类框架：这是本文最核心的理论贡献。它为该交叉领域提供了一个结构化的视角，有助于统一学术语言、标准化比较，并指导未来的研究方向。

重新定义了评估的内涵：论文强调，对临床 LLM 的评估必须超越准确率，将效率和可解释性纳入核心考量，这为构建更全面的评估体系奠定了理论基础。

桥接了AI研究与临床实践：该框架清晰地指出了连接当前 AI 模型与未来临床应用的“断裂带”在何处（即对不完整、冗余信息的处理和开放式决策的能力），为弥合这一差距提供了理论指导。

论文的研究成果将给业界带来什么影响?

指导评测基准的开发：将激励研究者和企业开发新的、更符合真实临床场景的评测基准（例如，基于真实 EHR 的、需要多轮交互的诊断任务）。

促进模型能力的全面发展：将引导 LLM 的开发者不仅关注模型的知识储备，更要关注其在复杂环境下的交互、推理和鲁棒性。

为监管和部署提供参考：当 LLM 应用于临床时，监管机构需要评估其安全性。本文提出的多维度评估（特别是效率和可解释性）可以为制定相关标准提供参考。

4.3. 实践启示 (Practical Implications)

对AI研究者：提供了一张清晰的“研究地图”。新入行的研究者可以快速了解领域全貌，资深研究者可以找到尚未被充分探索的“蓝海”领域。

对临床医生和医疗机构：帮助他们更清醒地认识到当前 LLM 的能力边界。他们可以理解，虽然 LLM 在标准化考试上表现优异，但在处理真实、混乱的临床数据时仍面临巨大挑战，从而对其应用持一种“谨慎乐观”的态度。

4.4. 局限性与未来研究 (Open Issues & Future Research)

论文在第7节“Open Issues”中明确指出了未来的挑战和研究方向：

创建更真实的基准：需要开发包含真实冗余信息（如真实化验单）、需要主动交互、且以开放式问题为主的新一代临床基准。

研究信息过滤：如何让 LLM 在充满冗余信息的长上下文中有效“去噪”，并学会“问对问题”以获取关键信息。

适用于临床的多智能体系统：如何设计更逼真的多智能体（医生-患者）交互系统，并解决其中患者智能体的公平性、可信度等问题。

开放式问题的新训练范式：开放式问题缺乏标准答案，如何为其设计有效的损失函数或奖励函数（如无标签的强化学习）是一个关键挑战。

新的评估策略：需要为效率和可解释性设计更可靠、成本更低的评估指标，并改进 LLM-as-a-judge 的可靠性。

5. 结论 (Conclusion)

本文对 LLM 在临床决策领域的应用现状和挑战进行了全面的分析。通过创新性地提出一个基于“临床背景”和“临床问题”的二维分析范式，论文系统地梳理了现有的任务、方法和评估指标，并清晰地指出了当前研究与真实世界临床实践之间的鸿沟。结论强调，未来的发展重点应从简化的问答任务转向更复杂的、模拟真实场景的挑战，并建立包括效率和可解释性在内的多维度评估体系。这项工作为该领域的健康发展提供了宝贵的分类学视角和前瞻性指导。

6. 核心参考文献 (Core References)

Jin, D., et al. (2021).

链接

即 MedQA 论文，是本文反复提及的、代表了“精确信息背景 + 选择题”这一传统范式的典型基准。

Schmidgall, S., et al. (2024). Agentclinic: a multimodal agent benchmark to evaluate ai in simulated clinical environments. arXiv.

链接

这是一个代表了向更真实场景（不完整信息背景）迈进的基准，是本文分类框架中更复杂任务的实例。

Hager, P., et al. (2024). Evaluation and mitigation of the limitations of large language models in clinical decision-making. Nature medicine.

链接

这篇文献同样关注 LLM 在临床决策中的局限性，是本文问题背景的重要支撑。

Singhal, K., et al. (2023). Large language models encode clinical knowledge. Nature.

链接

这篇（Med-PaLM）和后续的 Med-PaLM 2 论文是展示 LLM 在 MedQA 等基准上达到甚至超越人类水平的代表性工作，证明了模型在简化任务上的强大能力。

Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in neural information processing systems.

链接

即 CoT 论文，是本文方法论部分回顾的、提升 LLM 推理能力的关键测试时技术之一。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

超越 MedQA：迈向 LLM 时代的真实世界临床决策