MedFact：中文医疗文本大型语言模型事实核查能力基准测试

论文信息

• 标题 (Title)：MedFact: Benchmarking the Fact-Checking Capabilities of Large Language Models on Chinese Medical Texts

• 作者 (Authors)：Jiayi He, Yangmin Huang, Qianyun Du, Xiangying Zhou, Zhiyang He, Jiaxue Hu, Xiaodong Tao, Lixian Lai

• 发表年份 (Year)：2025

• 原文链接 (URL)：https://github.com/ivy3h/MedFact

结构化摘要 (Structured Abstract)

• 背景/目标 (Background/Objective)：大型语言模型（LLM）在医疗领域的应用日益增多，对其事实可靠性的严格评估至关重要 。然而，现有基准测试存在数据领域狭窄、未能捕捉真实世界医学信息复杂性等局限性 。本研究旨在通过引入一个全新的、具有挑战性的中文医疗事实核查基准（MedFact），来解决这一关键空白 。

• 方法 (Methods)：研究者构建了MedFact，一个包含2116个经专家标注实例的数据集，这些实例来源于多样化的真实世界文本 。其构建采用了一种“AI-人工”混合框架，通过迭代的专家反馈来优化AI驱动的多标准筛选流程，确保了数据的高质量和高难度 。研究团队对20个前沿的LLM进行了全面评估，测试它们在“真实性分类”和“错误定位”两个任务上的表现，并与人类专家基线进行比较 。

• 结果 (Results)：研究结果显示，尽管许多模型能够判断文本是否包含错误，但精确定位错误的位置仍然是一个巨大挑战，即使是表现最好的模型也未能达到人类的水平 。此外，分析发现了一种普遍的“过度批判”（over-criticism）现象，即模型倾向于将正确的信息错误地识别为有误，而多智能体协作等先进推理技术反而加剧了这一问题 。

• 结论 (Conclusion)：MedFact突显了在医疗应用中部署LLM所面临的关键挑战，为开发更具事实可靠性和医学感知能力模型提供了坚实的资源 。研究表明，当前LLM在精细化事实核查方面与人类专家仍有显著差距，且某些高级推理策略可能引入新的偏见 。

1. 引言 (Introduction)

1.1. 研究背景与核心问题 (Research Background & Problem Statement)

• 研究背景：大型语言模型（LLM）因其强大的自然语言处理能力，正越来越多地被应用于临床决策支持、病人评估、诊断等真实世界的医疗场景中 。然而，鉴于医疗信息的特殊性，错误信息可能导致严重伤害，因此LLM在医学领域的事实可靠性问题亟待深入研究 。

• 核心研究问题 (RQs)：现有用于评估LLM医疗事实核查能力的基准存在明显不足，例如VeriFact依赖于合成数据，MEDEC仅限于临床笔记这一单一文本类型，这导致它们无法全面反映真实世界医疗信息的多样性 。因此，本研究的核心问题是：如何构建一个覆盖广泛、设计严谨且数据无污染的基准，以全面、公正地评估LLM在处理真实、多样的中文医疗文本时的事实核查能力？这样的评估揭示了当前最先进模型的哪些具体优势和挑战？

• 核心研究问题是否是一个新的问题？ 是的。尽管存在其他医疗或事实核查基准，但本文提出的问题是新颖的，因为它专注于解决现有基准在真实世界多样性上的缺失。它首次尝试创建一个同时满足“广覆盖”（多专业、多文体、多错误类型）、“高质量”（专家深度参与）和“公平性”（避免训练数据污染）三大原则的医疗事实核查基准 。

1.2. 文献综述与研究缺口 (Literature Review & Research Gap)

• 现有研究的主要观点和不足：

  1. 医疗领域LLM应用：已有大量工作探索LLM在医疗领域的应用并进行微调以提升性能，如HuaTuo、HuatuoGPT等 。

  2. 医疗知识基准：现有基准如MedQA、HealthBench、MedXpertQA主要评估模型的医学知识问答能力，而非事实核查 。

  3. 通用事实性基准：如HaluEval和SimpleQA，虽然评估事实性，但缺乏医学领域的专业性和细微差别 。

• 研究缺口 (Gap)：本文明确指出了一个“双重缺口”：通用事实性基准缺乏领域特异性，而现有的医疗事实核查基准又缺乏真实世界的多样性 。MedFact的推出正是为了填补这一空白，旨在提供一个能够在多样化、真实的医疗文本上对LLM事实核查能力进行稳健评估的解决方案 。

1.3. 研究目标与核心假设/命题 (Objectives & Hypotheses/Propositions)

• 研究目标：

  1. 引入MedFact，一个专为中文医疗事实核查设计的新基准，其特点是构建严谨、覆盖广泛且数据无污染 。

  2. 对20个主流LLM进行综合评估，揭示其与人类专家在真实性分类和错误定位任务上的性能差距 。

  3. 深入分析模型行为，特别是高级推理策略（如多智能体协作）的影响，并识别出“过度批判”等关键问题 。

• 核心假设/命题：

  • H1: 在一个经过精心设计、充满真实世界复杂性的基准（MedFact）上，即使是最先进的LLM，其事实核查能力，特别是在精确定位错误方面，也将显著落后于人类医学专家。

  • H2: 一些旨在提升模型推理能力的先进策略（如多智能体辩论），在应用于事实核查任务时可能会引入意想不到的负面效应，例如产生“过度批判”的偏见，导致其在判断正确文本时准确率下降。

2. 研究设计与方法 (Methodology)

2.1. 研究范式与方法论 (Research Paradigm & Methodology)

• 研究范式：本研究属于基准构建与模型评估（Benchmark Creation and Model Evaluation），通过系统性的方法构建一个高质量的评估资源，并在此基础上进行大规模的实证研究。

• 具体研究思路/模型（MedFact构建流程）：

  • 论文中提到的解决方案之关键：其关键在于一个严谨的、多阶段、人机协同的数据集构建流程，旨在确保基准的质量、难度和多样性 。

    1. 多标准AI筛选：使用7个前沿LLM组成的“评审团”，通过多轮迭代和专家反馈，从27,116篇原始文本中筛选出6,405篇有价值的候选文本，排除了过于简单、过于深奥或格式不佳的内容 。

    2. 专业医生标注：由三名持证医生对筛选后的文本进行精细标注，包括：（a）真实性判断；（b）错误文本的具体错误范围；（c）提出修正建议 。

    3. 质量与难度增强：通过自动化技术进一步提纯数据，包括难例挖掘（移除所有模型都能正确分类的简单案例）、相似性过滤（确保主题多样性）和数据增强（通过LLM改写以保护隐私和增加语言多样性） 。

    4. 最终人工审核：医生团队进行最终审核，确保改写没有引入新错误且所有个人身份信息（PII）已被移除，最终产出2,116个实例 。

  • 跟之前的方法相比有什么特点和优势?

    • 真实性与多样性：与依赖合成数据或单一文本类型的基准相比，MedFact源于真实世界的多种来源（百科、咨询网站等），覆盖13个医学专科、8种错误类型和4种写作风格，更接近现实挑战 。

    • 挑战性：通过“难例挖掘”剔除了简单样本，确保了基准能够有效地区分不同模型的能力上限 。

    • 公正性：数据来源于专有文本，并经过改写，极大地降低了模型在预训练阶段接触过相同数据的风险，保证了评估的公平性 。

2.2. 数据来源与样本 (Data Source & Sample)

• 数据来源：初始语料库包含27,116篇中文医疗文本，通过与商业合作伙伴的数据共享协议获得，主要来自其内部医学百科和医学顾问平台 。

• 样本：最终的MedFact基准包含2,116个经过专家标注的实例，其中正确和不正确的文本数量相等（各1,058个） 。评估对象为20个LLM，包括8个开源模型和12个专有模型，同时设立了由三名医学专业人士组成的人类专家基线作为参照 。

2.3. 操作化与测量 (Operationalization & Measurement)

• 关键变量的定义与测量：

  • 真实性分类 (Veracity Classification, VC)：一个二元分类任务，评估模型判断文本正确与否的能力。“不正确”被视为正类，使用精确率、召回率和F1分数进行评估 。

  • 错误定位 (Error Localization, EL)：对于被正确分类为“不正确”的文本，评估模型精确定位错误文本片段的能力。只有当模型定位的错误范围与专家标注一致时，才算作真正例（True Positive） 。同样使用精确率、召回率和F1分数进行评估。

  • 评估裁判：由于EL任务的评估复杂性，研究采用了GPT-4o作为自动化裁判，并通过与人类专家的高度一致性（Cohen's Kappa = 0.87）验证了其可靠性 。

3. 结果与发现 (Results & Findings)

3.1. 主要发现概述 (Overview of Key Findings)

1. 模型与人类专家存在显著差距：所有被评估的LLM在事实核查任务上的表现都显著低于人类专家基线。特别是在更具挑战性的错误定位（EL）任务上，即使是表现最好的模型（XiaoYi with CoT），其F1分数（0.6858）也低于人类专家（0.7012） 。

2. 定位错误远难于发现错误：所有模型在EL任务上的表现均一致地差于VC任务 。这表明，模型或许能判断出文本“有问题”，但往往难以准确指出“问题在哪”，这种“知其然而不知其所以然”的现象揭示了其医学知识理解的浅薄 。

3. 高级推理策略引发“过度批判”：与能够有效提升性能的RAG技术不同，多智能体框架（MAD和MDAgents）在提高召回率的同时，显著牺牲了精确率 。这种“过度批判”现象，即模型倾向于将正确的文本也标记为错误，揭示了这些旨在增强推理的复杂策略可能引入新的、有害的偏见 。

4. 推理时间并非越长越好：通过“预算强制”（budget forcing）技术延长模型的推理时间，并未带来性能提升，反而加剧了“过度批判”现象，导致模型“脑补”出不存在的错误 。这表明，对于知识密集型任务，提升模型内在的医学知识比单纯增加推理的计算预算更为关键 。

5. 缺乏医学知识是模型失败的主因：对表现最好的模型的错误进行人工分析发现，超过76%的错误源于医学知识的缺乏，如概念混淆、依赖过时信息等 。

3.2. 关键数据与图表解读 (Interpretation of Key Data & Figures)

• 图表1：模型总体性能表 (Table 1)

  • 展示内容：该表格详细列出了20个模型在零样本（Zero-shot）和思维链（CoT）设置下，在VC和EL两个任务上的F1、精确率和召回率。

  • 揭示的关系：表格清晰地揭示了两大核心发现：（1）VC与EL的性能鸿沟：对于任何一个模型，其VC任务的F1分数都显著高于EL任务，直观地量化了“定位比发现更难”的挑战。（2）模型与人类的差距：表格顶部的人类专家F1分数为0.7012（EL任务），而所有模型的最佳表现是0.6858（XiaoYi with CoT），明确显示了当前AI与人类水平的差距 

• 图表2：不同推理策略的性能影响 (Table 2)

  • 展示内容：该表格对比了两个代表性模型（DeepSeek-R1和XiaoYi）在使用不同高级推理策略（MedPrompt, RAG, MAD, MDAgents）时的性能变化。

  • 揭示的关系：表格有力地支撑了“过度批判”的发现。RAG策略在所有指标上都带来了稳健的提升，尤其是RAG (top-3) 取得了最佳的F1分数 。相比之下，MAD和MDAgents策略导致精确率（Precision）大幅下降，而召回率（Recall）上升，最终F1分数持平或略有提升 。这清晰地表明了这两种策略是以牺牲“准确性”为代价来换取“检出率”的。

• 图表3：MedFact构建流程图 (Figure 1)

  • 展示内容：该图全面展示了从数据收集、多阶段筛选与标注、质量增强到最终数据分布的整个构建流程。

  • 揭示的关系：此图是理解本研究方法论严谨性的关键。它不仅是一个流程图，更展示了作者如何通过系统性设计来应对构建高质量基准的核心挑战：通过多标准过滤和难例挖掘确保难度，通过多源数据和相似性过滤确保多样性，通过专家深度参与确保质量，通过专有数据确保评估的公正性。

4. 讨论 (Discussion)

4.1. 结果的深度解读 (In-depth Interpretation of Results)

• 结果的意义：本研究的结果为在医疗领域应用LLM敲响了警钟。它揭示了即便在看似简单的“判断对错”任务背后，也隐藏着模型深层次的知识缺陷。“错误定位”任务的失败表明模型可能更多依赖表面线索而非真正的医学理解。而“过度批判”现象的发现尤为重要，因为它指出，试图让模型“更深入思考”的策略可能会适得其反，使其在需要高度可靠性的医疗场景中变得更加不可信。

• 回答研究问题：是的，研究结果有力地回答了引言中的核心问题。通过MedFact的评估，我们发现当前LLM在处理真实世界医疗文本时，精细化事实核查能力不足，并且一些看似先进的推理方法会引入新的问题，这为未来模型的研发指明了具体方向。

4.2. 理论贡献 (Theoretical Contributions)

• 对现有理论的贡献：

  1. 建立了一个高质量、多维度的新基准：MedFact本身是该研究对社区最主要的贡献。它提供了一个急需的工具，用于对中文医疗文本进行更真实、更具挑战性的事实核查评估 。

  2. 识别并命名了一个新的LLM失败模式：“过度批判”（over-criticism）的提出是对LLM行为学研究的一个贡献。它描述了一种在多智能体或长时推理情境下出现的特定偏见，丰富了我们对LLM失败模式（如幻觉、过度思考）的理解 。

• 对业界的影响：这项研究的结果对希望将LLM技术商业化应用于医疗领域的公司具有重要的指导意义。它强调了不能仅凭通用能力或问答任务上的高分就断定模型是“医疗级的”。必须进行针对性的、细粒度的风险评估，并且要警惕那些看似能提升智能，实则可能损害可靠性的“高级功能”。

4.3. 实践启示 (Practical Implications)

• 对模型开发者：应将研发重点从单纯提升通用推理能力，转向增强模型内在的、可验证的领域知识。结果表明，RAG是比多智能体辩论等更稳健的性能提升路径 。同时，错误定位能力的提升应成为未来模型优化的一个核心指标。

• 对临床应用部署者：在部署任何LLM辅助工具时，必须进行严格的、针对具体任务的验证。特别要注意模型将正确信息误判为错误的风险（即低精确率），因为这同样会破坏医生的信任，影响临床工作流。

4.4. 局限性与未来研究 (Limitations & Future Research)

• 研究的局限性（作者明确指出）：

  1. 语言和文化单一性：基准仅限于中文和中国的医疗环境，结论可能无法直接推广到其他语言和医疗体系 。

  2. 单一错误假设：为简化标注和评估，每个错误文本中只包含一个错误，这与现实世界中错误常多发、交织的情况有所不同 。

  3. 依赖LLM作为裁判：EL任务的评估依赖GPT-4o，可能存在LLM裁判自身的偏见 。

  4. 知识的静态性：基准是静态的，而医学知识在不断发展 。

• 未来研究方向：作者建议未来可以开发其他语言的平行基准，构建包含多个错误实例的数据集，并探索结合专家验证的混合评估框架 。

5. 结论 (Conclusion)

本文引入了MedFact，一个用于评估LLM在中文医疗文本中事实核查能力的新基准。通过一个细致的“AI-人工”混合流程构建，该数据集具有多样化、真实性和无污染的特点，能够深入探究模型对医学知识的理解 。对20个前沿LLM的综合评估显示，与人类专家相比，模型在性能上存在严重不足，尤其是在精确定位错误这一细粒度任务上 。此外，研究还揭示了LLM存在一种“过度批判”的失败模式，这严重降低了其精确性 。这些挑战凸显了在将LLM安全地部署于医疗应用之前，仍有大量工作需要完成，以确保其不仅知识渊博，而且在事实上足够可靠 。

6. 核心参考文献 (Core References)

• Chung, P., et al. (2025). VeriFact: Verifying Facts in LLM-Generated Clinical Text with Electronic Health Records.

  (论文中用于对比的、基于合成数据的医疗事实核查基准。)

• Abacha, A. B., et al. (2025). MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes.

  (论文中用于对比的、仅限于临床笔记的医疗错误检测基准。)

• Liang, T., et al. (2024). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate.

  (论文中评估的一种多智能体辩论框架（MAD），并分析了其“过度批判”的副作用。)

• Kim, Y., et al. (2024). MDAgents: An Adaptive Collaboration of LLMs for Medical Decision-Making.

  (论文中评估的另一种多智能体框架（MDAgents），同样揭示了其副作用。)

• Muennighoff, N., et al. (2025). s1: Simple test-time scaling.

  (论文中评估的一种推理时伸缩技术（预算强制），并分析了其负面影响。) 

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.