若干研究表明，大语言模型（LLM）可以正确回答医学问题，甚至在一些医学考试中表现优于人类平均水平。然而，截至目前我们尚未发现有研究评估语言模型在验证现有或生成医学文本的正确性和一致性方面的能力。在本文中，我们介绍了 MEDEC1，这是首个公开可用的临床记录医疗错误检测与纠正基准测试，涵盖五种类型的错误（诊断、处理、治疗、药物疗法和病原体）。MEDEC 包含 3,848 个临床文本，包含来自三个美国医院系统的 488 份此前未被任何大语言模型见过的临床记录。该数据集已用于 MEDIQA-CORR 共享任务，以评估十七个参与系统 [Ben Abacha et al., 2024]。在本文中，我们描述了数据创建方法，并评估了最新的大语言模型（例如，o1-preview、GPT-4、Claude 3.5 Sonnet 和 Gemini 2.0 Flash）在检测和纠正需要医学知识和推理能力的医疗错误的任务中表现。我们还进行了一项对比研究，由两位医学博士在 MEDEC 测试集上执行相同任务。结果表明，MEDEC 是一个充分且具有挑战性的基准，可以评估模型验证现有或生成记录以及纠正医疗错误的能力。我们还发现，尽管最新的大语言模型在错误检测和纠正方面表现出良好的性能，但它们在这些任务中仍然不如医学博士。我们探讨了该差距背后的潜在因素、实验所得出的见解、当前评估指标的局限性，并分享了未来研究的可能方向。

1. 论文的研究目标与背景

这篇论文的题目是 MEDEC: A BENCHMARK FOR MEDICAL ERROR DETECTION AND CORRECTION IN CLINICAL NOTES (MEDEC：临床记录中医疗错误检测与纠正的基准)。从标题可以看出，论文的核心是构建并发布一个用于评估医疗文本中错误检测与纠正能力的基准数据集 MEDEC。

1.1 研究目标与实际问题

论文明确指出，尽管大型语言模型 (Large Language Models, LLMs) 在回答医学问题方面表现出色，甚至在某些医学考试中超越了人类的平均水平，但目前缺乏评估 LLMs 验证现有或生成的医疗文本的正确性和一致性的研究。

Several studies showed that Large Language Models (LLMs) can answer medical questions correctly, even outperforming the average human score in some medical exams. However, to our knowledge, no study has been conducted to assess the ability of language models to validate existing or generated medical text for correctness and consistency.

这意味着，虽然 LLMs 能够生成看似合理的医疗文本，但我们并不知道它们是否有能力识别并纠正其中潜在的错误。这在医疗领域至关重要，因为医疗文本的准确性直接关系到患者的安全和治疗效果。

论文想要解决的实际问题是：如何系统地评估 LLMs 在医疗领域识别和纠正错误的能力？

1.2 问题的新颖性与相关研究

这是一个相对较新的问题。虽然之前已经有一些关于 LLMs 在医疗领域应用的研究，例如医学问答、临床诊断等，但专注于错误检测与纠正的公开基准数据集非常稀少。作者明确声明 MEDEC 是第一个公开可用的用于医疗记录错误检测和纠正的基准。

In this paper, we introduce MEDEC¹, the first publicly available benchmark for medical error detection and correction in clinical notes, covering five types of errors (Diagnosis, Management, Treatment, Pharmacotherapy, and Causal Organism).

论文在引言部分也提到了背景：

患者报告临床记录错误的情况并不少见，且错误可能很严重。

A survey study from US health care organizations showed that 1 in 5 patients who read a clinical note reported finding a mistake and 40% perceived the mistake as serious, with the most common category of mistakes being related to current or past diagnoses [Bell et al., 2020].

LLMs 在医疗文档生成方面应用越来越广泛，但其生成幻觉 (hallucinations) 或不正确信息的潜在风险是阻碍其广泛应用的主要障碍之一。

However, one of the main obstacles in adopting LLMs in medical documentation tasks is their potential to generate hallucinations or incorrect information [Tang et al., 2023] and harmful content that might alter clinical decision making [Chen et al., 2024].

这强调了构建可靠的错误检测与纠正机制的重要性。

论文的 Related Work (相关研究) 部分回顾了一些与文本一致性评估相关的研究，例如：

Jang et al. (2022) 提出了一个用于评估预训练语言模型一致性的基准，涵盖语义、逻辑和事实一致性。

Jang and Lukasiewicz (2023) 评估了 ChatGPT 和 GPT-4 在语义一致性方面的表现。

还有一些研究评估了 LLMs 在医学问答、医学考试等方面的准确性和可靠性。

这些研究表明，尽管 LLMs 在理解和生成文本方面取得了显著进展，但在保证文本的一致性和正确性方面仍然存在挑战，特别是在需要专业知识的医疗领域。

如何归类？ 这篇论文可以归类为自然语言处理 (Natural Language Processing, NLP) 领域，更具体地说是 医疗自然语言处理 (Medical NLP) 的研究。它专注于构建资源和评估方法，以提升 LLMs 在医疗领域的可靠性。

领域内值得关注的研究员？ 通过阅读论文的作者列表和引用的文献，可以关注以下研究员：

Asma Ben Abacha: 论文的第一作者和通讯作者，在医疗 NLP 领域有较多研究成果，尤其是在医疗文本的生成和评估方面。

Wen-wai Yim, Yujuan Fu, Zhaoyi Sun, Meliha Yetisgen, Fei Xia, Thomas Lin: 论文的其他作者，分别来自微软和华盛顿大学，在医疗信息化和人工智能领域有丰富的经验。

引用的文献中出现的 Jang, Lukasiewicz 等研究员在语言模型一致性评估方面有深入研究。

1.3 科学假设

这篇文章要验证的科学假设可以概括为：当前的先进 LLMs 在医疗记录的错误检测和纠正任务中，其表现与领域专家（医生）相比仍存在差距，并且可以通过专门构建的基准数据集进行有效评估。

2. 论文提出的方法与模型

论文的核心贡献是提出了一个新的基准数据集 MEDEC。这个数据集的构建思路和方法是论文的关键。

2.1 MEDEC 数据集的构建

MEDEC 数据集包含 3,848 条临床文本，涵盖了五种类型的医疗错误：

Diagnosis (诊断): 提供的诊断不准确。

Management (管理): 后续的管理步骤不准确。

Treatment (治疗): 推荐的治疗方案不准确。

Pharmacotherapy (药物治疗): 推荐的药物治疗不准确。

Causal Organism (病原体): 指示的病原体不准确。

数据集的构建采用了两种主要方法：

Data Creation Method #1 (MS): 利用 MedQA 集合中的医学委员会考试题。医学专家将错误的答案注入到题干描述的病例中，生成包含错误的文本。同时，保留包含正确答案的版本作为参考。

In this method, we leverage medical board exams from the MedQA collection [Jin et al., 2020]. Four annotators with medical backgrounds used the medical narratives and multiple choice questions in these exams to inject a wrong answer into the scenario text, after checking the original questions and answers and excluding QA pairs containing errors or ambiguous information.

例如，下图展示了如何通过注入错误的 "Pin sleeve to the shirt" 来创建一个包含错误的 Management 类型的文本。

Initial Question and Correct/Incorrest Answers
Question	A 4670-g (10-lb 5-oz) male newborn is delivered at term to a
			26-year-old woman after prolonged labor. Apgar scores are 9
			and 9 at 1 and 5 minutes. Examination in the delivery room
			shows swelling, tenderness, and crepitus over the left
			clavicle. There is decreased movement of the left upper
			extremity. Movement of the hands and wrists are normal. A
			grasping reflex is normal in both hands. An asymmetric Moro
			reflex is present. The remainder of the examination shows
			no abnormalities and an anteroposterior x-ray confirms the
			diagnosis. Which of the following is the most appropriate
			next step in management?
Options	{'A': 'Nerve conduction study', 'B': 'Surgical fixation', 'C':
			'Physical therapy', 'D': 'Pin sleeve to the shirt', 'E': 'Splinting
			of the arm', 'F': 'MRI of the clavicle'}
Answer	D

Generated Text with Correct Answer
Scenario
with
Answer at
the End
	A 4670-g (10-lb 5-oz) male newborn is delivered at term to a 26-year-old woman after
	prolonged labor. Apgar scores are 9 and 9 at 1 and 5 minutes. Examination in the delivery
	room shows swelling, tenderness, and crepitus over the left clavicle. There is decreased
	movement of the left upper extremity. Movement of the hands and wrists are normal. A
	grasping reflex is normal in both hands. An asymmetric Moro reflex is present. The
	remainder of the examination shows no abnormalities and an anteroposterior x-ray
	confirms the diagnosis. They pinned the left sleeve to patient's shirt to allow proper
	healing.
Scenario
with
Answer in
the
Middle
	A 4670-g (10-lb 5-oz) male newborn is delivered at term to a 26-year-old woman after
	prolonged labor. Apgar scores are 9 and 9 at 1 and 5 minutes. Examination in the delivery
	room shows swelling, tenderness, and crepitus over the left clavicle. There is decreased
	movement of the left upper extremity. Left sleeve was pinned to allow proper healing.
	Movement of the hands and wrists are normal. A grasping reflex is normal in both hands.
	An asymmetric Moro reflex is present. The remainder of the examination shows no
	abnormalities and an anteroposterior x-ray confirms the diagnosis.
Type	Management
Specialty	Pediatrics

<center>Figure 2: Method #1 的示例</center>

Data Creation Method #2 (UW): 使用了来自华盛顿大学医院系统的真实临床记录。由医学专业的学生手动在这些记录中引入错误。引入的错误需要与记录中的其他信息相矛盾，并由注释者提供错误理由。

We used a database of real clinical notes between 2009 and 2021 from three University of Washington (UW) hospital systems... A team of four medical students manually introduced errors into 244 of these notes. Initially, each note was marked with several candidate entities identified as Unified Medical Language System (UMLS) 3 concepts by QuickUMLS 4. An annotator either selected a concise medical entity from these candidates or created a new span. This span was then labeled with one of the five error types. The annotator then replaced this span with an erroneous version using similar but distinct concepts, crafted by the annotators themselves or provided by a SNOMED- and LLM-based method.

数据集被划分为训练集、验证集和测试集，其中一部分数据需要签署数据使用协议才能访问。

2.2 解决方案之关键：错误检测与纠正任务

论文将医疗错误检测与纠正过程分解为三个子任务：

Subtask A: Predicting the error flag (预测错误标记): 判断文本是否包含错误（0 表示没有错误，1 表示包含错误）。

Subtask B: Extracting the sentence that contains the error (提取包含错误的句子): 如果文本包含错误，则提取包含错误的句子的 ID。

Subtask C: Generating a corrected sentence for flagged texts with errors (生成纠正后的句子): 如果文本包含错误，则生成纠正后的句子。

2.3 与之前方法的比较及特点与优势

MEDEC 数据集的主要创新点和优势在于：

专注于医疗领域的错误检测与纠正： 之前的研究更多关注通用领域或特定任务（如问答）中的一致性问题，而 MEDEC 专门针对临床记录中的医疗错误。

覆盖多种错误类型： MEDEC 涵盖了诊断、管理、治疗、药物治疗和病原体五种常见的医疗错误类型，使其更具代表性和实用性。

结合了模拟和真实数据： MEDEC 数据集既包含了通过医学考试题构建的模拟错误，也包含了基于真实临床记录引入的错误，使其更具挑战性和真实性。

公开可用性： MEDEC 是首个公开可用的此类基准数据集，方便研究人员进行比较和复现。

3. 实验设计、数据与结果

为了验证 MEDEC 数据集的有效性并评估 LLMs 的性能，作者进行了一系列实验。

3.1 实验设计

作者选择了多个近期发布的、具有代表性的 开源 LLMs 进行评估，包括不同规模的模型：

Small Language Models (小型语言模型): Phi-3-7B, GPT-4o-mini

Large Language Models (大型语言模型): ol-mini, Claude 3.5 Sonnet, Gemini 2.0 Flash, ChatGPT, GPT-4o, GPT-4, ol-preview

对于每个模型，作者使用了两种不同的 prompt (提示) 来指导模型完成错误检测和纠正任务：

P#1: 一个简洁的提示，告知模型这是一段医疗叙述，需要检查是否存在错误，并返回错误句子的 ID 和纠正后的内容。

The following is a medical narrative about a patient. You are a skilled medical doctor reviewing the clinical text. The text is either correct or contains one error. The text has one sentence per line. Each line starts with the sentence ID, followed by a pipe character then the sentence to check. Check every sentence of the text. If the text is correct return the following output: CORRECT. If the text has a medical error related to treatment, management, cause, or diagnosis, return the sentence id of the sentence containing the error, followed by a space, and then a corrected version of the sentence. Finding and correcting the error requires medical knowledge and reasoning.

P#2: 与 P#1 类似，但包含一个从训练集中随机选择的输入输出示例，以帮助模型理解任务。

Similar to the first prompt, but includes an example of input and output, randomly selected from the training set...

此外，作者还邀请了两位医学博士 (Medical Doctors) 在 MEDEC 测试集上执行相同的错误检测和纠正任务，作为人类专家水平的参考。

3.2 实验数据与结果

论文使用了多种评估指标 (Evaluation Metrics) 来衡量模型的性能：

Error Detection (错误检测):

Accuracy for Error Flag Prediction (错误标记预测准确率): 衡量模型判断文本是否包含错误的准确程度。

Accuracy for Error Sentence Detection (错误句子检测准确率): 衡量模型正确识别包含错误的句子的准确程度。

Recall (召回率): 针对每种错误类型，衡量模型正确识别出所有该类型错误的比例。

Error Correction (错误纠正):

ROUGE-1: 一种常用的文本摘要评估指标，衡量生成文本与参考文本之间 unigram 的重叠程度。

BLEURT: 一种基于 Transformer 的评估指标，能够更好地捕捉语义相似性。

BERTScore: 另一种基于 Transformer 的评估指标，使用预训练的 BERT 模型计算词语之间的相似度。

Aggregate Score (综合评分): ROUGE-1, BLEURT 和 BERTScore 的平均值。

实验结果汇总在 Table 2 和 Table 3 中。关键结果如下：

在错误检测方面，Claude 3.5 Sonnet 模型表现最佳，错误标记预测准确率达到 70.16%，错误句子检测准确率达到 65.62%。但即使是表现最好的模型，其准确率也低于两位医学博士的水平（分别为 79.61% 和 71.61% 的错误标记预测准确率，以及 65.88% 和 66.77% 的错误句子检测准确率）。

在错误纠正方面，ol-preview 模型取得了最佳的综合评分 (0.6976)，显著高于其他模型。但其表现仍然低于医学博士 #2 (0.7118)。

使用包含示例的提示 (P#2) 通常可以提升模型的纠正性能。

在不同类型的错误上，模型的表现存在差异。Table 4 展示了针对每种错误类型的召回率和纠正得分。

在 MEDEC 数据集的不同子集上，模型的表现也有所不同，这可能与数据集的构建方式和数据来源有关。

Table 2 presents the results of the manual annotation performed by the medical doctors and the results of several recent LLMs using the two prompts described above. Claude 3.5 Sonnet outperformed the other LLM-based methods in error flag detection with 70.16% Accuracy and in error sentence detection with 65.62% Accuracy.

In error correction, o1-preview achieved the best Aggregate Score of 0.698, substantially ahead of the second model, GPT-4 [P#2], with 0.639 Aggregate Score.

3.3 实验是否支持科学假设？

实验结果有力地支持了论文的科学假设：

LLMs 在医疗记录的错误检测和纠正任务中，其表现与领域专家（医生）相比仍存在差距。 实验数据清晰地表明，尽管先进的 LLMs 在这项任务上取得了不错的成绩，但仍然明显落后于医学博士。

可以通过专门构建的基准数据集进行有效评估。 MEDEC 数据集成功地揭示了不同 LLMs 在这项任务上的性能差异，并为未来的研究提供了评估标准。

4. 论文的贡献与影响

这篇论文的主要贡献在于构建并公开发布了 MEDEC 基准数据集，这是首个专门用于评估医疗记录错误检测与纠正能力的公开数据集。

4.1 论文的贡献

具体来说，论文的贡献包括：

提出了一个具有挑战性的新任务： 将医疗记录的错误检测和纠正问题明确定义为一个可评估的任务。

构建了一个高质量的基准数据集： MEDEC 数据集覆盖多种错误类型，结合了模拟和真实数据，并通过人工审核保证了质量。

评估了当前先进 LLMs 的性能： 通过实验，论文揭示了 LLMs 在这项任务上的优势和不足，为后续研究提供了参考。

提供了人类专家水平的参考： 通过与医学博士的比较，更清晰地了解了当前 AI 技术的局限性以及未来的提升方向。

4.2 论文对业界的影响与潜在应用

MEDEC 数据集的发布将对医疗 AI 领域产生深远的影响：

促进相关技术的发展： MEDEC 为研究人员提供了一个标准的评估平台，可以促进针对医疗错误检测与纠正技术的进一步研究和开发。

提升医疗 AI 系统的可靠性： 通过在 MEDEC 上进行训练和评估，可以开发出更可靠的医疗 AI 系统，减少因错误信息导致的医疗风险。

推动 LLMs 在医疗领域的安全应用： 提高 LLMs 识别和纠正自身生成错误的能力，使其更安全地应用于医疗文档生成、辅助诊断等场景。

潜在的应用场景和商业机会包括：

临床决策支持系统： 利用错误检测技术，辅助医生审核病历，减少人为错误。

医疗文档自动校对工具： 帮助医护人员快速发现并纠正电子病历中的错误。

LLM 驱动的医疗信息生成系统的质量控制： 评估和改进 LLMs 生成的医疗文本的准确性。

医学教育和培训： 利用 MEDEC 数据集训练医学学生识别和纠正医疗错误的能力。

4.3 作为工程师应该关注的方面

作为对医疗、医疗信息化及人工智能技术有极大兴趣的工程师，你应该关注以下方面：

MEDEC 数据集的细节： 深入了解数据集的构建方法、错误类型分布等，思考如何利用这个数据集进行模型训练和评估。

当前 LLMs 在该任务上的表现： 关注哪些模型表现较好，哪些方面仍有不足，思考如何改进现有模型或开发新的方法。

评估指标的局限性： 了解当前用于评估文本生成质量的指标的优缺点，思考如何设计更适合医疗文本的评估方法。

人类专家与 AI 的差距： 思考造成这种差距的原因，例如医学知识的深度、推理能力、常识理解等，并探索如何弥补这些差距。

潜在的应用场景和商业机会： 结合自身技术背景，思考如何将这项技术应用于实际的医疗场景，并探索潜在的商业模式。

5. 未来值得探索的问题与挑战

论文在结论和讨论部分也提及了未来值得进一步探索的问题和挑战：

更全面的错误类型覆盖： MEDEC 目前只覆盖了五种类型的错误，未来可以扩展到更多类型的医疗错误，例如用药剂量错误、检查结果解读错误等。

更大规模的数据集： 虽然 MEDEC 是一个有价值的基准，但更大的数据集可以更好地训练和评估模型。

更精细的错误标注： 目前的标注只标记了包含错误的句子，未来可以提供更精细的错误位置和类型标注。

更强大的模型和方法： 探索更先进的 LLMs 架构、微调策略和专门针对医疗错误的检测与纠正方法。

更有效的评估指标： 开发更能够反映医疗文本质量和安全性的评估指标。

结合外部知识： 探索如何将医学知识库、指南等外部知识融入到模型中，提高其错误检测和纠正能力。

处理更复杂的临床文本： MEDEC 目前主要关注结构化的临床记录片段，未来可以扩展到更复杂的、非结构化的临床叙述。

这些挑战也蕴藏着新的技术和投资机会，例如：

开发更强大的医疗 NLP 基础模型。

构建更智能的医疗质量控制和审核平台。

针对特定医疗领域的错误检测与纠正工具。

提供基于 AI 的医学教育和培训解决方案。

6. 论文的不足与缺失

从 critical thinking 的视角来看，这篇论文也存在一些不足和缺失：

数据集的偏差： MEDEC 数据集的构建方法可能引入偏差。例如，Method #1 使用医学考试题，其语言风格和错误类型可能与真实临床记录有所不同。Method #2 中由学生引入的错误也可能与医生犯的错误有所差异。

评估指标的局限性： 论文使用的评估指标主要关注文本的字面相似度或语义相似度，可能无法完全捕捉医疗错误的严重性和临床意义。例如，将 "高血压" 错误地纠正为 "低血压" 在语义上可能仍然相似，但在临床上却是严重的错误。

模型的泛化能力： 论文评估的模型都是通用的 LLMs，可能没有针对医疗领域进行充分的预训练或微调。未来可以探索使用专门的医疗语言模型进行评估。

错误纠正的粒度： 论文要求模型生成纠正后的整个句子，但有时只需要纠正句子中的一个词或短语。更细粒度的纠正可能更实用。

缺乏对错误原因的分析： 论文主要关注错误检测和纠正的结果，但没有深入分析模型犯错的原因，这对于改进模型至关重要。

Inter-annotator agreement (注释者间一致性) 的信息不足： 论文提到了数据标注过程，但没有提供关于注释者之间对于错误判断和纠正的一致性程度的信息，这会影响数据集的可靠性评估。

需要进一步验证和存疑的点：

MEDEC 数据集能否代表所有类型的医疗错误？

基于通用 LLMs 的实验结果是否能推广到专门的医疗语言模型？

当前的评估指标是否足以衡量医疗错误检测与纠正的有效性？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

Digital Health Insider

MEDEC：临床记录医疗错误检测与纠正基准测试