Digital Health Insider: CliMedBench：评估临床场景下中文医学大型语言模型的大规模基准

随着大型语言模型 (LLM) 在各个领域的普及，特别是在中文临床医学场景中，迫切需要统一的评估标准，因为在这些场景中，模型需要经过非常彻底的检查。我们提出了 CliMedBench，这是一个综合基准，包含 14 个专家指导的核心临床场景，专门设计用于评估 LLM 在 7 个关键维度上的医学能力。它包含 33,735 个问题，这些问题源自顶级三级医院的真实医学报告和真实的考试练习。该基准的可靠性已通过多种方式得到证实。随后使用现有 LLM 进行的实验得出以下发现：(i) 中文医学 LLM 在此基准测试中的表现不佳，尤其是在医学推理和事实一致性至关重要的情况下，这突显了在临床知识和诊断准确性方面需要改进。(ii) 一些通用领域 LLM 在医学临床中显示出巨大潜力，而许多医学 LLM 的有限输入能力阻碍了它们的实际应用。这些发现揭示了 LLM 在临床场景中的优势和局限性，并为医学研究提供了重要的见解。

1. 论文的研究目标、实际问题、科学假设及相关研究

论文的研究目标

研究目标：论文旨在提出一个名为CliMedBench的基准测试集，用于评估中文大型语言模型（LLMs）在临床场景下的医学能力。CliMedBench包含14个由专家指导的核心临床场景，覆盖7个关键评估维度。

想要解决的实际问题

实际问题：随着中文医疗LLMs（如华佗GPT、ChatMed等）的兴起，这些模型在医疗领域的应用潜力巨大，但缺乏统一、系统的评估标准来全面检验它们在临床场景下的性能。现有的评估基准大多基于开放教育资源，与真实医疗实践脱节，数据污染问题严重。

是否是一个新的问题

是。尽管已有一些医疗领域的基准测试集，如MedQA、MedMCQA等，但它们的数据来源主要是教科书、学术论文和资格考试，缺乏真实世界医疗案例的数据，无法准确反映临床实践的复杂性。

要验证的科学假设

科学假设：CliMedBench能够提供一个全面、真实、多维度的评估框架，有效揭示中文LLMs在临床场景下的优势和局限，从而推动医疗LLMs的发展和优化。

如何归类

归类：该研究属于自然语言处理（NLP）和医疗信息化交叉领域，专注于LLMs在医疗场景下的性能评估。

值得关注的研究员

值得关注的研究员：

Liang et al.：在论文中提到的灵感来源，其工作对医疗LLMs的评估有重要影响。
Zhang et al., Wang et al., Zhu and Wang：分别开发了华佗GPT、BenTsao和ChatMed等中文医疗LLMs，是该领域的重要研究者。

2. 论文提出的新思路、方法或模型

新思路

新思路：提出基于真实世界医疗案例的基准测试集CliMedBench，以全面、真实地评估中文LLMs在临床场景下的医学能力。

方法

方法：

数据收集：从顶级三甲医院的真实电子病历（EHRs）和医学指南、教科书、学术论文等资源中收集数据。
专家指导：医疗专家参与数据筛选、标注和验证，确保数据的质量和真实性。
问题生成：利用LLMs生成问题，并通过另一个LLM进行审计，最后由专家审核，确保问题的准确性和相关性。

解决方案之关键

关键：CliMedBench的数据全部来源于真实医疗案例，经过严格的数据清洗和专家审核，确保了数据的真实性和质量。同时，其基于“Who-What-How”的分类框架，全面覆盖了医疗实践的各个方面。

特点与优势

特点与优势：

真实性：数据全部来源于真实医疗案例，减少了数据污染的可能性。
全面性：覆盖了14个核心临床场景和7个评估维度，提供了多维度的评估框架。
实用性：提出的基于代理的计算机化自适应测试（CAT）方法，能够快速评估模型性能，降低测试成本。

3. 实验验证、实验设计、数据及结果

实验验证

实验验证：论文通过CliMedBench对11个代表性的LLMs（包括GPT系列、ChatGLM、ERNIE-Bot等）进行了全面评估，以验证所提出方法的有效性。

实验设计

实验设计：

数据集划分：CliMedBench包含33,735个问题，覆盖了14个核心临床场景。
评估指标：针对不同类型的问题（多项选择题、排序题、开放式生成题），采用准确率、Kendall’s τ、ROUGE-1等自动评价指标，并结合专家评估进行多维度评估。

实验数据及结果

实验数据及结果：

总体表现：中文医疗LLMs（如华佗GPT、BenTsao）在CliMedBench上的表现不佳，尤其是在医学推理和事实一致性方面。而一些通用领域的LLMs（如GPT-4、ERNIE-Bot）展现出了较强的潜力。
具体场景：在临床问答能力方面，Qwen表现最佳，平均准确率为88.7%；在推理能力方面，GPT-4和ERNIE-Bot表现突出，平均得分分别为75.1和73.3。
幻觉问题：所有评估模型在幻觉问题上均表现出显著的脆弱性，特别是在FIT数据集上，模型准确率从平均47.3下降到8.3。

关键数据：

GPT-4在临床问答能力上的平均准确率为87.8%，推理能力平均得分为75.1。
ERNIE-Bot在临床问答能力上的平均准确率为78.3%，推理能力平均得分为73.3。
华佗GPT在临床问答能力上的平均准确率为26.6%，推理能力平均得分为20.3。

是否支持科学假设

是否支持：实验结果充分支持了论文的科学假设，即CliMedBench能够提供一个全面、真实、多维度的评估框架，有效揭示中文LLMs在临床场景下的优势和局限。

4. 论文的贡献、业界影响、应用场景及商业机会

论文的贡献

贡献：

提出了CliMedBench，一个基于真实世界医疗案例的基准测试集，为中文LLMs在临床场景下的性能评估提供了新的标准。
通过全面评估11个代表性的LLMs，揭示了它们在医学推理、事实一致性等方面的优势和局限。
提出了基于代理的计算机化自适应测试（CAT）方法，能够快速评估模型性能，降低测试成本。

业界影响

业界影响：

CliMedBench将成为中文医疗LLMs性能评估的重要基准，推动该领域的发展。
研究结果将指导中文医疗LLMs的优化和改进，提升其在实际临床场景中的应用效果。

应用场景

应用场景：

临床诊断辅助：提供诊断建议和治疗方案，辅助医生进行决策。
医学教育：用于医学教育和培训，提高学生的临床思维能力。
医疗咨询：提供在线医疗咨询服务，解答患者的疑问。

商业机会

商业机会：

LLMs开发：开发更先进的中文医疗LLMs，满足医疗机构和患者的需求。
数据服务：提供CliMedBench数据集及相关服务，支持LLMs的训练和评估。
医疗信息化解决方案：结合CliMedBench和先进的LLMs，提供全面的医疗信息化解决方案。

工程师应关注的方面

工程师应关注的方面：

数据质量和真实性：确保训练数据的质量和真实性，是开发高性能LLMs的关键。
模型优化：针对CliMedBench揭示的模型局限，进行有针对性的优化和改进。
技术集成：将LLMs与现有的医疗信息系统进行集成，实现无缝对接和高效应用。

5. 未来研究方向和挑战

未来研究方向

未来研究方向：

提升医学推理能力：针对CliMedBench揭示的医学推理能力不足问题，研究新的模型架构和训练方法。
增强事实一致性：开发更有效的机制，确保LLMs生成的内容与医学事实一致。
多模态医疗诊断：探索LLMs在结合医学影像等多模态信息进行医疗诊断方面的应用。

挑战

挑战：

数据获取和处理：真实世界医疗案例的数据获取和处理难度较大，需要医疗专家和技术人员的紧密合作。
模型鲁棒性：提高LLMs对输入数据的鲁棒性，减少幻觉等问题的发生。
隐私保护：在利用真实医疗数据进行研究时，需要严格遵守隐私保护法规，确保患者和医疗人员的隐私安全。

可能催生的新技术和投资机会

可能催生的新技术和投资机会：

高级LLMs技术：如基于Transformer的更复杂模型架构、多模态融合技术等。
医疗信息化解决方案：结合LLMs的医疗信息化平台、智能诊断系统等。
数据服务：高质量的医疗数据集和相关服务将成为新的投资热点。

6. 论文的不足及需要进一步验证的问题

论文的不足

论文的不足：

数据噪声：尽管论文对数据进行了严格清洗和专家审核，但真实世界医疗案例中的数据噪声仍可能影响评估结果。
评估维度有限：尽管CliMedBench覆盖了7个评估维度，但仍可能遗漏一些重要的评估方面。
模型泛化能力：论文未对LLMs在CliMedBench上的泛化能力进行充分评估。

需要进一步验证的问题

需要进一步验证的问题：

LLMs在不同医疗场景下的性能差异：进一步验证LLMs在不同类型医疗场景下的性能表现，以指导模型优化。
长期效果评估：对LLMs在临床实践中的长期效果进行跟踪评估，以验证其实际应用价值。
跨语言基准测试：探索建立跨语言的医疗LLMs基准测试集，以推动全球医疗信息化的发展。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

CliMedBench：评估临床场景下中文医学大型语言模型的大规模基准