Digital Health Insider

MedQA-CS：基于 AI-SCE 框架的大型语言模型临床技能基准测试

医疗保健中的人工智能 (AI) 和大型语言模型 (LLM) 需要先进的临床技能 (CS)，但目前的基准测试无法全面评估这些技能。我们引入了 MedQA-CS，这是一个受医学教育中的客观结构化临床考试 (OSCE) 启发的 AI-SCE 框架，旨在弥合这一差距。MedQA-CS 通过两个指令遵循任务（LLM 作为医学生和 LLM 作为 CS 考官）来评估 LLM，这些任务旨在反映真实的临床场景。我们的贡献包括开发 MedQA-CS（一个具有公开可用数据和专家注释的综合评估框架），以及提供 LLM 作为 CS 评估中可靠评判者的定量和定性评估。我们的实验表明，MedQA-CS 是一个比传统的单项选择 QA 基准测试（例如，MedQA）更具挑战性的临床技能评估基准。结合现有的基准测试，MedQA-CS 能够更全面地评估 LLM 的临床能力，适用于开源和闭源 LLM。

1. 论文的研究目标及产业意义

1.1 研究目标及实际问题:

论文的目标是开发一个能够全面评估 LLMs 临床技能的基准测试框架。其想要解决的实际问题是：现有的临床 LLM 基准测试主要关注医学知识，缺乏对实际临床技能的评估，而这些技能在现实世界的医疗应用中至关重要。

1.2 问题的新颖性及重要意义:

现有的临床 LLM 基准测试大多采用多项选择题 (MCQ) 的形式，主要评估 LLMs 的“知道”和“知道如何”的能力，而忽略了“展示如何”的能力，即在模拟临床场景中实际运用临床技能的能力。

MedQA-CS 试图通过借鉴 OSCE 的设计理念，将临床技能评估从基于知识转向基于技能，更全面地评估 LLMs 在现实世界中的应用潜力。其意义在于：

更准确地评估 LLMs 的临床能力: MedQA-CS 通过模拟真实临床场景，能够更准确地评估 LLMs 的诊断能力、沟通能力、问诊技巧和专业素养。

促进更强大的临床 LLMs 的开发: MedQA-CS 为 LLMs 的临床技能评估提供了一个标准化框架，将推动更强大、更可靠的临床 LLMs 的开发。

提高医疗 AI 系统的安全性: 通过更全面地评估 LLMs 的临床技能，MedQA-CS 有助于提高医疗 AI 系统的安全性，降低其在现实应用中可能带来的风险。

2. 论文提出的新思路、方法或模型

2.1 新思路和方法:

MedQA-CS 的核心思路是将 OSCE 的结构化评估方法 应用于 LLMs 的临床技能评估，并通过 指令跟随任务 来模拟真实的临床场景。

AI-SCE 框架: MedQA-CS 借鉴 OSCE 的设计理念，将临床技能评估分为多个阶段，包括信息收集、体格检查、总结、诊断等，每个阶段都有明确的评估标准。

指令跟随任务: MedQA-CS 使用指令跟随任务来模拟真实的临床场景，例如，要求 LLMs 模拟医生询问患者病史、进行体格检查、解释诊断结果等。

LLM-as-medical-student (MedStuLLM): LLM 扮演医学生的角色，完成各种临床任务，并接受 MedExamLLM 的评估。

LLM-as-CS-examiner (MedExamLLM): LLM 扮演临床技能考官的角色，评估 MedStuLLM 的表现，并提供评分和反馈。

2.2 关键解决方案:

MedQA-CS 的关键解决方案在于其 模拟真实临床场景 和 使用 LLM 作为评估者 的能力。通过将 OSCE 的评估方法与 LLMs 相结合，MedQA-CS 能够更全面、更客观地评估 LLMs 的临床技能。

2.3 与先前方法的优势:

与传统的 MCQ 基准测试相比，MedQA-CS 的优势在于：

更全面: MedQA-CS 评估的技能范围更广，包括问诊技巧、沟通能力、诊断能力和专业素养。

更真实: MedQA-CS 的指令跟随任务模拟了真实的临床场景，更能反映 LLMs 在现实世界中的应用能力。

更客观: MedQA-CS 使用 LLM 作为评估者，避免了人为因素的影响，使评估结果更加客观。

3. 论文的实验验证

3.1 实验目标:

论文通过实验验证了 MedQA-CS 框架的可靠性和有效性，并将其与传统的 MCQ 基准测试进行了比较。

3.2 实验设计:

论文使用 USMLE Step 2 CS 考试指南和案例作为基础，构建了 MedQA-CS 数据集，其中包含 1667 个数据点，涵盖信息收集、体格检查、总结和诊断四个部分。

论文使用 GPT-4、GPT-4o、GPT-3.5、Claude 系列以及一些开源的 LLMs 作为 MedStuLLM 和 MedExamLLM，并使用 Pearson 相关系数、Kendall’s τ 和 Kendall’s W 来评估专家之间的评分一致性。

3.3 实验数据和结果:

实验结果表明：

MedQA-CS 比传统的 MCQ 基准测试更具挑战性: LLMs 在 MedQA-CS 上的得分显著低于其在 MedQA 等传统基准测试上的得分，表明 MedQA-CS 对 LLMs 的临床技能提出了更高的要求。

LLM-as-Judge 框架在评估临床技能方面具有潜力: GPT-4 作为 MedExamLLM 在评估 MedStuLLM (GPT-4) 的表现时，与专家的评分具有高度一致性，表明 LLM-as-Judge 框架在评估临床技能方面具有潜力。

领域自适应训练对 LLMs 临床技能的负面影响: 针对特定领域的适应性训练会导致 LLMs 在跟随临床指令方面的能力下降，这可能是由于灾难性遗忘造成的。

人类偏好对齐训练对 LLMs 临床技能的正面影响: 与人类偏好对齐的训练能够提高 LLMs 跟随复杂临床指令的能力，即使没有进行特定领域的适应性训练。

"Our experiments show that MedQA-CS is a more challenging benchmark for evaluating clinical skills than traditional multiple-choice QA benchmarks (e.g., MedQA)."

3.4 对科学假设的支持:

论文的实验结果支持了其科学假设，即 OSCE 的结构化评估方法可以有效地应用于 LLMs 的临床技能评估，并且 LLM-as-Judge 框架具有潜力。

4. 论文的贡献和影响

4.1 论文的贡献:

提出了 MedQA-CS，一个受 OSCE 启发的 AI-SCE 框架，用于评估 LLMs 的临床技能。

构建了 MedQA-CS 数据集，并公开了数据、代码和标注。

通过实验验证了 MedQA-CS 的可靠性和有效性，并将其与传统的 MCQ 基准测试进行了比较。

探索了领域自适应训练和人类偏好对齐训练对 LLMs 临床技能的影响。

量化和定性地评估了 LLMs 作为临床技能评估者的可靠性。

4.2 对业界的影响:

MedQA-CS 的研究成果将对 AI 领域和医疗行业产生深远影响：

推动临床 LLMs 的发展: MedQA-CS 为 LLMs 的临床技能评估提供了一个标准化框架，将推动更强大、更可靠的临床 LLMs 的开发。

促进医疗 AI 系统的透明度和可解释性: MedQA-CS 的指令跟随任务要求 LLMs 提供推理步骤和解释，有利于提高医疗 AI 系统的透明度和可解释性。

提高医疗 AI 系统的安全性: 通过更全面地评估 LLMs 的临床技能，MedQA-CS 有助于提高医疗 AI 系统的安全性，降低其在现实应用中可能带来的风险。

4.3 潜在的应用场景和商业机会:

MedQA-CS 的潜在应用场景包括：

评估和比较不同的临床 LLMs 的性能。

指导临床 LLMs 的开发和训练。

作为医疗 AI 系统的一部分，提供临床决策支持。

其潜在的商业机会包括：

开发基于 MedQA-CS 的临床 LLM 评估平台。

提供基于 MedQA-CS 的临床 LLM 训练服务。

将 MedQA-CS 集成到现有的医疗 AI 系统中。

4.4 工程师应该关注的方面:

作为工程师，你应该关注以下方面：

LLMs 的临床技能: 了解 LLMs 在临床场景中的应用能力和局限性。

AI-SCE 框架: 学习如何设计和实现 AI-SCE 框架，以及如何将其应用于 LLMs 的评估。

指令跟随技术: 掌握如何使用指令跟随技术来模拟真实的临床场景。

医疗数据安全和隐私: 了解医疗数据安全和隐私的相关法规和技术，确保 AI 系统的合规性和安全性。

5. 未来研究方向和挑战

5.1 值得进一步探索的问题和挑战:

扩大数据集规模和多样性: MedQA-CS 数据集目前主要基于 USMLE Step 2 CS 考试，需要扩大数据集规模，并涵盖更多样化的临床场景和疾病类型。

开发更精细的评估指标: MedQA-CS 目前的评估指标主要基于人工评分，需要开发更精细、更自动化的评估指标，例如，基于医学知识图谱的语义相似度评估。

探索多模态信息融合: 将文本信息与其他模态信息（例如医学影像、病理切片等）融合，构建更全面的临床场景，并评估 LLMs 对多模态信息的理解和推理能力。

研究 LLMs 的伦理和社会影响: 随着临床 LLMs 的发展，需要深入研究其伦理和社会影响，例如，如何确保算法公平性、透明度和可解释性，以及如何避免 AI 系统对医生的过度依赖。

5.2 新的技术和投资机会:

联邦学习: 可以利用联邦学习技术在保护患者隐私的前提下，使用来自多个医疗机构的数据训练临床 LLMs，提高其泛化能力。

可解释 AI: 可以开发可解释 AI 技术来解释 LLMs 的临床决策过程，提高其透明度和可信度。

多语言支持: 可以扩展 MedQA-CS 的语言支持，使其能够评估不同语言的临床 LLMs。

6. 论文的不足和缺失

6.1 不足和缺失:

数据集规模有限: MedQA-CS 数据集的规模相对较小，可能无法完全反映真实世界临床场景的复杂性和多样性。

缺乏对模型偏差的深入分析: 论文没有对模型偏差进行深入分析，无法排除模型在生成诊断结果时可能存在的潜在偏差。

缺乏对模型安全性的评估: 论文没有对模型安全性进行评估，无法保证模型在面对对抗性攻击时的鲁棒性。

6.2 需要进一步验证和存疑的:

MedQA-CS 在不同临床环境中的适用性。

MedQA-CS 对医护人员工作流程和患者预后的影响。

MedQA-CS 的经济效益。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

DEFINE：利用因素概况和类比推理增强大型语言模型 (LLM) 的决策能力

大型语言模型 (LLM) 在理解复杂情况和识别关键因素方面表现出卓越的能力。然而，在处理描述复杂场景的口语语音转录本时，会出现挑战。这些转录本通常包含不符合语法或不完整的句子、重复、闪烁其词和模糊不清的内容。例如，在公司的业绩说明会上，尽管未来收益存在很大的不确定性，但高管可能会预测积极的收入前景，以安抚投资者。对于 LLM 来说，在做出决策时系统地纳入这种不确定性至关重要。在本文中，我们介绍了 DEFINE，这是一个从复杂场景中构建概率因素概况的新框架。然后，DEFINE 将这些概况与类比推理相结合，利用来自类似过去经验的见解来指导 LLM 在新情况下做出关键决策。我们的框架将量化复杂场景中的不确定性和将其纳入 LLM 决策的任务分开。这种方法在诸如医疗咨询、谈判和政治辩论等领域特别有用，在这些领域中，在不确定性下做出决策至关重要。

1. 论文的研究目标及产业意义

1.1 研究目标及实际问题:

这篇论文的目标是解决 LLMs 在处理描述复杂场景的口语文本时所面临的挑战，例如公司财报电话会议记录。这些文本通常包含语法错误、句子不完整、重复、模糊和不确定性。论文希望通过 DEFINE 框架，让 LLMs 能够系统地将这些不确定性纳入决策过程，提高决策的可靠性和有效性。

1.2 问题的新颖性及重要意义:

虽然 LLMs 在推理方面取得了进展，但现有的研究大多集中在处理简单的推理任务。将 LLMs 应用于复杂、高风险的现实场景，例如金融投资决策，仍然存在着巨大的挑战。DEFINE 框架试图解决的是一个新兴且重要的问题，它能够帮助 LLMs 更好地理解和处理复杂场景中的不确定性，并利用类比推理从过去的经验中学习，从而提高决策的质量。

DEFINE 的重要意义在于：

增强 LLMs 决策的可靠性: DEFINE 框架能够量化复杂场景中的不确定性，并将其纳入 LLMs 的决策过程，从而使决策更加可靠。

提高 LLMs 决策的透明度: DEFINE 框架的因子概况提供了对决策关键因素的清晰解释，使决策更加透明。

扩展 LLMs 的应用范围: DEFINE 框架可以应用于各种需要在不确定性下进行决策的领域，例如医疗咨询、谈判和政治辩论。

2. 论文提出的新思路、方法或模型

2.1 新思路和方法:

DEFINE 的核心思路是将 概率因子概况 与 类比推理 相结合，以引导 LLMs 在复杂场景中进行决策。

概率因子概况: DEFINE 从口语文本中构建概率因子概况，将重要信息总结为一组因子，并估计每个因子潜在结果的概率。这种方法不仅考虑了文本中明确表达的信息，还考虑了未明确表达的隐含信息，从而更全面地捕捉场景中的不确定性。

类比推理: DEFINE 利用因子概况检索与当前场景类似的历史案例，并将这些案例作为类比示例提供给 LLMs，以帮助其理解当前场景并做出决策。

2.2 关键解决方案:

DEFINE 的关键解决方案在于其 量化不确定性 和 利用类比推理 的能力。通过构建概率因子概况，DEFINE 将复杂场景中的不确定性转化为可量化的概率分布，并利用类比推理从过去的经验中学习，从而提高 LLMs 在新情况下的决策能力。

2.3 与先前方法的优势:

与先前方法相比，DEFINE 的优势在于：

更准确地捕捉不确定性: DEFINE 的概率因子概况能够更全面地捕捉复杂场景中的不确定性，而传统的文本匹配方法往往忽略了隐含信息。

更有效地利用历史经验: DEFINE 的类比推理利用因子概况检索类似案例，避免了传统的文本匹配方法所带来的信息冗余和计算成本问题。

更透明的决策过程: DEFINE 的因子概况提供了对决策关键因素的清晰解释，使决策更加透明。

3. 论文的实验验证

3.1 实验目标:

论文通过实验验证 DEFINE 框架在预测股票走势方面的有效性，并将其性能与其他决策方法进行比较。

3.2 实验设计:

论文使用了一个包含 11,950 个公司财报电话会议记录的数据集进行实验。这些记录来自标准普尔 500 指数和纳斯达克 100 指数的 869 家公司，时间跨度为 2017 年至 2024 年。实验任务是根据财报电话会议记录预测公司股票在未来 30 天内的走势。

论文采用了多种指标来评估 DEFINE 框架的性能，包括准确率、召回率、F1 分数和混淆矩阵。

3.3 实验数据和结果:

实验结果表明，DEFINE 框架在预测股票走势方面优于其他决策方法，包括直接使用 LLM 进行预测、使用 LLM 生成文本摘要后再进行预测以及使用 DeLLMa 框架进行预测。

例如，在 F1 分数上，DEFINE 框架取得了 23.73% 的成绩，而 DeLLMa 框架的成绩为 16.68%。混淆矩阵分析表明，DEFINE 框架在预测“强力买入”、“买入”、“持有”和“卖出”决策方面的表现都有所提升。

"Our new system, DEFINE, which combines factor profiles with analogical reasoning, achieves the best performance. It surpasses the strong baseline system, DeLLMa, which involves ranking state-action pairs based on their preference levels as determined by the LLM."

3.4 对科学假设的支持:

论文的实验结果支持了其科学假设，即通过构建概率因子概况并结合类比推理，可以有效地增强 LLMs 在复杂场景中的决策能力。

4. 论文的贡献和影响

4.1 论文的贡献:

提出了 DEFINE 框架，一个用于增强 LLMs 决策能力的新框架。

开发了概率因子概况构建方法，能够更准确地捕捉复杂场景中的不确定性。

将类比推理与因子概况相结合，有效地利用历史经验来指导 LLMs 决策。

通过实验验证了 DEFINE 框架在预测股票走势方面的有效性。

4.2 对业界的影响:

DEFINE 框架的提出对 AI 领域和产业界具有重要意义：

推动 LLMs 在决策领域的发展: DEFINE 框架为 LLMs 在复杂场景中的决策提供了新的思路和方法，将推动 LLMs 在决策领域的进一步发展。

促进 AI 系统的透明度和可解释性: DEFINE 框架的因子概况提供了对决策关键因素的清晰解释，有利于提高 AI 系统的透明度和可解释性。

扩展 AI 的应用范围: DEFINE 框架可以应用于各种需要在不确定性下进行决策的领域，例如金融、医疗、法律和政治。

4.3 潜在的应用场景和商业机会:

DEFINE 框架的潜在应用场景包括：

金融投资: 帮助投资者分析公司财报电话会议记录，预测股票走势，做出投资决策。

医疗诊断: 辅助医生分析患者病历，评估病情，制定治疗方案。

法律咨询: 帮助律师分析案件资料，预测案件结果，提供法律建议。

政治谈判: 帮助谈判代表分析对手立场，预测谈判结果，制定谈判策略。

其潜在的商业机会包括：

开发基于 DEFINE 框架的决策支持系统。

提供基于 DEFINE 框架的咨询服务。

将 DEFINE 框架集成到现有的 AI 系统中。

4.4 工程师应该关注的方面:

作为工程师，你应该关注以下方面：

LLMs 的决策机制: 深入了解 LLMs 如何进行决策，如何处理不确定性，如何利用历史经验。

概率因子概况的构建: 学习如何从口语文本中提取关键信息，构建概率因子概况。

类比推理的实现: 掌握如何利用因子概况检索类似案例，并将其整合到 LLMs 的决策过程中。

5. 未来研究方向和挑战

5.1 值得进一步探索的问题和挑战:

提高因子概况的质量: 如何更准确地提取关键信息，更合理地估计概率分布？

优化类比推理的效率: 如何更快速地检索类似案例，更有效地利用历史经验？

扩展 DEFINE 框架的应用范围: 如何将 DEFINE 框架应用于其他领域，例如医疗诊断、法律咨询和政治谈判？

5.2 新的技术和投资机会:

多模态信息融合: 将文本信息与其他模态信息（例如语音、图像和视频）融合，构建更全面的因子概况。

知识图谱增强: 利用知识图谱来补充因子概况，提高类比推理的准确性。

人机协同决策: 将 DEFINE 框架与人类专家知识相结合，开发人机协同决策系统。

6. 论文的不足和缺失

6.1 不足和缺失:

数据集的局限性: 论文使用的数据集仅限于公司财报电话会议记录，可能无法完全代表所有复杂场景。

缺乏对其他决策任务的评估: 论文只评估了 DEFINE 框架在预测股票走势方面的性能，缺乏对其他决策任务的评估。

缺乏对用户研究的探索: 论文没有进行用户研究，无法了解 DEFINE 框架在实际应用中的用户体验。

6.2 需要进一步验证和存疑的:

DEFINE 框架的泛化能力: DEFINE 框架能否有效地应用于其他领域和任务？

DEFINE 框架的可扩展性: DEFINE 框架能否处理更大规模的数据集和更复杂的场景？

DEFINE 框架的鲁棒性: DEFINE 框架能否抵御对抗性攻击和数据污染？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.