生物医学大型语言模型：在全新医学数据上的表现未必更胜一筹？

大型语言模型 (LLM) 在生物医学应用中显示出潜力，这促使人们努力在特定领域数据上对其进行参数微调。然而，这种方法的有效性仍不清楚。本研究评估了生物医学参数微调的 LLM 与其通用模型在各种临床任务上的性能。我们评估了它们在新英格兰医学杂志 (NEJM) 和美国医学会杂志 (JAMA) 的临床病例挑战以及几个临床任务（例如，信息提取、文档摘要和临床编码）中的表现。我们使用专门选择可能在生物医学模型的参数微调数据集之外的基准测试，发现生物医学 LLM 的性能大多不如其通用模型，尤其是在不专注于医学知识的任务上。虽然较大的模型在案例任务上表现出相似的性能（例如，OpenBioLLM-70B：66.4% vs. Llama-3-70B-Instruct：65% 在 JAMA 案例上），但较小的生物医学模型表现出更明显的性能下降（例如，OpenBioLLM-8B：30% vs. Llama-3-8B-Instruct：64.3% 在 NEJM 案例上）。在 CLUE（临床语言理解评估）基准测试任务中观察到类似的趋势，通用模型通常在文本生成、问答和编码任务上表现更好。我们的结果表明，将 LLM 参数微调到生物医学数据可能会挑战关于 LLM 特定领域适应性的主流假设，并突出了在医疗保健 AI 中需要更严格的评估框架。替代方法，例如检索增强生成，可能更有效地增强 LLM 的生物医学能力，而不会损害其一般知识。

1. 论文研究目标与背景

研究目标

论文“Biomedical Large Language Models Seem not to be Superior to Generalist Models on Unseen Medical Data”旨在探讨在生物医学领域对大型语言模型（LLMs）进行微调后，相较于通用模型在实际临床任务中的表现差异。具体研究目标是评估并对比生物医学领域专用的LLMs与通用LLMs在多种临床任务上的性能表现，以检验微调策略的有效性及潜在问题。

实际问题

研究聚焦于一个关键问题：在生物医学领域对LLMs进行微调是否能显著提升模型在实际临床任务中的性能，尤其是在面对未见过的医疗数据时。

科学假设

论文假设生物医学专用的LLMs在处理与生物医学相关的任务时会优于通用LLMs，然而，研究结果却对这一假设提出了挑战。

相关研究与归类

该研究属于人工智能在医疗领域应用的范畴，特别是关于大型语言模型在生物医学场景下的适应性。近年来，随着GPT系列模型的兴起，研究者们开始探索如何将这些通用模型微调至特定领域，如生物医学，以提高其专业性。

值得关注的研究员

• Felix J. Dorfner（第一作者）
• Keno K. Bressem（通讯作者）
• Alexander V. Eriksen、Pranav Rajpurkar、Arun James Thirunavukarasu 等在AI医疗领域有突出贡献的研究者

2. 新思路、方法与模型

新思路

论文提出了一种新思路，即质疑并验证生物医学领域对LLMs进行微调后的真实效用。传统观念认为领域专用的模型在处理特定领域任务时会更有优势，但论文通过实际实验对这一观念进行了挑战。

方法与模型

• 生物医学LLMs：如OpenBioLLM、BioMistral-7B等，这些模型基于Llama或Mistral等通用LLMs，通过生物医学数据进行微调。
• 通用LLMs：如Llama系列（Llama-3-70B-Instruct、Llama-3-8B-Instruct）、Mistral7B等，这些模型在训练时涵盖了广泛的主题，包括生物医学内容。

关键特点与优势

• 通用性：通用LLMs因训练数据的多样性，具有更强的泛化能力。
• 微调风险：生物医学LLMs可能因微调过程而引入偏差，甚至因过度拟合特定数据集而导致性能下降。

3. 实验设计与结果

实验设计

• 基准测试选择：选择多个临床任务基准，包括临床案例挑战（如NEJM、JAMA案例）、MeDiSumQA、MeDiSumCode、MedNLI等，确保这些基准任务可能未包含在生物医学LLMs的微调数据集中。
• 模型选择：涵盖不同大小和架构的生物医学LLMs与通用LLMs，确保对比的全面性。

实验数据与结果

• 临床案例挑战：在JAMA和NEJM案例上，OpenBioLLM-70B与Llama-3-70B-Instruct表现相近，但在更小的模型（如OpenBioLLM-8B）上，Llama系列模型显著优于生物医学模型。
• 其他任务：在MeDiSumQA、MedNLI等任务上，通用LLMs也展现出更优的性能，尤其是在处理非专门医学知识相关的任务时。

关键数据引用

• JAMA案例挑战：Llama-3-70B-Instruct（65%）与OpenBioLLM-70B（66.4%）准确率相近。
• NEJM案例挑战：Llama-3-70B-Instruct（74.6%）显著优于OpenBioLLM-8B（30%）。

4. 论文贡献与业界影响

论文贡献

• 挑战传统观念：揭示了生物医学微调LLMs并不总是在所有临床任务中优于通用LLMs，特别是在面对未见数据时。
• 提出新的研究方向：鼓励探索替代方法，如检索增强生成，以增强LLMs的生物医学能力而不损失其通用性。

业界影响

• 技术选择：医疗机构在选择LLMs支持其临床决策时，应更审慎考虑是否需要进行领域微调。
• 模型部署：影响模型在实际医疗场景中的部署策略，特别是对数据敏感性和模型泛化能力的权衡。

潜在应用场景与商业机会

• 临床辅助决策系统：结合通用LLMs与专业知识库，提供精准的临床决策支持。
• 医疗数据标注与审核：利用LLMs加速医疗数据的标注和审核过程，提高数据处理效率。

5. 未来研究方向与挑战

未来研究方向

• 深入研究微调策略：探索更有效的微调方法，以减少偏差和过拟合问题。
• 结合多种数据源：融合多种数据源进行微调，提高模型的专业性和泛化能力。

挑战

• 数据隐私与合规：在医疗领域，数据隐私和合规性是一大挑战，如何合法合规地使用医疗数据进行模型训练是一大难题。
• 模型可解释性：提高LLMs在医疗决策中的可解释性，以满足监管和临床需求。

6. 论文的不足与存疑

不足

• 数据泄露风险：部分案例数据集可能已包含在通用LLMs的训练数据中，影响结果的公正性。
• 任务覆盖不全：基准测试未能完全覆盖真实临床场景的复杂性和多样性。

存疑

• 模型泛化能力的边界：如何界定通用LLMs与专用LLMs在生物医学领域的泛化能力边界仍需进一步研究。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.