弥合开源和商业大型语言模型在医学证据总结方面的差距

大型语言模型 (LLM) 在总结医学证据方面具有很大的潜力。大多数最近的研究都集中在商业大型语言模型的应用上。使用商业大型语言模型会引入多种风险因素，包括缺乏透明度和供应商依赖性。虽然开源大型语言模型允许更好的透明度和定制化，但它们的性能与商业大型语言模型相比仍然不足。

在本研究中，我们研究了参数微调开源大型语言模型在多大程度上可以进一步提高它们在总结医学证据方面的性能。利用一个基准数据集 MedReview（该数据集包含 8,161 对系统评价和摘要），我们对三个广泛使用的开源大型语言模型进行了参数微调，即 PRIMERA、LongT5 和 Llama-2。

总体而言，参数微调后的 LLM 在 ROUGE-L（95% 置信区间：8.94-10.81）、METEOR 评分（95% 置信区间：12.05-14.37）和 CHRF 评分（95% 置信区间：13.89-16.44）方面分别提高了 9.89、13.21 和 15.82。参数微调后的 LongT5 的性能接近于零样本学习设置下的 GPT-3.5。此外，较小的参数微调模型有时甚至表现出优于较大的零样本学习模型的性能。上述改进趋势也体现在人类和 GPT-4 模拟评估中。

我们的结果可用于指导需要特定领域知识的任务的模型选择，例如医学证据总结。

1. 论文的研究目标与实际问题

研究目标

论文的主要研究目标是探索如何通过微调开源大语言模型（LLMs），以进一步提升其在医疗证据总结任务中的性能。特别是，作者希望缩小开源LLMs与商业专有LLMs（如GPT系列）在医疗证据总结方面的性能差距。

实际问题

在医疗领域，系统评价和荟萃分析是生成可靠医疗证据的黄金标准。然而，系统地回顾多项随机对照试验（RCTs）既费时又费力，而且随着科学发现的快速增长，系统评价很快就会过时。因此，亟需建立一种高效、可靠且可扩展的自动化系统来加速系统评价过程。现有的专有LLMs虽然在许多任务中表现优异，但存在透明度不足和依赖供应商等问题。相比之下，开源LLMs虽然透明度更高且易于定制，但在性能上往往不如专有LLMs。

科学假设

通过微调开源LLMs，可以显著提升其在医疗证据总结任务中的性能，甚至接近或超过某些专有LLMs的零样本设置。

相关研究与归类

该研究属于自然语言处理（NLP）和医学信息学交叉领域，特别是关注于医疗文本自动摘要技术。相关研究包括使用LLMs进行文本生成、医疗证据总结以及不同LLMs架构的比较研究。

值得关注的研究员

在领域内值得关注的研究员包括论文作者列表中的Chunhua Weng和Yifan Peng，他们在医疗信息学和NLP领域有深厚的研究背景。

2. 新思路、方法与模型

新思路

论文提出了一种通过微调开源LLMs来提高其在特定领域（如医疗证据总结）中性能的新思路。与直接使用预训练的LLMs相比，微调能够针对特定任务进行优化，从而提高模型的性能。

方法与模型

论文中选择了三种广泛使用的开源LLMs进行微调，包括PRIMERA、LongT5和Llama-2。这些模型通过低秩适应（LoRA）方法进行微调，该方法仅更新模型中的少量参数，从而提高了参数效率并减少了计算需求。

特点与优势

与之前的方法相比，微调开源LLMs具有以下特点和优势：

• 透明度与可定制性：开源LLMs的源代码和参数都是公开的，便于理解和定制。
• 灵活性：通过微调可以针对不同的具体任务进行优化。
• 性能提升：实验结果表明，微调后的开源LLMs在医疗证据总结任务中的性能显著提升，甚至接近或超过某些专有LLMs的零样本性能。

3. 实验设计与结果

实验设计

论文设计了多组实验来验证微调开源LLMs的有效性，包括：

• 自动评估：使用ROUGE-L、METEOR和CHRF等自动评估指标来衡量生成的摘要质量。
• 人工评估：邀请临床专家对生成的摘要进行一致性、全面性、特异性和可读性等方面的评价。
• GPT-4模拟评估：使用GPT-4作为模拟专家对生成的摘要进行评估。

实验数据与结果

• 自动评估结果：微调后的LLMs在ROUGE-L、METEOR和CHRF等指标上均有显著提升，特别是LongT5模型，其性能接近GPT-3.5的零样本设置。
• 人工评估结果：微调后的模型在一致性、全面性和特异性等方面均优于零样本的Llama-2模型。
• GPT-4模拟评估结果：GPT-4的模拟评估结果与人工评估结果基本一致，进一步验证了微调模型的有效性。

支持科学假设的证据

实验结果强有力地支持了论文的科学假设，即通过微调开源LLMs可以显著提升其在医疗证据总结任务中的性能。

4. 论文的贡献与影响

论文贡献

• 缩小性能差距：通过微调开源LLMs，显著缩小了与专有LLMs在医疗证据总结任务中的性能差距。
• 提出基准数据集：构建了一个包含8,161对系统评价和摘要的基准数据集MedReview，便于后续研究。
• 验证微调策略：验证了微调作为提升开源LLMs性能的有效策略。

业界影响

• 推动医疗信息化：高效的医疗证据总结系统可以加速系统评价过程，为医疗决策提供更加及时和可靠的依据。
• 促进LLMs在医疗领域的应用：展示了开源LLMs在特定医疗任务中的潜力，鼓励更多研究者关注和使用开源模型。

应用场景与商业机会

• 辅助系统评价：为医疗机构和研究机构提供自动化的系统评价工具，提高工作效率和准确性。
• 临床决策支持：将摘要系统嵌入临床决策支持系统中，为医生提供更加全面和及时的医疗证据。
• 定制化服务：根据客户需求提供定制化的医疗证据总结服务。

工程师的关注点

• 模型选择与优化：根据任务需求选择合适的LLMs并进行优化。
• 数据处理与标注：准备高质量的训练数据和标注信息。
• 系统集成与部署：将模型集成到现有的医疗信息系统中，并确保系统的稳定性和可靠性。

5. 未来探索方向与挑战

探索方向

• 更复杂的医疗任务：探索微调开源LLMs在处理更复杂医疗任务（如临床路径制定、药物疗效预测等）中的潜力。
• 跨模态学习：结合医学影像等模态信息，提升医疗证据总结的准确性和全面性。
• 增强可解释性：提高模型的可解释性，使其更加符合医疗领域对透明度的要求。

挑战

• 数据隐私与安全：确保医疗数据的隐私和安全，避免信息泄露和滥用。
• 计算资源限制：大型LLMs的训练和微调需要巨大的计算资源，如何降低成本和提高效率是一个重要挑战。
• 模型泛化能力：提高模型在不同医疗领域和任务中的泛化能力。

6. 论文的不足与进一步验证

不足

• 数据集局限性：MedReview数据集虽然覆盖了多个医疗领域，但可能仍存在一定的局限性，无法完全代表所有医疗证据总结任务。
• 模型解释性不足：尽管微调后的模型性能显著提升，但模型的决策过程仍然缺乏透明度，难以解释为何某些摘要质量更高。

进一步验证

• 更大规模的数据集验证：在更大规模的数据集上验证微调模型的有效性。
• 多领域验证：探索微调模型在不同医疗领域中的应用效果。
• 长期性能评估：对微调模型进行长期性能评估，观察其在新出现的医疗证据上的表现。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

在医疗领域利用迭代式后续问题改进检索增强生成

大型语言模型 (LLM) 的涌现能力在解决医学问题方面展现出巨大潜力。它们可以拥有相当多的医学知识，但仍然可能出现幻觉，并且在知识更新方面不够灵活。虽然检索增强生成 (RAG) 被提出，旨在利用外部知识库增强 LLM 的医学问答能力，但它在需要多轮信息检索的复杂情况下仍然可能失败。

为了解决这个问题，我们提出了用于医学的迭代式 RAG (i-MedRAG)，其中 LLM 可以根据先前的信息检索尝试迭代地提出后续查询。在 i-MedRAG 的每次迭代中，后续查询将由一个标准的 RAG 系统回答，并且它们将进一步用于指导下一次迭代中的查询生成。

我们的实验表明，与标准的 RAG 系统相比，i-MedRAG 在美国医师执照考试 (USMLE) 临床情景中的复杂问题以及大规模多任务语言理解 (MMLU) 数据集中的各种知识测试中，提高了各种 LLM 的性能。美国医师执照考试 (USMLE) 是美国医生执照考试，大规模多任务语言理解 (MMLU) 是一个涵盖多个领域的综合性知识测试数据集。值得注意的是，我们的零样本学习 i-MedRAG 优于 GPT-3.5 上所有现有的提示词工程和参数微调方法，在 MedQA 数据集上实现了 69.68% 的准确率。

此外，我们描述了 i-MedRAG 具有不同后续查询迭代次数和每次迭代不同查询数量的扩展特性。我们的案例研究表明，i-MedRAG 可以灵活地提出后续查询以形成推理链，从而提供对医学问题的深入分析。

据我们所知，这是第一个将后续查询纳入医学 RAG 的研究。

1. 论文的研究目标及实际问题

研究目标：
论文的研究目标是提出一种迭代式检索增强生成（Iterative Retrieval-Augmented Generation，简称i-MedRAG）框架，用于解决医疗领域的复杂问题回答任务。具体来说，论文旨在通过引入迭代式后续查询，改进现有检索增强生成（RAG）模型在处理需要多轮推理才能解答的医疗问题上的不足。

实际问题：
当前大型语言模型（LLMs）在医疗问答中虽然表现出色，但仍存在知识幻觉（即生成看似合理但不准确的内容）和知识更新不灵活的问题。尽管检索增强生成（RAG）方法通过引入外部知识库提升了LLMs的医疗问答能力，但对于需要多轮推理才能解答的复杂问题，传统的单次检索RAG方法效果有限。

是否为新问题：
这是一个新问题，尤其是在医疗问答领域，需要模型具备多轮推理和信息检索的能力。

科学假设：
通过引入迭代式后续查询，LLMs能够在医疗问答任务中表现出更好的性能，特别是在需要多轮推理的复杂问题上。

相关研究：

• 检索增强生成（RAG）：在医疗领域已有一些应用，如Almanac、Clinfo.ai和MedRAG，但这些研究主要采用单次检索的RAG架构。
• 医疗问答（QA）：包括MedQA、PubMedQA、BioASQ等数据集，用于评估LLMs在医疗领域的知识和推理能力。

归类：
该研究属于自然语言处理（NLP）和医疗信息学交叉领域，具体涉及检索增强生成、多轮推理和医疗问答技术。

值得关注的研究员：

• Guangzhi Xiong（弗吉尼亚大学计算机科学系）
• Qiao Jin（美国国立卫生研究院国家医学图书馆）
• Xiao Wang（伊利诺伊大学厄巴纳-香槟分校计算机科学系）

2. 新思路、方法或模型

新思路：
论文提出了迭代式RAG（i-MedRAG）框架，该框架允许LLMs基于先前的信息检索尝试，迭代地生成后续查询，从而逐步构建出针对复杂问题的推理链。

新方法：

• 迭代式查询生成：LLMs在每次迭代中生成一系列后续查询，这些查询通过RAG系统得到回答，然后这些查询-回答对被用于指导下一次迭代的查询生成。
• 信息检索与历史结合：在每次迭代中，LLMs不仅基于原始问题，还基于之前迭代中的查询-回答历史来生成新的查询。

关键：
迭代式查询生成和信息检索历史的结合，使得LLMs能够逐步深入问题的核心，通过多轮推理找到正确答案。

特点与优势：

• 相比于单次检索的RAG，i-MedRAG能够处理需要多轮推理的复杂医疗问题。
• 通过逐步构建推理链，i-MedRAG提供了更深入的问题分析能力。
• 实验结果显示，i-MedRAG在多个医疗问答数据集上均表现出色，特别是在复杂问题上。

3. 实验设计与结果

实验设计：

• 数据集：MedQA（美国医学执照考试子集）和MMLU-Med（大规模多任务语言理解数据集中的医疗任务）。
• 对比方法：包括CoT（链式思考提示）、SC（自我一致性提示）、KSL（知识求解器）、MedAgents、LLMs-AMT（增强医学文本的LLMs）、MedRAG等。
• 评估指标：多选题准确率。
• 检索部分：使用MedCPT作为文本检索器，Textbooks和Statpearls作为外部知识库。

实验数据与结果：

• 在MedQA数据集上，i-MedRAG在GPT-3.5上实现了69.68%的准确率，相比之前的最佳方法MedRAG（66.61%）提高了4.61%。
• 在MMLU-Med数据集上，i-MedRAG也表现出改进，但提升幅度小于MedQA，表明MMLU-Med中的问题相对简单，不一定需要多轮推理。
• 对于开源模型Llama-3.1-8B，i-MedRAG同样带来了显著的性能提升。

支持假设：
实验数据表明，i-MedRAG在多个医疗问答数据集上均取得了优异的表现，特别是针对复杂问题，从而验证了迭代式后续查询能够有效提升LLMs在医疗问答任务中的性能。

4. 论文贡献与业界影响

论文贡献：

• 提出i-MedRAG框架：首次将迭代式后续查询引入医疗领域的RAG模型中。
• 提升性能：在多个数据集上实现了LLMs性能的提升，尤其是在GPT-3.5上达到了MedQA数据集上的最新最佳表现。
• 分析迭代次数与查询数量的影响：探讨了不同迭代次数和每轮查询数量对模型性能的影响。

业界影响：

• 提升医疗问答系统的准确性：i-MedRAG框架有望应用于开发更准确的医疗问答系统，为医生和患者提供更可靠的信息支持。
• 促进AI在医疗领域的应用：通过增强LLMs的医疗问答能力，i-MedRAG框架将推动AI在医疗诊断、患者咨询等方面的应用。
• 推动技术发展：为检索增强生成和多轮推理技术在医疗领域的应用提供了新的思路和方向。

潜在应用场景和商业机会：

• 智能医疗助手：开发基于i-MedRAG框架的智能医疗助手，为医生提供实时的医疗信息和建议。
• 患者咨询平台：构建面向患者的在线咨询平台，利用i-MedRAG提升回答复杂医疗问题的准确性。
• 医疗教育与培训：在教育和培训领域应用i-MedRAG框架，提升医疗专业人员的知识水平。

工程师应关注的方面：

• 技术实现：关注i-MedRAG框架的具体实现细节，包括迭代查询生成算法、信息检索系统优化等。
• 性能评估：在不同医疗问答数据集上评估模型性能，确保模型在实际应用中的有效性和可靠性。
• 应用场景拓展：探索i-MedRAG框架在其他医疗领域的应用潜力，如药物研发、疾病预测等。

5. 未来研究方向与挑战

未来研究方向：

• 自动化超参数选择：开发自动化的超参数选择算法，提高i-MedRAG框架的灵活性和效率。
• 结合少量样本学习：探索如何在i-MedRAG框架中结合少量样本学习，进一步提升模型性能。
• 多模态信息融合：研究如何将文本、图像等多种模态的信息融入i-MedRAG框架，提升医疗问答的全面性。

挑战：

• 计算成本：随着迭代次数和查询数量的增加，计算成本将显著增加。
• 超参数调优：不同数据集和任务可能需要不同的超参数设置，如何自动化地确定最优超参数是一个挑战。
• 知识更新：医疗知识不断更新，如何确保i-MedRAG框架能够实时获取最新的医疗知识是一个重要问题。

6. 论文的不足与存疑

不足：

• 计算成本：如前文所述，生成更多后续查询将增加计算成本。
• 超参数选择：如何为不同任务和数据集选择最优的超参数仍是一个开放问题。
• 知识局限性：尽管RAG方法引入了外部知识库，但知识库本身可能存在局限性和时效性问题。

存疑：

• 模型可解释性：i-MedRAG框架在生成后续查询和推理链的过程中是否具备可解释性尚待进一步研究。
• 跨领域应用：论文主要在医疗领域验证了i-MedRAG框架的有效性，其在其他领域的应用效果尚待探索。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.