利用迭代后续问题改进医学领域的检索增强生成 —— 提升医学领域检索增强生成效果的新思路

大型语言模型 (LLM) 的涌现能力在解决医学问题方面展现出巨大潜力。它们可以拥有相当多的医学知识，但仍然可能出现虚假信息，并且在知识更新方面不够灵活。虽然检索增强生成 (RAG) 已被提出用于利用外部知识库增强 LLM 的医学问答能力，但在需要多轮信息搜索的复杂情况下，它仍然可能失败。为了解决这个问题，我们提出了用于医学的迭代 RAG (i-MedRAG)，其中 LLM 可以根据先前的信息搜索尝试迭代地提出后续问题。在 i-MedRAG 的每次迭代中，后续问题将由一个普通的 RAG 系统回答，并且它们将进一步用于指导下一次迭代中的查询生成。我们的实验表明，与普通的 RAG 相比，i-MedRAG 在美国医学执照考试 (USMLE) 中的临床案例中的复杂问题以及大规模多任务语言理解 (MMLU) 数据集中的各种知识测试中，提高了各种 LLM 的性能。值得注意的是，我们的零样本 i-MedRAG 优于 GPT-3.5 上所有现有的提示工程和参数微调方法，在 MedQA 数据集上实现了 69.68% 的准确率。此外，我们描述了 i-MedRAG 具有不同迭代的后续查询和每次迭代不同查询数量的扩展属性。我们的案例研究表明，i-MedRAG 可以灵活地提出后续问题以形成推理链，从而提供对医学问题的深入分析。据我们所知，这是同类研究中第一个将后续查询纳入医学 RAG 的研究。

1. 研究目标与相关工作

研究目标:

• 提出 i-MedRAG，一种新的 RAG 架构，通过迭代式后续问题来解决复杂医学问答的推理难题。

• 通过实证研究，证明 i-MedRAG 在处理复杂医学问题上优于传统 RAG 和其他提示工程方法。

• 分析 i-MedRAG 的性能随后续问题数量和迭代次数的变化情况。

实际问题:

• 传统的 RAG 模型仅进行单轮信息检索，难以处理需要多轮信息搜寻的复杂医学问答。

• LLM 存在 “幻觉” 问题，即生成看似合理但不准确的内容，并且知识更新不灵活。

科学假设:

通过引入迭代式后续问题，引导 LLM 进行多轮信息检索，可以有效提高其在复杂医学问答任务上的性能。

相关工作:

• 医学领域的 RAG 应用: Almanac [21], Clinfo.ai [22], MedRAG [23].

• 医学问答任务: MedQA [26], PubMedQA [24], MedMCQA [30], BioASQ [25], MMLU [31].

• 提示工程方法: CoT [33], SC [34], MedAgents [35], KSL [36], LLM-AMT [37], MedAdapter [41].

值得关注的研究员:

• Qiao Jin: 美国国立卫生研究院 (NIH)，MedRAG 和 i-MedRAG 的主要作者，专注于医学领域的 LLM 和问答系统研究。

• Zhiyong Lu: 美国国立卫生研究院 (NIH), MedCPT 和 i-MedRAG 的主要作者，研究方向包括生物医学信息检索和自然语言处理。

• Karan Singhal: Google Research, Med-PaLM 2 的主要作者之一，专注于医疗领域 LLM 的研究。

2. 新思路、方法和模型

新思路:

• 将迭代式后续问题整合到 RAG 框架中，允许 LLM 根据之前的检索结果生成新的查询，进行多轮信息检索。

• 使用问答对的形式记录信息检索历史，避免将所有检索到的文档都放入 LLM 上下文中，节省计算资源。

关键方法:

• 迭代式问题生成: LLM 根据给定的医学问题和信息检索历史，生成多个后续问题，用于获取更详细的信息。

• 基于 RAG 的答案生成: 每个后续问题都使用传统的 RAG 系统进行回答，检索相关文档并生成答案。

• 信息检索历史更新: 将生成的后续问题和对应的答案添加到信息检索历史中，为下一轮问题生成提供上下文信息。

• 最终答案生成: LLM 基于原始问题和完整的信息检索历史，生成最终答案。

模型特点和优势:

• 解决复杂推理问题: i-MedRAG 可以通过多轮信息检索，解决传统 RAG 难以处理的复杂医学问答问题。

• 提高准确性: 通过整合更多相关信息，i-MedRAG 可以提高 LLM 回答的准确性。

• 提供可解释性: i-MedRAG 生成的后续问题和答案可以作为推理过程的解释，提高系统的透明度。

3. 实验设计与结果分析

实验设计:

• 数据集: MedQA [26] (包含 USMLE 考试的临床病例问题) 和 MMLU-Med [31] (包含多个医学知识测试)。

• LLM 模型: GPT-3.5 和 Llama-3.1-8B。

• 对比方法: CoT [33], MedRAG [23] 以及其他已发表的提示工程和微调方法。

• 评估指标: 准确率。

• 消融实验: 分析迭代次数和每轮问题数量对 i-MedRAG 性能的影响。

实验数据和结果:

• 表 1: i-MedRAG 在 MedQA 上使用 GPT-3.5 实现了 69.68% 的准确率，超过了所有已发表的提示工程和微调方法。

• 表 2: i-MedRAG 在 MedQA 和 MMLU-Med 上都显著提升了 GPT-3.5 和 Llama-3.1-8B 的性能。

• 图 3: i-MedRAG 在 MedQA 上的性能随着迭代次数的增加而提高，在 MMLU-Med 上则趋于稳定或下降。

实验结果对科学假设的支持:

实验结果表明，i-MedRAG 通过迭代式后续问题有效提高了 LLM 在复杂医学问答任务上的性能，支持了论文的科学假设。

关键数据:

• i-MedRAG 使用 GPT-3.5 在 MedQA 上的准确率为 69.68%。

• i-MedRAG 使用 Llama-3.1-8B 在 MedQA 上的准确率提升了 15.90%。

4. 论文贡献与业界影响

论文贡献:

• 提出了一种新的 RAG 架构 i-MedRAG，通过迭代式后续问题解决复杂医学问答的推理难题。

• 实证研究表明，i-MedRAG 优于传统的 RAG 方法和其他的提示工程方法。

• 对 i-MedRAG 的性能随迭代次数和每轮问题数量的变化进行了分析。

业界影响:

• 提高医疗问答系统的准确性和可靠性: i-MedRAG 可以应用于构建更强大的医疗问答系统，为医生和患者提供更准确、可靠的信息。

• 促进医学领域 LLM 的发展: i-MedRAG 为医学领域 LLM 的研究提供了新的方向，推动更强大的医学推理模型的开发。

潜在应用场景和商业机会:

• 临床决策支持: i-MedRAG 可以辅助医生进行诊断和治疗决策，提供更全面、准确的医学信息。

• 医学文献检索: i-MedRAG 可以帮助研究人员快速找到与特定医学问题相关的文献，提高文献检索效率。

• 患者教育: i-MedRAG 可以为患者提供个性化的疾病信息和治疗方案建议，帮助患者更好地理解自身病情。

作为工程师，你应该关注：

• LLM 和 RAG 技术: 深入了解 LLM 和 RAG 技术，并探索如何将其应用于其他医疗领域。

• 迭代式学习: 研究如何优化迭代式学习算法，以提高 i-MedRAG 的效率和性能。

• 用户界面设计: 设计用户友好的界面，方便用户与 i-MedRAG 进行交互。

5. 未来研究方向和挑战

• 扩展到其他数据源: 将 i-MedRAG 扩展到其他数据源，例如电子健康记录 (EHR)、医学图像和生物医学数据库。

• 多语言支持: 开发支持多语言的 i-MedRAG 版本，以扩展其应用范围。

• 效率优化: 研究如何优化 i-MedRAG 的计算效率，使其更适合实际应用。

• 可解释性: 研究如何进一步提高 i-MedRAG 的可解释性，使其推理过程更容易理解。

新的技术和投资机会：

• 医学领域 LLM: 开发专门针对医学领域训练的 LLM，以提高 i-MedRAG 的准确性和效率。

• 医学知识图谱: 构建高质量的医学知识图谱，为 i-MedRAG 提供更丰富、更准确的背景知识。

• 人机交互: 研究如何设计更有效的人机交互界面，方便用户与 i-MedRAG 进行交互。

6. 论文的不足与缺失

• 数据集规模: 论文使用的 MedQA 和 MMLU-Med 数据集规模相对较小，需要在更大规模的数据集上进行验证。

• 模型评估: 论文只使用了准确率作为评估指标，未来可以考虑其他指标，例如可读性、信息完整度和推理逻辑的合理性。

• 缺乏与人类医生的比较: 论文没有将 i-MedRAG 的性能与人类医生的表现进行比较。

需要进一步验证和存疑的:

• 模型的泛化能力: i-MedRAG 在处理未见过的医学问题和数据时的表现如何？

• 模型的鲁棒性: i-MedRAG 对噪声数据和错误信息的鲁棒性如何？

• 模型的伦理问题: 如何确保 i-MedRAG 的使用符合医疗伦理规范？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.