Digital Health Insider

利用迭代后续问题改进医学领域的检索增强生成 —— 提升医学领域检索增强生成效果的新思路

大型语言模型 (LLM) 的涌现能力在解决医学问题方面展现出巨大潜力。它们可以拥有相当多的医学知识，但仍然可能出现虚假信息，并且在知识更新方面不够灵活。虽然检索增强生成 (RAG) 已被提出用于利用外部知识库增强 LLM 的医学问答能力，但在需要多轮信息搜索的复杂情况下，它仍然可能失败。为了解决这个问题，我们提出了用于医学的迭代 RAG (i-MedRAG)，其中 LLM 可以根据先前的信息搜索尝试迭代地提出后续问题。在 i-MedRAG 的每次迭代中，后续问题将由一个普通的 RAG 系统回答，并且它们将进一步用于指导下一次迭代中的查询生成。我们的实验表明，与普通的 RAG 相比，i-MedRAG 在美国医学执照考试 (USMLE) 中的临床案例中的复杂问题以及大规模多任务语言理解 (MMLU) 数据集中的各种知识测试中，提高了各种 LLM 的性能。值得注意的是，我们的零样本 i-MedRAG 优于 GPT-3.5 上所有现有的提示工程和参数微调方法，在 MedQA 数据集上实现了 69.68% 的准确率。此外，我们描述了 i-MedRAG 具有不同迭代的后续查询和每次迭代不同查询数量的扩展属性。我们的案例研究表明，i-MedRAG 可以灵活地提出后续问题以形成推理链，从而提供对医学问题的深入分析。据我们所知，这是同类研究中第一个将后续查询纳入医学 RAG 的研究。

1. 研究目标与相关工作

研究目标:

提出 i-MedRAG，一种新的 RAG 架构，通过迭代式后续问题来解决复杂医学问答的推理难题。

通过实证研究，证明 i-MedRAG 在处理复杂医学问题上优于传统 RAG 和其他提示工程方法。

分析 i-MedRAG 的性能随后续问题数量和迭代次数的变化情况。

实际问题:

传统的 RAG 模型仅进行单轮信息检索，难以处理需要多轮信息搜寻的复杂医学问答。

LLM 存在 “幻觉” 问题，即生成看似合理但不准确的内容，并且知识更新不灵活。

科学假设:

通过引入迭代式后续问题，引导 LLM 进行多轮信息检索，可以有效提高其在复杂医学问答任务上的性能。

相关工作:

医学领域的 RAG 应用: Almanac [21], Clinfo.ai [22], MedRAG [23].

医学问答任务: MedQA [26], PubMedQA [24], MedMCQA [30], BioASQ [25], MMLU [31].

提示工程方法: CoT [33], SC [34], MedAgents [35], KSL [36], LLM-AMT [37], MedAdapter [41].

值得关注的研究员:

Qiao Jin: 美国国立卫生研究院 (NIH)，MedRAG 和 i-MedRAG 的主要作者，专注于医学领域的 LLM 和问答系统研究。

Zhiyong Lu: 美国国立卫生研究院 (NIH), MedCPT 和 i-MedRAG 的主要作者，研究方向包括生物医学信息检索和自然语言处理。

Karan Singhal: Google Research, Med-PaLM 2 的主要作者之一，专注于医疗领域 LLM 的研究。

2. 新思路、方法和模型

新思路:

将迭代式后续问题整合到 RAG 框架中，允许 LLM 根据之前的检索结果生成新的查询，进行多轮信息检索。

使用问答对的形式记录信息检索历史，避免将所有检索到的文档都放入 LLM 上下文中，节省计算资源。

关键方法:

迭代式问题生成: LLM 根据给定的医学问题和信息检索历史，生成多个后续问题，用于获取更详细的信息。

基于 RAG 的答案生成: 每个后续问题都使用传统的 RAG 系统进行回答，检索相关文档并生成答案。

信息检索历史更新: 将生成的后续问题和对应的答案添加到信息检索历史中，为下一轮问题生成提供上下文信息。

最终答案生成: LLM 基于原始问题和完整的信息检索历史，生成最终答案。

模型特点和优势:

解决复杂推理问题: i-MedRAG 可以通过多轮信息检索，解决传统 RAG 难以处理的复杂医学问答问题。

提高准确性: 通过整合更多相关信息，i-MedRAG 可以提高 LLM 回答的准确性。

提供可解释性: i-MedRAG 生成的后续问题和答案可以作为推理过程的解释，提高系统的透明度。

3. 实验设计与结果分析

实验设计:

数据集: MedQA [26] (包含 USMLE 考试的临床病例问题) 和 MMLU-Med [31] (包含多个医学知识测试)。

LLM 模型: GPT-3.5 和 Llama-3.1-8B。

对比方法: CoT [33], MedRAG [23] 以及其他已发表的提示工程和微调方法。

评估指标: 准确率。

消融实验: 分析迭代次数和每轮问题数量对 i-MedRAG 性能的影响。

实验数据和结果:

表 1: i-MedRAG 在 MedQA 上使用 GPT-3.5 实现了 69.68% 的准确率，超过了所有已发表的提示工程和微调方法。

表 2: i-MedRAG 在 MedQA 和 MMLU-Med 上都显著提升了 GPT-3.5 和 Llama-3.1-8B 的性能。

图 3: i-MedRAG 在 MedQA 上的性能随着迭代次数的增加而提高，在 MMLU-Med 上则趋于稳定或下降。

实验结果对科学假设的支持:

实验结果表明，i-MedRAG 通过迭代式后续问题有效提高了 LLM 在复杂医学问答任务上的性能，支持了论文的科学假设。

关键数据:

i-MedRAG 使用 GPT-3.5 在 MedQA 上的准确率为 69.68%。

i-MedRAG 使用 Llama-3.1-8B 在 MedQA 上的准确率提升了 15.90%。

4. 论文贡献与业界影响

论文贡献:

提出了一种新的 RAG 架构 i-MedRAG，通过迭代式后续问题解决复杂医学问答的推理难题。

实证研究表明，i-MedRAG 优于传统的 RAG 方法和其他的提示工程方法。

对 i-MedRAG 的性能随迭代次数和每轮问题数量的变化进行了分析。

业界影响:

提高医疗问答系统的准确性和可靠性: i-MedRAG 可以应用于构建更强大的医疗问答系统，为医生和患者提供更准确、可靠的信息。

促进医学领域 LLM 的发展: i-MedRAG 为医学领域 LLM 的研究提供了新的方向，推动更强大的医学推理模型的开发。

潜在应用场景和商业机会:

临床决策支持: i-MedRAG 可以辅助医生进行诊断和治疗决策，提供更全面、准确的医学信息。

医学文献检索: i-MedRAG 可以帮助研究人员快速找到与特定医学问题相关的文献，提高文献检索效率。

患者教育: i-MedRAG 可以为患者提供个性化的疾病信息和治疗方案建议，帮助患者更好地理解自身病情。

作为工程师，你应该关注：

LLM 和 RAG 技术: 深入了解 LLM 和 RAG 技术，并探索如何将其应用于其他医疗领域。

迭代式学习: 研究如何优化迭代式学习算法，以提高 i-MedRAG 的效率和性能。

用户界面设计: 设计用户友好的界面，方便用户与 i-MedRAG 进行交互。

5. 未来研究方向和挑战

扩展到其他数据源: 将 i-MedRAG 扩展到其他数据源，例如电子健康记录 (EHR)、医学图像和生物医学数据库。

多语言支持: 开发支持多语言的 i-MedRAG 版本，以扩展其应用范围。

效率优化: 研究如何优化 i-MedRAG 的计算效率，使其更适合实际应用。

可解释性: 研究如何进一步提高 i-MedRAG 的可解释性，使其推理过程更容易理解。

新的技术和投资机会：

医学领域 LLM: 开发专门针对医学领域训练的 LLM，以提高 i-MedRAG 的准确性和效率。

医学知识图谱: 构建高质量的医学知识图谱，为 i-MedRAG 提供更丰富、更准确的背景知识。

人机交互: 研究如何设计更有效的人机交互界面，方便用户与 i-MedRAG 进行交互。

6. 论文的不足与缺失

数据集规模: 论文使用的 MedQA 和 MMLU-Med 数据集规模相对较小，需要在更大规模的数据集上进行验证。

模型评估: 论文只使用了准确率作为评估指标，未来可以考虑其他指标，例如可读性、信息完整度和推理逻辑的合理性。

缺乏与人类医生的比较: 论文没有将 i-MedRAG 的性能与人类医生的表现进行比较。

需要进一步验证和存疑的:

模型的泛化能力: i-MedRAG 在处理未见过的医学问题和数据时的表现如何？

模型的鲁棒性: i-MedRAG 对噪声数据和错误信息的鲁棒性如何？

模型的伦理问题: 如何确保 i-MedRAG 的使用符合医疗伦理规范？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

利用智能体 LLM (大型语言模型) 工作流程打造通俗易懂的患者友好型医疗报告

大型语言模型 (LLM) 的能力正在快速发展，其中一个潜在的应用场景是将正式的医疗报告转换为通俗易懂的患者友好型报告。目前，LLM 的输出通常需要由人工进行编辑和评估，以确保事实准确性和可理解性，上述应用场景也是如此。我们的目标是通过使用 Reflexion 框架提出一个智能体工作流程来最大程度地减少此步骤，该框架使用迭代自我反思来纠正 LLM 的输出。该流程在 16 份随机放射学报告上进行了测试，并与零样本提示方法进行了比较。在我们的多智能体方法中，查看 ICD-10 代码的验证时，报告的准确率为 94.94%，而零样本提示报告的准确率为 68.23%。此外，81.25% 的最终反思报告在准确性和可读性方面无需更正，而只有 25% 的零样本提示报告无需修改即可满足这些标准。这些结果表明，我们的方法提供了一种可行的方法，能够快速、高效、连贯地将临床发现传达给患者，同时保持医学准确性。代码库可在 http://github.com/malavikhasudarshan/Multi-Agent-Patient-Letter-Generation 查看。

. 研究目标与相关工作

研究目标:

开发一个能够生成患者友好型医疗报告的多智能体 LLM 系统。

利用 Reflexion 框架的迭代自省机制，最小化人工校对和验证的需求。

确保生成的患者友好型报告在保持医学准确性的同时，易于患者理解。

实际问题:

患者难以理解包含专业医学术语的医疗报告，例如放射科报告。

单纯使用 LLM 进行零样本生成，容易出现幻觉、信息不完整、语气不专业等问题。

需要一种能够自动生成高质量患者友好型报告的方法，以减轻医务人员负担，并提高患者参与度。

科学假设:

通过结合多智能体工作流程和 Reflexion 框架的迭代自省机制，可以生成既准确又易读的患者友好型医疗报告。

相关工作:

患者友好型医疗报告生成: [4, 7, 8, 9, 10, 11].

LLM 在医疗保健领域的应用: [5, 6, 23, 24, 25].

多智能体 LLM 系统: [12, 13].

Reflexion 框架: [14].

值得关注的研究员:

Nicholas Shinn: Google AI, Reflexion 框架的主要作者之一，研究方向包括强化学习和 LLM。

George Shih: Weill Cornell Medicine, 放射科医生，专注于利用 LLM 生成患者友好型放射科报告。

2. 新思路、方法和模型

新思路:

利用多智能体工作流程，将患者友好型报告生成任务分解为多个子任务，例如 ICD-10 代码提取、文本生成和报告评估。

使用 Reflexion 框架的 Alfworld 模块，通过迭代自省机制优化 LLM 生成的患者友好型报告。

关键方法:

ICD-10 代码提取: 使用 LLM 从原始医疗报告中提取 ICD-10 代码，并将其存储以便后续比较。

患者友好型报告生成: 使用 LLM 根据原始报告生成多个患者友好型报告 (例如 n=5)。

准确性评估: 将生成的患者友好型报告中的 ICD-10 代码与原始报告中的代码进行比较，并计算准确率。

可读性评估: 使用 Flesch-Kincaid Grade Level 评估生成的报告的可读性级别。

总体评分: 结合准确性和可读性评分，计算每个生成的报告的总体评分。

迭代自省: 使用 Reflexion 框架的 Alfworld 模块，根据总体评分对生成的报告进行迭代自省，并选择最优版本。

模型特点和优势:

自动化生成: 该系统可以自动生成患者友好型报告，无需人工干预。

高准确性: 通过迭代自省和 ICD-10 代码验证，确保生成的报告具有较高的医学准确性。

高可读性: 使用 Flesch-Kincaid Grade Level 评估和优化，确保生成的报告易于患者理解。

端到端集成: 该系统可以与 EHR 系统集成，方便患者直接访问生成的报告。

3. 实验设计与结果分析

实验设计:

数据集: 16 份随机选择的放射科报告，以及来自 SIIM FHIR 服务器的 5 份医疗报告。

LLM 模型: OpenAI GPT-4o (gpt-4o-2024-05-13).

对比方法: 零样本提示 (zero-shot prompting)。

评估指标: 准确性、可读性 (Flesch-Kincaid Grade Level) 和总体评分。

实验数据和结果:

图 4: 总结了多智能体系统和零样本提示方法的结果。

准确性: 多智能体系统的准确率为 94.94%，而零样本提示的准确率为 68.23%。

可读性: 多智能体系统生成的报告的平均可读性级别为 8.846，而零样本提示的平均可读性级别为 5.648。

总体评分: 多智能体系统的总体评分比零样本提示高 17.51%。

实验结果对科学假设的支持:

实验结果表明，多智能体系统生成的报告在准确性和可读性方面均优于零样本提示方法，支持了论文的科学假设。

关键数据:

ICD-10 代码准确率: 多智能体系统 94.94% vs. 零样本提示 68.23%。

平均 Flesch-Kincaid Grade Level: 多智能体系统 8.846 vs. 零样本提示 5.648。

总体评分提升: 多智能体系统 +17.51%。

4. 论文贡献与业界影响

论文贡献:

提出了一种基于多智能体工作流程和 Reflexion 框架的患者友好型医疗报告生成方法。

实证研究表明，该方法可以生成准确、易读的患者友好型报告，并显著减少人工校对需求。

业界影响:

提高患者参与度: 通俗易懂的医疗报告可以帮助患者更好地理解自身病情，提高患者参与度和治疗依从性。

减轻医务人员负担: 自动生成患者友好型报告可以减轻医务人员的负担，让他们专注于更重要的临床任务。

促进医疗信息透明化: 为患者提供清晰易懂的医疗信息，可以提高医疗信息透明度，增强患者对医疗服务的信任。

潜在应用场景和商业机会:

医疗机构: 将该系统集成到 EHR 系统中，为患者提供自动生成的患者友好型报告。

医疗 AI 公司: 开发基于该方法的商业化产品，为医疗机构提供患者友好型报告生成服务。

健康科技公司: 将该方法应用于其他类型的医疗信息，例如检查结果、治疗方案等，为患者提供更全面的健康信息服务。

作为工程师，你应该关注：

LLM 技术: 深入了解 LLM 的最新发展和应用，特别是针对医疗领域的 LLM 模型。

多智能体系统: 研究如何设计和优化多智能体工作流程，以更好地完成医疗任务。

可解释性 AI: 研究如何提高 LLM 的可解释性，使其推理过程更加透明和可理解。

5. 未来研究方向和挑战

扩展到其他医疗领域: 将该方法应用于其他类型的医疗报告，例如病理报告、心电图报告等。

支持多语言: 开发能够生成多种语言的患者友好型报告的系统。

个性化: 根据患者的年龄、文化背景和健康素养水平，生成个性化的患者友好型报告。

情感支持: 探索如何在患者友好型报告中融入情感支持，以减轻患者的焦虑和压力。

新的技术和投资机会：

针对医疗领域的 LLM 模型: 开发专门针对医疗领域训练的 LLM 模型，以提高生成报告的准确性和可读性。

多智能体系统开发框架: 开发用于构建和部署医疗多智能体系统的框架，以简化开发流程。

可解释性 AI 工具: 开发用于解释 LLM 模型推理过程的工具，以提高系统的透明度和可信度。

6. 论文的不足与缺失

数据集规模: 论文使用的放射科报告数据集规模较小，需要在更大规模的数据集上进行验证。

评估指标: 除了准确性和可读性，还需要考虑其他指标，例如患者满意度、对治疗决策的影响等。

缺乏与其他方法的比较: 论文没有与其他患者友好型报告生成方法进行直接比较，例如基于模板的方法。

需要进一步验证和存疑的：

模型的泛化能力: 该系统在处理不同类型、不同复杂程度的医疗报告时的表现如何？

模型的长期稳定性: 随着时间的推移，LLM 模型的性能是否会下降？

模型的安全性: 如何确保 LLM 模型不会生成误导性或有害的信息？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.