利用智能体 LLM (大型语言模型) 工作流程打造通俗易懂的患者友好型医疗报告

大型语言模型 (LLM) 的能力正在快速发展，其中一个潜在的应用场景是将正式的医疗报告转换为通俗易懂的患者友好型报告。目前，LLM 的输出通常需要由人工进行编辑和评估，以确保事实准确性和可理解性，上述应用场景也是如此。我们的目标是通过使用 Reflexion 框架提出一个智能体工作流程来最大程度地减少此步骤，该框架使用迭代自我反思来纠正 LLM 的输出。该流程在 16 份随机放射学报告上进行了测试，并与零样本提示方法进行了比较。在我们的多智能体方法中，查看 ICD-10 代码的验证时，报告的准确率为 94.94%，而零样本提示报告的准确率为 68.23%。此外，81.25% 的最终反思报告在准确性和可读性方面无需更正，而只有 25% 的零样本提示报告无需修改即可满足这些标准。这些结果表明，我们的方法提供了一种可行的方法，能够快速、高效、连贯地将临床发现传达给患者，同时保持医学准确性。代码库可在 http://github.com/malavikhasudarshan/Multi-Agent-Patient-Letter-Generation 查看。

. 研究目标与相关工作

研究目标:

• 开发一个能够生成患者友好型医疗报告的多智能体 LLM 系统。

• 利用 Reflexion 框架的迭代自省机制，最小化人工校对和验证的需求。

• 确保生成的患者友好型报告在保持医学准确性的同时，易于患者理解。

实际问题:

• 患者难以理解包含专业医学术语的医疗报告，例如放射科报告。

• 单纯使用 LLM 进行零样本生成，容易出现幻觉、信息不完整、语气不专业等问题。

• 需要一种能够自动生成高质量患者友好型报告的方法，以减轻医务人员负担，并提高患者参与度。

科学假设:

通过结合多智能体工作流程和 Reflexion 框架的迭代自省机制，可以生成既准确又易读的患者友好型医疗报告。

相关工作:

• 患者友好型医疗报告生成: [4, 7, 8, 9, 10, 11].

• LLM 在医疗保健领域的应用: [5, 6, 23, 24, 25].

• 多智能体 LLM 系统: [12, 13].

• Reflexion 框架: [14].

值得关注的研究员:

• Nicholas Shinn: Google AI, Reflexion 框架的主要作者之一，研究方向包括强化学习和 LLM。

• George Shih: Weill Cornell Medicine, 放射科医生，专注于利用 LLM 生成患者友好型放射科报告。

2. 新思路、方法和模型

新思路:

• 利用多智能体工作流程，将患者友好型报告生成任务分解为多个子任务，例如 ICD-10 代码提取、文本生成和报告评估。

• 使用 Reflexion 框架的 Alfworld 模块，通过迭代自省机制优化 LLM 生成的患者友好型报告。

关键方法:

• ICD-10 代码提取: 使用 LLM 从原始医疗报告中提取 ICD-10 代码，并将其存储以便后续比较。

• 患者友好型报告生成: 使用 LLM 根据原始报告生成多个患者友好型报告 (例如 n=5)。

• 准确性评估: 将生成的患者友好型报告中的 ICD-10 代码与原始报告中的代码进行比较，并计算准确率。

• 可读性评估: 使用 Flesch-Kincaid Grade Level 评估生成的报告的可读性级别。

• 总体评分: 结合准确性和可读性评分，计算每个生成的报告的总体评分。

• 迭代自省: 使用 Reflexion 框架的 Alfworld 模块，根据总体评分对生成的报告进行迭代自省，并选择最优版本。

模型特点和优势:

• 自动化生成: 该系统可以自动生成患者友好型报告，无需人工干预。

• 高准确性: 通过迭代自省和 ICD-10 代码验证，确保生成的报告具有较高的医学准确性。

• 高可读性: 使用 Flesch-Kincaid Grade Level 评估和优化，确保生成的报告易于患者理解。

• 端到端集成: 该系统可以与 EHR 系统集成，方便患者直接访问生成的报告。

3. 实验设计与结果分析

实验设计:

• 数据集: 16 份随机选择的放射科报告，以及来自 SIIM FHIR 服务器的 5 份医疗报告。

• LLM 模型: OpenAI GPT-4o (gpt-4o-2024-05-13).

• 对比方法: 零样本提示 (zero-shot prompting)。

• 评估指标: 准确性、可读性 (Flesch-Kincaid Grade Level) 和总体评分。

实验数据和结果:

• 图 4: 总结了多智能体系统和零样本提示方法的结果。

• 准确性: 多智能体系统的准确率为 94.94%，而零样本提示的准确率为 68.23%。

• 可读性: 多智能体系统生成的报告的平均可读性级别为 8.846，而零样本提示的平均可读性级别为 5.648。

• 总体评分: 多智能体系统的总体评分比零样本提示高 17.51%。

实验结果对科学假设的支持:

实验结果表明，多智能体系统生成的报告在准确性和可读性方面均优于零样本提示方法，支持了论文的科学假设。

关键数据:

• ICD-10 代码准确率: 多智能体系统 94.94% vs. 零样本提示 68.23%。

• 平均 Flesch-Kincaid Grade Level: 多智能体系统 8.846 vs. 零样本提示 5.648。

• 总体评分提升: 多智能体系统 +17.51%。

4. 论文贡献与业界影响

论文贡献:

• 提出了一种基于多智能体工作流程和 Reflexion 框架的患者友好型医疗报告生成方法。

• 实证研究表明，该方法可以生成准确、易读的患者友好型报告，并显著减少人工校对需求。

业界影响:

• 提高患者参与度: 通俗易懂的医疗报告可以帮助患者更好地理解自身病情，提高患者参与度和治疗依从性。

• 减轻医务人员负担: 自动生成患者友好型报告可以减轻医务人员的负担，让他们专注于更重要的临床任务。

• 促进医疗信息透明化: 为患者提供清晰易懂的医疗信息，可以提高医疗信息透明度，增强患者对医疗服务的信任。

潜在应用场景和商业机会:

• 医疗机构: 将该系统集成到 EHR 系统中，为患者提供自动生成的患者友好型报告。

• 医疗 AI 公司: 开发基于该方法的商业化产品，为医疗机构提供患者友好型报告生成服务。

• 健康科技公司: 将该方法应用于其他类型的医疗信息，例如检查结果、治疗方案等，为患者提供更全面的健康信息服务。

作为工程师，你应该关注：

• LLM 技术: 深入了解 LLM 的最新发展和应用，特别是针对医疗领域的 LLM 模型。

• 多智能体系统: 研究如何设计和优化多智能体工作流程，以更好地完成医疗任务。

• 可解释性 AI: 研究如何提高 LLM 的可解释性，使其推理过程更加透明和可理解。

5. 未来研究方向和挑战

• 扩展到其他医疗领域: 将该方法应用于其他类型的医疗报告，例如病理报告、心电图报告等。

• 支持多语言: 开发能够生成多种语言的患者友好型报告的系统。

• 个性化: 根据患者的年龄、文化背景和健康素养水平，生成个性化的患者友好型报告。

• 情感支持: 探索如何在患者友好型报告中融入情感支持，以减轻患者的焦虑和压力。

新的技术和投资机会：

• 针对医疗领域的 LLM 模型: 开发专门针对医疗领域训练的 LLM 模型，以提高生成报告的准确性和可读性。

• 多智能体系统开发框架: 开发用于构建和部署医疗多智能体系统的框架，以简化开发流程。

• 可解释性 AI 工具: 开发用于解释 LLM 模型推理过程的工具，以提高系统的透明度和可信度。

6. 论文的不足与缺失

• 数据集规模: 论文使用的放射科报告数据集规模较小，需要在更大规模的数据集上进行验证。

• 评估指标: 除了准确性和可读性，还需要考虑其他指标，例如患者满意度、对治疗决策的影响等。

• 缺乏与其他方法的比较: 论文没有与其他患者友好型报告生成方法进行直接比较，例如基于模板的方法。

需要进一步验证和存疑的：

• 模型的泛化能力: 该系统在处理不同类型、不同复杂程度的医疗报告时的表现如何？

• 模型的长期稳定性: 随着时间的推移，LLM 模型的性能是否会下降？

• 模型的安全性: 如何确保 LLM 模型不会生成误导性或有害的信息？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.