基于 Agent 不确定性意识的开源大型语言模型提升自动化放射报告标注

目的： 旨在通过整合基于 Agent 的不确定性感知方法，提升大型语言模型 (LLMs) 从放射学报告中提取结构化数据的可靠性和性能，尤其是在处理包含复杂及非英语文本（如希伯来语）的领域，最终在医疗应用中实现可信赖的预测。

材料与方法：

本回顾性研究分析了来自三家医疗中心的 9,683 份克罗恩病患者（2010–2023 年）的希伯来语放射学报告。 研究人员手动标注了 512 份报告子集，标注内容涵盖六个胃肠器官和 15 项病理学发现；剩余数据则使用 HSMP-BERT 模型自动标注。

结构化数据提取采用了开源 LLM Llama 3.1 (Llama 3-8b-instruct) ，并结合贝叶斯提示集成 (BayesPE) 技术，利用六个语义等效的提示进行不确定性评估。 Agent 决策模型将多个提示输出整合，并将其归纳为五个置信度等级，用于不确定性校准，并与三种基于熵的模型进行了性能对比。 性能评估指标包括准确率、F1 分数、精确率、召回率和 Cohen’s Kappa 系数，评估均在过滤高不确定性病例前后进行。

结果： 基于 Agent 的模型在所有评估指标上均优于基线模型，F1 分数达到 0.3967，召回率 0.6437，Cohen’s Kappa 系数为 0.3006。 过滤掉高不确定性病例（置信度 ≥ 0.5）后，F1 分数提升至 0.4787，Kappa 系数升至 0.4258。 不确定性直方图清晰地展示了正确预测与错误预测之间的区分，其中基于 Agent 的模型展现出最佳的不确定性校准预测效果。

结论： 整合不确定性感知的提示集成方法以及 Agent 决策模型，能够显著增强 LLM 从放射学报告中提取结构化数据的性能和可靠性，为高风险医疗应用提供了一种经过良好校准且可解释性强的方法。

1. 论文的研究目标

1.1. 想要解决什么实际问题？

论文旨在提高大型语言模型（LLMs）从放射学报告中提取结构化数据的可靠性和性能，特别是在处理复杂和非英语文本（如希伯来语）的情况下。通过引入基于智能体的不确定性感知的LLM方法，以实现医学应用中的可信预测。

"Purpose: To improve the reliability and performance of Large Language Models (LLMs) in extracting structured data from radiology reports, particularly in domains with complex and non-English texts (e.g., Hebrew), by incorporating agent-based uncertainty-awareness method to achieve trustworthy predictions in medical applications." (Abstract)

1.2. 这是否是一个新的问题？

这并不是一个全新的问题。从非结构化文本中提取结构化数据一直是自然语言处理领域的一个研究热点。然而，将LLMs应用于医学领域，特别是处理非英语的、复杂的放射学报告，并结合不确定性估计，是一个相对较新的研究方向。

1.3. 这个问题对于产业发展有什么重要意义？

解决这个问题对于推动医疗AI的发展和应用具有重要意义。放射学报告是医疗决策、回顾性研究和放射学图像注释的重要信息来源。自动提取结构化数据可以：

• 提高效率: 减少人工标注的工作量，加快数据处理速度。

• 提高一致性: 减少不同标注者之间的差异，提高数据质量。

• 促进研究: 为大规模研究提供高质量的结构化数据。

• 改善临床决策: 为临床医生提供更准确、更可靠的信息支持。

2. 论文提出的新思路、方法

2.1. 提出了哪些新的思路、方法或模型?

论文提出了以下创新：

1. 基于智能体的不确定性感知方法(Agent-Based Decision Model): 引入了一个智能体决策模型，该模型综合多个语义上等价的提示（prompt）的输出，并对最终决策进行不确定性评估。

2. 贝叶斯提示集成（Bayesian Prompt Ensembles, BayesPE）: 利用BayesPE方法，通过多个语义等价的提示来估计LLM生成预测的不确定性。

3. 希伯来语放射学报告: 将该方法应用于希伯来语放射学报告，填补了非英语医学文本处理的空白。

4. 多中心数据: 使用来自三个医疗中心的克罗恩病患者的9683份希伯来语放射学报告进行回顾性研究。

2.2. 论文中提到的解决方案之关键是什么？

关键在于结合了贝叶斯提示集成和智能体决策模型。

• 贝叶斯提示集成: 通过多个语义等价的提示，让LLM对同一问题进行多次回答，从而捕捉模型预测的不确定性。

• 智能体决策模型: 综合多个提示的输出，生成一个最终的决策，并对该决策进行不确定性评估。智能体模型会评估不同提示输出的一致性、解释的清晰度和连贯性，并识别不确定性的迹象。

2.3. 跟之前的方法相比有什么特点和优势?

特点	传统方法	本文方法
不确定性估计	通常不考虑或使用简单的方法（如置信度分数）	使用贝叶斯提示集成和智能体决策模型，提供更精细的不确定性评估
提示多样性	通常使用单一提示	使用多个语义等价的提示，捕捉模型预测的多样性
决策机制	通常直接使用LLM的输出	使用智能体决策模型，综合多个提示的输出，生成最终决策
语言	主要关注英语	关注希伯来语，填补了非英语医学文本处理的空白
数据规模	数据规模通常较小	使用来自三个医疗中心的9683份报告，数据规模较大
优势	简单易行	提高模型预测的可靠性、准确性和可解释性，尤其是在高风险的医疗应用中
总结	"Overconfidence in predictions undermines reliability in high-stakes medical contexts [9], highlighting the need for robust methods to assess and manage uncertainty." (Introduction)	"Incorporating uncertainty-aware prompt ensembles and an agent-based decision model significantly enhances the performance and reliability of LLMs..." (Conclusion)

总结:

论文的主要创新在于提出了一个基于智能体的不确定性感知方法，用于从放射学报告中提取结构化数据。该方法结合了贝叶斯提示集成和智能体决策模型，提高了模型预测的可靠性和准确性，特别是在处理非英语文本时。

3. 论文的实验验证

3.1. 通过什么实验来验证所提出方法的有效性?

论文通过以下实验来验证所提出的方法的有效性：

1. 数据: 使用来自三个医疗中心的9683份克罗恩病患者的希伯来语放射学报告。

2. 标注: 随机选择了512份报告进行人工标注，标注了6个胃肠道器官和15种病理发现。其余数据使用HSMP-BERT模型进行自动标注。

3. 模型: 使用Llama 3.1 (Llama 3-8b-instruct)作为基础LLM，并使用BayesPE方法生成多个提示。

4. 对比方法:

   • Baseline: 使用单一提示的LLM。

   • Uniform weights: 对所有提示的输出赋予相同的权重。

   • Linearly optimized weights: 使用少量验证集优化提示的权重。

   • Learnable weights using MLP: 使用多层感知器（MLP）学习提示的权重。

   • Agent-based decision model: 使用智能体决策模型综合多个提示的输出。

5. 评估指标: 准确率（Accuracy）、F1分数、精确率（Precision）、召回率（Recall）和科恩Kappa系数（Cohen's Kappa）。

6. 不确定性过滤: 根据模型预测的不确定性，过滤掉高不确定性的样本，评估过滤后的性能。

3.2. 实验是如何设计的?

1. 数据预处理: 将放射学报告转换为结构化数据提取任务，即判断每个器官是否存在特定的病理发现。

2. 提示生成: 使用ChatGPT生成6个语义上等价的提示。

3. 模型训练:

   • Baseline: 直接使用Llama 3.1模型进行预测。

   • Uniform weights: 对所有提示的输出进行平均。

   • Linearly optimized weights: 使用50个样本的验证集优化提示的权重。

   • Learnable weights using MLP: 使用MLP模型学习提示的权重，训练数据为自动标注的数据。

   • Agent-based decision model: 使用Llama 3-70B模型作为智能体，综合多个提示的输出。

4. 评估: 在人工标注的测试集上评估不同方法的性能。

5. 不确定性过滤: 根据模型预测的不确定性，分别过滤掉不确定性大于等于0.5的样本和最多20%的样本，评估过滤后的性能。

3.3. 实验数据和结果如何?

• 未过滤结果 (Table 1):

  • Agent-based model: 在F1分数（0.3967）、召回率（0.6437）和Kappa系数（0.3006）上表现最佳。

  • MLP model: 在准确率（0.8605）和精确率（0.3772）上表现最佳。

  • Baseline (single-prompt): 表现最差。

• 不确定性直方图 (Figures 3 & 4):

  • Agent-based model: 在区分正确预测和错误预测方面表现最好，不确定性分布有明显的分离。

• 过滤结果 (Tables 3 & 4):

  • 过滤高不确定性样本后，所有方法的性能均有所提高。

  • Agent-based model: 在过滤后仍然保持较高的F1分数和召回率。

  • MLP model: 在过滤后仍然保持较高的准确率和精确率。

3.4. 实验及结果有没有很好地支持需要验证的科学假设？

实验结果有力地支持了论文的假设，即：

1. 基于智能体的不确定性感知方法可以提高LLMs从放射学报告中提取结构化数据的可靠性和性能。

2. 贝叶斯提示集成可以有效地估计LLM预测的不确定性。

3. 通过过滤高不确定性样本，可以进一步提高模型的性能。

4. 论文的贡献和影响

4.1. 论文到底有什么贡献？

1. 提出了一个基于智能体的不确定性感知方法: 用于提高LLMs从放射学报告中提取结构化数据的可靠性和性能。

2. 验证了贝叶斯提示集成的有效性: 证明了BayesPE方法可以有效地估计LLM预测的不确定性。

3. 展示了不确定性过滤的价值: 表明通过过滤高不确定性样本可以进一步提高模型的性能。

4. 填补了非英语医学文本处理的空白: 将该方法应用于希伯来语放射学报告，为非英语医学文本处理提供了新的思路。

5. 提供了详细的实验结果和分析: 为未来的研究提供了参考和借鉴。

4.2. 论文的研究成果将给业界带来什么影响?

1. 推动医疗AI的发展: 为开发更可靠、更准确的医疗AI应用提供了新的方法。

2. 改善临床决策: 可以帮助医生更准确地解读放射学报告，从而做出更好的临床决策。

3. 促进医学研究: 可以为大规模医学研究提供高质量的结构化数据。

4. 激发更多相关研究: 鼓励更多研究者关注LLMs在医学领域的应用，并探索更有效的不确定性估计方法。

4.3. 有哪些潜在的应用场景和商业机会?

1. 自动生成结构化放射学报告: 将非结构化的放射学报告自动转换为结构化数据，方便医生查阅和分析。

2. 临床决策支持系统: 为医生提供基于放射学报告的诊断和治疗建议。

3. 医学图像检索: 根据放射学报告中的结构化数据，检索相关的医学图像。

4. 医学研究数据挖掘: 从大量的放射学报告中提取有价值的信息，用于医学研究。

5. 患者教育: 将复杂的放射学报告转换为患者易于理解的信息。

4.4. 作为工程师的我应该关注哪些方面?

1. LLMs: 深入了解LLMs的原理、架构和应用。

2. 自然语言处理: 掌握自然语言处理的基本技术，如文本预处理、特征提取、命名实体识别等。

3. 不确定性估计: 学习各种不确定性估计方法，如贝叶斯方法、集成方法等。

4. 智能体技术: 了解智能体的概念和应用，以及如何将智能体技术与LLMs结合。

5. 医学知识: 了解基本的医学术语和概念，有助于更好地理解任务需求和数据。

6. 希伯来语处理: 如果有兴趣处理希伯来语数据，需要学习相关的语言处理技术。

5. 未来的研究方向

5.1. 未来在该研究方向上还有哪些值得进一步探索的问题和挑战?

1. 多模态数据融合: 将放射学报告与其他模态的数据（如医学图像、患者病史等）相结合，提高信息提取的准确性和全面性。

2. 更精细的不确定性估计: 探索更精细的不确定性估计方法，例如区分认知不确定性（epistemic uncertainty）和偶然不确定性（aleatoric uncertainty）。

3. 可解释性: 提高模型的可解释性，让医生能够理解模型的决策过程和不确定性来源。

4. 实时应用: 将该方法应用于实时场景，例如在医生撰写放射学报告时提供实时辅助。

5. 多语言支持: 将该方法扩展到其他语言，例如中文、西班牙语等。

6. 更复杂的任务: 将该方法应用于更复杂的任务，例如生成完整的放射学报告摘要、回答患者关于放射学报告的问题等。

7. 更有效的不确定性过滤: 探索更有效的不确定性过滤策略，例如根据不同的任务和应用场景设置不同的过滤阈值。

5.2. 这可能催生出什么新的技术和投资机会?

1. 多模态医疗AI平台: 开发能够处理多种模态医疗数据的AI平台，提供更全面的诊断和治疗支持。

2. 可解释AI技术: 开发能够解释自身决策过程的AI模型，提高模型的可信度。

3. 实时辅助诊断工具: 开发能够在医生撰写报告时提供实时辅助的工具，提高工作效率和准确性。

4. 多语言医疗信息处理: 开发支持多种语言的医疗信息处理工具，打破语言障碍。

6. 论文的不足及缺失（Critical Thinking）

6.1. 这篇论文还存在哪些不足及缺失？

1. 数据偏倚: 数据集主要来自克罗恩病患者的放射学报告，可能存在偏倚，限制了模型的泛化能力。

2. 语言限制: 目前只关注了希伯来语，需要进一步扩展到其他语言。

3. 模型选择: 只使用了Llama 3.1模型，需要评估其他LLMs的性能。

4. 人工标注规模: 人工标注的数据集规模较小，可能影响模型的训练效果。

5. 评估指标: 评估指标主要关注准确率、F1分数等，缺乏对模型生成结果的流畅性、可读性等方面的评估。

6. 临床验证: 需要在真实临床环境中验证模型的有效性和可用性。

6.2. 有哪些需要进一步验证和存疑的？

1. 模型的泛化能力: 需要在更多不同类型的放射学报告和疾病上验证模型的泛化能力。

2. 智能体模型的优化: 需要进一步优化智能体模型的决策机制和不确定性评估方法。

3. 与其他方法的比较: 需要与其他先进的结构化数据提取方法进行更全面的比较。

4. 计算成本: 评估和优化整个pipeline的计算成本。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.