Digital Health Insider: 通过非典型病例校准增强医疗保健领域大型语言模型 (LLM) 的可靠性

黑盒大型语言模型 (LLM) 越来越多地部署在各种环境中，因此这些模型必须能够有效地传达其置信度和不确定性，尤其是在高风险环境中。然而，这些模型经常表现出置信度过高，导致潜在的风险和错误判断。现有的用于获取和校准 LLM 置信度的技术主要集中在一般推理数据集上，仅产生了适度的改进。准确的校准对于明智的决策和防止不良后果至关重要，但由于这些模型执行的任务的复杂性和可变性，这仍然具有挑战性。在这项工作中，我们调查了黑盒 LLM 在医疗保健环境中的错误校准行为。我们提出了一种新颖的方法，即非典型病例校准，它利用非典型表现来调整模型的置信度估计。我们的方法显著改善了校准，将三个医学问答数据集的校准误差减少了大约 60%，并且优于现有方法，例如普通的口头表达置信度、思维链口头表达置信度等。此外，我们还深入分析了非典型性在重新校准框架中的作用。代码可以在 https://github.com/jeremy-qin/medical_confidence_elicitation 找到。

1. 论文的研究目标与实际问题

研究目标

论文《Enhancing Healthcare LLM Trust with Atypical Presentations Recalibration》的主要研究目标是探索并改善大型语言模型（LLMs）在医疗问答任务中的置信度校准问题。特别是，针对黑盒LLMs在医疗领域中的过度自信现象，提出一种新颖的方法来提高模型的置信度估计准确性，进而增强医疗决策的可信度和透明度。

实际问题

随着大型语言模型在各个领域的广泛应用，其在高风险环境（如医疗领域）中的可靠性成为关键议题。现有的LLMs在处理医疗问答时，往往表现出过度自信，这可能导致误诊、误判等不良后果。因此，如何准确校准LLMs的置信度，使其在医疗决策中提供更有价值的参考，是当前亟待解决的问题。

是否是新问题

是。尽管已有研究探讨了LLMs的置信度校准问题，但大多数研究集中在通用推理任务上，而针对需要专业知识的医疗领域的研究相对较少，且存在显著改进空间。

科学假设

论文假设通过引入不典型症状（Atypical Presentations）的概念，可以有效调整LLMs在医疗问答中的置信度估计，从而提高校准精度。

值得关注的研究员

论文作者包括Jeremy Qin、Bang Liu和Quoc Dinh Nguyen等，他们在LLMs的应用与校准领域有着深入研究。

2. 新思路、方法或模型

新思路

论文提出了一种新颖的方法——不典型症状重校准（Atypical Presentations Recalibration），该方法通过评估医疗场景中的不典型症状来调整LLMs的置信度估计。

关键方法

不典型症状提示（Atypicality Prompting）：设计两种提示策略来引导LLMs评估医疗场景中的不典型性：
- 不典型症状提示：评估每个症状的不典型性。
- 不典型场景提示：评估整个医疗场景的不典型性。
重校准方法：利用不典型性评分对初始置信度进行非线性后处理校准，具体公式为： $C C_{i} = C_{i} \times \frac{1}{K} k = 1 \sum K e^{A_{k} - 1}$ 其中， $C_{i}$ 为初始置信度， $A_{k}$ 为不典型性评分， $K$ 为症状或场景的个数。

特点与优势

领域针对性：首次将不典型症状的概念引入医疗领域的LLMs置信度校准中。
显著改进：实验结果显示，新方法在三个医疗问答数据集上显著降低了校准误差（约60%）。
灵活性与普适性：该方法不仅适用于黑盒LLMs，还可以扩展到其他需要置信度校准的任务和领域。

3. 实验设计与结果

实验设计

数据集：使用三个英文医疗问答数据集（MedQA、MedMCQA、PubMedQA）。
模型：测试了多种商业LLMs，包括GPT-3.5-turbo、GPT-4-turbo、Claude3-sonnet和Gemini1.0Pro。
评估指标：采用预期校准误差（ECE）、Brier分数和AUROC等指标来评估置信度校准效果。

实验结果

校准精度提升：新方法在三个数据集上均显著降低了ECE和Brier分数，特别是在GPT-3.5-turbo模型上，ECE降低了约60%。
不典型场景提示效果更佳：在不典型场景提示下，模型表现出更好的校准效果，进一步验证了不典型性在置信度校准中的重要性。
性能与校准误差分析：实验发现，模型的性能（准确率）与问题的典型性之间并没有一致的关系，表明LLMs在处理不典型问题时也具有一定的鲁棒性。然而，校准误差却与不典型性无显著相关性，说明校准问题受到多种因素的影响。

4. 论文贡献与影响

贡献

理论贡献：提出了不典型症状重校准方法，填补了LLMs在医疗领域置信度校准方面的空白。
实践贡献：通过实验验证了新方法的有效性，显著提高了LLMs在医疗问答任务中的置信度校准精度。

业界影响

提升医疗决策可信度：新方法有望为医生提供更可靠的辅助诊断信息，减少误诊风险。
推动AI医疗应用：增强了LLMs在医疗领域的实用性，促进了AI医疗技术的普及和发展。

应用场景与商业机会

智能问诊系统：将新方法应用于在线问诊平台，提高诊断准确性。
医疗辅助决策支持系统：为医院提供基于AI的辅助决策工具，优化医疗资源配置。
个性化医疗服务：结合患者个体差异和疾病不典型表现，提供定制化的医疗建议和健康管理方案。

5. 未来研究方向与挑战

值得探索的问题

不典型症状的自动识别：开发更智能的方法自动识别医疗数据中的不典型症状。
跨领域校准方法：研究适用于不同医疗领域和任务的通用校准方法。
白盒模型校准：探索在白盒LLMs中实现置信度校准的可能性及其优势。

新技术与投资机会

AI医疗校准技术：随着医疗AI技术的不断发展，针对LLMs的置信度校准技术将成为新的投资热点。
医疗数据服务：高质量的医疗数据集是校准技术发展的关键，相关数据采集、标注和服务将成为新的商业机会。

6. 论文的不足与存疑

不足

数据集局限性：实验数据集相对有限，未来需要扩展到更多样化的医疗问答任务和数据集上。
模型依赖性：当前方法主要针对商业LLMs，未来应测试并优化适用于开源LLMs的校准策略。
提示策略优化：虽然提出了两种提示策略，但可能仍存在更优的提示设计以提高校准效果。

存疑

校准机制的深入理解：需要进一步研究LLMs在处理不典型症状时的内在机制及其对校准效果的影响。
跨领域泛化能力：验证新方法在其他高风险领域（如金融、法律）的适用性和有效性。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

Digital Health Insider

通过非典型病例校准增强医疗保健领域大型语言模型 (LLM) 的可靠性