Digital Health Insider: 大型语言模型在医学问答中的不确定性量化

大型语言模型（LLM）在医疗领域展现出自然语言生成方面的巨大潜力，但同时也存在编造不实信息的风险。将 LLMs 应用于医学问答系统，需要可靠的不确定性估计（UE）方法来识别这类“幻觉”。本研究对不同规模模型在医学问答数据集上的主流 UE 方法进行了基准测试。结果表明，现有方法在该领域的整体表现不佳，凸显了医学领域 UE 所面临的挑战。我们还观察到，模型规模越大，其结果往往越准确，这意味着模型大小与 UE 可靠性之间存在相关性。为了解决上述问题，我们提出了一种名为“两阶段验证”的无概率不确定性估计方法。该方法首先利用 LLM 生成一个包含推理步骤的解释，并基于此生成验证性问题，用以核实解释中的事实性陈述。随后，模型会独立回答这些问题两次，一次不参考解释，一次参考解释。两次回答之间的差异反映了原始答案的不确定性。我们在三个生物医学问答数据集上，使用 Llama2 聊天模型对该方法进行了评估，并与其他基准方法进行了比较。结果表明，“两阶段验证”方法在不同数据集和模型规模上均表现出最佳的准确性和稳定性，且性能随模型规模的增大而提升。

1. 论文的研究目标及解决的问题

研究目标：
论文的主要研究目标是评估大型语言模型（LLMs）在医疗问答任务中的不确定性估计（Uncertainty Estimation, UE）性能，并提出一种有效的不确定性估计方法以检测模型生成的错误或“幻觉”信息。

实际问题：
在医疗领域，部署大型语言模型用于辅助诊断、临床决策和患者沟通时，模型可能会生成虽然合理但事实上不正确的信息，这种现象被称为“幻觉”。由于医疗决策的高风险性，确保模型输出的可靠性至关重要。因此，需要一种有效的不确定性估计方法来识别模型输出中的不确定性和幻觉信息。

问题的新颖性与重要性：
这是一个相对较新的问题，特别是在LLMs应用于医疗领域的背景下。由于医疗决策直接影响人类生命，确保模型输出的准确性和可靠性对于医疗AI的发展具有重要意义。这不仅关乎技术本身的进步，也影响到公众对AI医疗的信任度及其广泛应用的可能性。

2. 论文提出的新思路、方法或模型

新思路与方法：
论文提出了**两阶段验证（Two-phase Verification）**方法，这是一种不依赖于概率的不确定性估计方法。具体步骤如下：

生成逐步解释：对于每个问题，LLM生成一个初步答案，并附带逐步解释。
规划验证问题：针对解释中的每个步骤，模型生成验证问题，以检查事实声明的真实性。
执行验证：模型首先独立回答验证问题，然后参考初步解释再次回答相同问题。通过比较两次回答的不一致性来评估不确定性。

关键与优势：

不依赖于概率：与基于熵的方法不同，两阶段验证不依赖于模型输出的概率分布，因此可以应用于黑盒模型。
逐步解释：将模型推理过程分解为可独立验证的步骤，增强了验证的细致性和准确性。
不一致性检测：通过比较独立回答和参考解释后的回答，有效地识别出潜在的幻觉信息。

3. 实验设计与结果

实验设计：

模型：使用Llama2Chat模型，包括7B和13B两种规模。
数据集：三个生物医学问答数据集（PubMedQA、MedQA、MedMCQA），覆盖不同类型的医疗问题。
基准方法：包括Lexical Similarity、Semantic Entropy、Predictive Entropy、Length-normalized Entropy、Step Verification和Chain-of-Verification。

实验结果：

基准方法表现：大多数基准方法在医疗问答任务中的不确定性估计性能不佳，特别是小模型表现更差。
两阶段验证表现：在所有实验组合中，两阶段验证方法实现了最高的平均AUROC分数（0.5858），并且随着模型规模的增加，性能也显著提升。
稳定性和可扩展性：两阶段验证方法在不同数据集和模型规模下均表现出稳定且优异的性能。

关键数据引用：

"Table 1显示了各种不确定性估计方法在不同数据集和模型规模下的AUROC结果。两阶段验证方法（Two-phase Verification）在大多数组合中取得了最高AUROC分数，并且平均AUROC（0.5858）显著高于其他方法。"

4. 论文的贡献与业界影响

贡献：

提出新方法：两阶段验证方法为医疗问答中的不确定性估计提供了一种有效的新思路。
性能显著提升：相比现有方法，两阶段验证在多个数据集和模型规模下均表现出更优性能。
推动医疗AI发展：为医疗领域LLMs的可靠部署提供了技术支持，增强了公众对AI医疗的信任度。

业界影响与商业机会：

增强AI医疗应用的可靠性：通过有效的不确定性估计，提高AI医疗决策的准确性，减少误诊风险。
推动AI医疗产品的商业化：提高产品性能和市场接受度，为AI医疗企业带来更多商业机会。
拓展应用场景：如智能诊断助手、远程医疗咨询、个性化治疗方案推荐等。

5. 未来研究方向与挑战

研究方向：

优化验证问题生成：提高验证问题的质量和相关性，以更准确地检测模型输出中的幻觉信息。
集成外部知识库：利用专业医疗知识库提升模型对验证问题的回答质量，进一步增强不确定性估计的准确性。
跨领域应用探索：将两阶段验证方法应用于其他高风险领域，如法律、金融等。

挑战：

知识获取与表示：如何高效获取并准确表示专业领域的知识，是提升LLMs性能的关键。
模型可解释性：提高LLMs的可解释性，有助于更好地理解和评估模型输出。
计算资源需求：大规模模型的训练和推理需要高昂的计算资源，如何优化资源使用是一个挑战。

6. 论文的不足与存疑

不足：

验证问题生成的局限性：验证问题的生成可能受模型语言连贯性和上下文理解能力的限制，影响验证效果。
依赖模型内部逻辑：尽管不依赖于概率，但两阶段验证仍依赖于模型内部的推理逻辑，存在潜在偏差。

存疑：

不同领域适应性：论文主要关注医疗领域，该方法在其他领域的应用效果尚待验证。
长期性能稳定性：随着模型的不断更新和迭代，两阶段验证方法的长期性能稳定性仍需进一步观察。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

大型语言模型在医学问答中的不确定性量化