Digital Health Insider: 语言模型可作为可校准的决策者：数据集构建及在医疗分诊领域的应用

在复杂的决策过程中，由于不存在绝对正确的答案，专家之间持有不同意见的情况十分普遍。个人的决策往往受到多种属性的影响。本研究引入了一个全新的医疗分诊决策数据集，该数据集使用一组决策者属性（DMA）进行标注，包含 62 个涵盖六种不同 DMA 的场景，其中包括公平、道德价值等伦理原则。研究团队还提出了一种利用 DMA 进行人类一致性决策的软件框架，旨在为构建更安全、更值得信赖的人工智能系统提供保障。具体而言，研究展示了大型语言模型（LLMs）如何作为符合伦理的决策者，以及如何利用零样本提示技术使其决策与不同的 DMA 保持一致。实验部分评估了 Falcon、Mistral 和 Llama 2 等不同规模和训练技术的开源模型。此外，研究还提出了一种全新的加权自洽性方法，用以提升整体量化性能。本研究为未来将 LLMs 发展成为可校准的决策者提供了新的研究方向，并将公开发布数据集和开源软件：https://github. com/ITM-Kitware/llm-alignable-dm。

一、研究目标及实际问题

研究目标：
论文的研究目标在于引入一种新颖的决策数据集，用于医疗分流决策领域，并通过使用大型语言模型（LLMs）作为可对齐的决策者，探索如何将这些模型与不同的决策者属性（DMAs）对齐，以适应不同的伦理原则，如公平性和道德应得性。

实际问题：
在复杂的医疗分流决策场景中，专家之间往往存在不同的意见，因为可能没有一个绝对的正确答案。这些决策可能受到不同属性的影响，这些属性可以用来描述个体的决策特征。论文尝试解决的问题是如何利用LLMs来捕捉并模拟人类决策者的这些属性，使得AI决策更加符合人类的价值观和期望。

问题的重要性：
这个问题对于医疗信息化和AI在医疗领域的应用具有重要意义。随着医疗资源的日益紧张，如何有效利用这些资源，为患者提供最优的医疗服务，成为了亟待解决的问题。通过使AI决策与人类决策者的价值观对齐，可以更好地提高医疗服务的效率和公平性。

二、新思路、方法及模型

新思路：
论文提出了一个新颖的数据集，用于医疗分流决策，该数据集包含了一系列场景，每个场景都标记了多个DMAs。通过这一数据集，论文探索了如何使LLMs作为可对齐的决策者，服务于医疗分流决策领域。

方法：
论文采用了一种零次学习提示策略，并结合加权自洽性（weighted self-consistency）的方法，将LLMs的决策与不同的DMAs对齐。具体来说，通过在输入提示中包含DMA的定义和描述，引导LLMs根据特定的属性进行决策。加权自洽性则通过多次采样模型输出，并根据目标属性值进行加权投票，以确定最终答案。

关键与优势：

动态对齐：与之前的强化学习从人类反馈（RLHF）的对齐方法不同，本文的对齐是动态的，可以根据不同个体的偏好和价值观进行调整。
多属性决策：通过引入DMAs的概念，论文使得LLMs能够在多个属性之间进行权衡和选择，更符合实际决策场景。
零次学习：无需对模型进行微调或重训练，大大降低了成本和时间。

三、实验设计与结果

实验设计：
论文进行了一系列实验，以验证所提出的对齐方法的有效性。实验主要围绕三种模型配置展开：未对齐模型、使用零次学习提示的对齐模型、以及结合加权自洽性的对齐模型。实验数据基于论文中提出的医疗分流决策数据集，涵盖了六种不同的DMAs。

实验数据与结果：
实验结果表明，通过结合零次学习提示和加权自洽性，LLMs的决策可以更好地与不同的DMAs对齐。具体来说，Llama2-13B模型在结合了加权自洽性后，对齐准确率显著提高。此外，实验还发现较大的模型通常更容易对齐，且通过RLHF训练的模型在对齐方面表现更好。

科学假设支持：
实验结果很好地支持了论文提出的科学假设，即通过使用特定的提示和加权自洽性策略，可以将LLMs的决策与不同的DMAs对齐，使得AI决策更加符合人类的价值观和期望。

四、论文贡献与影响

论文贡献：

数据集：引入了一个新颖的医疗分流决策数据集，该数据集包含多种场景和DMAs，为相关研究提供了宝贵的资源。
方法：提出了一种新的零次学习提示策略，结合加权自洽性，使得LLMs可以作为可对齐的决策者，服务于医疗分流决策领域。
软件框架：开发了一个可扩展的开源软件框架，为相关研究和应用提供了便利。

产业影响：

医疗信息化：通过使AI决策与人类决策者的价值观对齐，可以提高医疗服务的效率和公平性，推动医疗信息化的发展。
AI伦理：该研究为AI伦理提供了新的思路和方法，有助于构建更加安全和可信赖的AI系统。

应用场景与商业机会：

智能医疗分流系统：基于论文提出的方法，可以开发智能医疗分流系统，辅助医生进行更高效的医疗分流决策。
AI决策支持系统：该方法还可以应用于其他需要决策支持的领域，如金融、法律等，为AI决策提供更加可靠和可信的基础。

五、未来探索与挑战

未来探索：

多属性对齐：研究如何将LLMs同时与多个DMAs对齐，以处理更复杂的决策场景。
动态价值观：探索如何根据具体情境的变化，动态调整LLMs的价值观，使其更加符合实际需求。
模型可解释性：提高模型决策的可解释性，增强用户对AI决策的信任和理解。

挑战：

数据稀缺性：医疗分流决策领域的标注数据相对稀缺，如何获取更多高质量的数据是一个挑战。
模型泛化能力：如何使模型在不同的数据集和场景下都具有较好的泛化能力，是一个值得进一步研究的问题。

六、不足与存疑

不足：

模型偏见：LLMs在预训练过程中可能继承了数据中的偏见，如何消除这些偏见是一个需要解决的问题。
对齐标准：如何定义和量化对齐的标准仍然是一个开放的问题，需要进一步的研究和探索。

存疑：

伦理边界：在将AI决策与人类价值观对齐的过程中，如何确保AI决策不违反伦理边界是一个值得进一步探讨的问题。
多属性权衡：当多个DMAs之间存在冲突时，如何权衡和选择仍然是一个需要深入研究的领域。

七、非技术背景读者的启示与建议

对于非技术背景的读者来说，可以从以下几个方面获取启示：

了解AI在医疗领域的应用：通过学习本文，可以了解AI在医疗分流决策领域的应用和潜力，为未来可能的商业机会提供参考。
关注AI伦理问题：本文的研究强调了AI伦理的重要性，作为非技术背景的读者，也应该关注这一问题，思考如何确保AI技术的安全、可靠和可信赖。
补充相关知识：为了更好地理解本文的内容，建议读者补充了解一些相关的基础知识，如大型语言模型、零次学习、加权自洽性等概念。

作为工程师，你可以关注LLMs在医疗信息化中的应用，以及如何利用相关技术和方法提高AI决策的效率和可靠性。同时，也可以思考如何结合具体的业务需求，将本文中的研究成果应用于实际项目中。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

语言模型可作为可校准的决策者：数据集构建及在医疗分诊领域的应用