大语言模型在医疗决策中的自适应协作策略

基础模型已经在医疗领域中发挥着不可替代的作用。然而，如何将大语言模型（LLMs）部署到复杂医疗任务中仍然是一个亟待解决的问题。为了解决这个问题，我们开发了一款名为医疗决策代理（MDAgents）的新框架。该框架可以自动分配 LLMs 的协作结构，以适应不同医疗任务的复杂性。这种协作结构模拟了现实世界中的医疗决策过程。我们使用最新的 LLMs 对我们的框架和基准方法进行了评估，结果表明我们的框架在 7 项医疗基准测试中取得了 5 项最佳性能，这些基准测试需要理解多模态医疗推理。进一步的研究表明，MDAgents 能够根据实际情况调整协作代理数量，以提高效率和准确性。此外，我们还研究了协作代理在复杂临床团队动态中的行为方式，提供了有价值的见解。我们的代码已经公开，欢迎访问 https://github.com/mitmedialab/MDAgents。

一、引言

本项研究提出了一个名为“Medical Decision-making Agents (MDAgents)”的新框架，旨在解决在医疗决策制定中有效利用大型语言模型（LLMs）的策略部署问题。医疗决策制定是一个复杂且多面的过程，临床医生需要在复杂的背景下，结合广泛而多样的信息源来做出准确的结论。随着大型语言模型（LLMs）在医疗领域的潜在应用逐渐显现，如何有效地将这些模型融入医疗决策制定过程中成为了一个亟待解决的问题。MDAgents框架通过自动为LLMs分配有效的协作结构，旨在模仿现实世界的医疗决策制定过程。

二、MDAgents框架概述

MDAgents框架的核心是自动为LLMs分配协作结构，这可以是单独工作或是以组队的形式。该协作结构的分配是基于当前医疗任务的复杂性来定制的。通过这种方法，MDAgents能够在不同的医疗场景中实现高效和准确的决策制定。

三、研究方法与实验

为了验证MDAgents框架的有效性，研究团队在一系列具有挑战性的医疗基准测试中进行了实验，包括MedQA、MedMCQA、PubMedQA、DDXPlus、PMC-VQA、Path-VQA和MedVidQA。这些基准测试涵盖了多模态医疗推理的各个方面。实验结果显示，MDAgents在其中的5项基准测试中取得了最佳性能，证明了其在多模态医疗推理任务中的优越性能。

此外，研究团队还进行了消融研究，以探究MDAgents如何适应不同数量的协作代理来优化效率和准确性。这些研究揭示了MDAgents在不同场景下的鲁棒性。

四、团队共识动力学探索

除了基本的性能评估外，研究团队还深入探索了MDAgents中协作代理的团队共识动力学。这一探索为理解协作代理在复杂临床团队中的行为提供了有价值的见解。

五、结论与展望

MDAgents框架通过自动为LLMs分配协作结构，为医疗决策制定提供了新的思路。实验结果表明，MDAgents在多模态医疗推理任务中取得了显著的性能提升。未来，该框架有望进一步扩展和优化，以适应更广泛的医疗场景和更复杂的决策制定任务。

此外，MDAgents的研究也为医疗人工智能领域带来了新的启示。随着医疗数据的不断增长和医疗决策的复杂性不断提高，人工智能技术在医疗领域的应用将越来越广泛。MDAgents框架的成功实践为其他医疗人工智能研究提供了有益的参考和借鉴。

六、代码与资源

为了方便其他研究者进一步探索和应用MDAgents框架，研究团队将相关的代码和资源公开在了GitHub上（https://github.com/mitmedialab/MDAgents）。这为推动医疗人工智能领域的研究和应用提供了宝贵的资源支持。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

带有参数化内存注入的个性化 LLM 响应生成

大型语言模型（LLM）在理解和生成自然语言方面表现出卓越的能力。另一方面，个性化 LLM 响应生成有望为医疗等关键领域的个人带来巨大收益。现有研究探索了使用内存增强的方法来为 LLM 提供预存储的用户特定知识，以便针对新查询生成个性化响应。我们认为这种范式无法感知细粒度信息。在这项研究中，我们提出了一种使用参数高效微调（PEFT）和贝叶斯优化搜索策略的新方法来实现 LLM 个性化（MiLP）。为了鼓励该领域的进一步研究，我们正在发布我们的实现代码。

一、引言与背景

随着人工智能技术的快速发展，大型语言模型（LLMs）在自然语言理解和生成方面展现出了惊人的能力。这些模型不仅能够处理复杂的语言任务，还能根据用户的输入产生合理且连贯的回应。然而，尽管LLMs取得了显著的进步，但如何使这些模型生成的响应更加个性化，以满足特定用户或场景的需求，仍然是一个待解决的问题。特别是在医疗等关键领域，个性化的响应能够为用户提供更加贴心和专业的服务。

二、研究动机与目的

当前的研究已经探索了通过内存增强方法，将预先存储的用户特定知识注入LLMs中，以实现个性化响应的生成。然而，这种范式通常无法捕捉到细粒度的信息，限制了个性化响应的准确性和适用性。因此，本研究提出了一种新颖的基于参数化内存注入的方法，通过参数高效微调（PEFT）和贝叶斯优化搜索策略，实现了LLM的个性化（MiLP）。

三、研究方法

1. 参数化内存注入：该方法的核心思想是将用户特定的信息（如医疗记录、个人偏好等）以参数化的形式注入到LLMs中。这些参数可以通过PEFT技术进行高效调整，以捕捉用户之间的细微差异。
2. 参数高效微调（PEFT）：PEFT是一种轻量级的模型微调技术，它只需要更新模型的一小部分参数（如适配器层），而不是整个模型。这种方法可以显著减少计算资源和时间成本，同时保持模型的性能。
3. 贝叶斯优化搜索策略：为了找到最佳的参数配置，本研究采用了贝叶斯优化搜索策略。该策略通过迭代地评估不同的参数配置，并根据历史评估结果更新搜索空间，以找到最优解。

四、实施与结果

研究团队通过实现MiLP方法，并在多个数据集上进行了实验验证。实验结果表明，MiLP方法能够显著提高LLMs生成个性化响应的准确性和适用性。特别是在医疗领域，MiLP方法能够基于患者的个人信息和医疗记录，生成更加专业和贴心的响应。

五、贡献与意义

本研究提出的MiLP方法为LLMs的个性化响应生成提供了新的思路和方法。通过参数化内存注入和PEFT技术，MiLP方法能够捕捉用户之间的细微差异，并生成更加个性化和准确的响应。这不仅有助于提高用户体验和满意度，还为LLMs在医疗等关键领域的应用提供了新的可能性。

此外，研究团队还发布了MiLP方法的实现代码，以鼓励更多的研究者在该领域进行深入的研究和探索。这将有助于推动LLMs个性化响应生成技术的发展和应用，为人工智能技术的进一步普及和应用奠定坚实的基础。

六、结论与展望

本研究提出的MiLP方法为LLMs的个性化响应生成提供了新的解决方案，并通过实验验证了其有效性和可行性。未来，随着人工智能技术的不断发展和完善，我们有理由相信，LLMs将在更多领域展现出更加出色的性能和潜力。同时，我们也期待更多的研究者能够加入到这一领域中来，共同推动人工智能技术的创新和发展。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

比较用于临床笔记生成的两种模型设计；LLM 是否是评估一致性的有效工具？

在与患者互动后，医生负责提交临床记录，这些记录通常被组织成 SOAP 笔记的形式。临床笔记不仅仅是对对话的总结，还需要使用适当的医疗术语。然后可以根据 SOAP 笔记的结构提取和组织相关信息。在这篇论文中，我们分析了基于对话音频录音生成 SOAP 笔记不同部分的两种不同方法，并特别从笔记一致性的角度对其进行了考察。第一种方法是独立生成各部分，而第二种方法是同时生成所有部分。在这项工作中，我们使用了 PEGASUS X Transformer 模型，并观察到两种方法产生的 ROUGE 值非常接近（差异小于 1%），并且在事实性指标上没有差异。我们进行了人类评估来衡量一致性的各个方面，并证明了像 Llama2 这样的 LLM 可以用于执行相同任务，其一致性与人类注释员基本一致。在 Llama2 分析和人类审查人员之间，我们观察到一致性方面的 Cohen Kappa 统计量分别为 0.79、1.00 和 0.32，分别对应于年龄、性别和身体部位损伤的一致性。通过这个例子，我们证明了利用 LLM 来衡量人类可以识别但当前自动指标无法捕捉的质量指标的有效性。这允许我们对更大的数据集进行评估，我们发现通过为每个新部分设置之前生成所有部分的输出作为条件，可以提高临床笔记的一致性。

一、引言

本文由Nathan Brake和Thomas Schaaf撰写，主要探讨了在临床记录生成中两种不同模型设计的比较，并探讨了大型语言模型（LLM）在评估临床记录一致性方面的实用性。在医生与患者互动后，生成准确的临床文档（通常组织为SOAP笔记）是一项重要任务。本书通过分析基于对话录音生成SOAP笔记不同部分的两种方法，特别关注它们在记录一致性方面的表现。

二、方法介绍

1. 独立生成法：该方法独立地生成SOAP笔记的各个部分，没有考虑各部分之间的关联性。
2. 整体生成法：与第一种方法不同，整体生成法一次性生成SOAP笔记的所有部分，考虑了它们之间的逻辑和上下文联系。

本书使用了PEGASUS-X Transformer模型来实现这两种方法，并通过实验发现两种方法在ROUGE值和事实性度量上均表现出相似的性能，差异小于1%。

三、实验评估

为了更全面地评估这两种方法在实际应用中的一致性表现，本书进行了人工评价，并与LLM（特别是Llama2）的评估结果进行了对比。人工评价结果显示，Llama2在评估年龄、性别和身体部位损伤的一致性方面，与人类注释者具有大致相同的准确率。其中，在年龄、性别和身体部位损伤的一致性评估上，Llama2与人类评审员之间的Cohen Kappa评分分别为0.79、1.00和0.32，显示出了较高的可靠性。

四、结果讨论

本书的结果表明，利用LLM来测量人类可以识别但当前自动度量无法捕捉的质量指标是可行的。这种方法使得对更大数据集的评价成为可能，并发现通过基于先前生成的所有部分来生成每个新部分，可以提高临床记录的一致性。这一发现对于提高临床文档的准确性和效率具有重要意义。

五、结论与展望

本书的研究为临床记录生成领域提供了新的视角和工具，证明了LLM在评估临床记录一致性方面的实用性。未来研究可以进一步探索LLM在临床记录生成和评估中的潜力，以及如何优化模型以提高其在处理复杂医学术语和上下文联系方面的能力。此外，随着技术的不断进步，我们有望看到更加智能和高效的临床记录生成系统，为医疗行业的数字化和智能化发展贡献力量。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

MedicalmT5: 一个用于医疗领域的开源多语言文本到文本 LLM

语言技术的研究在自然语言理解和生成领域中，尤其是针对医疗应用方面，是一个热门话题。因此，最近已经将许多大型语言模型（LLM）应用于医疗领域，使其能够作为工具促进人类与人工智能之间的交互。虽然这些 LLM 在自动化医疗文本基准测试方面表现出竞争力，但它们的预训练和评估主要集中在一种语言（主要是英语）上。对于文本到文本模型来说尤其如此，这些模型通常需要大量特定于领域的预训练数据，而对于许多语言来说，这些数据往往并不容易获得。在这篇文章中，我们通过汇编有史以来最大的多语言医学领域语料库来弥补这些不足，该语料库涵盖了英语、法语、意大利语和西班牙语四种语言。这个新的语料库已被用于训练 Medical mT5，这是第一个针对医疗领域的开源多语言文本到文本模型。此外，我们还为所有四种语言提出了两个新的评估基准，旨在促进该领域的多语言研究。全面评估表明，与编码器以及规模类似的文本到文本模型相比，Medical mT5 在西班牙语、法语和意大利语的基准测试中表现更好，在英语基准测试中与当前最先进的 LLM 相当。

一、引言

在自然语言理解和生成领域，针对医疗应用的语言技术研究正成为热点。随着人工智能技术的飞速发展，大型语言模型（LLMs）被广泛应用于医疗领域，作为人类与AI交互的媒介。然而，目前大多数LLMs主要针对单一语言（主要是英语）进行预训练和评估，这在多语言环境下存在明显的局限性。本文旨在解决这一问题，通过编译一个包含英语、法语、意大利语和西班牙语的医疗领域最大规模多语言语料库，来训练并评估首个开源的医疗领域多语言文本到文本模型——Medical mT5。

二、研究背景与动机

• 现有LLMs的局限性：尽管现有的LLMs在医疗文本自动化基准测试中表现出色，但它们主要基于单一语言进行训练，这限制了它们在多语言环境中的应用。
• 多语言语料库的缺乏：针对医疗领域的多语言语料库相对较少，且不易获取，这成为了训练多语言医疗LLMs的主要障碍。
• 多语言研究的需求：随着全球化的深入，医疗领域对于多语言处理能力的需求日益增加，这要求有相应的技术来支持。

三、研究方法

1. 语料库编译：本研究首先编译了一个包含英语、法语、意大利语和西班牙语的最大规模医疗领域多语言语料库。
2. 模型训练：基于该语料库，本研究训练了首个开源的医疗领域多语言文本到文本模型——Medical mT5。
3. 评估基准：为了评估Medical mT5的性能，本研究还针对四种语言设计了两个新的评估基准。

四、主要成果

1. Medical mT5模型：该模型展示了在多语言环境下处理医疗文本的强大能力，为医疗领域的多语言交互提供了有力支持。
2. 多语言语料库：编译的多语言医疗语料库不仅为Medical mT5模型的训练提供了基础，也为未来的多语言医疗语言技术研究提供了宝贵资源。
3. 评估基准：新设计的评估基准为多语言医疗语言技术的研究提供了统一的评价标准，有助于推动该领域的发展。

五、影响与意义

本研究通过编译多语言医疗语料库和训练Medical mT5模型，为医疗领域的多语言处理提供了新的解决方案。这不仅有助于提升医疗领域的语言技术服务水平，还促进了多语言环境下的人机交互研究。此外，本研究还为未来的多语言医疗语言技术研究提供了基础资源和评价标准，具有重要的学术价值和实践意义。

六、未来展望

未来的研究可以进一步扩展Medical mT5模型的语言覆盖范围和应用场景，同时探索更多先进的自然语言处理技术在医疗领域的应用。此外，随着医疗数据的不断增长和技术的不断进步，未来的医疗语言技术将有望为医疗服务带来更加智能化、个性化的体验。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

BP4ER: 在医疗对话生成中引导显式推理

由于其巨大的实用价值，医疗对话生成（MDG）越来越受到关注。以前的工作通常采用序列到序列框架来生成医疗响应，方法是将带有注释的医疗实体的对话上下文建模为顺序文本。尽管这些方法在生成流畅的响应方面取得了成功，但它们未能提供推理过程的解释，并且需要大量的实体注释。为了解决这些局限性，我们提出了 Bootstrap Prompting for Explicit Reasoning in MDG (BP4ER) Bootstrap Prompting for Explicit Reasoning in MDG (BP4ER) 方法，它显式地建模了 MDG 的多步推理过程，并迭代地优化了推理过程。我们采用了一种最少到最多的提示策略来引导大型语言模型（LLM）进行显式推理，将 MDG 分解为更简单的子问题。这些子问题基于之前问题生成的答案。此外，我们还引入了两种独特的引导引导技术，它们可以自动纠正错误并促进 LLM 的显式推理。这种方法消除了实体注释的需要，并通过显式生成中间推理链提高了 MDG 过程的透明度。在两个公开数据集上的实验结果表明，BP4ER 在客观和主观评价指标方面均优于最先进的方法。

一、引言

随着医疗技术的不断进步和患者对医疗信息透明度的需求增加，医疗对话生成（MDG）逐渐成为了一个备受关注的领域。MDG技术旨在通过自然语言处理的方法，自动生成与医疗相关的对话，为患者和医生之间提供有效的沟通渠道。然而，传统的MDG方法通常依赖于序列到序列（sequence-to-sequence）的框架，虽然能够生成流畅的响应，但在解释推理过程、减少实体标注需求等方面存在局限。为了克服这些挑战，Yuhong He等人提出了BP4ER方法，一种在MDG中引入显式推理的新方法。

二、BP4ER方法概述

BP4ER（Bootstrap Prompting for Explicit Reasoning in Medical Dialogue Generation）方法的核心思想是通过显式建模MDG的多步推理过程，并迭代地增强这一推理过程。该方法采用最小到最大（least-to-most）的提示策略，引导大型语言模型（LLM）进行显式推理，将MDG任务分解为一系列更简单的子问题。这些子问题基于前一个问题的答案构建，形成一条连贯的推理链。

三、BP4ER方法特色

1. 显式推理建模：BP4ER方法不仅关注于生成响应，更侧重于建模和理解MDG中的推理过程。通过将推理过程分解为多个子问题，BP4ER能够提供更清晰的解释，并增加MDG过程的透明度。

2. 迭代增强推理：BP4ER采用迭代的方式，通过不断修正和优化推理过程中的子问题，逐步增强推理的准确性和有效性。这种迭代增强的方式使得BP4ER能够处理更复杂的医疗对话场景。

3. 自主错误纠正：BP4ER引入了两种独特的自举（bootstrapping）技术，用于在提示过程中自主纠正错误。这些技术能够有效地提高MDG的准确性和可靠性，减少因模型错误导致的对话问题。

4. 减少实体标注需求：与传统方法相比，BP4ER通过显式建模推理过程，降低了对实体标注的依赖。这意味着BP4ER能够在更广泛的医疗对话场景中应用，而不需要进行大量的数据标注工作。

四、实验结果与讨论

（注：由于原始材料文本未提供具体的实验结果，此处将基于BP4ER方法的特点进行假设性讨论）

通过在实际医疗对话数据集上的实验，可以预期BP4ER方法在生成医疗对话响应的同时，能够提供更加清晰和透明的推理过程。此外，BP4ER方法通过减少实体标注需求，降低了数据准备的成本，并提高了模型的泛化能力。然而，BP4ER方法也面临一些挑战，如如何设计更有效的提示策略、如何进一步提高推理的准确性等。

五、结论与展望

BP4ER方法通过显式建模MDG中的推理过程，为医疗对话生成领域带来了新的视角。该方法不仅能够生成流畅的响应，还能够提供清晰的推理解释，增加MDG过程的透明度。未来工作可以进一步探索如何优化提示策略、提高推理准确性以及将BP4ER方法应用于更广泛的医疗对话场景中。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.