比较用于临床笔记生成的两种模型设计；LLM 是否是评估一致性的有效工具？

在与患者互动后，医生负责提交临床记录，这些记录通常被组织成 SOAP 笔记的形式。临床笔记不仅仅是对对话的总结，还需要使用适当的医疗术语。然后可以根据 SOAP 笔记的结构提取和组织相关信息。在这篇论文中，我们分析了基于对话音频录音生成 SOAP 笔记不同部分的两种不同方法，并特别从笔记一致性的角度对其进行了考察。第一种方法是独立生成各部分，而第二种方法是同时生成所有部分。在这项工作中，我们使用了 PEGASUS X Transformer 模型，并观察到两种方法产生的 ROUGE 值非常接近（差异小于 1%），并且在事实性指标上没有差异。我们进行了人类评估来衡量一致性的各个方面，并证明了像 Llama2 这样的 LLM 可以用于执行相同任务，其一致性与人类注释员基本一致。在 Llama2 分析和人类审查人员之间，我们观察到一致性方面的 Cohen Kappa 统计量分别为 0.79、1.00 和 0.32，分别对应于年龄、性别和身体部位损伤的一致性。通过这个例子，我们证明了利用 LLM 来衡量人类可以识别但当前自动指标无法捕捉的质量指标的有效性。这允许我们对更大的数据集进行评估，我们发现通过为每个新部分设置之前生成所有部分的输出作为条件，可以提高临床笔记的一致性。

一、引言

本文由Nathan Brake和Thomas Schaaf撰写，主要探讨了在临床记录生成中两种不同模型设计的比较，并探讨了大型语言模型（LLM）在评估临床记录一致性方面的实用性。在医生与患者互动后，生成准确的临床文档（通常组织为SOAP笔记）是一项重要任务。本书通过分析基于对话录音生成SOAP笔记不同部分的两种方法，特别关注它们在记录一致性方面的表现。

二、方法介绍

1. 独立生成法：该方法独立地生成SOAP笔记的各个部分，没有考虑各部分之间的关联性。
2. 整体生成法：与第一种方法不同，整体生成法一次性生成SOAP笔记的所有部分，考虑了它们之间的逻辑和上下文联系。

本书使用了PEGASUS-X Transformer模型来实现这两种方法，并通过实验发现两种方法在ROUGE值和事实性度量上均表现出相似的性能，差异小于1%。

三、实验评估

为了更全面地评估这两种方法在实际应用中的一致性表现，本书进行了人工评价，并与LLM（特别是Llama2）的评估结果进行了对比。人工评价结果显示，Llama2在评估年龄、性别和身体部位损伤的一致性方面，与人类注释者具有大致相同的准确率。其中，在年龄、性别和身体部位损伤的一致性评估上，Llama2与人类评审员之间的Cohen Kappa评分分别为0.79、1.00和0.32，显示出了较高的可靠性。

四、结果讨论

本书的结果表明，利用LLM来测量人类可以识别但当前自动度量无法捕捉的质量指标是可行的。这种方法使得对更大数据集的评价成为可能，并发现通过基于先前生成的所有部分来生成每个新部分，可以提高临床记录的一致性。这一发现对于提高临床文档的准确性和效率具有重要意义。

五、结论与展望

本书的研究为临床记录生成领域提供了新的视角和工具，证明了LLM在评估临床记录一致性方面的实用性。未来研究可以进一步探索LLM在临床记录生成和评估中的潜力，以及如何优化模型以提高其在处理复杂医学术语和上下文联系方面的能力。此外，随着技术的不断进步，我们有望看到更加智能和高效的临床记录生成系统，为医疗行业的数字化和智能化发展贡献力量。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

MedicalmT5: 一个用于医疗领域的开源多语言文本到文本 LLM

语言技术的研究在自然语言理解和生成领域中，尤其是针对医疗应用方面，是一个热门话题。因此，最近已经将许多大型语言模型（LLM）应用于医疗领域，使其能够作为工具促进人类与人工智能之间的交互。虽然这些 LLM 在自动化医疗文本基准测试方面表现出竞争力，但它们的预训练和评估主要集中在一种语言（主要是英语）上。对于文本到文本模型来说尤其如此，这些模型通常需要大量特定于领域的预训练数据，而对于许多语言来说，这些数据往往并不容易获得。在这篇文章中，我们通过汇编有史以来最大的多语言医学领域语料库来弥补这些不足，该语料库涵盖了英语、法语、意大利语和西班牙语四种语言。这个新的语料库已被用于训练 Medical mT5，这是第一个针对医疗领域的开源多语言文本到文本模型。此外，我们还为所有四种语言提出了两个新的评估基准，旨在促进该领域的多语言研究。全面评估表明，与编码器以及规模类似的文本到文本模型相比，Medical mT5 在西班牙语、法语和意大利语的基准测试中表现更好，在英语基准测试中与当前最先进的 LLM 相当。

一、引言

在自然语言理解和生成领域，针对医疗应用的语言技术研究正成为热点。随着人工智能技术的飞速发展，大型语言模型（LLMs）被广泛应用于医疗领域，作为人类与AI交互的媒介。然而，目前大多数LLMs主要针对单一语言（主要是英语）进行预训练和评估，这在多语言环境下存在明显的局限性。本文旨在解决这一问题，通过编译一个包含英语、法语、意大利语和西班牙语的医疗领域最大规模多语言语料库，来训练并评估首个开源的医疗领域多语言文本到文本模型——Medical mT5。

二、研究背景与动机

• 现有LLMs的局限性：尽管现有的LLMs在医疗文本自动化基准测试中表现出色，但它们主要基于单一语言进行训练，这限制了它们在多语言环境中的应用。
• 多语言语料库的缺乏：针对医疗领域的多语言语料库相对较少，且不易获取，这成为了训练多语言医疗LLMs的主要障碍。
• 多语言研究的需求：随着全球化的深入，医疗领域对于多语言处理能力的需求日益增加，这要求有相应的技术来支持。

三、研究方法

1. 语料库编译：本研究首先编译了一个包含英语、法语、意大利语和西班牙语的最大规模医疗领域多语言语料库。
2. 模型训练：基于该语料库，本研究训练了首个开源的医疗领域多语言文本到文本模型——Medical mT5。
3. 评估基准：为了评估Medical mT5的性能，本研究还针对四种语言设计了两个新的评估基准。

四、主要成果

1. Medical mT5模型：该模型展示了在多语言环境下处理医疗文本的强大能力，为医疗领域的多语言交互提供了有力支持。
2. 多语言语料库：编译的多语言医疗语料库不仅为Medical mT5模型的训练提供了基础，也为未来的多语言医疗语言技术研究提供了宝贵资源。
3. 评估基准：新设计的评估基准为多语言医疗语言技术的研究提供了统一的评价标准，有助于推动该领域的发展。

五、影响与意义

本研究通过编译多语言医疗语料库和训练Medical mT5模型，为医疗领域的多语言处理提供了新的解决方案。这不仅有助于提升医疗领域的语言技术服务水平，还促进了多语言环境下的人机交互研究。此外，本研究还为未来的多语言医疗语言技术研究提供了基础资源和评价标准，具有重要的学术价值和实践意义。

六、未来展望

未来的研究可以进一步扩展Medical mT5模型的语言覆盖范围和应用场景，同时探索更多先进的自然语言处理技术在医疗领域的应用。此外，随着医疗数据的不断增长和技术的不断进步，未来的医疗语言技术将有望为医疗服务带来更加智能化、个性化的体验。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

BP4ER: 在医疗对话生成中引导显式推理

由于其巨大的实用价值，医疗对话生成（MDG）越来越受到关注。以前的工作通常采用序列到序列框架来生成医疗响应，方法是将带有注释的医疗实体的对话上下文建模为顺序文本。尽管这些方法在生成流畅的响应方面取得了成功，但它们未能提供推理过程的解释，并且需要大量的实体注释。为了解决这些局限性，我们提出了 Bootstrap Prompting for Explicit Reasoning in MDG (BP4ER) Bootstrap Prompting for Explicit Reasoning in MDG (BP4ER) 方法，它显式地建模了 MDG 的多步推理过程，并迭代地优化了推理过程。我们采用了一种最少到最多的提示策略来引导大型语言模型（LLM）进行显式推理，将 MDG 分解为更简单的子问题。这些子问题基于之前问题生成的答案。此外，我们还引入了两种独特的引导引导技术，它们可以自动纠正错误并促进 LLM 的显式推理。这种方法消除了实体注释的需要，并通过显式生成中间推理链提高了 MDG 过程的透明度。在两个公开数据集上的实验结果表明，BP4ER 在客观和主观评价指标方面均优于最先进的方法。

一、引言

随着医疗技术的不断进步和患者对医疗信息透明度的需求增加，医疗对话生成（MDG）逐渐成为了一个备受关注的领域。MDG技术旨在通过自然语言处理的方法，自动生成与医疗相关的对话，为患者和医生之间提供有效的沟通渠道。然而，传统的MDG方法通常依赖于序列到序列（sequence-to-sequence）的框架，虽然能够生成流畅的响应，但在解释推理过程、减少实体标注需求等方面存在局限。为了克服这些挑战，Yuhong He等人提出了BP4ER方法，一种在MDG中引入显式推理的新方法。

二、BP4ER方法概述

BP4ER（Bootstrap Prompting for Explicit Reasoning in Medical Dialogue Generation）方法的核心思想是通过显式建模MDG的多步推理过程，并迭代地增强这一推理过程。该方法采用最小到最大（least-to-most）的提示策略，引导大型语言模型（LLM）进行显式推理，将MDG任务分解为一系列更简单的子问题。这些子问题基于前一个问题的答案构建，形成一条连贯的推理链。

三、BP4ER方法特色

1. 显式推理建模：BP4ER方法不仅关注于生成响应，更侧重于建模和理解MDG中的推理过程。通过将推理过程分解为多个子问题，BP4ER能够提供更清晰的解释，并增加MDG过程的透明度。

2. 迭代增强推理：BP4ER采用迭代的方式，通过不断修正和优化推理过程中的子问题，逐步增强推理的准确性和有效性。这种迭代增强的方式使得BP4ER能够处理更复杂的医疗对话场景。

3. 自主错误纠正：BP4ER引入了两种独特的自举（bootstrapping）技术，用于在提示过程中自主纠正错误。这些技术能够有效地提高MDG的准确性和可靠性，减少因模型错误导致的对话问题。

4. 减少实体标注需求：与传统方法相比，BP4ER通过显式建模推理过程，降低了对实体标注的依赖。这意味着BP4ER能够在更广泛的医疗对话场景中应用，而不需要进行大量的数据标注工作。

四、实验结果与讨论

（注：由于原始材料文本未提供具体的实验结果，此处将基于BP4ER方法的特点进行假设性讨论）

通过在实际医疗对话数据集上的实验，可以预期BP4ER方法在生成医疗对话响应的同时，能够提供更加清晰和透明的推理过程。此外，BP4ER方法通过减少实体标注需求，降低了数据准备的成本，并提高了模型的泛化能力。然而，BP4ER方法也面临一些挑战，如如何设计更有效的提示策略、如何进一步提高推理的准确性等。

五、结论与展望

BP4ER方法通过显式建模MDG中的推理过程，为医疗对话生成领域带来了新的视角。该方法不仅能够生成流畅的响应，还能够提供清晰的推理解释，增加MDG过程的透明度。未来工作可以进一步探索如何优化提示策略、提高推理准确性以及将BP4ER方法应用于更广泛的医疗对话场景中。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

UnibucLLM: 利用大型语言模型自动预测多项选择题的难度和答题时间

本文探讨了一种基于大型语言模型（LLM）的新型数据增强方法，用于预测已退休的美国医学许可考试（USMLE）多项选择题（MCQs）的难度和答题时间，这是 BEA 2024 共享任务的一部分。我们的方法基于使用零次拍 LLMs（Falcon、Meditron、Mistral）的答案扩充数据集，并基于六种不同的特征组合使用了基于转换器的模型。结果表明，预测问题的难度更为困难。值得注意的是，我们表现最佳的方法一致包含了问题文本，并受益于 LLM 答案的多样性，这突显了 LLM 在改进医学执照考试中的自动评估方面的潜力。我们在 https://github.com/ana-rogoz/BEA-2024 上提供了我们的代码。

一、研究背景与动机

本研究聚焦于高风险的医学执照考试，如美国医学执照考试（USMLE），其中准确地评估考生的知识和技能至关重要。传统上，确定题目的难度和响应时间（平均答题时间）依赖于预测试，即在实际考试中嵌入新题目与已评分题目一同进行测试。然而，这种方法因资源限制而被认为是不切实际的。为了解决这一问题，2024年构建教育应用的自然语言处理创新使用研讨会（BEA 2024）提出了一个共享任务，即自动预测USMLE考试题目的难度和响应时间。Ana-Cristina Rogoz和Radu Tudor Ionescu的研究正是基于这一背景，探索了一种基于大型语言模型（LLMs）的新型数据增强方法，以自动预测多选题（MCQs）的难度和响应时间。

二、研究方法

1. 数据增强：研究者采用零次学习LLMs（如Falcon, Meditron, Mistral）来生成答案，从而增强数据集。这种方法通过LLMs的多样性答案来模拟不同考生对题目的回答，从而增加数据的丰富性和复杂性。

2. 模型构建：基于Transformer的模型被用来进行预测，研究者尝试了六种不同的特征组合。这些特征包括题目文本、LLM生成的答案等，以探索不同特征对预测性能的影响。

三、研究结果

研究发现，预测题目的难度相对更具挑战性。然而，他们的顶级方法始终包含题目文本，并从LLM答案的多样性中受益。这表明LLMs在改进医学执照考试的自动评估方面具有潜力。

四、贡献与意义

1. 数据增强新策略：通过利用LLMs生成答案来增强数据集，本研究为自动评估领域提供了新的数据增强策略。

2. 特征探索：通过比较不同特征组合的模型性能，本研究为构建自动评估模型提供了有价值的特征选择指导。

3. 医学执照考试评估的改进：该研究展示了LLMs在医学执照考试自动评估中的潜力，为未来的研究和实践提供了新方向。

4. 资源共享：研究者公开了他们的代码（位于https://github.com/ana-rogoz/BEA-2024），为其他研究人员提供了宝贵的资源，促进了知识的共享和复用。

五、未来展望

随着LLMs技术的不断进步和医疗教育评估需求的日益增长，本研究领域具有广阔的发展前景。未来的研究可以进一步探索LLMs在医学教育领域的更多应用场景，如自动生成题目、评估考试质量等。此外，结合更多的医学领域知识和数据，可以进一步提升模型的预测性能和泛化能力。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

PRISM：使用大型语言模型进行语义临床试验匹配的患者记录解读

临床试验匹配的任务是识别患者可能有资格参与的试验。通常，这项工作劳动密集型，需要人工核实患者的电子健康记录（EHR），并与临床试验严格的纳入和排除标准进行比对。这个过程是人工的、耗时的，而且很难扩大规模，导致许多患者错过了潜在的治疗选择。最近，大型语言模型（LLM）的发展使自动化患者-试验匹配成为可能，多个同时进行的研究小组已经证明了这一点。然而，目前的做法局限于受限的、通常是不真实的数据集，这些数据集不能充分反映现实世界中医疗数据的复杂性。在这项研究中，我们使用现实世界的电子健康记录（EHR），进行了首个端到端的临床试验匹配大规模实证评估。我们的研究展示了 LLM 在准确匹配患者与合适的临床试验方面的强大能力。我们使用专有 LLM（包括 GPT-4 和 GPT-3.5）以及我们定制的微调模型 OncoLLM 进行了实验，结果表明，尽管 OncoLLM 的规模小得多，但它不仅超越了 GPT-3.5，而且其表现与合格的医生相当。所有实验都是在包括临床笔记和来自美国一家癌症中心的可用临床试验在内的现实世界的 EHR 上进行的。

一、引言

本研究本研究聚焦于临床试验匹配问题，即识别患者可能符合资格参与的临床试验。传统上，这一任务需要人工详细核对患者的电子健康记录（EHRs）与临床试验的严格纳入和排除标准，既耗时又难以扩大规模，导致许多患者可能错过潜在的治疗选择。随着大型语言模型（LLMs）的快速发展，自动化患者-试验匹配成为可能。然而，当前的方法主要基于受限的、往往是合成数据集，未能充分反映真实医疗数据的复杂性。本研究旨在填补这一空白，提出PRISM模型，用于基于语义的临床试验匹配。

二、研究方法

PRISM模型利用大型语言模型对患者的电子健康记录进行深度解读，并自动与临床试验的纳入和排除标准进行匹配。该模型的设计考虑了医疗数据的复杂性和多样性，以及临床试验的严格性。通过端到端的大规模实证研究，PRISM模型在真实世界的医疗数据上进行了验证。

三、主要贡献

1. 自动化与效率提升：PRISM模型显著提高了临床试验匹配的自动化程度，减少了人工核对的需求，从而提高了工作效率。

2. 准确性与可靠性：通过深度学习和语义分析技术，PRISM模型能够更准确地理解患者记录和临床试验标准，提高了匹配的准确性和可靠性。

3. 大规模实证验证：本研究首次在真实世界的医疗数据集上进行了大规模实证验证，证明了PRISM模型的有效性和实用性。

4. 扩展性与灵活性：PRISM模型具有良好的扩展性和灵活性，可以适应不同来源、不同格式的医疗数据和临床试验标准。

四、实验结果

本研究在多个真实世界的医疗数据集上进行了实验验证，结果表明PRISM模型在临床试验匹配任务上取得了显著优于传统方法的性能。具体而言，PRISM模型在准确率、召回率和F1分数等关键指标上均表现出色。

五、讨论与展望

尽管PRISM模型在临床试验匹配任务上取得了显著成果，但仍存在一些挑战和限制。例如，医疗数据的隐私和安全问题、不同医疗系统之间的数据兼容性问题等。未来研究可以进一步探索如何克服这些挑战，提高PRISM模型的实用性和泛化能力。

此外，随着人工智能技术的不断发展，大型语言模型在医疗领域的应用前景广阔。未来研究可以进一步探索PRISM模型在患者诊断、治疗方案推荐、药物研发等方面的应用潜力。

六、结论

本研究提出的PRISM模型是一种基于大型语言模型进行语义临床试验匹配的创新方法。通过深度解读患者电子健康记录并自动与临床试验标准匹配，PRISM模型能够显著提高临床试验匹配的自动化程度、准确性和可靠性。本研究在真实世界的医疗数据集上进行了大规模实证验证，证明了PRISM模型的有效性和实用性。未来研究可以进一步探索PRISM模型在医疗领域的广泛应用前景。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

大型语言模型在医疗行业应用评估的全面调查

自 Transformer 架构于 2017 年问世以来，大型语言模型（LLM）例如 GPT 和 BERT 已经取得了显著进步，凭借其在语言理解和生成方面强大的能力影响了各个行业。这些模型展现出在医疗领域的变革性潜力，凸显了专门的评估框架的必要性，以确保其在医疗领域的有效和合乎伦理的应用。这项全面调查阐述了医疗保健领域内 LLMs 的广泛应用和必要的评估，强调了经验验证的关键需求，以充分发挥其在提升医疗保健成果方面的潜力。我们的调查旨在提供对 LLM 在临床环境、医疗文本数据处理、研究、教育和公共卫生宣传等应用方面的深入分析。我们首先探讨 LLMs 在不同医疗应用中的作用，并详细介绍基于其在临床应用、医疗文本数据处理、信息检索、数据分析、医疗科学写作和教育内容生成等任务中的表现进行评估的方式。随后的章节深入探讨了这些评估中所采用的方法论，讨论了用于衡量模型有效性、准确性和伦理一致性的基准和指标。通过本调查A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry，我们旨在为医疗保健专业人员、研究人员和政策制定者提供对 LLMs 在医疗应用中的潜在优势和局限性的全面理解。通过详细介绍评估过程以及在将 LLMs 集成到医疗保健领域时面临的挑战，本调查旨在指导这些强大模型的负责任开发和应用，确保充分发挥其潜力，同时保持严格的道德标准。

一、引言

随着Google团队在2017年引入Transformer架构，自然语言处理领域进入了新时代。Transformer的创新之处在于其自注意力机制，这一机制显著提高了模型处理长距离依赖的能力，为众多后续模型的发展奠定了基础。特别是GPT和BERT等大型语言模型（LLMs）的出现，以其卓越的语言理解和生成能力，对各行各业产生了深远影响，其中医疗领域尤为显著。

二、大型语言模型在医疗领域的应用

1. 临床处置

LLMs在临床处置中的应用日益广泛，它们能够辅助医生进行疾病诊断、治疗方案制定和患者管理。通过处理和分析大量的医学文本数据，LLMs能够提供更加准确和个性化的医疗建议。

2. 医学文本数据处理

在医学文本数据处理方面，LLMs能够自动化地进行文本分类、信息抽取和关系识别等任务。这不仅提高了数据处理效率，还有助于发现新的医学知识和规律。

3. 研究与教育

在医学研究和教育方面，LLMs为科研人员和学生提供了丰富的资源和工具。通过分析和总结大量的医学文献，LLMs能够辅助研究人员发现新的研究方向和思路。同时，它们也可以作为教学辅助工具，帮助学生更好地理解和掌握医学知识。

4. 公共卫生意识

在公共卫生意识方面，LLMs能够通过社交媒体、健康网站等渠道传播医学知识和信息，提高公众对疾病的认知和防范意识。

三、大型语言模型在医疗领域的评价

尽管LLMs在医疗领域展现出了巨大的潜力，但也需要建立专门的评价框架来确保其有效性和可靠性。这包括评估模型在临床应用中的性能、医学文本数据处理的准确性、研究和教育的支持能力以及公共卫生意识的提升效果等方面。

四、结论

大型语言模型在医疗领域的应用正逐步深入，为医疗行业的发展带来了新的机遇和挑战。为了充分发挥LLMs的潜力，需要不断探索和优化模型的应用方式和评价方法。同时，也需要关注模型可能带来的风险和问题，确保其在医疗领域的负责任发展和部署。

五、未来展望

未来，随着技术的不断进步和应用场景的不断拓展，大型语言模型在医疗领域的应用将更加广泛和深入。我们有理由相信，在不久的将来，LLMs将成为推动医疗行业发展的重要力量之一。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

医疗LLM框架Hippocrates解读

大型语言模型（LLM）在医疗保健领域的应用有望变革医疗诊断、研究和患者护理。然而，医疗 LLM 的发展面临着复杂的训练要求、严格的评估需求，以及专有模型的垄断阻碍学术探索等障碍。透明、全面地访问 LLM 资源对于推动该领域的发展、促进可重复性以及鼓励医疗保健 AI 创新至关重要。我们提出 Hippocrates，一个专为医疗领域开发的开源 LLM 框架。与之前的努力不同，它为训练数据集、代码库、检查点和评估协议提供了不受限制的访问。这种开放的方法旨在促进协作研究，使研究界能够在透明的生态系统中构建、完善和严格评估医疗 LLM。我们还引入了 Hippo，这是一个针对医疗领域定制的 70 亿参数模型家族，通过对 Mistral 和 LLaMA2 进行持续预训练、指令调整和来自人类和 AI 反馈的强化学习，进一步优化了模型性能。我们的模型在很大程度上超越了现有的开源医疗 LLM 模型，甚至超越了具有 70 亿参数的模型。通过 Hippocrates，我们希望不仅能充分发挥 LLM 在推进医疗知识和改善患者护理方面的潜力，而且能让全球共享医疗保健 AI 研究带来的益处，实现医疗 AI 的民主化。

一、引言

随着人工智能技术的飞速发展，大型语言模型（LLMs）在医疗领域的应用前景愈发广阔。从医疗诊断到患者护理，再到医学研究，LLMs都展现出巨大的潜力和价值。然而，医疗LLMs的进展面临着诸多挑战，如复杂的训练需求、严格的评估要求以及专有模型的垄断，这些都限制了学术探索和创新。为了克服这些障碍，Emre Can Acikgoz等人提出了Hippocrates，一个专为医疗领域设计的开源LLM框架。

二、Hippocrates框架介绍

Hippocrates是一个旨在推动医疗领域LLMs进步的开源框架。与传统的LLM框架不同，Hippocrates提供了对训练数据集、代码库、检查点和评估协议的全面且不受限制的访问。这种开放性的设计旨在鼓励协作研究，允许社区在透明的生态系统中构建、完善并严格评估医疗LLMs。

三、Hippo模型家族

Hippocrates还引入了Hippo模型家族，这是一个由7B参数组成的、针对医疗领域定制的模型系列。这些模型基于Mistral和LLaMA2进行持续预训练、指令调优以及从人类和AI反馈中学习的强化学习。Hippo模型在性能上大幅超越了现有的开源医疗LLMs，甚至超越了具有70B参数的模型。

四、Hippocrates的主要特点和优势

1. 开放性：Hippocrates提供全面的资源访问，使得任何研究者都能够轻松地参与到医疗LLMs的开发和完善中来。
2. 可复制性：通过公开的代码库、数据集和评估协议，Hippocrates确保了研究成果的可复制性，促进了学术的透明度和公正性。
3. 高效性：Hippo模型家族的高效性能为医疗领域的应用提供了强有力的支持，有望推动医疗知识的进步和患者护理的改善。
4. 创新性：Hippocrates的开放性和协作性设计鼓励了创新，为医疗AI领域带来了新的发展机遇。

五、结论与展望

Hippocrates作为一个专为医疗领域设计的开源LLM框架，为医疗AI的发展开辟了新的道路。通过提供全面的资源访问和协作研究的机会，Hippocrates有望解锁LLMs在医疗领域的全部潜力，推动医疗知识的进步、提高患者护理的质量，并为未来的医疗创新奠定坚实的基础。随着技术的不断进步和社区的不断壮大，Hippocrates将在医疗AI领域发挥越来越重要的作用。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

医疗应用中的提示工程范式：范围审查与最佳实践建议

提示工程对于发挥大型语言模型（LLM）的潜力至关重要，尤其是在需要使用专业术语和措辞的医学领域。然而，提示工程在医学领域的有效性仍有待充分探索。在这项研究中，我们回顾了 114 篇近期论文（2022-2024 年），这些论文应用了提示工程技术来解决医学问题，涵盖了提示学习（Prompt Learning, PL）、提示调整（Prompt Tuning, PT）和提示设计（Prompt Design, PD）等方面。其中，PD 是最常见的技术，有 78 篇论文涉及了这一内容。在 12 篇论文中，PD、PL 和 PT 术语被互换使用。ChatGPT 是使用最广泛的 LLM，有 7 篇论文使用它来处理敏感的临床数据。链式思维（Chain-of-Thought）是这些论文中最常见的提示工程技术。虽然 PL 和 PT 相关的研究通常会提供评估基于提示的方法的基线，但 64% 的 PD 研究缺乏与提示无关的基线。我们整理了表格和图表来总结现有研究成果，并提供了报告建议，以期为未来的研究贡献提供指导。

一、引言

本文《医疗应用中的提示工程范式：范围审查与最佳实践建议》《医疗应用中的提示工程范式：范围审查与最佳实践建议》由Jamil Zaghir等人撰写，旨在探讨提示工程在医疗领域的重要性以及其在大型语言模型（LLMs）潜力挖掘中的关键作用。随着医疗领域对自然语言处理（NLP）技术的需求日益增长，如何有效应用提示工程成为了研究的关键。本文通过对114篇近期相关研究的综述，为医疗领域的提示工程应用提供了深入的见解和建议。

二、研究背景与重要性

医疗领域的专业术语和表述使得传统的NLP技术难以直接应用。提示工程作为一种新兴技术，通过精心设计的提示（prompt）来指导LLMs生成符合医疗领域需求的回答，从而极大地提高了LLMs在医疗领域的适用性。然而，医疗领域的提示工程研究尚处于起步阶段，其有效性和实用性仍需进一步探索。

三、研究内容与方法

本文综述了2022年至2024年间114篇关于医疗领域提示工程的研究，涵盖了提示学习（PL）、提示调整（PT）和提示设计（PD）三个方面。其中，PD是最普遍的研究方向，占据了78篇文章。值得注意的是，有12篇论文在提及PD、PL和PT时存在术语混淆的情况。此外，ChatGPT是医疗领域中最常用的LLM，其中七篇论文将其应用于处理敏感的临床数据。

在技术方面，Chain-of-Thought成为了最常见的提示工程技术，它通过一系列逻辑上连贯的步骤来指导LLMs的推理过程。PL和PT文章通常提供了基于提示的方法的评估基准，但令人惊讶的是，64%的PD研究缺乏与提示无关的基准进行比较。

四、研究结果与发现

本书对现有的医疗领域提示工程研究进行了详细的总结和分析，并指出了其中的一些重要发现：

1. PD的普及性：PD是医疗领域中最为普遍的提示工程研究方向，反映了在医疗领域中对LLMs进行定制化设计的重要性。

2. ChatGPT的广泛应用：ChatGPT在医疗领域的应用表明了其在处理复杂、敏感数据方面的潜力。

3. Chain-of-Thought的流行性：Chain-of-Thought作为一种新型的提示工程技术，其在医疗领域的应用表明其在提高LLMs推理能力方面的有效性。

4. 基准设置的不足：PD研究中缺乏非提示相关的基准比较，这限制了对其有效性的全面评估。

五、建议与展望

基于对现有研究的总结和分析，本文提出了一系列建议以指导未来的研究：

1. 明确术语定义：为了避免混淆，未来的研究应明确界定PD、PL和PT等术语的定义。

2. 多样化LLM应用：除了ChatGPT外，还应探索其他LLM在医疗领域的应用，以发现更多可能性和优势。

3. 加强基准设置：未来的PD研究应设置与提示无关的基准进行比较，以全面评估其有效性。

4. 深化Chain-of-Thought研究：Chain-of-Thought在医疗领域的应用展现了其巨大潜力，未来应进一步探索其在提高LLMs推理能力方面的应用。

六、结论

本文通过对医疗领域提示工程研究的综述，为未来的研究提供了重要的参考和指导。随着医疗领域对NLP技术的需求不断增长，提示工程将在其中发挥越来越重要的作用。未来的研究应关注于如何更好地应用提示工程来提高LLMs在医疗领域的性能和适用性。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.