UnibucLLM: 利用大型语言模型自动预测多项选择题的难度和答题时间

本文探讨了一种基于大型语言模型（LLM）的新型数据增强方法，用于预测已退休的美国医学许可考试（USMLE）多项选择题（MCQs）的难度和答题时间，这是 BEA 2024 共享任务的一部分。我们的方法基于使用零次拍 LLMs（Falcon、Meditron、Mistral）的答案扩充数据集，并基于六种不同的特征组合使用了基于转换器的模型。结果表明，预测问题的难度更为困难。值得注意的是，我们表现最佳的方法一致包含了问题文本，并受益于 LLM 答案的多样性，这突显了 LLM 在改进医学执照考试中的自动评估方面的潜力。我们在 https://github.com/ana-rogoz/BEA-2024 上提供了我们的代码。

一、研究背景与动机

本研究聚焦于高风险的医学执照考试，如美国医学执照考试（USMLE），其中准确地评估考生的知识和技能至关重要。传统上，确定题目的难度和响应时间（平均答题时间）依赖于预测试，即在实际考试中嵌入新题目与已评分题目一同进行测试。然而，这种方法因资源限制而被认为是不切实际的。为了解决这一问题，2024年构建教育应用的自然语言处理创新使用研讨会（BEA 2024）提出了一个共享任务，即自动预测USMLE考试题目的难度和响应时间。Ana-Cristina Rogoz和Radu Tudor Ionescu的研究正是基于这一背景，探索了一种基于大型语言模型（LLMs）的新型数据增强方法，以自动预测多选题（MCQs）的难度和响应时间。

二、研究方法

1. 数据增强：研究者采用零次学习LLMs（如Falcon, Meditron, Mistral）来生成答案，从而增强数据集。这种方法通过LLMs的多样性答案来模拟不同考生对题目的回答，从而增加数据的丰富性和复杂性。

2. 模型构建：基于Transformer的模型被用来进行预测，研究者尝试了六种不同的特征组合。这些特征包括题目文本、LLM生成的答案等，以探索不同特征对预测性能的影响。

三、研究结果

研究发现，预测题目的难度相对更具挑战性。然而，他们的顶级方法始终包含题目文本，并从LLM答案的多样性中受益。这表明LLMs在改进医学执照考试的自动评估方面具有潜力。

四、贡献与意义

1. 数据增强新策略：通过利用LLMs生成答案来增强数据集，本研究为自动评估领域提供了新的数据增强策略。

2. 特征探索：通过比较不同特征组合的模型性能，本研究为构建自动评估模型提供了有价值的特征选择指导。

3. 医学执照考试评估的改进：该研究展示了LLMs在医学执照考试自动评估中的潜力，为未来的研究和实践提供了新方向。

4. 资源共享：研究者公开了他们的代码（位于https://github.com/ana-rogoz/BEA-2024），为其他研究人员提供了宝贵的资源，促进了知识的共享和复用。

五、未来展望

随着LLMs技术的不断进步和医疗教育评估需求的日益增长，本研究领域具有广阔的发展前景。未来的研究可以进一步探索LLMs在医学教育领域的更多应用场景，如自动生成题目、评估考试质量等。此外，结合更多的医学领域知识和数据，可以进一步提升模型的预测性能和泛化能力。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

PRISM：使用大型语言模型进行语义临床试验匹配的患者记录解读

临床试验匹配的任务是识别患者可能有资格参与的试验。通常，这项工作劳动密集型，需要人工核实患者的电子健康记录（EHR），并与临床试验严格的纳入和排除标准进行比对。这个过程是人工的、耗时的，而且很难扩大规模，导致许多患者错过了潜在的治疗选择。最近，大型语言模型（LLM）的发展使自动化患者-试验匹配成为可能，多个同时进行的研究小组已经证明了这一点。然而，目前的做法局限于受限的、通常是不真实的数据集，这些数据集不能充分反映现实世界中医疗数据的复杂性。在这项研究中，我们使用现实世界的电子健康记录（EHR），进行了首个端到端的临床试验匹配大规模实证评估。我们的研究展示了 LLM 在准确匹配患者与合适的临床试验方面的强大能力。我们使用专有 LLM（包括 GPT-4 和 GPT-3.5）以及我们定制的微调模型 OncoLLM 进行了实验，结果表明，尽管 OncoLLM 的规模小得多，但它不仅超越了 GPT-3.5，而且其表现与合格的医生相当。所有实验都是在包括临床笔记和来自美国一家癌症中心的可用临床试验在内的现实世界的 EHR 上进行的。

一、引言

本研究本研究聚焦于临床试验匹配问题，即识别患者可能符合资格参与的临床试验。传统上，这一任务需要人工详细核对患者的电子健康记录（EHRs）与临床试验的严格纳入和排除标准，既耗时又难以扩大规模，导致许多患者可能错过潜在的治疗选择。随着大型语言模型（LLMs）的快速发展，自动化患者-试验匹配成为可能。然而，当前的方法主要基于受限的、往往是合成数据集，未能充分反映真实医疗数据的复杂性。本研究旨在填补这一空白，提出PRISM模型，用于基于语义的临床试验匹配。

二、研究方法

PRISM模型利用大型语言模型对患者的电子健康记录进行深度解读，并自动与临床试验的纳入和排除标准进行匹配。该模型的设计考虑了医疗数据的复杂性和多样性，以及临床试验的严格性。通过端到端的大规模实证研究，PRISM模型在真实世界的医疗数据上进行了验证。

三、主要贡献

1. 自动化与效率提升：PRISM模型显著提高了临床试验匹配的自动化程度，减少了人工核对的需求，从而提高了工作效率。

2. 准确性与可靠性：通过深度学习和语义分析技术，PRISM模型能够更准确地理解患者记录和临床试验标准，提高了匹配的准确性和可靠性。

3. 大规模实证验证：本研究首次在真实世界的医疗数据集上进行了大规模实证验证，证明了PRISM模型的有效性和实用性。

4. 扩展性与灵活性：PRISM模型具有良好的扩展性和灵活性，可以适应不同来源、不同格式的医疗数据和临床试验标准。

四、实验结果

本研究在多个真实世界的医疗数据集上进行了实验验证，结果表明PRISM模型在临床试验匹配任务上取得了显著优于传统方法的性能。具体而言，PRISM模型在准确率、召回率和F1分数等关键指标上均表现出色。

五、讨论与展望

尽管PRISM模型在临床试验匹配任务上取得了显著成果，但仍存在一些挑战和限制。例如，医疗数据的隐私和安全问题、不同医疗系统之间的数据兼容性问题等。未来研究可以进一步探索如何克服这些挑战，提高PRISM模型的实用性和泛化能力。

此外，随着人工智能技术的不断发展，大型语言模型在医疗领域的应用前景广阔。未来研究可以进一步探索PRISM模型在患者诊断、治疗方案推荐、药物研发等方面的应用潜力。

六、结论

本研究提出的PRISM模型是一种基于大型语言模型进行语义临床试验匹配的创新方法。通过深度解读患者电子健康记录并自动与临床试验标准匹配，PRISM模型能够显著提高临床试验匹配的自动化程度、准确性和可靠性。本研究在真实世界的医疗数据集上进行了大规模实证验证，证明了PRISM模型的有效性和实用性。未来研究可以进一步探索PRISM模型在医疗领域的广泛应用前景。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

大型语言模型在医疗行业应用评估的全面调查

自 Transformer 架构于 2017 年问世以来，大型语言模型（LLM）例如 GPT 和 BERT 已经取得了显著进步，凭借其在语言理解和生成方面强大的能力影响了各个行业。这些模型展现出在医疗领域的变革性潜力，凸显了专门的评估框架的必要性，以确保其在医疗领域的有效和合乎伦理的应用。这项全面调查阐述了医疗保健领域内 LLMs 的广泛应用和必要的评估，强调了经验验证的关键需求，以充分发挥其在提升医疗保健成果方面的潜力。我们的调查旨在提供对 LLM 在临床环境、医疗文本数据处理、研究、教育和公共卫生宣传等应用方面的深入分析。我们首先探讨 LLMs 在不同医疗应用中的作用，并详细介绍基于其在临床应用、医疗文本数据处理、信息检索、数据分析、医疗科学写作和教育内容生成等任务中的表现进行评估的方式。随后的章节深入探讨了这些评估中所采用的方法论，讨论了用于衡量模型有效性、准确性和伦理一致性的基准和指标。通过本调查A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry，我们旨在为医疗保健专业人员、研究人员和政策制定者提供对 LLMs 在医疗应用中的潜在优势和局限性的全面理解。通过详细介绍评估过程以及在将 LLMs 集成到医疗保健领域时面临的挑战，本调查旨在指导这些强大模型的负责任开发和应用，确保充分发挥其潜力，同时保持严格的道德标准。

一、引言

随着Google团队在2017年引入Transformer架构，自然语言处理领域进入了新时代。Transformer的创新之处在于其自注意力机制，这一机制显著提高了模型处理长距离依赖的能力，为众多后续模型的发展奠定了基础。特别是GPT和BERT等大型语言模型（LLMs）的出现，以其卓越的语言理解和生成能力，对各行各业产生了深远影响，其中医疗领域尤为显著。

二、大型语言模型在医疗领域的应用

1. 临床处置

LLMs在临床处置中的应用日益广泛，它们能够辅助医生进行疾病诊断、治疗方案制定和患者管理。通过处理和分析大量的医学文本数据，LLMs能够提供更加准确和个性化的医疗建议。

2. 医学文本数据处理

在医学文本数据处理方面，LLMs能够自动化地进行文本分类、信息抽取和关系识别等任务。这不仅提高了数据处理效率，还有助于发现新的医学知识和规律。

3. 研究与教育

在医学研究和教育方面，LLMs为科研人员和学生提供了丰富的资源和工具。通过分析和总结大量的医学文献，LLMs能够辅助研究人员发现新的研究方向和思路。同时，它们也可以作为教学辅助工具，帮助学生更好地理解和掌握医学知识。

4. 公共卫生意识

在公共卫生意识方面，LLMs能够通过社交媒体、健康网站等渠道传播医学知识和信息，提高公众对疾病的认知和防范意识。

三、大型语言模型在医疗领域的评价

尽管LLMs在医疗领域展现出了巨大的潜力，但也需要建立专门的评价框架来确保其有效性和可靠性。这包括评估模型在临床应用中的性能、医学文本数据处理的准确性、研究和教育的支持能力以及公共卫生意识的提升效果等方面。

四、结论

大型语言模型在医疗领域的应用正逐步深入，为医疗行业的发展带来了新的机遇和挑战。为了充分发挥LLMs的潜力，需要不断探索和优化模型的应用方式和评价方法。同时，也需要关注模型可能带来的风险和问题，确保其在医疗领域的负责任发展和部署。

五、未来展望

未来，随着技术的不断进步和应用场景的不断拓展，大型语言模型在医疗领域的应用将更加广泛和深入。我们有理由相信，在不久的将来，LLMs将成为推动医疗行业发展的重要力量之一。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

医疗LLM框架Hippocrates解读

大型语言模型（LLM）在医疗保健领域的应用有望变革医疗诊断、研究和患者护理。然而，医疗 LLM 的发展面临着复杂的训练要求、严格的评估需求，以及专有模型的垄断阻碍学术探索等障碍。透明、全面地访问 LLM 资源对于推动该领域的发展、促进可重复性以及鼓励医疗保健 AI 创新至关重要。我们提出 Hippocrates，一个专为医疗领域开发的开源 LLM 框架。与之前的努力不同，它为训练数据集、代码库、检查点和评估协议提供了不受限制的访问。这种开放的方法旨在促进协作研究，使研究界能够在透明的生态系统中构建、完善和严格评估医疗 LLM。我们还引入了 Hippo，这是一个针对医疗领域定制的 70 亿参数模型家族，通过对 Mistral 和 LLaMA2 进行持续预训练、指令调整和来自人类和 AI 反馈的强化学习，进一步优化了模型性能。我们的模型在很大程度上超越了现有的开源医疗 LLM 模型，甚至超越了具有 70 亿参数的模型。通过 Hippocrates，我们希望不仅能充分发挥 LLM 在推进医疗知识和改善患者护理方面的潜力，而且能让全球共享医疗保健 AI 研究带来的益处，实现医疗 AI 的民主化。

一、引言

随着人工智能技术的飞速发展，大型语言模型（LLMs）在医疗领域的应用前景愈发广阔。从医疗诊断到患者护理，再到医学研究，LLMs都展现出巨大的潜力和价值。然而，医疗LLMs的进展面临着诸多挑战，如复杂的训练需求、严格的评估要求以及专有模型的垄断，这些都限制了学术探索和创新。为了克服这些障碍，Emre Can Acikgoz等人提出了Hippocrates，一个专为医疗领域设计的开源LLM框架。

二、Hippocrates框架介绍

Hippocrates是一个旨在推动医疗领域LLMs进步的开源框架。与传统的LLM框架不同，Hippocrates提供了对训练数据集、代码库、检查点和评估协议的全面且不受限制的访问。这种开放性的设计旨在鼓励协作研究，允许社区在透明的生态系统中构建、完善并严格评估医疗LLMs。

三、Hippo模型家族

Hippocrates还引入了Hippo模型家族，这是一个由7B参数组成的、针对医疗领域定制的模型系列。这些模型基于Mistral和LLaMA2进行持续预训练、指令调优以及从人类和AI反馈中学习的强化学习。Hippo模型在性能上大幅超越了现有的开源医疗LLMs，甚至超越了具有70B参数的模型。

四、Hippocrates的主要特点和优势

1. 开放性：Hippocrates提供全面的资源访问，使得任何研究者都能够轻松地参与到医疗LLMs的开发和完善中来。
2. 可复制性：通过公开的代码库、数据集和评估协议，Hippocrates确保了研究成果的可复制性，促进了学术的透明度和公正性。
3. 高效性：Hippo模型家族的高效性能为医疗领域的应用提供了强有力的支持，有望推动医疗知识的进步和患者护理的改善。
4. 创新性：Hippocrates的开放性和协作性设计鼓励了创新，为医疗AI领域带来了新的发展机遇。

五、结论与展望

Hippocrates作为一个专为医疗领域设计的开源LLM框架，为医疗AI的发展开辟了新的道路。通过提供全面的资源访问和协作研究的机会，Hippocrates有望解锁LLMs在医疗领域的全部潜力，推动医疗知识的进步、提高患者护理的质量，并为未来的医疗创新奠定坚实的基础。随着技术的不断进步和社区的不断壮大，Hippocrates将在医疗AI领域发挥越来越重要的作用。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

医疗应用中的提示工程范式：范围审查与最佳实践建议

提示工程对于发挥大型语言模型（LLM）的潜力至关重要，尤其是在需要使用专业术语和措辞的医学领域。然而，提示工程在医学领域的有效性仍有待充分探索。在这项研究中，我们回顾了 114 篇近期论文（2022-2024 年），这些论文应用了提示工程技术来解决医学问题，涵盖了提示学习（Prompt Learning, PL）、提示调整（Prompt Tuning, PT）和提示设计（Prompt Design, PD）等方面。其中，PD 是最常见的技术，有 78 篇论文涉及了这一内容。在 12 篇论文中，PD、PL 和 PT 术语被互换使用。ChatGPT 是使用最广泛的 LLM，有 7 篇论文使用它来处理敏感的临床数据。链式思维（Chain-of-Thought）是这些论文中最常见的提示工程技术。虽然 PL 和 PT 相关的研究通常会提供评估基于提示的方法的基线，但 64% 的 PD 研究缺乏与提示无关的基线。我们整理了表格和图表来总结现有研究成果，并提供了报告建议，以期为未来的研究贡献提供指导。

一、引言

本文《医疗应用中的提示工程范式：范围审查与最佳实践建议》《医疗应用中的提示工程范式：范围审查与最佳实践建议》由Jamil Zaghir等人撰写，旨在探讨提示工程在医疗领域的重要性以及其在大型语言模型（LLMs）潜力挖掘中的关键作用。随着医疗领域对自然语言处理（NLP）技术的需求日益增长，如何有效应用提示工程成为了研究的关键。本文通过对114篇近期相关研究的综述，为医疗领域的提示工程应用提供了深入的见解和建议。

二、研究背景与重要性

医疗领域的专业术语和表述使得传统的NLP技术难以直接应用。提示工程作为一种新兴技术，通过精心设计的提示（prompt）来指导LLMs生成符合医疗领域需求的回答，从而极大地提高了LLMs在医疗领域的适用性。然而，医疗领域的提示工程研究尚处于起步阶段，其有效性和实用性仍需进一步探索。

三、研究内容与方法

本文综述了2022年至2024年间114篇关于医疗领域提示工程的研究，涵盖了提示学习（PL）、提示调整（PT）和提示设计（PD）三个方面。其中，PD是最普遍的研究方向，占据了78篇文章。值得注意的是，有12篇论文在提及PD、PL和PT时存在术语混淆的情况。此外，ChatGPT是医疗领域中最常用的LLM，其中七篇论文将其应用于处理敏感的临床数据。

在技术方面，Chain-of-Thought成为了最常见的提示工程技术，它通过一系列逻辑上连贯的步骤来指导LLMs的推理过程。PL和PT文章通常提供了基于提示的方法的评估基准，但令人惊讶的是，64%的PD研究缺乏与提示无关的基准进行比较。

四、研究结果与发现

本书对现有的医疗领域提示工程研究进行了详细的总结和分析，并指出了其中的一些重要发现：

1. PD的普及性：PD是医疗领域中最为普遍的提示工程研究方向，反映了在医疗领域中对LLMs进行定制化设计的重要性。

2. ChatGPT的广泛应用：ChatGPT在医疗领域的应用表明了其在处理复杂、敏感数据方面的潜力。

3. Chain-of-Thought的流行性：Chain-of-Thought作为一种新型的提示工程技术，其在医疗领域的应用表明其在提高LLMs推理能力方面的有效性。

4. 基准设置的不足：PD研究中缺乏非提示相关的基准比较，这限制了对其有效性的全面评估。

五、建议与展望

基于对现有研究的总结和分析，本文提出了一系列建议以指导未来的研究：

1. 明确术语定义：为了避免混淆，未来的研究应明确界定PD、PL和PT等术语的定义。

2. 多样化LLM应用：除了ChatGPT外，还应探索其他LLM在医疗领域的应用，以发现更多可能性和优势。

3. 加强基准设置：未来的PD研究应设置与提示无关的基准进行比较，以全面评估其有效性。

4. 深化Chain-of-Thought研究：Chain-of-Thought在医疗领域的应用展现了其巨大潜力，未来应进一步探索其在提高LLMs推理能力方面的应用。

六、结论

本文通过对医疗领域提示工程研究的综述，为未来的研究提供了重要的参考和指导。随着医疗领域对NLP技术的需求不断增长，提示工程将在其中发挥越来越重要的作用。未来的研究应关注于如何更好地应用提示工程来提高LLMs在医疗领域的性能和适用性。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.