Digital Health Insider

MEDCALC-BENCH：用于评估大型语言模型医学计算能力的基准测试平台

现有的医学领域大型语言模型（LLM）评测基准主要关注问答能力，即测试模型对领域知识的掌握程度和描述性推理能力，而较少评估其计算和逻辑推理能力。虽然这些定性能力对医疗诊断至关重要，但在实际的临床实践中，医生更常使用遵循定量公式和规则推理范式的临床计算器来辅助决策。为了弥补这一差距，我们推出了 MEDCALC-BENCH，首个专注于评估 LLM 医学计算能力的数据集。MEDCALC-BENCH 包含超过 1000 个经人工审核的实例，涵盖 55 种不同的医学计算任务。每个实例包含一份患者病历、一个需要计算特定医学指标的问题、一个标准答案以及详细的解题步骤。研究结果表明，LLM 在医学计算领域具有一定潜力，但尚未达到临床应用的要求。常见问题包括提取错误的实体信息、无法针对特定计算任务选择正确的公式或规则，以及计算过程中的算术错误等。我们希望这项研究能够揭示 LLM 在医学环境中存在的定量知识和推理缺陷，鼓励未来开发更强大的 LLM 模型，以胜任各类临床计算任务。

一、研究目标与实际问题

研究目标：
论文的研究目标是评估大型语言模型（LLMs）在医疗计算任务中的能力。

实际问题：
虽然LLMs在医学领域的应用广泛，但在医疗计算方面（如使用基于定量方程和规则的计算器进行决策支持）的能力尚未得到充分评估。现有评估标准主要关注于基于领域知识的问答和描述性推理，而真实临床场景中，医生经常使用基于定量方程和规则的临床计算器。

问题的重要性：
这一问题对于产业发展具有重要意义，因为它直接关联到AI技术在医疗领域应用的深度和广度。如果LLMs能够胜任医疗计算任务，将为临床决策提供强大的技术支持，推动医疗信息化和智能化发展。

二、新思路、方法与模型

新思路：
论文提出了一个名为MED CALC-BENCH的新数据集，专门用于评估LLMs在医疗计算任务中的能力。该数据集包含超过1000个经过人工审核的实例，覆盖55种不同的医疗计算任务。

方法：
MED CALC-BENCH数据集的构建采用了三步法：首先，从MDCalc中选取了55种常用的医疗计算器；其次，从Open-Patients数据集中识别出可以用于每个计算任务的患者笔记；最后，收集了超过1000个实例，每个实例包括患者笔记、问题、人工审核的正确答案和逐步解释。

关键：
MED CALC-BENCH数据集的关键在于它提供了一个全面且系统的评估框架，使得能够全面、深入地了解LLMs在医疗计算任务中的表现。

特点与优势：
与之前的方法相比，MED CALC-BENCH数据集具有以下特点和优势：

全面性：覆盖多种类型的医疗计算任务，包括基于规则的计算和基于方程的计算。
系统性：提供了每个实例的逐步解释，有助于深入分析LLMs在解决医疗计算任务时的问题所在。
实用性：基于真实患者笔记构建，更加贴近实际临床场景，评估结果更具参考价值。

三、实验设计与结果

实验设计：
论文使用了多种LLMs（包括GPT-4、Llama等）在MED CALC-BENCH数据集上进行了评估。实验采用了三种不同的提示策略：零次学习直接提示、零次学习链式思考（CoT）提示和一次学习CoT提示。

实验数据：
实验结果显示，尽管LLMs在医疗计算任务中展现出一定潜力，但目前尚无法满足临床使用的要求。具体来说，GPT-4在一次学习CoT提示下取得了最佳基线性能，准确率为50.9%。

结果分析：
实验结果表明，LLMs在医疗计算任务中面临的主要挑战包括：

知识不足：LLMs缺乏足够的医疗计算器知识，难以正确应用相应的方程或规则。
属性提取困难：从长文本患者笔记中提取相关属性对于LLMs来说是一个挑战。
算术计算错误：LLMs在执行算术计算时容易出现错误。

四、论文贡献与影响

论文贡献：

新数据集：提出了MED CALC-BENCH数据集，为评估LLMs在医疗计算任务中的能力提供了全面且系统的评估框架。
深入分析：通过系统实验和深入分析，揭示了LLMs在医疗计算任务中面临的问题和挑战。
改进方向：为未来改进LLMs在医疗计算任务中的性能提供了明确的方向和建议。

业界影响：
论文的研究成果将促进LLMs在医疗领域的深入应用和发展。通过解决LLMs在医疗计算任务中的问题，将能够推动医疗信息化和智能化水平的提升，为患者提供更加准确、高效的医疗服务。

潜在应用场景：

临床决策支持：利用改进的LLMs进行临床决策支持，提高医生的工作效率和决策准确性。
患者健康管理：利用LLMs为患者提供个性化的健康管理建议，帮助患者更好地管理自己的健康状况。

五、未来探索与挑战

未来探索方向：

改进LLMs的医疗计算能力：通过引入更多医疗领域知识、优化模型结构等方式，提高LLMs在医疗计算任务中的性能。
扩展数据集：扩大MED CALC-BENCH数据集的规模和覆盖范围，使其更加全面、系统地评估LLMs在医疗计算任务中的能力。

挑战：

数据质量问题：如何确保数据集中患者笔记的真实性和准确性是一个挑战。
模型泛化能力：如何提高LLMs在医疗计算任务中的泛化能力，使其能够适应更多样化的临床场景也是一个挑战。

六、论文不足与存疑

不足：

数据集规模：尽管MED CALC-BENCH数据集已经包含超过1000个实例，但相对于庞大的医疗计算任务来说仍然较小。
模型多样性：实验中仅使用了有限的几种LLMs进行评估，未能全面评估不同模型在医疗计算任务中的性能差异。

存疑：

模型泛化能力：尽管GPT-4等先进模型在MED CALC-BENCH数据集上取得了一定性能，但其在实际临床场景中的泛化能力仍需要进一步验证。
伦理与隐私问题：利用患者笔记进行模型训练可能涉及伦理和隐私问题，需要在实际应用中加以注意和解决。

七、非技术背景读者的启发与补充知识

启发：
对于非技术背景的读者来说，论文的启发在于认识到AI技术在医疗领域应用的广泛性和深度。通过了解LLMs在医疗计算任务中的挑战和问题，可以更好地理解AI技术在医疗领域应用的局限性和改进方向。

补充知识：

大型语言模型（LLMs）：LLMs是一类基于深度学习技术的自然语言处理模型，能够处理和理解人类语言文本。LLMs已经在多个领域展现出强大的应用潜力，包括问答系统、机器翻译、文本生成等。
医疗信息化：医疗信息化是指利用信息技术手段提高医疗服务质量和效率的过程。通过医疗信息化，可以实现患者信息的电子化、医疗流程的自动化和智能化等。医疗信息化对于提高医疗服务质量、降低医疗成本具有重要意义。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

SyntheT2C：生成合成数据以微调大型语言模型在文本到代码任务上的性能

将大型语言模型（LLM）与现有知识图谱（KG）数据库相结合，有望提高 LLM 的效率并减少其“幻觉”。然而，大多数 KG 存储在只能通过特定查询语言（如 Cypher）访问的图数据库中，因此亟需弥合 LLMs 与 KG 数据库之间的差距，实现自然语言到 Cypher 查询的自动转换，即“文本到 Cypher” (Text2Cypher) 任务。之前的研究尝试通过监督微调来提升 LLM 生成 Cypher 查询的能力，但由于缺乏标注好的“查询-Cypher”数据对，而人工标注工作量大、专业性强，导致进展缓慢。本研究提出了一种名为 SyntheT2C 的方法，用于构建包含“查询-Cypher”对的合成数据集。该方法包含两个主要步骤：（1）基于 LLM 的提示生成；（2）模板填充。SyntheT2C 能够生成大量“查询-Cypher”对，并从底层 Neo4j 图数据库中采样值。研究人员将 SyntheT2C 应用于两个医学数据库，创建了一个名为 MedT2C 的合成数据集。实验结果表明，MedT2C 数据集能够有效提升主流 LLMs 在 Text2Cypher 任务上的性能。 SyntheT2C 代码库和 MedT2C 数据集即将公开发布。

1. 论文研究目标及解决的实际问题

研究目标：
本论文的研究目标是通过合成数据的方式，提升大型语言模型（LLMs）在文本到Cypher查询转换任务（Text2Cypher）上的性能。

实际问题：
目前大多数知识图谱（KG）存储于图数据库中，只能通过特定的查询语言（如Cypher）进行访问。然而，由于缺乏自然语言到Cypher查询的标注数据集，LLMs难以直接应用于该任务。

问题的重要性：
该问题对于医疗信息化及人工智能领域具有重要意义。随着医疗知识的爆炸式增长，如何有效利用这些知识图谱成为关键问题。通过自动化地将自然语言查询转换为Cypher查询，可以大大提升KG数据库的利用效率，加速医疗知识的检索和应用。

2. 论文提出的新思路、方法或模型

新思路：
本文提出了SyntheT2C方法，用于构建合成Query-Cypher对数据集。该方法包含两个核心管道：基于LLM的提示（LLM-based prompting）和模板填充（template-filling）。

关键解决方案：

基于LLM的提示：利用预训练的LLMs（如GPT-4）生成Cypher查询，侧重于语义多样性。
模板填充：通过手动设计的模板和从Neo4j图数据库中抽取的实际值来生成具有复杂语法的Cypher查询。

特点与优势：
与以往方法相比，SyntheT2C无需手动标注数据集，能够自动生成大量高质量的Query-Cypher对。此外，通过结合两种不同策略的管道，SyntheT2C能够在保持语义多样性的同时，产生具有复杂语法的Cypher查询，增强了数据集的多样性和实用性。

3. 实验设计及验证方法

实验设计：

数据集：使用两个医疗数据库（LHY和Hetionet）来生成合成数据集MedT2C。
评估指标：Cypher查询质量（通过GPT-4o评价）和执行结果准确性（通过比较真实执行结果与查询结果）。
模型：对四种LLMs（GPT、Llama3、Qwen2、InternLM2）进行微调，并比较微调前后的性能。

实验结果：

Cypher质量提升：通过MedT2C数据集微调后的LLMs生成的Cypher查询质量显著提高，与人工标注的Cypher查询相比具有竞争力。
执行结果准确性：微调后的LLMs在执行Cypher查询时，结果准确性得到了提升。

4. 论文的贡献及产业影响

主要贡献：

提出SyntheT2C框架，能够自动生成高质量的合成数据集，用于提升LLMs在Text2Cypher任务上的性能。
构建并开源了MedT2C数据集，为Text2Cypher任务的研究提供了有力支持。

产业影响：

加速医疗知识的检索和利用：通过自动化将自然语言查询转换为Cypher查询，医疗专业人士可以更方便地利用知识图谱中的信息。
推动医疗信息化进程：SyntheT2C方法的应用，有助于提高医疗信息系统的智能化水平，为医疗决策提供支持。

潜在应用场景：

智能问答系统：在医疗问答系统中，利用SyntheT2C生成的合成数据，提升LLMs对自然语言查询的理解能力，提供更加准确的答案。
医疗知识图谱应用：在医疗知识图谱驱动的各类应用中（如药物发现、疾病预测等），利用SyntheT2C方法提升查询转换的准确性和效率。

5. 未来研究方向与挑战

未来研究方向：

探索更多类型的图数据库和查询语言：SyntheT2C方法目前主要针对Neo4j数据库和Cypher查询语言，未来可以拓展到其他类型的图数据库和查询语言。
提升生成Cypher查询的语义准确性：尽管SyntheT2C已经取得了显著的效果，但仍有提升空间，特别是在处理复杂查询时。

挑战：

模板编写的困难性：高质量的模板编写需要领域知识和经验，这对于非专业用户来说可能是一个挑战。
合成数据的质量控制：随着合成数据集的规模增大，如何确保数据质量成为一个重要问题。

6. 论文的不足及需要进一步验证的内容

不足：

模板编写的挑战：如上文所述，高质量的模板编写需要专业知识和经验，这限制了SyntheT2C的普适性。
合成数据的真实性问题：尽管经过严格的质量验证，但合成数据毕竟不同于真实数据，其真实性和实用性仍需进一步验证。

需要进一步验证的内容：

在更多领域和场景下的应用效果：目前SyntheT2C主要关注医疗领域，未来需要验证其在其他领域和场景下的应用效果。
与其他方法的对比研究：SyntheT2C方法与其他现有方法（如基于规则的方法、基于监督学习的方法等）的对比研究，有助于更全面地评估其性能。

7. 非技术背景读者的启发与背景知识补充

启发：

数据的重要性：合成数据作为一种新的数据生成方式，为解决标注数据不足的问题提供了新的思路。在AI领域，数据的数量和质量对模型的性能具有重要影响。
跨领域融合的趋势：SyntheT2C方法体现了自然语言处理与图数据库技术的融合趋势。未来，跨领域的融合将成为AI发展的重要方向。

背景知识补充：

大型语言模型（LLMs）：LLMs是一类先进的AI模型，通过大量文本数据的训练，能够理解和生成人类语言。LLMs在自然语言处理领域具有广泛应用，如机器翻译、文本生成等。
知识图谱（KG）：KG是一种结构化的知识库，用于表示实体之间的关系。KG在医疗、金融等领域具有广泛应用，为决策提供支持。
Cypher查询语言：Cypher是一种用于Neo4j图数据库的查询语言，用于表达和检索图结构中的信息。Cypher具有简洁、易读的特点，适合用于查询KG中的信息。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

CANCERLLM：面向肿瘤领域的大型语言模型

诸如 ClinicalCamel 70B 和 Llama3 OpenBioLLM 70B 等医学大型语言模型（LLM）在各类医学自然语言处理任务中表现优异，但目前仍缺乏专门针对癌症领域设计的大型语言模型。此外，现有 LLM 通常包含数十亿个参数，导致其计算成本高昂，难以广泛应用于医疗系统。为了解决这一问题，本研究提出了 CancerLLM 模型，该模型拥有 70 亿参数量和 Mistral 架构，在涵盖 17 种癌症类型的 2,676,642 份临床记录和 515,524 份病理报告上进行了预训练，并针对癌症表型提取、癌症诊断生成和癌症治疗方案生成三个癌症相关任务进行了微调。评估结果表明，CancerLLM 的性能优于其他现有 LLM，平均 F1 分数提升了 8.1%，并且在两个鲁棒性测试平台上也展现出更佳的表现。这表明 CancerLLM 能够有效应用于临床 AI 系统，助力提升癌症领域的临床研究和医疗服务水平。

一、论文研究目标与实际问题

研究目标：论文提出了一个专门用于癌症领域的大型语言模型 CancerLLM，旨在提高癌症相关自然语言处理任务的性能，包括癌症表型提取、癌症诊断生成和癌症治疗计划生成。

实际问题：目前医疗领域的大型语言模型（LLMs）普遍缺乏针对癌症领域的专业知识，导致在癌症诊断和治疗计划生成等任务上的表现不佳。此外，现有的医疗LLMs往往参数巨大，对计算资源要求较高，不适合在医疗资源有限的医院或机构中广泛应用。

问题的重要性：癌症是全球范围内导致死亡的主要原因之一，提高癌症诊断和治疗计划的准确性对于提升患者生存率和生活质量具有重要意义。同时，随着医疗信息化的发展，利用AI技术提升医疗服务效率和质量已成为必然趋势。

二、论文提出的新思路与方法

新思路：论文提出了一个专门针对癌症领域的大型语言模型 CancerLLM，通过整合癌症相关的临床笔记和病理报告数据进行预训练，并结合癌症相关的下游任务进行微调，以提高模型在癌症领域的性能。

方法特点：

专门性： CancerLLM 是首个专门针对癌症领域设计的大型语言模型，能够更好地捕捉癌症相关的专业知识。
高效性： CancerLLM 的参数规模适中（7亿参数），相比其他医疗LLMs（如 ClinicalCamel 70B 和 Llama3-OpenBioLLM 70B）在计算资源需求上更具优势。
全面性： CancerLLM 在预训练阶段使用了大量的癌症临床笔记和病理报告数据，涵盖了17种癌症类型，提高了模型在癌症领域的泛化能力。

三、实验设计与结果

实验设计：

预训练：在2,676,642份癌症临床笔记和515,524份癌症病理报告上进行预训练。
微调：在三个癌症相关的下游任务（癌症表型提取、癌症诊断生成和癌症治疗计划生成）上进行微调。
对比实验：与14个广泛使用的医疗LLMs和通用LLMs进行性能对比。

实验结果：

癌症表型提取： CancerLLM 在平均F1得分上显著优于所有对比模型，提高了8.1%。
癌症诊断生成： CancerLLM 在平均F1得分上同样显著优于所有对比模型，特别是在Exact Match指标上取得了最佳性能。
癌症治疗计划生成：虽然所有模型在治疗计划生成任务上的性能均不高，但 CancerLLM 仍然取得了最佳的平均F1得分。

科学假设支持：实验结果充分支持了论文提出的科学假设，即专门针对癌症领域设计的大型语言模型能够在癌症相关的自然语言处理任务上取得更好的性能。

四、论文贡献与影响

论文贡献：

模型创新：提出了首个专门针对癌症领域的大型语言模型 CancerLLM。
性能提升： CancerLLM 在癌症相关的自然语言处理任务上取得了显著的性能提升。
资源高效： CancerLLM 在计算资源需求上相对较低，适合在医疗资源有限的医院或机构中部署。

产业影响：

提升诊断准确性： CancerLLM 能够辅助医生进行更准确的癌症诊断和治疗计划制定。
提高医疗服务效率：通过自动化处理大量医疗文本数据，减轻医生工作负担，提高医疗服务效率。
推动医疗AI发展： CancerLLM 的成功应用将为医疗AI领域带来新的发展机遇。

五、未来探索与挑战

未来探索方向：

模型扩展与优化：进一步扩大 CancerLLM 的参数规模和数据集规模，探索更有效的模型架构和训练方法。
多模态数据融合：结合图像、基因组学等多模态数据，进一步提升 CancerLLM 在癌症领域的应用性能。
临床应用与伦理考量：深入研究 CancerLLM 在临床应用中的伦理和法律问题，确保技术的合规性和安全性。

挑战与投资机会：

技术挑战：如何进一步提高 CancerLLM 在复杂临床场景下的性能。
数据挑战：如何获取更大规模、更高质量的癌症相关数据。
投资机会：投资于医疗AI领域的企业和研究机构，特别是在癌症诊断和治疗计划生成方面具有技术优势的企业。

六、论文不足与存疑

不足之处：

实验数据局限性：实验数据主要来自单个医疗机构，可能存在数据偏差问题。
模型泛化能力： CancerLLM 在其他医疗机构或地区的泛化能力未经充分验证。
伦理和法律考量：论文对 CancerLLM 在临床应用中的伦理和法律问题讨论不足。

存疑之处：

模型可解释性： CancerLLM 的决策过程缺乏足够的可解释性，可能影响其在临床应用中的接受度。
数据隐私保护：如何确保癌症相关数据在模型训练和使用过程中的隐私保护问题。

七、启发与背景知识补充

启发：

针对性设计：针对特定领域设计专门的模型是提升模型性能的有效途径。
资源效率：在设计模型时需要考虑计算资源的需求和实际应用场景的限制。
多模态融合：结合多模态数据可以进一步提升模型的性能和泛化能力。

背景知识补充：

大型语言模型（LLMs）：是一类基于深度学习的自然语言处理模型，具有强大的文本生成和理解能力。
医疗信息化：是指利用信息技术提升医疗服务效率和质量的过程，包括电子病历、远程医疗、医疗大数据分析等领域。
癌症诊断与治疗：涉及复杂的医学知识和技术，包括病理学、影像学、分子生物学等多个学科。通过AI技术辅助癌症诊断和治疗计划生成具有重要意义。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.