Digital Health Insider: 大型语言模型助力病理报告结构化信息抽取

背景

从非结构化组织病理学报告中提取结构化信息，有助于提升临床研究的数据可访问性。专家人工提取既耗时又昂贵，且扩展性受限。大型语言模型（LLM）通过零样本提示，能够实现高效的自动化提取，仅需自然语言指令，无需标注数据或模型训练。我们评估了 LLM 从乳腺癌组织病理报告中提取结构化信息的准确性，并与训练有素的人工注释员的手动提取结果进行对比。

方法

我们开发了医疗报告信息提取器 Web 应用，该应用利用 LLM 实现自动提取。我们构建了金标准数据集，用于评估人工注释员以及五种 LLM，包括领先的专有模型 GPT-4o，以及支持自托管以保障数据隐私的 Llama 3 模型系列。我们的评估使用了来自 Breast Cancer Now (BCN) Generations Study 的 111 份组织病理学报告，提取了研究数据字典中指定的 51 项病理特征。

结果

针对金标准数据集的评估显示，Llama 3.1 405B (准确率 94.7%) 和 GPT-4o (96.1%) 均实现了与人工注释员 (95.4%；p = 0.146 和 p = 0.106) 相当的提取准确率。尽管 Llama 3.1 70B (91.6%) 的性能略低于人工准确率 (p < 0.001)，但其较低的计算需求使其成为一种可行的自托管方案。

结论

我们开发了一款开源的结构化信息提取工具，非编程人员可使用自然语言对其进行定制。其模块化设计使其可复用于各种信息提取任务，从非结构化文本报告中产出标准化的结构化数据，进而通过提升可访问性和互操作性，促进数据分析。

1. 论文研究目标、问题、假设与背景

这篇论文的研究目标是 评估大型语言模型 (LLM) 在从病理报告中提取结构化信息方面的准确性，并与人工专家提取的结果进行比较。论文旨在探索 LLM 在医学文本信息提取方面的应用潜力，并解决传统信息提取方法的局限性。

1.1 想要解决什么实际问题？

论文试图解决的核心问题是 如何高效、准确地从非结构化的病理报告中提取结构化信息，以支持临床研究和数据分析。

病理报告是医疗领域重要的文本数据来源，包含了丰富的临床信息。将这些信息提取出来并转化为结构化数据，对于疾病研究、疗效评估和临床决策支持至关重要。然而，传统的人工信息提取方法耗时、昂贵且容易出错，难以 scale up。

Structured information extraction from unstructured histopathology reports facilitates data accessibility for clinical research. Manual extraction by experts is time-consuming and expensive, limiting its scalability for large datasets.

论文指出，人工提取病理报告信息的瓶颈在于效率和可扩展性，这限制了对大规模病理数据进行分析和利用的可能性。

1.2 这是否是一个新的问题？

从病理报告中提取结构化信息并非新问题，实际上，医学自然语言处理 (NLP) 领域长期以来都在研究如何自动化病理报告信息提取。传统的 NLP 方法，例如基于规则的方法和机器学习方法，已经取得了一定的进展。

然而，利用大型语言模型 (LLM) 进行零样本 (zero-shot) 信息提取，是近年来新兴的研究方向。LLM 展现出强大的语言理解和泛化能力，无需针对特定任务进行大量标注数据的训练，即可完成复杂的信息提取任务，为解决病理报告信息提取问题带来了新的希望。

1.3 这篇文章要验证一个什么科学假设？

这篇论文主要验证的科学假设是：大型语言模型 (LLM)，特别是 GPT-4o 和 Llama 3 等先进模型，在经过零样本提示 (zero-shot prompting) 后，能够以接近甚至达到人类专家水平的准确率，从病理报告中提取结构化信息。

更具体来说，论文假设：

LLM 在零样本设置下，无需大量标注数据训练，即可有效执行病理报告信息提取任务。

GPT-4o 和 Llama 3 等先进 LLM 在病理报告信息提取任务中，能够达到与训练有素的人工专家相当的准确率。

Llama 3 系列模型，特别是 Llama 3.1 70B 和 Llama 3.1 405B 模型，在性能和成本之间取得了较好的平衡，是 self-hosting 场景下的可行选择。

1.4 有哪些相关研究？如何归类？

该研究属于以下几个领域的交叉：

医学自然语言处理 (Medical NLP): 论文的应用场景是医学领域，目标是利用 NLP 技术解决医学文本信息提取问题。

信息提取 (Information Extraction, IE): 论文的核心任务是从病理报告中提取结构化信息，属于信息提取领域的应用。

大型语言模型 (LLM): 论文评估了 LLM 在信息提取任务中的性能，并探索零样本 prompting 技术在医学领域的应用。

病理学 (Pathology): 论文的研究对象是病理报告，需要一定的病理学领域知识来理解和处理病理报告文本。

临床研究 (Clinical Research): 论文强调信息提取结果在临床研究中的应用价值，旨在提高临床研究的数据可访问性和分析效率。

1.5 谁是这一课题在领域内值得关注的研究员？

论文的作者团队来自 美国国家癌症研究所 (National Cancer Institute), 英国癌症研究所 (The Institute of Cancer Research) 和 帝国理工学院 (Imperial College London)，作者包括 Jeya Balaji Balasubramanian, Daniel Adams, Ioannis Roxanis, Amy Berrington de Gonzalez, Penny Coulson, Jonas S. Almeida, Montserrat García-Closas。Jeya Balaji Balasubramanian 和 Daniel Adams 为共同第一作者，Jeya Balaji Balasubramanian 为通讯作者。

从引用的参考文献来看，值得关注的研究员包括：

在医学 NLP 和病理报告信息提取方面: Peter López-Úbeda, Teresa Martín-Noguerol 等 [2]，Qiao Jin, Xinghua Lu 等 [3, 15]，Hong-Seok Choi, Sung-Joon Park 等 [13]，David Truhn, Christoph M. Loeffler 等 [14]。他们在医学 NLP 和病理报告信息提取领域做了很多研究，论文中引用了他们的相关工作。

在 LLM 和 zero-shot learning 方面: Jason Wei 等 [9]，他们在 zero-shot learning 和 prompting 技术方面有深入研究，论文中采用了 zero-shot prompting 方法。

在 LLM 评估和基准测试方面: Rohan Bommasani, Percy Liang 等 [5]，他们提出了 foundation models 的评估框架，为评估 LLM 性能提供了参考。

您可以进一步搜索这些研究员的论文，了解他们在相关领域的更深入研究。

2. 论文提出的新思路、方法和模型

论文的核心方法是 利用零样本 prompting 技术，结合先进的 LLM 模型 (如 GPT-4o 和 Llama 3)，构建自动化病理报告信息提取系统 Medical Report Information Extractor (MRIE)。

2.1 新的思路、方法或模型

论文提出的关键思路和方法包括：

零样本 prompting for IE: 采用零样本 prompting 技术，直接利用 LLM 的语言理解和泛化能力进行信息提取，无需针对特定任务进行微调或训练。

Large language models (LLMs) offer efficient automated extraction through zero-shot prompting, requiring only natural language instructions without labeled data or training.

自然语言指令 (Natural Language Instructions): 通过自然语言指令引导 LLM 完成信息提取任务，例如 “Extract structured information from pathology reports”。

JSON Schema 定义输出结构: 使用 JSON Schema 文件定义需要提取的结构化信息的格式和内容，指导 LLM 生成结构化输出。

零样本 prompting 流程示意图 (论文 Figure 1 的一部分):

graph LR
    A[TXT Pathology reports] --> B{Medical Report Information Extractor}
    C[TXT Task instructions] --> B
    D[JSON Generations study data schema] --> B
    B --> E[JSON Structured information]
    style B fill:#f9f,stroke:#333,stroke-width:2px

模块化系统架构 (Modular System Architecture): MRIE 系统采用 模块化设计，包括以下关键组件 (论文 Figure 1):

Optical Character Recognition (OCR): 将扫描的病理报告图像 (TIFF 格式) 转换为机器可读的文本 (TXT 格式)。

Deidentification: 对文本报告进行去标识化处理，保护患者隐私。

Medical Report Information Extractor: 核心组件，利用 LLM 进行结构化信息提取。

Assemble linked data: 将提取的结构化信息转换为 JSON-LD 格式，进行数据标准化。

MRIE 系统架构图 (论文 Figure 1):

graph LR
    A[Generations study] --> B[TIFF Scanned pathology reports (111)]
    B --> C{Optical Character Recognition} --> D[TXT Anonymized, machine-readable pathology reports (111)]
    D --> E{Medical Report Information Extractor}
    F[TXT Task instructions] --> E
    G[JSON Generations study data schema] --> E
    E --> H[JSON Structured information]
    H --> I{Assemble linked data} --> J[JSON-LD Structured information standardized to SNOMED-CT]
    K[GitHub] --> F
    K --> G
    K --> L[JSON-LD context]
    M[Large language model] --> E
    N[User] --> B
    N --> J
    style E fill:#f9f,stroke:#333,stroke-width:2px
    style I fill:#f9f,stroke:#333,stroke-width:2px
    style J fill:#ccf,stroke:#333,stroke-width:2px

数据标准化 (Data Standardization): 将提取的结构化信息 标准化为 SNOMED CT (Systematized Nomenclature of Medicine - Clinical Terms) 术语集，提高数据的互操作性和可重用性。

We standardize the extracted data using SNOMED CT (Systematized Nomenclature of Medicine - Clinical Terms) to facilitate collaborative research through either interoperable data sharing or decentralized analytics.

JSON-LD 上下文文件: 使用 JSON-LD 上下文文件将本地数据字典中的特征和值名称映射到标准化的 SNOMED CT 术语。

自动化语义术语匹配算法: 开发自动化语义术语匹配算法，将 BCN Generations Study 病理报告数据字典中的特征和值映射到 SNOMED CT 术语。

2.2 解决方案之关键

论文提出的解决方案之关键在于 充分利用 LLM 的零样本能力，结合精心设计的 prompting 策略和模块化系统架构，构建高效、可定制的病理报告信息提取系统。

零样本 prompting: 降低了对标注数据的依赖，提高了系统的灵活性和可扩展性，使其能够快速应用于新的信息提取任务。

模块化架构: 便于系统组件的复用和定制，用户可以根据自身需求选择不同的 LLM 模型和配置参数。

数据标准化: 提高了提取信息的互操作性和可重用性，促进了医学数据的共享和分析。

2.3 与之前的方法相比有什么特点和优势？

与之前的方法相比，这篇论文提出的方法具有以下特点和优势：

无需训练数据: 采用零样本 prompting 技术，无需针对特定任务进行模型训练，降低了开发成本和时间。传统的 NLP 方法通常需要大量标注数据进行模型训练。

高效性: LLM 在零样本设置下即可实现接近人类专家水平的性能，提高了信息提取效率。人工提取信息耗时且效率较低。

可定制性: MRIE 系统采用模块化设计，用户可以根据自身需求定制系统行为，例如选择不同的 LLM 模型、定义不同的提取特征和格式等。

可解释性: LLM 的 prompting 过程相对透明，用户可以理解系统如何根据指令进行信息提取，提高了系统的可解释性。

数据隐私保护: 对于 self-hosting 的 LLM 模型 (如 Llama 3)，数据处理可以在本地进行，无需将敏感数据上传到第三方平台，提高了数据隐私保护水平。

开源工具: 论文开源了 MRIE 系统代码和相关资源，为医学 NLP 领域的研究和应用提供了有价值的工具和基准。

3. 论文的实验验证及结果分析

论文通过实验评估了 MRIE 系统在病理报告信息提取任务中的性能，并将 LLM 模型与人工专家提取的结果进行了比较。

3.1 实验设计

数据集: 论文使用了 BCN Generations Study histopathology reports 数据集，包含 111 份乳腺癌病理报告。数据集被划分为训练集 (28 份报告, 25%) 和测试集 (83 份报告, 75%)。训练集用于迭代式 prompt 开发，测试集用于评估模型性能。

Our dataset of 111 breast cancer pathology reports was split into a training set (28 reports, 25%) and a test set (83 reports, 75%). The training set was used for iterative prompt development... The independent test set was then used to validate both the LLMs' and the human annotator's information extraction performance.

评估模型: 论文评估了以下五种 LLM 模型在病理报告信息提取任务中的性能：

GPT-4o: OpenAI 最新一代旗舰模型。

GPT-4o mini: GPT-4o 的轻量级版本，成本更低。

Llama 3.1 405B: Meta Llama 3 系列最大参数模型。

Llama 3.1 70B: Meta Llama 3 系列中等参数模型。

Llama 3.1 8B: Meta Llama 3 系列最小参数模型。

We evaluate LLMs' accuracy in extracting structured information from breast cancer histopathology reports, compared to manual extraction by a trained human annotator. ... We evaluate five LLMs including GPT-40, a leading proprietary model, and the Llama 3 model family...

评估指标: 主要评估指标为 特征值注释准确率 (feature-value annotation accuracy)，即模型提取的结构化信息与 gold standard (人工专家标注的黄金标准) 的一致性。

Gold standard 生成: gold standard 由 GPT-4o 和人工专家共同标注，并由一位 physician 进行冲突解决，确保 gold standard 的高质量。

The gold standard dataset was created by performing a conflict resolution between the automated structured information extraction by GPT-40, a leading proprietary LLM, and the manual structured information extraction by the human annotator, a domain expert.

3.2 实验数据和结果

主要实验结果 (论文 Figure 4 和 Results section):

Model	Accuracy (%)	p-value vs. Human	Cost per report (USD)
Human Annotator	95.4%	Ref.	-
GPT-4o	96.1%	p = 0.106	$0.44
Llama 3.1 405B	94.7%	p = 0.146	$0.35
Llama 3.1 70B	91.6%	p < 0.001	$0.15
GPT-4o mini	87.9%	p < 0.001	$0.01
Llama 3.1 8B	75%	p < 0.001	$0.02

关键数据:

GPT-4o 和 Llama 3.1 405B 达到人类专家水平: GPT-4o (96.1%) 和 Llama 3.1 405B (94.7%) 的准确率与人工专家 (95.4%) 相比，无显著差异 (p > 0.05)，表明 LLM 在病理报告信息提取任务中达到了人类专家水平。

Llama 3 系列模型性能随模型规模增加而提升: Llama 3.1 405B > Llama 3.1 70B > Llama 3.1 8B，模型规模越大，性能越好，符合 LLM 的 scaling law 规律。

GPT-4o mini 成本效益高: GPT-4o mini (87.9%) 性能略低于 GPT-4o，但成本显著降低 ($0.01 vs $0.44 per report)，在成本敏感的应用场景下，GPT-4o mini 是一个有吸引力的选择。

Llama 3.1 70B 兼顾性能和成本: Llama 3.1 70B (91.6%) 性能接近人类专家水平，成本也相对较低 ($0.15 per report)，在性能和成本之间取得了较好的平衡，是 self-hosting 场景下的可行选择。

模型性能分布 (论文 Figure 5):

模型性能稳定: 所有模型在不同病理报告上的性能分布都较为集中，没有出现个别报告性能大幅下降的情况，表明模型具有较好的鲁棒性。

GPT-4o 和 Llama 3.1 405B 模型性能分布与人工专家相似: GPT-4o 和 Llama 3.1 405B 模型的性能分布与人工专家较为接近，进一步验证了 LLM 在该任务中达到了人类专家水平。

特征层面性能分析 (论文 Table S2):

不同特征提取难度不同: 不同病理特征的提取难度存在差异，部分特征 (如 Clinging DCIS GP, Flat DCIS GP, Apocrine DCIS GP 等) 提取准确率接近 100%，而部分特征 (如 Microinvasion, Excision Margin, Axillary Nodes Total 等) 提取准确率相对较低。

LLM 在大部分特征上表现良好: LLM 在大部分病理特征上都取得了较高的准确率，但在一些复杂或模糊的特征上，仍有提升空间。

3.3 实验结果对科学假设的支持

实验结果有力地支持了论文提出的科学假设：

LLM 在零样本设置下能够高效、准确地从病理报告中提取结构化信息: 实验结果表明，GPT-4o 和 Llama 3 等先进 LLM 在零样本设置下，即可达到接近甚至达到人类专家水平的性能，验证了 LLM 在病理报告信息提取任务中的有效性。

GPT-4o 和 Llama 3.1 405B 模型性能突出: GPT-4o 和 Llama 3.1 405B 模型在准确率方面与人工专家相比无显著差异，证明了 LLM 在该任务中能够媲美人类专家。

Llama 3.1 70B 模型在 self-hosting 场景下具有优势: Llama 3.1 70B 模型在性能和成本之间取得了较好的平衡，是 self-hosting 场景下的可行选择，验证了 Llama 3 系列模型在资源受限环境下的应用潜力。

4. 论文贡献、业界影响、应用场景和商业机会

4.1 论文贡献

这篇论文的主要贡献可以归纳为以下几点：

系统评估了 LLM 在病理报告信息提取任务中的性能: 论文系统地评估了 GPT-4o 和 Llama 3 等先进 LLM 在病理报告信息提取任务中的准确性和成本，为 LLM 在医学领域的应用提供了实证依据。

验证了零样本 prompting 技术在医学信息提取领域的有效性: 实验结果表明，零样本 prompting 技术无需大量标注数据训练，即可使 LLM 实现接近人类专家水平的病理报告信息提取性能，为低资源医学 NLP 任务提供了新的思路。

开发并开源了 Medical Report Information Extractor (MRIE) 系统: MRIE 系统是一个基于 LLM 的自动化病理报告信息提取工具，具有模块化、可定制和开源的特点，为医学研究人员和临床医生提供了有价值的工具。

构建了高质量 gold standard 病理报告数据集: 论文构建了高质量 gold standard 病理报告数据集，并进行了详细的标注和质量控制，为医学 NLP 领域的研究提供了宝贵的资源。

深入分析了 LLM 在病理报告信息提取任务中的优势和局限性: 论文深入探讨了 LLM 在病理报告信息提取任务中的性能、成本、可解释性、鲁棒性和伦理安全等方面，为未来研究提供了方向和启示。

4.2 论文研究成果的业界影响

论文的研究成果将对医疗和人工智能业界产生积极影响：

推动医学 NLP 技术发展: 论文证明了 LLM 在医学文本信息提取方面的巨大潜力，将激励更多研究人员投入到相关技术研发中，加速医学 NLP 技术的进步。

加速病理报告信息自动化提取应用: MRIE 系统的开源发布，降低了病理报告信息自动化提取的技术门槛，有助于加速相关技术在临床实践和医学研究中的应用落地。

提高临床研究效率: 更高效、更准确的病理报告信息提取系统，将有助于提高临床研究的数据获取和分析效率，加速医学知识的发现和转化。

降低医疗成本: 自动化信息提取系统可以替代部分人工工作，降低医疗信息处理成本，提高医疗资源利用率。

促进医学数据标准化和互操作性: MRIE 系统采用 SNOMED CT 术语集进行数据标准化，有助于提高医学数据的互操作性和可重用性，促进医学数据的共享和整合。

4.3 潜在的应用场景和商业机会

MRIE 系统和相关技术具有广阔的应用前景和商业机会：

自动化病理报告结构化系统: MRIE 系统可以作为商业化的自动化病理报告结构化系统的核心引擎，为医疗机构和科研机构提供服务。

临床数据分析和挖掘平台: 结合 MRIE 系统和数据分析工具，可以构建临床数据分析和挖掘平台，用于疾病研究、疗效评估、临床决策支持等。

医学知识图谱构建: 基于 MRIE 系统提取的结构化信息，可以构建医学知识图谱，用于知识发现、推理和问答系统。

医学信息检索系统: 利用 MRIE 系统提取的结构化信息，可以构建更精准、更高效的医学信息检索系统，服务于医生、研究人员和患者。

医疗 AI 辅助诊断产品: 结合 MRIE 系统和其他 AI 技术 (如影像分析、基因组学分析)，可以开发更全面的医疗 AI 辅助诊断产品，提高诊断准确率和效率。

4.4 作为工程师应该关注哪些方面？

作为工程师，您应该重点关注以下几个方面：

LLM 的 prompting 技术: 深入学习零样本 prompting、few-shot prompting 等 prompting 技术的原理和应用，掌握如何设计有效的 prompts 来引导 LLM 完成特定任务。

医学 NLP 技术: 学习医学术语、医学文本特点和医学 NLP 的常用技术和工具，例如词向量、命名实体识别、关系抽取等。

数据标准化和互操作性: 了解 SNOMED CT 等医学术语集和标准，掌握数据标准化和互操作性技术，提高医学数据的质量和可用性。

模块化系统设计: 学习模块化系统设计思想，掌握如何构建可扩展、可维护、可定制的软件系统。

开源工具和平台: 关注医学 NLP 和 LLM 领域的开源工具和平台，例如 Hugging Face Transformers, spaCy, NLTK 等，学习如何利用这些工具和平台快速构建和部署医学 NLP 应用。

医疗数据隐私和安全: 在医疗应用开发中，高度重视数据隐私和患者安全，学习相关的技术和法规，确保系统安全可靠、合规合法。

5. 未来研究方向和挑战

论文指出了未来值得进一步探索的问题和挑战：

评估 LLM 在更大规模、更多样化的病理报告数据集上的性能: 需要在更大规模、更多样化的病理报告数据集上验证 MRIE 系统的性能，例如不同类型的癌症、不同医疗机构和不同语言的病理报告。

探索更先进的 prompting 技术: 研究更先进的 prompting 技术，例如 chain-of-thought prompting, reinforcement learning from human feedback (RLHF) 等，进一步提高 LLM 在病理报告信息提取任务中的性能。

评估 LLM 处理多标本报告的能力: 目前的 MRIE 系统主要处理单标本报告，未来需要评估 LLM 处理多标本报告的能力，应对更复杂的临床场景。

扩展到非英语病理报告: 将 MRIE 系统扩展到非英语病理报告，评估 LLM 在多语言医学文本信息提取方面的能力。

探索 LLM 在其他医学文本信息提取任务中的应用: 将 LLM 应用于其他医学文本信息提取任务，例如放射学报告、电子病历、临床指南等，拓展其在医学领域的应用范围。

提高 LLM 的可解释性和可信度: 研究如何提高 LLM 在医学信息提取任务中的可解释性，使其能够提供更清晰的 reasoning 过程和证据支持，增强医生对系统的信任和采纳度。

降低 LLM 的计算成本: 探索更高效的 LLM 模型和推理方法，降低 MRIE 系统的计算成本，使其更易于部署和应用。

可能的新的技术和投资机会:

医学 NLP 云平台和 API: 构建云端医学 NLP 平台和 API 服务，提供病理报告信息提取、医疗问答、临床决策支持等多种功能，降低医疗机构和开发者使用医学 NLP 技术的门槛。

基于 MRIE 系统的商业化产品: 将 MRIE 系统商业化，开发面向医院、诊所和科研机构的病理报告信息提取产品和服务。

医学知识图谱构建和应用: 基于 MRIE 系统提取的结构化信息，构建医学知识图谱，并开发基于知识图谱的医学应用，例如智能诊断、个性化治疗等。

医疗数据标准化和互操作性解决方案: 提供医疗数据标准化和互操作性解决方案，帮助医疗机构实现数据共享和整合，提高医疗数据利用价值。

医疗 AI 伦理和安全评估工具: 开发医疗 AI 伦理和安全评估工具，帮助开发者和使用者评估和降低医疗 AI 系统的风险。

6. 论文的不足及需要进一步验证和存疑之处

从 critical thinking 的视角来看，这篇论文存在以下不足和需要进一步验证和存疑之处：

数据集规模较小: 论文只使用了 111 份病理报告进行评估，数据集规模相对较小，可能无法充分验证 LLM 在大规模、多样化病理报告上的泛化能力。

仅评估了零样本 prompting: 论文只评估了零样本 prompting 技术，没有对比 fine-tuning 等其他模型训练方法，无法确定零样本 prompting 是否是最佳方案。

主要评估了特征值注释准确率: 论文主要关注特征值注释准确率，但没有深入评估提取信息的完整性、一致性和可靠性，以及在下游任务中的应用效果。

Gold standard 生成过程可能存在偏差: gold standard 虽然由医生进行冲突解决，但仍然基于 GPT-4o 和人工专家的初步标注，可能存在一定的 bias，影响评估结果的客观性。

成本分析不够全面: 论文只考虑了 OpenAI API 和 Amazon Bedrock 定价，没有全面分析自建 LLM 基础设施和维护的成本。

需要进一步验证和存疑之处:

MRIE 系统在不同类型病理报告上的性能: 需要在不同类型、不同格式、不同来源的病理报告上验证 MRIE 系统的性能，评估其通用性和鲁棒性。

不同 prompting 策略的影响: 需要对比不同 prompting 策略 (例如 few-shot prompting, chain-of-thought prompting) 对 MRIE 系统性能的影响，探索最优的 prompting 策略。

LLM 在下游任务中的应用价值: 需要将 MRIE 系统提取的结构化信息应用于下游任务，例如临床研究、数据分析和决策支持，验证其在实际应用中的价值。

人工专家参与程度和成本效益: 需要在更大规模的数据集上评估人工专家参与 gold standard 生成和质量控制的必要性和成本效益，探索更高效、更经济的 gold standard 生成方案。

开源工具的易用性和可扩展性: 需要进一步评估 MRIE 开源工具的易用性和可扩展性，以及在不同应用场景下的适用性。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

大型语言模型助力病理报告结构化信息抽取