Digital Health Insider

Fact Finder：知识图谱助力大型语言模型成为领域专家

近年来，大型语言模型 (LLM) 在回答自然语言查询方面取得了显著进展。然而，它们的有效性受到有限的特定领域知识的阻碍，引发了对其响应可靠性的担忧。我们介绍了一种混合系统，该系统通过特定领域知识图谱 (KG) 增强 LLM，从而旨在使用基于 KG 的检索方法提高事实准确性。我们专注于医学 KG 来展示我们的方法，其中包括 (1) 预处理，(2) Cypher 查询生成，(3) Cypher 查询处理，(4) KG 检索和 (5) LLM 增强响应生成。我们在一个包含 69 个样本的精选数据集上评估我们的系统，在检索正确的 KG 节点方面实现了 78% 的准确率。我们的研究结果表明，混合系统在准确性和完整性方面优于独立的 LLM，这一点已通过以 LLM 作为评判者的评估方法得到验证。这使得该系统成为需要事实准确性和完整性的应用（例如目标识别，即识别用于疾病治疗或作物改良的生物实体的关键过程）的有希望的工具。此外，其直观的搜索界面和在几秒钟内提供准确响应的能力使其非常适合对时间敏感、注重精确度的研究环境。我们已将源代码、数据集和使用的提示模板公开发布.

1. 研究目标与相关工作

研究目标：

开发一个混合系统，通过结合领域特定知识图谱 (KG) 来增强 LLM 的能力，特别是提高事实正确性。

专注于医学 KG，展示将 LLM 与 KG 结合以回答科学问题的方法。

实际问题：

LLM 虽然在自然语言理解和生成方面取得了很大进展，但其领域特定知识有限，导致回答可靠性不足。

生命科学领域需要高度准确和完整的信息，而 LLM 经常出现幻觉或遗漏重要实体。

目标识别等生命科学应用需要获取最新的文献和数据，而 LLM 的训练数据可能过时。

科学假设：

通过使用 KG 检索方法，可以增强 LLM 的领域特定知识，并提高其在回答科学问题时的准确性和完整性。

相关研究：

知识图谱 (KG)：KG 用于组织和表示实体及其关系的结构化数据，例如 PrimeKG (Chandak et al., 2023)。

检索增强生成 (RAG)：利用外部知识库增强 LLM 回答问题的能力 (Lewis et al., 2021)。

文本到 Cypher 转换: 将自然语言问题转换为可执行的 Cypher 查询以检索 KG 信息 (Srivastava et al., 2021)。

LLM 在生命科学中的应用: Med-PaLM 2 (Nori et al., 2023), GatorTron (Waisberg et al., 2023), BioMedLM (Bašaragin et al., 2024)。

值得关注的研究员：

Payal Chandak: PrimeKG 知识图谱的主要开发者之一，专注于构建支持精准医疗的知识图谱。

Patrick Lewis: Google Research, RAG 框架的提出者之一，研究方向包括信息检索和自然语言处理。

Harsha Nori: Microsoft Research, Med-PaLM 2 的主要作者之一，研究方向包括 LLM 在医疗领域的应用和评估。

2. 新思路、方法和模型

新思路：

利用医学 KG 作为外部知识库，增强 LLM 回答科学问题的准确性和完整性。

使用 LLM 生成 Cypher 查询，从 KG 中检索相关信息。

将 KG 检索结果和原始问题作为输入，引导 LLM 生成更准确、完整的回答。

关键方法：

Cypher 查询生成: 使用 LLM 将自然语言问题转换为 Cypher 查询，利用提示工程提供图模式和关系描述。

查询预处理: 对生成的 Cypher 查询进行预处理，包括格式化、属性值小写转换、同义词选择和代码修正，以提高系统鲁棒性。

图问答和语言化: 执行 Cypher 查询，从 KG 中检索相关节点，并将结果和问题一起输入 LLM，生成最终的自然语言答案。

可解释性: Fact Finder 提供 Cypher 查询、图响应和子图可视化等证据，提高系统的透明度和可信度。

模型特点和优势：

易于使用: Fact Finder 提供一个用户友好的界面，允许用户输入问题并查看答案以及相关证据。

事实正确性: 通过结合医学 KG，Fact Finder 可以提供更准确和完整的答案，减少 LLM 幻觉。

可解释性: Fact Finder 提供多种形式的证据，使用户可以理解系统如何得出答案。

高效性: Fact Finder 可以在几秒钟内提供准确的答案，适合时间敏感的研究环境。

3. 实验设计与结果分析

实验设计：

数据集: 使用 PrimeKG 作为医学知识图谱，并手动构建了一个包含 69 个文本-Cypher 查询对的数据集，用于评估 Cypher 查询生成性能。

LLM 模型: 使用 GPT-4 和 GPT-4-Turbo 进行实验。

评估指标: 使用 IoU、准确率和召回率评估 Cypher 查询生成性能，并使用 LLM-as-a-Judge 方法评估答案的正确性和完整性。

实验数据和结果：

表 1 展示了不同 LLM 模型在 Cypher 查询生成任务上的性能。GPT-40 在没有实体增强的情况下表现最佳，IoU 超过 75%。

表 2 展示了 Fact Finder 在处理不正确图响应时的能力。结果表明，LLM 可以识别不相关的 KG 结果，并拒绝回答问题，提高了系统的可靠性。

图 7 和 图 8 展示了 Fact Finder 的用户界面，以及 LLM 单独回答和结合 KG 回答的对比。

实验结果对科学假设的支持：

实验结果表明，结合医学 KG 的 Fact Finder 能够生成更准确、完整的答案，并提供可解释的证据，支持了论文的科学假设。

关键数据：

GPT-40 在 Cypher 查询生成任务上获得了 75.2% 的 IoU。

在 LLM-as-a-Judge 评估中，Fact Finder 在 94.12% 的案例中提供了更准确的答案，在 96.08% 的案例中提供了更完整的答案。

4. 论文贡献与业界影响

论文贡献：

提出 Fact Finder 混合系统: 结合 KG 和 LLM，提高 LLM 在生命科学领域回答科学问题的能力。

展示 LLM 生成 Cypher 查询的可行性: 为从 KG 检索信息提供了一种新的方法。

提供可解释的证据: 增强用户对系统的信任和理解。

业界影响：

促进生命科学领域 AI 应用的开发: Fact Finder 可以用于构建各种 AI 应用，例如辅助诊断、药物发现、文献检索等。

提高生命科学研究效率: Fact Finder 可以帮助研究人员快速获取准确和完整的信息，加速研究进程。

推动知识图谱和 LLM 的融合: Fact Finder 为 KG 和 LLM 的结合提供了新的思路和方法。

潜在应用场景和商业机会：

药物发现: Fact Finder 可以帮助研究人员识别潜在的药物靶点，并预测药物的疗效和安全性。

精准医疗: Fact Finder 可以根据患者的基因信息和病史，提供个性化的治疗方案。

临床决策支持: Fact Finder 可以辅助医生进行诊断和治疗决策，提高医疗服务的质量和效率。

作为工程师，你应该关注：

Cypher 查询生成: 研究如何提高 LLM 生成 Cypher 查询的准确率和效率。

知识图谱构建: 研究如何构建高质量的医学知识图谱，并使其保持最新。

用户界面设计: 设计用户友好的界面，方便用户与系统交互。

5. 未来研究方向和挑战

扩展到其他领域: 将 Fact Finder 扩展到其他需要专业知识的领域，例如金融、法律等。

多语言支持: 支持多语言问题和答案，扩展系统的适用范围。

多知识图谱整合: 整合来自多个 KG 的信息，提供更全面的知识覆盖。

实时更新: 使系统能够实时更新 KG，以反映最新的研究成果和数据。

新的技术和投资机会：

文本到 Cypher 转换工具: 开发更强大的文本到 Cypher 转换工具，提高查询生成效率。

领域特定知识图谱构建平台: 开发用于构建和维护领域特定 KG 的平台。

可解释性 AI 技术: 投资于可解释性 AI 技术的研发，提高系统的透明度和可信度。

6. 论文的不足与缺失

数据集规模: 论文使用的文本-Cypher 查询对数据集规模较小，可能不足以全面评估系统的性能。

缺乏对模型不确定性的评估: Fact Finder 没有提供对答案不确定性的评估，这在某些情况下可能很重要。

仅关注医学领域: Fact Finder 目前仅关注医学领域，其在其他领域的表现尚不清楚。

需要进一步验证和存疑的：

模型泛化能力: Fact Finder 在处理未见过的科学问题时的表现如何？

查询生成效率: 当问题复杂度增加时，LLM 生成 Cypher 查询的效率如何？

系统可扩展性: 当 KG 规模增加时，Fact Finder 的性能如何？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

MEDICAL GRAPH RAG：图检索增强生成技术助力打造安全可靠的医疗大型语言模型

我们提出了一种名为 MedGraphRAG 的新型基于图的检索增强生成 (RAG) 框架，该框架专为医疗领域设计，旨在增强大型语言模型 (LLM) 的能力并生成基于证据的结果，从而提高处理私人医疗数据时的安全性和可靠性。我们全面的流程首先采用混合静态语义方法进行文档分块，显著提高了上下文捕获能力，超越了传统方法。提取的实体用于创建三级层次图结构，将实体链接到来自医学论文和词典的基础医学知识。然后，这些实体相互连接以形成元图（由多个子图组成的图），这些元图根据语义相似性进行合并，以开发一个全面的全局图。这种结构支持精确的信息检索和响应生成。检索过程采用 U-retrieve 方法来平衡全局感知和 LLM 的索引效率。我们通过全面的消融研究验证了该方法，该研究比较了不同的文档分块、图构建和信息检索方法。结果不仅表明我们的层次图构建方法在多个医学问答基准测试中始终优于最先进的模型，而且还证实生成的响应包含源文档，显著提高了医疗 LLM 在实际应用中的可靠性。

1. 研究目标与相关工作

研究目标：

针对医学领域开发一种新的基于图的 RAG 方法，以增强 LLM 的能力。

生成具有循证结果和清晰医学术语解释的回答，提高 LLM 在医学领域的透明度和可解释性。

实际问题：

LLM 在应用于需要专业知识的领域（如医学）时存在局限性，包括处理长上下文、高成本微调、幻觉和缺乏深入推理能力等问题。

医学领域对准确性和安全性要求极高，LLM 的幻觉可能会导致严重后果。

现有 RAG 方法在整合来自不同来源的信息和进行深入推理方面存在不足。

科学假设：

通过将医学文档构建为分层图结构，并结合 U-retrieve 检索策略，可以增强 LLM 在医学问答任务中的性能，并生成更安全可靠的循证结果。

相关研究：

检索增强生成 (RAG)：Lewis et al. (2021) 提出的 RAG 框架，使用外部知识库来增强 LLM 的能力。

图 RAG：Hu et al. (2024) 将知识库构建为图结构，并利用图机器学习来增强 RAG。

医学领域 LLM: Med-PaLM 2 (Singhal et al., 2023), BioMedLM (Bolton et al., 2022), GatorTron (Gu et al., 2022), PMC-LLaMA (Wu et al., 2023) 等。

值得关注的研究员：

Patrick Lewis: Google Research, RAG 框架的提出者之一，研究方向包括信息检索和自然语言处理。

Yuntong Hu: 图 RAG 方法的提出者之一，研究方向包括图神经网络和自然语言处理。

Karan Singhal: Google Research, Med-PaLM 2 的主要作者之一，专注于医疗领域 LLM 的研究。

2. 新思路、方法和模型

新思路：

将医学文档构建为三层分层图结构: 将用户提供的文档、医学文献和医学术语库连接起来，形成一个全面的知识图谱。

采用 U-retrieve 检索策略: 结合自顶向下检索和自底向上生成，平衡全局上下文感知和 LLM 的上下文限制。

关键方法：

混合静态语义文档分块: 结合静态字符和基于主题的分割，提高上下文捕获的准确性。

实体提取: 使用 LLM 从每个文档块中识别和提取实体，并生成实体的名称、类型和描述。

层次链接: 将实体链接到更基础的医学知识和术语，确保结果的可靠性和可追溯性。

关系链接: 使用 LLM 识别实体之间的关系，并构建加权有向图。

U-retrieve 检索: 结合自顶向下检索和自底向上生成，有效地从图中检索和整合信息。

模型特点和优势：

针对医学领域优化: MedGraphRAG 的图结构和检索策略专门针对医学领域的特性进行设计。

循证结果: 通过链接到可靠的医学知识来源，MedGraphRAG 可以生成具有循证结果的回答。

可解释性: MedGraphRAG 可以提供对医学术语的清晰解释，并支持对结果的溯源。

安全性: MedGraphRAG 减少了 LLM 产生幻觉的风险，提高了在医学领域应用的安全性。

3. 实验设计与结果分析

实验设计：

基准测试: 在 PubMedQA、MedMCQA 和 USMLE 等医学问答基准测试中评估 MedGraphRAG 的性能。

评估指标: 准确率。

对比模型: 与其他 LLM（包括 LLaMA2、LLaMA3、Gemini 和 GPT-4）以及其他 SOTA 医学 LLM 进行比较。

消融实验: 评估不同模块（文档分块、图构建和信息检索）对 MedGraphRAG 性能的影响。

实验数据和结果：

表 1 展示了 MedGraphRAG 对不同 LLM 的改进效果。结果表明，MedGraphRAG 显著提高了 LLM 在医学问答任务中的性能，尤其是在小型 LLM 上。

图 2 展示了 MedGraphRAG 在 MedQA 基准测试中与其他 SOTA 医学 LLM 的性能对比。MedGraphRAG 结合 GPT-4 实现了最优性能，超过了 Medprompt 和其他微调模型。

表 2 展示了消融实验结果，验证了混合静态语义分块、层次图构建和 U-retrieve 检索策略的有效性。

实验结果对科学假设的支持：

实验结果有力地支持了论文的科学假设，即通过构建医学分层图结构和采用 U-retrieve 检索策略，可以增强 LLM 在医学问答任务中的性能，并生成更安全可靠的循证结果。

关键数据：

在 MedQA 基准测试中，MedGraphRAG 结合 GPT-4 实现了 91.3% 的准确率，超过了 Medprompt 的 90.2%。

在消融实验中，使用层次图构建方法比基线方法的准确率提高了 7.2% (MedQA)。

4. 论文贡献与业界影响

论文贡献：

提出了 MedGraphRAG 框架: 一个专门针对医学领域的基于图的 RAG 框架。

开发了创新的图构建和检索方法: 混合静态语义分块、层次链接、U-retrieve 检索。

实证研究证明了 MedGraphRAG 的有效性: 在多个医学问答基准测试中取得了 SOTA 性能。

业界影响：

提高医疗领域 LLM 的安全性和可靠性: MedGraphRAG 可以减少 LLM 产生幻觉的风险，并生成循证结果，从而提高 LLM 在医学领域应用的安全性。

促进医疗 AI 应用的开发: MedGraphRAG 可以用于构建各种医疗 AI 应用，例如临床决策支持系统、医学信息检索、患者教育等。

潜在应用场景和商业机会：

辅助诊断: MedGraphRAG 可以辅助医生进行诊断，并提供循证的诊断依据。

医学文献检索: MedGraphRAG 可以帮助医生和研究人员快速查找和理解医学文献。

患者教育: MedGraphRAG 可以为患者提供准确可靠的医学信息，并解答他们的疑问。

作为工程师，你应该关注：

图数据库的构建和维护: 如何构建和维护一个高质量的医学知识图谱。

LLM 与图数据库的集成: 如何将 LLM 与图数据库有效地集成起来。

用户界面的设计: 如何设计用户友好的界面，方便用户与 MedGraphRAG 进行交互。

5. 未来研究方向和挑战

扩展到多模态数据: 将 MedGraphRAG 扩展到多模态领域，使其能够处理医学图像、信号等数据。

提高模型的可解释性: 研究如何更好地解释 MedGraphRAG 的推理过程。

个性化: 开发针对不同医疗专业和患者群体的个性化 MedGraphRAG 模型。

实时应用: 探索 MedGraphRAG 在实时临床环境中的应用。

新的技术和投资机会：

医学知识图谱构建工具: 开发用于构建和维护医学知识图谱的工具。

多模态数据处理技术: 研究如何将多模态数据集成到 MedGraphRAG 框架中。

可解释性 AI 技术: 投资于可解释性 AI 技术的研发，以提高 MedGraphRAG 的透明度。

6. 论文的不足与缺失

缺乏对模型在真实临床环境中的评估: 论文主要关注模型在基准测试中的性能，缺乏对模型在真实临床环境中应用效果的评估。

数据集的局限性: 论文使用的数据集主要来自英文医学文献，可能存在文化和语言偏差。

需要进一步验证和存疑的：

模型的泛化能力: MedGraphRAG 在处理未见过的医学案例时的表现如何？

模型的可扩展性: 当数据量和图规模增加时，MedGraphRAG 的性能如何？

模型的鲁棒性: MedGraphRAG 对噪声数据和错误信息的鲁棒性如何？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.