大型语言模型能否得出与系统综述一致的结论？

系统综述（SR）是循证临床决策、研究及政策制定的基石，在综述中，领域专家对来自不同个体研究的证据进行归纳与分析，以期就某一特定主题提供深刻见解。鉴于科学文献呈指数级增长，学界对利用大型语言模型（LLM）自动化生成系统综述的兴趣与日俱增。然而，大型语言模型在批判性评估证据、整合多方文献信息并以领域专家同等专业水平提供建议方面的能力，其特性尚未得到充分阐明。因此，我们提出一个核心问题：当给予大型语言模型（LLM）与临床专家相同的研究文献时，其能否得出与专家撰写的系统综述相一致的结论？

为探究此问题，我们构建了MedEvidence基准数据集，该数据集整合了100篇系统综述的研究结论及其所依据的原始研究文献。我们利用MedEvidence对24种不同类型及参数规模（从70亿至7000亿不等）的大型语言模型进行了基准评测，其中包括通用推理型、非推理型以及医学领域特化型模型。通过系统性评估，我们发现：推理能力并非必然提升模型性能；更大规模的模型也未必总能带来更显著的性能增益；而基于知识的微调反而导致模型在MedEvidence上的准确率下降。大多数模型反而表现出相似的行为模式：其性能随输入文本长度（token length）的增加而趋于下降；回答普遍表现出过度自信；并且，与人类专家不同，所有模型在面对低质量研究发现时均缺乏应有的科学审慎态度。

这些结果表明，尽管这类系统已被部署并为临床医生所用，但在大型语言模型能够可靠地复现专家主导的系统综述结论之前，仍有大量工作亟待完成。我们向广大学术社群公开发布了我们的代码库与基准数据集，以期推动对基于大型语言模型的系统综述生成系统的深入研究。


一、论文的研究目标、实际问题、科学假设及相关研究

  1. 研究目标与实际问题 这篇论文的核心研究目标是：评估在提供相同研究文献的前提下，大型语言模型（LLMs）在多大程度上能够复制由临床专家撰写的系统综述（Systematic Reviews, SRs）的结论 。

    它想要解决的实际问题主要包括：

    • 科研文献的指数级增长：已发表文章数量的急剧增加使得人工从多个来源综合信息变得非常耗时 。
    • SRs生成的高昂成本与耗时：SRs是循证临床决策、研究和政策的基石 ，但通常需要平均67周的大量人工投入才能完成 。因此，学术界对使用LLMs自动化SRs生成过程的兴趣日益浓厚 。
    • LLM在批判性评估和多文档推理能力方面的不确定性：尽管LLMs在某些任务上表现出色，但它们批判性评估证据、跨多个文档进行推理并提供与领域专家同等水平建议的能力尚未得到充分表征 。特别是在处理不同研究类型、样本量、偏倚风险的研究，以及处理相互矛盾的医学发现时，LLMs的行为尚不明确 。
    • 现有LLM评估方法的局限性：先前的工作主要评估LLMs的“静态”医学知识 ，或者评估其生成主题摘要的能力 。后者需要对生成内容的每个细节进行彻底审查，通常需要医学专家评估准确性，使得评估耗时且难以规模化 。

  2. 是否是一个新的问题？ 虽然LLMs在医学领域的应用和评估已有诸多研究，但这篇论文提出的问题和方法具有其新颖性。其核心新颖之处在于，它并非评估LLMs生成完整的SR，也不是简单测试其医学知识问答，而是通过一个专门构建的基准（MedEvidence），在给定与专家相同原始研究文献的受控环境下，考察LLMs是否能得出与专家SRs相同的具体“结论”，并将这些结论转化为封闭式问答任务以便规模化评估 。这种对LLM进行多源信息综合、证据权衡和批判性思维（如科学怀疑态度）能力的直接且可量化的评估，是相对较新的探索。

  3. 科学假设 虽然论文没有明确列出“科学假设”，但其研究是基于以下隐含的预期或待验证的观点：

    • 当前LLMs难以完全匹配专家SRs的结论：即使给予相同的原始文献，LLMs在批判性评估证据、处理冲突信息和保持科学怀疑态度方面可能不如人类专家，因此难以在所有情况下都得出与专家一致的结论。
    • 模型特性（如大小、推理能力、医学微调）与性能的关系可能不直接：论文预期通过系统性评估，发现模型大小的增加、是否具备特定“推理”能力或是否经过医学知识微调，并不一定能保证在MedEvidence这类任务上获得更好的性能 。
    • LLMs在处理证据时可能表现出特定行为模式：例如，可能随输入文本长度增加性能下降，可能表现出过度自信，或者缺乏对低质量研究的科学怀疑态度 。

  4. 相关研究与归类 论文在第二节“Related work”中详细讨论了相关研究，并将其与MedEvidence进行了对比（见Table 1）：

    • 基于LLM的医学系统综述自动化：已有研究探索LLMs在文献检索、筛选、数据提取、偏倚评估、叙述综合等SR的各个环节的应用 。但大规模评估LLM生成SR或荟萃分析的研究相对不足，且现有研究规模小（如Reason et al. ，Schopow et al. ，Qureshi et al. ），通常依赖人工比较，缺乏自动化基准 。
    • 源自系统综述的医学事实验证：一些研究利用SRs来评估LLMs的医学事实核查能力。例如，MedREQAL是一个LLM策划的QA数据集，用于检验模型核查来自Cochrane SRs声明的可靠性 ，但它不提供SR所用的原始文献，而是评估模型的内部知识（事实回忆）。HealthFC则要求模型核查医学事实核查网站Medizin Transparent分析过的声明，但它提供的是预先综合过的分析作为证据，而非原始文献 。MedEvidence与之不同，它要求模型直接处理原始研究文献（摘要或全文），进行信息提取、推理和综合，以匹配专家得出的SR结论 。
    • LLM在处理冲突信息时的行为：ConflictingQA研究模型如何回应支持或反驳某一主张的冲突论点，但其关注的是无确定答案的争议性问题，领域不限于医学，且证据来源是多样的在线资源而非同行评议文献 。ClashEval研究模型内部知识与外部证据（包括医学子集）的冲突，但仅限于单源冲突和人为扰动的值 。ConflictBank和KNOT评估模型在特定冲突类型（如时间不一致、错误信息）上的表现，但依赖于维基百科来源的事实型问题和较小的合成输入 。 论文强调，据其所知，尚无现有研究或数据集能提供丰富的标注数据，以系统性地评估模型在使用与医学专家相同原始研究文献的情况下，与医学SR结论对齐的能力 。

  5. 值得关注的研究员/机构

    • 论文作者团队：来自斯坦福大学的多位研究者，包括Christopher Polzak, James Burgess, Alejandro Lozano, Min Woo Sun, Yuhui Zhang, Kevin Wu, Serena Yeung-Levy等 。
    • Cochrane协作网：这是一个国际非营利组织，致力于通过全球超过三万名志愿者临床医生的贡献来综合医疗干预措施的证据 。MedEvidence基准中的SRs均来源于此 。
    • 相关工作提及的研究团队：例如，进行LLM辅助SR早期探索的Reason et al. ，开发MedREQAL的Vladika et al. ，以及研究LLM处理冲突信息的Wan et al. (ConflictingQA) 和 Wu et al. (ClashEval) 等。

二、论文提出的新思路、方法或模型及其关键与优势

  1. 新的思路、方法或模型：MedEvidence 基准测试 论文的核心贡献是提出了 MedEvidence，一个旨在评估LLMs能否匹配专家SR结论的基准测试 。其构建和特点如下：

    • 数据来源与构成：
      • 包含从100篇开放获取的Cochrane系统综述中提取的284个问题 。这些SRs覆盖10个医学专业领域 。
      • 每个问题都评估了关于临床结果的比较性治疗效果 。
      • 问题被人工转化为封闭式问答形式（答案选项包括：更高、更低、无差异、效果不确定、数据不足），以便进行大规模自动化评估 。
    • 提供原始研究作为上下文：对于每个问题，LLMs会获得该SR结论所依据的相关研究文献（如果是开放获取的则提供全文，否则提供摘要）作为输入信息 。
    • 丰富的元数据标注：
      • 证据确定性（Evidence Certainty）：从原始SR中提取的作者对证据质量的评估（高、中、低、极低，或N/A）。
      • 是否需要全文（Open-Access Full-Text Needed）：一个布尔值，标识是否需要全文来回答问题 。
      • 来源文献一致性（Source Concordance）：使用LLM（DeepSeekV3）评估单个源研究的结论与SR最终答案的一致性百分比 。
      • 其他元数据：产生问题的SR的PubMed ID、发表年份、医学专业等 。
    • 细致的数据集构建流程（Dataset Curation Process, Figure 2） ：
      1. 系统综述选择（Systematic Review Selection）：从PubMed检索Cochrane SRs，筛选符合条件的（如所有源研究均有摘要）。
      2. 结论到问题的转换（Conclusion to Question Conversion）：人工审阅SR摘要的“主要结果”部分，将比较干预措施与对照组的结论性陈述转化为问答对 。
      3. 相关研究选择（Relevant Study Selection）：人工根据SR的分析部分（通常在附录中，指明了支持每个结论的源研究及其贡献权重）来确定与问题相关的研究 。
      4. 问题可行性验证（Question Feasibility Validation）：人工判断在给定源研究的情况下问题是否可回答，标准是至少75%的分析权重来自“有效”研究（即提供干预组和对照组数据，并有统计或数值细节）。

  2. 解决方案之关键

    • 任务设计的巧妙性：通过将复杂的SR结论复制任务转化为封闭式问答，大大简化了评估的难度和成本，使其能够大规模、自动化地进行 。
    • 受控的评估环境：为LLM提供与SR作者相同的原始文献，确保了比较的公平性和直接性，从而能更准确地评估LLM的推理和综合能力，而非信息检索能力 。
    • 多维度的数据标注：丰富的元数据（如证据确定性、来源一致性）使得研究者能够深入分析LLM在不同情境下的行为模式和失败原因 。
    • 关注批判性思维和科学怀疑态度：通过设计，MedEvidence能够考察LLM是否能像专家一样权衡证据质量、处理不确定性和对低质量研究保持怀疑 。

  3. 跟之前的方法相比有什么特点和优势？ MedEvidence相较于此前的医学LLM评估方法（如Table 1所示）具有以下显著特点和优势：

    • 更接近真实SR的推理过程：直接使用原始研究文献作为输入，要求模型进行提取、推理和综合，这比依赖预处理信息或模型内部知识的评估更贴近SR的核心任务 。
    • 同时评估多源信息处理和证据质量考量：MedEvidence不仅考察LLM处理多份文献的能力，还通过“证据确定性”和“来源一致性”等元数据，间接评估其对证据质量的敏感度 。
    • 自动化评估与规模化可行性：封闭式问答的形式使得评估可以自动化进行，从而能够对大量LLMs和大量问题进行测试 。
    • 全面的基准属性：MedEvidence是Table 1中唯一一个同时满足“人工策划”、“专家级答案”、“自动化评估”、“多来源”、“包含证据质量信息”和“来源层面一致性”所有标准的医学相关基准 。

三、论文实验设计

  1. 实验设计

    • LLM选择：评估了24个LLMs，涵盖不同大小（7B到671B）、有无推理能力、通用领域与医学微调、商业与非商业许可等多种类型 。具体模型如GPT-01, DeepSeek R1, DeepSeek V3, Llama系列, Qwen系列, HuatuoGPT-01, OpenBioLLM等 (详见Appendix Table 3) 。
    • 提示（Prompting）设置：
      • 基本提示（Basic prompt）：在零样本（zero-shot）设置下，要求模型首先提供其答案的理由（rationale），然后在一个‘answer’字段中给出五个有效治疗结果（更高、更低、无差异、效果不确定、数据不足）中的一个 。提供最少的指导，以评估模型的“自然”行为 。上下文为相关研究的摘要或全文 。
      • 专家指导提示（Expert-guided prompt）：为了解决LLM可能不理解如何处理不同级别证据的问题，设计了一个明确指示LLM总结研究设计、研究人群，并根据既定的推荐等级定义（REC TABLE）来评估证据等级的提示 (详见Appendix Figure 13) 。
    • 输入处理：如果输入超过LLM的上下文窗口，使用LangChain的RefineDocumentsChain进行多步优化，基于一系列文献块迭代优化答案 。所有模型评估时温度（temperature）设为0，以最大化可复现性 。
    • 评估指标：主要使用准确率（Accuracy），基于模型输出的‘answer’字段与真实答案的精确匹配（忽略大小写和空格）。如果无‘answer’字段或内容不匹配，则视为错误 。置信区间通过bootstrap方法计算（95%, N=1000）。
    • 分析维度：除了总体准确率，还分析了模型性能与多种因素的关系，如token长度、治疗结果效应类别、证据确定性、来源文献一致性、是否医学微调、模型大小、使用的提示类型、文献来源数量、SR发表年份、医学专业领域以及使用全文vs.仅摘要等。

  2. 实验数据和结果

    • 总体性能：即使是前沿模型如DeepSeek V3和GPT-4.1，在MedEvidence上的平均准确率也相对较低，分别为62.40%和60.40%，远未达到饱和 。这意味着在至少37%的情况下，前沿LLM无法匹配SR的结论 。
    • 模型特性与性能的关系：
      • 推理能力：具备推理能力的模型并不总能胜过同类或同等大小的非推理模型 。
      • 模型大小：模型参数量超过70B后，性能提升的边际效益迅速递减 (Figure 7) 。
      • 医学微调：医学微调未能提高性能，在多数情况下反而降低了准确率 (Figure 6) 。
    • 输入特征与性能的关系：
      • Token长度：通常，随着输入token数量的增加，模型性能会显著下降 (Appendix Figure 15) 。例外是超过100B参数的模型 。32B模型在长文本处理上（最长达15K tokens的80-100%分位数区间）优于70-72B模型，后者性能在11-15K tokens时开始下降，这主要受医学微调模型表现不佳的影响 。
      • 治疗结果效应：所有模型在答案为“更高”或“更低”的问题上表现最好（可以采取明确立场）。在“无差异”和“数据不足”的问题上表现稍差 。在最模糊的“效果不确定”类别上表现最差 。模型通常不愿意表达不确定性，倾向于选择一个看似合理的更确定的结果，表现出过度自信 。
      • 证据确定性：模型匹配SR结论的能力随SR中报告的证据确定性水平的提高而提高 (Figure 5a) 。
      • 来源文献一致性：同意正确答案的源研究比例越高，模型匹配SR结论的能力越强 (Figure 5b) 。例如，DeepSeek V3在100%来源一致时准确率达92.45%，在0%时仅41.21% 。这表明LLM难以像人类专家那样批判性地评估证据质量并对结果保持怀疑 。即使使用专家指导提示，这种行为依然存在 (Appendix Figure 19) 。
      • 全文vs.仅摘要：表现较差的模型在仅给予摘要时性能反而提升（最高提升24.8%），表明它们难以处理长文本 。表现较好的模型（如DeepSeek R1）在获得全文时性能更优（提升4.8%）。
    • 指令遵循率（Instruction-following rates）：大量模型（如OpenBioLLM 8B/70B, HuatuoGPT-01 7B/70B, Llama 4, Llama 3.0 8B, Llama 3.1 8B）未能达到60%的有效答案输出率 。OpenBioLLM 8B的有效输出率为0% 。仅Llama 3.3 70B (Instruct和R1-Distill)完美遵循指令 。但即使输出有效，正确率平均也只有58.1% (±5.0) 。
    • 专家指导提示的效果：这种更精细的提示并没有持续改善模型性能；对于一些在基本提示下表现最好的模型（如DeepSeek V3，性能下降近20%），性能反而下降了 (Appendix Figure 20) 。

  3. 对科学假设的支持 实验结果有力地支持了论文的科学假设：

    • 当前LLMs确实难以完全匹配专家SRs的结论，即使是前沿模型，在至少37%的情况下也会失败 。
    • 模型特性与性能的关系复杂：推理能力不一定提升性能，模型大小超过70B后收益递减，医学微调反而有害 。
    • LLMs表现出特定的行为模式：随token长度增加性能下降，对“不确定效应”的识别能力差且表现出过度自信，缺乏对低质量研究的科学怀疑（表现为对证据确定性和来源一致性的高度依赖）。

四、论文贡献

  1. 论文贡献

    • MedEvidence基准的提出：创建并发布了一个新颖的、人工策划的基准测试（MedEvidence），包含从100篇Cochrane SRs中提取的284个问题，专门用于评估LLMs在给定相同原始文献条件下复制SR结论的能力 。这是首个满足所有关键标准（如专家答案、自动化评估、多来源、证据质量考量）的此类医学基准 。
    • 对多种LLMs的系统性、大规模评估：对24个不同类型、不同规模的LLMs在MedEvidence上进行了深入评估，揭示了它们在多源证据综合、批判性评估和科学怀疑态度等方面的当前能力和局限性 。
    • 对LLM行为模式的洞察：发现了影响LLM性能的多个关键因素和行为模式，例如：推理能力和模型大小并非总能带来性能提升；医学微调可能有害；模型在处理长文本、不确定证据和低质量证据时表现不佳；以及普遍存在的过度自信和缺乏科学怀疑态度等 。
    • 开源资源：公开发布了代码库和基准数据，以促进更广泛的研究社区对LLM辅助SR系统进行进一步研究 。

  2. 给业界带来的影响

    • 对当前LLM能力的警示：研究结果表明，尽管LLM系统已被部署并由临床医生使用 ，但在要求严格的SR结论复制任务上，它们仍有很大改进空间。这提示业界在推广LLM用于自动化或辅助SR生成时需持谨慎态度 。
    • 推动更严格的LLM评估标准：MedEvidence的提出可能推动医学AI领域从主要依赖标准化考试分数转向更全面、更贴近临床实践、更注重推理和批判性思维能力的评估范式。
    • 指导LLM的研发方向：论文揭示的LLM的弱点（如处理长文本、评估证据质量、保持科学怀疑）为LLM开发者提供了明确的改进目标。
    • 促进循证医学工具的负责任发展：通过更清晰地了解LLM的能力边界，有助于开发出更可靠、更能被信任的辅助循证医学的工具，确保其产生的结论是审慎和基于证据的 。
    • 影响政策制定与监管：例如美国FDA已启动LLM辅助科研审查试点 。此类研究成果可能影响相关监管机构对LLM在科研和临床应用中的审批和指南制定。

  3. 潜在的应用场景和商业机会 虽然MedEvidence本身是一个评估基准，但其揭示的需求和LLM的潜力指向以下应用和机会：

    • 高级SR辅助工具：开发能够更好处理MedEvidence所考察的核心技能（如多源冲突解决、证据质量评估、科学怀疑）的下一代LLM驱动的SR辅助工具。这些工具可以集成到现有的SR流程中以提高效率 。
    • 循证医学问答系统：基于能够可靠综合最新研究文献并给出审慎结论的LLM，开发面向临床医生或研究人员的循证问答系统。
    • 医学文献分析与洞察平台：提供能够自动分析大量医学文献、识别趋势、发现知识空白并辅助研究假设生成的平台。
    • LLM在医学领域的定制化微调与优化服务：针对特定医疗子领域或特定SR任务类型，提供专门的LLM微调和优化服务，以提升其在相关任务上的性能，特别是克服当前医学微调反而降低性能的问题。
    • 独立的医学LLM性能评估与认证：随着LLM在医疗领域应用的增多，可能会出现对LLM在特定医学任务（如SR结论匹配）上能力的独立评估和认证需求。

  4. 作为工程师的我应该关注哪些方面？

    • 长文本处理能力：LLM在处理长篇幅科学文献（尤其是多篇组合）时的性能瓶颈 。关注能够有效处理和理解超长上下文的模型架构和技术。
    • 多文档推理与信息综合：如何让LLM有效地从多个（可能冲突的）信息源中提取、整合信息并进行连贯推理。
    • 不确定性量化与校准：LLM在表达不确定性方面的不足以及过度自信的问题 。需要研究如何让模型能更准确地评估和表达其结论的置信度。
    • 批判性思维与证据评估能力的赋予：如何训练或引导LLM学习批判性地评估信息来源的质量（如研究设计、偏倚风险），而不仅仅是基于表面信息或多数意见做判断 。
    • Prompt工程的作用与局限：论文中“专家指导提示”并未普适性地提升性能，甚至对某些模型有害 。这提示，对于复杂推理任务，单纯的Prompt工程可能不足以弥补模型核心能力的缺陷。
    • 微调策略的再思考：医学微调反而降低了MedEvidence上的性能 ，这表明通用的知识注入型微调可能不适用于需要复杂推理和批判性评估的任务。需要探索更针对性的微调方法。
    • 模型鲁棒性与泛化性：关注模型在不同医学专业、不同证据确定性水平、不同来源文献一致性情况下的表现差异。

五、值得进一步探索的问题和挑战

  1. 值得进一步探索的问题和挑战

    • 提升LLM的科学怀疑和批判性评估能力：当前LLMs难以像人类专家那样对低质量证据保持怀疑 。如何让LLMs学会评估研究的偏倚风险、样本量影响、利益冲突等，并据此调整其结论的置信度，是一个核心挑战。
    • 处理不确定性和数据不足的场景：LLMs在处理“效果不确定”和“数据不足”的情况时表现较差，且倾向于过度自信地给出更明确的结论 。需要研究如何让模型更好地识别和传达这种不确定性。
    • 有效的医学领域微调方法：当前的医学微调方法在MedEvidence任务上表现不佳甚至起反作用 。探索能够增强LLM在医学证据综合和批判性评估方面能力的微调策略是必要的。
    • 长上下文理解与利用的深化：尽管某些模型能处理更长的上下文，但性能仍随token数增加而下降 。如何让模型不仅能“读到”长文本，还能有效地从中筛选、聚焦和整合关键信息，尤其是在多篇长文档的情况下。
    • 对完整SR流程的自动化支持：MedEvidence主要关注SR的“结论复制”环节，未来研究可扩展到SR的其他环节，如文献检索、筛选、数据提取和偏倚风险评估等 。
    • 动态更新与多专家共识：未来的基准可以考虑纳入多位专家的共识，或者基于新的研究动态更新结论，以增强基准的可靠性和时效性 。
    • 可解释性与信任构建：即使LLM能得出正确的结论，其推理过程是否透明、可解释，以及临床医生如何信任这些AI生成的结论，也是重要的研究方向。

  2. 可能催生出什么新的技术和投资机会？

    • 专注于“批判性AI”的研发：投资于开发具备更强批判性思维、证据评估和不确定性表达能力的LLMs或AI系统，这些系统不仅能处理信息，更能评估信息的质量和可靠性。
    • 高级SR自动化平台：基于能克服当前LLM局限性的技术，开发更成熟、更可靠的SR自动化平台，提供从文献检索到结论生成的端到端支持。
    • 循证医学决策支持工具的智能化升级：将具备可靠证据综合能力的LLM集成到临床决策支持系统中，为医生提供实时、动态、基于最新证据的建议。
    • 医学LLM的专业评测与验证服务：随着LLM在医疗领域应用的增多，对这些模型在特定医学任务（如SR）上的能力进行独立、专业的评测和验证服务的需求将会增加。
    • 高质量医学数据与基准的持续构建：如此文构建MedEvidence一样，对高质量、精细标注的医学数据和评估基准的需求将持续存在，这为数据服务公司和研究机构提供了机会。
    • 针对LLM“短板”的训练和校准技术：例如，专门用于提升LLM科学怀疑态度、校准其置信度或优化其长文本处理能力的训练方法和工具。

六、论文存在的不足及缺失

  1. 论文存在的不足及缺失

    • 数据集的代表性与选择偏倚：
      • 仅包含Cochrane SRs，虽然Cochrane SRs质量较高且格式统一 ，但这可能无法完全代表所有类型的SRs。
      • 筛选SRs时限制了参考文献数量（≤12篇）以减轻标注者负担 ，这可能排除了更复杂、涉及更多研究的SRs，从而低估了任务的真实难度。
      • 仅纳入所有源研究均在PubMed有索引（至少有摘要）的SRs ，可能排除了部分依赖灰色文献或其他数据库的SRs。
    • “专家指导提示”效果不佳的原因分析不足：该提示旨在引导模型关注证据质量，但并未持续改善性能，甚至对某些顶尖模型有负面影响 。论文对此现象的解释不够深入，是提示设计本身的问题，还是LLM在遵循复杂指令进行批判性评估方面存在根本困难？
    • “来源文献一致性（Source Concordance）”指标的LLM依赖性：该指标是使用DeepSeekV3（基准中表现最好的模型之一）来评估单个源研究与SR最终答案的一致性的 。这意味着该元数据本身可能带有效率天花板效应或特定模型的偏见，而非完全客观的度量。
    • 医学专业的分类也是由LLM（DeepSeek）生成的 ，同样可能引入模型偏见。
    • 对“推理模型”的定义和划分可能过于简单：论文中将模型粗略分为推理和非推理，但“推理”本身的定义和实现方式在不同LLM中差异很大。这种二分法可能无法捕捉更细致的架构或训练方法差异对性能的影响。

  2. 需要进一步验证和存疑之处

    • 医学微调为何反而有害？ 这是一个非常值得深究的问题。是因为微调数据与MedEvidence任务不匹配？还是微调过程导致了灾难性遗忘，损害了模型的通用推理能力？或是微调使其更倾向于“回忆”而非“基于给定证据推理”？
    • LLM对低质量证据的“不怀疑”程度：论文指出LLM缺乏科学怀疑态度 。但具体是对哪些类型的研究缺陷（如小样本、无盲法、利益冲突等）不敏感？能否通过更细致的实验设计来量化这种“不怀疑”的程度和具体表现？
    • 长文本处理中性能下降的具体原因：是因为信息丢失、注意力分散，还是难以有效整合远距离信息？不同架构的LLM在长文本处理上的瓶颈是否相同？
    • 定性分析的普遍性：附录O中对DeepSeek V3的四个具体案例进行了定性分析 。这些案例中观察到的模型行为（如错误解读问题、无法进行元分析、过度依赖表面信息等）在多大程度上能代表其他LLM或其他问题类型的普遍情况？
    • “不确定效应”和“数据不足”的区分：LLMs在区分这两个类别，以及与“无差异”类别区分时表现不佳 。这仅仅是模型能力不足，还是这些类别本身的定义在某些情况下对LLM来说就存在语义模糊性？

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.
on
Labels:

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)