UR²：通过强化学习统一检索增强生成与推理

论文信息

• 标题 (Title)：UR²: UNIFY RAG AND REASONING THROUGH REINFORCEMENT LEARNING

• 作者 (Authors)：Weitao Li, Weizhi Ma, Boran Xiang, Xiaolong Wang, Zhinan Gou, Yang Liu

• 原文链接 (URL)：https://github.com/Tsinghua-dhy/UR2

结构化摘要 (Structured Abstract)

• 背景/目标 (Background/Objective)：大型语言模型（LLMs）通过两种互补的范式展现了强大的能力：检索增强生成（RAG）用于知识增强，强化学习（RL）用于优化复杂推理 。然而，这两种能力通常被孤立开发，现有的统一尝试（RAG-RL）范围狭窄，通常局限于具有固定检索设置的开放域问答任务，限制了其泛化能力 。本研究旨在提出一个名为 UR² 的通用框架，通过强化学习统一检索和推理，以解决上述局限性。

• 方法 (Methods)：UR² 框架引入了两大核心创新。首先是难度感知的课程学习（difficulty-aware curriculum training），该策略仅对具有挑战性的问题激活检索功能，从而鼓励模型在简单问题上依赖内部推理 。其次是混合知识访问策略（hybrid knowledge access strategy），该策略结合了领域特定的离线语料库和由LLM生成的简洁摘要，以实现高效和准确的知识 grounding 。整个框架通过一个两阶段的优化过程（第一阶段：检索能力激活；第二阶段：答案质量优化）进行训练。

• 结果 (Results)：在开放域问答、MMLU-Pro、医学和数学推理等多种任务上的实验表明，基于 Qwen2.5-3/7B 和 LLaMA-3.1-8B 构建的 UR² 模型，性能显著优于现有的 RAG 和 RL 方法 。值得注意的是，7B 参数的模型在多个基准测试中取得了与 GPT-40-mini 和 GPT-4.1-mini 相媲美的性能 。

• 结论 (Conclusion)：UR² 是一个成功的统一框架，通过强化学习有效整合了 RAG 和推理。其创新设计使模型能够根据问题难度动态协调检索与推理，从而在显著提升性能的同时，在多个领域展现出强大的泛化能力 。

---

1. 引言 (Introduction)

1.1. 研究背景与核心问题 (Research Background & Problem Statement)

• 研究背景：LLMs 的能力主要通过两种途径得到提升：一是通过 RAG 接入外部知识库，二是通过 RLVR（来自可验证奖励的强化学习）优化推理能力 。前者增强了模型的知识基础，后者则在数学和逻辑推理任务上表现出色 。

• 核心问题 (RQs)：尽管已有研究开始尝试将 RAG 与 RL 相结合（即 RAG-RL），但这些方法存在明显的局限性：

  1. 应用范围狭窄：大多仅限于开放域问答（Open-domain QA）任务 。

  2. 策略僵化：检索通常与固定的推理步骤或静态知识源（如维基百科）绑定，无法适应需要专业或实时信息的任务 。

  3. 泛化能力差：这些限制导致模型难以推广到更广泛的领域，如医学或数学推理 。

1.2. 文献综述与研究缺口 (Literature Review & Research Gap)

• 现有研究：作者回顾了 RAG 的发展，从早期的简单拼接检索文档到更高级的检索和重排策略 。同时，也总结了 RL 在提升 LLM 推理能力方面的应用，特别是像 DeepSeek-R1 和 Search-R1 这样无需人类反馈即可学习多步推理和检索策略的方法 。

• 研究缺口 (Gap)：当前研究缺乏一个通用的、能够跨越不同任务领域、动态协调检索与推理的统一框架 。现有的 RAG-RL 方法无法根据问题的实际难度和知识需求来灵活决定是否以及如何进行检索。

1.3. 研究目标与核心假设/命题 (Objectives & Hypotheses/Propositions)

• 研究目标：提出一个名为 UR² 的通用自适应框架，利用 RL 动态地协调检索和推理，以克服现有 RAG-RL 方法的局限性 。

• 核心假设/命题：一个通过难度感知课程学会何时进行检索，并利用混合知识语料库（离线语料+LLM摘要）来优化检索内容的框架，将比现有方法更有效地平衡模型的内部推理能力和外部知识利用，从而在多样化的任务中取得更优的性能和泛化能力 。

---

2. 研究设计与方法 (Methodology)

2.1. 研究范式与方法论 (Research Paradigm & Methodology)

• 研究范式：本研究为定量研究，通过构建、训练和评估一个新的机器学习框架来验证其有效性。

• 方法论：UR² 的核心是一个基于强化学习的训练流程，旨在教会 LLM 动态地在纯推理和检索增强推理之间做出选择。其关键解决方案包含两大创新设计：

  1. 难度感知的课程学习（Difficulty-Aware Curriculum Design）：

     • 数据筛选：首先，使用一个基线模型对训练问题进行多次推理（rollouts），并根据平均得分将问题分为“简单”、“中等”和“困难”三个等级 。

     • 任务混合策略：在训练中，仅对“困难”问题激活检索增强模式，而“简单”和“中等”问题则鼓励模型进行纯粹的逐步推理 。这种策略教会模型只在必要时才求助于外部知识，避免了不必要的检索开销，并保留了其固有的推理能力 。

  2. 混合知识访问（Hybrid Knowledge Access）：

     • LLM 摘要语料库：UR² 不直接使用庞大且充满噪声的原始文档，而是构建了一个混合语料库。该语料库包含：(1) 领域特定的离线语料库（如精选的医学知识库）；(2) 由强大的 LLM（如 GPT-4.1）生成的简洁摘要或在无法回答时生成的“回退”响应 。这种设计提高了检索的准确性，减少了幻觉，并增强了跨场景的泛化能力 。

• 关键解决方案之两阶段优化框架：

  • 阶段一：检索能力激活 (Retrieval Capability Activation)：此阶段的目标是教会模型正确使用检索工具的语法（如<se>query</se>），并养成在需要时调用检索的行为习惯 。奖励函数主要关注格式的正确性和检索行为的发生，而非答案的准确性 。

  • 阶段二：答案质量优化 (Answer Quality Optimization)：在模型掌握了检索技能后，此阶段将奖励函数调整为以答案的正确性为主要目标，同时保留对格式的奖励，从而在保持检索能力的同时优化生成内容的质量 。

• 与之前方法的特点和优势：

  • 动态与自适应：与之前固定的检索策略不同，UR² 能根据问题难度动态决策，实现了推理和检索的智能协调。

  • 效率与性能的平衡：通过课程学习，UR² 避免了在简单问题上进行不必要的检索，节省了计算资源，同时在难题上通过高质量检索提升了性能上限 。

  • 通用性强：该框架不局限于特定领域，通过统一的数据表示和训练方案，成功应用于数学、医学和开放域问答等多个领域 。

2.2. 数据来源与样本 (Data Source & Sample)

• 训练数据：构建了一个覆盖多个领域的统一训练集，包括：

  • 数学：SimpleZoo-RL

  • 开放域问答：R1-Searcher

  • 医学问答：MedQA

  • 多项选择推理：使用 Qwen3-32B 生成的 MMLU-Pro 风格的合成问题（涵盖哲学、历史、经济学） 。

• 评估基准：在四大类任务上进行评估，涵盖了域内（in-domain）和域外（out-of-domain, OOD）的测试，以全面检验模型的泛化能力 。

2.3. 操作化与测量 (Operationalization & Measurement)

• 模型：UR² 框架被应用于 Qwen-2.5 (3B/7B) 和 LLaMA-3.1-8B 模型 。

• 基线：与多种先进方法进行了比较，包括：

  • 基础方法：思维链（CoT）、标准 RAG 。

  • 高级 RAG 方法：Search-01, Self-Ask, RAT 。

  • CoT-RL 方法：Open-Reasoner-Zero, SimpleRL-Zoo 等 。

  • RAG-RL 方法：R1-Searcher, Search-R1, ZeroSearch 等 。

• 评估指标：

  • 多项选择任务（MMLU-Pro, MedQA）：精确匹配率（EM） 。

  • 开放域问答任务：F1 分数和 LLM-as-a-judge（使用 GPT-4.1-mini 作为裁判） 。

  • 数学推理任务：LLM-as-a-judge 。

---

3. 结果与发现 (Results & Findings)

3.1. 主要发现概述 (Overview of Key Findings)

• 推理任务性能显著提升：在 MMLU-Pro、医学和数学基准测试中，UR² 在 Qwen-2.5-7B 模型上相较于最强的 CoT-RL 基线，平均分分别高出 3.7%、5.7% 和 1.2% 。在较小的 3B 模型上，性能提升更为显著，证明 UR² 对知识有限但推理能力强的模型助益更大 。

• 开放域问答任务表现出色：在开放域问答任务上，UR² 在 Qwen-2.5-7B 模型上达到了 58.5% 的平均 F1 分数，比最强的 RAG-RL 基线 Search-R1 高出 2.4% 。尤其在域外泛化测试中（如 Bamboogle 和 MusiQue），UR² 的表现超越了所有基线模型 。

• 与顶尖闭源模型媲美：值得注意的是，UR² 训练的 7B 模型在多个任务上的性能达到了与 GPT-40-mini 和 GPT-4.1-mini 相竞争的水平 。

• 消融研究验证了设计的有效性：对框架关键组件的消融研究表明，移除任何一个部分（如第一阶段训练、LLM 摘要、任务混合策略等）都会导致性能下降，证明了这些设计对于实现最终性能是协同且必要的 。

3.2. 关键数据与图表解读 (Interpretation of Key Data & Figures)

• 图 2：UR² 训练流程概览

  • 解读：该图是理解本文核心方法的关键。它清晰地展示了从“难度感知选择”开始，到 RL 训练循环（策略模型、Rollout、奖励计算），再到两个核心阶段（检索激活和答案优化）的奖励设计的完整流程。图下方的性能对比条形图直观地显示了 UR² 相较于基线带来的巨大性能提升（例如，在开放域问答上从基线的 33.8 提升至 58.5） 。

• 表 1：推理和数学任务性能

  • 解读：该表详细列出了 UR² 与多个基线在 MMLU-Pro、医学和数学任务上的性能对比。以 Qwen-2.5-7B 模型为例，UR² 在所有任务类别中的平均分（Avg）均显著高于所有其他方法，并非常接近甚至在某些指标上超过了 GPT-40-mini 。这有力地证明了 UR² 在复杂推理任务上的优越性。

• 表 3 和表 4：消融研究

  • 解读：这两张表格通过移除 UR² 的关键组件来检验其各自的贡献。例如，在表 3 中，“w/o Stage-1”（没有第一阶段训练）导致历史和经济学任务性能大幅下降（-5.2% 和 -4.2%），证明了专门的检索能力激活阶段至关重要 。“w/o LLM Summary”（没有 LLM 摘要）导致模型完全退化为纯 CoT，表明原始的、未经处理的检索信息对 7B 级别的模型是有害的 。这些数据为框架设计的合理性提供了坚实的证据。

---

4. 讨论 (Discussion)

4.1. 结果的深度解读 (In-depth Interpretation of Results)

• UR² 的成功表明，与其强制模型在所有情况下都进行检索，不如通过 RL 教会模型智能地判断何时需要外部知识。这种动态协调机制使得模型能够更好地利用其内部的参数化知识进行推理，仅在遇到知识瓶颈时才高效地求助于外部的非参数化知识。两阶段训练和 LLM 摘要语料库的设计，共同解决了如何引导模型学会这种复杂行为并为其提供高质量信息源的核心问题。

4.2. 理论贡献 (Theoretical Contributions)

• 提出首个通用的 RAG-RL 统一框架：本文将 RAG-RL 方法的应用从狭窄的开放域问答扩展到了数学、医学等多个具有挑战性的领域，为构建更通用的推理智能体提供了新的范式 。

• 引入难度感知的课程学习：首次将课程学习的思想引入 RAG-RL 训练中，提出了一种根据问题难度动态调整训练策略的新方法，为如何高效训练强大的推理模型提供了重要见解 。

• 创新性地使用混合知识语料库：通过结合离线语料和 LLM 摘要，为 RAG 系统提供了一种兼具准确性、效率和泛化能力的知识源解决方案 。

4.3. 实践启示 (Practical Implications)

• 提升中小型开源模型的性能上限：UR² 框架使得 3B-8B 参数级别的开源模型能够在复杂任务上达到或接近大型闭源模型的性能水平，这对于推动 AI 技术的普及和在资源受限环境下的应用具有重要意义 。

• 部署灵活性：研究表明，即使使用成本较低的 LLM 进行摘要，UR² 框架依然能带来显著的性能提升，这使得该方法在不同的计算预算下都具有很强的实用性 。

4.4. 局限性与未来研究 (Limitations & Future Research)

• 局限性：

  • 由于计算资源限制，研究未能扩展到 8B 以上参数的模型 。

  • LLM 摘要语料库可能无法完全捕捉原始网络内容的复杂性 。

  • 两阶段训练和语料库预处理引入了额外的计算开销 。

• 未来研究：

  • 计划将 UR² 框架扩展到 32B 参数级别的模型 。

  • 探索在训练中直接整合在线语料库，以更好地处理真实世界的检索动态 。

  • 研究更高效的训练策略以降低计算成本 。

---

5. 结论 (Conclusion)

本研究提出了 UR²，一个通过强化学习成功统一检索增强生成与推理的通用框架。其核心创新——难度感知的课程学习和 LLM 摘要化的混合语料库——使模型能够实现检索与推理的动态协调。大量的实验证明，UR² 不仅在数学、医学和开放域问答等多样化任务上显著优于强大的基线模型，还使得中小型模型能够达到与顶尖闭源模型相媲美的性能。通过教会模型根据问题难度决定何时及如何检索，UR² 代表了向着能够灵活结合参数化知识与动态信息访问的自适应 AI 系统迈出的重要一步 。

6. 核心参考文献 (Core References)

1. Guo, D., et al. (2025). Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning.

   (代表了无需人类反馈，仅通过 RL 即可提升 LLM 推理能力的前沿工作)。

2. Song, H., et al. (2025). R1-searcher: Incentivizing the search capability in llms via reinforcement learning.

   (一个重要的 RAG-RL 基线模型，UR² 在多个任务上与其进行了直接比较)。

3. Li, X., et al. (2025). Search-01: Agentic search-enhanced large reasoning models.

   (一种先进的、结合了智能体思想的 RAG 方法，是本文的重要比较对象)。

4. Lewis, P., et al. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks.

   (RAG 领域的奠基性论文，为本研究提供了基础概念)。

5. Zeng, W., et al. (2025). Simplerl-zoo: Investigating and taming zero reinforcement learning for open base models in the wild.(一个重要的 CoT-RL 基线模型，用于评估纯推理能力的提升)。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.