标题 (Title)：A Comparative Study of Decoding Strategies in Medical Text Generation
作者 (Authors)：Oriana Presacan, Alireza Nik, Vajira Thambawita, Bogdan Ionescu, Michael Riegler
发表年份 (Year)：2025 (preprint dated August 19, 2025)
原文链接 (URL)：
https://arxiv.org/abs/2508.13580
结构化摘要 (Structured Abstract)
背景/目标 (Background/Objective)：大型语言模型 (LLMs) 在医疗健康领域的应用日益增多，但用于生成文本的解码策略对输出质量的影响，尤其是在对准确性要求极高的医疗场景下，尚未得到充分研究。
本研究旨在系统性地探究不同解码策略对通用及医学专用 LLMs 在五种不同医疗任务中性能的影响。 方法 (Methods)：研究选取了 11 种解码策略，应用于不同规模的通用 LLM 和医学专用 LLM。
在五个开放式医疗任务（翻译、摘要、问答、对话、图像描述）上进行了实验，并使用了多种评估指标（如 ROUGE, BERTScore, BLEU, MAUVE）进行性能评估。 结果 (Results)：研究发现，确定性解码策略（尤其是束搜索 Beam Search）的性能普遍优于随机性策略（如 top-p 和 top-k 采样）。
较慢的解码方法通常能产出更高质量的文本。 模型规模与性能呈正相关，但更大模型对解码策略的选择并不更具鲁棒性。 出人意料的是，医学专用 LLM 并未表现出全面的性能优势，反而对解码策略的选择更为敏感。 结论 (Conclusion)：解码策略的选择对医疗文本生成的质量有重大影响，其重要性有时甚至超过模型本身的选择。
在医疗应用中部署 LLMs 时，必须将解码策略视为一项关键的设计决策，并根据具体任务进行审慎选择和调整，以确保生成内容的准确性和可靠性。
1. 引言 (Introduction)
1.1. 研究背景与核心问题 (Research Background & Problem Statement)
研究背景：随着生成式人工智能，特别是大型语言模型（LLMs）在医疗领域的应用日益广泛（例如，GPT-4、Gemini），从辅助决策到医学问答，其潜力巨大。
然而，医疗领域的敏感性要求 AI 模型生成的响应必须高度准确可靠，这是一个关键挑战。 LLM 的输出质量不仅受模型架构影响，还严重依赖于推理过程中使用的“解码策略”（即选择下一个词元的方法）。 解码策略需要在确保医学精确性（确定性方法）和生成丰富上下文（随机性方法）之间进行权衡，而这种权衡在医疗场景下尤为重要。 核心研究问题 (RQs)：
不同的解码策略如何影响通用及医学专用 LLMs 在各项医疗任务上的生成性能？
哪些解码策略对于特定类型的医疗任务（如翻译、摘要、问答等）最为有效和高效？
不同规模和类型的 LLM（通用 vs. 医学专用）对解码策略变化的敏感度有何不同？
不同的自动评估指标（如 ROUGE, BERTScore, MAUVE）在评估医疗文本时的一致性和稳定性如何？
核心研究问题是否是一个新的问题？ 是的。尽管解码策略对通用文本生成任务的影响已有研究，但该论文明确指出，这些策略在医疗领域的影响“仍未得到充分探索” (remains underexplored)，尤其是在针对医学专用 LLM 方面的研究更是缺乏。
1.2. 文献综述与研究缺口 (Literature Review & Research Gap)
现有研究：文献已经从简单的确定性方法（如贪心解码
、束搜索 ）和随机性方法（如 top-k 和 top-p 采样）发展到了旨在提升输出事实性和连贯性的更高级策略（如对比搜索 ）。 近期有研究开始探讨解码策略对通用开放式基准测试的影响 ，但主要集中在非专业领域。 研究缺口 (Gap)：本文识别出的核心研究缺口是：缺乏对解码策略在医疗这一高风险、专业化领域中影响的系统性研究。
大多数关于医疗 LLM 的研究都集中在模型架构上，而忽略了解码策略这一可能显著影响生成质量的关键因素。 特别是，这些策略如何影响为临床或生物医学任务特化训练的 LLM，几乎是一个空白领域。
1.3. 研究目标与核心假设/命题 (Objectives & Hypotheses/Propositions)
研究目标：本文的核心目标是全面、系统地研究各种解码策略对 LLM 在医疗领域性能的影响。
具体目标包括： 综合分析：系统研究不同解码策略对通用及医学 LLM 在医疗数据集上生成性能的影响。
任务特定评估：探究哪些解码策略在不同医疗任务中最有效。
模型性能与敏感性分析：分析不同 LLM 对解码策略变化的性能表现和敏感度。
评估指标分析：评估不同任务中各项评估指标的稳定性和一致性。
计算效率分析：报告不同策略和模型的推理时间，为资源受限的医疗应用提供实践参考。
本文没有提出明确的假设（Hypotheses），而是以探索性的研究目标（Objectives）来驱动研究设计。
2. 研究设计与方法 (Methodology)
2.1. 研究范式与方法论 (Research Paradigm & Methodology)
研究范式：本研究是定量 (Quantitative) 研究。
方法论：采用比较实验分析方法。研究系统性地评估了 11 种解码策略在 5 个医疗任务上的表现。
这些策略分为两大类： 确定性策略 (Deterministic)：贪心搜索 (Greedy)、束搜索 (Beam Search, BS)、多样化束搜索 (Diverse Beam Search, DBS)、对比搜索 (Contrastive Search, CS)、DoLa。
随机性策略 (Stochastic)：温度采样 (Temperature)、top-k 采样、top-p (nucleus) 采样、eta-采样、min-p 采样、典型采样 (Typical)。
论文中提到的解决方案之关键是什么？ 解决方案的关键在于其全面性和系统性的比较框架。它不是提出一种新的解码方法，而是首次在医疗领域内，跨越多种任务、多种模型（通用 vs. 专用，不同规模）和多种评估指标，对现有的主流解码策略进行严格的横向比较，从而揭示解码策略选择的重要性。
跟之前的方法相比有什么特点和优势? 相较于以往的研究，本文的优势在于其领域特异性和综合性。之前的方法大多在通用领域基准上进行评估
，而本文聚焦于对准确性要求极高的 医疗领域，其发现更具实践指导意义。此外，本文同时考察了模型类型、模型规模、任务类型、评估指标和计算效率等多个维度，提供了比以往研究更立体、更全面的视角。
2.2. 数据来源与样本 (Data Source & Sample)
数据来源：研究涵盖了五个开放式医疗任务，使用了五个不同的公开数据集：
翻译 (Translation)：UFAL Medical Corpus 1.0 (德语-英语医学文本)。
摘要 (Summarization)：Pubmed-summarization 数据集 (PubMed 生物医学文章及其摘要)。
问答 (Question Answering)：一个源自学生制作的医学抽认卡的开放式问答数据集。
对话 (Dialogue)：来自 OpenAI 的 Healthbench 基准，包含医患对话场景。
图像描述 (Image Captioning)：ROCOv2 数据集，包含放射学图像及其图注。
样本：由于实验的探索性质和计算资源限制，每个任务仅使用了 100 个样本进行评估。
2.3. 操作化与测量 (Operationalization & Measurement)
自变量（操作）：核心自变量是解码策略。研究中系统地改变解码策略（共 11 种）及其相关超参数（如 beam size, top-k, top-p 等）。
因变量（测量）：研究的因变量是生成文本的质量和效率。
质量通过多个自动评估指标来测量：
ROUGE：用于所有任务，评估 n-gram 重叠度。
BERTScore：用于所有任务，评估语义相似度。
BLEU：专门用于翻译任务。
MAUVE：用于对话和问答任务，评估生成文本与参考文本的分布相似性。
效率通过推理时间（秒/词元）来测量。
3. 结果与发现 (Results & Findings)
3.1. 主要发现概述 (Overview of Key Findings)
确定性策略优于随机性策略：总体而言，确定性解码策略（特别是束搜索 BS）在 ROUGE 得分上的表现显著优于随机性策略（如 top-p, top-k, eta 采样）。
性能与速度的权衡：解码速度与生成质量存在显著正相关。解码速度较慢的策略（如 BS, CS, DBS）往往能产出更高质量的结果，而速度较快的策略（如 top-p, top-k）表现较差。
模型规模的影响：模型越大，性能越好，但推理时间也越长。然而，更大的模型在面对不同解码策略时，其性能稳定性（鲁棒性）并没有显著提升。
医学专用 LLM 的意外表现：与预期相反，医学专用 LLM 在五个任务中仅在两个任务上优于通用模型，并未显示出全面的性能优势。
更重要的是，医学专用 LLM 对解码策略的选择表现出更高的敏感性，即更换解码策略会导致其性能发生更剧烈的波动。 评估指标的一致性：不同评估指标之间的一致性因任务而异。ROUGE 和 BERTScore 在摘要任务中一致性最高，在对话任务中最低。
MAUVE 与 ROUGE 和 BERTScore 的相关性很弱，甚至为负，并且它对解码策略的变化最为敏感。
3.2. 关键数据与图表解读 (Interpretation of Key Data & Figures)
表 2：不同解码策略在各项任务上的性能表现 (Table 2: Results across decoding strategies and tasks for the best-performing LLM)
展示内容：该表列出了在每个任务中表现最好的模型，在使用 11 种不同解码策略时的得分。
揭示关系：直观地显示了不同策略的性能差异。例如，在问答任务中，MedAlpaca 7B 模型使用束搜索 (BS) 得到的 ROUGE 分数 (0.4197) 远高于使用 top-k (0.3137) 和 eta (0.2972) 采样。
这为“确定性方法优于随机性方法”的结论提供了直接数据支持。
图 2：各模型在不同任务上的性能、敏感性和推理时间 (Figure 2: Per-model performance, sensitivity, and inference time)
展示内容：该图用条形图展示了每个模型在五个任务中的平均 ROUGE 分数（性能）、得分的变异系数（对解码策略的敏感性）以及每词元的推理时间（效率）。
揭示关系：清晰地揭示了几个核心发现：
性能-规模关系：在通用模型中，模型规模越大（如从 Qwen 1.7B 到 14B），性能（红色条）越高。
效率-规模关系：模型规模越大，推理时间（蓝色条）越长。
医学模型敏感性：在多个任务（如翻译、问答、对话）中，医学专用模型（图中最右侧的模型，如 Medgemma）的敏感度（灰色条）显著高于通用模型，表明其性能更容易受解码策略影响。
图 3：评估指标一致性分析 (Figure 3: Metric agreement)
展示内容：该图使用肯德尔等级相关系数 (tau) 来衡量不同评估指标之间排序结果的一致性。
揭示关系：图 3a 显示 ROUGE 和 BERTScore 在不同任务中的相关性。
图 3b 显示 MAUVE 与 ROUGE 和 BERTScore 的相关性非常低，置信区间甚至跨越了零点，表明 MAUVE 的评估结果与其他两个指标几乎没有一致性。 这说明在评估医疗对话等任务时，单一指标可能存在偏见，需要多维度评估。
4. 讨论 (Discussion)
4.1. 结果的深度解读 (In-depth Interpretation of Results)
回答研究问题：是的，研究结果清晰地回答了引言中提出的问题。
确定性、基于搜索的策略（如 BS）之所以表现更佳，是因为医疗任务（如摘要、问答）高度依赖事实准确性和信息保真度，而这些策略通过更全局的搜索来寻找最优序列，减少了随机性带来的“幻觉”和事实偏差风险。
随机性策略虽然能增加多样性，但在医疗场景下，这种多样性可能以牺牲可靠性为代价。 医学专用 LLM 更敏感的原因可能在于它们通常在较小、高度专业化的语料上进行微调，这可能导致模型过分自信或“校准不足” (less calibrated)。
当面对领域内问题时，其概率分布可能非常尖锐；而一旦偏离核心领域或在不确定的情况下，概率分布变平，使得解码策略对最终输出的影响急剧增大。
4.2. 理论贡献 (Theoretical Contributions)
理论贡献：本研究的主要理论贡献在于，它挑战了 LLM 应用研究中一个普遍的隐含假设——即模型本身是决定性能的最主要因素。本研究通过强有力的实证数据证明，在医疗这一专业领域，解码策略是一个与模型选择同等重要，甚至有时影响更大的变量。
它将解码策略从一个单纯的“超参数调整”问题，提升到了影响模型可靠性和安全性的“关键设计决策”层面。 对业界的影响：这项研究成果对医疗 AI 行业具有重要的警示和指导意义。
部署前必须测试：在将 LLM 应用于临床决策支持、患者沟通等真实场景前，开发团队必须对多种解码策略进行严格的、任务特定的测试和验证，不能简单地使用默认设置。
风险-效益权衡：业界需要在生成质量（通常与较慢的确定性策略相关）和计算成本/延迟（与较快的随机性策略相关）之间做出明智的权衡。
对于高风险应用，牺牲速度以换取更高的准确性和可靠性是必要的。 对专用模型的重新评估：业界不应盲目相信“医学专用”模型必然优于强大的通用模型。它们可能需要更精细的调优，特别是对其解码行为的校准。
4.3. 实践启示 (Practical Implications)
对实践者的建议：
在部署用于医疗用途的 LLM 时，应将解码策略的选择视为与模型选择同等重要的设计决策。
对于要求高事实准确性的任务（如生成医疗报告摘要、回答具体的临床问题），应优先考虑使用束搜索 (Beam Search) 等确定性策略，尽管它们计算成本更高。
对于需要一定创造性和多样性的任务（如与患者进行健康教育对话），可以在严格控制下探索 min-p 等先进的随机采样策略，但必须有额外的验证机制来确保事实无误。
在评估模型性能时，不能依赖单一的自动评估指标，特别是像 MAUVE 这样可能与事实准确性关联较弱的指标，建议结合多种指标进行综合评估。
4.4. 局限性与未来研究 (Limitations & Future Research)
局限性：
样本量有限：每个任务仅使用 100 个样本，研究结果是否能推广到更大规模的数据集有待验证。
缺乏对重复惩罚的分析：研究未包含对重复和频率惩罚（repetition and frequency penalties）的分析，而这些在实践中被广泛使用。
缺乏人类评估：研究完全依赖自动评估指标，这些指标无法完全捕捉事实正确性、临床可用性或用户满意度等关键维度。
未来研究：
在更大规模的数据集上验证当前发现。
将人类专家评估（如医生、临床医生）纳入研究框架，以更准确地评估生成内容的临床价值。
探索将不同指标（如 MAUVE 与精确度导向的指标）结合起来，形成更均衡的评估体系。
5. 结论 (Conclusion)
本研究全面比较了 11 种解码策略在五种医疗任务中对 LLM 性能的影响。核心结论是，解码策略的选择是一个至关重要的因素，其影响力有时堪比模型本身的选择。
6. 核心参考文献 (Core References)
Freitag, M., & Al-Onaizan, Y. (2017). Beam search strategies for neural machine translation.
贡献: 阐述了束搜索（Beam Search）这一核心的确定性解码策略，是本文比较的基准方法之一。
Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2020). The curious case of neural text degeneration.
贡献: 提出了 top-p（nucleus）采样，是现代 LLM 中最主流的随机性解码策略之一，也是本文研究的关键对象。
Fan, A., Lewis, M., & Dauphin, Y. (2018). Hierarchical neural story generation.
贡献: 介绍了 top-k 采样，是另一种基础且广泛使用的随机性解码策略。
Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A contrastive framework for neural text generation.
贡献: 提出了对比搜索（Contrastive Search），是本文评估的一种旨在提高文本质量的更先进的解码策略。
–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.