Digital Health Insider: 医疗诊断自动语音识别集成LLM模块基准测试

自然语言处理（NLP）和语音识别技术正迅速推动医疗保健的进步，它们通过实现高效、可及和专业的患者支持，并自动化执行重复性工作。本报告是我的个人项目成果展示，其中，针对医疗通话录音微调的模型，通过一个双阶段系统进行分析：第一阶段是自动语音识别（ASR），用于语音转录；第二阶段是大型语言模型（LLM），用于生成具备上下文感知能力的专业回复。经电话录音微调的 ASR 系统，能够对通话中各种患者的语音进行泛化性转录；而 LLM 则将转录文本与医疗诊断结果进行匹配。此外，我们还部署了一种新颖的音频预处理策略，旨在为传入的录音/通话数据提供不变性，并通过充分的噪声/削波增强，使整个流程管线能够适应患者在通话/录音时可能使用的不同麦克风类型和各种环境条件。您可以在以下链接找到已部署的流程管线：https://huggingface.co/spaces/Kabir259/medspeechrec

1. 论文研究目标、问题、假设与背景

这篇论文的研究目标非常明确，即 评估和优化将自动语音识别 (ASR) 系统与大型语言模型 (LLM) 相结合的两阶段系统，用于医疗诊断。更具体地说，作者希望通过构建一个能够处理医疗通话录音的流程，实现从语音到文本的转录，并最终根据转录文本进行医疗诊断分类。

1.1 想要解决什么实际问题？

论文试图解决的核心问题是 如何在医疗环境中，利用人工智能技术提高语音转录和诊断的准确性和效率。

在医疗领域，准确的医疗记录至关重要，它直接关系到患者的有效治疗和护理计划。传统的医疗转录工作耗时且容易出错，尤其是在处理包含各种口音、方言和专业术语的医疗对话时。此外，通话录音的质量往往受噪声、信号压缩等因素影响，进一步加剧了转录的难度。

Errors in medical ASR systems are diverse and problematic, ranging from misinterpreted drug names and dosages to incorrect lab values, anatomical confusions, age and gender mismatches, and even wrong doctor names or dates [6].

论文指出，现有的医疗 ASR 系统容易出现各种错误，例如药物名称误解、剂量错误、解剖学混淆等，这些错误可能严重影响患者的诊断和治疗决策。因此，提升医疗 ASR 系统的准确性和鲁棒性，对于提高医疗服务质量至关重要。

1.2 这是否是一个新的问题？

利用 ASR 技术进行医疗转录并非全新的问题，实际上，医疗领域已经开始采用 ASR 系统来辅助文档记录。然而，这篇论文关注的是 如何利用最新的 LLM 技术，结合精细的音频预处理方法，来显著提升医疗语音识别的性能，并进一步拓展其在医疗诊断领域的应用。

传统 ASR 系统在处理复杂的医疗语音，特别是噪声环境下的语音时，仍然面临挑战。而 LLM 的出现为解决这一问题带来了新的思路。LLM 在理解上下文、处理复杂语言和专业术语方面表现出色，这使得将 LLM 与 ASR 系统结合，成为提升医疗语音识别和诊断性能的一个有前景的方向。

1.3 这篇文章要验证一个什么科学假设？

这篇论文主要验证的科学假设是：通过结合优化的音频预处理技术、微调的 ASR 模型 (如 Whisper) 和 LLM 模型 (如 Qwen2)，可以构建一个高效且准确的两阶段系统，用于处理医疗通话录音，并实现有效的医疗诊断分类。

更具体来说，论文假设：

精心设计的音频预处理步骤能够有效降低噪声和失真，提高 ASR 模型的转录准确率。

Transformer 架构的 ASR 模型 (如 Whisper) 在处理医疗语音，特别是嘈杂环境和复杂医学术语时，优于传统的 CNN 架构模型 (如 wav2vec 2.0)。

微调的 LLM 模型能够有效地将 ASR 转录的文本与医疗诊断标签进行匹配，实现准确的诊断分类。

1.4 有哪些相关研究？如何归类？

该研究属于以下几个领域的交叉：

自动语音识别 (ASR): 这是论文的基础技术，目标是将语音信号转换为文本。论文中使用了 Whisper 和 wav2vec 2.0 等先进的 ASR 模型。

自然语言处理 (NLP): 大型语言模型 (LLM) 是 NLP 的核心组成部分，用于理解和生成人类语言。论文中使用了 Qwen2 模型进行诊断分类。

音频信号处理 (DSP): 论文采用了 低通滤波器 (low-pass filter), 高通滤波器 (high-pass filter) 和 均衡器 (equalizer) 等 DSP 技术进行音频预处理，以提升语音质量。

医疗信息化: 研究的应用场景是医疗领域，旨在提高医疗服务的效率和质量。

人工智能在医疗领域的应用: 整体研究方向属于人工智能技术在医疗健康领域的应用。

1.5 谁是这一课题在领域内值得关注的研究员？

论文本身是作者的个人项目，作者 Kabir Kumar 来自印度理工学院德里分校。从引用的参考文献来看，值得关注的研究员包括：

在医疗语音识别领域: 参考文献 [4] 的作者 Li Zhou, Suzanne V. Blackley 等，他们在分析医疗语音识别软件的错误方面做了很多工作。参考文献 [6] 的作者 Tobias Hodgson 和 Enrico Coiera 评估了语音识别在临床文档记录中的风险和收益。

在大型语言模型领域: 参考文献 [9] 的作者 Humza Naveed, Asad Ullah Khan 等，对大型语言模型进行了全面的综述。参考文献 [10] 的作者 Takeshi Kojima, Shixiang Shane Gu 等，研究了 LLM 的零样本推理能力。

在音频信号处理领域: 参考文献 [15] 的作者 H. Wang 和 D. Wang 研究了用于语音增强的音频信号处理技术。参考文献 [16] 的作者 Y. Xu 等，探讨了如何利用信号处理技术提升噪声环境下的 ASR 性能。

您可以进一步搜索这些研究员的论文，了解他们在相关领域的更深入研究。

2. 论文提出的新思路、方法和模型

论文的核心创新在于 整合了音频预处理、微调的 ASR 模型和 LLM 模型，构建了一个端到端的医疗语音诊断流程。

2.1 新的思路、方法或模型

论文提出的关键思路和方法包括：

新颖的音频预处理策略: 针对医疗通话录音的特点，设计了一套基于 数字信号处理 (DSP) 的音频预处理流程，包括 降噪 (denoising) 和 均衡 (equalization) 两个步骤。

A novel audio preprocessing strategy, is deployed to provide invariance to incom- ing recording/call data, laden with sufficient augmentation with noise/clipping to make the pipeline robust to the type of microphone and ambient conditions the patient might have while calling/recording.

降噪: 论文没有使用复杂的 AI 降噪模型，而是假设噪声主要是静态的，并采用 DSP 技术进行降噪。这与一些研究使用 AI 降噪模型的方法不同，作者的理由是 AI 模型可能会增加延迟，并且对于静态噪声，DSP 方法已经足够有效。

均衡: 论文使用 高通滤波器 (high-pass filter), 低通滤波器 (low-pass filter) 和 高频提升滤波器 (high-shelf filter) 的组合，来优化音频的频率响应，提升语音的清晰度。具体参数设置为：

高通滤波器: 中心频率 250 Hz

低通滤波器: 中心频率 11,000 Hz

高频提升滤波器: 中心频率 4,000 Hz

The equalization process applies the following filters:
A high-pass filter centered at 250 Hz,
A low-pass filter centered at 11,000 Hz,
A high-shelf filter centered at 4,000 Hz.

音频预处理流程示意图 (论文 Figure 1 的一部分):

graph LR
    A[noisy audio] --> B(Audio PreProcessor)
    B --> C{denoiser}
    C --> D{equaliser}
    D --> E[cleaned audio]
    style B fill:#f9f,stroke:#333,stroke-width:2px

两阶段系统架构: 系统分为两个阶段：ASR 转录阶段 和 LLM 诊断分类阶段。

ASR 阶段: 使用微调的 Whisper 模型进行语音转录。论文对比了 Whisper 和 wav2vec 2.0 两种 ASR 模型，结果表明 Whisper 模型在医疗语音识别任务上表现更优。

Whisper, trained on a large, supervised multilingual and multitask dataset, delivers robust out-of-the- box transcription, excelling in noisy and diverse environments, such as medical dictations.

LLM 阶段: 使用微调的 Qwen2 模型，将 ASR 转录的文本分类到预定义的医疗诊断标签中。论文选择了 Qwen2 而不是 Llama3，主要是因为 Qwen2 在速度和处理长文本方面更具优势。

Qwen2 and Llama3 are both famous open source LLMs, however I choose to use Qwen2 due to: ... Other parameters like pricing etc. are similar for both models. The main differentiating factor for choosing Qwen2 is its better speed and its performance in NLP tasks as compared to LLama3.

系统整体框架图 (论文 Figure 1):

graph LR
    A[noisy audio] --> B(Audio PreProcessor) --> C[cleaned audio]
    C --> D(Automatic Speech Recognition) --> E[Transcribed Text]
    E --> F(LLM phrase2label matching) --> G[Diagnosis]
    B --> B1{denoiser} --> B
    B --> B2{equaliser} --> B
    D --> D1[w2v2-base] --> D
    D --> D2[w2v2-BERT] --> D
    D --> D3[whisper-small] --> D
    D --> D4[Qwen 2] --> D
    F --> F1[Medical Speech, Transcription, and Intent Database] --> F
    style B fill:#f9f,stroke:#333,stroke-width:2px
    style D fill:#ccf,stroke:#333,stroke-width:2px
    style F fill:#cfc,stroke:#333,stroke-width:2px

2.2 解决方案之关键

论文提出的解决方案之关键在于 音频预处理和模型微调的有效结合。

音频预处理: 通过 DSP 技术有效降低医疗通话录音中的噪声和失真，为后续的 ASR 模型提供更清晰的语音信号。

ASR 模型微调: 选择强大的 Whisper 模型，并使用医疗语音数据进行微调，使其更适应医疗领域的专业术语和语音特点。

LLM 模型微调: 使用医疗文本数据微调 Qwen2 模型，使其能够理解医疗语境，并将转录文本准确地分类到诊断标签。

2.3 与之前的方法相比有什么特点和优势？

与之前的方法相比，这篇论文提出的方法具有以下特点和优势：

更强的噪声鲁棒性: 通过音频预处理，系统能够更好地处理噪声环境下的医疗通话录音，提高了转录的准确性。传统的 ASR 系统在噪声环境下性能下降明显。

利用 LLM 的上下文理解能力: LLM 能够理解医疗对话的上下文，从而更准确地进行诊断分类。传统的基于关键词或规则的方法难以处理复杂的医疗语言和语境。

端到端流程: 论文构建了一个从语音输入到诊断输出的完整流程，易于部署和应用。

模型选择的先进性: 选择了 Whisper 和 Qwen2 等最先进的 ASR 和 LLM 模型，确保了系统的性能。

计算效率: 论文在音频预处理中选择了 DSP 方法而非 AI 降噪，在 LLM 微调中使用了 LoRA (Low-Rank Adaptation) 技术，并在训练中使用了 混合精度 (mixed-precision) 技术 (fp16/bf16)，提高了计算效率，降低了资源消耗。

Training was conducted using mixed-precision (fp16) to address limited computational resources. Mixed-precision training significantly reduces memory consumption and computational load, enabling faster processing and larger batch sizes.

3. 论文的实验验证及结果分析

论文通过实验验证了所提出方法的有效性。实验主要分为 ASR 模型评估和 LLM 模型评估两个部分。

3.1 实验设计

数据集: 论文使用了 Medical Speech, Transcription, and Intent Dataset 数据集，包含医疗通话录音、转录文本和诊断意图标签。数据集被划分为训练集 (381 个样本), 测试集 (5895 个样本) 和验证集 (385 个样本)。

The Medical Speech, Transcription, and Intent Dataset is used as mentioned.
Total Samples Train Test Validation
6661 381 5895 385

ASR 模型实验: 论文对比了 wav2vec 2.0 (base 和 BERT 版本) 和 Whisper (small 版本) 两种 ASR 模型，分别在 未微调 (base) 和 微调 (FT - Fine-Tuned) 的情况下进行了实验。评估指标为 词错误率 (WER - Word Error Rate)。

The word error rate (WER) was selected from the jiwer library as the primary evaluation metric due to its direct relevance to ASR tasks.

LLM 模型实验: 论文使用了 Qwen2 (7B 版本) 模型，评估了 未微调 和 使用 LoRA 微调 (7B-FT(LoRA)) 两种情况下的诊断分类准确率。评估指标为 准确率 (Accuracy)。

3.2 实验数据和结果

ASR 模型实验结果 (论文 Table 2):

Model	Version	Validation WER(%)	End of Training WER(%)	Steps Taken To Train
wav2vec2	base	135	-	-
	base-FT	48.9	32.8	2500 (2.5 hrs)
	BERT	100	-	-
	BERT-FT	37.5	23.1	500 (1 hr)
Whisper	small(3B)	128	-	-
	small(3B)-FT	21.3	9.97	1000 (2.5 hrs)

关键数据:

微调显著降低了 WER: 所有微调后的 ASR 模型，WER 均显著降低。例如，wav2vec2-base-FT 的验证集 WER 从 135% 降至 48.9%。

Whisper 模型表现最佳: 微调后的 Whisper (small(3B)-FT) 模型取得了最低的验证集 WER (21.3%) 和训练结束 WER (9.97%)，明显优于 wav2vec2 模型。

Transformer 架构优势: Whisper 基于 Transformer 架构，而 wav2vec 2.0 基于 CNN 架构。实验结果表明，Transformer 架构在医疗语音识别任务上更具优势。

LLM 模型实验结果 (论文 Table 3):

Model	Version	Validation Accuracy(%)	End of Training Accuracy(%)	Steps Taken To Train
Qwen2	7B	20.0	-	-
	7B-FT(LoRA)	25.5	-	20 (30 mins)

关键数据:

微调提升了准确率: 微调后的 Qwen2 (7B-FT(LoRA)) 模型，验证集准确率从 20.0% 提升至 25.5%。

LLM 需要微调: 未微调的 Qwen2 模型准确率较低，说明 LLM 需要针对医疗诊断任务进行微调才能有效工作。

训练速度快: 使用 LoRA 微调 Qwen2 模型，仅需 20 个训练步骤，耗时 30 分钟，训练速度非常快。

LLM 分类结果示例 (论文 Table 4):

Predicted	Ground Truth
stomach ache	emotional pain
hard to breath	feeling dizzy
knee pain	injury from sports
stomach ache	feeling dizzy

关键观察:

部分错误分类逻辑上相关: 例如，将 “stomach ache” 预测为 “emotional pain” 或 “feeling dizzy”，在一定程度上是合理的，说明 LLM 并非完全随机分类，而是能够捕捉到一些语义关联。

数据量限制: 作者认为 LLM 的准确率受限于训练数据量，更大的数据集有望进一步提升性能。

3.3 实验结果对科学假设的支持

实验结果基本支持了论文提出的科学假设：

音频预处理有效提升 ASR 性能: 虽然论文没有直接对比预处理前后 ASR 性能，但预处理是整个流程的关键组成部分，为后续 ASR 模型提供了更好的输入信号。

Whisper 模型在医疗语音识别上表现优异: 实验结果明确表明，微调后的 Whisper 模型在 WER 指标上显著优于 wav2vec 2.0 模型，验证了 Transformer 架构在医疗语音识别上的优势。

微调的 LLM 模型能够进行医疗诊断分类: 实验结果表明，微调后的 Qwen2 模型能够将 ASR 转录的文本分类到医疗诊断标签，尽管准确率还有提升空间，但证明了 LLM 在医疗诊断分类任务上的潜力。

4. 论文贡献、业界影响、应用场景和商业机会

4.1 论文贡献

这篇论文的主要贡献可以归纳为以下几点：

构建并评估了一个基于 ASR 和 LLM 的医疗语音诊断基准系统: 论文提供了一个可复现的基准系统，用于医疗语音识别和诊断分类任务，为后续研究提供了参考。

验证了 Whisper 和 Qwen2 模型在医疗语音处理任务上的有效性: 实验结果表明，Whisper 和 Qwen2 是处理医疗语音数据的强大工具，尤其是在微调后，性能得到显著提升。

提出了一种基于 DSP 的音频预处理策略: 该策略简单有效，能够提升噪声环境下医疗语音识别的鲁棒性。

展示了端到端医疗语音诊断流程的可行性: 论文成功地将音频预处理、ASR 和 LLM 模型整合到一个完整的流程中，为医疗语音诊断的应用提供了实践参考。

4.2 论文研究成果的业界影响

论文的研究成果将对医疗和人工智能业界产生积极影响：

推动医疗语音识别技术的发展: 论文证明了 LLM 和 Transformer 架构 ASR 模型在医疗语音识别领域的巨大潜力，将鼓励更多研究人员投入到相关技术研发中。

加速医疗 AI 应用落地: 论文提出的端到端系统为医疗机构提供了一个可行的解决方案，有助于加速医疗 AI 技术在临床实践中的应用，例如自动化病历转录、辅助诊断、智能客服等。

提升医疗服务效率和质量: 更准确、更高效的医疗语音识别和诊断系统，将有助于减轻医护人员的工作负担，提高医疗服务效率，并最终提升患者的医疗体验和治疗效果。

4.3 潜在的应用场景和商业机会

这篇论文的研究成果具有广阔的应用前景和商业机会：

智能病历转录系统: 可以开发基于该技术的智能病历转录系统，自动将医生和患者的对话转录成结构化病历，减少医生的文档工作量。

医疗诊断辅助工具: 可以将该系统应用于初步诊断或风险评估，为医生提供参考意见，提高诊断效率和准确性。

远程医疗和在线问诊: 在远程医疗场景中，该技术可以自动记录医患对话，并进行初步的病情分析，为远程医疗服务提供技术支持。

医疗呼叫中心和智能客服: 可以应用于医疗呼叫中心，自动识别患者的咨询意图，并提供相应的解答或服务，提升患者满意度。

可穿戴医疗设备: 可以将语音识别和诊断功能集成到可穿戴医疗设备中，实现对患者健康状况的实时监测和预警。

4.4 作为工程师应该关注哪些方面？

作为工程师，您应该重点关注以下几个方面：

音频信号处理技术: 深入学习音频降噪、均衡等 DSP 技术，了解其在语音识别中的作用和应用。

ASR 和 LLM 模型: 关注 Whisper, Qwen2 等先进模型的原理、架构和应用，掌握模型微调和部署的技能。

医疗领域知识: 学习医学术语、常见疾病和诊断流程，更好地理解医疗应用场景和用户需求。

系统集成和工程化能力: 掌握如何将音频预处理、ASR 和 LLM 模型集成到一个完整的系统中，并进行优化和部署。

数据安全和隐私保护: 在医疗应用中，数据安全和患者隐私至关重要，需要学习相关的技术和法规，确保系统安全可靠。

5. 未来研究方向和挑战

论文指出了未来值得进一步探索的问题和挑战：

提高 LLM 诊断分类的准确率: 当前的 LLM 诊断分类准确率仍有提升空间，未来可以尝试使用更大的数据集、更先进的 LLM 模型或更复杂的分类方法来提高准确率。

处理更复杂的医疗对话: 论文目前只关注简单的诊断标签分类，未来可以研究如何处理更复杂的医疗对话，例如多轮对话、病情描述、治疗建议等。

增强系统的鲁棒性和泛化能力: 在更多样化的噪声环境、口音和方言下测试系统性能，提高系统的鲁棒性和泛化能力。

探索对话式 AI 在医疗领域的应用: 将该技术拓展到对话式 AI 领域，开发能够进行医疗咨询和辅助诊断的智能聊天机器人。

可能的新的技术和投资机会:

更先进的音频预处理技术: 例如，基于深度学习的自适应降噪和语音增强技术。

更高效的医疗专用 LLM: 针对医疗领域特点进行优化的 LLM 模型，例如模型压缩、知识注入等。

端到端语音诊断系统: 将 ASR 和诊断模型更紧密地集成，实现真正的端到端语音诊断。

医疗 AI 云平台和 API: 提供医疗语音识别、NLP 和诊断 API 服务，降低医疗机构使用 AI 技术的门槛。

针对特定疾病或科室的医疗 AI 解决方案: 例如，针对心血管疾病、肿瘤等特定疾病，开发专用的语音诊断系统。

6. 论文的不足及需要进一步验证和存疑之处

从 critical thinking 的视角来看，这篇论文存在以下不足和需要进一步验证和存疑之处：

数据集规模较小: 用于微调 LLM 的训练集只有 381 个样本，规模相对较小，可能限制了 LLM 的性能和泛化能力。更大的数据集有望进一步提升 LLM 的准确率。

诊断任务简化: 论文将医疗诊断简化为单标签分类任务，与真实的医疗诊断场景存在差距。真实的医疗诊断通常需要考虑多种因素，进行复杂的推理和判断。

静态噪声假设: 论文假设噪声主要是静态的，并采用了 DSP 方法进行降噪。但在实际医疗环境中，噪声可能是动态且复杂的，简单的 DSP 方法可能无法完全解决问题。

缺乏与专业医生的对比: 论文没有将系统的诊断结果与专业医生的诊断结果进行对比，无法评估系统在真实医疗场景中的实际价值和可靠性。

延迟评估: 论文没有明确评估系统的延迟 (latency)，对于实时性要求较高的医疗应用，延迟是一个重要的指标。

伦理和隐私问题: 论文没有深入探讨医疗数据隐私和 AI 伦理问题，在实际应用中需要高度重视这些问题。

需要进一步验证和存疑之处:

系统的泛化能力: 需要在更多样化的数据集和真实医疗场景中验证系统的泛化能力。

不同口音和方言的影响: 需要评估系统在处理不同口音和方言医疗语音时的性能。

系统对对抗性攻击的鲁棒性: 需要评估系统是否容易受到对抗性攻击，例如恶意噪声或语音篡改。

LLM 决策的可解释性: 需要研究如何提高 LLM 决策的可解释性，以便医生更好地理解和信任系统的诊断结果。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

医疗诊断自动语音识别集成LLM模块基准测试