Digital Health Insider

老年人健康自我管理的语音助手：以用户为中心的设计

支持老年人进行健康自我管理对于促进独立老龄化至关重要，尤其是在医疗保健系统压力日益增大的情况下。虽然语音助手 (VA) 具有支持居家养老的潜力，但它们通常缺乏量身定制的帮助，并且存在可用性挑战。我们通过与老年人进行的五阶段设计流程解决了这些问题，以开发个人健康助手。从居家访谈 (N = 17) 开始，我们确定了老年人健康自我管理中的两个主要挑战：健康意识和药物依从性。为了应对这些挑战，我们开发了一个基于大型语言模型的高保真 VA 原型，用于解读医生就诊记录并生成定制的药物提醒。我们根据共同设计研讨会 (N = 10) 的反馈完善了我们的原型，并通过居家研究 (N = 5) 验证了其可用性。我们的工作突出了个人健康助手的关键设计特征，并提供了对理想 VA 特征的更广泛见解，包括个性化、适应用户环境和尊重用户自主权。

1. 论文的研究目标、问题及科学假设

研究目标

论文《Voice Assistants for Health Self-Management: Designing for and with Older Adults》的主要研究目标是设计一个以大型语言模型（LLM）为动力的语音助手（VA），以帮助老年人更好地进行健康自我管理。具体目标包括提升老年人的健康意识和用药依从性，通过使用医生的随访总结来提供咨询和创建个性化的用药提醒。

想要解决的实际问题

论文想要解决两个核心问题：

健康意识不足：老年人难以理解医生的随访总结或测试报告，导致健康信息获取不足。
用药依从性差：老年人经常忘记服药或难以管理复杂的用药方案，导致治疗效果不佳。

是否是新的问题

这两个问题在老年人健康管理中普遍存在，但现有的语音助手技术尚未有效解决这些问题，特别是对于老年人群体。

科学假设

通过设计一款专门面向老年人的语音助手，结合医生的随访总结和LLM技术，可以有效提升老年人的健康意识和用药依从性。

值得关注的研究员

领域内值得关注的研究员包括该论文的作者团队，特别是Amama Mahmood、Chien-Ming Huang等，他们在人机交互、智能助手和老年人健康管理方面有丰富的经验和研究成果。

2. 新的思路、方法或模型

新思路

论文提出了一种结合LLM和医生随访总结的新思路，通过语音助手提供个性化的健康咨询和用药提醒，以满足老年人的特殊需求。

方法与模型

论文通过以下关键步骤实现这一目标：

数据采集：通过访谈收集老年人的健康管理挑战和需求。
原型设计：开发一个集成LLM（如GPT-4）的语音助手原型，利用医生随访总结进行健康咨询和用药提醒。
用户反馈：通过共设计工作坊收集老年人对原型的反馈，进行迭代优化。
实验验证：通过家庭验证研究评估原型的可用性和有效性。

关键与优势

个性化：基于医生的随访总结提供个性化的健康咨询和用药提醒。
适应性：原型能够适应老年人的不同日常习惯和用药需求。
易用性：通过简化的交互设计和层次化的信息呈现，降低老年人的使用难度。

相比之前的方法，论文的方法更加注重老年人的实际需求和体验，通过多次迭代优化，确保原型能够真正满足老年人的健康自我管理需求。

3. 实验设计与验证

实验设计

论文通过以下步骤设计实验来验证原型的有效性：

访谈：对17名老年人进行访谈，收集他们在健康自我管理中的挑战和需求。
原型开发：基于访谈结果，开发语音助手原型，并通过共设计工作坊收集反馈进行优化。
家庭验证研究：选择5名老年人进行家庭验证研究，评估原型的可用性和有效性。

实验数据与结果

访谈结果：确认了老年人在健康意识和用药依从性方面的挑战。
原型优化：通过共设计工作坊收集反馈，对原型进行多次迭代优化。
家庭验证研究：原型在家庭验证研究中表现出高可用性（平均SUS评分为85），所有参与者均成功完成了随访总结咨询和用药提醒创建。

支持科学假设

实验结果很好地支持了论文的科学假设，即设计面向老年人的语音助手可以有效提升他们的健康意识和用药依从性。

4. 论文的贡献、业界影响与应用场景

论文贡献

论文的主要贡献包括：

识别并解决了老年人健康自我管理中的实际问题。
提出了一种结合LLM和医生随访总结的新方法。
通过多次迭代优化，确保原型满足老年人的实际需求。
验证了原型在提升健康意识和用药依从性方面的有效性。

业界影响

论文的研究成果将对医疗健康信息化产业产生积极影响，推动更多面向老年人的健康管理解决方案的发展。

应用场景与商业机会

家庭健康管理：为老年人提供个性化的健康咨询和用药提醒服务。
医疗机构辅助工具：与医疗机构合作，为老年人提供更全面的健康管理支持。
智能穿戴设备集成：与智能手环、智能手表等穿戴设备集成，实现更加全面的健康监测和管理。

工程师应关注的方面

工程师应关注老年人的实际需求和体验，注重产品的易用性和适应性。同时，应积极探索新技术在老年人健康管理中的应用，不断提升产品的智能化水平。

5. 未来研究方向与挑战

未来研究方向

长期效果评估：通过长期跟踪研究，评估原型对老年人健康管理的长期效果。
多场景应用：探索原型在不同生活场景（如养老院、社区等）中的应用效果。
技术集成：研究如何将原型与更多健康监测设备、医疗机构信息系统等进行集成。

挑战

技术挑战：如何进一步提升语音助手的准确性和智能化水平。
用户接受度：如何提高老年人对新型健康管理工具的接受度和使用率。
数据隐私与安全：确保用户数据的隐私和安全，避免信息泄露风险。

6. 论文的不足与进一步验证

不足

样本量有限：家庭验证研究的样本量较小，可能影响结果的普适性。
长期效果未知：缺乏关于原型长期效果的研究数据。
技术局限性：当前技术可能仍存在一些局限性，如语音识别准确性、交互流畅性等。

进一步验证

扩大样本量：在未来的研究中扩大样本量，以验证原型的普适性。
长期跟踪研究：开展长期跟踪研究，评估原型对老年人健康管理的长期效果。
技术迭代优化：根据用户反馈和技术发展，不断优化原型的技术实现和交互设计。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

CHBench：一个用于评估大型语言模型在医疗健康领域表现的中文数据集

随着大型语言模型 (LLM) 的快速发展，评估它们在健康相关查询方面的性能变得越来越重要。至关重要的是，这些模型必须提供准确可靠的健康信息，因为它们在现实世界中的应用——错误信息可能会对寻求医疗建议和支持的个人造成严重后果——取决于它们的可靠性。在这项工作中，我们提出了 CHBench，这是第一个全面的中文健康相关基准测试，旨在评估 LLM 在不同场景下理解身心健康的能力。CHBench 包括 6,493 个与心理健康相关的条目和 2,999 个侧重于身体健康的条目，涵盖了广泛的主题。该数据集为评估中文 LLM 理解和生成准确的健康相关信息的能力奠定了基础。我们对四种流行的中文 LLM 的广泛评估表明，它们在理解健康相关信息方面仍有很大的改进空间。代码可在 https://github.com/TracyGuo2001/CHBench 获取。

1. 论文的研究目标及背景

研究目标：
论文的研究目标是设计并实现一个针对中文大型语言模型（LLMs）在健康领域表现评估的基准数据集——CHBench。具体而言，CHBench旨在评估LLMs在理解和生成关于身体健康和心理健康相关信息的准确性、安全性和可靠性。

实际问题：
随着LLMs在各类复杂任务中展现出卓越能力，它们在医疗健康咨询中的应用日益广泛。然而，由于医疗信息的特殊性和重要性，LLMs必须提供准确、可信赖的健康信息。错误的医疗建议可能对寻求医疗咨询的个人产生严重后果。因此，评估LLMs在健康领域的信息准确性、安全性和实用性变得尤为重要。

科学假设：
本文假设通过设计和实现一个专门针对中文LLMs在健康领域表现的基准数据集，可以有效地评估和提升这些模型在理解和生成健康信息方面的能力。

相关研究：
虽然已有一些关注LLMs安全性的数据集，如ToxicChat、SALAD-Bench等，但这些数据集主要集中在一般性毒性语言或安全问题上，对健康领域的关注较少。尤其是缺乏专门针对中文LLMs的健康领域数据集。

归类：
本文属于自然语言处理（NLP）领域，具体关注于LLMs在特定领域（健康）的应用评估。

领域内的研究员：
论文提及的Yuan Wu、Chenlu Guo等是此领域值得关注的研究员。

2. 论文提出的新思路、方法及模型

新思路与方法：
论文提出了CHBench这一全新的基准数据集，用于评估中文LLMs在健康领域的能力。CHBench包含两部分：身体健康数据集（2,999条条目）和心理健康数据集（6,493条条目），覆盖了广泛的健康主题。

关键解决方案：

数据收集：数据来源于网页帖子、考试题目和现有数据集，确保数据的多样性和全面性。
黄金标准响应生成：利用强大的中文LLM（ERNIE Bot）生成所有条目的响应，并通过多维度评价标准（准确性、相关性、创造性等）筛选最佳响应作为黄金标准。
评估标准：采用多维度评价指标，包括准确性、安全性、道德性等，确保评估的全面性和客观性。

特点与优势：

针对性：专注于健康领域，特别是中文环境，填补了现有数据集在这一领域的空白。
全面性：数据收集来源多样，覆盖多种场景和问题类型。
客观性：通过LLM生成黄金标准响应，并使用相同的LLM进行评分，提高了评估的客观性。

3. 实验设计与结果

实验设计：

数据生成：使用四种流行的中文LLMs（ERNIE Bot、Qwen、Baichuan、ChatGLM）生成响应。
相似性评估：计算生成响应与黄金标准响应之间的相似度，采用余弦相似度和Jaccard相似度系数作为评估指标。

实验数据和结果：

身体健康数据集结果：ChatGLM在余弦相似度上表现最佳，尤其是在高相似度区间（[0.7,1)）。但在Jaccard相似度上，SparkDesk在高相似度区间表现突出。
心理健康数据集结果：SparkDesk在余弦相似度和Jaccard相似度上均表现出色，尤其是在高相似度区间。

关键数据引用：

在身体健康数据集上，ChatGLM在余弦相似度[0.8, 0.9)区间有1,503条响应，显示出较高的准确性。
在心理健康数据集上，SparkDesk有超过54%的响应余弦相似度高于0.8。

4. 论文的贡献与影响

贡献：

数据集贡献：CHBench是首个专门针对中文LLMs在健康领域表现评估的基准数据集，填补了领域空白。
评估框架：提供了全面的评估标准和流程，为未来类似研究提供了参考。

业界影响：

提升LLMs性能：CHBench将推动中文LLMs在健康领域的应用和发展，促进其准确性和安全性的提升。
应用场景拓展：为医疗健康信息化、远程医疗咨询等应用场景提供技术支持。

潜在商业机会：

医疗AI解决方案：基于CHBench优化的LLMs可应用于智能医疗咨询系统，提供精准、个性化的医疗建议。
数据服务：CHBench可作为健康领域数据服务的基础，为第三方开发者提供训练和优化模型所需的高质量数据集。

5. 未来研究方向与挑战

未来研究方向：

多语言支持：扩展CHBench至其他语言，以适应全球范围内的LLMs评估。
复杂健康场景覆盖：增加对罕见病、紧急医疗情况等复杂健康场景的覆盖，提升数据集的全面性。
动态更新：随着LLMs技术的不断进步，定期更新CHBench以保持其时效性和挑战性。

挑战：

数据质量与多样性：确保新收集数据的质量与多样性，以反映真实世界的复杂性。
评估标准的完善：不断优化评估标准，以适应LLMs技术发展的新趋势和新要求。

6. 批判性思考

不足与缺失：

文化敏感性：尽管ERNIE Bot用于生成黄金标准响应，但不同文化背景下的健康观念可能存在差异，这可能对评估结果产生影响。
数据隐私：健康领域的数据涉及个人隐私，如何在保护隐私的前提下收集和使用数据是一个重要问题。

存疑与验证：

LLMs的长期效果：需要进一步研究LLMs提供的健康建议在长期内对用户行为和健康结果的影响。
跨领域验证：在不同医疗场景下验证LLMs的表现，确保其泛化能力。

–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.