谷歌推出SensorLM，将传感器信号转换为以人为本的健康洞察

![谷歌研究院发布 SensorLM 将多模态可穿戴数据转化为易于理解的健康洞察](http://img-cdn.gateio.im/social/moments-725c12e9c46ba0114b04a3ff6ac8c0a5019283746574839201

专注于基础研究和应用研究的Google Research推出了SensorLM，这是一种新型的传感器-语言基础模型，旨在增强对高维可穿戴传感器数据的解释。SensorLM在超过103,000个个体的5970万小时的多模态传感器输入上进行训练，能够从复杂的传感器信号中生成详细的人类可读描述，建立了传感器数据分析领域的新基准。

为了开发SensorLM的训练数据集，来自127个国家的103,643名参与者中抽取了大约250万个人天的去标识化传感器数据。这些数据是在2024年3月1日至5月1日期间从Fitbit和Pixel Watch设备收集的，所有参与者均已知情同意其匿名数据用于旨在推动健康和科学领域的普遍知识的研究。

研究人员实施了一种自动化的分层管道，通过计算统计数据、识别模式和直接从传感器数据中总结事件来生成描述性标题，以应对大规模数据标记的挑战。这种方法使得创建了目前已知的最大的将传感器输入与语言对齐的数据集，超越了以往研究中使用的数据集规模。

SensorLM的架构结合并协调了广泛使用的多模态预训练方法，特别是对比学习和生成预训练，形成一个统一的框架。在对比学习阶段，模型被训练以将传感器数据的片段与从一组替代选项中选择的适当文本描述关联起来。

这个过程使模型能够准确区分各种身体活动或生理状态，例如区分轻松游泳和以力量为重点的锻炼。在生成预训练阶段，模型学习直接从传感器输入生成文本描述，从而增强其传达高维数据复杂、上下文敏感解释的能力。这些训练策略的结合使SensorLM能够形成对传感器数据如何映射到自然语言的全面而细致的多模态理解。

实验揭示SensorLM在零-shot分类、少-shot学习和跨模态理解方面的先进能力

根据谷歌研究，SensorLM在涉及人类活动识别和医疗保健应用的多样化现实场景中进行了性能评估，显示出在这些领域相较于现有领先模型的明显改进。SensorLM在标签数据有限的环境中表现尤为出色。它展示了强大的零样本分类能力，能够在不需要模型微调的情况下正确识别20种不同活动，并展现了有效的少样本学习，能够快速适应新任务，所需示例极少。其跨模态检索功能还实现了传感器数据与自然语言之间的相互可解释性，使用户能够使用文本搜索传感器模式或从传感器输入生成相关描述——这种方法支持专家分析工作流。

除了分类，SensorLM还能够仅基于可穿戴传感器输入生成结构化和上下文感知的文本摘要。实验比较表明，这些输出通常比非领域特定语言模型生成的输出更连贯和准确。研究还观察到，SensorLM 的性能随着训练数据、模型规模和计算资源的增加而持续提升，这与之前在模型扩展方面建立的原则一致。这些发现表明，该方法仍处于其潜力的早期阶段，值得继续探索。

SensorLM的开发引入了一个通过自然语言解释复杂可穿戴传感器数据的框架。这是通过一种新开发的分层标题方法以及迄今为止认为是最大的传感器-语言数据集来实现的。因此，SensorLM模型系列在增强个人健康数据的可获取性和实用性方面迈出了重要一步。通过使机器能够通过语言解释生理信号，这项工作为更个性化和信息丰富的健康反馈奠定了基础。未来的努力将探索扩展到代谢谱分析和高级睡眠监测等领域，广泛目标是支持个性化健康工具、临床监测系统和能够进行自然语言交互的数字健康助手。基于此研究的任何未来产品的开发和部署可能需要经过临床验证和监管监督。