斯坦福开源睡眠多模态大模型–SleepFM,

AIGC动态3周前发布 AIGCOPEN
201 0 0
斯坦福开源睡眠多模态大模型--SleepFM,

 

文章摘要


【关 键 词】 睡眠监测多模态学习自监督学习数据集构建开源代码

斯坦福大学研究人员开发了一款名为SleepFM的多模态大模型,专门针对医疗领域中的睡眠监测和分析。该模型能够自动识别并分类睡眠过程中的不同阶段,如清醒、浅睡、深睡和快速眼动睡眠,以及分析这些睡眠阶段出现的原因。睡眠监测是一个复杂的过程,涉及大脑电活动、心脏活动和呼吸模式等多种生理信号的分析。

SleepFM采用了对比学习方法来提升多模态学习的性能。对比学习是一种自监督学习方法,通过比较样本间的相似性和差异性来学习数据的表示,适用于无监督学习环境。SleepFM进一步创新,提出了“leave-one-out”框架,要求模型在每个模态中学习到能够代表所有其他模态信息的特征。模型会计算一个由其他所有模态特征表示的平均值构成的向量,并通过对比损失来训练,使其自身的特征表示与这个平均向量尽可能接近,从而提高对睡眠阶段和睡眠呼吸障碍(SDB)事件的识别能力。

SleepFM还针对人体不同器官开发了特定模块,包括脑活动信号编码器、心电图编码器和呼吸信号编码器,分别专注于脑电图信号、心电图信号和呼吸信号的分析,以捕捉与睡眠阶段相关的脑部活动模式、心脏活动状态的关键特征,以及检测睡眠中的呼吸暂停和其他呼吸障碍事件。

为了提高模型的准确性和泛化能力,研究人员构建了一个包含超过14,000名参与者、超过100,000小时睡眠记录的庞大多模态数据集。数据集覆盖了2至91岁的年龄范围,确保了数据的多样性和代表性。每个数据片段都经过专家详细标注,包括睡眠阶段和SDB事件,遵循美国睡眠医学学会(AASM)的标准。原始数据经过预处理,分割成标准的30秒片段,并重新采样到统一的256 Hz,同时进行了去标识化处理,以保护参与者隐私和遵守伦理标准。

SleepFM的开源地址为:https://github.com/rthapa84/sleepfm-codebase,感兴趣的开发者和研究人员可以访问该地址获取更多信息和资源。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 1020字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆

© 版权声明

相关文章

暂无评论

暂无评论...