CN109157231A - 基于情绪刺激任务的便携式多通道抑郁倾向评估*** - Google Patents

Abstract

本发明提供一种基于情绪刺激任务的便携式多通道抑郁倾向评估***。在情绪刺激任务下，以便携式设备收集脑电、皮肤电、心电、眼动、语音和影像信息，利用多种监督学习和非监督学习算法对多通道生理信号和行为数据进行特征提取、特征筛选、模型训练和模型验证，整合多通道分析结果，计算抑郁倾向指数，对抑郁倾向进行评估。

Description

基于情绪刺激任务的便携式多通道抑郁倾向评估***

技术领域

本发明属于人工智能领域，基于脑电、皮肤电、心电、眼动、语音和影像信息等综合信息，利用机器学习算法评估抑郁倾向，具体涉及一种基于情绪刺激任务的便携式多通道抑郁倾向评估***。

背景技术

重性抑郁障碍(Major Depression)是抑郁障碍中的典型疾病。其特征性地表现为明确的至少2周的发作，涉及情感、认知和植物神经功能的明显变化。研究显示，重性抑郁障碍12个月的患病率约为7％，是最为常见的精神疾病之一(DSM-5,2013)。

重性抑郁障碍早已成为精神卫生领域关注的热点问题，大量研究围绕重性抑郁障碍的病因、治疗和预后而展开。在这些研究中，对抑郁倾向的早期甄别被认为对疾病的防治有着非常重要的作用。但是由于重性抑郁常与其他生理和心理疾病共病，对抑郁的早期甄别往往是很困难的(Culpepper,2014)。通常，对重性抑郁障碍的诊断基于精神障碍诊断与统计手册(DSM-5)上对该疾病标准的描述。但在诊断过程中，由于人为因素的干扰，很难完全避免主观性的影响。如在收集病史时可能产生遗漏，或对某些症状的严重程度无意地夸大等(Mumtaz,Ali,Yasin,Malik,2017)。近些年，随着机器学习算法的成熟，越来越多的研究者开始尝试使用生理和行为数据对重性抑郁障碍进行早期甄别，以降低主观性的影响，为精神科医生的诊断提供辅助。机器学习是利用计算机算法自动挖掘复杂数据更深层次的信息的一种方法，已经被广泛应用在图像识别(Simonyan,Zisserman,2014)，语音识别(LeCun,Bengio,Hinton,2015),疾病诊断(Hilbert,Lueken,Muehlhan,Beesdo-Baum,2017)等诸多领域。

生理和行为数据，如脑电(EEG)、脑成像(fMRI)、眼动、语音等蕴含了更丰富全面的个体信息，但同时也比较难分析和处理。机器学习可以自动地对这些信息进行深层次挖掘。同时，需要指出的是，经查阅，现有抑郁症临床诊断规范模式和诊断筛查量表中均未涉及与生理和行为数据相关的质量报告。而上述生理和行为数据作为考察人体综合健康状况的一项重要指标，在临床医学中多个领域均有普遍考察，但仍未将其纳入抑郁症的诊断依据范围当中，此为现有抑郁症临床诊断的一大缺陷。本发明的创新要点之一就是依据患者的生理和行为数据结果获得报告，从而对患者的抑郁症诊断起到重要的辅助作用。此外，将机器学习应用于个体的疾病诊断，不仅可以用于预测，还能够为制定个性化的治疗方案提供支持。目前已有一些研究利用机器学习算法对重性抑郁障碍的评估进行了探索，但大多研究都基于单一通道信息、依靠监督学习算法处理生理信号，且测量往往需要借助较为复杂的设备。本发明将生理信号和行为数据相结合、同时利用监督学习算法和非监督学习算法、在使用便携式测量设备的基础上，对抑郁倾向进行评估并建立分类模型。

发明内容

本发明提供一种便携式的、基于多通道生理信号和行为数据的抑郁倾向评估***。在情绪刺激任务下，以便携式设备收集脑电、皮肤电、心电、眼动、语音和影像信息，利用多种监督学习和非监督学习算法对多通道生理信号和行为数据进行特征提取、特征筛选、模型训练和模型验证，整合多通道分析结果，计算抑郁倾向指数，对抑郁倾向进行评估。

本发明的技术方案是：一种基于情绪刺激任务的便携式多通道抑郁倾向评估方法，其特征包括：

(1)标准化情绪刺激步骤：向受试者呈现标准化的情绪刺激，包括静态情绪刺激和动态情绪刺激；

(2)生理信号采集步骤：采集受试者在完成情绪刺激任务时的多通道生物电信号，包括脑电、皮肤电、心电；

(3)行为数据采集步骤：采集受试者在完成情绪刺激任务时的多通道行为数据，包括眼动信息、语音信息、二维影像信息和三维深度影像信息；

(4)机器学习数据处理步骤：利用监督学习和非监督学习算法对生理信号和行为数据进行处理，进行特征提取、特征筛选、模型训练和模型验证

(5)整合评估步骤：整合多通道数据所得结果，计算抑郁倾向指数。

其中，所述步骤(1)中，所有情绪刺激均事先经过标准化的评估，以保证其在效价和唤起度上匹配。静态情绪刺激由图片构成，其中一半为正性图片，一半为负性图片。动态情绪刺激由短片构成，每段短片持续时间为20-100秒。情绪刺激呈现在台式电脑屏幕上。

所述步骤(2)中，生理信号通过便携式生物电信号采集设备采集。其中脑电设备传感器为接触式干电极；心率采用心率传感器记录心电变化情况，传感器为医用贴片式电极；皮肤电采用皮肤电设备，将两个传感器分别固定于受试者非惯用的食指和中指，以采集皮肤电的变化情况。所有生物电信号统一实时上传至商业化云处理平台。

所述步骤(3)中，行为数据同样由便携式设备采集。其中眼动信息由眼控仪收集，记录眼球活动轨迹以及每个采样点上眼球坐标位置；语音信息由麦克风收集；二维影像信息由4k摄像头采集；三维面孔深度信息由深度摄像头采集。所有行为数据统一实时上传至商业化云处理平台。

所述步骤(4)中，机器学***台完成。包括各通路数据的预处理、特征提取、特征筛选、模型训练和模型验证。

其中预处理主要包括：对原始脑电电压数据进行转换、过滤肌电；对皮肤电和心电数据进行去噪音处理；对行为数据进行噪音过滤。

特征提取主要包括：1)将正性刺激和负性刺激所对应的生物电信号和行为数据进行分段提取,具体波段包括delta(1-4Hz)，theta(4-8Hz)，alpha(8-13Hz)，beta(13-30Hz)，gamma(30-44Hz)，high-gamma(45-60Hz)；2)对于脑电数据，提取不同类型情绪刺激下的相应特征值，包括不同波段脑电的平均波长λ、频率，波振幅a(a＝h_波峰值-h_波谷值)、变化熵(S＝klnΩ)、能量值(λ²)等特征值共2870个特征；对于皮肤电数据，提取不同类型情绪刺激下以及情绪刺激出现的皮肤电波长、波峰值、波谷值、变化熵共计1150个特征；对于心电数据，提取不同类型情绪刺激前后心率变异率作为特征值；对于眼动数据，计算受试者注视不同情绪刺激的持续时长、所占比率、眼动和眼跳指标，共计1200个特征。

特征筛选、模型训练和模型验证主要包括：1)利用监督学习算法处理脑电、皮肤电、心电、眼动信息，使用的算法包括支持向量机(Support Vector Machines,SVM)、logistic 回归、随机森林(Random Forest)以及基于上述三个算法的整合算法；2)利用非监督学习算法卷积神经网络(CNN)和循环神经网络(RNN)分别处理面部表情信息和语音信息；3)将监督学习与非监督学习算法结合起来，首先使用经过上百万次训练的卷积神经网络(CNN)和循环神经网络(RNN)分别对面部表情和语言信息进行中间信息的提取。之后再将这些中间的信息结合其他输入信号(如脑电，皮肤电和眼动信息)进行第二级分类模型的训练；4)根据人工智能算法的训练规则，为了保证实验的有效性，整体研究将按照训练模型、验证模型和测试模型的顺序进行。其中60％的样本数据将用于对计算机模型进行训练，并形成最终的分类模型，20％的样本数据用于验证得出的分类模型，最后20％的样本数据用于测量和评估模型的准确性。

所述步骤(5)中，根据步骤(4)所得模型，分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数。具体计算方法如下：

通过逻辑回归，于第二级数据中(脑电，皮肤电，眼动，语音和面部表情特征)得出各模态特征的相对权重V1，V2，V3…Vi，并由通过线性相加得到抑郁倾向指数

分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数。

附图说明

(1)图1本发明***整体框架图

(2)图2研究技术路线图

(3)图3算法模型示意图

具体实施方案

下面对本发明的实施方案进行详述：

实施例1

本发明的***硬件包括：穿戴式脑电采集设备、心率采集设备、皮肤电采集设备。其中脑电设备传感器为接触式干电极；心率采用心率传感器记录心电变化情况，传感器为医用贴片式电极；皮肤电采用皮肤电设备，将两个传感器分别固定于受试者非惯用的食指和中指，以采集皮肤电的变化情况。

实施例2

一种基于情绪刺激任务的便携式多通道抑郁倾向评估方法，其特征包括：

(1)标准化情绪刺激步骤：向受试者呈现标准化的情绪刺激，包括静态情绪刺激和动态情绪刺激；

(2)生理信号采集步骤：采集受试者在完成情绪刺激任务时的多通道生物电信号，包括脑电、皮肤电、心电；

(3)行为数据采集步骤：采集受试者在完成情绪刺激任务时的多通道行为数据，包括眼动信息、语音信息、二维影像信息和三维深度影像信息；

(4)机器学习数据处理步骤：利用监督学习和非监督学习算法对生理信号和行为数据进行处理，进行特征提取、特征筛选、模型训练和模型验证

(5)整合评估步骤：整合多通道数据所得结果，计算抑郁倾向指数。

其中，所述步骤(1)中，所有情绪刺激均事先经过标准化的评估，以保证其在效价和唤起度上匹配。静态情绪刺激由图片构成，其中一半为正性图片，一半为负性图片。动态情绪刺激由短片构成，每段短片持续时间为20-100秒。情绪刺激呈现在台式电脑屏幕上。

所述步骤(2)中，生理信号通过便携式生物电信号采集设备采集。其中脑电设备传感器为接触式干电极；心率采用心率传感器记录心电变化情况，传感器为医用贴片式电极；皮肤电采用皮肤电设备，将两个传感器分别固定于受试者非惯用的食指和中指，以采集皮肤电的变化情况。所有生物电信号统一实时上传至商业化云处理平台。

所述步骤(3)中，行为数据同样由便携式设备采集。其中眼动信息由眼控仪收集，记录眼球活动轨迹以及每个采样点上眼球坐标位置；语音信息由麦克风收集；二维影像信息由4k摄像头采集；三维面孔深度信息由深度摄像头采集。所有行为数据统一实时上传至商业化云处理平台。

所述步骤(4)中，机器学***台完成。包括各通路数据的预处理、特征提取、特征筛选、模型训练和模型验证。

其中预处理主要包括：对原始脑电电压数据进行转换、过滤肌电；对皮肤电和心电数据进行去噪音处理；对行为数据进行噪音过滤。

特征提取主要包括：1)将正性刺激和负性刺激所对应的生物电信号和行为数据进行分段提取,具体波段包括delta(1-4Hz)，theta(4-8Hz)，alpha(8-13Hz)，beta(13-30Hz)，gamma(30-44Hz)，high-gamma(45-60Hz)；2)对于脑电数据，提取不同类型情绪刺激下的相应特征值，包括不同波段脑电的平均波长λ、频率，波振幅a(a＝h_波峰值-h_波谷值)、变化熵(S＝klnΩ)、能量值(λ²)等特征值共2870个特征；对于皮肤电数据，提取不同类型情绪刺激下以及情绪刺激出现的皮肤电波长、波峰值、波谷值、变化熵共计1150个特征；对于心电数据，提取不同类型情绪刺激前后心率变异率作为特征值；对于眼动数据，计算受试者注视不同情绪刺激的持续时长、所占比率、眼动和眼跳指标，共计1200个特征。

特征筛选、模型训练和模型验证主要包括：1)利用监督学习算法处理脑电、皮肤电、心电、眼动信息，使用的算法包括支持向量机(Support Vector Machines,SVM)、logistic回归、随机森林(Random Forest)以及基于上述三个算法的整合算法；2)利用非监督学习算法卷积神经网络(CNN)和循环神经网络(RNN)分别处理面部表情信息和语音信息；3)将监督学习与非监督学习算法结合起来，首先使用经过上百万次训练的卷积神经网络(CNN)和循环神经网络(RNN)分别对面部表情和语言信息进行中间信息的提取。之后再将这些中间的信息结合其他输入信号(如脑电，皮肤电和眼动信息)进行第二级分类模型的训练；4)根据人工智能算法的训练规则，为了保证实验的有效性，整体研究将按照训练模型、验证模型和测试模型的顺序进行。其中60％的样本数据将用于对计算机模型进行训练，并形成最终的分类模型，20％的样本数据用于验证得出的分类模型，最后20％的样本数据用于测量和评估模型的准确性。

所述步骤(5)中，根据步骤(4)所得模型，分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数。具体计算方法如下：

通过逻辑回归，于第二级数据中(脑电，皮肤电，眼动，语音和面部表情特征)得出各模态特征的相对权重V1，V2，V3…Vi，并由通过线性相加得到抑郁倾向指数

分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数。

实施例3所述***的具体操作方法，具体为：

在数据采集之前，被测评的抑郁受试对象需要佩戴脑电、皮肤电、心率生理采集设备。在所有设备佩戴好后，主试将受试者独自留在实验室内完成接下来的测试，过程中主试不再干预。

受试者按照要求连续完成2个任务。在第一个测试任务开始之前，有基线测量，要求受试者平静坐好，注视计算机显示器。基线测量结束后，进入第一个任务。第一个任务为静态情绪刺激任务，显示器上会随机同时呈现4张图片，受试者可以自由地注视屏幕上出现的图片。图片包含正性和负性两类。第二个任务为动态情绪刺激任务，显示器上会随机呈现短片，每个短片持续20-100秒，同样要求受试者自由观看短片，并按照要求在每段短片结束后，用自己的话简要概括短片的主要内容。

记录受试者在完成所有任务的过程中脑电、皮肤电、心电、眼动、语音、二维和三维表情信息，并将其实时上传至望里科技人工智能数据处理云平台。

分别对不同通道信息进行去噪和预处理。

对于脑电、皮肤电、心电、眼动数据，分别提取不同情绪刺激下和不同任务时间点的相应特征值，利用监督学习算法进行特征筛选、建立模型。

对于语音、二维和三维表情信息，利用非监督学习算法进行处理，建立模型。

将监督学习与非监督学习算法结合起来，首先使用经过上百万次训练的卷积神经网络(CNN)和循环神经网络(RNN)分别对面部表情和语言信息进行中间信息的提取。之后再将这些中间的信息结合其他输入信号(如脑电，皮肤电和眼动信息)进行第二级分类模型的训练。

Claims (4)

1.一种基于情绪刺激任务的便携式多通道抑郁倾向评估方法，其特征包括：

(1)标准化情绪刺激步骤：向受试者呈现标准化的情绪刺激，包括静态情绪刺激和动态情绪刺激；

(2)生理信号采集步骤：采集受试者在完成情绪刺激任务时的多通道生物电信号，包括脑电、皮肤电、心电；

(3)行为数据采集步骤：采集受试者在完成情绪刺激任务时的多通道行为数据，包括眼动信息、语音信息、二维影像信息和三维深度影像信息；

(4)机器学习数据处理步骤：利用监督学习和非监督学习算法对生理信号和行为数据进行处理，进行特征提取、特征筛选、模型训练和模型验证

(5)整合评估步骤：整合多通道数据所得结果，计算抑郁倾向指数。

2.如权利要求1所述的一种基于情绪刺激任务的便携式多通道抑郁倾向评估方法，其中：所述步骤(1)中，所有情绪刺激均事先经过标准化的评估，以保证其在效价和唤起度上匹配。静态情绪刺激由图片构成，其中一半为正性图片，一半为负性图片。动态情绪刺激由短片构成，每段短片持续时间为20-100秒。情绪刺激呈现在台式电脑屏幕上。

所述步骤(2)中，生理信号通过便携式生物电信号采集设备采集。其中脑电设备传感器为接触式干电极；心率采用心率传感器记录心电变化情况，传感器为医用贴片式电极；皮肤电采用皮肤电设备，将两个传感器分别固定于受试者非惯用的食指和中指，以采集皮肤电的变化情况。所有生物电信号统一实时上传至商业化云处理平台。

所述步骤(3)中，行为数据同样由便携式设备采集。其中眼动信息由眼控仪收集，记录眼球活动轨迹以及每个采样点上眼球坐标位置；语音信息由麦克风收集；二维影像信息由4k摄像头采集；三维面孔深度信息由深度摄像头采集。所有行为数据统一实时上传至商业化云处理平台。

所述步骤(4)中，机器学***台完成。包括各通路数据的预处理、特征提取、特征筛选、模型训练和模型验证。

所述步骤(5)中，根据步骤(4)所得模型，分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数。

3.如权利要求2所述的一种基于情绪刺激任务的便携式多通道抑郁倾向评估方法，其中步骤(4)中的

预处理主要包括：对原始脑电电压数据进行转换、过滤肌电；对皮肤电和心电数据进行去噪音处理；对行为数据进行噪音过滤。

特征提取主要包括：1)将正性刺激和负性刺激所对应的生物电信号和行为数据进行分段提取,具体波段包括delta(1-4Hz)，theta(4-8Hz)，alpha(8-13Hz)，beta(13-30Hz)，gamma(30-44Hz)，high-gamma(45-60Hz)；2)对于脑电数据，提取不同类型情绪刺激下的相应特征值，包括不同波段脑电的平均波长λ、频率，波振幅a(a＝h_波峰值-h_波谷值)、变化熵(S＝klnΩ)、能量值(λ²)等特征值共2870个特征；对于皮肤电数据，提取不同类型情绪刺激下以及情绪刺激出现的皮肤电波长、波峰值、波谷值、变化熵共计1150个特征；对于心电数据，提取不同类型情绪刺激前后心率变异率作为特征值；对于眼动数据，计算受试者注视不同情绪刺激的持续时长、所占比率、眼动和眼跳指标，共计1200个特征。

特征筛选、模型训练和模型验证主要包括：1)利用监督学习算法处理脑电、皮肤电、心电、眼动信息，使用的算法包括支持向量机(Support Vector Machines,SVM)、logistic回归、随机森林(Random Forest)以及基于上述三个算法的整合算法；2)利用非监督学习算法卷积神经网络(CNN)和循环神经网络(RNN)分别处理面部表情信息和语音信息；3)将监督学习与非监督学习算法结合起来，首先使用经过上百万次训练的卷积神经网络(CNN)和循环神经网络(RNN)分别对面部表情和语言信息进行中间信息的提取。之后再将这些中间的信息结合其他输入信号(如脑电，皮肤电和眼动信息)进行第二级分类模型的训练；4)根据人工智能算法的训练规则，为了保证实验的有效性，整体研究将按照训练模型、验证模型和测试模型的顺序进行。其中60％的样本数据将用于对计算机模型进行训练，并形成最终的分类模型，20％的样本数据用于验证得出的分类模型，最后20％的样本数据用于测量和评估模型的准确性。

4.如权利要求1所述的一种基于情绪刺激任务的便携式多通道抑郁倾向评估方法，其中步骤(5)中具体为：

根据步骤(4)所得模型，分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数；具体计算方法如下：

通过逻辑回归，于第二级数据中(脑电，皮肤电，眼动，语音和面部表情特征)得出各模态特征的相对权重V1，V2，V3…Vi，并由通过线性相加得到抑郁倾向指数

分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数。