CN104055529B - 一种计算情感心电信号标度指数的方法 - Google Patents

Abstract

本发明公开了一种测试情感心电信号标度指数的方法，该方法采用电影视频剪辑诱发目标情感，获取被测试者的喜、怒、哀、惧四种情感的心电生理数据。在第二遍观看视频过程中，通过按键，被试对所观看的情感诱发视频进行情绪激发与否的评价，从而获取情感体验重评按键文件，截取60s长的情感心电信号，经过去噪和归一化的预处理工作后，采用去趋势波动分析算法，计算反应情感心电信号长程幂律相关性的指标，之后，以标度指数作为情感特征，采用Fisher分类器进行二分类的情感识别，高兴、悲伤、愤怒和恐惧四种情感的正确识别率分别为89.74％、90.1％、70.43％、83.18％，具有较好的识别效果。

Description

一种计算情感心电信号标度指数的方法

技术领域

本发明属于电子信息技术领域，尤其涉及一种测试情感心电信号标度指数的方法。

背景技术

情感识别是情感计算的关键问题之一，是建立和谐人机情感交互环境的基础。人类的情感状态是内在心理和生理变化，通过外显的行为、表情以及生理电信号等形式表现出来，因此，情感识别就是通过分析这些可观测的信号来间接推断出人的情感状态。比较于面部表情、语音和身体姿态而言，生理信号能够更加诚实的反应用户在情绪状态下自主神经的工作模式，因而基于生理信号的情感识别受到大量研究者的关注。

心电信号作为一种重要的生理信号，已有大量研究证据表明其中包含可靠的情感信息。目前主要的研究方法是提取心电信号时域或频域的统计特征后，再进行基于目标情感的模式识别。这些研究大多忽略了心脏***是一个典型的非线性***，而心电信号具有典型的非线性信号特征的事实,将非线性方法应用于情感心电信号的研究少之又少。

发明内容

本发明的目的在于提供一种测试情感心电信号标度指数的方法，旨在解决现有的情感信号方面的研究忽略了心电信号具有典型的非线性信号特征的事实,将非线性方法应用于情感心电信号的研究少之又少的问题。

本发明是这样实现的，一种测试情感心电信号标度指数的方法包括以下步骤：

步骤一、选取被测试者，对被试者进行艾森克人格测试，剔除不合格者；

步骤二、第一遍播放情感诱发素材，采用BiopacMP150同步记录被测试者的多道生理信号和面部视频；

步骤三、第二遍播放情感诱发素材，采用BiopacMP150同步记录被测试者的多道生理信号和面部视频及情感体验重评文件,第二遍播放情感诱发视频的关键，在于让被测试者回忆第一遍观看视频时所体验到的情感，并在情感强烈的时候按下座椅扶手上的按键，按键的信息将记录至情感体验重评文件中，文件中记录为1的位置，表示被测试者体验到了强烈的目标情感，记录为0的位置，表示被测试者未体验到目标情感，根据被测试者的情感体验重评文件，可以准确截取与情感唤起相对应的生理信号片段。

步骤四、情感诱发素材播放完毕，结束情感生理信号采集，记录采集数据，对采集的数据进行预处理；

步骤五、情感心电信号的去趋势波动分析，具体方法如下：

(1)对于指定长度为N的时间序列{X_i}(i＝1,2,…,N)，生成累积离差序列{y(k)}，其中<x>是序列{x_i}的平均值；

$y\left(k\right)=\underset{i=1}{\overset{k}{\&Sigma;}}(x_i-<x>),k=1,2,\mathrm{...},N$

(2)将序列{y(k)}分为N_s＝int(N/s)个连续且不重叠的子区间V_j(j＝l，2，…，N)，其中s为每个子区间V_j的长度，由于N并不一定是s的整数倍，为了不使末端信息丢失，可以从序列{y(k)}末端开始往回重复分割一次，这样共得到2Ns个长度为s的子区间；

(3)在每个子区间V_j(j＝l，2，…，2Ns)内，用最小二乘法回归拟合趋势

$P_j^m\left(k\right)=a_{j0}+a_{j1}k+\mathrm{...}+a_{jm-1}{k}^{m-1}+a_{jm}{k}^m$

计算各个区间消除趋势后的累积离差序列并分别对这2N_s个子区间计算方差：

$F^2(j,s)=<y_j^2\left(i\right)>=\frac{1}{s}\underset{i=1}{\overset{s}{\&Sigma;}}{\{y\&lsqb;(j-1)s+i\&rsqb;-P_j^m\left(i\right)\}}^2,j=1,2,\mathrm{...},N_s$

(4)对所有区间计算DFA波动函数F(s)：

$F\left(s\right)={\&lsqb;\frac{1}{2N_s}\underset{j=1}{\overset{2N_s}{\&Sigma;}}{F}^2(j,s)\&rsqb;}^{1/2}$

(5)对不同s，[N/s]>s≥m+2，重复第(2)步到第(4)步，计算相应的F(s),m为每个区间中，对原始曲线进行拟合的曲线的阶数；

(6)画出F(s)与s的双对数曲线，若F(s)与s的双对数曲线存在线性关系：则存在幂律形式的波动lnc表示对F(s)与s的双对数曲线进行拟合的直线在lnF(s)轴的截距，c表示一个常量，是幂律波动函数F(s)的常系数；

(7)对F(s)与s的双对数曲线，采用最小二乘法线性回归可求出直线斜率即DFA的标度指数；

步骤六、采用Fisher作为分类器，标度指数作为情感特征，进行情感的分类识别，获得了较好的识别效果。

进一步，所述的情感诱发素材为能够诱发喜、怒、哀、惧四种情绪的电影视频，在一个独立完整的实验中，只播放一种情感的诱发视频，该视频先后播放两遍，其间以实验指导语加以间隔，情感诱发视频开始之前先播放一段风景和轻音乐剪辑，用以平静用户的情绪。

进一步，在目标情感诱发素材播放的同时，将使用BiopacMP150同步记录被试的多路生理信号，包括心电信号(ECG)、皮肤电信号(GSR)、脉搏率(pulserate)、血氧饱和度(oxygensaturationofblood)，其中ECG信号是采用肢体导联方式进行记录，视频播放期间被试的面部表情和肢体动作也将记录下来。

进一步，所述的数据的预处理包括以下步骤：

步骤一、剔除部分缺损的或效果不好的数据；

步骤二、在情感体验重评文件中寻找最长的一段‘1’字符串，并计算此段字符串对应的起始时间，以该时间为基点，统一截取长度为60秒的信号作为包含了目标情感的心电信号；

步骤三、通过在BiopacMP150上设置35Hz低通滤波和50Hz电源干扰陷波滤波，去除大部分的工频干扰、肌电干扰和电磁干扰，使用小波分解和重建法进行心电滤波，之后，对重构后的心电信号进行归一化处理，使得信号的值在0-1之间，归一化公式为：

ECG表示的是心电信号，ECG最大值和ECG最小值代表的是一段时间里心电信号的最大值和最小值，ECG当前值代表的是心电信号当前时间点下ECG信号的值。

将多目标情感分类问题看作是一个二分类问题，即设定一个目标情感，其它非目标情感作为干扰情感。采用正确识别率TPR和错误识别率FPR来评估分类器的识别性能，计算公式如下式所示：

正确识别率TPR越大，分类效果越好；错误识别率FPR越小，分类效果越好，最终基于标度指数为情感特征所构造的情感识别模型对高兴、悲伤、愤怒和恐惧四种情感的正确识别率分别为89.74％、90.1％、70.43％、83.18％。

附图说明

图1是本发明实施例提供的测试情感心电信号标度指数的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明的测试情感心电信号标度指数的方法流程，如图所示，本发明是这样实现的，一种测试情感心电信号标度指数的方法包括以下步骤：

步骤一、选取被测试者，对被试者进行艾森克人格测试，剔除不合格者；

步骤二、第一遍播放情感诱发素材，采用BiopacMP150同步记录被测试者的多道生理信号和面部视频；

步骤三、第二遍播放情感诱发素材，采用BiopacMP150同步记录被测试者的多道生理信号和面部视频及情感体验重评文件；第二遍播放情感诱发视频的关键，在于让被测试者回忆第一遍观看视频时所体验到的情感，并在情感强烈的时候按下座椅扶手上的按键，按键的信息将记录至情感体验重评文件中，文件中记录为1的位置，表示被测试者体验到了强烈的目标情感，记录为0的位置，表示被测试者未体验到目标情感，根据被测试者的情感体验重评文件，可以准确截取与情感唤起相对应的生理信号片段。

步骤四、情感诱发素材播放完毕，结束情感生理信号采集，记录采集数据，对采集的数据进行预处理；

步骤五、情感心电信号的去趋势波动分析，方法如下：

(1)对于指定长度为N的时间序列{x_i}(i＝1,2,…,N)，生成累积离差序列{y(k)}，其中<x>是序列{x_i}的平均值；

$\begin{array}{cc}y\left(k\right)=\underset{i=1}{\overset{k}{\&Sigma;}}(x_i-<x>)& k=1,2,\mathrm{...},N\end{array}$

(2)将序列{y(k)}分为N_s＝int(N/s)个连续且不重叠的子区间V_j(j＝l，2，…，N)，其中s为每个子区间V_j的长度，由于N并不一定是s的整数倍，为了不使末端信息丢失，可以从序列{y(k)}末端开始往回重复分割一次，这样共得到2Ns个长度为s的子区间；

(3)在每个子区间V_j(j＝l，2，…，2Ns)内，用最小二乘法回归拟合趋势

$P_j^m\left(k\right)=a_{j0}+a_{j1}k+\mathrm{...}+a_{jm-1}{k}^{m-1}+a_{jm}{k}^m$

计算各个区间消除趋势后的累积离差序列并分别对这2Ns个子区间计算方差：

$F^2(j,s)=<y_j^2\left(i\right)>=\frac{1}{s}\underset{i=1}{\overset{s}{\&Sigma;}}{\{y\&lsqb;(j-1)s+i\&rsqb;-P_j^m\left(i\right)\}}^2,j=1,2,\mathrm{...},N_s$

(4)对所有区间计算DFA波动函数F(s)：

$F\left(s\right)={\&lsqb;\frac{1}{2N_s}\underset{j=1}{\overset{2N_s}{\&Sigma;}}{F}^2(j,s)\&rsqb;}^{1/2}$

(5)对不同s，[N/s]>s≥m+2，重复第(2)步到第(4)步，计算相应的F(s),m为每个区间中，对原始曲线进行拟合的曲线的阶数；

(6)画出F(s)与s的双对数曲线。若F(s)与s的双对数曲线存在线性关系：则存在幂律形式的波动lnc表示对F(s)与s的双对数曲线进行拟合的直线在lnF(s)轴的截距，c表示一个常量，是幂律波动函数F(s)的常系数。

(7)对F(s)与s的双对数曲线，采用最小二乘法线性回归可求出直线斜率即DFA的标度指数。

步骤六：采用Fisher分类器，以标度指数作为情感特征，进行情感状态的分类识别。

在本发明的实施例中：

情感诱发素材为能够诱发喜、怒、哀、惧四种情绪的电影视频，在一个独立完整的实验中，只播放一种情感的诱发视频，该视频先后播放两遍，其间以实验指导语加以间隔，情感诱发视频开始之前先播放一段风景和轻音乐剪辑，用以平静用户的情绪。

在目标情感诱发素材播放的同时，将使用BiopacMP150同步记录被试的多路生理信号，包括心电信号(ECG)、皮肤电信号(GSR)、脉搏率(pulserate)、血氧饱和度(oxygensaturationofblood)，其中ECG信号是采用肢体导联方式进行记录，视频播放期间被试的面部表情和肢体动作也将记录下来。

数据的预处理包括以下步骤：

步骤一、剔除部分缺损的或效果不好的数据；

步骤二、在情感体验重评文件中寻找最长的一段‘1’字符串，并计算此段字符串对应的起始时间，以该时间为基点，统一截取长度为60秒的信号作为包含了目标情感的心电信号；

步骤三、通过在BiopacMP150上设置35Hz低通滤波和50Hz电源干扰陷波滤波，去除大部分的工频干扰、肌电干扰和电磁干扰，使用小波分解和重建法进行心电滤波，之后，对重构后的心电信号进行归一化处理，使得信号的值在0-1之间，归一化公式为：

ECG表示的是心电信号，ECG最大值和ECG最小值代表的是一段时间里心电信号的最大值和最小值，ECG当前值代表的是心电信号当前时间点下ECG信号的值。

进一步的，为了降低复杂性，将多目标情感分类问题看作是一个二分类问题，即设定一个目标情感，其它非目标情感作为干扰情感。采用正确识别率TPR和错误识别率FPR来评估分类器的识别性能，计算公式如下式所示，TPR越大，表示正确识别率越高，分类效果越好；FPR越小，错误识别率越低，分类效果越好，最终基于标度指数为情感特征所构造的情感识别模型对高兴、悲伤、愤怒和恐惧四种情感的正确识别率分别为89.74％、90.1％、70.43％、83.18％，识别效果良好。

被试来自西南大学大一新生，平均年龄是20岁，男女比例各占50％,在实验开始之前，被试将被告知实验的基本情况，并签署知情同意书。之后，被试需进行艾森克人格测试，该测试问卷的结果可以反映被试的人格特质。若被试的生理和心理状况无法达到健康要求，则拒绝该被试进行后续实验。

采用DFA算法分析预处理后的情感ECG数据，得到高兴、悲伤、愤怒、恐惧四种情绪的标度指数的均值和标准差统计，其中高兴标度指数的均值最低为0.4754，悲伤标度指数的均值最高为1.2315，愤怒标度指数的均值为0.7231，恐惧标度指数的均值为0.9526。这说明高兴的心电信号具有反持续性的长程幂律相关性；悲伤心电信号具有持久性的长程相关性，但并非幂律相关；愤怒和恐惧的心电时间序列具有持续性长程幂律相关性。

以标度指数为特征，对四类目标情感进行分类识别，分类器采用线性分类器Fisher。为了降低复杂性，将多目标情感分类问题看作是一个二分类问题，即设定一个目标情感，其它非目标情感作为干扰情感。例如，若目标情感Angry，则非目标情感为Happy、Grief、Fear。采用正确识别率(TPR)和错误识别率(FPR)来评估分类器的识别性能，TPR越大，表示正确识别率越高，分类效果越好；FPR越小，错误识别率越低，分类效果越好。

将四种目标情感状态下所计算出的心电信号DFA标度指数作为样本数据，从中随机选取每种情感状态样本库中60％的样本作为训练数据集，用于训练Fisher分类器；将剩下的样本作为测试数据集，用于测试情感识别模型的性能。最终计算出四种目标情感的TPR、FPR值，基于标度指数为情感特征所构造的情感识别模型对高兴、悲伤、愤怒和恐惧四种情感的正确识别率分别89.74％、90.1％、70.43％、83.18％，识别效果良好。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围之内。

Claims (5)

1.一种测试情感心电信号标度指数的方法，其特征在于，所述的测试情感心电信号标度指数的方法包括以下步骤：

第一遍播放情感诱发素材，采用BiopacMP150同步记录被测试者的多道生理信号和面部视频；选择电影视频为情感诱发素材，诱发的情感是四种基本情感：高兴、悲伤、愤怒、恐惧，在一个独立的实验中，只播放一种情感诱发视频，视频将被先后播放两次，与此同时，采用BiopacMP150记录被试的多道生理信号；

第二遍播放情感诱发素材，采用BiopacMP150同步记录被测试者的多道生理信号和面部视频及情感体验重评文件；第二遍播放情感诱发视频的关键，在于让被测试者回忆第一遍观看视频时所体验到的情感，并在情感强烈的时候按下座椅扶手上的按键，按键的信息将记录至情感体验重评文件中，文件中记录为1的位置，表示被测试者体验到了强烈的目标情感，记录为0的位置，表示被测试者未体验到目标情感，根据被测试者的情感体验重评文件，可以准确截取与情感唤起相对应的生理信号片段；

情感诱发素材播放完毕，结束情感生理信号采集，记录采集数据，对采集的数据进行预处理；

情感心电信号的去趋势波动分析，具体方法如下：

(1)对于指定长度为N的时间序列{X_i}(i＝1,2,…,N)，生成累积离差序列{y(k)}，其中<x>是序列{X_i}的平均值；

(2)将序列{y(k)}分为N_s＝int(N/s)个连续且不重叠的子区间V_j(j＝1，2，…，N)，其中s为每个子区间V_j的长度，由于N并不一定是s的整数倍，为了不使末端信息丢失，可以从序列{y(k)}末端开始往回重复分割一次，这样共得到2N_s个长度为s的子区间；

(3)在每个子区间V_j(j＝1，2，…，2N_s)内，用最小二乘法回归拟合趋势

计算各个区间消除趋势后的累积离差序列并分别对这2N_s个子区间计算方差：

(4)对所有区间计算DFA波动函数F(s)：

(5)对不同s，[N/s]>s≥m+2，重复第(2)步到第(4)步，计算相应的F(s),m为每个区间中，对原始曲线进行拟合的曲线的阶数；

(6)画出F(s)与s的双对数曲线，若F(s)与s的双对数曲线存在线性关系：则存在幂律形式的波动lnc表示对F(s)与s的双对数曲线进行拟合的直线在lnF(s)轴的截距，c表示一个常量，是幂律波动函数F(s)的常系数；

(7)对F(s)与s的双对数曲线，采用最小二乘法线性回归可求出直线斜率即DFA的标度指数；

采用Fisher分类器，以标度指数作为情感特征，进行情感状态的分类识别。

2.如权利要求1所述的测试情感心电信号标度指数的方法，其特征在于，情感诱发素材为能够诱发喜、怒、哀、惧四种情绪的电影视频，在一个独立完整的实验中，只播放一种情感的诱发视频，该视频先后播放两遍，其间以实验指导语加以间隔，情感诱发视频开始之前先播放一段风景和轻音乐剪辑，用以平静用户的情绪。

3.如权利要求1所述的测试情感心电信号标度指数的方法，其特征在于，在目标情感诱发素材播放的同时，将使用BiopacMP150同步记录被测试者的多路生理信号，包括心电信号、皮肤电信号、脉搏率、血氧饱和度，其中心电信号是采用肢体导联方式进行记录，视频播放期间被测试者的面部表情和肢体动作也将记录下来。

4.如权利要求1所述的测试情感心电信号标度指数的方法，其特征在于，所述的数据的预处理包括以下步骤：

步骤一、剔除部分缺损的或效果不好的数据；

步骤二、在情感体验重评文件中寻找最长的一段‘1’字符串，并计算此段字符串对应的起始时间，以该时间为基点，统一截取长度为60秒的信号作为包含了目标情感的心电信号；

步骤三、通过在BiopacMP150上设置35Hz低通滤波和50Hz电源干扰陷波滤波，去除大部分的工频干扰、肌电干扰和电磁干扰，使用小波分解和重建法进行心电滤波，之后，对重构后的心电信号进行归一化处理，使得信号的值在0-1之间，归一化公式为：

ECG表示的是心电信号，ECG最大值和ECG最小值代表的是一段时间里心电信号的最大值和最小值，ECG当前值代表的是心电信号当前时间点下ECG信号的值。

5.如权利要求1所述的测试情感心电信号标度指数的方法，其特征在于，为了降低复杂性，将多目标情感分类问题看作是一个二分类问题，即设定一个目标情感，其它非目标情感作为干扰情感，采用正确识别率TPR和错误识别率FPR来评估分类器的识别性能，计算公式如下式所示：

正确识别率TPR越大，分类效果越好；错误识别率FPR越小，分类效果越好，最终基于标度指数为情感特征所构造的情感识别模型对高兴、悲伤、愤怒和恐惧四种情感的正确识别率分别为89.74％、90.1％、70.43％、83.18％。