CN110353704B - 基于穿戴式心电监测的情绪评估方法与装置 - Google Patents

基于穿戴式心电监测的情绪评估方法与装置 Download PDF

Info

Publication number
CN110353704B
CN110353704B CN201910632106.6A CN201910632106A CN110353704B CN 110353704 B CN110353704 B CN 110353704B CN 201910632106 A CN201910632106 A CN 201910632106A CN 110353704 B CN110353704 B CN 110353704B
Authority
CN
China
Prior art keywords
emotion
electrocardiosignals
interval
wearable
frequency energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910632106.6A
Other languages
English (en)
Other versions
CN110353704A (zh
Inventor
刘澄玉
孙琦
李建清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910632106.6A priority Critical patent/CN110353704B/zh
Publication of CN110353704A publication Critical patent/CN110353704A/zh
Application granted granted Critical
Publication of CN110353704B publication Critical patent/CN110353704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Cardiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供了一种基于穿戴式心电监测的情绪自动评估方法与装置，用穿戴式设备采集心电信号并将心电信号传输到手机终端，手机终端将接收到的心电信号传送到云端服务器；在云端服务器对接收到的心电信号进行小波去噪，提取心电信号的心率变异性HRV特征，进行数据归一化，建立模型评估情绪类型，由云端服务器将情绪类型的结果传输回手机终端进行实时显示。本发明能够基于心电信号进行简单方便准确的情绪识别，从而实现情绪评估，最终输出两种情绪类型。

Description

基于穿戴式心电监测的情绪评估方法与装置
技术领域
本发明属于心电监测技术领域，涉及情绪评估方法与装置，尤其涉及一种基于穿戴式心电监测的情绪自动评估方法与装置。
背景技术
随着人工智能等现代信息技术的快速发展，人们对计算机人机交互能力提高的期盼也越来越迫切。而情感计算将实现更为人性化的人机交互体验，将是未来计算机人机交互中不可或缺的一种能力。情绪识别作为整个情感计算课题的一个基本步骤，起着非常重要的作用。
情绪识别就是研究人体的信号特征与情绪之间的相互关系，通过寻找出能够代表情绪的人体信号特征，从而进行有效的情绪状态判断。可利用的人体信号包括面部表情、姿势、语音以及人体生理信号。其中基于生理信号的情绪识别被认为是更加客观的方法，因为面部表情、语音流露出来的情感状态可以更加容易的隐藏。
在生理信号中，已经用于情绪识别的生理指标有血容量搏动(BVP)、肌电图(EMG)、皮肤电反应(GSR)、光电脉搏(PPG)、呼吸作用(RSP)、皮肤温度(SKT)、脑电(EEG)、心电(ECG)等。其中心电信号是由人体心脏搏动时心肌细胞产生的动作电位综合而成的，反映了人体心脏在自主神经***调控作用下的电生理变化情况，已被证实与情绪情感状态有内在关联性。相比于脑电信号，心电信号受噪声影响小，获取更为方便。随着当前穿戴式心电技术的突飞猛进，基于穿戴式心电的情绪识别有望成为一个重要的人机交互应用领域。但目前尚缺乏切实可行的实现方式。
发明内容
为解决上述问题，本发明提出了一种基于穿戴式心电监测的情绪自动评估方法和装置，能够通过所采集的连续动态心电信号实现简单方便准确的情绪识别，从而进行情绪评估。
为了达到上述目的，本发明提供如下技术方案：
一种基于穿戴式心电监测的情绪自动评估方法，包括如下步骤：
步骤10、用穿戴式设备采集心电信号并将心电信号传输到手机终端，手机终端将接收到的心电信号传送到云端服务器；
步骤20、在云端服务器对接收到的心电信号进行小波去噪，采用Symlet小波对心电信号进行小波阈值去噪，选取3层sym8小波基函数进行信号的分解和重构；
步骤30、对进行过小波去噪的心电信号计算出心电信号的心率变异性HRV特征，采用差分阈值法获取R-R间期，通过R-R间期得到HRV特征的时域指标、频域指标、非线性指标共10个；
步骤40、采取最大-最小标准化法进行数据归一化；
步骤50、建立模型评估情绪类型；
步骤60、云端服务器将情绪类型的结果传输回手机终端进行实时显示。
进一步的，所述穿戴式设备包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块；所述心电电极用于采集心电信号；带通滤波用于限制心电信号的频率范围；50Hz陷波电路用于滤除工频干扰；前置放大电路及主放大电路用于放大心电信号；A/D转换电路用于对心电信号进行模数转换，所述微控制器通过蓝牙模块将心电信号传输到手机终端。
进一步的，步骤20中，阈值函数采用软阈值函数：
Figure BDA0002128996700000021
其中Wk(i)为小波变化系数，F(WK(i))为阈值处理后的小波变化系数，αk采用自适应阈值，k为小波变化的层数。
进一步的，所述步骤30中时域指标包括以下5个：
①MEAN：相邻R-R间期的平均值
②SDNN：R-R间期的标准差
③RMSDNN：相邻R-R间期差值的均方根
④PNN50％：相邻间期的差值大于50ms的百分比
⑤CVrr(0-1)：R-R间期标准差与均值之比
且通过如下方式获得：
时域指标通过R-R间期序列计算出R-R间期相应的平均值、标准差等时域指标，设R-R间期时间序列为x(i)＝[R1,R2,…,Rn]，其中n为序列中的元素个数，则RR间期均值
Figure BDA0002128996700000022
Figure BDA0002128996700000023
Figure BDA0002128996700000024
n50为相邻间期的差值大于50ms的R-R间期个数；
所述频域指标包括如下3个：
①LF/(LF+HF):低频能量与低、高频能量和的比值
②HF/(LF+HF):高频能量与低、高频能量和的比值
③LF/HF：低频能量与高频能量的比值
且通过如下方式获得：
域指标通过基于AR模型的功率谱估计法完成HRV的频域参数求解：AR模型中假定观测的数据RR间期序列x(i)用方差为σ2的零均值白噪声序列w(i)激励一个全极点的线性***产生，模型的阶数为M，系数为aM,k，用差分方程表示x(i)的AR模型为
Figure BDA0002128996700000031
Figure BDA0002128996700000032
过程{x(i)}为M阶自回归过程，功率谱密度为
Figure BDA0002128996700000033
使用AR自回归模型采取Marple算法估算参数aM,k后估算功率谱Pxx(ω)并进行谱分解，计算总功率TP，低频功率LF以及高频功率HF，所述低频功率LF范围为0.04-0.15Hz，高频功率HF范围为0.15-0.40Hz；
所述非线性指标包括如下2个：
①样本熵(SampEn)
②模糊测度熵(FuzzyMEn)
且通过如下方式获得：
非线性指标使用熵测度分析法提取R-R间期的样本熵和模糊测度熵：给定向量维数m和阈值r，构造m维向量序列
Figure BDA0002128996700000034
1≤i≤N-m，向量
Figure BDA0002128996700000035
表示m个连续的x(i)；则基于最大绝对值差的
Figure BDA0002128996700000036
和
Figure BDA0002128996700000037
距离为
Figure BDA0002128996700000038
Figure BDA0002128996700000039
对于每一个
Figure BDA00021289967000000310
设
Figure BDA00021289967000000311
表示所有满足
Figure BDA00021289967000000312
的
Figure BDA00021289967000000313
(1≤j≤N-m)的数目除以(N-m)，设
Figure BDA00021289967000000314
表示所有满足
Figure BDA00021289967000000315
的
Figure BDA00021289967000000316
(1≤j≤N-m)的数目除以(N-m)；则
Figure BDA00021289967000000317
设
Figure BDA00021289967000000318
Figure BDA00021289967000000319
其中
Figure BDA00021289967000000320
Figure BDA00021289967000000321
然后定义函数
Figure BDA00021289967000000322
Figure BDA00021289967000000323
则模糊测度熵
Figure BDA00021289967000000324
Figure BDA00021289967000000325
进一步的，所述步骤40中设minJk为第k个特征最小值，maxJk为第k个特征的最大值。则初始值x映射到区间[0,1]的值
Figure BDA00021289967000000326
进一步的，所述步骤50具体包括如下过程：
步骤50：建立多元线性回归方程对情绪进行评估，设情绪为E，则E为：
E＝a*MEAN+b*SDNN+c*RMSDNN+d*PNN50％+e*CVrr(0-1)+f*LF/(LF+HF)+g*HF/(LF+HF)+h*LF/HF+i*SampEn+j*FuzzyMEn+k
通过如上公式得到正向、负向或是正常的情绪判别类型。E的值设定的范围为-1到1，当E的值的范围在-0.4～0.4(包含-0.4和0.4)判定情绪类型为正常。E的值在-1～-0.4判定情绪类型为负，E的值在0.4～1判定情绪的类型为正。
进一步的，所述步骤50具体包括如下过程：
将所提取的心电特征经过训练好的非线性支持向量机模型，得到相应评估的情绪类型，所述情绪类型包括：平静、高兴、伤心、惊讶、愤怒、厌恶、恐惧。
进一步的，所述非线性支持向量机模型是将步骤30-40采集到的情绪特征映射到高维空间，把情感特征数据转换成线性可分的；其中核函数采用径向基函数(RBF)；对于每种情绪类型都建立相应的支持向量机模型。
本发明还提供了一种基于穿戴式心电监测的情绪自动评估装置，包括：穿戴式设备、手机终端和云端服务器，所述穿戴式设备包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块；所述穿戴式设备和手机终端用于实现上述基于穿戴式心电监测的情绪自动评估方法中步骤10中的功能，所述云端服务器用于实现上述基于穿戴式心电监测的情绪自动评估方法中步骤20-60中的功能。
与现有技术相比，本发明具有如下优点和有益效果：
本发明通过提取经过去噪的穿戴式心电信号的HRV特征，然后经过训练好的机器学***静(clam)、高兴(happiness)、伤心(sadness)、惊讶(surprise)、愤怒(anger)、厌恶(disgust)、恐惧(fear)。本发明能够基于心电信号进行简单方便准确的情绪识别，从而实现情绪评估，最终输出情绪类型。
附图说明
图1为穿戴式心电采集装置结构框图。
图2为本例提供的基于穿戴式心电监测的情绪自动评估整体结构示意图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例一：
本例提供的基于穿戴式心电监测的情绪自动评估方法，包括如下步骤：
步骤10、用穿戴式设备采集心电信号并将心电信号传输到手机终端，手机终端将接收到的心电信号传送到云端服务器；
步骤101，穿戴式设备如图1所示，包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块。其中3个湿性电极的位置如图2所示，RA电极贴在胸部的右侧，LA电极贴在胸部的左侧、RL电极贴在右腿根部位置。带通滤波由低通滤波和高通滤波组成，将心电信号的频率范围限制在0.05-100Hz之间。50Hz陷波电路用于滤除工频干扰。前置放大电路的放大倍数设置为11倍，主放大电路放大倍数设置为20倍，前置放大电路放大心电信号为了进行后续的滤波，主放大电路仅仅是进行心电信号的放大；心电信号经A/D转换电路进行模数转换，由微控制器通过蓝牙模块将心电信号传输到手机终端；
步骤102，如图2所示，手机终端将接收到的心电信号传送到云端服务器；
步骤20、在云端服务器对接收到的心电信号进行小波去噪，采用Symlet小波对心电信号进行小波阈值去噪，选取3层sym8小波基函数进行信号的分解和重构。其中阈值函数采用软阈值函数：
Figure BDA0002128996700000051
其中Wk(i)为小波变化系数，F(WK(i))为阈值处理后的小波变化系数，αk采用自适应阈值，k为小波变化的层数，本实例中取值为[1,2,3]。
步骤30、对进行过小波去噪的心电信号计算出心电信号的心率变异性(heartrate variability,HRV)特征，采用差分阈值法获取R-R间期，通过R-R间期得到HRV特征的时域指标、频域指标、非线性指标10个。
其中时域指标5个：
①MEAN：相邻R-R间期的平均值
②SDNN：R-R间期的标准差
③RMSDNN：相邻R-R间期差值的均方根
④PNN50％：相邻间期的差值大于50ms的百分比
⑤CVrr(0-1)：R-R间期标准差与均值之比
通过功率谱估计可获得心电信号的高频能量(HF)、低频能量(LF)、LF/HF频域指标：
①LF/(LF+HF):低频能量与低、高频能量和的比值
②HF/(LF+HF):高频能量与低、高频能量和的比值
③LF/HF：低频能量与高频能量的比值
非线性指标2个：
①样本熵(SampEn)
②模糊测度熵(FuzzyMEn)
时域指标通过R-R间期序列计算出R-R间期相应的平均值、标准差等时域指标，设R-R间期时间序列为x(i)＝[R1,R2,…,Rn]，其中n为序列中的元素个数，则RR间期均值
Figure BDA0002128996700000061
Figure BDA0002128996700000062
Figure BDA0002128996700000063
n50为相邻间期的差值大于50ms的R-R间期个数。
频域指标通过基于AR模型的功率谱估计法完成HRV的频域参数求解。AR模型中假定观测的数据RR间期序列x(i)用方差为σ2的零均值白噪声序列w(i)激励一个全极点的线性***产生，模型的阶数为M，系数为aM,k，用差分方程表示x(i)的AR模型为
Figure BDA0002128996700000064
Figure BDA0002128996700000065
过程{x(i)}为M阶自回归过程，功率谱密度为
Figure BDA0002128996700000066
Figure BDA0002128996700000067
使用AR自回归模型采取Marple算法估算参数aM,k后估算功率谱Pxx(ω)并进行谱分解，计算总功率TP，低频功率LF(0.04-0.15Hz)以及高频功率HF(0.15-0.40Hz)。
非线性指标使用熵测度分析法提取R-R间期的样本熵和模糊测度熵。给定向量维数m和阈值r，构造m维向量序列
Figure BDA0002128996700000068
1≤i≤N-m，向量
Figure BDA0002128996700000069
表示m个连续的x(i)。则基于最大绝对值差的
Figure BDA00021289967000000610
和
Figure BDA00021289967000000611
距离为
Figure BDA00021289967000000612
Figure BDA00021289967000000613
对于每一个
Figure BDA00021289967000000614
设
Figure BDA00021289967000000615
表示所有满足
Figure BDA00021289967000000616
的
Figure BDA00021289967000000617
(1≤j≤N-m)的数目除以(N-m)，设
Figure BDA00021289967000000618
表示所有满足
Figure BDA00021289967000000619
的
Figure BDA00021289967000000620
(1≤j≤N-m)的数目除以(N-m)。则
Figure BDA00021289967000000621
设
Figure BDA00021289967000000622
Figure BDA00021289967000000623
其中
Figure BDA00021289967000000624
Figure BDA00021289967000000625
然后定义函数
Figure BDA00021289967000000626
Figure BDA00021289967000000627
则模糊测度熵
Figure BDA00021289967000000628
Figure BDA00021289967000000629
本实施例中nL＝3，nG＝2，rG＝rL＝r＝0.15，m＝2。
步骤40：数据归一化，采取最大-最小标准化法进行归一化，设minJk为第k个特征最小值，maxJk为第k个特征的最大值。则初始值x映射到区间[0,1]的值
Figure BDA00021289967000000630
步骤50：建立多元线性回归方程对情绪进行评估。设情绪为E，则E为：
E＝a*MEAN+b*SDNN+c*RMSDNN+d*PNN50％+e*CVrr(0-1)+f*LF/(LF+HF)+g*HF/(LF+HF)+h*LF/HF+i*SampEn+j*FuzzyMEn+k
本实例中a为0.622，b为-3.331，c为1.132，d为0.505，e为2.323，f为0.625，g为-0.631，h为-0.593，i为0.833，j为-0.634，k为-0.113；其中计算出的情绪E的范围在0-1之间。
步骤60、云端服务器将情绪类型的结果传输回手机终端进行实时显示。
本例通过穿戴式设备采集人体的心电信号，并信号经手机终端传输到云端服务器，在云端服务器进行正向和负向的情绪判别，并最终在手机终端实时显示判别的结果。
本例提供了一种能够实现上述方法的基于穿戴式心电监测的情绪自动评估装置，如图2所示，包括：穿戴式设备、手机终端和云端服务器，所述穿戴式设备如图1所示，包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块。穿戴式设备用于实现步骤101中的功能，手机终端用于实现步骤102中的功能，云端服务器用于实现步骤20-60中的功能。
实施例二：
本例提供的基于穿戴式心电监测的情绪自动评估方法，包括如下步骤：
步骤10、用穿戴式设备采集心电信号；
11)穿戴式设备如图1所示，包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块。其中3个湿性电极的位置如图2所示，RA电极贴在胸部的右侧，LA电极贴在胸部的左侧、RL电极贴在右腿根部位置。带通滤波由低通滤波和高通滤波组成，将心电信号的频率范围限制在0.05-100Hz之间。50Hz陷波电路用于滤除50Hz的工频干扰。前置放大电路的放大倍数设置为11倍，主放大电路放大倍数设置为20倍，前置放大电路放大心电信号为了进行后续的滤波，主放大电路仅仅是进行心电信号的放大；心电信号经A/D转换电路进行模数转换，由微控制器通过蓝牙模块将心电信号传输到手机终端；
12)如图2所示，手机终端将接收到的心电信号传送到云端服务器，并将云端服务器判断的情绪类别实时显示出来；
步骤20、在云端服务器对接收到的心电信号进行小波去噪，采用Symlet小波对心电信号进行小波阈值去噪，选取3层sym8小波基函数进行信号的分解和重构。其中阈值函数采用软阈值函数：
Figure BDA0002128996700000071
其中Wk(i)为小波变化系数，F(WK(i))为阈值处理后的小波变化系数，αk采用自适应阈值，k为小波变化的层数，本实例中取值为[1,2,3]。
步骤30、对进行过小波去噪的心电信号计算出心电信号的心率变异性(heartrate variability,HRV)特征，采用差分阈值法获取RR间期，通过RR间期得到HRV特征的时域指标、频域指标、非线性指标10个。
其中时域指标5个：
①MEAN：相邻R-R间期的平均值
②SDNN：R-R间期的标准差
③RMSDNN：相邻R-R间期差值的均方根
④PNN50％：相邻间期的差值大于50ms的百分比
⑤CVrr(0-1)：R-R间期标准差与均值之比
通过功率谱估计可获得心电信号的高频能量(HF)、低频能量(LF)、LF/HF频域指标：
①LF/(LF+HF):低频能量与低、高频能量和的比值
②HF/(LF+HF):高频能量与低、高频能量和的比值
③LF/HF：低频能量与高频能量的比值
非线性指标2个：
①样本熵(SampEn)
②模糊测度熵(FuzzyMEn)
其中，时域指标通过R-R间期序列计算出R-R间期相应的平均值、标准差等时域指标，设R-R间期时间序列为x(i)＝[R1,R2,…,Rn]，其中n为序列中的元素个数，则RR间期均值
Figure BDA0002128996700000081
Figure BDA0002128996700000082
n50为相邻间期的差值大于50ms的R-R间期个数。
频域指标通过基于自回归(AR)模型的功率谱估计法完成HRV的频域参数求解。AR模型中假定观测的数据RR间期序列x(i)用方差为σ2的零均值白噪声序列w(i)激励一个全极点的线性***产生，模型的阶数为M，系数为aM,k，用差分方程表示x(i)的AR模型为
Figure BDA0002128996700000083
Figure BDA0002128996700000084
过程{x(i)}为M阶自回归过程，功率谱密度为
Figure BDA0002128996700000085
Figure BDA0002128996700000086
使用AR自回归模型采取Marple算法估算参数aM,k后估算功率谱Pxx(ω)并进行谱分解，计算总功率TP，低频功率LF(0.04-0.15Hz)以及高频功率HF(0.15-0.40Hz)。
非线性指标使用熵测度分析法提取R-R间期的样本熵和模糊测度熵。给定向量维数m和阈值r，构造m维向量序列
Figure BDA0002128996700000087
1≤i≤N-m，向量
Figure BDA0002128996700000088
表示m个连续的x(i)。则基于最大绝对值差的
Figure BDA0002128996700000091
和
Figure BDA0002128996700000092
距离为
Figure BDA0002128996700000093
Figure BDA0002128996700000094
对于每一个
Figure BDA0002128996700000095
设
Figure BDA0002128996700000096
表示所有满足
Figure BDA0002128996700000097
的
Figure BDA0002128996700000098
(1≤j≤N-m)的数目除以(N-m)，设
Figure BDA0002128996700000099
表示所有满足
Figure BDA00021289967000000910
的
Figure BDA00021289967000000911
(1≤j≤N-m)的数目除以(N-m)。则
Figure BDA00021289967000000912
设
Figure BDA00021289967000000913
Figure BDA00021289967000000914
其中
Figure BDA00021289967000000915
Figure BDA00021289967000000916
然后定义函数
Figure BDA00021289967000000917
Figure BDA00021289967000000918
则模糊测度熵
Figure BDA00021289967000000919
Figure BDA00021289967000000920
本实施例中nL＝3，nG＝2，rG＝rL＝r＝0.15，m＝2。
步骤40：数据归一化，采取最大-最小标准化法进行归一化，设minJk为第k个特征最小值，maxJk为第k个特征的最大值。则初始值x映射到区间[0,1]的值
Figure BDA00021289967000000921
步骤50：将所提取的心电特征经过训练好的非线性支持向量机模型，得到相应评估的情绪类型，本实例中情绪类型设置7种不同类别的情绪类型，分别为平静(clam)、高兴(happiness)、伤心(sadness)、惊讶(surprise)、愤怒(anger)、厌恶(disgust)、恐惧(fear)。
非线性支持向量机模型是将步骤30-40采集到的情绪特征映射到高维空间，把情感特征数据转换成线性可分的。其中核函数采用径向基函数(RBF)。由于支持向量机模型不能进行多分类，因此每种情绪类型都建立相应的支持向量机模型。
步骤60、云端服务器将情绪类型结果传输回手机终端进行实时显示。
本例通过穿戴式设备采集人体的心电信号，并将信号经手机终端传输到云端服务器，在云端服务器进行7种情绪类别的判别，并最终在手机终端实时显示判别的结果。
本发明方法通过提取经过去噪的穿戴式心电信号的HRV和心率特征，然后经过训练好的模型进行多种情绪的类型评估。该发明有望在未来人机交互、生理健康监护、情绪障碍诊断等方面发挥积极的作用。
本例提供了一种能够实现本例方法的基于穿戴式心电监测的情绪自动评估装置，如图2所示，包括：穿戴式设备、手机终端和云端服务器，所述穿戴式设备如图1所示，包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块。穿戴式设备用于实现步骤101中的功能，手机终端用于实现步骤102中的功能，云端服务器用于实现步骤20-60中的功能。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种基于穿戴式心电监测的情绪自动评估方法，其特征在于，包括如下步骤：
步骤10、用穿戴式设备采集心电信号并将心电信号传输到手机终端，手机终端将接收到的心电信号传送到云端服务器；
步骤20、在云端服务器对接收到的心电信号进行小波去噪，采用Symlet小波对心电信号进行小波阈值去噪，选取3层sym8小波基函数进行信号的分解和重构；
步骤30、对进行过小波去噪的心电信号计算出心电信号的心率变异性HRV特征，采用差分阈值法获取R-R间期，通过R-R间期得到HRV特征的时域指标、频域指标、非线性指标共10个；
步骤40、采取最大-最小标准化法进行数据归一化；
步骤50、建立模型评估情绪类型；
所述步骤50具体包括如下过程：
步骤50：建立多元线性回归方程对情绪进行评估，设情绪为E，则E为：
E＝a*MEAN+b*SDNN+c*RMSDNN+d*PNN50％+e*CVrr(0-1)+f*LF/(LF+HF)+g*HF/(LF+HF)+h*LF/HF+i*SampEn+j*FuzzyMEn+k
其中，MEAN：相邻R-R间期的平均值，SDNN：R-R间期的标准差，RMSDNN：相邻R-R间期差值的均方根，PNN50％：相邻间期的差值大于50ms的百分比，CVrr(0-1)：R-R间期标准差与均值之比，LF/(LF+HF)：低频能量与低、高频能量和的比值，HF/(LF+HF)：高频能量与低、高频能量和的比值，LF/HF：低频能量与高频能量的比值，SampEn：样本熵，FuzzyMEn：模糊测度熵；a、b、c、d、e、f、g、h、i、j、k为常数系数；E的值设定的范围为-1到1，当E的值的范围在-0.4～0.4判定情绪类型为正常，E的值在-1～-0.4则判定情绪类型为负，E的值在0.4～1则判定情绪的类型为正；
通过如上公式得到正向、负向或是正常的情绪判别类型；
步骤60、云端服务器将情绪类型的结果传输回手机终端进行实时显示。
2.根据权利要求1所述的基于穿戴式心电监测的情绪自动评估方法，其特征在于：所述穿戴式设备包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块；所述心电电极用于采集心电信号；带通滤波用于限制心电信号的频率范围；50Hz陷波电路用于滤除工频干扰；前置放大电路及主放大电路用于放大心电信号；A/D转换电路用于对心电信号进行模数转换，所述微控制器通过蓝牙模块将心电信号传输到手机终端。
3.根据权利要求1所述的基于穿戴式心电监测的情绪自动评估方法，其特征在于：步骤20中，阈值函数采用软阈值函数：
Figure FDA0003380426570000021
其中Wk(i)为小波变化系数，F(WK(i))为阈值处理后的小波变化系数，αk采用自适应阈值，k为小波变化的层数。
4.根据权利要求1所述的基于穿戴式心电监测的情绪自动评估方法，其特征在于：所述步骤30中时域指标包括以下5个：
①MEAN：相邻R-R间期的平均值
②SDNN：R-R间期的标准差
③RMSDNN：相邻R-R间期差值的均方根
④PNN50％：相邻间期的差值大于50ms的百分比
⑤CVrr(0-1)：R-R间期标准差与均值之比
且通过如下方式获得：
时域指标通过R-R间期序列计算出R-R间期相应的平均值、标准差时域指标，设R-R间期时间序列为x(i)＝[R1，R2，...，Rn]，其中n为序列中的元素个数，则RR间期均值
Figure FDA0003380426570000022
Figure FDA0003380426570000023
Figure FDA0003380426570000024
n50为相邻间期的差值大于50ms的R-R间期个数；
所述频域指标包括如下3个：
①LF/(LF+HF)：低频能量与低、高频能量和的比值
②HF/(LF+HF)：高频能量与低、高频能量和的比值
③LF/HF：低频能量与高频能量的比值
且通过如下方式获得：
频域指标通过基于AR模型的功率谱估计法完成HRV的频域参数求解：AR模型中假定观测的数据RR间期序列x(i)用方差为σ2的零均值白噪声序列w(i)激励一个全极点的线性***产生，模型的阶数为M，系数为aM，k，用差分方程表示x(i)的AR模型为
Figure FDA0003380426570000025
Figure FDA0003380426570000026
过程{x(i)}为M阶自回归过程，功率谱密度为
Figure FDA0003380426570000027
Figure FDA0003380426570000028
使用AR自回归模型采取Marple算法估算参数aM，k后估算功率谱Pxx(ω)并进行谱分解，计算总功率TP，低频功率LF以及高频功率HF，所述低频功率LF范围为0.04-0.15Hz，高频功率HF范围为0.15-0.40Hz；
所述非线性指标包括如下2个：
①样本熵SampEn
②模糊测度熵FuzzyMEn
且通过如下方式获得：
非线性指标使用熵测度分析法提取R-R间期的样本熵和模糊测度熵：给定向量维数m和阈值r，构造m维向量序列
Figure FDA0003380426570000031
向量
Figure FDA0003380426570000032
表示m个连续的x(i)；则基于最大绝对值差的
Figure FDA0003380426570000033
和
Figure FDA0003380426570000034
距离为
Figure FDA0003380426570000035
Figure FDA0003380426570000036
对于每一个
Figure FDA0003380426570000037
设
Figure FDA0003380426570000038
表示所有满足
Figure FDA0003380426570000039
的
Figure FDA00033804265700000310
(1≤j≤N-m)的数目除以(N-m)，设
Figure FDA00033804265700000311
表示所有满足
Figure FDA00033804265700000312
的
Figure FDA00033804265700000313
(1≤j≤N-m)的数目除以(N-m)；则
Figure FDA00033804265700000314
设
Figure FDA00033804265700000315
Figure FDA00033804265700000316
其中
Figure FDA00033804265700000317
Figure FDA00033804265700000318
然后定义函数
Figure FDA00033804265700000319
Figure FDA00033804265700000320
则模糊测度熵
Figure FDA00033804265700000321
Figure FDA00033804265700000322
nL、nG、rG、rL、r为常数系数。
5.根据权利要求1所述的基于穿戴式心电监测的情绪自动评估方法，其特征在于：所述步骤40中设minJk为第k个特征最小值，maxJk为第k个特征的最大值。则初始值x映射到区间[0，1]的值
Figure FDA00033804265700000323
6.根据权利要求1所述的基于穿戴式心电监测的情绪自动评估方法，其特征在于：所述步骤50具体包括如下过程：
将所提取的心电特征经过训练好的非线性支持向量机模型，得到相应评估的情绪类型，所述情绪类型包括：平静、高兴、伤心、惊讶、愤怒、厌恶、恐惧。
7.根据权利要求6所述的基于穿戴式心电监测的情绪自动评估方法，其特征在于：所述非线性支持向量机模型是将步骤30-40采集到的情绪特征映射到高维空间，把情感特征数据转换成线性可分的；其中核函数采用径向基函数(RBF)；对于每种情绪类型都建立相应的支持向量机模型。
8.一种基于穿戴式心电监测的情绪自动评估装置，其特征在于，包括：穿戴式设备、手机终端和云端服务器，所述穿戴式设备包括3个湿性心电电极、前置放大电路、带通滤波电路、50Hz陷波电路、主放大电路、A/D转换电路、微控制器及蓝牙模块；所述穿戴式设备和手机终端用于实现权利要求1-7中任意一项所述的基于穿戴式心电监测的情绪自动评估方法中步骤10中的功能，所述云端服务器用于实现权利要求1-7中任意一项所述的基于穿戴式心电监测的情绪自动评估方法中步骤20-60中的功能。
CN201910632106.6A 2019-07-12 2019-07-12 基于穿戴式心电监测的情绪评估方法与装置 Active CN110353704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910632106.6A CN110353704B (zh) 2019-07-12 2019-07-12 基于穿戴式心电监测的情绪评估方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910632106.6A CN110353704B (zh) 2019-07-12 2019-07-12 基于穿戴式心电监测的情绪评估方法与装置

Publications (2)

Publication Number Publication Date
CN110353704A CN110353704A (zh) 2019-10-22
CN110353704B true CN110353704B (zh) 2022-02-01

Family

ID=68219387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910632106.6A Active CN110353704B (zh) 2019-07-12 2019-07-12 基于穿戴式心电监测的情绪评估方法与装置

Country Status (1)

Country Link
CN (1) CN110353704B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114053550A (zh) * 2021-11-19 2022-02-18 东南大学 一种基于高频心电的耳机式情绪压力调节装置
CN115568853A (zh) * 2022-09-26 2023-01-06 山东大学 一种基于皮电信号的心理压力状态评估方法及***
CN115886815A (zh) * 2022-11-10 2023-04-04 研祥智慧物联科技有限公司 一种情绪压力监测方法、装置及智能穿戴设备
CN115813389A (zh) * 2022-12-02 2023-03-21 复旦大学 基于皮肤电信号分析的孕妇分娩恐惧检测方法和***
CN118035651A (zh) * 2024-04-10 2024-05-14 中国科学技术大学 用于公共管理虚拟实验案例的场景演示评估***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105147248A (zh) * 2015-07-30 2015-12-16 华南理工大学 基于生理信息的抑郁症评估***及其评估方法
CN108742660A (zh) * 2018-07-02 2018-11-06 西北工业大学 一种基于可穿戴设备的情绪识别方法
CN109770920A (zh) * 2019-01-31 2019-05-21 东南大学 基于穿戴式心电信号的紧张情绪判别方法及其***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571643B2 (en) * 2010-09-16 2013-10-29 Flint Hills Scientific, Llc Detecting or validating a detection of a state change from a template of heart rate derivative shape or heart beat wave complex
TWI553584B (zh) * 2014-10-24 2016-10-11 國立清華大學 放鬆狀態之評估系統、方法以及電腦程式產品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105147248A (zh) * 2015-07-30 2015-12-16 华南理工大学 基于生理信息的抑郁症评估***及其评估方法
CN108742660A (zh) * 2018-07-02 2018-11-06 西北工业大学 一种基于可穿戴设备的情绪识别方法
CN109770920A (zh) * 2019-01-31 2019-05-21 东南大学 基于穿戴式心电信号的紧张情绪判别方法及其***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Application of Permutation Entropy and Permutation Min-Entropy in Multiple Emotional States Analysis of RRI Time Series;Yirong Xia et al;《Entropy》;20181231;摘要、第1-5页，图1-8 *

Also Published As

Publication number Publication date
CN110353704A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110353704B (zh) 基于穿戴式心电监测的情绪评估方法与装置
CN108478209B (zh) 心电信息动态监护方法和动态监护***
Berwal et al. Motion artifact removal in ambulatory ECG signal for heart rate variability analysis
Zhu et al. Learning your heart actions from pulse: ECG waveform reconstruction from PPG
JP4101069B2 (ja) 生理信号の短時間モニタリングを通じたユーザ情緒認識装置及び方法
CN105147248A (zh) 基于生理信息的抑郁症评估***及其评估方法
CN204931634U (zh) 基于生理信息的抑郁症评估***
Balli et al. Classification of biological signals using linear and nonlinear features
CN109998522A (zh) 一种基于穿戴式动态心电的运动负荷检测装置及方法
WO2021109601A1 (zh) 一种麻醉深度的测量方法、存储介质及电子设备
CN108577834A (zh) 一种用于癫痫间期棘波自动检测的方法
US20140148714A1 (en) Automatic online delineation of a multi-lead electrocardiogram bio signal
Ranganathan et al. Estimation of heart rate signals for mental stress assessment using neuro fuzzy technique
Covello et al. Novel method and real-time system for detecting the Cardiac Defense Response based on the ECG
CN114648040A (zh) 生命体征多生理信号提取、融合分析方法
CN109770920A (zh) 基于穿戴式心电信号的紧张情绪判别方法及其***
CN103816007A (zh) 一种基于脑电频域特征指标化算法的耳鸣治疗设备及方法
DongseoUniversity The deployment of novel techniques for mobile ECG monitoring
Ranganathan et al. Evaluation of ECG Signals for mental stress assessment using fuzzy technique
CN111248900A (zh) 一种基于单通道心脑信息耦合分析方法及***
Marhoon et al. A new real-time resource-efficient algorithm for ECG denoising, feature extraction and classification-based wearable sensor network
Enamamu et al. Transparent authentication: Utilising heart rate for user authentication
Plesnik et al. ECG signal acquisition and analysis for telemonitoring
KH et al. Wearable ECG electrodes for detection of heart rate and arrhythmia classification
CN113349753A (zh) 一种基于便携式动态心电监护仪的心律失常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant