CN113040771B - 情绪识别方法、***、可穿戴设备及存储介质 - Google Patents
情绪识别方法、***、可穿戴设备及存储介质 Download PDFInfo
- Publication number
- CN113040771B CN113040771B CN202110227057.5A CN202110227057A CN113040771B CN 113040771 B CN113040771 B CN 113040771B CN 202110227057 A CN202110227057 A CN 202110227057A CN 113040771 B CN113040771 B CN 113040771B
- Authority
- CN
- China
- Prior art keywords
- ppg pulse
- pulse signal
- preset
- processed
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种情绪识别方法、***、可穿戴设备及存储介质,所述可穿戴设备内置心率传感器,所述方法包括:利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;提取处理后的PPG脉搏信号的信号参数;根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果。本发明解决了现有基于PPG脉搏信号进行情绪识别,存在准确度低的问题的问题。
Description
技术领域
本发明涉及智能可穿戴设备领域,尤其涉及一种情绪识别方法、***、可穿戴设备及计算机可读存储介质。
背景技术
随着生活水平的提高,人们的健康越来越受到关注,人体的情绪与神经***、内分泌***以及心血管***等有着密切的联系,人体情绪具有反应迅速、复杂多变的特点,长期不良情绪会严重影响个人的生活、工作。可穿戴设备的便携性和低成本,使得智能手表、手环在近年来得到了普及,目前绝大多数的智能手表、手环都具有PPG(Photoplethysmography,利用光电容积描记)脉搏信号检测功能,通过从PPG脉搏信号中提取包含情绪信息的特征进行情绪识别。但在PPG信号采集过程中,信号可能受到相当程度的干扰,影响情绪识别的准确性和灵敏性。
发明内容
本发明的主要目的在于提出一种情绪识别方法、***、可穿戴设备及计算机可读存储介质,旨在解决现有基于PPG脉搏信号进行情绪识别,存在准确度低的问题。
为实现上述目的,本发明提供一种情绪识别方法,应用于可穿戴设备,所述可穿戴设备内置心率传感器,所述情绪识别方法包括步骤:
利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;
对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;
提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;
根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;
当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果。
可选地,所述对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号的步骤包括:
对PPG脉搏信号进行滤波处理,获得滤波后的PPG脉搏信号;
对滤波后的PPG脉搏信号进行归一化处理,获得处理后的PPG脉搏信号。
可选地,所述根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格的步骤包括:
判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内;
若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内,则确定处理后的PPG脉搏信号的质量合格。
可选地,所述基于神经网络的情绪识别模型的包括依次连接的输入层、多层卷积网络层以及全连接层,所述卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元。
可选地,所述通过所述心率传感器采集预设时长的初始利用光电容积描记PPG脉搏信号的步骤之前还包括:
利用所述心率传感器采集不同情绪对应的多个预设时长的PPG脉搏信号;
对各情绪对应的PPG脉搏信号进行滤波处理,获得各情绪对应的候选PPG脉搏信号;
提取各情绪对应的候选PPG脉搏信号的信号参数;
根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件,从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本;
将训练样本对应的情绪标记为训练样本的实际标签;
将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中,输出训练样本的识别标签;
基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练,获得所述基于神经网络的情绪识别模型。
可选地,所述对各情绪对应的PPG脉搏信号进行滤波处理,获得各情绪对应的候选PPG脉搏信号的步骤包括:
对各情绪对应的PPG脉搏信号进行滤波和归一化处理,获得各情绪对应的候选PPG脉搏信号。
可选地,所述预设的损失函数为:
L=-Yilogyi+(1-Yi)log(1-yi),
其中,L表示所述损失函数,Yi表示训练样本的实际标签,yi表示训练样本的识别标签。
为实现上述目的,本发明还提供一种情绪识别***,所述***包括:
第一采集模块,用于利用心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;
第二处理模块,用于对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;
提取模块,用于提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;
判断模块,用于根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;
识别模块,用于当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果。
为实现上述目的,本发明还提供一种可穿戴设备,所述可穿戴设备包括心率传感器、存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的情绪识别方法的步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的情绪识别方法的步骤。
本发明提出的一种情绪识别方法、***、可穿戴设备及计算机可读存储介质,可穿戴设备通过利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果。在采集的PPG脉搏信号输入至情绪识别模型进行识别前,先对采集的PPG脉搏信号进行质量检测,然后使用神经网络的方法对信号质量好的脉搏波信号进行情绪分类,相较于对未经过信号质量评估的脉搏波信号直接进行情绪分类识别,本发明分类识别准确度和灵敏性等均有提高。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图;
图2为本发明情绪识别方法第一实施例的流程示意图;
图3为本发明情绪识别方法第二实施例中步骤S20的细化流程示意图;
图4为本发明情绪识别方法第三实施例的流程示意图;
图5为本发明情绪识别***的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参照图1,图1为本发明各个实施例中所提供的可穿戴设备的硬件结构示意图。所述可穿戴设备包括通信模块01、存储器02、处理器03及心率传感器04等部件。本领域技术人员可以理解,图1中所示出的可穿戴设备还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中,所述处理器03分别与所述存储器02和所述通信模块01连接,所述存储器02上存储有计算机程序,所述计算机程序同时被处理器03执行。
通信模块01,可通过网络与外部设备连接。通信模块01可以接收外部设备发出的数据,还可发送数据、指令及信息至所述外部设备,所述外部设备可以是手机、平板电脑、笔记本电脑和台式电脑等电子设备。
存储器02,可用于存储软件程序以及各种数据。存储器02可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格)等;存储数据区可存储根据可穿戴设备的使用所创建的数据或信息等。此外,存储器02可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器03,是可穿戴设备的控制中心,利用各种接口和线路连接整个可穿戴设备的各个部分,通过运行或执行存储在存储器02内的软件程序和/或模块,以及调用存储在存储器02内的数据,执行可穿戴设备的各种功能和处理数据,从而对可穿戴设备进行整体监控。处理器03可包括一个或多个处理单元;优选的,处理器03可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器03中。
心率传感器04,至少包括光信号发射器以及光信号接收器,用于通过PPG技术来获取PPG脉搏信号。
尽管图1未示出,但上述可穿戴设备还可以包括电路控制模块,电路控制模块用于与市电连接,实现电源控制,保证其他部件的正常工作。
本领域技术人员可以理解,图1中示出的可穿戴设备结构并不构成对可穿戴设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
根据上述硬件结构,提出本发明方法各个实施例。
参照图2,在本发明情绪识别方法的第一实施例中,应用于可穿戴设备,所述可穿戴设备内置心率传感器,所述情绪识别方法包括步骤:
步骤S10,利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;
在本方案中,PPG(Photoplethysmography,利用光电容积描记)技术是进行人体运动心率的红外无损检测技术,它利用光电传感器检测经过人体血液和组织吸收后的反射光强度的不同,描记出血管容积在心动周期内的变化,从得到的脉搏波形中计算出心率。可穿戴设备内置有心率传感器,用于采集佩戴有可穿戴设备的用户的PPG脉搏信号。可穿戴设备通过心率传感器实时采集一段预设时长的PPG脉搏信号,该预设时长可以为5s、10s、30s、1min等,在此不对预设时长的具体数值进行限定。
步骤S20,对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;
当采集到一段预设时长的PPG脉搏信号后,会采用带通滤波器对PPG脉搏信号进行高通滤波和/或低通滤波,将滤波后的PPG脉搏信号作为处理后的PPG脉搏信号。
步骤S30,提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;
可穿戴设备会对处理后的PPG信号分别进行时分析域和频域分析,对应获得时域特征和频域特征,然后从时域特征和频域特征中获得PPG脉搏信号的信号参数,该信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比。信号的峰度,为信号的四阶矩阵,反映了信号概率密度函数的陡峭程度。信号的偏度,为信号的三阶矩阵,反映了信号概率密度函数的不对称程度,信号的最大波峰波谷幅度差值,是指信号的时域中各波峰和对应的相邻波谷间的幅度差值中的最大值。信号幅度最值比,是指信号的时域中最大幅度与最小幅度的比值。信号的低频占比。是指信号中1-1.25Hz频率的分量与信号中0-8Hz频率的分量间的比值。峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比的计算公式分别为:
F3=max(x波峰-x波谷),
F4=xmax/xmin,
F5=LF1-1.25/HF0-8,其中F1为峰度,F2为偏度,F3为最大波峰波谷幅度差值,F4为信号幅度最值比以及F5为低频占比。
步骤S40,根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;
可穿戴设备中预先设置有评价信号质量合格或不合格的条件,可穿戴设备获得处理后的PPG脉搏信号的信号参数后,会根据预设条件和信号参数对处理后的PPG脉搏信号的质量是否合格进行评判。
具体的,步骤S40包括:
步骤S41,判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内;
步骤S42,若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内,则确定处理后的PPG脉搏信号的质量合格。
在本实施例中,分别判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值,该预设峰度阈值可以为100~130中任一值,优选120。判断处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值,该预设偏度阈值可以为15~25中任一值,优选为20。判断处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内,该第一预设区间的具体范围和心率传感器的工作电流有关,不同的工作电流,预先设置的第一预设区间也不同,若该心率传感器的工作电流为10mA,则第一预设区间可以为450~550。判断处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内,该第二预设区间的具体范围和心率传感器的工作电流有关,不同的工作电流,预先设置的第二预设区间也不同,若该心率传感器的工作电流为10mA,则第二预设区间可以为2~4。判断处理后的PPG脉搏信号的低频占比是否处于第三预设区间内,第三预设区间内可以为0.6~0.8。
若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、偏度大于或等于预设偏度阈值、最大波峰波谷幅度差值处于第一预设区间内、幅度最值比处于第二预设区间内以及低频占比处于第三预设区间内,则确定处理后的PPG脉搏信号的质量合格。若是这5个信号参数中有任一个信号参数不符合预设的条件,则确定处理后的PPG脉搏信号的质量不合格。
需要说明的是,当处理后的PPG脉搏信号的质量不合格时,会舍弃这段PPG脉搏信号,返回执行步骤S10,即继续采集下一段预设时长的PPG脉搏信号。
步骤S50,当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果。
当确定处理后的PPG脉搏信号的质量合格时,将质量合格的处理后的PPG脉搏信号作为已经训练完成的基于神经网络的情绪识别模型的输入参数,输入至已经训练完成的基于神经网络的情绪识别模型中,依次经过模型中各卷积网络层的卷积、池化和激活函数计算等,最终由已经训练完成的基于神经网络的情绪识别模型输出情绪识别结果。
具体的,在一实施例中,所述基于神经网络的情绪识别模型包括依次连接的输入层、多层卷积网络层以及全连接层,卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元,输入层用于接收质量合格的处理后的PPG脉搏信号,全连接层用于识别输入的PPG脉搏信号对应的情绪,输出情绪识别结果,激活函数单元采用的激活函数可以是Relu函数、sigmod函数或其他激活函数,优选sigmod函数,在卷积网络层中加入正则化单元进行正则化操作,是为了防止卷积网络层过拟合。例如基于神经网络的情绪识别模型,该模型中的卷积网络层的数量为4,能够输出三种情绪识别结果,分别是平静、高兴和悲伤。
本实施例通过利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果。在采集的PPG脉搏信号输入至情绪识别模型进行识别前,先对采集的PPG脉搏信号进行质量检测,然后使用神经网络的方法对信号质量好的脉搏波信号进行情绪分类,相较于对未经过信号质量评估的脉搏波信号直接进行情绪分类识别,本发明分类识别准确度和灵敏性等均有提高。
进一步地,请参照图3,图3为根据本申请情绪识别方法的第一实施例提出本申请情绪识别方法的第二实施例,在本实施例中,步骤S20包括:
步骤S21,对PPG脉搏信号进行滤波处理,获得滤波后的PPG脉搏信号;
步骤S22,对滤波后的PPG脉搏信号进行归一化处理,获得处理后的PPG脉搏信号。
对采集到的PPG脉搏信号进行滤波处理后,获得滤波后的PPG脉搏信号,然后将滤波后的PPG脉搏信号再进行归一化处理,获得归一化后的PPG脉搏信号,将归一化后的PPG脉搏信号作为处理后的PPG脉搏信号。
本实施例通过在对滤波后的PPG脉搏信号进行归一化处理,将所述PPG脉搏信号归一化0-1的范围内,从而减少基于神经网络的情绪识别模型的计算量和计算速度。
进一步地,请参照图4,图4为根据本申请情绪识别方法的第一实施例和第二实施例提出本申请情绪识别方法的第三实施例,在本实施例中,步骤S10之前还包括:
步骤S60,利用所述心率传感器采集不同情绪对应的多个预设时长的PPG脉搏信号;
步骤S61,对各情绪对应的PPG脉搏信号进行滤波处理,获得各情绪对应的候选PPG脉搏信号;
先通过心率传感器采集多种不同情绪分别对应的多个预设时长的PPG脉搏信号,对这些采集到的PPG脉搏信号进行滤波处理,获得滤波后的PPG脉搏信号,将这些滤波后的PPG脉搏信号作为候选PPG脉搏信号。
为了进一步减少训练过程中的计算量,除了进行滤波处理,还会进行归一化处理,即步骤S61包括:
步骤S611,对各情绪对应的PPG脉搏信号进行滤波和归一化处理,获得各情绪对应的候选PPG脉搏信号。
对这些采集到的各情绪分别对应的多个预设时长的PPG脉搏信号进行滤波处理后,会将这些滤波后的PPG脉搏信号再进行归一化处理,获得滤波归一化后的PPG脉搏信号,将滤波归一化后的PPG脉搏信号作为候选PPG脉搏信号。
步骤S62,提取各情绪对应的候选PPG脉搏信号的信号参数;
步骤S63,根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件,从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本;
步骤S64,将训练样本对应的情绪标记为训练样本的实际标签;
在获得各情绪对应的多个候选PPG脉搏信号后,会提取每个候选PPG脉搏信号的参数,然后根据预设条件和每个候选PPG脉搏信号的参数,对每个候选PPG脉搏信号的质量进行评定,具体评定过程与前述实施例的步骤S41-步骤S42相同,在此不再赘述。然后根据评定结果,筛选出质量合格的候选PPG脉搏信号作为训练样本。将这些训练样本各自对应的情绪标记为训练样本的实际标签。
例如待训练的情绪识别模型的目标是识别三种情绪状态,分别为平静、高兴和悲伤,会采集平静状态下多个预设时长的PPG脉搏信号、高兴状态下多个预设时长的PPG脉搏信号以及多个预设时长的PPG脉搏信号,将这些PPG脉搏信号分别进行滤波处理以及归一化处理,获得候选PPG脉搏信号,然后提取候选PPG脉搏信号的信号参数作为信号质量评价的依据,然后根据预设条件对候选的PPG脉搏信号进行质量评价,选出信号质量合格的候选PPG脉搏信号作为训练样本,若训练样本原本对应的情绪状态为平静,则标记该训练样本的实际标签为平静,可以用0表示,若训练样本原本对应的情绪状态为高兴,则标记该训练样本的实际标签为高兴,可以用1表示,若训练样本原本对应的情绪状态为悲伤,则标记该训练样本的实际标签为悲伤,可以用2表示。
步骤S65,将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中,输出训练样本的识别标签;
步骤S66,基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练,获得所述基于神经网络的情绪识别模型。
生成训练样本以及对训练样本的实际标签进行标记后,会将训练样本输入至预先构建的基于神经网络的情绪识别初始模型,输出训练样本的标识标签。然后根据预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练,直至训练误差小于预设误差阈值时停止训练,以得到所述基于卷积神经网络的情绪识别模型。在本实施例中,预设的训练参数包括循环次数和学习速率,预设的损失函数可以为均方误差损失函数、Hinge损失函数、感知损失函数或交叉损失函数等,预设的优化算法可以为梯度下降优化算法、RMSProp优化算法、Adam优化算法或动量Momentum优化算法等。
在一优选实施例中,选用二分类交叉熵损失函数和Adam优化算法,循环次数设置为N个epoch,学习速率设置为l,二分类交叉熵损失函数公式如下:
L=-Yi logyi+(1-Yi)log(1-yi),
其中,L表示所述损失函数,Yi表示训练样本的实际标签,yi表示训练样本的识别标签。
本实例获取用户真实情绪状态下的PPG脉搏信号,并从中筛选出质量合格的PPG脉搏信号作为训练样本,对构建的情绪识别模型进行训练,使得在后续实际使用过程中采用最终训练完成的情绪识别模型对待测的PPG脉搏信号进行情绪识别的准确率更高。
参见图5,本发明还提供一种情绪识别***,包括:
第一采集模块10,用于利用心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;
第一处理模块20,用于对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;
第一提取模块30,用于提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;
判断模块40,用于根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;
识别模块50,用于当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果。
进一步,所述处理模块20包括:
滤波单元21,用于对PPG脉搏信号进行滤波处理,获得滤波后的PPG脉搏信号;
归一化22单元,用于对滤波后的PPG脉搏信号进行归一化处理,获得处理后的PPG脉搏信号。
进一步,所述判断模块40包括:
判断单元41,用于判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内;
确定单元42,用于若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内,则确定处理后的PPG脉搏信号的质量合格。
进一步,所述基于神经网络的情绪识别模型的包括依次连接的输入层、多层卷积网络层以及全连接层,所述卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元。
进一步,所述情绪识别***还包括:
第二采集模块60,用于利用所述心率传感器采集多个情绪分别对应的PPG脉搏信号;
第二处理模块61,用于对各情绪对应的PPG脉搏信号进行滤波处理,获得各情绪对应的候选PPG脉搏信号;
第二提取模块62,用于提取各情绪对应的候选PPG脉搏信号的信号参数;
筛选模块63,用于根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件,从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本;
标记模块64,用于将训练样本对应的情绪标记为训练样本的实际标签;
识别标签输出模块65,用于将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中,输出训练样本的识别标签;
训练模块66,用于基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练,获得所述基于神经网络的情绪识别模型。
进一步,所述第二处理模块61,还用于对各情绪对应的PPG脉搏信号进行滤波和归一化处理,获得各情绪对应的候选PPG脉搏信号。
进一步,所述预设的损失函数为:
L=-Yi logyi+(1-Yi)log(1-yi),
其中,L表示所述损失函数,Yi表示训练样本的实际标签,yi表示训练样本的识别标签。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序。所述计算机可读存储介质可以是图1的可穿戴设备中的存储器02,也可以是如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘中的至少一种,所述计算机可读存储介质包括若干信息用以使得可穿戴设备执行本发明各个实施例所述的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种情绪识别方法,其特征在于,应用于可穿戴设备,所述可穿戴设备内置心率传感器,所述情绪识别方法包括步骤:
利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;
对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;
提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;
根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;
当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果;
所述根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格的步骤包括:
判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内;
若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内,则确定处理后的PPG脉搏信号的质量合格;
其中,所述基于神经网络的情绪识别模型的包括依次连接的输入层、多层卷积网络层以及全连接层,所述卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元,其中,所述输入层用于接收质量合格的处理后的PPG脉搏信号,所述全连接层用于识别输入的所述PPG脉搏信号对应的情绪,输出情绪识别结果,所述激活函数单元采用的激活函数包括Relu函数或sigmod函数。
2.根据权利要求1所述的情绪识别方法,其特征在于,所述对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号的步骤包括:
对PPG脉搏信号进行滤波处理,获得滤波后的PPG脉搏信号;
对滤波后的PPG脉搏信号进行归一化处理,获得处理后的PPG脉搏信号。
3.根据权利要求1或2所述的情绪识别方法,其特征在于,所述利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号的步骤之前还包括:
利用所述心率传感器采集不同情绪对应的多个预设时长的PPG脉搏信号;
对各情绪对应的PPG脉搏信号进行滤波处理,获得各情绪对应的候选PPG脉搏信号;
提取各情绪对应的候选PPG脉搏信号的信号参数;
根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件,从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本;
将训练样本对应的情绪标记为训练样本的实际标签;
将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中,输出训练样本的识别标签;
基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练,获得所述基于神经网络的情绪识别模型。
4.根据权利要求3所述的情绪识别方法,其特征在于,所述对各情绪对应的PPG脉搏信号进行滤波处理,获得各情绪对应的候选PPG脉搏信号的步骤包括:
对各情绪对应的PPG脉搏信号进行滤波和归一化处理,获得各情绪对应的候选PPG脉搏信号。
6.一种情绪识别***,其特征在于,所述情绪识别***包括:
第一采集模块,用于利用心率传感器采集预设时长的利用光电容积描记PPG脉搏信号;
第一处理模块,用于对PPG脉搏信号进行滤波处理,获得处理后的PPG脉搏信号;
第一提取模块,用于提取处理后的PPG脉搏信号的信号参数,其中,所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比;
判断模块,用于根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格;
识别模块,用于当处理后的PPG脉搏信号的质量合格时,将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中,输出情绪识别结果;
其中,所述情绪识别***包括:
所述根据处理后的PPG脉搏信号的信号参数和预设条件,判断处理后的PPG脉搏信号的质量是否合格的步骤包括:
判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内;
若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内,则确定处理后的PPG脉搏信号的质量合格;
还包括:
所述基于神经网络的情绪识别模型的包括依次连接的输入层、多层卷积网络层以及全连接层,所述卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元,其中,所述输入层用于接收质量合格的处理后的PPG脉搏信号,所述全连接层用于识别输入的所述PPG脉搏信号对应的情绪,输出情绪识别结果,所述激活函数单元采用的激活函数包括Relu函数或sigmod函数。
7.一种可穿戴设备,其特征在于,所述可穿戴设备包括心率传感器、存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的情绪识别方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5 中任一项所述的情绪识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110227057.5A CN113040771B (zh) | 2021-03-01 | 2021-03-01 | 情绪识别方法、***、可穿戴设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110227057.5A CN113040771B (zh) | 2021-03-01 | 2021-03-01 | 情绪识别方法、***、可穿戴设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113040771A CN113040771A (zh) | 2021-06-29 |
CN113040771B true CN113040771B (zh) | 2022-12-23 |
Family
ID=76509708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110227057.5A Active CN113040771B (zh) | 2021-03-01 | 2021-03-01 | 情绪识别方法、***、可穿戴设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113040771B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115644872A (zh) * | 2022-10-26 | 2023-01-31 | 广州建友信息科技有限公司 | 一种情绪识别方法、装置及介质 |
CN115886815A (zh) * | 2022-11-10 | 2023-04-04 | 研祥智慧物联科技有限公司 | 一种情绪压力监测方法、装置及智能穿戴设备 |
CN116746927B (zh) * | 2023-05-18 | 2024-04-23 | 中国人民解放军海军特色医学中心 | 一种密闭舱水下作业时水下作业人员状态调节方法及*** |
CN118177805A (zh) * | 2024-05-15 | 2024-06-14 | 深圳市爱都科技有限公司 | 一种情绪识别方法、装置、电子设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109561222A (zh) * | 2017-09-27 | 2019-04-02 | 华为终端(东莞)有限公司 | 一种语音数据的异常检测方法及装置 |
CN110090024A (zh) * | 2018-01-30 | 2019-08-06 | 深圳创达云睿智能科技有限公司 | 一种功率控制方法、***及穿戴设备 |
CN110974189A (zh) * | 2019-10-25 | 2020-04-10 | 广州视源电子科技股份有限公司 | 脉搏波的信号质量检测方法及装置、设备、*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170001490A (ko) * | 2015-06-26 | 2017-01-04 | 삼성전자주식회사 | 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법 |
WO2018137300A1 (zh) * | 2017-01-25 | 2018-08-02 | 华为技术有限公司 | 一种生理信号质量判断方法及装置 |
US20200294670A1 (en) * | 2019-03-13 | 2020-09-17 | Monsoon Design Studios LLC | System and method for real-time estimation of emotional state of user |
CN112294281A (zh) * | 2019-07-30 | 2021-02-02 | 深圳迈瑞生物医疗电子股份有限公司 | 规则性评价信息的提示方法、监护设备及监护*** |
CN111419250A (zh) * | 2020-04-08 | 2020-07-17 | 恒爱高科(北京)科技有限公司 | 一种基于脉搏波的情绪识别方法 |
CN111839488B (zh) * | 2020-07-15 | 2023-06-27 | 复旦大学 | 基于脉搏波的无创连续血压测量装置和方法 |
-
2021
- 2021-03-01 CN CN202110227057.5A patent/CN113040771B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109561222A (zh) * | 2017-09-27 | 2019-04-02 | 华为终端(东莞)有限公司 | 一种语音数据的异常检测方法及装置 |
CN110090024A (zh) * | 2018-01-30 | 2019-08-06 | 深圳创达云睿智能科技有限公司 | 一种功率控制方法、***及穿戴设备 |
CN110974189A (zh) * | 2019-10-25 | 2020-04-10 | 广州视源电子科技股份有限公司 | 脉搏波的信号质量检测方法及装置、设备、*** |
Also Published As
Publication number | Publication date |
---|---|
CN113040771A (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113040771B (zh) | 情绪识别方法、***、可穿戴设备及存储介质 | |
CN108053838B (zh) | 结合音频分析和视频分析的欺诈识别方法、装置及存储介质 | |
Ahmed | The impact of filter size and number of filters on classification accuracy in CNN | |
CN108926338B (zh) | 基于深度学习的心率预测方法及装置 | |
CN111053549A (zh) | 一种智能生物信号异常检测方法及*** | |
CN108186011A (zh) | 房颤检测方法、装置及可读存储介质 | |
CN107638166A (zh) | 提取生物信号的特征的方法和设备及检测生物信息的设备 | |
CN103294199B (zh) | 一种基于脸部肌音信号的无声信息识别*** | |
Zhang et al. | ECG quality assessment based on a kernel support vector machine and genetic algorithm with a feature matrix | |
CN112587153B (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测***和方法 | |
CN109276255A (zh) | 一种肢体震颤检测方法及装置 | |
CN113855038B (zh) | 基于多模型集成的心电信号危急值的预测方法及装置 | |
CN112869716B (zh) | 一种基于双通道卷积神经网络的脉搏特征识别***及方法 | |
CN112869717B (zh) | 一种基于bl-cnn的脉搏特征识别分类***及方法 | |
CN111291727A (zh) | 一种光体积变化描记图法信号质量检测方法和装置 | |
CN109394203A (zh) | 精神障碍康复期情绪监测与干预方法 | |
CN115713246A (zh) | 一种关于虚拟场景的多模态人机交互的性能评估方法 | |
CN104679967A (zh) | 一种判断心理测试可靠性的方法 | |
CN115120236A (zh) | 情绪识别方法、装置、可穿戴设备及存储介质 | |
CN112826483B (zh) | 基于指尖视频的心率检测方法、***及装置 | |
Gong et al. | Accurate cirrhosis identification with wrist-pulse data for mobile healthcare | |
CN115754956A (zh) | 基于包络数据时间序列的毫米波雷达手势识别方法 | |
CN114652280A (zh) | 睡眠质量监测***及方法 | |
CN113143204A (zh) | 心电信号质量评估方法、计算机装置和存储介质 | |
CN110292388A (zh) | 一种认知负荷与心理压力的测量方法及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |