CN114022909A - 一种基于传感器数据的情绪识别方法和*** - Google Patents

一种基于传感器数据的情绪识别方法和*** Download PDF

Info

Publication number
CN114022909A
CN114022909A CN202210013567.7A CN202210013567A CN114022909A CN 114022909 A CN114022909 A CN 114022909A CN 202210013567 A CN202210013567 A CN 202210013567A CN 114022909 A CN114022909 A CN 114022909A
Authority
CN
China
Prior art keywords
sensor
data
emotion recognition
model
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210013567.7A
Other languages
English (en)
Inventor
梁佩鹏
钟国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202210013567.7A priority Critical patent/CN114022909A/zh
Publication of CN114022909A publication Critical patent/CN114022909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于传感器数据的情绪识别方法和***,通过已知情绪状态下的传感器数据,建立基于自注意力机制的深度神经网络模型,然后通过对网络模型训练、验证和测试,确定网络模型的超参数,得到最终模型;然后将待识别传感器数据输入最终模型内,从而得到情绪识别结果。本发明采用上述情绪识别方法和***,充分挖掘利用传感器数据中的有效信息及深层次信息,提高情绪识别效率及准确率。

Description

一种基于传感器数据的情绪识别方法和***
技术领域
本发明涉及情绪识别技术领域,尤其是涉及一种基于传感器数据的情绪识别方法和***。
背景技术
情绪是有机体在特定对象或场景的刺激下产生的心理和生理状态的一系列反应,是对有机体内、外环境中的信息进行综合评价的结果。因而,综合考察与分析个体的内、外环境,对于情绪的准确识别具有重要作用。
随着互联网的发展以及搭载各类传感器的智能设备的广泛普及,智能设备内置的各种传感器可有效获取用户生理信号(表征内部环境)和周围环境信息(表征外部环境),例如,智能设备中的生理信号传感器可以采集个体的脑电、心电、皮肤电和肌电等,加速度传感器可以获取个体的物理运动状态,GPS传感器可以获得个体所处的地理位置,声音传感器、光线传感器和温度传感器等可以检测个体所处的环境状况。因此,智能设备传感器数据可用于推断用户个人的情绪状态。
已有发明使用传统机器学习进行基于传感器数据的情绪识别技术,主要取决于人工提取特征的有效性,既耗时又需要领域相关知识,限制了其实际应用。此外,人工提取的特征更多是浅层次特征(例如提取均值、方差、极值、众数和四分位数等),而隐含的深层次特征无法被提取并利用,使得情绪识别在准确性和分类泛化性等方面受到很大限制。
发明内容
为解决上述问题,本发明基于传感器数据构建深度神经网络,深度神经网络通过CNN网络和BLSTM网络实现传感器数据的空间特征和时间特征的自动提取,通过加入注意力机制,进一步提高情绪状态识别准确率。
一种基于传感器数据的情绪识别方法,其特征在于,包括以下步骤:
S1、数据采集,通过智能设备中的传感器采集用户在不同情绪状态的数据;
S2、数据处理,对传感器采集的数据依次进行预处理、标签制作以及数据集划分,形成训练集、验证集和测试集;
S3、模型搭建,构建基于自注意力机制的深度神经网络模型,深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层;
S4、模型训练,使用训练集对上述网络模型进行训练,训练过程使用交叉熵损失函数,并通过Adam算子进行优化;使用验证集对训练后的网络模型进行验证,确定网络模型的超参数,得到最终模型;使用测试集对最终模型的预测精准度进行测试;
S5、情绪识别,将待识别的传感器数据输入最终网络模型中,获得情绪识别结果。
优选的,步骤S1中,所述传感器包括生理信号传感器、加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器和温度传感器;所述情绪状态包括高兴、惊讶、生气、厌恶、悲伤和恐惧六种基本情绪。
优选的,步骤S2中,所述预处理包括缺失值处理、同频处理、小波阈值去噪、移动均值滤波降噪、归一化和传感器数据模板化;所述标签制作采用One-Hot编码方式,所述数据划分按照M:N:L 的比例形成训练集、验证集和测试集。
优选的,步骤S3中,所述CNN网络用于提取传感器数据的空间特征,包括卷积层、池化层和全连接层;所述BLSTM网络用于提取传感器数据的时间特征,包括两个并行的循环层;注意力机制层用来调节提取特征的表达,使用加性模型作为打分机制;Softmax分类层用于输出最终的情绪识别结果。
对照上述方法,本申请还提出了一种基于传感器数据的情绪识别***,包括如下模块:
数据采集模块,通过传感器采集不同情绪状态的数据;
数据处理模块,对传感器采集的数据依次进行预处理、标签制作以及数据集划分,形成训练集、验证集和测试集;
模型搭建模块,构建基于自注意力机制的深度神经网络模型,深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层;
模型训练模块,使用训练集对网络模型进行训练,使用验证集对训练后的网络模型进行验证并确定超参数,使用测试集对验证后的网络模型的预测精准度进行测试;
情绪识别模块,将待识别的传感器数据输入网络模型中,并输出情绪识别结果。
本发明采用CNN神经网络和BLSTM网络自动提取传感器数据的空间特征和时间特征,更适用于情绪状态识别中传感器数据特征不明显的情况,省去人工先验的特征提取步骤。深度学习网络中加入注意力机制,使其能自适应地关注更加重要的传感器数据特征,充分挖掘利用传感器数据中的有效信息及深层次信息,进而提高情绪识别准确率。此外,深度学习可以通过大规模的已标签数据集训练出来的模型迁移到新的没有标签的情绪状态分类任务中,使情绪识别具有更好地泛化性。
附图说明
图1为本发明实施例一中传感器的数据格式;
图2为本发明实施例一中CNN神经网络的输入格式;
图3为本发明实施例一中BLSTM网络的输入格式;
图4为本发明实施例一中网络模型的结构示意图;
图5为本发明实施例一中注意力机制层的结构示意图。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步说明。
实施例一:
一种基于传感器数据的情绪识别方法,包括深度神经网络建立、深度神经网络训练以及深度神经网络应用,其流程具体如下:
S1、数据采集,基于给定的心理学实验范式,诱发用户的不同情绪状态(高兴、惊讶、生气、厌恶、悲伤和恐惧六种基本情绪),然后通过智能设备采集用户在不同情绪状态的数据
智能设备主要指智能手机、平板电脑、生理多导仪等,其内部集成有生理信号传感器、加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器和温度传感器等传感器。
进一步,生理信号传感器数据包括脑电、心电、肌电和皮肤电数据及时间戳信息;加速度传感器、陀螺仪传感器、重力传感器数据包括x轴、y轴、z轴及时间戳信息;GPS传感器数据包括经度、纬度和海拔三维数据及时间戳信息;声音传感器数据包括声音分贝值及时间戳信息;光线传感器数据包括光线强度值及时间戳信息;温度传感器数据包括温度值及时间戳信息。
S2、数据处理,对传感器采集的数据依次进行预处理、标签制作以及数据集划分,形成训练集、验证集和测试集。
其中,预处理包括缺失值处理、同频处理、移动均值滤波降噪、归一化和传感器数据模板化。标签制作采用One-Hot的编码方式。数据集划分按照6:2:2的比例形成训练集、验证集和测试集。
缺失值处理是指使用插值法、平均数、中位数默认值等填充缺失值。
同频处理以50Hz为标准频率,将高频率的数据通过等距抽样使所有传感器数据的采样率相同。
使用小波阈值去噪对生理信号数据集进行去噪处理;使用移动均值滤波器用于降低加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器、温度传感器数据、数据中的噪音,移动均值滤波具体公式为:
Figure 223416DEST_PATH_IMAGE001
其中,
Figure 609398DEST_PATH_IMAGE002
为输出的滤波后数据,
Figure 592397DEST_PATH_IMAGE003
为输入的原始传感器信号,N是滤波器阶数,N表示移动均值滤波器的窗口大小。
归一化将数据的特征映射到同一尺寸上以避免指标之间的量纲影响,具体公式为:
Figure 456448DEST_PATH_IMAGE004
其中,max、min分别代表样本数据的最大值和最小值,x为当前样本数据。
数据模板化是根据神经网络需求规整数据以适应神经网络的输入。
考虑到多个传感器之间的空间依赖性,以及沿时间维度的局部依赖性,数据模板化处理将传感器的每个轴分别作为一个通道。
具体而言,将归一化的数据变换为CNN神经网络输入格式和BLSTM网络输入格式,其中CNN神经网络输入格式中,将一维时间序列通过矩阵维度变换转换为二维图像,BLSTM网络输入格式中,将各传感器数据按时序排列,具体如图1-3所示。
S3、模型搭建,构建基于自注意力机制的深度神经网络模型,深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层,其结构如图4所示。
CNN神经网络用于提取传感器数据的空间特征,包括卷积层、池化层和全连接层。将预处理后的传感器数据输入CNN神经网络,经由卷积层、池化层和全连接层,输出由n个神经元组成的1×n维向量
Figure 739662DEST_PATH_IMAGE005
具体表示如下:
Figure 30966DEST_PATH_IMAGE006
BLSTM用于提取传感器数据的时间特征,包括两个并行的循环层。
将预处理后的传感器数据输入BLSTM网络,在前向层中计算从1到t时刻的时间序列
Figure 563578DEST_PATH_IMAGE007
,并保存每个向前层的输出;在后向层中反向计算从t时刻到1后向序列
Figure 231320DEST_PATH_IMAGE008
,并保存每个后向层的输出,然后将前向层和后向层的输出合并,将
Figure 369040DEST_PATH_IMAGE007
Figure 848824DEST_PATH_IMAGE008
拼接起来表示隐藏层,即
Figure 806415DEST_PATH_IMAGE009
,隐藏层的输出维度为m,因此特征向量的维度为n×m,隐藏层表示如下:
Figure 12269DEST_PATH_IMAGE010
注意力机制层用来调节提取特征的表达,使某些特征增强或减弱,其结构如图5所示。注意力机制层使用加性模型作为打分机制,计算公式如下:
Figure 4496DEST_PATH_IMAGE011
其中,
Figure 699919DEST_PATH_IMAGE012
m×n维的权重矩阵,
Figure 410386DEST_PATH_IMAGE013
是偏置向量,二者通过模型训练获得,
Figure 888772DEST_PATH_IMAGE014
表示深度特征提取结果。
Softmax分类层用于输出最终的情绪识别结果,Softmax函数如下:
Figure 1085DEST_PATH_IMAGE015
其中,
Figure 805092DEST_PATH_IMAGE016
Figure 799593DEST_PATH_IMAGE017
分别表示输出层的权重矩阵和偏置。
S4、模型训练,使用训练集对上述网络模型进行训练,训练过程使用交叉熵损失函数,并通过Adam算子进行优化。使用验证集对训练后的网络模型进行验证,确定网络模型的超参数,得到最终模型。最终模型的确定为随着网络模型在训练集的输出精度和损失量持续改善,但验证集的输出精度和损失量不再发生明显变化。最后,使用测试集对最终模型的预测精准度进行测试。
S5、情绪识别,将待识别的传感器数据输入最终模型中,获得情绪识别结果。
实施例二
一种基于传感器数据的情绪识别***,该***能够执行上述方法,包括如下模块:
数据采集模块,通过传感器采集不同情绪状态的数据;
数据处理模块,对传感器采集的数据依次进行预处理、标签制作以及数据集划分,形成训练集、验证集和测试集;
模型搭建模块,构建基于自注意力机制的深度神经网络模型,深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层;
模型训练模块,使用训练集对网络模型进行训练,使用验证集对训练后的网络模型进行验证并确定超参数,使用测试集对验证后的网络模型的预测精准度进行测试;
情绪识别模块,将待识别的传感器数据输入网络模型中,并输出情绪识别结果。
以上是本发明的具体实施方式,但本发明的保护范围不应局限于此。
任何熟悉本领域的技术人员在本发明所揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内,因此本发明的保护范围应以权利要求书所限定的保护范围为准。

Claims (5)

1.一种基于传感器数据的情绪识别方法,其特征在于,包括以下步骤:
S1、数据采集,通过智能设备中的传感器采集用户在不同情绪状态的数据;
S2、数据处理,对传感器采集的数据依次进行预处理、标签制作以及数据集划分,形成训练集、验证集和测试集;
S3、模型搭建,构建基于自注意力机制的深度神经网络模型,深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层;
S4、模型训练,使用训练集对上述网络模型进行训练,训练过程使用交叉熵损失函数,并通过Adam算子进行优化;使用验证集对训练后的网络模型进行验证,确定网络模型的超参数,得到最终模型;使用测试集对最终模型的预测精准度进行测试;
S5、情绪识别,将待识别的传感器数据输入最终模型中,并输出情绪识别结果。
2.根据权利要求1所述的基于传感器数据的情绪识别方法,其特征在于:步骤S1中,所述传感器包括生理信号传感器、加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器和温度传感器;所述情绪状态包括高兴、惊讶、生气、厌恶、悲伤和恐惧六种基本情绪。
3.根据权利要求1所述的基于传感器数据的情绪识别方法,其特征在于:步骤S2中,所述预处理包括缺失值处理、同频处理、移动均值滤波降噪、小波阈值去噪、归一化和传感器数据模板化;所述标签制作采用One-Hot编码方式;所述数据划分按照M:N:L 的比例形成训练集、验证集和测试集,M、N、L 均为常数。
4.根据权利要求1所述的基于传感器数据的情绪识别方法,其特征在于:步骤S3中,所述CNN网络用于提取传感器数据的空间特征,包括卷积层、池化层和全连接层;所述BLSTM网络用于提取传感器数据的时间特征,包括两个并行的循环层;注意力机制层用来调节提取特征的表达,使用加性模型作为打分机制;Softmax分类层用于输出最终的情绪识别结果。
5.一种基于传感器数据的情绪识别***,其特征在于,包括如下模块:
数据采集模块,通过传感器采集不同情绪状态的数据;
数据处理模块,对传感器采集的数据依次进行预处理、标签制作以及数据集划分,形成训练集、验证集和测试集;
模型搭建模块,构建基于自注意力机制的深度神经网络模型,深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层;
模型训练模块,使用训练集对网络模型进行训练,使用验证集对训练后的网络模型进行验证并确定超参数,使用测试集对验证后的网络模型的预测精准度进行测试;
情绪识别模块,将待识别的传感器数据输入网络模型中,并输出情绪识别结果。
CN202210013567.7A 2022-01-07 2022-01-07 一种基于传感器数据的情绪识别方法和*** Pending CN114022909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210013567.7A CN114022909A (zh) 2022-01-07 2022-01-07 一种基于传感器数据的情绪识别方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210013567.7A CN114022909A (zh) 2022-01-07 2022-01-07 一种基于传感器数据的情绪识别方法和***

Publications (1)

Publication Number Publication Date
CN114022909A true CN114022909A (zh) 2022-02-08

Family

ID=80069643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210013567.7A Pending CN114022909A (zh) 2022-01-07 2022-01-07 一种基于传感器数据的情绪识别方法和***

Country Status (1)

Country Link
CN (1) CN114022909A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581736A (zh) * 2022-03-15 2022-06-03 首都师范大学 一种情绪图片库的搭建方法及***
CN117539356A (zh) * 2023-11-30 2024-02-09 澄知(北京)科技有限公司 一种基于冥想的交互式用户情绪感知方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299268A (zh) * 2018-10-24 2019-02-01 河南理工大学 一种基于双通道模型的文本情感分析方法
CN109299253A (zh) * 2018-09-03 2019-02-01 华南理工大学 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法
CN111931616A (zh) * 2020-07-29 2020-11-13 中国人民解放军国防科技大学 基于移动智能终端传感器设备的情绪识别方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299253A (zh) * 2018-09-03 2019-02-01 华南理工大学 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法
CN109299268A (zh) * 2018-10-24 2019-02-01 河南理工大学 一种基于双通道模型的文本情感分析方法
CN111931616A (zh) * 2020-07-29 2020-11-13 中国人民解放军国防科技大学 基于移动智能终端传感器设备的情绪识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
司新红等: "CNN结合BLSTM的短文本情感倾向性分析", 《软件导刊》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581736A (zh) * 2022-03-15 2022-06-03 首都师范大学 一种情绪图片库的搭建方法及***
CN117539356A (zh) * 2023-11-30 2024-02-09 澄知(北京)科技有限公司 一种基于冥想的交互式用户情绪感知方法及***
CN117539356B (zh) * 2023-11-30 2024-04-30 澄知(北京)科技有限公司 一种基于冥想的交互式用户情绪感知方法及***

Similar Documents

Publication Publication Date Title
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN113936339A (zh) 基于双通道交叉注意力机制的打架识别方法和装置
CN105426875A (zh) 一种基于深度卷积神经网络的人脸识别方法和考勤***
CN114022909A (zh) 一种基于传感器数据的情绪识别方法和***
CN111814661A (zh) 基于残差-循环神经网络的人体行为识别方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN109670548A (zh) 基于改进lstm-cnn的多尺寸输入har算法
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN114202791A (zh) 面部情绪识别模型的训练方法、情绪识别方法及相关设备
Wei et al. Real-time facial expression recognition for affective computing based on Kinect
CN113177559A (zh) 结合广度和密集卷积神经网络的图像识别方法、***、设备及介质
CN113673434B (zh) 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法
CN111954250A (zh) 一种轻量级Wi-Fi行为感知方法和***
CN109117774A (zh) 一种基于稀疏编码的多视角视频异常检测方法
CN116956222A (zh) 一种基于自适应特征提取的多复杂度行为识别***及方法
CN116626753B (zh) 一种基于多模态神经网络的微地震事件识别方法及***
CN117668648A (zh) 一种基于人工智能技术的宠物状态识别装置
Qiao et al. Group behavior recognition based on deep hierarchical network
Bilang et al. Cactaceae detection using MobileNet architecture
CN113569081A (zh) 图像识别方法、装置、设备及存储介质
CN116864128A (zh) 基于身体活动行为模式监测的心理状态评估***及其方法
CN116504253A (zh) 一种基于频率动态卷积模型的鸟类声音识别方法和***
CN116959098A (zh) 一种基于双粒度三模态度量学习的行人重识别方法及***
CN115909438A (zh) 基于深度时空域卷积神经网络的疼痛表情识别***
CN114916928A (zh) 一种人体姿态多通道卷积神经网络检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220208