CN110135242B - 基于低分辨率红外热成像深度感知的情绪识别装置及方法 - Google Patents

基于低分辨率红外热成像深度感知的情绪识别装置及方法 Download PDF

Info

Publication number
CN110135242B
CN110135242B CN201910241252.6A CN201910241252A CN110135242B CN 110135242 B CN110135242 B CN 110135242B CN 201910241252 A CN201910241252 A CN 201910241252A CN 110135242 B CN110135242 B CN 110135242B
Authority
CN
China
Prior art keywords
thermal imaging
low
infrared thermal
model
resolution infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910241252.6A
Other languages
English (en)
Other versions
CN110135242A (zh
Inventor
陈静
黄诗颖
江灏
缪希仁
朱思琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910241252.6A priority Critical patent/CN110135242B/zh
Publication of CN110135242A publication Critical patent/CN110135242A/zh
Application granted granted Critical
Publication of CN110135242B publication Critical patent/CN110135242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提出一种基于低分辨率红外热成像深度感知的情绪识别装置及方法，其特征在于，包括：相连接的低分辨率红外热成像传感器、MCU最小***和上位机；所述MCU最小***和上位机通过无线通信模块连接。利用人体在不同情绪状态下的生理反应不同，通过低分辨率红外传感器对人体面部本身进行感知，并通过深度学习网络模型对人的多种情绪实现识别，当面对情绪由于个体的不同而展现出不同的表现形式或情绪被刻意掩盖时，人体向外辐射的红外线并不会因此而受影响，克服了现有技术通过摄像头进行视觉感知捕捉到错误信息，或因外部因素如光线等的影响使捕捉到的信息不完全而无法准确识别的缺陷。

Description

基于低分辨率红外热成像深度感知的情绪识别装置及方法
技术领域
本发明涉及红外热成像技术、传感器技术、深度学习领域，尤其涉及一种基于低分辨率红外热成像深度感知的情绪识别装置及方法。
背景技术
随着人工智能时代的到来，目前人工智能最成熟的应用之一就是图像和语音识别，其已经广泛应用到拍照识物、画面增强、人机交互等各种领域。情绪识别技术已经成为人机交互体验优化的研究方向之一。人工智能情绪识别的能力用处极大，在医疗业、服务业等都会发挥不小的作用。首先，人机交互的体现更加自然顺畅。这对于空巢老人、儿童的陪护将起到积极的作用。通过对人的情绪捕捉，它可以为老人儿童提供心理安慰。而在这个基础上，利用人工智能进行情绪识别也能更好地帮助解决心理疾病问题，分担心理医生的精力，成熟的人工智能会在对话的过程中照顾到患者的情绪，从而慢慢地缓解病情。另外，利用情绪识别来管理和控制情绪也可能会成为一些情绪易失控者的福音。
人的情绪体现通常表现出明显的冲动性和外部特征，包括：认知评估、身体反应、主观体验（如喜悦、愤怒，悲伤等）、外在表现（面部表情、身体姿态和动作等）和行动倾向（产生动机）。现有的情绪识别技术，主要是从人体的外在表现进行情绪识别，例如通过眼球转动评估性格特征，面部微表情分析，语言表现分析等，上述技术的研究只利用一种或两种识别技术进行情绪判断，或抓住某个微表情、某一个声音，尚未能对人进行全方位、立体式分析。但是，研究情绪识别并不是一定要令每种情绪都有对应的外在表现，情绪与心理相关的复杂性不仅导致其与人的动作、表情并不一定呈必然相关性。此外，情绪识别还有可能因为虚假的表象而增加难度。目前情绪识别技术很大程度上还是基于可见光图像或视频等外在表现的特征提取展开，当情绪由于个体的不同而展现出不同的表现形式时，想要透过表层的识别去进行深层的情绪认识和理解，进而优化人机交互的体验，尚存在瓶颈。
发明内容
针对现有技术存在的空白和不足，本发明具体采用以下技术方案：
一种基于低分辨率红外热成像深度感知的情绪识别装置，其特征在于，包括：相连接的低分辨率红外热成像传感器、MCU最小***和上位机；所述MCU最小***和上位机通过无线通信模块连接。
优选地，所述低分辨率红外热成像传感器和MCU最小***通过IIC接口连接。
优选地，所述低分辨率红外热成像传感器和MCU最小***设置在电源电路的上方；所述电源电路设置在无线通信模块上方；所述无线通信模块采用ZigBee模块。
优选地，所述上位机通过深度学习方法对所述低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断。
优选地，所述深度学习通过以下步骤实现：
步骤S1：通过所述低分辨率红外热成像传感器采集多个人脸热成像数据，并对所述人脸热成像数据进行分类标记；
步骤S2：建立温度数据库；所述温度数据库包括数据文件和标签文件；
步骤S3：根据温度数据库建立训练集和验证集；
步骤S4：建立深度学习初始模型，进行情绪特征提取；
步骤S5：训练初始模型，获得目标模型；
步骤S6：固化模型用于实时检测。
优选地，在步骤S1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签。
优选地，在步骤S3中，将所述温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集。
优选地，在步骤S4中，情绪特征提取选用轻量级的CNN网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用RMSProp，参数的二次正则化超参数为0.0001，批次大小为32。
优选地，在步骤S5中，所述初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型。
优选地，在步骤S6中，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果；当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。
本发明的创新点在于：利用人体在不同情绪状态下的生理反应不同，通过低分辨率红外传感器对人体面部本身进行感知，并通过深度学习网络模型对人的多种情绪实现识别，当面对情绪由于个体的不同而展现出不同的表现形式或情绪被刻意掩盖时，人体向外辐射的红外线并不会因此而受影响，克服了现有技术通过摄像头进行视觉感知捕捉到错误信息，或因外部因素如光线等的影响使捕捉到的信息不完全而无法准确识别的缺陷，相比现有的情绪识别技术，基于低分辨率红外热成像深度感知的情绪识别的准确性能得到大幅提高。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例整体结构示意图；
图2是本发明实施例深度学习实现过程示意图；
图3是本发明实施例数据集标签标注示意图；
图4是本发明实施例验证集准确率示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：
考虑到目前大多数情绪识别与分析研究主要是基于可见光图像或视频展开，光照的变化会对基于可见图像或视频的表情识别带来一定程度的影响，而红外热成像技术对面部血液流动而产生的温度变化进行感知，不会受光照等成像因素的影响，也不会受到情绪被人体掩盖的影响，因此本发明的情绪识别技术采用低分辨率红外热成像传感器进行深度感知，能实时探测不同情绪所反映出的人体热成像数据，本发明中通过所述的低分辨率红外热成像传感器获得近距离（半米左右）人脸热成像数据。
如图1所示，本发明实施例装置部分包括：相连接的低分辨率红外热成像传感器、MCU最小***和上位机；MCU最小***和上位机通过无线通信模块连接。
其中，低分辨率红外热成像传感器和MCU最小***通过MCU最小***上的IIC接口连接并进行通信。
该装置采用堆叠式设计，低分辨率红外热成像传感器和MCU最小***设置在电源电路的上方作为第一层；电源电路设置在无线通信模块上方作为第二层，采用锂电池或纽扣电池进行供电；无线通信模块采用ZigBee模块作为第三层。
上位机通过深度学习方法对低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断。其对应的识别程序可以通过是基于深度学习模型构建的GUI来具体实现。
深度学习通过以下步骤实现：
步骤S1：通过低分辨率红外热成像传感器采集多个人脸热成像数据，并对人脸热成像数据进行分类标记；
步骤S2：建立温度数据库；温度数据库包括数据文件和标签文件；
步骤S3：根据温度数据库建立训练集和验证集；
步骤S4：建立深度学习初始模型，进行情绪特征提取；
步骤S5：训练初始模型，获得目标模型；
步骤S6：固化模型用于实时检测。
其中，在步骤S1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签。通过低分辨率红外热成像传感器测量实时8*8温度数据，上传给上位机，上位机接收数据。根据数据收集对象的不同状态对数据文件分类为不同情绪项。数据集部分包括不同人不同性别不同年龄的不同情绪，并为不同情绪人工标注标签，可以以某个数字代表某种情绪。并且为了排除天气、温度对温度矩阵中背景温度的影响，从而影响模型准确性，因此数据集收集在不同天气和温度情况下进行。如图3所示，为数据集标签标注示意图。
在步骤S2中，通过数据格式转换将初始数据库转换为温度数据库。温度数据库包括数据文件和标签文件。数据文件为data文件，格式为：样本总数*64，标签文件包括label文件及one_hot独热标签文件。
在步骤S3中，将温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集。
在步骤S4中，情绪特征提取选用轻量级的CNN网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用RMSProp，参数的二次正则化超参数为0.0001，批次大小为32。
在步骤S5中，初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型。目标模型含有不同情绪下的温度特征知识。
在步骤S6中，模型性能随迭代次数上升，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果。如图4所示，模型作用于验证集上的准确率，观察模型性能变化，当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。将待检测的温度数据输入到固化目标模型中输出置信度得分。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于低分辨率红外热成像深度感知的情绪识别装置及方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (1)

1.一种基于低分辨率红外热成像深度感知的情绪识别装置，其特征在于，包括：相连接的低分辨率红外热成像传感器、MCU最小***和上位机；所述MCU最小***和上位机通过无线通信模块连接；
所述低分辨率红外热成像传感器和MCU最小***通过IIC接口连接；
所述低分辨率红外热成像传感器和MCU最小***设置在电源电路的上方；所述电源电路设置在无线通信模块上方；所述无线通信模块采用ZigBee模块；
所述上位机通过深度学习方法对所述低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断；
所述深度学习通过以下步骤实现：
步骤S1：通过所述低分辨率红外热成像传感器采集多个人脸热成像数据，并对所述人脸热成像数据进行分类标记；
步骤S2：建立温度数据库；所述温度数据库包括数据文件和标签文件；
步骤S3：根据温度数据库建立训练集和验证集；
步骤S4：建立深度学习初始模型，进行情绪特征提取；
步骤S5：训练初始模型，获得目标模型；
步骤S6：固化模型用于实时检测；
在步骤S1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签；
在步骤S3中，将所述温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集；
在步骤S4中，情绪特征提取选用轻量级的CNN网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用RMSProp，参数的二次正则化超参数为0.0001，批次大小为32；
在步骤S5中，所述初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型；
在步骤S6中，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果；当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。
CN201910241252.6A 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法 Active CN110135242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910241252.6A CN110135242B (zh) 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910241252.6A CN110135242B (zh) 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法

Publications (2)

Publication Number Publication Date
CN110135242A CN110135242A (zh) 2019-08-16
CN110135242B true CN110135242B (zh) 2023-04-18

Family

ID=67568672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910241252.6A Active CN110135242B (zh) 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法

Country Status (1)

Country Link
CN (1) CN110135242B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598607B (zh) * 2019-09-02 2022-04-15 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测***
CN112560945A (zh) * 2020-12-14 2021-03-26 珠海格力电器股份有限公司 一种基于情绪识别的设备控制方法及***
CN112507916B (zh) * 2020-12-16 2021-07-27 苏州金瑞阳信息科技有限责任公司 一种基于面部神态的人脸检测方法和***
CN112597938B (zh) * 2020-12-29 2023-06-02 杭州海康威视***技术有限公司 一种表情检测方法、装置、电子设备及存储介质
CN113520394B (zh) * 2021-06-18 2023-07-07 安阳师范学院 一种基于表情识别与心理学测试生成性格的分析方法
CN115024726A (zh) * 2022-04-27 2022-09-09 上海迎智正能文化发展有限公司 基于红外技术的情绪实时观测装置及其运行方法
CN115497123B (zh) * 2022-10-21 2023-06-23 北京鹰之眼智能健康科技有限公司 感兴趣区域状态参数获取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526997A (zh) * 2009-04-22 2009-09-09 无锡名鹰科技发展有限公司 嵌入式红外人脸图像识别方法及识别装置
CN108875464A (zh) * 2017-05-16 2018-11-23 南京农业大学 一种基于三维人脸情绪识别的灯光音乐控制***及控制方法
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109034090A (zh) * 2018-08-07 2018-12-18 南通大学 一种基于肢体动作的情感识别***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10517521B2 (en) * 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526997A (zh) * 2009-04-22 2009-09-09 无锡名鹰科技发展有限公司 嵌入式红外人脸图像识别方法及识别装置
CN108875464A (zh) * 2017-05-16 2018-11-23 南京农业大学 一种基于三维人脸情绪识别的灯光音乐控制***及控制方法
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109034090A (zh) * 2018-08-07 2018-12-18 南通大学 一种基于肢体动作的情感识别***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于面部红外热图的恐惧情绪识别》;刘小燕;《电子测量与仪器学报》;20170516(第三期);353-360 *

Also Published As

Publication number Publication date
CN110135242A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
Filippini et al. Thermal infrared imaging-based affective computing and its application to facilitate human robot interaction: A review
CN113705725B (zh) 一种基于多模态信息融合的用户人格特征预测方法和装置
Avola et al. Deep temporal analysis for non-acted body affect recognition
CN112529054B (zh) 一种多源异构数据的多维度卷积神经网络学习者建模方法
CN113506624A (zh) 基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预***
CN110363129A (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查***
Yahaya et al. Gesture recognition intermediary robot for abnormality detection in human activities
CN111768863B (zh) 一种基于人工智能的婴幼儿发展监测***及其方法
CN114255508A (zh) 一种基于OpenPose的学生体态检测分析及效率评估方法
Li et al. Infant monitoring system for real-time and remote discomfort detection
CN115120196A (zh) 一种用于评估认知障碍的数字生物标志物
Ray et al. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression
Yurtsever et al. BabyPose: Real-time decoding of baby’s non-verbal communication using 2D video-based pose estimation
Pogorelc et al. Detecting gait-related health problems of the elderly using multidimensional dynamic time warping approach with semantic attributes
CN115349828A (zh) 一种基于计算机深度学习的新生儿疼痛评估***
CN114550299A (zh) 基于视频的老年人日常生活活动能力评估***和方法
Peng Research on Emotion Recognition Based on Deep Learning for Mental Health
Tan et al. Towards automatic engagement recognition of autistic children in a machine learning approach
Liao et al. Sequence-level affective level estimation based on pyramidal facial expression features
Liu et al. Affective Computing for Healthcare: Recent Trends, Applications, Challenges, and Beyond
CN114983434A (zh) 一种基于多模态脑功能信号识别的***及方法
Cowen et al. Facial movements have over twenty dimensions of perceived meaning that are only partially captured with traditional methods
Altaf et al. Evaluation of Dilated CNN for Hand Gesture Classification
Sun et al. Aue-ipa: An au engagement based infant pain assessment method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant