CN114943924B - 基于人脸表***的疼痛评估方法、***、设备及介质 - Google Patents

基于人脸表***的疼痛评估方法、***、设备及介质 Download PDF

Info

Publication number
CN114943924B
CN114943924B CN202210706990.5A CN202210706990A CN114943924B CN 114943924 B CN114943924 B CN 114943924B CN 202210706990 A CN202210706990 A CN 202210706990A CN 114943924 B CN114943924 B CN 114943924B
Authority
CN
China
Prior art keywords
image
facial
pain
frame
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210706990.5A
Other languages
English (en)
Other versions
CN114943924A (zh
Inventor
张力
陈南杉
张治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210706990.5A priority Critical patent/CN114943924B/zh
Publication of CN114943924A publication Critical patent/CN114943924A/zh
Application granted granted Critical
Publication of CN114943924B publication Critical patent/CN114943924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于人脸表***的疼痛评估方法、***、设备及介质，该方法包括：获取人脸疼痛表***，并进行人脸预处理以得到预处理后的人脸表情图像集；将每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到对应的特征图；将每一特征图基于疼痛表情先验知识进行分割，得到对应的目标区域；将每一目标区域输入至预先训练的注意力网络中，得到对应的加权特征向量；将加权特征向量与对应的输出向量进行特征融合，得到融合特征；将基于融合特征得到的融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。实现了基于人脸表***能够有效地对其疼痛强度情况进行评估，且有利于提高疼痛评估的准确度。

Description

基于人脸表***的疼痛评估方法、***、设备及介质
技术领域
本发明涉图像识别技术领域，尤其涉及一种基于人脸表***的疼痛评估方法、***、设备及介质。
背景技术
疼痛是一种与实际或潜在的组织损伤相关的不愉快的感觉和情绪情感体验，是一种复杂的、涉及情感以及感官等多方面的主观感受。疼痛在增强身体的自我保护、恢复以及愈合等机能中起到了不可或缺的作用，但是疼痛也会给个体带来伤害，在一些重大疾病的治疗过程与预后中，严重影响患者的生活质量。在临床治疗过程中对患者的疼痛情况进行实时准确的评估对确保诊断的准确性和治疗的有效性十分重要。自我评估是当前在临床中被广泛使用的疼痛评估金标准，但是该方法在一些无法准确交流疼痛感受的特殊人群（例如有语言障碍的患者、痴呆患者和儿童等）上并不能得到有效的应用。
研究发现人的面部表情特征可以作为疼痛评估的重要依据，然而现有的基于面部表情疼痛评估方法大多依赖于专业受训的观察者，容易产生主观偏差且效率较低。随着计算机视觉技术以及面部表情识别技术的发展，使用图像和视频处理算法和深度神经网络对人脸图像视频进行处理并进行疼痛强度的自动评估已吸引越来越多的研究者的关注。但是，现有的端到端的深度神经网络模型并没有很好地利用领域知识，如面部表情中与疼痛相关的局部关键信息。
发明内容
本发明实施例提供了基于人脸表***的疼痛评估方法、***、设备及介质，旨在解决现有技术中端到端的深度神经网络模型并没有很好地利用面部表情中与疼痛相关的局部关键信息的问题。
第一方面，本发明实施例提供了一种疼痛自动评估方法，其包括：
获取人脸疼痛表***，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集；
将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集；
将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域；
将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量；
将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量；
基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
第二方面，本发明实施例提供了一种基于人脸表***疼痛评估***，其包括：
图像处理模块，用于获取人脸疼痛表***，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集；
特征图获取模块，用于将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集；
目标区域获取模块，用于将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域；
加权特征向量获取模块，用于将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量；
特征融合模块，用于将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量；
疼痛强度评估模块，用于基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的疼痛评估方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的疼痛评估方法。
本发明实施例提供了基于人脸表***的疼痛评估方法、***、设备及介质，该方法包括：获取人脸疼痛表***，并进行人脸预处理以得到预处理后的人脸表情图像集；将每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到对应的特征图；将每一特征图基于疼痛表情先验知识进行分割，得到对应的目标区域；将每一目标区域输入至预先训练的注意力网络中，得到对应的加权特征向量；将加权特征向量与对应的输出向量进行特征融合，得到融合特征；将基于融合特征得到融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。实现了基于人脸表***能够有效地对其疼痛强度情况进行评估，且有利于提高疼痛评估的准确度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于人脸表***的疼痛评估方法的流程示意图；
图2为本发明实施例提供的基于人脸表***的疼痛评估***的示意性框图；
图3为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的基于人脸表***的疼痛评估方法的流程示意图；该方法包括步骤S101~S106。
S101、获取人脸疼痛表***，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集。
在本实施例中，是以服务器为执行主体描述技术方案。由于对人脸疼痛表情的拍摄条件不同，使得原始图像中包含了许多与评估疼痛强度不相关的其他信息，为了排除干扰信息，需对拍摄到的原始图像进行图像处理，以减小后续提取人脸特征的影响。即当获取人脸疼痛表***之后，会对人脸疼痛表***中的每一帧图像进行人脸预处理，其中，对人脸预处理流程主要包括了人脸检测、人脸关键点检测、人脸对齐以及数据增强等，以得到去除背景以及其他非人脸区域部分的人脸表情图像，并组成预处理后的人脸表情图像集以输入网络模型中进行疼痛强度评估。
在一实施例中，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集包括：
检测所述人脸疼痛表***中的每一帧图像中的人脸区域，对每一帧图像中的人脸区域进行定位；
根据所述每一帧图像中的人脸区域进行人脸关键点定位处理，得到所述人脸疼痛表***中的每一帧图像对应的人脸关键点坐标，以组成人脸关键点坐标数据集；
根据所述人脸关键点坐标数据集对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集。
在本实施例中，在不同情况下拍摄的人脸疼痛表***中的每一帧图像上，人脸部分可出现在图像中的任意位置，甚至可能出现人脸移出了拍摄的范围导致图像中并没有包含人脸部分。因此，为了检测人脸疼痛表***中的每一帧图像中是否包含人脸以及确定人脸在图像中的相应位置，以方便去除背景以及其他非人脸区域的部分，减少干扰信息，可通过使用Viola-Jones 人脸检测算法对人脸疼痛表***中每一帧图像的人脸区域进行定位。再通过人脸关键点检测定位人脸器官所在位置，同时也确定了整个人脸的轮廓位置，得到人脸疼痛表***中的每一帧图像对应的人脸关键点坐标，进一步确定人脸位置，并组成人脸关键点坐标集以进行人脸对齐处理，其中，可采用级联回归树人脸定位算法检测人脸疼痛表***中的每一帧图像对应的人脸关键点坐标。由于采集人脸疼痛表***的条件不同，采集到的人脸疼痛表***中面部姿态可能不同，并且由于不同人脸或相同人脸与采集设备的距离不同，会导致采集到的人脸疼痛表***中的人脸大小有所差异，从而对后续提取特征产生影响，因此，需利用人脸关键点坐标对人脸疼痛表***中每一帧图像进行人脸对齐处理。
在一实施例中，所述根据所述人脸关键点坐标数据集对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集，包括：
基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，将所述每一人脸关键点坐标的平均位置作为标准脸关键点坐标，得到标准脸图像；
根据标准脸关键点坐标对所述标准脸图像进行Delaunay三角剖分，得到若干标准脸图像三角形；
获取所述人脸疼痛表***中的第m帧图像；其中，m的初始值为1，且m的取值范围是[1，M]，M表示所述人脸疼痛表***中所包括图像的总帧数；
基于所述人脸关键点坐标数据集获取所述第m帧图像对应的人脸关键点坐标；
根据所述第m帧图像对应的人脸关键点坐标对所述第m帧图像进行所述Delaunay三角剖分，得到若干第m帧图像三角形；其中，所述第m帧图像三角形的数量与所述标准脸图像三角形的数量相同；
将所述第m帧图像中每一个第m帧图像三角形分别仿射变换至所述标准脸图像中对应的所述标准脸图像三角形中，并通过双线性插值法得到第m帧人脸对齐图像；
将所述第m帧人脸对齐图像中的非人脸区域进行填充处理，得到第m帧预处理后的人脸表情图像；
将m自增1以更新m的取值，若确定m未超出M，返回执行所述获取所述人脸疼痛表***中的第m帧图像的步骤；
若确定m超出M，获取第1帧预处理后的人脸表情图像至第M帧预处理后的人脸表情图像，组成预处理后的人脸表情图像集。
在本实施例中，对人脸疼痛表***中的每一帧图像进行人脸对齐处理时，需通 过人脸关键点坐标数据集计算出每一人脸关键点坐标的平均位置，以将每一人脸关键点坐 标的平均位置作为标准脸关键点坐标，从而得到标准脸图像，后续对人脸疼痛表***中 的每一帧图像进行人脸对齐时，都需对齐到该标准脸图像中。其中，人脸疼痛表***中的 每一帧图像在经过人脸关键点定位处理后，会得到N个人脸关键点坐标，假设人脸疼痛表情 视频中的第m帧图像中N个人脸关键点坐标为，标准脸图像中的N个标 准脸关键点坐标为，根据标准脸关键点坐标对标 准脸图像进行Delaunay三角剖分，可以得J个三角形。经过三角剖分后 得到的J个三角形满足条件是：对于得到的J个三角形中任意两个三角形，该两个三 角形除了公共边外不重叠。使用Delaunay三角剖分的优点是它能够以最接近的三个坐标点 构成三角形，同时不论从图像的哪一些坐标点开始构建，最终构建得到的所有三角形具有 唯一性。并根据第m帧图像中的人脸关键点坐标对第m帧图像进行 Delaunay三角剖分，使第m帧图像得到与标准脸图像中同样数量的三角形。再对第m帧图像 与标准脸图像中的每一个对应的三角形进行仿射变换，具体的，假设标准脸图像中第s个三 角形，三角形的三个顶点为。而在第m帧图像中，与标准脸图像中对应的第s个 三角形为，其三个顶点分别为。将第m帧图像中的第s个三角形变换到标 准脸中对应的三角形中，三角形中的每一个像素也都分别对应到中。但由于变化的 过程中，第m帧图像中的人脸关键点坐标对应到标准脸图像中的标准脸关键点坐标通常来 说不是一个整数值，因此需采用双线性插值法来得到仿射变换之后坐标上的像素值。且对 于三角形外的非人脸区域，则使用白色来对其进行填充，从而得到第m帧图像经过人脸预处 理后的人脸表情图像。对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到 预处理后的人脸表情图像集，通过人脸对齐处理减少面部姿态差异对后续特征提取的影 响。
在一实施例中，所述基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，包括：
获取所述人脸关键点坐标数据集，根据预设公式计算得到每一人脸关键点坐标的平均位置；
所述预设公式为：
其中，N表示所述人脸疼痛表***中的每一帧图像对应的人脸关键点坐标总数，则表示输入的所述人脸疼痛表***中的第m帧图像中第i个人脸关键点坐标，表示第i个人脸关键点坐标的平均位置。
在本实施例中，人脸疼痛表***中的每一帧图像在经过人脸关键点定位处理后，会得到N个人脸关键点坐标，通过上述预设公式计算得到每一人脸关键点坐标的平均位置，从而通过每一人脸关键点坐标的平均位置得到一标准脸图像，以便于后续对人脸疼痛表***中的每一帧图像进行人脸对齐。
S102、将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集。
在本实施例中，使用预先训练的VGG网络作为主干网络，通过预先训练的VGG网络提取预处理后的人脸表情图像集中的每一帧人脸表情图像空间域特征，从而得到每一帧人脸表情图像分别对应的特征图。
在一实施例中，所述预先训练的VGG网络的训练过程，包括：
根据VGGFace数据库对VGG网络进行预训练，得到第一预先训练的VGG网络，其中，所述第一预先训练的VGG网络包括13层卷积层和3层全连接层；
将所述第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，并将所述第一预先训练的VGG网络的3层全连接层替换为重新初始化后的全连接层，得到修改后的第一预先训练的VGG网络；
将所述修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进行训练，得到所述预先训练的VGG网络；其中，所述预处理后的疼痛表情数据根据UNBC-McMaster数据库进行人脸预处理得到。
在本实施例中，需对VGG网络进行预训练，从而将预先训练的VGG网络作为主干网络对预处理后的人脸表情图像集中的每一帧人脸表情图像进行处理。在预训练时，使用的数据库为VGGFace数据库，该数据库中共包含了2622名人物的总计260万张人脸图像，这是一个比较大数据量的数据库，能够提供训练一个有效网络所需的大量数据。通过在VGGFace数据库上对VGG网络进行预训练，使得到的第一预先训练的VGG网络能够很好地学习到有关人脸的特征提取，其中第一预先训练的VGG网络包括13层卷积层和3层全连接层。在VGGFace数据库上对VGG网络的预训练完成后，需对得到的第一预先训练的VGG网络进行微调，首先将第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，只保留最后一层卷积层可进行训练，然后将第一预先训练的VGG网络的3层全连接层进行替换，替换为重新初始化后的全连接层，从而完成修改，最后将修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进行训练，将得到的预先训练的VGG网络作为最终的主干网络，从而完成对VGG网络的微调。其中，预处理后的疼痛表情数据根据UNBC-McMaster数据库进行人脸预处理得到，人脸预处理流程主要包括了人脸检测、人脸关键点检测、人脸对齐以及数据增强。
S103、将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域。
在本实施例中，为了更好地利用疼痛表情的领域知识，需将人脸疼痛表情的先验知识与注意力机制相结合，从而让网络能够更加关注人脸表情中与疼痛相关的部分。因此，根据疼痛表情先验知识分割出特征图集中每一特征图上与疼痛相关面部肌肉运动单元相应的区域，以得到每一特征图分别对应的目标区域。
在一实施例中，所述将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，包括：
基于疼痛表情先验知识得到目标点集；其中，所述目标点集包括与降低眉毛单元对应的第一目标点、与提起脸颊单元对应的第二目标点、与收紧眼睑单元对应的第三目标点、与皱起鼻肌单元对应的第四目标点、与提起上唇单元对应的第五目标点以及与眼睛眯缝单元对应的第六目标点；
获取所述目标点集中第k目标点；其中，k的初始值为1，且k的取值范围是[1，L]，L表示所述目标点集中所包括目标点的总数；
将所述特征图集中与所述第k目标点对应的区域进行分割，得到第k子目标区域；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标点集中第k目标点的步骤；
若确定k超出L，获取第1子目标区域至第k子目标区域，组成目标区域。
在本实施例中，通过研究疼痛与人脸面部肌肉活动单元之间的关系，发现了几个与疼痛密切相关的肌肉活动单元，与疼痛相关面部肌肉运动单元包括了AU4（降低眉毛单元）、AU6（提起脸颊单元）、AU7（收紧眼睑单元）、AU9（皱起鼻肌单元）、AU10（提起上唇单元）以及AU43（眼睛眯缝单元）。首先根据疼痛表情先验知识，确定与疼痛相关面部肌肉运动单元在人脸图像中相应的点，共选取了12个对应的点作为目标点集，然后分割出这些点在每一特征图中对应的区域，得到目标区域以输入至注意力网络中。
S104、将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量。
在本实施例中，为了更好地利用疼痛表情的领域知识，将疼痛表情先验知识与注意力机制相结合，将从特征图中分割出来的与疼痛相关面部肌肉运动单元相应的区域输入至预先训练的注意力网络中，通过预先训练的注意力网络得到目标区域集每一目标区域的加权特征向量。
在一实施例中，所述将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量，包括：
获取所述目标区域集每一目标区域中的第k子目标区域；
将所述第k子目标区域输入至预先训练的注意力网络中，得到所述第k子目标区域的特征向量及对应的重要性权重值；
将所述第k子目标区域的特征向量及对应的重要性权重值进行加权处理，得到所述第k子目标区域的加权特征向量；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标区域集每一目标区域中的第k子目标区域的步骤；
若确定k超出L，基于第k子目标区域的加权特征向量至第L子目标区域的加权特征向量，得到所述目标区域集每一目标区域分别对应的加权特征向量。
在本实施例中，预先训练的注意力网络中包含了两个模块，分别为模块一和模块二，通过模块一得到输入的子目标区域的特征向量，通过模块二得到输入的子目标区域的重要性权重值。输入到注意力网络中的子目标区域大小为6*6*512，在经过了两个卷积层后大小没有发生变化，能够保证网络从子目标区域中学习到相应的模式的同时保留更多的信息。将得到的卷积图分别送入两个模块中进行处理，卷积图经过模块一后，得到了64维的特征向量。卷积图送入模块二后，经过一个最大池化层后大小变为了3*3*512，然后经过一层卷积层以及两层全连接层后，使用sigmoid激活函数该子目标区域对应的重要性权重值，并将特征向量赋予对应的重要性权重值得到加权特征向量，由预先训练的注意力网络得到目标区域集每一目标区域分别对应的加权特征向量。
S105、将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量。
在本实施例中，人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，由预先训练的VGG网络全连接层得到每一帧人脸表情图像的输出向量，将由注意力网络得到目标区域的加权特征向量与对应的输出向量进行特征融合，更好的得到人脸表情中与疼痛相关的特征信息，排除无关的干扰特征，获得每一目标区域的融合特征。
S106、基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
在本实施例中，将每一目标区域的融合特征组成融合特征序列以输入至预先训练的长短时记忆网络中，通过预先训练的长短时记忆网络进行时域特征提取，最后输出疼痛强度评估值。
本申请通过预先训练的VGG网络作为主干网络，由预先训练的VGG网络和预先训练的长短时记忆网络作为网络模型中的循环卷积神经网络，并将注意力机制与人脸疼痛表情的相关先验知识进行结合送入循环卷积神经网络中，使得网络能够更加关注人脸表情中与疼痛相关的部分，能够有效地对人脸表***中的受试者的疼痛强度情况进行预测。
该方法实现了基于人脸表***能够有效地对其疼痛强度情况进行评估，且有利于提高疼痛评估的准确度。
本发明实施例还提供本发明实施例提供了一种基于人脸表***疼痛评估***，该基于人脸表***疼痛评估***用于在执行前述基于人脸表***疼痛评估方法的任一实施例。具体地，请参阅图2，图2是本发明实施例提供的基于人脸表***疼痛评估***100的示意性框图。
其中，如图2所示，基于人脸表***疼痛评估***100包括图像处理模块101、特征图获取模块102、目标区域获取模块103、加权特征向量获取模块104、特征融合模块105和疼痛强度评估模块106。
图像处理模块101，用于获取人脸疼痛表***，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集。
在本实施例中，是以服务器为执行主体描述技术方案。由于对人脸疼痛表情的拍摄条件不同，使得原始图像中包含了许多与评估疼痛强度不相关的其他信息，为了排除干扰信息，需对拍摄到的原始图像进行图像处理，以减小后续提取人脸特征的影响。即当获取人脸疼痛表***之后，会对人脸疼痛表***中的每一帧图像进行人脸预处理，其中，对人脸预处理流程主要包括了人脸检测、人脸关键点检测、人脸对齐以及数据增强等，以得到去除背景以及其他非人脸区域部分的人脸表情图像，并组成预处理后的人脸表情图像集以输入网络模型中进行疼痛强度评估。
在一实施例中，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集包括：
检测所述人脸疼痛表***中的每一帧图像中的人脸区域，对每一帧图像中的人脸区域进行定位；
根据所述每一帧图像中的人脸区域进行人脸关键点定位处理，得到所述人脸疼痛表***中的每一帧图像对应的人脸关键点坐标，以组成人脸关键点坐标数据集；
根据所述人脸关键点坐标数据集对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集。
在本实施例中，在不同情况下拍摄的人脸疼痛表***中的每一帧图像上，人脸部分可出现在图像中的任意位置，甚至可能出现人脸移出了拍摄的范围导致图像中并没有包含人脸部分。因此，为了检测人脸疼痛表***中的每一帧图像中是否包含人脸以及确定人脸在图像中的相应位置，以方便去除背景以及其他非人脸区域的部分，减少干扰信息，可通过使用Viola-Jones 人脸检测算法对人脸疼痛表***中每一帧图像的人脸区域进行定位。再通过人脸关键点检测定位人脸器官所在位置，同时也确定了整个人脸的轮廓位置，得到人脸疼痛表***中的每一帧图像对应的人脸关键点坐标，进一步确定人脸位置，并组成人脸关键点坐标集以进行人脸对齐处理，其中，可采用级联回归树人脸定位算法检测人脸疼痛表***中的每一帧图像对应的人脸关键点坐标。由于采集人脸疼痛表***的条件不同，采集到的人脸疼痛表***中面部姿态可能不同，并且由于不同人脸或相同人脸与采集设备的距离不同，会导致采集到的人脸疼痛表***中的人脸大小有所差异，从而对后续提取特征产生影响，因此，需利用人脸关键点坐标对人脸疼痛表***中每一帧图像进行人脸对齐处理。
在一实施例中，所述根据所述人脸关键点坐标数据集对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集，包括：
基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，将所述每一人脸关键点坐标的平均位置作为标准脸关键点坐标，得到标准脸图像；
根据标准脸关键点坐标对所述标准脸图像进行Delaunay三角剖分，得到若干标准脸图像三角形；
获取所述人脸疼痛表***中的第m帧图像；其中，m的初始值为1，且m的取值范围是[1，M]，M表示所述人脸疼痛表***中所包括图像的总帧数；
基于所述人脸关键点坐标数据集获取所述第m帧图像对应的人脸关键点坐标；
根据所述第m帧图像对应的人脸关键点坐标对所述第m帧图像进行所述Delaunay三角剖分，得到若干第m帧图像三角形；其中，所述第m帧图像三角形的数量与所述标准脸图像三角形的数量相同；
将所述第m帧图像中每一个第m帧图像三角形分别仿射变换至所述标准脸图像中对应的所述标准脸图像三角形中，并通过双线性插值法得到第m帧人脸对齐图像；
将所述第m帧人脸对齐图像中的非人脸区域进行填充处理，得到第m帧预处理后的人脸表情图像；
将m自增1以更新m的取值，若确定m未超出M，返回执行所述获取所述人脸疼痛表***中的第m帧图像的步骤；
若确定m超出M，获取第1帧预处理后的人脸表情图像至第M帧预处理后的人脸表情图像，组成预处理后的人脸表情图像集。
在本实施例中，对人脸疼痛表***中的每一帧图像进行人脸对齐处理时，需通 过人脸关键点坐标数据集计算出每一人脸关键点坐标的平均位置，以将每一人脸关键点坐 标的平均位置作为标准脸关键点坐标，从而得到标准脸图像，后续对人脸疼痛表***中 的每一帧图像进行人脸对齐时，都需对齐到该标准脸图像中。其中，人脸疼痛表***中的 每一帧图像在经过人脸关键点定位处理后，会得到N个人脸关键点坐标，假设人脸疼痛表情 视频中的第m帧图像中N个人脸关键点坐标为，标准脸图像中的N个标 准脸关键点坐标为，根据标准脸关键点坐标对标 准脸图像进行Delaunay三角剖分，可以得J个三角形。经过三角剖分后 得到的J个三角形满足条件是：对于得到的J个三角形中任意两个三角形，该两个三 角形除了公共边外不重叠。使用Delaunay三角剖分的优点是它能够以最接近的三个坐标点 构成三角形，同时不论从图像的哪一些坐标点开始构建，最终构建得到的所有三角形具有 唯一性。并根据第m帧图像中的人脸关键点坐标对第m帧图像进行 Delaunay三角剖分，使第m帧图像得到与标准脸图像中同样数量的三角形。再对第m帧图像 与标准脸图像中的每一个对应的三角形进行仿射变换，具体的，假设标准脸图像中第s个三 角形，三角形的三个顶点为。而在第m帧图像中，与标准脸图像中对应的第s个 三角形为，其三个顶点分别为。将第m帧图像中的第s个三角形变换到标 准脸中对应的三角形中，三角形中的每一个像素也都分别对应到中。但由于变化的 过程中，第m帧图像中的人脸关键点坐标对应到标准脸图像中的标准脸关键点坐标通常来 说不是一个整数值，因此需采用双线性插值法来得到仿射变换之后坐标上的像素值。且对 于三角形外的非人脸区域，则使用白色来对其进行填充，从而得到第m帧图像经过人脸预处 理后的人脸表情图像。对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到 预处理后的人脸表情图像集，通过人脸对齐处理减少面部姿态差异对后续特征提取的影 响。
在一实施例中，所述基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，包括：
获取所述人脸关键点坐标数据集，根据预设公式计算得到每一人脸关键点坐标的平均位置；
所述预设公式为：
其中，N表示所述人脸疼痛表***中的每一帧图像对应的人脸关键点坐标总数，则表示输入的所述人脸疼痛表***中的第m帧图像中第i个人脸关键点坐标，表示第i个人脸关键点坐标的平均位置。
在本实施例中，人脸疼痛表***中的每一帧图像在经过人脸关键点定位处理后，会得到N个人脸关键点坐标，通过上述预设公式计算得到每一人脸关键点坐标的平均位置，从而通过每一人脸关键点坐标的平均位置得到一标准脸图像，以便于后续对人脸疼痛表***中的每一帧图像进行人脸对齐。
特征图获取模块102，用于将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集。
在本实施例中，使用预先训练的VGG网络作为主干网络，通过预先训练的VGG网络提取预处理后的人脸表情图像集中的每一帧人脸表情图像空间域特征，从而得到每一帧人脸表情图像分别对应的特征图。
在一实施例中，所述预先训练的VGG网络的训练过程，包括：
根据VGGFace数据库对VGG网络进行预训练，得到第一预先训练的VGG网络，其中，所述第一预先训练的VGG网络包括13层卷积层和3层全连接层；
将所述第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，并将所述第一预先训练的VGG网络的3层全连接层替换为重新初始化后的全连接层，得到修改后的第一预先训练的VGG网络；
将所述修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进行训练，得到所述预先训练的VGG网络；其中，所述预处理后的疼痛表情数据根据UNBC-McMaster数据库进行人脸预处理得到。
在本实施例中，需对VGG网络进行预训练，从而将预先训练的VGG网络作为主干网络对预处理后的人脸表情图像集中的每一帧人脸表情图像进行处理。在预训练时，使用的数据库为VGGFace数据库，该数据库中共包含了2622名人物的总计260万张人脸图像，这是一个比较大数据量的数据库，能够提供训练一个有效网络所需的大量数据。通过在VGGFace数据库上对VGG网络进行预训练，使得到的第一预先训练的VGG网络能够很好地学习到有关人脸的特征提取，其中第一预先训练的VGG网络包括13层卷积层和3层全连接层。在VGGFace数据库上对VGG网络的预训练完成后，需对得到的第一预先训练的VGG网络进行微调，首先将第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，只保留最后一层卷积层可进行训练，然后将第一预先训练的VGG网络的3层全连接层进行替换，替换为重新初始化后的全连接层，从而完成修改，最后将修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进行训练，将得到的预先训练的VGG网络作为最终的主干网络，从而完成对VGG网络的微调。其中，预处理后的疼痛表情数据根据UNBC-McMaster数据库进行人脸预处理得到，人脸预处理流程主要包括了人脸检测、人脸关键点检测、人脸对齐以及数据增强。
目标区域获取模块103，用于将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域。
在本实施例中，为了更好地利用疼痛表情的领域知识，需将人脸疼痛表情的先验知识与注意力机制相结合，从而让网络能够更加关注人脸表情中与疼痛相关的部分。因此，根据疼痛表情先验知识分割出特征图集中每一特征图上与疼痛相关面部肌肉运动单元相应的区域，以得到每一特征图分别对应的目标区域。
在一实施例中，所述将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，包括：
基于疼痛表情先验知识得到目标点集；其中，所述目标点集包括与降低眉毛单元对应的第一目标点、与提起脸颊单元对应的第二目标点、与收紧眼睑单元对应的第三目标点、与皱起鼻肌单元对应的第四目标点、与提起上唇单元对应的第五目标点以及与眼睛眯缝单元对应的第六目标点；
获取所述目标点集中第k目标点；其中，k的初始值为1，且k的取值范围是[1，L]，L表示所述目标点集中所包括目标点的总数；
将所述特征图集中与所述第k目标点对应的区域进行分割，得到第k子目标区域；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标点集中第k目标点的步骤；
若确定k超出L，获取第1子目标区域至第k子目标区域，组成目标区域。
在本实施例中，通过研究疼痛与人脸面部肌肉活动单元之间的关系，发现了几个与疼痛密切相关的肌肉活动单元，与疼痛相关面部肌肉运动单元包括了AU4（降低眉毛单元）、AU6（提起脸颊单元）、AU7（收紧眼睑单元）、AU9（皱起鼻肌单元）、AU10（提起上唇单元）以及AU43（眼睛眯缝单元）。首先根据疼痛表情先验知识，确定与疼痛相关面部肌肉运动单元在人脸图像中相应的点，共选取了12个对应的点作为目标点集，然后分割出这些点在每一特征图中对应的区域，得到目标区域以输入至注意力网络中。
加权特征向量获取模块104，用于将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量。
在本实施例中，为了更好地利用疼痛表情的领域知识，将疼痛表情先验知识与注意力机制相结合，将从特征图中分割出来的与疼痛相关面部肌肉运动单元相应的区域输入至预先训练的注意力网络中，通过预先训练的注意力网络得到目标区域集每一目标区域的加权特征向量。
在一实施例中，所述将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量，包括：
获取所述目标区域集每一目标区域中的第k子目标区域；
将所述第k子目标区域输入至预先训练的注意力网络中，得到所述第k子目标区域的特征向量及对应的重要性权重值；
将所述第k子目标区域的特征向量及对应的重要性权重值进行加权处理，得到所述第k子目标区域的加权特征向量；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标区域集每一目标区域中的第k子目标区域的步骤；
若确定k超出L，基于第k子目标区域的加权特征向量至第L子目标区域的加权特征向量，得到所述目标区域集每一目标区域分别对应的加权特征向量。
在本实施例中，预先训练的注意力网络中包含了两个模块，分别为模块一和模块二，通过模块一得到输入的子目标区域的特征向量，通过模块二得到输入的子目标区域的重要性权重值。输入到注意力网络中的子目标区域大小为6*6*512，在经过了两个卷积层后大小没有发生变化，能够保证网络从子目标区域中学习到相应的模式的同时保留更多的信息。将得到的卷积图分别送入两个模块中进行处理，卷积图经过模块一后，得到了64维的特征向量。卷积图送入模块二后，经过一个最大池化层后大小变为了3*3*512，然后经过一层卷积层以及两层全连接层后，使用sigmoid激活函数该子目标区域对应的重要性权重值，并将特征向量赋予对应的重要性权重值得到加权特征向量，由预先训练的注意力网络得到目标区域集每一目标区域分别对应的加权特征向量。
特征融合模块105，用于将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量。
在本实施例中，人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，由预先训练的VGG网络全连接层得到每一帧人脸表情图像的输出向量，将由注意力网络得到目标区域的加权特征向量与对应的输出向量进行特征融合，更好的得到人脸表情中与疼痛相关的特征信息，排除无关的干扰特征，获得每一目标区域的融合特征。
疼痛强度评估模块106，用于基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
在本实施例中，将每一目标区域的融合特征组成融合特征序列以输入至预先训练的长短时记忆网络中，通过预先训练的长短时记忆网络进行时域特征提取，最后输出疼痛强度评估值。
本申请通过预先训练的VGG网络作为主干网络，由预先训练的VGG网络和预先训练的长短时记忆网络作为网络模型中的循环卷积神经网络，并将注意力机制与人脸疼痛表情的相关先验知识进行结合送入循环卷积神经网络中，使得网络能够更加关注人脸表情中与疼痛相关的部分，能够有效地对人脸表***中的受试者的疼痛强度情况进行预测。
上述基于人脸表***的疼痛评估方法可以实现为计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3，图3是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，也可以是服务器集群。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图3，该计算机设备500包括通过装置总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作装置5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于人脸表***的疼痛评估方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于人脸表***的疼痛评估方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于人脸表***的疼痛评估方法。
本领域技术人员可以理解，图3中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图3所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质，也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于人脸表***的疼痛评估方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，后台服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于人脸表***的疼痛评估方法，其特征在于，包括：
获取人脸疼痛表***，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集；
将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集；
将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域；
将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量；
将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量；
基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
2.根据权利要求1所述的疼痛评估方法，其特征在于，所述将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集，包括：
检测所述人脸疼痛表***中的每一帧图像中的人脸区域，对每一帧图像中的人脸区域进行定位；
根据所述每一帧图像中的人脸区域进行人脸关键点定位处理，得到所述人脸疼痛表***中的每一帧图像对应的人脸关键点坐标，以组成人脸关键点坐标数据集；
根据所述人脸关键点坐标数据集对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集。
3.根据权利要求2所述的疼痛评估方法，其特征在于，所述根据所述人脸关键点坐标数据集对所述人脸疼痛表***中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集，包括：
基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，将所述每一人脸关键点坐标的平均位置作为标准脸关键点坐标，得到标准脸图像；
根据标准脸关键点坐标对所述标准脸图像进行Delaunay三角剖分，得到若干标准脸图像三角形；
获取所述人脸疼痛表***中的第m帧图像；其中，m的初始值为1，且m的取值范围是[1，M]，M表示所述人脸疼痛表***中所包括图像的总帧数；
基于所述人脸关键点坐标数据集获取所述第m帧图像对应的人脸关键点坐标；
根据所述第m帧图像对应的人脸关键点坐标对所述第m帧图像进行所述Delaunay三角剖分，得到若干第m帧图像三角形；其中，所述第m帧图像三角形的数量与所述标准脸图像三角形的数量相同；
将所述第m帧图像中每一个第m帧图像三角形分别仿射变换至所述标准脸图像中对应的所述标准脸图像三角形中，并通过双线性插值法得到第m帧人脸对齐图像；
将所述第m帧人脸对齐图像中的非人脸区域进行填充处理，得到第m帧预处理后的人脸表情图像；
将m自增1以更新m的取值，若确定m未超出M，返回执行所述获取所述人脸疼痛表***中的第m帧图像的步骤；
若确定m超出M，获取第1帧预处理后的人脸表情图像至第M帧预处理后的人脸表情图像，组成预处理后的人脸表情图像集。
4.根据权利要求3所述的疼痛评估方法，其特征在于，所述基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，包括：
获取所述人脸关键点坐标数据集，根据预设公式计算得到每一人脸关键点坐标的平均位置；
所述预设公式为：
其中，N表示所述人脸疼痛表***中的每一帧图像对应的人脸关键点坐标总数，则表示输入的所述人脸疼痛表***中的第m帧图像中第i个人脸关键点坐标，(xi，yi)表示第i个人脸关键点坐标的平均位置。
5.根据权利要求1所述的疼痛评估方法，其特征在于，所述将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，包括：
基于疼痛表情先验知识得到目标点集；其中，所述目标点集包括与降低眉毛单元对应的第一目标点、与提起脸颊单元对应的第二目标点、与收紧眼睑单元对应的第三目标点、与皱起鼻肌单元对应的第四目标点、与提起上唇单元对应的第五目标点以及与眼睛眯缝单元对应的第六目标点；
获取所述目标点集中第k目标点；其中，k的初始值为1，且k的取值范围是[1，L]，L表示所述目标点集中所包括目标点的总数；
将所述特征图集中与所述第k目标点对应的区域进行分割，得到第k子目标区域；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标点集中第k目标点的步骤；
若确定k超出L，获取第1子目标区域至第k子目标区域，组成目标区域。
6.根据权利要求1所述的疼痛评估方法，其特征在于，所述将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量，包括：
获取所述目标区域集每一目标区域中的第k子目标区域；
将所述第k子目标区域输入至预先训练的注意力网络中，得到所述第k子目标区域的特征向量及对应的重要性权重值；
将所述第k子目标区域的特征向量及对应的重要性权重值进行加权处理，得到所述第k子目标区域的加权特征向量；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标区域集每一目标区域中的第k子目标区域的步骤；
若确定k超出L，基于第k子目标区域的加权特征向量至第L子目标区域的加权特征向量，得到所述目标区域集每一目标区域分别对应的加权特征向量。
7.根据权利要求1所述的疼痛评估方法，其特征在于，所述预先训练的VGG网络的训练过程，包括：
根据VGGFace数据库对VGG网络进行预训练，得到第一预先训练的VGG网络，其中，所述第一预先训练的VGG网络包括13层卷积层和3层全连接层；
将所述第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，并将所述第一预先训练的VGG网络的3层全连接层替换为重新初始化后的全连接层，得到修改后的第一预先训练的VGG网络；
将所述修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进行训练，得到所述预先训练的VGG网络；其中，所述预处理后的疼痛表情数据根据UNBC-McMaster数据库进行人脸预处理得到。
8.一种基于人脸表***的疼痛评估***，其特征在于，包括：
图像处理模块，用于获取人脸疼痛表***，将所述人脸疼痛表***中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集；
特征图获取模块，用于将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集；
目标区域获取模块，用于将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域；
加权特征向量获取模块，用于将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量；
特征融合模块，用于将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量；
疼痛强度评估模块，用于基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的疼痛评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的疼痛评估方法。
CN202210706990.5A 2022-06-21 2022-06-21 基于人脸表***的疼痛评估方法、***、设备及介质 Active CN114943924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210706990.5A CN114943924B (zh) 2022-06-21 2022-06-21 基于人脸表***的疼痛评估方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210706990.5A CN114943924B (zh) 2022-06-21 2022-06-21 基于人脸表***的疼痛评估方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN114943924A CN114943924A (zh) 2022-08-26
CN114943924B true CN114943924B (zh) 2024-05-14

Family

ID=82911523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210706990.5A Active CN114943924B (zh) 2022-06-21 2022-06-21 基于人脸表***的疼痛评估方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN114943924B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117038055B (zh) * 2023-07-05 2024-04-02 广州市妇女儿童医疗中心 一种基于多专家模型的疼痛评估方法、***、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表***的疼痛水平评估方法
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN111210907A (zh) * 2020-01-14 2020-05-29 西北工业大学 一种基于空时注意力机制的疼痛强度估计方法
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN113080855A (zh) * 2021-03-30 2021-07-09 广东省科学院智能制造研究所 一种基于深度信息的面部疼痛表情识别方法及***
CN114469009A (zh) * 2022-03-18 2022-05-13 电子科技大学 一种面部疼痛表情分级评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表***的疼痛水平评估方法
CN111210907A (zh) * 2020-01-14 2020-05-29 西北工业大学 一种基于空时注意力机制的疼痛强度估计方法
CN113080855A (zh) * 2021-03-30 2021-07-09 广东省科学院智能制造研究所 一种基于深度信息的面部疼痛表情识别方法及***
CN114469009A (zh) * 2022-03-18 2022-05-13 电子科技大学 一种面部疼痛表情分级评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸疼痛表情识别综述;彭进业;杨瑞靖;冯晓毅;王文星;彭先霖;;数据采集与处理;20160115(第01期);全文 *

Also Published As

Publication number Publication date
CN114943924A (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
Zhang et al. Bridge-Net: Context-involved U-net with patch-based loss weight mapping for retinal blood vessel segmentation
Amin et al. Attention-inception and long-short-term memory-based electroencephalography classification for motor imagery tasks in rehabilitation
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别***
CN106682389B (zh) 一种用于监控高血压引发的眼部病变健康管理***
JP2019525786A (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
de San Roman et al. Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
CN109902558A (zh) 一种基于cnn-lstm的人体健康深度学习预测方法
US10635919B2 (en) Information processing device, image processing system, image processing method, and program storage medium
CN116311549A (zh) 活体对象识别方法、设备和计算机可读存储介质
CN115024706A (zh) 一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法
CN112017155B (zh) 健康体征数据的测量方法、装置、***和存储介质
CN114943924B (zh) 基于人脸表***的疼痛评估方法、***、设备及介质
CN111176447A (zh) 一种融合深度网络和几何模型的增强现实眼动交互方法
CN114677730A (zh) 活体检测方法、装置、电子设备及存储介质
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
Adi et al. Analysis and Detection of Cholesterol by Wavelets based and ANN Classification
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测***
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
Ni et al. Diverse local facial behaviors learning from enhanced expression flow for microexpression recognition
Yuan et al. Pain intensity recognition from masked facial expressions using swin-transformer
CN115546491A (zh) 一种跌倒报警方法、***、电子设备及存储介质
WO2020263277A1 (en) Landmark temporal smoothing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant