CN107358180A - 一种人脸表情的疼痛评估方法 - Google Patents
一种人脸表情的疼痛评估方法 Download PDFInfo
- Publication number
- CN107358180A CN107358180A CN201710505075.9A CN201710505075A CN107358180A CN 107358180 A CN107358180 A CN 107358180A CN 201710505075 A CN201710505075 A CN 201710505075A CN 107358180 A CN107358180 A CN 107358180A
- Authority
- CN
- China
- Prior art keywords
- mrow
- pain
- msup
- expressive features
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及表情识别及疼痛评估技术领域，具体来说是一种人脸表情的疼痛评估方法，对图像先后进行去噪平滑处理人脸在图像中的位置检测处理和归一化处理，并分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征后在进行特征融合，最大程度地实现了表情特征向量集的抗干扰能力，能够提取出更为全面的表情特征，使得后续的疼痛评估更为准确，最后采用SVR回归分类器对待训练的疼痛表情特征向量集进行训练与学习，并得出SVR模型，能够有效、快速、准确地对疼痛表情的等级作出评估。
Description
[技术领域]
本发明涉及表情识别及疼痛评估技术领域，具体来说是一种人脸表情的疼痛评估方法。
[背景技术]
表情是人们非语言交流的一种重要方式，包含丰富的情感信息，是情感最主要的载体，是人们理解情感的重要途径。在人类交往中，除了通过自然语言来传递信息外，还可以利用很多其它形体语言如面部表情、身体动作来进行交流。而在表情识别领域，还未有专门针对疼痛表情做专业研究。
同时，国际上对于疼痛的评估都是由受过专门训练并熟悉各项监测指标的医护人员进行人工评估，评估结果更多地依赖于个人的知识与经验，并受个人的情绪等主观因素的影响，不能完全客观反映病患疼痛程度。因此，开发一种人脸表情的疼痛评估方法，为临床提供客观准确的疼痛评估，对医护人员及时采取相应的镇痛措施具有非常重要的意义和价值。
目前在人脸表情识别的研究方面，一般都是针对普通成年人，将人脸表情划分为6种基本类型：高兴、悲伤、生气、恐惧、惊讶和厌恶，对于表情的疼痛等级评估的研究很少。
我国专利：CN201210077351提供了一种进行疼痛与非疼痛表情的分类识别，能有效地识别出微笑、安静、非疼痛时的哭、轻度疼痛、剧烈疼痛状态下的表情，但也只是将表情疼痛评估进行定性的归类，未能达到对疼痛等级进行数值评估，并且其样本也仅局限于新生儿等。
据此，本发明提供一种人脸表情的疼痛评估方法，该方法在不仅提取Gabor人脸疼痛表情特征向量，还通过最大池化法提取最大池化疼痛表情特征，通过训练得到的SVR模型对图像进行疼痛等级评估，具有现实的科学研究价值。
[发明内容]
本发明的目的在于解决现有技术的不足，提供一种人脸表情的疼痛评估方法，分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征后在进行特征融合，能够得出更细腻的疼痛表情，然后建立SVR，实现疼痛等级的划分和评估。
为了实现上述目的，设计一种人脸表情的疼痛评估方法，其特征在于具体步骤如下：
a.利用摄像设备拍摄人脸正面图像；
b.采用自适应高斯滤波方法对人脸正面图像进行去噪平滑处理，并使用人脸探测方法检测人脸在图像中的位置，并在图像中提取出人脸区域；
c.通过尺度归一化和光照归一化对人脸区域进行预处理；
d.采用Gabor滤波器和最大池化法分别提取Gabor疼痛表情特征和最大池化疼痛表情特征；
e.采用PCA算法和高斯归一化的二个顺序步骤分别对Gabor疼痛表情特征和最大池化疼痛表情特征进行降维和归一化；
f.将降维和归一化后的Gabor人脸疼痛表情特征向量和最大池化人脸疼痛表情特征向量进行融合并形成最终待训练的人脸疼痛表情特征向量集；
g.采用SVR回归分类器对待训练的疼痛表情特征向量集进行训练与学习，并得出SVR模型；
h.采用SVR模型对新样本进行预测，并输出疼痛评估等级。
所述的步骤b中使用人脸探测方法检测人脸在图像中位置的具体方法为：采用Viola-Jones算法的haar分类器探测图像中是否包含人脸，并将人脸区域提取出来，裁剪出最大的人脸区域，并将针对不同特征的弱分类器组合成强分类器，组合公式如下：
式中，T为弱分类器的总数，αt为第t个弱分类器的权值。
所述的步骤c中光照归一化的具体处理公式如下：
其中，R对应图像的红色数值，G对应图像的绿色数值，B对应图像的蓝色数值，图像处理后的灰度值范围在0到255之间。
所述的步骤d中Gabor滤波器的核函数为：
其中u和v两个参数分别代表Gabor滤波器的方向和尺度，z＝(x,y)代表像素的位置，δ为一决定窗口宽度和波长之间比例关系的常数，其中k为频率，kmax为最大频率，f为内核间隔因子；
对于给定一副疼痛表情图像I(x,y)，Gabor滤波器定义为：
Jk(z0)＝∫ψ(z0-z)I(x)d2x＝(ψk*I)(z0)
将公式简化，得到：
其中x'＝xcosθ+ysinθ，y'＝-x sinθ+y cosθ，λ为尺度，θ为方向，γ为空间的宽高比。
选用5个不同尺度和8个不同方向组成40个不同Gabor滤波器对图像进行滤波提取Gabor疼痛表情特征。
所述的步骤d中的最大池化法具体如下：
设原始图像尺寸为W1×H1，W1为图像横向像素尺寸，H1为图像纵向像素尺寸,设定空间大小参数F和步长参数S，从而得到输出图像的尺寸大小：W×H，其中：W＝(W1-F)/S+1，H＝(H1-F)/S+1。
所述的步骤e中的PCA算法和高斯归一化具体如下：
计算训练集M个样本均值：u＝(x1,,xm)/M；
将训练集M个样本去均值化：Xtrain'＝(x1-u,x2-u,…,xm-u)；
计算协方差矩阵：
计算协方差矩阵的特征值与特征向量,由大到小依次排列特征值及对应特征向量，选取需要的维数，组成变换矩阵P；
计算出降维后的新样本矩阵：XPCA_train＝P*Xtrain'
最后，逐行地对降维数据进行标准化处理，将每一行数据分别标准化为均值为0、标准差为1的标准化数据，其计算公式为：
Y＝(X-Xmean)/std
式中，Xmean为数据均值，std为数据标准差。
所述的步骤f具体如下：A为Gabor人脸疼痛表情特征向量，B为最大池化人脸疼痛表情特征向量，则串行融合形成最终待训练的人脸疼痛表情特征向量为C＝[A,B]。
所述的SVR回归分类器采用高斯核，采用10折交叉验证，进行网格参数寻优，设定核函数中的gamma参数为0.002～0.005、惩罚因子c为200～300之间，并将待训练的疼痛表情特征向量集划分为训练集和测试集，训练得到包括支持向量，权重和偏置参数的SVR模型。
所述的步骤h具体如下：将xtest测试样本分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征，并利用xpca_test＝P*xtest'进行降维后进行标准化处理后，将降维和归一化后的Gabor人脸疼痛表情特征向量和最大池化人脸疼痛表情特征向量进行融合形成待测试的人脸疼痛表情特征向量集，将待测试的人脸疼痛表情特征向量集送入训练好的SVR分类器进行回归预测，并完成疼痛水平的评估。
本发明同现有技术相比，其优点在于：对图像先后进行去噪平滑处理人脸在图像中的位置检测处理和归一化处理，并分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征后在进行特征融合，最大程度地实现了表情特征向量集的抗干扰能力，能够提取出更为全面的表情特征，使得后续的疼痛评估更为准确，最后采用SVR回归分类器对待训练的疼痛表情特征向量集进行训练与学习，并得出SVR模型，能够有效、快速、准确地对疼痛表情的等级作出评估。
[附图说明]
图1是本发明的流程示意图。
[具体实施方式]
下面结合附图对本发明作进一步说明，这种方法的原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
参见图1，本发明提供一种人脸表情的疼痛评估方法，包括：
步骤a：图像采集，利用摄像设备拍摄人脸正面图像；
步骤b：人脸区域提取，采用自适应高斯滤波方法对人脸正面图像进行平滑处理，并使用人脸探测方法检测人脸在图像中的位置，并从图像中裁剪出最大的人脸区域，高斯滤波方法的具体公式为：
其中(x，y)是像素点坐标，δ为方差。
采用Viola-Jones算法的haar分类器探测图像是否包含人脸，并将人脸区域提取出来，并将公式左边针对不同特征的弱分类器组合成强分类器。
步骤c：人脸区域预处理，通过尺度归一化和光照归一化两个步骤对人脸区域进行预处理，统一图像大小并减轻光照对面部表情特征提取的影响；
经过人脸检测获得的人脸表情图像大小有差别，不利于提取维度一致的特征和后期的分类器训练。本实施例中采用尺度归一化将以上步骤得到的人脸疼痛表情图像缩放到64×64大小。
考虑到实际拍摄的光照角度不同，采用光照归一化预处理增加图像的对比度，以减弱光线和光照强度的影响，计算公式为：
其中，R对应人脸区域RGB图像的红色数值，G对应人脸区域RGB图像的绿色数值，B对应人脸区域RGB图像的蓝色数值，人脸区域RGB图像处理后的灰度值范围在0到255之间。
步骤d：分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征。分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征的原因是，Gabor滤波器对光线变化具有抗干扰能力，Gabor小波对于图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感,能够提供对光照变化良好的适应性。因而Gabor小波变换能较好的提取人脸图像的局部特征，具有一定的抗干扰能力；而最大池化法对人脸的旋转、平移、伸缩等具有抗干扰能力。因而两种提取方法分别提取得到的特征向量有各自的特点，分别提供了不同的抗干扰效果，后续将两者提取的特征向量融合，就能够得到更为优良的特征向量集。
二维Gabor滤波器的核函数为：
其中u和v两个参数分别代表Gabor滤波器的方向和尺度，z＝(x,y)代表像素的位置，δ为一决定窗口宽度和波长之间比例关系的常数，其中k为频率，kmax为最大频率，f为内核间隔因子；
对于给定一副疼痛表情图像I(x,y)，Gabor滤波器定义为：
Jk(z0)＝∫ψ(z0-z)I(x)d2x＝(ψk*I)(z0)
将公式简化，得到：
其中x'＝xcosθ+ysinθ，y'＝-x sinθ+y cosθ，λ为尺度，θ为方向。
本发明选择5个不同尺度和8个不同方向组成40个不同Gabor滤波器对图像进行滤波。
最大池化法广泛用于对特征进行降维，但其还有对纹理特征提取能力。在本发明用最大池化法提取人脸纹理，使特征对人脸的旋转、平移、伸缩等具有抗干扰能力。本发明采用的最大池化设定两个参数：空间大小和步长。本实施例中，F＝4，S＝4，经过最大池化后表疼痛情图像的尺寸为32×32，具体方法如下：
设原始图像尺寸为W1×H1，W1为图像横向像素尺寸，H1为图像纵向像素尺寸,设定空间大小参数F＝4，步长参数S＝4，得到输出图像的尺寸大小：W4×H4，其中：W4＝(W1-F)/S+1，H4＝(H1-F)/S+1。。
采用最大池化法对人脸疼痛表情图像提取的最大池化疼痛表情特征，得到32×32＝1024维表情特征向量。
步骤e：分别将Gabor疼痛表情特征和最大池化疼痛表情特征进行PCA降维，本实施例根据权衡将Gabor疼痛表情特征和最大池化疼痛表情特征都降到81维，一副疼痛表情图像最终由二个81维的向量分别进行表达，得到二个待训练的疼痛表情特征向量。PCA算法和高斯归一化的具体步骤如下：
计算训练集M个样本均值：u＝(x1,,xm)/M；
将训练集M个样本去均值化：Xtrain'＝(x1-u,x2-u,…,xm-u)；
计算协方差矩阵：
计算协方差矩阵的特征值与特征向量,由大到小依次排列特征值及对应特征向量，选取需要的维数，组成变换矩阵P；
计算出降维后的新样本矩阵：XPCA_train＝P*Xtrain'
最后，为提高后期分类器训练速度，逐行地对降维后的Gabor疼痛表情特征和最大池化疼痛表情特征进行标准化处理，将每一行数据分别标准化为均值为0、标准差为1的标准化数据，其计算公式为：
Y＝(X-Xmean)/std
式中，Xmean为数据均值，std为数据标准差。
步骤f：将降维和归一化后的Gabor人脸疼痛表情特征向量和最大池化人脸疼痛表情特征向量进行串行融合形成最终待训练的人脸疼痛表情特征向量集。具体方法为：设A代表Gabor人脸疼痛表情特征向量，B代表最大池化人脸疼痛表情特征向量，则串行融合形成最终待训练的人脸疼痛表情特征向量为C＝[A,B]。
步骤g：SVR回归分类器训练，采用SVR对待训练的疼痛表情特征集进行训练与学习；
输入待训练的疼痛表情特征集，SVR回归分类器采用高斯核。采用10折交叉验证，进行网格参数寻优。确定核函数中的gamma参数为0.002～0.005、惩罚因子c为200～300之间。将待训练的疼痛表情特征向量集按不同比例划分为训练集和测试集，本实施例将样本集的60％作为训练集，40％作为测试集。
采用上述步骤得到的最优参数gamma和惩罚因子c进行SVR训练，训练得到包括支持向量，权重和偏置参数的不同疼痛等级的SVR模型。
步骤h：采用SVR模型对新样本进行预测，进行疼痛表情评估。
预测阶段，对将xtest测试样本分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征，并利用xpca_test＝P*xtest'进行降维后进行标准化处理。将降维和归一化后的Gabor人脸疼痛表情特征向量和最大池化人脸疼痛表情特征向量集进行融合形成待测试的人脸疼痛表情特征向量，将待测试的人脸疼痛表情特征向量集送入训练好的SVR分类器进行回归预测，并完成疼痛水平的评估。
Claims (10)
1.一种人脸表情的疼痛评估方法，其特征在于具体步骤如下：
a.利用摄像设备拍摄人脸正面图像；
b.采用自适应高斯滤波方法对人脸正面图像进行去噪平滑处理，并使用人脸探测方法检测人脸在图像中的位置，并在图像中提取出人脸区域；
c.通过尺度归一化和光照归一化对人脸区域进行预处理；
d.采用Gabor滤波器和最大池化法分别提取Gabor疼痛表情特征和最大池化疼痛表情特征；
e.依次采用PCA算法和高斯归一化分别对Gabor疼痛表情特征和最大池化疼痛表情特征进行降维和归一化处理；
f.将降维和归一化后的Gabor人脸疼痛表情特征向量和最大池化人脸疼痛表情特征向量进行融合并形成最终待训练的人脸疼痛表情特征向量集；
g.采用SVR回归分类器对待训练的疼痛表情特征向量集进行训练与学习，并得出SVR模型；
h.采用SVR模型对新样本进行预测，并输出疼痛评估等级。
2.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的步骤b中使用人脸探测方法检测人脸在图像中位置的具体方法为：采用Viola-Jones算法的haar分类器探测图像中是否包含人脸，并将人脸区域提取出来，裁剪出最大的人脸区域，并将针对不同特征的弱分类器组合成强分类器，组合公式如下：
<mrow>
<mfenced open = "" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mo>{</mo>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mo>+</mo>
<mn>1</mn>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mo>{</mo>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mo>+</mo>
<mn>1</mn>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mn>3</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mo>{</mo>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mo>+</mo>
<mn>1</mn>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mi>T</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mo>{</mo>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mo>+</mo>
<mn>1</mn>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<msub>
<mi>H</mi>
<mi>T</mi>
</msub>
<mo>=</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>T</mi>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>t</mi>
</msub>
<msub>
<mi>h</mi>
<mi>t</mi>
</msub>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
式中，T为弱分类器的总数，αt为第t个弱分类器的权值。
3.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的步骤c中光照归一化的具体处理公式如下：
<mrow>
<mi>I</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mn>0.30</mn>
<mi>R</mi>
<mo>&times;</mo>
<mn>255</mn>
<mo>+</mo>
<mn>0.59</mn>
<mi>G</mi>
<mo>&times;</mo>
<mn>255</mn>
<mo>+</mo>
<mn>0.11</mn>
<mi>B</mi>
<mo>&times;</mo>
<mn>255</mn>
</mrow>
<mn>255</mn>
</mfrac>
</mrow>
其中，R对应图像的红色数值，G对应图像的绿色数值，B对应图像的蓝色数值，图像处理后的灰度值范围在0到255之间。
4.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的步骤d中Gabor滤波器的核函数为：
<mrow>
<msub>
<mi>&psi;</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>k</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&delta;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>&CenterDot;</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>k</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>|</mo>
<mo>|</mo>
<mi>z</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&delta;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&lsqb;</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>ik</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<mi>z</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msup>
<mi>&delta;</mi>
<mn>2</mn>
</msup>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中u和v两个参数分别代表Gabor滤波器的方向和尺度，z＝(x,y)代表像素的位置，δ为一决定窗口宽度和波长之间比例关系的常数，其中k为频率，kmax为最大频率，f为内核间隔因子；
对于给定一副疼痛表情图像I(x,y)，Gabor滤波器定义为：
Jk(z0)＝∫ψ(z0-z)I(x)d2x＝(ψk*I)(z0)
将公式简化，得到：
<mrow>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<mi>&lambda;</mi>
<mo>,</mo>
<mi>&theta;</mi>
<mo>,</mo>
<mi>&psi;</mi>
<mo>,</mo>
<mi>&delta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mrow>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msup>
<mo>+</mo>
<msup>
<mi>&gamma;</mi>
<mn>2</mn>
</msup>
<msup>
<mi>y</mi>
<mrow>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&delta;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</msup>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mi>&pi;</mi>
<mfrac>
<msup>
<mi>x</mi>
<mo>,</mo>
</msup>
<mi>&lambda;</mi>
</mfrac>
<mo>+</mo>
<mi>&psi;</mi>
<mo>)</mo>
</mrow>
</mrow>
其中x'＝xcosθ+ysinθ，y'＝-x sinθ+y cosθ，λ为尺度，θ为方向，γ为空间的宽高比。
5.如权利要求5所述的一种人脸表情的疼痛评估方法，其特征在于选用5个不同尺度和8个不同方向组成40个不同Gabor滤波器对图像进行滤波提取Gabor疼痛表情特征。
6.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的步骤d中的最大池化法具体如下：
设原始图像尺寸为W1×H1，W1为图像横向像素尺寸，H1为图像纵向像素尺寸,设定空间大小参数F和步长参数S，从而得到输出图像的尺寸大小：W×H，其中：W＝(W1-F)/S+1，H＝(H1-F)/S+1。
7.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的步骤e中的PCA算法和高斯归一化具体如下：
计算训练集M个样本均值：u＝(x1,,xm)/M；
将训练集M个样本去均值化：Xtrain'＝(x1-u,x2-u,…,xm-u)；
计算协方差矩阵：
计算协方差矩阵的特征值与特征向量,由大到小依次排列特征值及对应特征向量，选取需要的维数，组成变换矩阵P；
计算出降维后的新样本矩阵：XPCA_train＝P*Xtrain'
最后，逐行地对降维数据进行标准化处理，将每一行数据分别标准化为均值为0、标准差为1的标准化数据，其计算公式为：
Y＝(X-Xmean)/std
式中，Xmean为数据均值，std为数据标准差。
8.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的步骤f具体如下：A为Gabor人脸疼痛表情特征向量，B为最大池化人脸疼痛表情特征向量，则串行融合形成最终待训练的人脸疼痛表情特征向量为C＝[A,B]。
9.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的SVR回归分类器采用高斯核，采用10折交叉验证，进行网格参数寻优，设定核函数中的gamma参数为0.002～0.005、惩罚因子c为200～300之间，并将待训练的疼痛表情特征向量集划分为训练集和测试集，训练得到包括支持向量，权重和偏置参数的SVR模型。
10.如权利要求1所述的一种人脸表情的疼痛评估方法，其特征在于所述的步骤h具体如下：将xtest测试样本分别采用Gabor滤波器和最大池化法提取Gabor疼痛表情特征和最大池化疼痛表情特征，并利用xpca_test＝P*xtest'进行降维后进行标准化处理后，将降维和归一化后的Gabor人脸疼痛表情特征向量和最大池化人脸疼痛表情特征向量进行融合形成待测试的人脸疼痛表情特征向量集，将待测试的人脸疼痛表情特征向量集送入训练好的SVR分类器进行回归预测，并完成疼痛水平的评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710505075.9A CN107358180B (zh) | 2017-06-28 | 2017-06-28 | 一种人脸表情的疼痛评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710505075.9A CN107358180B (zh) | 2017-06-28 | 2017-06-28 | 一种人脸表情的疼痛评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107358180A true CN107358180A (zh) | 2017-11-17 |
| CN107358180B CN107358180B (zh) | 2021-08-03 |
Family
ID=60273194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710505075.9A Active CN107358180B (zh) | 2017-06-28 | 2017-06-28 | 一种人脸表情的疼痛评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107358180B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895154A (zh) * | 2017-11-28 | 2018-04-10 | 中国地质大学（武汉） | 面部表情强度计算模型的形成方法及*** |
| CN107918773A (zh) * | 2017-12-13 | 2018-04-17 | 汉王科技股份有限公司 | 一种人脸活体检测方法、装置及电子设备 |
| CN108261178A (zh) * | 2018-01-12 | 2018-07-10 | 平安科技（深圳）有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
| CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
| CN108765412A (zh) * | 2018-06-08 | 2018-11-06 | 湖北工业大学 | 一种带钢表面缺陷分类方法 |
| CN110298241A (zh) * | 2019-05-21 | 2019-10-01 | 江苏爱朋医疗科技股份有限公司 | 疼痛信息处理方法、装置、设备及存储介质 |
| CN110338759A (zh) * | 2019-06-27 | 2019-10-18 | 嘉兴深拓科技有限公司 | 一种正面疼痛表情数据采集方法 |
| CN110338777A (zh) * | 2019-06-27 | 2019-10-18 | 嘉兴深拓科技有限公司 | 融合心率变异特征和面部表情特征的疼痛评估方法 |
| WO2019204700A1 (en) * | 2018-04-19 | 2019-10-24 | University Of South Florida | Neonatal pain identification from neonatal facial expressions |
| CN110473630A (zh) * | 2019-09-28 | 2019-11-19 | 马学磊 | 一种肿瘤患者心理痛苦评估仪及其评估方法 |
| CN110660454A (zh) * | 2019-09-28 | 2020-01-07 | 马学磊 | 一种癌痛实时评估仪及其评估方法 |
| CN111081375A (zh) * | 2019-12-27 | 2020-04-28 | 北京深测科技有限公司 | 健康监测的预警方法及*** |
| CN111079839A (zh) * | 2019-12-16 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习的自动实时评估啮齿动物疼痛程度的方法 |
| CN113057599A (zh) * | 2021-04-21 | 2021-07-02 | 常州市武进人民医院 | 一种快速评估疼痛的机器 |
| US11202604B2 (en) | 2018-04-19 | 2021-12-21 | University Of South Florida | Comprehensive and context-sensitive neonatal pain assessment system and methods using multiple modalities |
| CN114469009A (zh) * | 2022-03-18 | 2022-05-13 | 电子科技大学 | 一种面部疼痛表情分级评估方法 |
| US11424028B2 (en) | 2018-04-19 | 2022-08-23 | University Of Florida Research Foundation, Incorporated | Method and apparatus for pervasive patient monitoring |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318221A (zh) * | 2014-11-05 | 2015-01-28 | 中南大学 | 一种基于elm的人脸表情识别方法 |
| CN104766041A (zh) * | 2014-01-07 | 2015-07-08 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置及*** |
| CN105005765A (zh) * | 2015-06-29 | 2015-10-28 | 北京工业大学 | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN106778657A (zh) * | 2016-12-28 | 2017-05-31 | 南京邮电大学 | 基于卷积神经网络的新生儿疼痛表情分类方法 |
-
2017
- 2017-06-28 CN CN201710505075.9A patent/CN107358180B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766041A (zh) * | 2014-01-07 | 2015-07-08 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置及*** |
| CN104318221A (zh) * | 2014-11-05 | 2015-01-28 | 中南大学 | 一种基于elm的人脸表情识别方法 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN105005765A (zh) * | 2015-06-29 | 2015-10-28 | 北京工业大学 | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 |
| CN106778657A (zh) * | 2016-12-28 | 2017-05-31 | 南京邮电大学 | 基于卷积神经网络的新生儿疼痛表情分类方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895154A (zh) * | 2017-11-28 | 2018-04-10 | 中国地质大学（武汉） | 面部表情强度计算模型的形成方法及*** |
| CN107918773A (zh) * | 2017-12-13 | 2018-04-17 | 汉王科技股份有限公司 | 一种人脸活体检测方法、装置及电子设备 |
| CN107918773B (zh) * | 2017-12-13 | 2021-06-04 | 汉王科技股份有限公司 | 一种人脸活体检测方法、装置及电子设备 |
| CN108261178A (zh) * | 2018-01-12 | 2018-07-10 | 平安科技（深圳）有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
| CN108261178B (zh) * | 2018-01-12 | 2020-08-28 | 平安科技（深圳）有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
| WO2019136907A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技（深圳）有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
| WO2019204700A1 (en) * | 2018-04-19 | 2019-10-24 | University Of South Florida | Neonatal pain identification from neonatal facial expressions |
| US11992331B2 (en) | 2018-04-19 | 2024-05-28 | University Of South Florida | Neonatal pain identification from neonatal facial expressions |
| US11424028B2 (en) | 2018-04-19 | 2022-08-23 | University Of Florida Research Foundation, Incorporated | Method and apparatus for pervasive patient monitoring |
| US11202604B2 (en) | 2018-04-19 | 2021-12-21 | University Of South Florida | Comprehensive and context-sensitive neonatal pain assessment system and methods using multiple modalities |
| CN108765412A (zh) * | 2018-06-08 | 2018-11-06 | 湖北工业大学 | 一种带钢表面缺陷分类方法 |
| CN108765412B (zh) * | 2018-06-08 | 2021-07-20 | 湖北工业大学 | 一种带钢表面缺陷分类方法 |
| CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
| CN110298241A (zh) * | 2019-05-21 | 2019-10-01 | 江苏爱朋医疗科技股份有限公司 | 疼痛信息处理方法、装置、设备及存储介质 |
| CN110338759B (zh) * | 2019-06-27 | 2020-06-09 | 嘉兴深拓科技有限公司 | 一种正面疼痛表情数据采集方法 |
| CN110338777A (zh) * | 2019-06-27 | 2019-10-18 | 嘉兴深拓科技有限公司 | 融合心率变异特征和面部表情特征的疼痛评估方法 |
| CN110338759A (zh) * | 2019-06-27 | 2019-10-18 | 嘉兴深拓科技有限公司 | 一种正面疼痛表情数据采集方法 |
| CN110660454A (zh) * | 2019-09-28 | 2020-01-07 | 马学磊 | 一种癌痛实时评估仪及其评估方法 |
| CN110473630A (zh) * | 2019-09-28 | 2019-11-19 | 马学磊 | 一种肿瘤患者心理痛苦评估仪及其评估方法 |
| CN111079839A (zh) * | 2019-12-16 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习的自动实时评估啮齿动物疼痛程度的方法 |
| CN111081375A (zh) * | 2019-12-27 | 2020-04-28 | 北京深测科技有限公司 | 健康监测的预警方法及*** |
| CN111081375B (zh) * | 2019-12-27 | 2023-04-18 | 北京深测科技有限公司 | 健康监测的预警方法及*** |
| CN113057599A (zh) * | 2021-04-21 | 2021-07-02 | 常州市武进人民医院 | 一种快速评估疼痛的机器 |
| CN114469009A (zh) * | 2022-03-18 | 2022-05-13 | 电子科技大学 | 一种面部疼痛表情分级评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107358180B (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358180A (zh) | 一种人脸表情的疼痛评估方法 | |
| CN106650806B (zh) | 一种用于行人检测的协同式深度网络模型方法 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN104392463B (zh) | 一种基于联合稀疏多尺度融合的图像显著区域检测方法 | |
| CN105005765B (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
| CN104008375B (zh) | 基于特征融合的集成人脸识别方法 | |
| CN105205449B (zh) | 基于深度学习的手语识别方法 | |
| CN104077579B (zh) | 基于专家***的人脸表情图像识别方法 | |
| CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
| CN104392246B (zh) | 一种基于类间类内面部变化字典的单样本人脸识别方法 | |
| CN108446729A (zh) | 基于卷积神经网络的鸡蛋胚胎分类方法 | |
| CN107798318A (zh) | 一种机器人识别面部快乐微表情的方法及其装置 | |
| CN102163281B (zh) | 基于AdaBoost框架和头部颜色的实时人体检测方法 | |
| CN102879401A (zh) | 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法 | |
| CN107403142A (zh) | 一种微表情的检测方法 | |
| CN104463100A (zh) | 基于面部表情识别模式的智能轮椅人机交互***及方法 | |
| CN106156765A (zh) | 基于计算机视觉的安全检测方法 | |
| CN106845328A (zh) | 一种基于双摄像头的智能人脸识别方法及*** | |
| CN104636755A (zh) | 一种基于深度学习的人脸美丽评价方法 | |
| CN105138968A (zh) | 人脸认证方法和装置 | |
| CN104021384B (zh) | 一种人脸识别方法及装置 | |
| CN107633229A (zh) | 基于卷积神经网络的人脸检测方法及装置 | |
| CN106203256A (zh) | 一种基于稀疏保持典型相关分析的低分辨率人脸识别方法 | |
| CN106127230B (zh) | 基于人类视觉感知的图像识别方法 | |
| CN105069745A (zh) | 基于普通图像传感器及增强现实技术的带表情变脸***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |