CN109977769A - 一种低分辨率环境下微表情识别的方法 - Google Patents
一种低分辨率环境下微表情识别的方法 Download PDFInfo
- Publication number
- CN109977769A CN109977769A CN201910128712.4A CN201910128712A CN109977769A CN 109977769 A CN109977769 A CN 109977769A CN 201910128712 A CN201910128712 A CN 201910128712A CN 109977769 A CN109977769 A CN 109977769A
- Authority
- CN
- China
- Prior art keywords
- resolution
- face
- micro
- frame
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 12
- 239000012141 concentrate Substances 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- OUXCBPLFCPMLQZ-WOPPDYDQSA-N 4-amino-1-[(2r,3s,4s,5r)-4-hydroxy-5-(hydroxymethyl)-3-methyloxolan-2-yl]-5-iodopyrimidin-2-one Chemical compound C[C@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)N=C(N)C(I)=C1 OUXCBPLFCPMLQZ-WOPPDYDQSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉领域，具体涉及一种低分辨率环境下微表情识别的方法，通过采集包含人脸信息的多个低分辨率视频片段，并通过建立对应关系模型，获得多个与第一帧姿态统一的视频片段，按照待识别人脸的瞳距进行背景分割，得到低分辨率人脸图像序列，对低分辨率人脸图像序列利用超分辨率重建方法重建为高分辨率人脸图像序列，对高分辨率人脸图像序列中的视频片段进行帧数统一，得到高分辨率人脸图像集，利用分块参数设置提取LBP‑TOP特征，并特征进行LSVM分类，融合得到MLBP‑TOP特征，对MLBP‑TOP特征分类，确定每个视频片段的微表情类别。该方法能够在低分辨率环境下提高微表情的识别率，与现有的对视频质量有严格要求的微表情识别方法相比更具实用性。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种低分辨率环境下微表情识别的方法。
背景技术
微表情是人类特色的本能行为，是真实反应人类重要情感信息的非言语行为。微表情通常是下意识的且无法掩饰，其特点是持续时间短(1/25秒到1/2秒)，发生强度低。对微表情分析的应用非常广泛，已经在国家安全、司法***、临床诊断、公共管理和辅助教育等领域卓有成效。目前已有研究人员发表了各类优质的数据集和良好的识别算法，并取得了良好的的识别结果，然而在真实环境下计算机分析的只能是来自监控录像或闭路电视等的低质量视频，所以针对恶劣环境下的微表情识别方法的研究显得尤为重要。
现有的算法都是建立在高质量的数据集基础之上，一旦可供实验的数据集质量不佳、图像模糊、或者图像尺寸过小，实验中提出的相应算法将不再有突出表现，识别结果也将不近人意。例如在真实环境中通过监控录像捕捉到的人脸往往只占据整个视频画面的一小部分，忽略图像的模糊和噪声影响，仅在尺寸上就已经不能满足以往算法的要求，更重要的是低分辨率环境下图像的高频信息大量丢失，因此低分辨率环境下的微表情识别研究很有必要而且是个很大的挑战。
发明内容
针对现有技术中存在的对低分辨视频无法进行微表情识别的问题，本发明提出了一种低分辨率环境下微表情识别的方法，采用如下技术方案实现：
一种用于微表情识别的特征提取方法，包括如下步骤：
步骤1：获取高分辨率人脸图像集，所述高分辨率人脸图像集中包含不同人脸信息的图像序列，将包含同一人脸信息的图像序列划分为一段，随机选取其中一段图像序列作为测试集，其余段图像序列作为训练集；
步骤2：设置多组分块参数并按照分块参数对测试集进行分块，得到多组分块方式不同的测试集；
步骤3：对每组分块方式下的测试集分别提取LBP-TOP特征，得到多个LBP-TOP特征，将多个LBP-TOP特征输入LSVM分类器，得到多个识别准确度混淆矩阵，所述每个识别准确度混淆矩阵对应一个LBP-TOP特征；
步骤4：融合所有数值分布在主对角线的识别准确度混淆矩阵所对应的LBP-TOP特征，得到测试集的MLBP-TOP特征；
步骤5：采用Leave-one-subject-out方法，按照步骤4得到的测试集的MLBP-TOP特征处理训练集，提取到高分辨率人脸图像集中每段图像序列的MLBP-TOP特征。
进一步的，步骤2中所述分块参数包括列向块数、行向块数和时间向块数。
一种低分辨率环境下微表情识别的方法，包括如下步骤：
步骤1：采集包含不同人脸信息的多个低分辨率视频片段，对每个低分辨率视频片段利用步骤1.1至步骤1.3进行处理，得到低分辨率人脸图像序列；
步骤1.1：选取低分辨率视频片段的模型脸帧，对视频片段的模型脸帧和第一帧分别利用ASM人脸标定算法标定待识别人脸的关键点集；
步骤1.2：对步骤1.1得到的模型脸帧与第一帧的待识别人脸的关键点集建立对应关系模型，将视频片段中其余帧分别输入对应关系模型，得到姿态统一的视频片段；
步骤1.3：对步骤1.2得到的姿态统一的视频片段按照待识别人脸的瞳距进行背景分割，得到低分辨率人脸图像序列；
步骤2：对步骤1得到的低分辨率人脸图像序列利用超分辨率重建方法重建为高分辨率人脸图像序列；
步骤3：对步骤2得到的高分辨率人脸图像序列中包含的各视频片段统一帧数，得到高分辨率人脸图像集；
步骤4：对步骤3得到的高分辨率人脸图像集采用如权利要求1所述的用于微表情识别的特征提取方法进行特征提取，得到高分辨率人脸图像集的多个MLBP-TOP特征，将多个MLBP-TOP特征输入LSVM分类器，得到高分辨率人脸图像集包含的每个人脸信息对应的微表情类别。
进一步的，步骤1.1中所述ASM人脸标定算法为：
当标定出一个关键点集时，该关键点集为待检测人脸的关键点集；当标定出多个关键点集时，利用式Ⅰ排除错误标定，得到待检测人脸的关键点集；
其中，Imod表示模型脸帧，L(i)(Imod)表示模型脸帧中第i个关键点集中任意两个关键点的相对距离，p、q指同一个关键点集中任意两个关键点，i指标定的关键点集个数，n为Imod中所有关键点的个数且n＝68i，选择L(i)(Imod)最大的关键点集作为待检测人脸的关键点集。
进一步的，步骤1.2中对应关系模型为：
当模型脸帧不是第一帧时，利用LWM函数建立模型脸帧的待识别人脸的关键点集ψ(Imod)与第一帧的待识别人脸的关键点集ψ(I1)之间如式Ⅱ的对应关系模型T：
T＝LWM(ψ(Imod),ψ(I1))(式Ⅱ)，
当模型脸帧是第一帧时，对应关系模型T为常数1，视频片段是姿态统一的视频片段。
进一步的，步骤2包括如下子步骤：
步骤2.1：获得高分辨率样本图像序列，利用超分辨率重建方法训练低分辨率人脸图像序列L与高分辨率样本图像序列间的结合系数ωτ；
步骤2.2：优化结合系数ωτ，并通过优化后的结合系数ωτ获得重建的高分辨率人脸图像序列H。
进一步的，步骤3中统一帧数采用TIM算法。
本发明具有如下有益效果：
1、本发明提供的低分辨率环境下微表情识别的方法拓展了微表情识别的分辨率下限，增强了其在实际场景中的可操作性。
2、本发明提供的低分辨率环境下微表情识别的方法从基于块的纹理重建和基于像素的局部结构重建两方面重建低分辨率图像，该基于学习的方法对大倍数放大的重建问题比以往的插值方法效果更佳。
3、本发明提供的低分辨率环境下微表情识别的方法将多组LBP-TOP特征级联，保证了微表情识别问题的多层次适应性。
附图说明
图1为本发明提供的低分辨率环境下微表情的识别方法的流程图；
图2为本发明的实施例中采集的人脸视频图像，在人脸对齐部分作为标准人脸Imod；
图3为本发明的实施例中采集的人脸视频图像，图3(a)包含两张人脸，图3(b)人脸倾斜，1表示主要人脸，2表示其他；
图4为本发明的实施例中经过ASM算法标定的68个人脸关键点，其中图4(a)关键点数为136(68×2)，图4(b)关键点数为68；
图5为本发明的实施例中经过LWM算法人脸对齐后的图像，其中图5(a)通过放大对齐和图5(b)通过旋转对齐；
图6(a)、图6(b)为本发明的实施例中经过人脸分割后的图像；
图7为本发明的实施例中超分辨重建过程的初始图像H(0)的分块；
图8为本发明的一个实施例中经过超分辨率重建后的图像(128×128像素)；
图9为本发明中TIM算法过程示例；
图10为本发明的一个实施例中LBP-TOP特征参数设置(8×8×1和8×8×2)及提取过程；
图11为发明的一个实施例中识别结果的混淆矩阵，图11(a)为3×3×2的LBP-TOP特征的识别准确度混淆矩阵，图11(b)为6×6×4的LBP-TOP特征的识别准确度混淆矩阵，1图1(c)为5×5×2和8×8×2的MLBP-TOP特征的识别准确度混淆矩阵。
具体实施方式
对专利中出现的技术名词进行解释：
ASM算法：主观形状模型(Active Shape Model)，用于提取人脸68个关键点；
LWN函数：局部加权平均算法(Local Weighted Mean)，用于人脸对齐；
TIM算法：时间插值模型(Temporal Interpolation Model)，用于统一图像序列长度(统一视频帧数)；
LBP:局部二值模型(Local Binary Patterns)，提取特征；
LBP-TOP特征:三正交平面LBP特征(Local Binary Patterns on ThreeOrthogonal Planes)，提取三维特征；
MLBP-TOP:多参数LBP-TOP特征(Multi Local Binary Patterns on ThreeOrthogonal Planes)，提取混合参数特征；
LSVM分类：线性支持向量机(Linear Support Vector Machine)，作为分类器用于分类。
以下给出本发明的具体实施方式，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
一种低分辨率环境下微表情识别的方法，包括如下步骤：
步骤1：采集包含不同人脸信息的多个低分辨率视频片段，对每个低分辨率视频片段利用步骤1.1至步骤1.3进行处理，得到低分辨率人脸图像序列；
步骤1.1：选取低分辨率视频片段的模型脸帧，对视频片段的模型脸帧和第一帧分别利用ASM人脸标定算法标定待识别人脸的关键点集；
步骤1.2：对步骤1.1得到的模型脸帧与第一帧的待识别人脸的关键点集建立对应关系模型，将视频片段中其余帧分别输入对应关系模型，得到姿态统一的视频片段；
步骤1.3：对步骤1.2得到的姿态统一的视频片段按照待识别人脸的瞳距进行背景分割，得到低分辨率人脸图像序列；
步骤2：对步骤1得到的低分辨率人脸图像序列利用超分辨率重建方法重建为高分辨率人脸图像序列；
步骤3：对步骤2得到的高分辨率人脸图像序列中包含的各视频片段统一帧数，得到高分辨率人脸图像集；
步骤4：对步骤3得到的高分辨率人脸图像集采用用于微表情识别的特征提取方法进行特征提取，得到高分辨率人脸图像集的多个MLBP-TOP特征，将多个MLBP-TOP特征输入LSVM分类器，得到高分辨率人脸图像集包含的每个人脸信息对应的微表情类别。
本发明提供的低分辨率环境下微表情识别的方法拓展了微表情识别的分辨率下限，增强了其在实际场景中的可操作性；本发明从基于块的纹理重建和基于像素的局部结构重建两方面重建低分辨率图像，该基于学习的方法对大倍数放大的重建问题比以往的插值方法效果更佳；本发明提供的低分辨率环境下微表情识别的方法将多组LBP-TOP特征级联，保证了微表情识别问题的多层次适应性。
具体的，步骤1.1中所述ASM人脸标定算法为：
当标定出一个关键点集时，该关键点集为待检测人脸的关键点集；当标定出多个关键点集时，利用式Ⅰ排除错误标定，得到待检测人脸的关键点集；
其中，Imod表示模型脸帧，L(i)(Imod)表示模型脸帧中第i个关键点集中任意两个关键点的相对距离，p、q指同一个关键点集中任意两个关键点，i指标定的关键点集个数，n为Imod中所有关键点的个数且n＝68i，选择L(i)(Imod)最大的关键点集作为待检测人脸的关键点集。
具体的，步骤1.2中对应关系模型为：
当模型脸帧不是第一帧时，利用LWM函数建立模型脸帧的待识别人脸的关键点集ψ(Imod)与第一帧的待识别人脸的关键点集ψ(I1)之间如式Ⅱ的对应关系模型T：
T＝LWM(ψ(Imod),ψ(I1))(式Ⅱ)，
当模型脸帧是第一帧时，对应关系模型T为常数1，视频片段是姿态统一的视频片段。
将视频片段中其余帧分别输入对应关系模型，按照式Ⅲ统一姿态，得到姿态统一的视频片段，
I'k＝T×Ik,k＝2,…,n(式Ⅲ)
其中，Ik为视频片段的第k帧，I'k为统一姿态后的第k帧，n为视频片段的帧数。
具体的，步骤1.3中按照待识别人脸的瞳距进行背景分割的方法为：手动标定视频片段第一帧的瞳孔坐标，以此作为参考在下一帧中搜寻瞳孔，并按照瞳距在人脸中的比例分割出人脸图像。
具体的，步骤2包括如下子步骤：
步骤2.1：获得高分辨率样本图像序列，利用超分辨率重建方法训练低分辨率人脸图像序列L与高分辨率样本图像序列间的结合系数ωτ；
步骤2.2：优化结合系数ωτ，并通过优化后的结合系数ωτ获得重建的高分辨率人脸图像序列H。
具体的，步骤2.1中的高分辨率样本图像序列来自公开的高分辨率图像集，将低分辨率人脸图像集L利用三线性插值法，调整尺寸与高分辨率样本图像序列中图像相同，得到超分辨重建过程的初始图像H(0)，对H(0)分块处理，得到式Ⅳ的最小化代价函数，并利用式Ⅳ估算结合系数ωτ：
s.t.1Tωτ＝1,τ＝1,2,…,M (式Ⅳ)
其中，τ为低分辨率人脸图像序列和高分辨率样本图像集中对应图像块的位置，Rτ为低分辨率人脸图像序列和高分辨率人脸图像序列中τ位置的图像块对应的矩阵，为位置τ处的高分辨率样本图像块组，表示高分辨率样本图像τ位置处第N个训练样本图像块，φ(·)为从原始空间到无限维再生核希尔伯特空间的映射，dp表示高分辨率人脸图像集中的目标高分辨率块(重建出高分辨率图像中的块)与相应高分辨率人脸图像序列中的训练样本块在核映射空间的核相似性，表示哈达玛积，λ为惩罚参数，1为全为1的列向量，M为图像的分块数。
具体的，将步骤2.1获得的ωτ代入式Ⅴ，获得重建的高分辨率图像组H(k)
s.t. 1Tωτ＝1,τ＝1,2,…,M (式Ⅴ)
其中，D为下采样矩阵，B为模糊处理矩阵，βτ为规范全局优化的像素间关系矩阵，MSE为均方误差，η为基于像素正则项的权重，α为基于块正则项的权重，σ为均方误差的权重，
通过梯度下降算法不断更新ωτ，H(k)随ωτ的更新而更新，直到优化式Ⅴ收敛到局部最小，此时得到优化后的ωτ，利用优化后的ωτ获得重建的高分辨率人脸图像序列H。
优选的，步骤3中统一帧数采用TIM算法，具体为：将重建的图像序列映射到一条非线性曲线上，根据实验需求等间距采样，获得统一帧数
一种用于微表情识别的特征提取方法，其特征在于，包括如下步骤：
步骤1：获取高分辨率人脸图像集，所述高分辨率人脸图像集中包含不同人脸信息的图像序列，将包含同一人脸信息的图像序列划分为一段，随机选取其中一段图像序列作为测试集，其余段图像序列作为训练集；
步骤2：设置多组分块参数并按照分块参数对测试集进行分块，得到多组分块方式不同的测试集；
步骤3：对每组分块方式下的测试集分别提取LBP-TOP特征，得到多个LBP-TOP特征，将多个LBP-TOP特征输入LSVM分类器，得到多个识别准确度混淆矩阵，所述每个识别准确度混淆矩阵对应一个LBP-TOP特征；
步骤4：融合所有数值分布在主对角线的识别准确度混淆矩阵所对应的LBP-TOP特征，得到测试集的MLBP-TOP特征；
步骤5：采用Leave-one-subject-out方法，按照步骤4得到的测试集的MLBP-TOP特征处理训练集，提取到高分辨率人脸图像集中每段图像序列的MLBP-TOP特征。
具体的，步骤2中所述分块参数包括列向块数、行向块数和时间向块数。
若一个LBP-TOP特征对应的混淆矩阵数值集中在对角线方向，则判定分块参数设置成功，保留该LBP-TOP的分块参数设置，若一个LBP-TOP特征对应的混淆矩阵数值未集中在对角线方向，则剔除该LBP-TOP的分块参数设置；
优选的，步骤4选取的MLBP-TOP特征为分块参数设置5×5×2和8×8×2的级联LBP-TOP特征。
实施例
步骤1：采集包含人脸信息的多个低分辨率视频片段，对每个低分辨率视频片段利用步骤1.1至步骤1.3进行处理，得到低分辨率人脸图像序列；
在本实施例中，采用公开发表的微表情数据集SMIC-HS和CASME II作为数据来源(SMIC-HS为SMIC数据集的子集，SMIC包括为SMIC-HS、SMIC-VIS和SMIC-NIR)。如图2、3所示，图2为从CASME II数据集中选取的模型人脸，图3为SMIC-HS和CASME II数据集中任意视频片段的任意一帧；
步骤1.1：选取低分辨率视频片段的模型脸帧，对视频片段的模型脸帧和第一帧分别利用ASM人脸标定算法标定待识别人脸的关键点集；如图4所示，1框内为主要人脸，2框为错误识别；
步骤1.2：对步骤1.1得到的模型脸帧与第一帧的待识别人脸的关键点集建立对应关系模型，将视频片段中其余帧分别输入对应关系模型，得到姿态统一的视频片段；
步骤1.3：对步骤1.2得到的姿态统一的视频片段按照待识别人脸的瞳距进行背景分割，得到低分辨率人脸图像序列；如图5所示，两图均按照模型脸统一姿态，(a)图剔除了错误识别，(b)图改变了头部的倾斜角度；
步骤2：对步骤1得到的低分辨率人脸图像序列利用超分辨率重建方法重建为高分辨率人脸图像序列；
步骤2.1：获得高分辨率样本图像序列，利用超分辨率重建方法训练低分辨率人脸图像序列L与高分辨率样本图像序列间的结合系数ωτ；如图7所示，分块数为8×8；
步骤2.2：优化结合系数ωτ，并通过优化后的结合系数ωτ获得重建的高分辨率人脸图像序列H，如图8所示；
步骤3：对步骤2得到的高分辨率人脸图像序列中包含的各视频片段统一帧数，得到高分辨率人脸图像集；
步骤4：对步骤3得到的高分辨率人脸图像集采用如权利要求1所述的用于微表情识别的特征提取方法进行特征提取，得到高分辨率人脸图像集的多个MLBP-TOP特征，将多个MLBP-TOP特征输入LSVM分类器，得到高分辨率人脸图像集包含的每个人脸信息对应的微表情类别。如图11(c)所示，MLBP-TOP特征为5×5×2和8×8×2的混合特征对应的混淆矩阵。
如图10所示，(a)图为8×8×1的LBP-TOP特征提取符分块参数设置，(b)图为8×8×2分块参数设置，其中第一个参数(8)为列向块数、第二个参数(8)为行向块数、第三个参数(1/2)为时间向块数，采用uniform code编码方式，半径值R为2，采样数目P为8的LBP模型，如图10(c)所示，先对单个立方体提取XY、XT和YT三个方向的LBP特征，将三个LBP特征串联合并组成单个立方体的LBP-TOP特征，然后遍历全图得到整个立方体的LBP-TOP特征；
分块参数的设置有42种，分别是：2×2×1、2×2×2、2×2×3、2×2×4、2×2×5、2×2×6、3×3×1、3×3×2、3×3×3、3×3×4、3×3×5、3×3×6、4×4×1、4×4×2、4×4×3、4×4×4、4×4×5、4×4×6、5×5×1、5×5×2、5×5×3、5×5×4、5×5×5、5×5×6、6×6×1、6×6×2、6×6×3、6×6×4、6×6×5、6×6×6、7×7×1、7×7×2、7×7×3、7×7×4、7×7×5、7×7×6、8×8×1、8×8×2、8×8×3、8×8×4、8×8×5和8×8×6，对上述参数用LSVM分类器分类获得一组混淆矩阵(共42个)，其中LSVM分类器的惩罚系数c＝1。如图11所示(a)为3×3×2参数的识别准确度混淆矩阵，(b)为6×6×4参数的识别准确度混淆矩阵，可以看出两图数值分布混乱(数值分布在主对角线上为最佳结果)，大多数特征被错误分类为negative或surprise，特别是positive几乎全被错误分类，此时剔除该结果的参数；
本发明的优点可以通过实验进一步说明。
1.超分辨率重建实验
对步骤4获取的重建后的高分辨率人脸图像与高分辨率样本图像进行峰值信噪比(Peak signal to noise ratio,PSNR)计算，如下表1所示：
表1各数据集平均PSNR值
| PSNR(dB) | 16×16 | 32×32 | 64×64 |
| CASME II | 31.80 | 36.49 | 37.83 |
| SMIC-HS | 31.25 | 37.67 | 44.30 |
对步骤4获取的重建后的高分辨率人脸图像与高分辨率样本图像进行结构相似度(Structural similarity,SSIM)计算，如下表2所示：
表2各数据集平均SSIM值
| SSIM | 16×16 | 32×32 | 64×64 |
| CASME II | 0.9439 | 0.9761 | 0.9882 |
| SMIC-HS | 0.9397 | 0.9775 | 0.9883 |
2.微表情识别实验
对步骤7获取的特征进行LSVM分类，实验结果如下表3、4所示。其中LR指低分辨率图像序列，SR为超分辨率重建后的高分辨率人脸图像序列，HR为样本高分辨率图像，此处作为对照实验。
表3 SMIC-HS识别准确度
表4 CASME II识别准确度
3.实验结论
本发明采用提出的低分辨率环境下微表情识别的方法进行低分辨率环境下微表情识别，通过对低分辨率图像超分辨率重建增强高频信息、增大图像尺寸，使一般的微表情识别方法能有效地在低分辨率图像上发挥作用，与现有的方法的相比增强了微表情识别在实际场景中的可操作性。
Claims (7)
1.一种用于微表情识别的特征提取方法，其特征在于，包括如下步骤：
步骤1：获取高分辨率人脸图像集，所述高分辨率人脸图像集中包含不同人脸信息的图像序列，将包含同一人脸信息的图像序列划分为一段，随机选取其中一段图像序列作为测试集，其余段图像序列作为训练集；
步骤2：设置多组分块参数并按照分块参数对测试集进行分块，得到多组分块方式不同的测试集；
步骤3：对每组分块方式下的测试集分别提取LBP-TOP特征，得到多个LBP-TOP特征，将多个LBP-TOP特征输入LSVM分类器，得到多个识别准确度混淆矩阵，所述每个识别准确度混淆矩阵对应一个LBP-TOP特征；
步骤4：融合所有数值分布在主对角线的识别准确度混淆矩阵所对应的LBP-TOP特征，得到测试集的MLBP-TOP特征；
步骤5：采用Leave-one-subject-out方法，按照步骤4得到的测试集的MLBP-TOP特征处理训练集，提取到高分辨率人脸图像集中每段图像序列的MLBP-TOP特征。
2.如权利要求1所述的用于微表情识别的特征提取方法，其特征在于，步骤2中所述分块参数包括列向块数、行向块数和时间向块数。
3.一种低分辨率环境下微表情识别的方法，其特征在于，包括如下步骤：
步骤1：采集包含不同人脸信息的多个低分辨率视频片段，对每个低分辨率视频片段利用步骤1.1至步骤1.3进行处理，得到低分辨率人脸图像序列；
步骤1.1：选取低分辨率视频片段的模型脸帧，对视频片段的模型脸帧和第一帧分别利用ASM人脸标定算法标定待识别人脸的关键点集；
步骤1.2：对步骤1.1得到的模型脸帧与第一帧的待识别人脸的关键点集建立对应关系模型，将视频片段中其余帧分别输入对应关系模型，得到姿态统一的视频片段；
步骤1.3：对步骤1.2得到的姿态统一的视频片段按照待识别人脸的瞳距进行背景分割，得到低分辨率人脸图像序列；
步骤2：对步骤1得到的低分辨率人脸图像序列利用超分辨率重建方法重建为高分辨率人脸图像序列；
步骤3：对步骤2得到的高分辨率人脸图像序列中包含的各视频片段统一帧数，得到高分辨率人脸图像集；
步骤4：对步骤3得到的高分辨率人脸图像集采用如权利要求1所述的用于微表情识别的特征提取方法进行特征提取，得到高分辨率人脸图像集的多个MLBP-TOP特征，将多个MLBP-TOP特征输入LSVM分类器，得到高分辨率人脸图像集包含的每个人脸信息对应的微表情类别。
4.如权利要求3所述的低分辨率环境下微表情识别的方法，其特征在于，步骤1.1中所述ASM人脸标定算法为：
当标定出一个关键点集时，该关键点集为待检测人脸的关键点集；当标定出多个关键点集时，利用式Ⅰ排除错误标定，得到待检测人脸的关键点集；
其中，Imod表示模型脸帧，L(i)(Imod)表示模型脸帧中第i个关键点集中任意两个关键点的相对距离，p、q指同一个关键点集中任意两个关键点，i指标定的关键点集个数，n为Imod中所有关键点的个数且n＝68i，选择L(i)(Imod)最大的关键点集作为待检测人脸的关键点集。
5.如权利要求3所述的低分辨率环境下微表情识别的方法，其特征在于，步骤1.2中对应关系模型为：
当模型脸帧不是第一帧时，利用LWM函数建立模型脸帧的待识别人脸的关键点集ψ(Imod)与第一帧的待识别人脸的关键点集ψ(I1)之间如式Ⅱ的对应关系模型T：
T＝LWM(ψ(Imod),ψ(I1)) (式Ⅱ)，
当模型脸帧是第一帧时，对应关系模型T为常数1，视频片段是姿态统一的视频片段。
6.如权利要求3所述的低分辨率环境下微表情识别的方法，其特征在于，步骤2包括如下子步骤：
步骤2.1：获得高分辨率样本图像序列，利用超分辨率重建方法训练低分辨率人脸图像序列L与高分辨率样本图像序列间的结合系数ωτ；
步骤2.2：优化结合系数ωτ，并通过优化后的结合系数ωτ获得重建的高分辨率人脸图像序列H。
7.如权利要求3所述的低分辨率环境下微表情识别的方法，其特征在于，步骤3中统一帧数采用TIM算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910128712.4A CN109977769B (zh) | 2019-02-21 | 2019-02-21 | 一种低分辨率环境下微表情识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910128712.4A CN109977769B (zh) | 2019-02-21 | 2019-02-21 | 一种低分辨率环境下微表情识别的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109977769A true CN109977769A (zh) | 2019-07-05 |
| CN109977769B CN109977769B (zh) | 2023-04-18 |
Family
ID=67077174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910128712.4A Active CN109977769B (zh) | 2019-02-21 | 2019-02-21 | 一种低分辨率环境下微表情识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109977769B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488779A (zh) * | 2019-07-19 | 2020-08-04 | 同观科技（深圳）有限公司 | 视频图像超分辨率重建方法、装置、服务器及存储介质 |
| CN111738199A (zh) * | 2020-06-30 | 2020-10-02 | 中国工商银行股份有限公司 | 图像信息验证方法、装置、计算装置和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050019000A1 (en) * | 2003-06-27 | 2005-01-27 | In-Keon Lim | Method of restoring and reconstructing super-resolution image from low-resolution compressed image |
| CN105139039A (zh) * | 2015-09-29 | 2015-12-09 | 河北工业大学 | 视频序列中人脸微表情的识别方法 |
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| CN106845531A (zh) * | 2016-12-30 | 2017-06-13 | 东北农业大学 | 利用相对覆盖元约简进行人脸疲劳状态识别的方法及*** |
-
2019
- 2019-02-21 CN CN201910128712.4A patent/CN109977769B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050019000A1 (en) * | 2003-06-27 | 2005-01-27 | In-Keon Lim | Method of restoring and reconstructing super-resolution image from low-resolution compressed image |
| CN105139039A (zh) * | 2015-09-29 | 2015-12-09 | 河北工业大学 | 视频序列中人脸微表情的识别方法 |
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| CN106845531A (zh) * | 2016-12-30 | 2017-06-13 | 东北农业大学 | 利用相对覆盖元约简进行人脸疲劳状态识别的方法及*** |
Non-Patent Citations (4)
| Title |
|---|
| GUIFENG LI: "Micro-expression recognition under low-resolution cases", 《VISIGRAPP 2019》 * |
| HAIMIN ZHANG: "Improving Micro-expression Recognition Accuracy Using Twofold Feature Extraction", 《MULTIMEDIA MODELING》 * |
| 卢官明: "基于LBP-TOP特征的微表情识别", 《南京邮电大学学报》 * |
| 李桂锋: "低分辨率环境下的微表情识别", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488779A (zh) * | 2019-07-19 | 2020-08-04 | 同观科技（深圳）有限公司 | 视频图像超分辨率重建方法、装置、服务器及存储介质 |
| CN111488779B (zh) * | 2019-07-19 | 2024-02-13 | 长信智控网络科技有限公司 | 视频图像超分辨率重建方法、装置、服务器及存储介质 |
| CN111738199A (zh) * | 2020-06-30 | 2020-10-02 | 中国工商银行股份有限公司 | 图像信息验证方法、装置、计算装置和介质 |
| CN111738199B (zh) * | 2020-06-30 | 2023-12-19 | 中国工商银行股份有限公司 | 图像信息验证方法、装置、计算装置和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109977769B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN110069958B (zh) | 一种密集深度卷积神经网络的脑电信号快速识别方法 | |
| CN109615582A (zh) | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 | |
| CN107403142B (zh) | 一种微表情的检测方法 | |
| CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
| CN102663411B (zh) | 一种目标人体识别方法 | |
| Kantarcı et al. | Thermal to visible face recognition using deep autoencoders | |
| CN110163567A (zh) | 基于多任务级联卷积神经网络的课堂点名*** | |
| CN109977769A (zh) | 一种低分辨率环境下微表情识别的方法 | |
| CN111597920A (zh) | 一种自然场景下的全卷积单阶段的人体实例分割方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN111259844B (zh) | 标准化考场考生实时监控方法 | |
| US20100157040A1 (en) | Biometric facial surveillance system | |
| CN108898153B (zh) | 基于l21范式距离度量的特征选择方法 | |
| CN113033345A (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
| CN106022310B (zh) | 基于htg-hog和stg特征的人体行为识别方法 | |
| Gan et al. | A method for face and iris feature fusion in identity authentication | |
| CN106228163B (zh) | 一种基于特征选择的局部差三进制序列图像特征描述方法 | |
| Shaban et al. | A Novel Fusion System Based on Iris and Ear Biometrics for E-exams. | |
| CN109063766A (zh) | 一种基于判别性预测稀疏分解模型的图像分类方法 | |
| CN112949728B (zh) | 基于切片图像筛选和特征聚合的mri图像分类方法 | |
| CN111881803B (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
| CN109583426A (zh) | 一种根据图像辨识人脸的方法 | |
| CN109063208A (zh) | 一种融合多种特征信息的医学图像检索方法 | |
| Fan | Face recognition algorithm of sprinters based on sliding data camera measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |