CN110348344B - 一种基于二维和三维融合的特殊人脸表情识别的方法 - Google Patents

一种基于二维和三维融合的特殊人脸表情识别的方法 Download PDF

Info

Publication number
CN110348344B
CN110348344B CN201910571295.0A CN201910571295A CN110348344B CN 110348344 B CN110348344 B CN 110348344B CN 201910571295 A CN201910571295 A CN 201910571295A CN 110348344 B CN110348344 B CN 110348344B
Authority
CN
China
Prior art keywords
dimensional
data
camera
recognition
dimensional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910571295.0A
Other languages
English (en)
Other versions
CN110348344A (zh
Inventor
林斌
陈君楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910571295.0A priority Critical patent/CN110348344B/zh
Publication of CN110348344A publication Critical patent/CN110348344A/zh
Application granted granted Critical
Publication of CN110348344B publication Critical patent/CN110348344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了是一种基于二维和三维融合的特殊人脸表情识别的方法,装置主要包括左摄像头、右摄像头、投影仪和棋盘标定板,左摄像头、右摄像头位于装置的左右两边,投影仪位于左摄像头和右摄像头中点处,棋盘标定板在两摄像头前的共同视野处,三维数据的处理时提出了对深度图进行区域划分的方法,提取出有效区域作为输入数据,其作用是能够降低数据计算量,同时也不会对识别率有太大的影响,将二维数据与三维数据的识别结果进行融合,其作用是提高现有的单独使用二维数据时的识别率,同时降低妆容、光线等环境因素对表情识别的影响。

Description

一种基于二维和三维融合的特殊人脸表情识别的方法
技术领域
本发明涉及一种人脸表情识别方法,具体地说,是一种基于二维和三维融合的特殊人脸表情识别的方法,具是提取三维信息后辅助二维信息进行人脸表情识别的方法,其中包含了二维与三维的数据获取的方法。
背景技术
人脸表情识别技术是对表情进行识别的技术,主要利用面部的一些几何、纹理信息等进行剖析处理,传统的表情识别算法的对象大部分面向二维图像,该技术的处理对象是彩色或灰度二维图,利用人脸的纹理信息来进行辨认。二维图像本质上是人脸在某一光照条件下某一角度的亮暗信息,通过算法计算人脸特征点及其之间的关系,从而来进行表情识别,该方法容易受到光照情况、妆容变换等影响。因此,尽管目前二维人脸识别在很多情境下已经可以获得不错的识别率,但仍然存在着不容忽视的缺点。
随着科技的发展,三维成像技术的数据采集***也得到不断完善和成熟,于是越来越多的研究人员参与到三维人脸识别技术的研究中。三维人脸识别的处理对象是人脸部三维点云数据,利用其立体结构信息与数据库中的三维人脸信息进行匹配识别。因此相比于二维人脸表情识别技术,三维人脸表情识别具有以下优势:(1)所用三维数据比二维数据更丰富具体,拥有的细节信息更多,因此能提高准确率;(2)采集所得的三维数据表示的是人脸的立体形状特征,不容易受光照、妆容等影响,因此在适用范围上会比二维人脸识别更广更灵活。
尽管三维识别技术具有以上信息量更丰富、抗干扰能力更强等优点,但其也有以下几个不可忽视的缺陷:(1)获取数据方面:受三维获取技术的影响,想要准确获得三维数据存在一定难度;(2)处理数据方面:三维数据处理的算法复杂、计算量比二维数据处理要大,因此对计算机的硬件要求也更大。
发明内容
本发明正是针对现有技术存在的问题,提供了一种纹理信息与形状信息结合考虑的融合人脸识别法,利用到二维和三维信息各自的优点并克服两者各自的缺点的技术方案,提出了一种三维信息的提取并辅佐二维表情识别的方法,同时给出了二维三维人脸图像信息的获取方法,以及后续进行融合识别的方法。
本发明是通过以下技术方案来实现的:
本发明公开一种基于双目结构光的二维三维融合的特殊人脸表情识别方法,实现方法的装置主要包括左摄像头、右摄像头、投影仪和棋盘标定板,左摄像头、右摄像头位于装置的左右两边,所述的投影仪位于左摄像头和右摄像头中点处,棋盘标定板在两摄像头前的共同视野处,具体步骤如下:
1)棋盘标定板改变位置和角度的情况下,左摄像头、右摄像头各自对其拍摄图片共15~25组,并依次存储下来;
2)单目标定:利用左摄像头拍摄的图片,和棋盘的实际尺寸进行单目标定,得到左摄像头的焦距和畸变参数,右摄像头同理;
3)双目标定:等到步骤2)中左右摄像头各自的标定参数后,利用两两对应的图片,计算出摄像头之间的位置关系、映射函数,接着计算出畸变校正和立体校正的映射变换;
4)人脸拍摄:在暗环境下,通过投影仪将结构光投射到被测人脸上,并且左右各拍摄一张人脸图片;
5)二维表情识别:利用两张二维图片,首先对其进行直方图均衡化和滤波去噪处理;然后进行人脸归一化处理,包括灰度归一化和几何归一化,其中灰度归一化公式为:
x=x/(max+0.0001) (1)
x为图片中各个像素点的灰度值,max为灰度值最大点的值;
6)三维数据计算:利用左右两图以及双目标定参数,先进行立体匹配,计算出携带三维信息的点云数据;
7)三维表情识别:首先利用栅格化处理,将无序的点云数据插值后转变为规则的网格数据,具体插值方法为格点样条函数法,然后存为深度信息图;接下来进行特征点的提取,包括鼻尖点、眼角点、嘴角点;接下来利用特征点对深度图进行区域划分,选取出眼睛和嘴巴部分,重组为后续训练网络所需输入数据的大小的灰度图数据;最后将得到的数据用已完成训练的模型进行表情识别;
8)完成步骤1-3后,不断重复步骤4-7,获取足够的二维和三维数据库,并利用自己搭建的网络训练模型进行学习;
9)识别过程:重复步骤4-7,获取数据后分别投入两个完成训练的模型中进行识别,得到二维和三维识别下各表情的概率分布后,将其进行相加处理后,选取概率值最大作为最终识别结果。
作为进一步地改进,本发明所述的几何归一化的具体步骤为:
第一步,找到特征点,本文将双眼和鼻尖作为三个特征点,得到双眼间距d,双眼中点O;
第二步,利用双眼的坐标值对图片进行旋转变换,使得人脸方向转正;
第三步,根据面部的双眼和嘴巴等特征点,确定想要的矩形数据的裁剪区域,以O为原点,上下左右各截取合理范围,包括足够的人脸信息即可;
第四步,对截取到的表情区域图像进行尺度变化,使其归一化为相同大小的图片;
最后将预处理后得到的灰度值矩阵用已完成训练的模型进行表情识别即可。
作为进一步地改进,本发明训练数据的获取分为二维数据和三维数据的获取,二维数据完成所述的步骤5)中的预处理后即可存入二维数据库;三维数据完成所述的步骤7)中的预处理后可存入三维数据库,当数据库样本足够大时,各自进行学习训练,得到训练好后的模型,接下来的识别即分别利用两个模型,计算各自的概率分布后进行融合。
本发明的有益效果如下:
为了解决二维识别受光照、妆容等环境因素的影响,三维识别处理困难的问题,提出了一种利用部分三维数据辅助二维图像进行表情识别的方法,给出了二维图像和三维点云的数据获取方法和预处理方法。在自主搭建的训练模型下对二维和三维数据库进行训练并融合,能够提高单独使用二维图像进行人脸表情识别的识别率,尤其是在“恐惧”和“生气”这两个表情下,二维识别正确率相对于其他表情偏低,结合三维数据后能有效提高识别率。同时三维数据提取后,由于进行了区域化融合,所以后续处理难度和计算量均不高。由于初始化后的数据规格一致,三维和二维可以用同一套网络训练模型。
三维数据的处理时提出了对深度图进行区域划分的方法,提取出有效区域作为输入数据,其作用是能够降低数据计算量,同时也不会对识别率有太大的影响;将二维数据与三维数据的识别结果进行融合,其作用是提高现有的单独使用二维数据时的识别率,同时降低妆容、光线等环境因素对表情识别的影响。
附图说明
图1是本发明双目结构光获二维和三维数据的结构示意图;
1是左摄像头,2是右摄像头,3是投影仪,4是棋盘标定板,5是被测人脸。
具体实施方式
本发明的目的是针对现有的二维表情识别在妆容、光照等外界因素下对表情识别存在干扰,同时三维数据获取和处理困难的情况下,提出了一种三维信息的提取并辅佐二维表情识别的方法,同时给出了二维三维人脸图像信息的获取方法,实现本发明方法的装置包括左摄像头1、右摄像头2、投影仪3和棋盘标定板4,所述的左摄像头1和右摄像头2之间相隔15cm,投影仪3位于两者中点处,棋盘标定板4在两摄像头前的共同视野处,即图中所示位置,由左右摄像头2对其进行拍照,每记录一组图片后改变棋盘格的位置(上下左右移动)和角度,继续拍摄下一组,一共保存20组棋盘棋盘标定板4的图片,用于后续标定。
本发明的具体实施方法如下:
1)左右摄像头2各自对已知大小的棋盘标定板4拍照,拍照时需要将投影仪3中的结构光投影至棋盘标定板4上,每次拍摄一组图片并存储,接着改变棋盘标定板4的角度和位置,继续拍摄下一组,一共拍摄图片20组;
2)单目标定:利用左摄像头1拍摄的图片,和棋盘的实际尺寸进行单目标定,得到左摄像头1的焦距和畸变等参数,右摄像头2同理;
3)双目标定:等到步骤2)中左右摄像头2各自的标定参数后,利用两两对应的图片,计算出摄像头之间的位置关系、映射函数,接着计算出畸变校正和立体校正的映射变换;
4)人脸拍摄:在暗环境下,将结构光投射到被测人脸5上,并且左右各拍摄一张人脸图片;
5)二维数据预处理:利用两张二维图片,首先对其进行直方图均衡化和滤波去噪处理;然后进行人脸归一化处理,包括灰度归一化和几何归一化,其中灰度归一化公式为:
x=x/(max+0.0001) (2)
x为图片中各个像素点的灰度值,max为灰度值最大点的值。
几何归一化的步骤为:
第一步,找到特征点,本文将双眼和鼻尖作为三个特征点,得到双眼间距d,双眼中点O;第二步,利用双眼的坐标值对图片进行旋转变换,使得人脸方向转正;第三步,根据面部的双眼和嘴巴等特征点,确定想要的矩形数据的裁剪区域,以O为原点,左右各截取d的长度,向上截取0.5d,向下截取1.5d;第四步,对截取到的表情区域图像进行尺度变化,使其归一化为相同大小的图片。最后将预处理后得到的48*48的灰度值矩阵。
6)三维数据计算:利用左右两图以及双目标定参数,先进行立体匹配,计算出携带三维信息的点云数据。
7)三维数据预处理:首先利用栅格化处理,将无序的点云数据插值后转变为规则的网格数据,具体插值方法为格点样条函数法,然后存为深度信息图;接下来进行特征点的提取,包括鼻尖点、眼角点、嘴角点;接下来利用特征点对深度图进行区域划分,选取出眼睛和嘴巴部分,重组为48*48的数据。
8)完成步骤1-3后,不断重复步骤4-7,获取足够的二维和三维数据库,并利用自己搭建的网络训练模型进行学习。
9)识别过程:重复步骤4-7,获取数据后分别投入两个完成训练的模型中进行识别,得到二维和三维识别下各表情的概率分布后,将其进行相加处理后,选取概率值最大作为最终识别结果。
以上所述并非是对本发明的限制,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明实质范围的前提下,还可以做出若干变化、改型、添加或替换,这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于双目结构光的二维三维融合的特殊人脸表情识别方法,其特征在于,实现方法的装置主要包括左摄像头(1)、右摄像头(2)、投影仪(3)和棋盘标定板(4),所述的左摄像头(1)、右摄像头(2)位于装置的左右两边,所述的投影仪(3)位于左摄像头(1)和右摄像头(2)中点处,所述的棋盘标定板(4)在两摄像头前的共同视野处,具体步骤如下:
1)棋盘标定板(4)改变位置和角度的情况下,左摄像头(1)、右摄像头(2)各自对其拍摄图片共15~25组,并依次存储下来;
2)单目标定:利用左摄像头(1)拍摄的图片,和棋盘的实际尺寸进行单目标定,得到左摄像头(1)的焦距和畸变参数,右摄像头(2)同理;
3)双目标定:等到步骤2)中左右摄像头(2)各自的标定参数后,利用两两对应的图片,计算出摄像头之间的位置关系、映射函数,接着计算出畸变校正和立体校正的映射变换;
4)人脸拍摄:在暗环境下,将结构光投射到被测人脸(5)上,并且左右各拍摄一张人脸图片;
5)二维表情识别:利用两张二维图片,首先对其进行直方图均衡化和滤波去噪处理;然后进行人脸归一化处理,包括灰度归一化和几何归一化,其中灰度归一化公式为:
x_new=x/(max+0.0001) (1)
x_new为处理后图片中各个像素点的灰度值,x为原图片中各个像素点的灰度值,max为灰度值最大点的值;
6)三维数据计算:利用左右两图以及双目标定参数,先进行立体匹配,计算出携带三维信息的点云数据;
7)三维表情识别:首先利用栅格化处理,将无序的点云数据插值后转变为规则的网格数据,具体插值方法为格点样条函数法,然后存为深度信息图;接下来进行特征点的提取,包括鼻尖点、眼角点、嘴角点;接下来利用特征点对深度图进行区域划分,选取出眼睛和嘴巴部分,重组为后续训练网络所需输入数据的大小的灰度图数据;最后将得到的数据用已完成训练的模型进行表情识别;
8)完成步骤1)-3)后,不断重复步骤4)-7),其中5)中归一化后的图存入二维数据库,6)中点云数据存入三维数据库,直至获取足够的二维和三维数据库,然后利用自己搭建的网络训练模型进行学习;
9)识别过程:重复步骤4)-7),获取5)的二维数据和6)的三维数据后分别投入两个完成训练的模型中进行识别,得到二维和三维识别下各表情的概率分布后,将其进行相加处理后,选取概率值最大的识别结果作为最终识别结果。
2.根据权利要求1所述的基于双目结构光的二维三维融合的特殊人脸表情识别方法,其特征在于,所述的几何归一化的具体步骤为:
第一步,找到特征点,将双眼和鼻尖作为三个特征点,得到双眼间距d,双眼中点O;
第二步,利用双眼的坐标值对图片进行旋转变换,使得人脸方向转正;
第三步,根据面部的双眼和嘴巴特征点,确定想要的矩形数据的裁剪区域,以O为原点,上下左右各截取合理范围,包括足够的人脸信息;
第四步,对截取到的表情区域图像进行尺度变化,使其归一化为相同大小的图片;
最后将预处理后得到的灰度值矩阵用已完成训练的模型进行表情识别即可。
3.根据权利要求1或2所述的基于双目结构光的二维三维融合的特殊人脸表情识别方法,其特征在于,训练数据的获取分为二维数据和三维数据的获取,二维数据完成所述的步骤5)中的预处理后即可存入二维数据库;三维数据完成所述的步骤7)中的预处理后可存入三维数据库,当数据库样本足够大时,各自进行学习训练,得到训练好后的模型,接下来的识别即分别利用两个模型,计算各自的概率分布后进行融合。
CN201910571295.0A 2019-06-28 2019-06-28 一种基于二维和三维融合的特殊人脸表情识别的方法 Active CN110348344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910571295.0A CN110348344B (zh) 2019-06-28 2019-06-28 一种基于二维和三维融合的特殊人脸表情识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910571295.0A CN110348344B (zh) 2019-06-28 2019-06-28 一种基于二维和三维融合的特殊人脸表情识别的方法

Publications (2)

Publication Number Publication Date
CN110348344A CN110348344A (zh) 2019-10-18
CN110348344B true CN110348344B (zh) 2021-07-27

Family

ID=68177246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910571295.0A Active CN110348344B (zh) 2019-06-28 2019-06-28 一种基于二维和三维融合的特殊人脸表情识别的方法

Country Status (1)

Country Link
CN (1) CN110348344B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191609A (zh) * 2019-12-31 2020-05-22 上海能塔智能科技有限公司 人脸的情绪识别方法、装置、电子设备与存储介质
CN112163552A (zh) * 2020-10-14 2021-01-01 北京达佳互联信息技术有限公司 鼻部关键点的标注方法、装置、电子设备及存储介质
CN113780141A (zh) * 2021-08-31 2021-12-10 Oook(北京)教育科技有限责任公司 一种对弈模型的构建方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678235A (zh) * 2015-12-30 2016-06-15 北京工业大学 基于典型区域多维度特征的三维人脸表情识别方法
CN106909873A (zh) * 2016-06-21 2017-06-30 湖南拓视觉信息技术有限公司 人脸识别的方法和装置
CN107330371A (zh) * 2017-06-02 2017-11-07 深圳奥比中光科技有限公司 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN109003308A (zh) * 2018-06-27 2018-12-14 浙江大学 一种基于相位编码的特殊成像范围相机标定***及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298995B (zh) * 2014-05-06 2017-08-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
US20180190377A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
CN109886091B (zh) * 2019-01-08 2021-06-01 东南大学 基于带权重局部旋度模式的三维人脸表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678235A (zh) * 2015-12-30 2016-06-15 北京工业大学 基于典型区域多维度特征的三维人脸表情识别方法
CN106909873A (zh) * 2016-06-21 2017-06-30 湖南拓视觉信息技术有限公司 人脸识别的方法和装置
CN107330371A (zh) * 2017-06-02 2017-11-07 深圳奥比中光科技有限公司 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN109003308A (zh) * 2018-06-27 2018-12-14 浙江大学 一种基于相位编码的特殊成像范围相机标定***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A novel approach to classification of facial expressions from 3D-mesh data-sets using modifie PCA";Venkatesh Y 等;《Pattern Recognition Letters》;20091231;第30卷(第12期);第1128-1137页 *

Also Published As

Publication number Publication date
CN110348344A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN108564041B (zh) 一种基于rgbd相机的人脸检测和修复方法
CN110348344B (zh) 一种基于二维和三维融合的特殊人脸表情识别的方法
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
CN106874871B (zh) 一种活体人脸双摄像头识别方法及识别装置
CN102831392B (zh) 一种远距离虹膜跟踪与采集装置及其方法
CN109344813B (zh) 一种基于rgbd的目标识别和场景建模方法
CN107067429A (zh) 基于深度学习的人脸三维重建和人脸替换的视频编辑***及方法
CN111932678B (zh) 多视点实时人体运动、手势、表情、纹理重建***
EP3905104B1 (en) Living body detection method and device
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
CN110189294A (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN104036541A (zh) 一种视觉测量中的快速三维重建方法
CN109285183A (zh) 一种基于运动区域图像清晰度的多模视频图像配准方法
CN112365578A (zh) 基于双摄像机的三维人体模型重构***及方法
CN111881841B (zh) 一种基于双目视觉的人脸检测识别方法
CN116503567B (zh) 基于ai大数据的智慧建模管理***
CN110909571A (zh) 一种高精度面部识别空间定位方法
CN110852335B (zh) 一种基于多颜色特征融合与深度网络的目标跟踪***
CN109509194B (zh) 一种复杂背景下正面人体图像分割方法及装置
CN117218192A (zh) 一种基于深度学习与合成数据的弱纹理物***姿估计方法
CN106909880A (zh) 人脸识别中的人脸图像预处理方法
CN116182736A (zh) 基于双视角深度相机的羊只三维体尺参数自动检测装置及检测方法
CN111160278B (zh) 基于单个图像传感器的人脸纹理结构数据采集方法
CN114582017A (zh) 手势数据集合的生成方法及生成***、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant