CN108960112A - 一种人脸表情识别*** - Google Patents

一种人脸表情识别*** Download PDF

Info

Publication number
CN108960112A
CN108960112A CN201810669626.XA CN201810669626A CN108960112A CN 108960112 A CN108960112 A CN 108960112A CN 201810669626 A CN201810669626 A CN 201810669626A CN 108960112 A CN108960112 A CN 108960112A
Authority
CN
China
Prior art keywords
module
facial image
facial
key point
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810669626.XA
Other languages
English (en)
Inventor
肖鑫茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810669626.XA priority Critical patent/CN108960112A/zh
Publication of CN108960112A publication Critical patent/CN108960112A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种人脸表情识别***，包括人脸图像获取模块、人脸图像预处理模块、人脸图像特征提取模块、人脸图像分类识别模块，所述人脸图像获取模块采用立体视觉技术获取三维人脸图像，所述人脸图像预处理模块用于对三维人脸图像进行预处理，所述人脸图像特征提取模块用于对经过预处理的三维人脸图像特征进行提取，所述人脸图像分类识别模块根据提取的特征对人脸表情进行识别。本发明的有益效果为：实现了人脸表情的三维识别，相比于二维人脸表情识别，识别结果不受光照和外部因素的影响，得到的识别结果更为准确。

Description

一种人脸表情识别***
技术领域
本发明涉及表情识别技术领域，具体涉及一种人脸表情识别***。
背景技术
表情是人类情感理解和分析的主要载体之一。人脸表情识别的研究目的就是让计算机学习人类的情感表达，最终使其能够像人类一样具有识别、理解和表达情感的能力。为了达到这个目的不仅需要生理学、心理学等基础学科的理论支持，使得人脸表情获得更好的论释，而且需要图像处理、模式识别、计算机视觉等领域的理论与方法支持人脸表情理论的视觉计算，最终实现人脸表情的分析与识别。
传统基于二维图像的人脸表情识别己取得较好的识别结果，但仍存在一些问题没有解决，如光照及姿态变化等，而这是由二维图像的固有属性决定的，因此，基于二维图像的人脸表情识别很难突破该类问题。三维人脸表情是对表情的三维形状的表达，其获取不受光照等外部环境变化的影响。因此，三维人脸表情能够有效避免这些外部因素的影响，从而获得较好的识别结果。
发明内容
针对上述问题，本发明旨在提供一种人脸表情识别***。
本发明的目的采用以下技术方案来实现：
提供了一种人脸表情识别***，包括人脸图像获取模块、人脸图像预处理模块、人脸图像特征提取模块、人脸图像分类识别模块，所述人脸图像获取模块采用立体视觉技术获取三维人脸图像，所述人脸图像预处理模块用于对三维人脸图像进行预处理，所述人脸图像特征提取模块用于对经过预处理的三维人脸图像特征进行提取，所述人脸图像分类识别模块根据提取的特征对人脸表情进行识别。
本发明的有益效果为：实现了人脸表情的三维识别，相比于二维人脸表情识别，识别结果不受光照和外部因素的影响，得到的识别结果更为准确。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
人脸图像获取模块1、人脸图像预处理模块2、人脸图像特征提取模块3、人脸图像分类识别模块4。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种人脸表情识别***，包括人脸图像获取模块1、人脸图像预处理模块2、人脸图像特征提取模块3、人脸图像分类识别模块4，所述人脸图像获取模块1采用立体视觉技术获取三维人脸图像，所述人脸图像预处理模块2用于对三维人脸图像进行预处理，所述人脸图像特征提取模块3用于对经过预处理的三维人脸图像特征进行提取，所述人脸图像分类识别模块4根据提取的特征对人脸表情进行识别。
本实施例实现了人脸表情的三维识别，相比于二维人脸表情识别，识别结果不受光照和外部因素的影响，得到的识别结果更为准确。
所述人脸图像预处理模块2包括关键点确定模块和坐标建立模块，所述关键点确定模块用于确定人脸图像关键点，所述坐标建立模块用于根据关键点确定人脸坐标系；
所述关键点确定模块用于确定人脸图像关键点，具体为：
根据人脸和器官轮廓确定人脸的关键点，并对关键点进行编号：在左眼轮廓按照逆时针方向均匀采集6个点，所述左眼轮廓采样点包括内眼角和外眼角，并分别编为1和4，其余按采样顺序编为2、3、5、6，在左眉毛轮廓按照逆时针方向均匀采集6个点，所述左眉毛轮廓采样点上下对称，并编为7-12，在鼻子轮廓上按照鼻子右侧、鼻子前端、鼻子左侧顺序逆时针均匀采集10个点，所述鼻子轮廓采样点左右对称，并编为13-22，在嘴巴外轮廓按照逆时针方向均匀采集6个点，所述嘴巴外轮廓采样点中包括右嘴角和左嘴角，并分别编为23和26，其余按采样顺序编为24、25、27、28，在人脸轮廓上按照右脸、下巴、左脸顺序逆时针均匀采集8个点，所述人脸轮廓采样点左右对称，并编为29-36；
所述坐标建立模块用于确定人脸坐标系，具体为：将左眼内眼角作为坐标原点，建立三维直角坐标系，将人脸上的每个点表示为三维坐标形式，则编号为i的关键点对应坐标ρi＝(xi,yi,zi)，xi,yi,zi分别表示编号为i的关键点的三个坐标分量，i＝1.2.….36；
本优选实施例通过确定人脸关键点和建立人脸坐标系，为后续人脸特征准确提取奠定了基础，由于人脸表情主要表现在器官和脸型变化，选取人脸和器官轮廓36个关键点作为后续特征提取的依据，在保证对人脸特征的准确刻画下有助于提升计算效率。
所述人脸图像特征提取模块3包括第一特征提取模块、第二特征提取模块和特征融合模块，所述第一特征提取模块用于提取三维人脸图像的第一特征，所述第二特征提取模块用于提取三维人脸图像的二特征，所述特征融合模块用于对所述第一特征和第二特征进行融合，确定三维人脸图像特征；
所述第一特征提取模块用于提取三维人脸图像的第一特征，具体为：
将任意两个关键点ρl＝(xl,yl,zl)和ρj＝(xj,yj,zj)的距离指标确定为：
式中，dl-j表示两个关键点ρl＝(xl,yl,zl)和ρj＝(xj,yj,zj)的距离指标，l,j∈[1,36]；
将第一特征U1表示为：U1＝(u1，u2，u3)；
其中，u3＝d23-26；
所述第二特征提取模块用于提取三维人脸图像的二特征，具体为：
将第二特征U2表示为：U2＝(u4，u5)
其中，
所述特征融合模块用于对所述第一特征和第二特征进行融合，确定三维人脸图像特征，具体为：根据第一特征和第二特征确定三维人脸图像特征U：U＝(u1，u2，u3，u4，u5)。
当人脸表情发生变化时，面部肌肉的运动会导致人脸局部器官发生形变和位移，这是人脸表情最易被察觉的显著特征。本优选实施例根据距离指标提取第一特征和第二特征描述人脸局部器官的形状变化，使其对人脸表情变化的表征更有效，有助于后续提高人脸表情识别的准确性，具体的，第一特征反映了眼睛、眉毛和嘴巴的变化，第二特征反映了鼻子和脸型的变化。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种人脸表情识别***，其特征在于，包括人脸图像获取模块、人脸图像预处理模块、人脸图像特征提取模块、人脸图像分类识别模块，所述人脸图像获取模块采用立体视觉技术获取三维人脸图像，所述人脸图像预处理模块用于对三维人脸图像进行预处理，所述人脸图像特征提取模块用于对经过预处理的三维人脸图像特征进行提取，所述人脸图像分类识别模块根据提取的特征对人脸表情进行识别。
2.根据权利要求1所述的人脸表情识别***，其特征在于，所述人脸图像预处理模块包括关键点确定模块和坐标建立模块，所述关键点确定模块用于确定人脸图像关键点，所述坐标建立模块用于根据关键点确定人脸坐标系。
3.根据权利要求2所述的人脸表情识别***，其特征在于，所述关键点确定模块用于确定人脸图像关键点，具体为：
根据人脸和器官轮廓确定人脸的关键点，并对关键点进行编号：在左眼轮廓按照逆时针方向均匀采集6个点，所述左眼轮廓采样点包括内眼角和外眼角，并分别编为1和4，其余按采样顺序编为2、3、5、6，在左眉毛轮廓按照逆时针方向均匀采集6个点，所述左眉毛轮廓采样点上下对称，并编为7-12，在鼻子轮廓上按照鼻子右侧、鼻子前端、鼻子左侧顺序逆时针均匀采集10个点，所述鼻子轮廓采样点左右对称，并编为13-22，在嘴巴外轮廓按照逆时针方向均匀采集6个点，所述嘴巴外轮廓采样点中包括右嘴角和左嘴角，并分别编为23和26，其余按采样顺序编为24、25、27、28，在人脸轮廓上按照右脸、下巴、左脸顺序逆时针均匀采集8个点，所述人脸轮廓采样点左右对称，并编为29-36。
4.根据权利要求3所述的人脸表情识别***，其特征在于，所述坐标建立模块用于确定人脸坐标系，具体为：将左眼内眼角作为坐标原点，建立三维直角坐标系，将人脸上的每个点表示为三维坐标形式，则编号为i的关键点对应坐标ρi＝(xi,yi,zi)，xi,yi,zi分别表示编号为i的关键点的三个坐标分量，i＝1.2.….36。
5.根据权利要求4所述的人脸表情识别***，其特征在于，所述人脸图像特征提取模块包括第一特征提取模块、第二特征提取模块和特征融合模块，所述第一特征提取模块用于提取三维人脸图像的第一特征，所述第二特征提取模块用于提取三维人脸图像的二特征，所述特征融合模块用于对所述第一特征和第二特征进行融合，确定三维人脸图像特征。
CN201810669626.XA 2018-06-26 2018-06-26 一种人脸表情识别*** Withdrawn CN108960112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810669626.XA CN108960112A (zh) 2018-06-26 2018-06-26 一种人脸表情识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810669626.XA CN108960112A (zh) 2018-06-26 2018-06-26 一种人脸表情识别***

Publications (1)

Publication Number Publication Date
CN108960112A true CN108960112A (zh) 2018-12-07

Family

ID=64486777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810669626.XA Withdrawn CN108960112A (zh) 2018-06-26 2018-06-26 一种人脸表情识别***

Country Status (1)

Country Link
CN (1) CN108960112A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781800A (zh) * 2019-10-23 2020-02-11 北京远舢智能科技有限公司 一种图像识别***
CN111460923A (zh) * 2020-03-16 2020-07-28 平安科技（深圳）有限公司 微表情识别方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000023915A (ko) * 1999-09-22 2000-05-06 이칠기 표정변화와 주변환경에 독립적인 얼굴인식을 위한 학습 및인식방법.
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000023915A (ko) * 1999-09-22 2000-05-06 이칠기 표정변화와 주변환경에 독립적인 얼굴인식을 위한 학습 및인식방법.
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李小利: "三维人脸表情识别中特征提取算法研究", 《中国博士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781800A (zh) * 2019-10-23 2020-02-11 北京远舢智能科技有限公司 一种图像识别***
CN110781800B (zh) * 2019-10-23 2022-04-12 北京远舢智能科技有限公司 一种图像识别***
CN111460923A (zh) * 2020-03-16 2020-07-28 平安科技（深圳）有限公司 微表情识别方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
CN108062546B (zh) 一种计算机人脸情绪识别***
KR20240036149A (ko) 증강 현실 아이덴티티 검증
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN109753875A (zh) 基于人脸属性感知损失的人脸识别方法、装置与电子设备
EP3905104B1 (en) Living body detection method and device
CN106980819A (zh) 基于人脸五官的相似度判别***
CN108960112A (zh) 一种人脸表情识别***
CN110175515B (zh) 一种基于大数据的人脸识别算法
CN103927747A (zh) 一种基于人脸生物特征的面匹配空间注册方法
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN107479693A (zh) 基于rgb信息的实时手部识别方法、存储介质、电子设备
CN112257641A (zh) 一种人脸识别活体检测方法
Bagchi et al. A robust analysis, detection and recognition of facial features in 2.5 D images
CN109977764A (zh) 基于平面检测的活体识别方法、装置、终端及存储介质
CN110222651A (zh) 一种人脸姿态检测方法、装置、终端设备及可读存储介质
CN111597928A (zh) 三维模型处理方法及装置、电子设备、存储介质
CN108655571A (zh) 一种数控激光雕刻机、控制***及控制方法、计算机
Castelán et al. Acquiring height data from a single image of a face using local shape indicators
CN108256440A (zh) 一种眉毛图像分割方法和***
CN111460910A (zh) 人脸脸型的分类方法、装置、终端设备及存储介质
Minovic et al. Three-dimensional symmetry identification part i: Theory
CN108875656A (zh) 一种智能多媒体播放***
CN105590107B (zh) 一种人脸底层特征构建方法
CN108875660A (zh) 一种基于云计算的交互式机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181207