CN112232310B - 一种用于表情捕捉的人脸识别***和方法 - Google Patents

一种用于表情捕捉的人脸识别***和方法 Download PDF

Info

Publication number
CN112232310B
CN112232310B CN202011425666.3A CN202011425666A CN112232310B CN 112232310 B CN112232310 B CN 112232310B CN 202011425666 A CN202011425666 A CN 202011425666A CN 112232310 B CN112232310 B CN 112232310B
Authority
CN
China
Prior art keywords
feature
dimensional coordinate
dimensional
active
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011425666.3A
Other languages
English (en)
Other versions
CN112232310A (zh
Inventor
郭勇
苑朋飞
靳世凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongying Nian Nian Beijing Technology Co ltd
Original Assignee
China Film Annual Beijing Culture Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Film Annual Beijing Culture Media Co ltd filed Critical China Film Annual Beijing Culture Media Co ltd
Priority to CN202011425666.3A priority Critical patent/CN112232310B/zh
Publication of CN112232310A publication Critical patent/CN112232310A/zh
Application granted granted Critical
Publication of CN112232310B publication Critical patent/CN112232310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于表情捕捉的人脸识别***和方法，包括人脸图像采集***和面部特征识别模块；真实三维面部重建***用于根据人脸图像采集系的结构光成像原理建立三维立体面部模型，同时重新确立三维立体面部模型的三维坐标系；虚拟人物三维模型***用于在同一个三维坐标系建立立体虚拟轮廓且在立体虚拟轮廓的内部填充虚拟特征部位；姿态匹配模块用于选定每个面部特征部位的多个主动选择特征点并确定比例关系；特征点关联模块用于根据比例关系确定被动选择特征点；表情动态追踪模块将主动选择特征点按照比例关系确定虚拟特征部位的被动选择特征点在三维坐标系的三维坐标变化；本发明通过人脸识别技术保证真实人脸与虚拟人物面部特征的相似性。

Description

一种用于表情捕捉的人脸识别***和方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种用于表情捕捉的人脸识别***和方法。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，人脸识别***主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。
人脸识别目前不仅仅用于身份识别，目前人脸识别技术广泛地应用于日常娱乐生活中，如相机拍摄，图片对比等，比如利用人脸对比技术来测试男女主人公面相的相似程度，而如果将人脸识别技术与表情捕捉技术结合，创造出与主人公面容相似且具有相同面部表情的动漫人物。
但是传统的人脸识别***还存在的缺陷如下：人脸识别***大多通过人脸图像采集及检测获得面部图像，然后对图像进行光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等预处理，其次通过人脸图像特征提取模块获取面部图像的静态特征，因此传统的人脸识别技术用于识别面部轮廓和五官特征，无法实现表情捕捉，只能对比两个静态图像的相似度，进而无法创造出与主人公面容相似且具有相同面部表情的动漫人物。
发明内容
本发明的目的在于提供一种用于表情捕捉的人脸识别***和方法，以解决现有技术传统的人脸识别技术用于识别面部轮廓和五官特征，无法实现表情捕捉，进而无法创造出与主人公面容相似且具有相同面部表情的动漫人物的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种用于表情捕捉的人脸识别***，包括：
人脸图像采集***，包括摄像机拍摄单元和结构光采集单元，所述摄像机拍摄单元用于拍摄人脸的动态图像，所述结构光采集单元用于通过结构光成像原理获取在所述动态图像中人体面部的光信号的数值及其变化来捕捉面部表情；
面部特征识别模块，用于将所述摄像机拍摄单元拍摄的动态图像进行静态截取，并通过人脸图像特征提取单元确定面部轮廓特征和五官特征；
真实三维面部重建***，用于根据所述结构光采集单元的结构光成像原理建立三维立体面部模型，同时重新确立所述三维立体面部模型的三维坐标系，根据所述结构光采集单元获取人体面部的光信号的数值确定多个面部特征部位的分布位置，且根据所述面部特征识别模块获取的人脸轮廓特征和五官特征细化所述面部特征部位的面部轮廓特征和五官特征；
虚拟人物三维模型***，用于在所述真实三维面部重建***的三维坐标系的基础上建立立体虚拟轮廓且在所述立体虚拟轮廓的内部填充虚拟特征部位，确定所述面部特征部位与所述虚拟特征部位之间的一一对应关系；
姿态匹配模块，用于选定每个所述面部特征部位的多个主动选择特征点，建立所述面部特征部位主动牵引所述虚拟特征部位移动的主被动关系，并确定每个所述面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系；
特征点关联模块，用于根据每个所述面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系，确定所述虚拟特征部位中对应每个所述主动选择特征点的被动选择特征点；
表情动态追踪模块，用于根据所述面部特征部位的主动选择特征点在三维坐标系的三维坐标变化值，且将所述主动选择特征点按照比例关系确定所述虚拟特征部位的被动选择特征点在三维坐标系的三维坐标变化值以实现动画模拟。
作为本发明的一种优选方案，还包括特征点选定辐射模块，用于根据每个所述主动选择特征点的影响范围选定主动辐射特征点，且根据与所述主动选择特征点对距离不同的所述主动辐射特征点的带动能力确定所述主动选择特征点与不同影响范围的所述主动辐射特征点之间的函数关系；
所述特征点关联模块根据每个所述面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系确定所述主动辐射特征点对应的被动辐射特征点，且所述被动选择特征点和被动辐射特征点之间的函数关系与所述主动选择特征点和主动辐射特征点之间的函数关系相同；
且所述表情动态追踪模块按照函数关系确定所述主动辐射特征点的三维坐标变化值，将所述主动辐射特征点按照比例关系确定所述虚拟特征部位的被动辐射特征点在三维坐标系的三维坐标变化值以精确实现动画模拟。
作为本发明的一种优选方案，所述人脸图像采集系将所述光信号分为对应面部无动作的静止信号，以及面部工作的动态信号，所述真实三维面部重建***根据所述静止信号建立所述三维立体面部模型，且根据所有静止信号的光信号参数差异确定所述面部特征部位的分布位置，其中，
所述真实三维面部重建***重新确立所述三维立体面部模型的三维坐标系的实现方式为：
以所述三维立体面部模型的眼部特征部位连线的中垂线作为Y轴，以及耳部特征部位之间且与所述中垂线直接相交的横向连线为X轴，建立二维坐标系；
以二维坐标系的原点为起点，向所述三维立体面部模型内部做垂直线作为Z轴，最终建立三维坐标系；
所述面部特征部位的主动选择特征点和主动辐射特征点的三维坐标值（x，y，z）分别为所述主动选择特征点与所述中垂线相交的横向连线的距离、所述主动选择特征点与所述中垂线的距离以及光信号深度值对应的面部凹凸位置。
作为本发明的一种优选方案，所述虚拟特征部位的被动选择特征点和被动辐射特征点根据所述比例关系和函数关系确定对应的三维坐标值（x'，y'，z'）。
作为本发明的一种优选方案，所述真实三维面部重建***和虚拟人物三维模型***整体还嵌套在第二三维坐标系内，所述第二三维坐标系用于实现所述真实三维面部重建***和虚拟人物三维模型***的头部动作。
作为本发明的一种优选方案，还包括数据池追踪模块，当光信号为静止信号，且所述姿态匹配模块和所述特征点关联模块完成初始化比例关系和函数关系设定时，所述数据池追踪模块用于保存所述主动选择特征点和所述主动辐射特征点的原始三维坐标值，以及所述被动选择特征点和所述被动辐射特征点的原始三维坐标值，当光信号为表示面部工作的动态信号时，所述数据池追踪模块用于实时更改所述主动选择特征点和所述主动辐射特征点的所述原始三维坐标值，且利用所述原始三维坐标值之间的匹配关系实时更改所述被动选择特征点和所述被动辐射特征点的三维坐标值。
作为本发明的一种优选方案，所述特征点选定辐射模块用于选定作为动态信号的每个主动选择特征点对应的主动辐射特征点，作为动态信号的所述主动选择特征点的影响范围与所述主动选择特征点x，y的变化值成正比，所述主动选择特征点的影响范围通过正比例函数确定所述主动选择特征点的坐标值变化幅度；
且不同的所述主动辐射特征点的x，y坐标值变化幅度与所述主动辐射特征点距离所述主动选择特征点的远近成反比，所述主动辐射特征点与所述主动选择特征点的距离通过反比例函数确定主动辐射特征点的x，y坐标值变化幅度。
作为本发明的一种优选方案，两个相邻的所述主动选择特征点的影响范围存在重叠的所述主动辐射特征点时，所述主动辐射特征点的x1，y1坐标值变化幅度等于两个所述主动选择特征点对应的反比例函数值叠加结果。
为解决上述技术问题，本发明还进一步提供下述技术方案：一种用于生成动画的表情捕捉方法，包括以下步骤：
步骤100、利用摄像机拍摄单元获取人脸的动态图像并通过人脸识别技术获取面部轮廓特征和五官特征，且通过结构光方法捕捉人脸的动态图像的面部表情变化，在三维立体面部模型内确定不同的面部特征部位的分布位置；
步骤200、重建所述三维立体面部模型关于所述面部特征部位的三维坐标系，并确定所述面部特征部位静止时在所述三维坐标系内的原始三维坐标值；
步骤300、在所述三维坐标系内重建虚拟人物三维模型***，且建立每个所述面部特征部位与对应的虚拟特征部位在所述三维坐标系内的比例关系，以完成所述面部特征部位和所述虚拟特征部位的初始化匹配工作；
步骤400、选定所述面部特征部位的主动选择特征点，根据所述面部特征部位与所述虚拟特征部位的比例关系，匹配选定所述虚拟特征部位的被动选择特征点；
步骤500、实时捕捉所述主动选择特征点的三维坐标值的变化，且根据所述主动选择特征点与所述被动选择特征点之间的比例关系，确定所述被动选择特征点的三维坐标值的变化以将动画图像追踪面部表情变化。
作为本发明的一种优选方案，以所述主动选择特征点为中心确定所述主动选择特征点的影响范围，且在所述影响范围内选择多个主动辐射特征点，且利用影响范围函数和影响幅度函数确定所述主动选择特征点带动的所述主动辐射特征点的三维坐标值变化，且所述被动选择特征点利用同样的方式确定被动辐射特征点以及所述被动辐射特征点的三维坐标值变化；
且利用数据池追踪模块保存所述主动选择特征点、主动辐射特征点、所述被动选择特征点和被动辐射特征点的原始三维坐标值，并建立所述原始三维坐标值的匹配关系，且在所述主动选择特征点、主动辐射特征点、所述被动选择特征点和被动辐射特征点对应的原始三维坐标值变化时，以原始三维坐标值为标记实时确所述主动选择特征点、主动辐射特征点、所述被动选择特征点和被动辐射特征点之间的对应关系，以实时根据比例关系更改所述被动选择特征点和所述被动辐射特征点的三维坐标值。
本发明与现有技术相比较具有如下有益效果：
（1）本发明建立面部特征部位，例如眼睛、眉毛、嘴巴、鼻子和耳朵等结构在三维坐标系内的坐标值以及虚拟特征结构在在三维坐标系内的坐标值，通过人脸识别技术的限定，确定了面部特征部位与对应的虚拟特征结构的相似性，从而保证真实人脸与虚拟人物面部特征的相似性；
（2）本发明分别建立每个面部特征部位与对应的虚拟特征结构之间的比例关系以及真实的眼睛与动画上的虚拟眼睛之间的比例关系，从而提高了动画人物对表情捕捉的准确性，将动画虚拟人物的表情幅度与真实的面部表情统一，因此降低动画虚拟人物的表情捕捉与真实的表情误差。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的表情捕捉及动画自动生成***的结构框图；
图2为本发明实施例提供的表情捕捉及动画自动生成方法的流程示意图。
图中的标号分别表示如下：
1-人脸图像采集***；2-真实三维面部重建***；3-虚拟人物三维模型***；4-姿态匹配模块；5-特征点关联模块；6-表情动态追踪模块；7-特征点选定辐射模块；8-数据池追踪模块；9-面部特征识别模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种用于表情捕捉的人脸识别***，现有将表情捕捉和动画生成联系在一起，以将真实的面部表情灵活的嫁接到动画虚拟人物上，但是由于真实面部表情与虚拟面部特征之间的对应关系不明确，导致动画虚拟人物的表情幅度不统一，且面部特征的不同位置的变化幅度不是一一对应的，因此动画虚拟人物的表情可能会存在表情捕捉误差大的问题。
为了解决上述问题，本实施方式提供的表情捕捉及动画自动生成***，具体包括：
人脸图像采集***1，分为摄像机拍摄单元和结构光采集单元，所述摄像机拍摄单元用于拍摄人脸的动态图像，所述结构光采集单元用于通过结构光成像原理获取在所述动态图像中人体面部的光信号的数值及其变化来捕捉面部表情。
面部特征识别模块9，用于将所述摄像机拍摄单元拍摄的动态图像进行静态截取，并通过人脸图像特征提取单元确定面部轮廓特征和五官特征。
需要补充说明的是，结构光三维成像的硬件主要由相机和投射器组成，结构光就是通过投射器投射到被测物体表面的主动结构信息，然后通过单个或多个相机拍摄被测表面即得结构光图像；最后基于三角测量原理经过图像三维解析计算从而实现三维重建。
真实三维面部重建***2，用于根据所述结构光采集单元的结构光成像原理建立三维立体面部模型，同时重新确立所述三维立体面部模型的三维坐标系，根据所述结构光采集单元获取人体面部的光信号的数值确定多个面部特征部位的分布位置，且根据所述面部特征识别模块获取的人脸轮廓特征和五官特征细化所述面部特征部位的面部轮廓特征和五官特征。
虚拟人物三维模型***3，用于在真实三维面部重建***2的三维坐标系的基础上建立立体虚拟轮廓且在立体虚拟轮廓的内部填充虚拟特征部位，确定面部特征部位与虚拟特征部位之间的一一对应关系；
另外，需要特别说明的是，真实三维面部重建***2和虚拟人物三维模型***3整体还嵌套在第二三维坐标系内，第二三维坐标系用于实现真实三维面部重建***2和虚拟人物三维模型***3的头部动作。
虚拟人物三维模型***3与真实三维面部重建***2使用的三维坐标系相同，因此，当真实面部进行左右摆动或者扭转时，虚拟人物三维模型***3可以随着真实三维面部重建***2同步转动，因此本实施方式不仅仅可以实现面部表情捕捉和同步动画演示，也可以实现动画和真实头部的同步镜像移动。
姿态匹配模块4，用于选定每个面部特征部位的多个主动选择特征点，建立面部特征部位主动牵引虚拟特征部位移动的主被动关系，并确定每个面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系；
特征点关联模块5，用于根据每个面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系，确定所述虚拟特征部位中对应每个所述主动选择特征点的被动选择特征点；
表情动态追踪模块6，用于根据面部特征部位的主动选择特征点在三维坐标系的三维坐标变化值，且将主动选择特征点按照比例关系确定虚拟特征部位的被动选择特征点在三维坐标系的三维坐标变化值以实现动画模拟。
由于动画模拟人像与真实头部的面部特征部位的分布并不是完全一一对应的，比如说，利用兔子的面部来动画模拟人体面部的表情变化，那么虚拟特征部位和真实的面部特征部位在三维坐标系的位置并不是按照相同的比例关系设定的，因此需要将每个面部特征部位（例如眼睛、嘴巴和眉毛）分别进行位置对应匹配，然后再利用动画模拟人物同步演示每个面部特征部位的位置变化，以实现面部表情捕捉。
同时通过特征点的匹配和主被动牵引关系，而同一个面部特征部位的相邻两个特征点之间经过弧形润滑处理，即可实现表情捕捉和动画演示。
另外，上述的动画模拟操作只适应于面部特征部位，例如眼珠、嘴巴、眉毛动作表情追踪，而无法对面部肌肉部分的变化进行模拟，由于肌肉部分的光信号变化幅度小，因此不容易找到特征点，因此导致动画模拟表情捕捉的效果存在失真缺陷，为了解决这一问题，本实施方式还通过以下方式解决。
特征点选定辐射模块7用于根据每个主动选择特征点的影响范围选定主动辐射特征点，且根据与主动选择特征点对距离不同的主动辐射特征点的带动能力确定主动选择特征点与不同影响范围的主动辐射特征点之间的函数关系；
特征点关联模块5根据每个面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系确定主动辐射特征点对应的被动辐射特征点，且被动选择特征点和被动辐射特征点之间的函数关系与主动选择特征点和主动辐射特征点之间的函数关系相同；
且表情动态追踪模块6按照函数关系确定主动辐射特征点的三维坐标变化值，将主动辐射特征点按照比例关系确定虚拟特征部位的被动辐射特征点在三维坐标系的三维坐标变化值以精确实现动画模拟。
由于真实的面部在做不同的表情时，特征部位附近的肌肉也会随着特征部位的变化而发生变化，比如说做惊讶的表情时，不仅仅是特征部位的位置，大小发生变化，同时面部肌肉特征也在发生变化。
为了更细节化真实化的捕捉人物表情，本实施方式利用特征点选定辐射模块7先在主动选择特征点的影响范围选定主动辐射特征点，然后利用主动选择特征点与被动选择特征点同样的比例关系，确定对应被动选择特征点的影响范围和被动辐射特征点的三维坐标值，即被动辐射特征点的选定位置。
人脸图像采集系1将光信号分为对应面部无动作的静止信号，以及面部工作的动态信号，真实三维面部重建***2根据静止信号建立三维立体面部模型，且根据所有静止信号的光信号参数差异确定面部特征部位的分布位置，其中，
真实三维面部重建***2重新确立三维立体面部模型的三维坐标系的实现方式为：
以三维立体面部模型的眼部特征部位连线的中垂线作为Y轴，以及耳部特征部位之间且与中垂线直接相交的横向连线为X轴，建立二维坐标系；
以二维坐标系的原点为起点，向三维立体面部模型内部做垂直线作为Z轴，最终建立三维坐标系；
面部特征部位的主动选择特征点和主动辐射特征点的三维坐标值（x，y，z）分别为主动选择特征点与中垂线相交的横向连线的距离、主动选择特征点与中垂线的距离以及光信号深度值对应的面部凹凸值。
虚拟特征部位的被动选择特征点和被动辐射特征点根据比例关系和函数关系确定对应的三维坐标值（x'，y'，z'），需要补充说明的是，由于虚拟人物三维模型***3在真实三维面部重建***2的三维坐标系的基础上建立立体虚拟轮廓，立体虚拟轮廓内的虚拟面部特征的面部凹凸值与真实的面部特征部位的面部凹凸值并不是完全相同或者完全按照相同的比例，因此每个主动选择特征点和每个主动辐射特征点的三维坐标值（x，y，z）与对应的被动选择特征点和被动辐射特征点的三维坐标值（x'，y'，z'）之间的比例关系均不相同。
每个主动选择特征点以及每个主动辐射特征点的z坐标值根据特定的比例关系确定被动选择特征点和被动辐射特征点的z'坐标值；每个主动选择特征点以及每个主动辐射特征点的x坐标值根据特定的比例关系确定被动选择特征点和被动辐射特征点的x'坐标值；每个主动选择特征点以及每个主动辐射特征点的y坐标值根据特定的比例关系确定被动选择特征点和被动辐射特征点的y'坐标值。
同时每个主动选择特征点和对应影响范围内的不同的主动辐射特征点之间的函数关系也不完全相同。
即特征点选定辐射模块7用于选定作为动态信号的每个主动选择特征点对应的主动辐射特征点，作为动态信号的主动选择特征点的影响范围与主动选择特征点本身x，y的变化值成正比，主动选择特征点的影响范围通过正比例函数确定主动选择特征点的坐标值变化幅度；
且不同的主动辐射特征点的x1，y1坐标值变化幅度与主动辐射特征点距离主动选择特征点的远近成反比，主动辐射特征点与主动选择特征点的距离通过反比例函数确定主动辐射特征点的x1，y1坐标值变化幅度。
也就是说，主动辐射特征点的坐标值（x1，y1）=k*m（x，y），其中，k为主动选择特征点的变化幅度，m为主动辐射特征点距离主动选择特征点的位置距离对应的位置幅度。
两个相邻的主动选择特征点的影响范围存在重叠的主动辐射特征点时，主动辐射特征点的x1，y1坐标值变化幅度等于两个主动选择特征点对应的反比例函数值叠加结果。
另外，本实施方式还通过数据池追踪模块8确定当表情变化时，追踪变化的主动选择特征点、主动辐射特征点、被动选择特征点以及被动辐射特征点之间的一一匹配关系，则根据主动选择特征点、主动辐射特征点的变化的三维坐标值，快速找到对应的被动选择特征点以及被动辐射特征点，且根据比例关系同步改变被动选择特征点以及被动辐射特征点的三维坐标值。
即当光信号为静止信号，且姿态匹配模块4和特征点关联模块5完成初始化比例关系和函数关系设定时，数据池追踪模块8用于保存主动选择特征点和主动辐射特征点的原始三维坐标值，以及被动选择特征点和被动辐射特征点的原始三维坐标值，当光信号为表示面部工作的动态信号时，数据池追踪模块8用于实时更改主动选择特征点和主动辐射特征点的原始三维坐标值，且利用原始三维坐标值之间的匹配关系实时更改被动选择特征点和被动辐射特征点的三维坐标值。
本实施方式根据面部特征部位与其周围的面部肌肉之间的对应关系，面部肌肉与面部特征部位的距离，以及面部特征部位的变化幅度均影响主动辐射特征点的选择，一般来说，面部特征部位的变化幅度越大，则选择的主动辐射特征点的范围也比较大，同时主动辐射特征点与面部特征部位的距离越近，则主动辐射特征点的三维坐标值变化值越大。
因此本实施方式先根据在面部特征部位选定的主动选择特征点的变化幅度确定主动辐射特征点的选定数量，且根据选定的主动辐射特征点与主动选择特征点之间的距离，再进一步确定主动辐射特征点的三维坐标值；
然后根据主动选择特征点与被动选择特征点之间的比例关系，以及主动辐射特征点与被动辐射特征点之间的比例关系，确定被动选择特征点以及被动辐射特征点的三维坐标值，从而将真实面部表情变化的肌肉变化同步在动画虚拟人物的面部显示，从而增加对动画人物表情变动的灵活性和准确性。
另外如图2所示，本发明还提供了一种用于生成动画的表情捕捉方法，包括以下步骤：
步骤100、利用摄像机拍摄单元获取人脸的动态图像并通过人脸识别技术获取面部轮廓特征和五官特征，且通过结构光方法捕捉人脸的动态图像的面部表情变化，在三维立体面部模型内确定不同的面部特征部位的分布位置；
步骤200、重建三维立体面部模型关于面部特征部位的三维坐标系，并确定面部特征部位静止时在三维坐标系内的原始三维坐标值；
步骤300、在三维坐标系内重建虚拟人物三维模型***，且建立每个面部特征部位与对应的虚拟特征部位在三维坐标系内的比例关系，以完成面部特征部位和虚拟特征部位的初始化匹配工作；
步骤400、选定面部特征部位的主动选择特征点，根据面部特征部位与虚拟特征部位的比例关系，匹配选定虚拟特征部位的被动选择特征点；
步骤500、实时捕捉主动选择特征点的三维坐标值的变化，且根据主动选择特征点与被动选择特征点之间的比例关系，确定被动选择特征点的三维坐标值的变化以将动画图像追踪面部表情变化。
以主动选择特征点为中心确定主动选择特征点的影响范围，且在影响范围内选择多个主动辐射特征点，且利用影响范围函数和影响幅度函数确定主动选择特征点带动的主动辐射特征点的三维坐标值变化，且被动选择特征点利用同样的方式确定被动辐射特征点以及被动辐射特征点的三维坐标值变化；
且利用数据池追踪模块保存主动选择特征点、主动辐射特征点、被动选择特征点和被动辐射特征点的原始三维坐标值，并建立原始三维坐标值的匹配关系，且在主动选择特征点、主动辐射特征点、被动选择特征点和被动辐射特征点对应的原始三维坐标值变化时，以原始三维坐标值为标记实时确主动选择特征点、主动辐射特征点、被动选择特征点和被动辐射特征点之间的对应关系，以实时根据比例关系更改被动选择特征点和被动辐射特征点的三维坐标值。
因此综上，本实施方式实现以下两个方式的优点：
第一，本实施方式建立面部特征部位，例如眼睛、眉毛、嘴巴、鼻子和耳朵等结构在三维坐标系内的坐标值以及虚拟特征结构在在三维坐标系内的坐标值，通过人脸识别技术的限定，确定了面部特征部位与对应的虚拟特征结构的相似性，从而保证真实人脸与虚拟人物人脸的相似性，另外分别建立每个面部特征部位与对应的虚拟特征结构之间的比例关系以及真实的眼睛与动画上的虚拟眼睛之间的比例关系，从而提高了动画人物对表情捕捉的准确性，将动画虚拟人物的表情幅度与真实的面部表情统一，因此降低动画虚拟人物的表情捕捉与真实的表情误差。
第二，本实施方式不仅仅用于捕捉面部特征部位的变化，同时还通过圈定辐射范围和设定不同辐射范围圈的变化幅度的方式，来捕捉人物面部表情的肌肉变化，从而将真实面部表情变化的肌肉变化同步在动画虚拟人物的面部显示，从而增加对动画人物表情变动的灵活性和准确性。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种用于表情捕捉的人脸识别***，其特征在于，包括：
人脸图像采集***（1），包括摄像机拍摄单元和结构光采集单元，所述摄像机拍摄单元用于拍摄人脸的动态图像，所述结构光采集单元用于通过结构光成像原理获取在所述动态图像中人体面部的光信号的数值及其变化来捕捉面部表情；
面部特征识别模块（9），用于将所述摄像机拍摄单元拍摄的动态图像进行静态截取，并通过人脸图像特征提取单元确定面部轮廓特征和五官特征；
真实三维面部重建***（2），用于根据所述结构光采集单元的结构光成像原理建立三维立体面部模型，同时重新确立所述三维立体面部模型的三维坐标系，根据所述结构光采集单元获取人体面部的光信号的数值确定多个面部特征部位的分布位置，且根据所述面部特征识别模块获取的人脸轮廓特征和五官特征细化所述面部特征部位的面部轮廓特征和五官特征；
虚拟人物三维模型***（3），用于在所述真实三维面部重建***（2）的三维坐标系的基础上建立立体虚拟轮廓且在所述立体虚拟轮廓的内部填充虚拟特征部位，确定所述面部特征部位与所述虚拟特征部位之间的一一对应关系；
姿态匹配模块（4），用于选定每个所述面部特征部位的多个主动选择特征点，建立所述面部特征部位主动牵引所述虚拟特征部位移动的主被动关系，并确定每个所述面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系；
特征点关联模块（5），用于根据每个所述面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系，确定所述虚拟特征部位中对应每个所述主动选择特征点的被动选择特征点；
表情动态追踪模块（6），用于根据所述面部特征部位的主动选择特征点在三维坐标系的三维坐标变化值，且将所述主动选择特征点按照比例关系确定所述虚拟特征部位的被动选择特征点在三维坐标系的三维坐标变化值以实现对所述人脸图像采集***（1）采集的人脸动态图像的动态虚拟。
2.根据权利要求1所述的一种用于表情捕捉的人脸识别***，其特征在于：还包括特征点选定辐射模块（7），用于根据每个所述主动选择特征点的影响范围选定主动辐射特征点，且根据与所述主动选择特征点对距离不同的所述主动辐射特征点的带动能力确定所述主动选择特征点与不同影响范围的所述主动辐射特征点之间的函数关系；
所述特征点关联模块（5）根据每个所述面部特征部位的三维坐标值与对应虚拟特征部位的三维坐标值之间的比例关系确定所述主动辐射特征点对应的被动辐射特征点，且所述被动选择特征点和被动辐射特征点之间的函数关系与所述主动选择特征点和主动辐射特征点之间的函数关系相同；
且所述表情动态追踪模块（6）按照函数关系确定所述主动辐射特征点的三维坐标变化值，将所述主动辐射特征点按照比例关系确定所述虚拟特征部位的被动辐射特征点在三维坐标系的三维坐标变化值以精确实现动画模拟。
3.根据权利要求2所述的一种用于表情捕捉的人脸识别***，其特征在于：所述人脸图像采集***（1）将所述光信号分为对应面部无动作的静止信号，以及面部工作的动态信号，所述真实三维面部重建***（2）根据所述静止信号建立所述三维立体面部模型，且根据所有静止信号的光信号参数差异确定所述面部特征部位的分布位置，其中，
所述真实三维面部重建***（2）重新确立所述三维立体面部模型的三维坐标系的实现方式为：
以所述三维立体面部模型的眼部特征部位连线的中垂线作为Y轴，以及耳部特征部位之间且与所述中垂线直接相交的横向连线为X轴，建立二维坐标系；
以二维坐标系的原点为起点，向所述三维立体面部模型内部做垂直线作为Z轴，最终建立三维坐标系；
所述面部特征部位的主动选择特征点和主动辐射特征点的三维坐标值（x，y，z）分别为所述主动选择特征点与所述中垂线相交的横向连线的距离、所述主动选择特征点与所述中垂线的距离以及光信号深度值对应的面部凹凸位置。
4.根据权利要求3所述的一种用于表情捕捉的人脸识别***，其特征在于：所述虚拟特征部位的被动选择特征点和被动辐射特征点根据所述比例关系和函数关系确定对应的三维坐标值（x'，y'，z'）。
5.根据权利要求3所述的一种用于表情捕捉的人脸识别***，其特征在于：所述真实三维面部重建***（2）和虚拟人物三维模型***（3）整体还嵌套在第二三维坐标系内，所述第二三维坐标系用于实现所述真实三维面部重建***（2）和虚拟人物三维模型***（3）的头部动作。
6.根据权利要求3所述的一种用于表情捕捉的人脸识别***，其特征在于：还包括数据池追踪模块（8），当光信号为静止信号，且所述姿态匹配模块（4）和所述特征点关联模块（5）完成初始化比例关系和函数关系设定时，所述数据池追踪模块（8）用于保存所述主动选择特征点和所述主动辐射特征点的原始三维坐标值，以及所述被动选择特征点和所述被动辐射特征点的原始三维坐标值，当光信号为表示面部工作的动态信号时，所述数据池追踪模块（8）用于实时更改所述主动选择特征点和所述主动辐射特征点的所述原始三维坐标值，且利用所述原始三维坐标值之间的匹配关系实时更改所述被动选择特征点和所述被动辐射特征点的三维坐标值。
7.根据权利要求2所述的一种用于表情捕捉的人脸识别***，其特征在于：所述特征点选定辐射模块（7）用于选定作为动态信号的每个主动选择特征点对应的主动辐射特征点，作为动态信号的所述主动选择特征点的影响范围与所述主动选择特征点x，y的变化值成正比，所述主动选择特征点的影响范围通过正比例函数确定所述主动选择特征点的坐标值变化幅度；
且不同的所述主动辐射特征点的x，y坐标值变化幅度与所述主动辐射特征点距离所述主动选择特征点的远近成反比，所述主动辐射特征点与所述主动选择特征点的距离通过反比例函数确定主动辐射特征点的x1，y1坐标值变化幅度。
8.根据权利要求7所述的一种用于表情捕捉的人脸识别***，其特征在于：两个相邻的所述主动选择特征点的影响范围存在重叠的所述主动辐射特征点时，所述主动辐射特征点的x1，y1坐标值变化幅度等于两个所述主动选择特征点对应的反比例函数值叠加结果。
9.一种基于权利要求1-7任一项所述的用于表情捕捉的人脸识别***的人脸识别方法，其特征在于，包括以下步骤：
步骤100、利用摄像机拍摄单元获取人脸的动态图像并通过人脸识别技术获取面部轮廓特征和五官特征，且通过结构光方法捕捉人脸的动态图像的面部表情变化，在三维立体面部模型内确定不同的面部特征部位的分布位置；
步骤200、重建所述三维立体面部模型关于所述面部特征部位的三维坐标系，并确定所述面部特征部位静止时在所述三维坐标系内的原始三维坐标值；
步骤300、在所述三维坐标系内重建虚拟人物三维模型***，且建立每个所述面部特征部位与对应的虚拟特征部位在所述三维坐标系内的比例关系，以完成所述面部特征部位和所述虚拟特征部位的初始化匹配工作；
步骤400、选定所述面部特征部位的主动选择特征点，根据所述面部特征部位与所述虚拟特征部位的比例关系，匹配选定所述虚拟特征部位的被动选择特征点；
步骤500、实时捕捉所述主动选择特征点的三维坐标值的变化，且根据所述主动选择特征点与所述被动选择特征点之间的比例关系，确定所述被动选择特征点的三维坐标值的变化以将动画图像追踪面部表情变化。
10.根据权利要求9所述的一种用于表情捕捉的人脸识别方法，其特征在于，以所述主动选择特征点为中心确定所述主动选择特征点的影响范围，且在所述影响范围内选择多个主动辐射特征点，且利用影响范围函数和影响幅度函数确定所述主动选择特征点带动的所述主动辐射特征点的三维坐标值变化，且所述被动选择特征点利用同样的方式确定被动辐射特征点以及所述被动辐射特征点的三维坐标值变化；
且利用数据池追踪模块保存所述主动选择特征点、主动辐射特征点、所述被动选择特征点和被动辐射特征点的原始三维坐标值，并建立所述原始三维坐标值的匹配关系，且在所述主动选择特征点、主动辐射特征点、所述被动选择特征点和被动辐射特征点对应的原始三维坐标值变化时，以原始三维坐标值为标记实时确所述主动选择特征点、主动辐射特征点、所述被动选择特征点和被动辐射特征点之间的对应关系，以实时根据比例关系更改所述被动选择特征点和所述被动辐射特征点的三维坐标值。
CN202011425666.3A 2020-12-09 2020-12-09 一种用于表情捕捉的人脸识别***和方法 Active CN112232310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011425666.3A CN112232310B (zh) 2020-12-09 2020-12-09 一种用于表情捕捉的人脸识别***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011425666.3A CN112232310B (zh) 2020-12-09 2020-12-09 一种用于表情捕捉的人脸识别***和方法

Publications (2)

Publication Number Publication Date
CN112232310A CN112232310A (zh) 2021-01-15
CN112232310B true CN112232310B (zh) 2021-03-12

Family

ID=74124696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011425666.3A Active CN112232310B (zh) 2020-12-09 2020-12-09 一种用于表情捕捉的人脸识别***和方法

Country Status (1)

Country Link
CN (1) CN112232310B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929619B (zh) * 2021-02-03 2022-04-19 广州工程技术职业学院 一种动画角色中面部特征点的跟踪显示结构
CN112954205A (zh) * 2021-02-04 2021-06-11 重庆第二师范学院 一种应用于行人再识别***的图像采集装置
TWI814318B (zh) * 2021-04-02 2023-09-01 美商索尼互動娛樂有限責任公司 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法
CN113313020B (zh) * 2021-05-27 2023-04-07 成都威爱新经济技术研究院有限公司 一种基于虚拟人的无标记面部表情捕获方法及***
CN115393486B (zh) * 2022-10-27 2023-03-24 科大讯飞股份有限公司 虚拟形象的生成方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100458831C (zh) * 2006-06-01 2009-02-04 北京中星微电子有限公司 人脸模型训练模块及方法、人脸实时认证***及方法
CN106327482B (zh) * 2016-08-10 2019-01-22 东方网力科技股份有限公司 一种基于大数据的面部表情的重建方法及装置
CN108734757A (zh) * 2017-04-14 2018-11-02 北京佳士乐动漫科技有限公司 一种声音与表情捕捉实现三维人脸动画的方法
WO2019204464A1 (en) * 2018-04-18 2019-10-24 Snap Inc. Augmented expression system
CN108681719A (zh) * 2018-05-21 2018-10-19 北京微播视界科技有限公司 视频图像处理方法及装置

Also Published As

Publication number Publication date
CN112232310A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112232310B (zh) 一种用于表情捕捉的人脸识别***和方法
US20230324684A1 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
EP3711024B1 (en) Event camera-based deformable object tracking
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN110096925A (zh) 人脸表情图像的增强方法、获取方法和装置
WO2021004257A1 (zh) 视线检测和视频处理的方法、装置、设备和存储介质
CN107730449B (zh) 一种人脸五官美化处理的方法及***
CN113366491B (zh) 眼球追踪方法、装置及存储介质
CN109559332B (zh) 一种结合双向LSTM和Itracker的视线跟踪方法
JPWO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
CN107145224B (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN112509040A (zh) 对提供镜面反射和反射修改的表面进行基于图像的检测
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
KR20240074755A (ko) 시선 방향 추적 방법 및 장치
CN110717391A (zh) 一种基于视频图像的身高测量方法、***、装置和介质
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
Chen et al. 3D face reconstruction and gaze tracking in the HMD for virtual interaction
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及***
CN106909904A (zh) 一种基于可学习形变场的人脸正面化方法
CN111768476A (zh) 一种基于网格变形的表情动画重定向方法及***
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质
US9792715B2 (en) Methods, systems, and computer readable media for utilizing synthetic animatronics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 701, 7th floor, and 801, 8th floor, Building 1, Courtyard 8, Gouzitou Street, Changping District, Beijing, 102200

Patentee after: Zhongying Nian Nian (Beijing) Technology Co.,Ltd.

Country or region after: China

Address before: 102209 32 Wangfu street, Beiqijia Town, Changping District, Beijing

Patentee before: China Film annual (Beijing) culture media Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address