CN113128253B - 一种三维人脸模型的重建方法及装置 - Google Patents

一种三维人脸模型的重建方法及装置 Download PDF

Info

Publication number
CN113128253B
CN113128253B CN201911391285.5A CN201911391285A CN113128253B CN 113128253 B CN113128253 B CN 113128253B CN 201911391285 A CN201911391285 A CN 201911391285A CN 113128253 B CN113128253 B CN 113128253B
Authority
CN
China
Prior art keywords
face
information
dimensional
preset
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911391285.5A
Other languages
English (en)
Other versions
CN113128253A (zh
Inventor
邢连萍
俞大海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN201911391285.5A priority Critical patent/CN113128253B/zh
Publication of CN113128253A publication Critical patent/CN113128253A/zh
Application granted granted Critical
Publication of CN113128253B publication Critical patent/CN113128253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于计算机技术领域，提供了一种三维人脸模型的重建方法，包括：获取待重建的目标人脸区域图像；采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型。上述方法，采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，对任何姿态人脸图像输入都能自适应地预测三维人脸系数，从而生成三维人脸模型，提升重建速度，可以实现实时重建的效果。

Description

一种三维人脸模型的重建方法及装置
技术领域
本申请属于计算机技术领域，尤其涉及一种三维人脸模型的重建方法及装置。
背景技术
当前基于获取到的人脸图像构建三维人脸模型在很多领域被广泛的应用，例如动画、游戏制作等等。现有的构建方式主要是先检测出二维人脸特征点，之后用三维人脸形变模型(3D face morphable model)拟合这些被检测到的二维人脸特征点，间接的确定出表情及头部姿态。这种方法虽然比较灵活，方便根据人脸使用的混合形变进行调整。但是，由于这种方法数值优化的复杂度高，导致三维人脸模型重建的速度比较慢，重建效率低，无法达到实时重建的效果。
发明内容
本申请实施例提供了一种三维人脸模型的重建方法及装置，解决现有技术中，三维人脸模型重建的速度比较慢，重建效率低，无法达到实时重建的效果的问题。
第一方面，本申请实施例提供了一种三维人脸模型的重建方法，包括：
获取待重建的目标人脸区域图像；
采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；其中，所述三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到；所述系数标签用于标识所述样本人脸区域图像信息对应的三维人脸系数；
基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型；其中，所述预设人脸基准向量和所述三维人脸系数用于构建人脸特征信息，所述人脸特征信息用于构建三维人脸模型。
进一步地，所述三维人脸模型系数包括三维人脸表情系数和三维人脸形状系数；所述预设人脸基准向量包括预设人脸基准表情向量和预设人脸基准形状向量；所述人脸特征信息包括人脸表情特征信息和人脸形状特征信息；
所述基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型，包括：
基于所述三维人脸表情系数和所述预设人脸基准表情向量，确定人脸表情特征信息；
基于所述三维人脸形状系数和所述预设人脸基准形状向量，确定人脸形状特征信息；
基于所述预设基准人脸信息、所述人脸表情特征信息和所述人脸形状特征信息，确定所述目标人脸区域图像对应的三维人脸模型。
进一步地，所述获取待重建的目标人脸区域图像，包括：
获取原始图像信息，并且从所述原始图像信息中获取人脸特征点；所述原始图像信息包括人脸图像；
基于所述人脸特征点确定待重建的目标人脸区域图像。
进一步地，所述获取原始图像信息，并且从所述原始图像信息中获取人脸特征点，包括：
获取原始图像信息，基于预设人脸检测算法检测所述原始图像信息中的人脸特征点，以确定当前的原始图像信息当中是否存在人脸图像。
进一步地，所述获取待重建的目标人脸区域图像，包括：
从原始视频信息中获取同一人脸对应的第一图像信息和第二图像信息；其中，所述第一图像信息从第一视频帧中获取，所述第二图像信息从第二视频帧中获取，所述第一视频帧与所述第二视频帧相邻，且所述第一视频帧在所述第二视频帧之前；
从所述第一图像信息中的获取第一人脸区域图像，并且从所述第二图像信息中获取第二人脸区域图像；
当检测到所述第一人脸区域图像的第一尺寸信息和所述第二人脸区域图像的第二尺寸信息之间的差异信息不满足预设条件时，基于所述第一尺寸信息、所述第二尺寸信息和预设系数，确定第三尺寸信息；
基于所述第三尺寸信息和所述第二图像信息，确定目标人脸区域图像。
进一步地，在所述基于所述三维人脸模型系数、预设基准人脸信息和预设人脸基准向量，确定所述目标人脸区域图像对应的三维人脸模型之后，还包括：
当检测到待更换的目标人脸纹理信息时，获取所述三维人脸模型的人脸纹理信息；
将所述人脸纹理信息替换为所述目标人脸纹理信息，生成目标三维人脸模型。
进一步地，所述采用预设的三维人脸模型系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸模型系数，包括：
将所述目标人脸区域图像输入卷积层进行特征提取，得到所述目标人脸区域图像对应的第一人脸特征信息；
将所述第一人脸特征信息输入池化层进行处理，从所述第一人脸特征信息中提取第二人脸特征信息；
将所述第二人脸特征信息输入全连接层进行处理，得到所述目标人脸区域图像对应的三维人脸系数。
第二方面，本申请实施例提供了一种三维人脸模型的重建装置，包括：
第一获取单元，用于获取待重建的目标人脸区域图像；
处理单元，用于采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；其中，所述三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到；所述系数标签用于标识所述样本人脸区域图像信息对应的三维人脸系数；
第一确定单元，用于基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型；其中，所述预设人脸基准向量和所述三维人脸系数用于构建人脸特征信息，所述人脸特征信息用于构建三维人脸模型。
进一步地，所述三维人脸模型系数包括三维人脸表情系数和三维人脸形状系数；所述预设人脸基准向量包括预设人脸基准表情向量和预设人脸基准形状向量；所述人脸特征信息包括人脸表情特征信息和人脸形状特征信息；
所述第一确定单元，具体用于：
基于所述三维人脸表情系数和所述预设人脸基准表情向量，确定人脸表情特征信息；
基于所述三维人脸形状系数和所述预设人脸基准形状向量，确定人脸形状特征信息；
基于所述预设基准人脸信息、所述人脸表情特征信息和所述人脸形状特征信息，确定所述目标人脸区域图像对应的三维人脸模型。
进一步地，所述第一获取单元，包括：
第二获取单元，用于获取原始图像信息，并且从所述原始图像信息中获取人脸特征点；所述原始图像信息包括人脸图像；
第二确定单元，用于基于所述人脸特征点确定待重建的目标人脸区域图像。
进一步地，所述第二获取单元，具体用于：
获取原始图像信息，基于预设人脸检测算法检测所述原始图像信息中的人脸特征点，以确定当前的原始图像信息当中是否存在人脸图像。
进一步地，所述第一获取单元，具体用于：
从原始视频信息中获取同一人脸对应的第一图像信息和第二图像信息；其中，所述第一图像信息从第一视频帧中获取，所述第二图像信息从第二视频帧中获取，所述第一视频帧与所述第二视频帧相邻，且所述第一视频帧在所述第二视频帧之前；
从所述第一图像信息中的获取第一人脸区域图像，并且从所述第二图像信息中获取第二人脸区域图像；
当检测到所述第一人脸区域图像的第一尺寸信息和所述第二人脸区域图像的第二尺寸信息之间的差异信息不满足预设条件时，基于所述第一尺寸信息、所述第二尺寸信息和预设系数，确定第三尺寸信息；
基于所述第三尺寸信息和所述第二图像信息，确定目标人脸区域图像。
进一步地，所述三维人脸模型的重建装置，还包括：
第三获取单元，用于当检测到待更换的目标人脸纹理信息时，获取所述三维人脸模型的人脸纹理信息；
生成单元，用于将所述人脸纹理信息替换为所述目标人脸纹理信息，生成目标三维人脸模型。
进一步地，所述处理单元，具体用于：
将所述目标人脸区域图像输入卷积层进行特征提取，得到所述目标人脸区域图像对应的第一人脸特征信息；
将所述第一人脸特征信息输入池化层进行处理，从所述第一人脸特征信息中提取第二人脸特征信息；
将所述第二人脸特征信息输入全连接层进行处理，得到所述目标人脸区域图像对应的三维人脸系数。
第三方面，本申请实施例提供了一种三维人脸模型的重建设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的三维人脸模型的重建方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的三维人脸模型的重建方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如上述第一方面所述的三维人脸模型的重建方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例中，获取待重建的目标人脸区域图像；采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型。上述方法，采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，对任何姿态人脸图像输入都能自适应地预测三维人脸系数，从而生成三维人脸模型，提升重建速度，可以实现实时重建的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的一种三维人脸模型的重建方法的示意流程图；
图2是本申请第一实施例提供的一种三维人脸模型的重建方法中S102细化的示意流程图；
图3是本申请第一实施例提供的一种三维人脸模型的重建方法中S103细化的示意流程图；
图4是本申请第二实施例提供的另一种三维人脸模型的重建方法的示意流程图；
图5是本申请第二实施例提供的另一种三维人脸模型的重建方法中人脸特征点的示意图；
图6是本申请第二实施例提供的另一种三维人脸模型的重建方法中包含所有人脸特征点的最小矩形框的示意图；
图7是本申请第三实施例提供的另一种三维人脸模型的重建方法的示意流程图；
图8是本申请第三实施例提供的另一种三维人脸模型的重建方法中输出三维人脸模型的视频的示意流程图；
图9是本申请第四实施例提供的另一种三维人脸模型的重建方法的示意流程图；
图10是本申请第四实施例提供的另一种三维人脸模型的重建方法中生成了“虚拟”三维人脸的示意流程图；
图11是本申请第五实施例提供的三维人脸模型的重建装置的示意图；
图12是本申请第六实施例提供的三维人脸模型的重建设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的三维人脸模型的重建方法可以应用于具有三维人脸模型的重建功能的设备，例如手机、平板电脑、可穿戴设备、车载设备、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)等终端设备上，本申请实施例对设备的具体类型不作任何限制。
请参见图1，图1是本申请第一实施例提供的一种三维人脸模型的重建方法的示意流程图。如图1所示的三维人脸模型的重建方法可包括：
S101：获取待重建的目标人脸区域图像。
设备获取待重建的目标人脸区域图像，其中，待重建的目标人脸区域图像只包括待重建的目标人脸。当用户需要进行三维人脸模型重建时，可以通过设备的交换界面触发设备进行三维人脸模型重建，触发后设备可以获取人脸图像或者人脸视频，此处的人脸图像或者人脸视频可以是设备获取的，也可以是设备通过网络从其他设备获取的，此处不做限制。设备可以对采集到的人脸图像进行人脸识别，获取待重建的目标人脸区域图像；设备也可以从人脸视频的视频帧中获取人脸图像，对人脸图像进行人脸识别，获取待重建的目标人脸区域图像。
S102：采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；其中，所述三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到；所述系数标签用于标识所述样本人脸区域图像信息对应的三维人脸系数。
设备中预先存储有三维人脸系数获取模型，预设的三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到，系数标签用于标识样本人脸区域图像信息对应的三维人脸系数。三维人脸系数可以标识三维人脸的特征，三维人脸系数用于构建三维人脸模型。
三维人脸系数获取模型的输入为样本人脸区域图像信息及其各自对应的系数标签，三维人脸系数获取模型的输出为样本人脸区域图像信息对应的三维人脸系数。
可以理解的是，三维人脸系数获取模型可以由设备预先训练好，也可以由其他设备预先训练好后将三维人脸系数获取模型对应的文件移植至设备中。具体地，其他设备在训练好深度学习网络时，冻结深度学习网络的模型参数，将冻结后的深度学习网络对应的三维人脸系数获取模型文件移植到设备中。
设备将目标人脸区域图像输入预先训练好的三维人脸系数获取模型进行特征提取、特征缩放等处理，得到目标人脸区域图像对应的三维人脸系数。
进一步地，为了准确的获取到目标人脸区域图像对应的三维人脸系数，从而准确的构件三维人脸模型，S102可以包括S1021～S1023，如图2所示，S1021～S1023具体如下：
S1021：将所述目标人脸区域图像输入卷积层进行特征提取，得到所述目标人脸区域图像对应的第一人脸特征信息。
在本实施例中，三维人脸系数获取模型包括卷积层、池化层和全连接层。其中，卷积层用于对输入的目标人脸区域图像进行特征提取，提取出目标人脸区域图像对应的人脸特征，可以包括人脸的表情特征、形状特征、姿态特征等等。
卷积神经网络中每层卷积层(Convolutional layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。设备将目标人脸区域图像输入卷积层进行特征提取，得到目标人脸区域图像对应的第一人脸特征信息。
S1022：将所述第一人脸特征信息输入池化层进行处理，从所述第一人脸特征信息中提取第二人脸特征信息。
在本实施例中，三维人脸系数获取模型包括卷积层、池化层和全连接层。其中，池化层用于进一步缩小第一人脸特征信息的尺寸，提取有效特征信息，从而得到第二人脸特征信息。池化(Pooling)也称为下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。池化层通常会分别作用于每个输入的特征并减小其大小。当前最常用形式的池化层是每隔2个元素从图像划分出2*2的区块，然后对每个区块中的4个数取最大值。这将会减少75％的数据量。
设备将第一人脸特征信息输入池化层进行处理，将第一人脸特征信息的尺寸缩小，并且筛选出有效特征信息，提取第二人脸特征信息。
S1023：将所述第二人脸特征信息输入全连接层进行处理，得到所述目标人脸区域图像对应的三维人脸系数。
在本实施例中，三维人脸系数获取模型包括卷积层、池化层和全连接层。其中，全连接层的作用是对第二人脸特征信息进行分类，根据分类结果确定目标人脸区域图像对应的三维人脸系数。全连接层在整个网络卷积神经网络中起到“分类器”的作用，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。
设备将第二人脸特征信息输入全连接层进行处理，对第二人脸特征信息进行分类，举例来说，可以分为人脸的表情特征、形状特征、姿态特征等等，基于分类后的特征进行运算，得到目标人脸区域图像对应的三维人脸系数。也就是说，每一类特征都会确定一个对应的三维人脸系数，根据不同的分类，可以确定多个三维人脸系数。
S103：基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型；其中，所述预设人脸基准向量和所述三维人脸系数用于构建人脸特征信息，所述人脸特征信息用于构建三维人脸模型。
设备中预先存储基准人脸信息和人脸基准向量。预设基准人脸信息是生成三维人脸模型的基准，最终生成的三维人脸模型即为预设基准人脸信息与三维人脸特征的差异的线性组合。具体说，预设基准人脸信息可以通过采集若干样本人脸信息来确定，对所有样本人脸信息进行平均值的计算得到预设基准人脸信息。人脸基准向量标识人脸特征的向量，可以表示为一组基。可以通过对样本人脸信息进行主成分分析确定，主成分分析(Principal Component Analysis，PCA)，是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
其中，预设人脸基准向量和三维人脸系数用于构建人脸特征信息，人脸特征信息用于构建三维人脸模型。设备基于预设人脸基准向量和三维人脸系数用于构建人脸特征信息，然后基于预设基准人脸信息和人脸特征信息确定出目标人脸区域图像对应的三维人脸模型。
进一步地，所述三维人脸模型系数包括三维人脸表情系数和三维人脸形状系数；所述预设人脸基准向量包括预设人脸基准表情向量和预设人脸基准形状向量；所述人脸特征信息包括人脸表情特征信息和人脸形状特征信息，为了准确的确定目标人脸区域图像对应的三维人脸模型，S103可以包括S1031～S1033，如图3所示，S1031～S1033具体如下：
S1031：基于所述三维人脸表情系数和所述预设人脸基准表情向量，确定人脸表情特征信息。
在本实施例中，三维人脸模型系数包括三维人脸表情系数和三维人脸形状系数，预设人脸基准向量包括预设人脸基准表情向量和预设人脸基准形状向量，人脸特征信息包括人脸表情特征信息和人脸形状特征信息。
设备基于三维人脸表情系数和预设人脸基准表情向量，确定人脸表情特征信息，举例来说，设三维人脸表情系数为βexp，预设人脸基准表情向量为Bexp，则确定人脸表情特征信息为Bexpβexp。
S1032：基于所述三维人脸形状系数和所述预设人脸基准形状向量，确定人脸形状特征信息。
设备基于三维人脸形状系数和预设人脸基准形状向量，确定人脸形状特征信息，举例来说，设三维人脸形状系数为αid，预设人脸基准形状向量为Aid，则确定人脸形状特征信息为Aidαid。
S1033：基于所述预设基准人脸信息、所述人脸表情特征信息和所述人脸形状特征信息，确定所述目标人脸区域图像对应的三维人脸模型。
设备基于预设基准人脸信息、人脸表情特征信息和人脸形状特征信息，确定所述目标人脸区域图像对应的三维人脸模型，其中，三维人脸模型的重建可以理解为在预设基准人脸信息上增加人脸表情特征信息和人脸形状特征信息，从而得到目标人脸区域图像对应的三维人脸模型，具体的可以采用如下的公式表示：
其中，表示为预设基准人脸信息，Aidαid为人脸形状特征信息，Bexpβexp为人脸表情特征信息。
目前，许多专为移动端异构计算平台优化的深度学习推理框架被推出，使用这些技术可以极大地缩短模型移动端预测时间。我们采用高通神经处理引擎(SNPE)，将我们的模型利用手机的图形处理器资源进行预测，运行速度大大提高，预测时间为19ms/每帧。在计算过程中个，上述公式包含大尺寸的矩阵相乘与相加操作，对于这部分的优化，可以采用OpenBlas高性能多核基础线性代数子程序库(BLAS库)，使用ARM架构处理器扩展结构指令集进一步提升速度。
本申请实施例中，获取待重建的目标人脸区域图像；采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型。上述方法，采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，对任何姿态人脸图像输入都能自适应地预测三维人脸系数，从而生成三维人脸模型，提升重建速度，可以实现实时重建的效果。
请参见图4，图4是本申请第二实施例提供的另一种三维人脸模型的重建方法的示意流程图。为了准确的获取目标人脸区域图像，从而提升三维人脸重建的准确度，本实施例对上一实施例中的S101进行了细化，对应于S201～S202。本实施例中的S203～S204与第一实施例中的S102～S103相同。如图4所示，S201～S202具体如下：
S201：获取原始图像信息，并且从所述原始图像信息中获取人脸特征点；所述原始图像信息包括人脸图像。
设备获取原始图像信息，其中，原始图像信息包括人脸图像，原始图像信息是可以是设备通过图像采集装置采集的，也可以是通过其他设备传输获取的，设备直接可以直接过去原始图像信息，也可以从视频中获取原始图像信息，此处不做限制。设备从获取到的原始图像信息中获取人脸特征点，人脸特征点是用来识别人脸的点，其中，常用的人脸特征点为68个点，如图5所示，图中分布在鼻子、眼睛、嘴巴以及人脸轮廓上的点即为人脸特征点。
进一步地，为了准确的获取到人脸特征点，S201可以包括：获取原始图像信息，基于预设人脸检测算法检测所述原始图像信息中的人脸特征点，以确定当前的原始图像信息当中是否存在人脸图像。设备获取原始图像信息，基于预设人脸检测算法检测所述原始图像信息中的人脸特征点，以确定当前的原始图像信息当中是否存在人脸图像。2D人脸检测算法很多。其中，可以采用HyperLandmark算法，因为该算法准确度高，逆光、暗光情况下依然可以取得良好的标定效果，并且模型小，速度快，Qualcomm 820预测单张人脸只需要7ms。
S202：基于所述人脸特征点确定待重建的目标人脸区域图像。
设备基于人脸特征点确定待重建的目标人脸区域图像，设备可以获取人脸特征点的坐标信息，基于所有人脸特征点的坐标信息计算获取一个包含所有人脸特征点的最小矩形框，如图6所示，图中人脸周围的矩形框即为通过计算包含所有人脸特征点的最小矩形框。计算这个矩形框的中心点以及对角线的长度，以中心点为中心，对角线的长度的一半作为边长，生成一个新的矩形区域，对人脸进行框定，获取待重建的目标人脸区域图像。这样处理会保证人脸在框的位置以及占框的比例与之后我们的自适应三维人脸重建预测模型的训练数据匹配，保证人脸重建的预测质量，同时保证输出视频流的稳定性。
进一步地，在本实施例中，已经限定原始图像信息中包括人脸，如果获取的原始图像信息中没有检测到人脸，那么没有检测到人脸的原始图像信息只是用来显示，不做其他处理。
请参见图7，图7是本申请第三实施例提供的另一种三维人脸模型的重建方法的示意流程图。为了准确的获取目标人脸区域图像，从而提升三维人脸重建的准确度，本实施例与第一实施例之间的区别在于S301～S304，其中，本实施例中的S305～S306与第一实施例中的S102～S103相同，S301～S304是对S101的进一步限定。如图7所示，S301～S304具体如下：
S301：从原始视频信息中获取同一人脸对应的第一图像信息和第二图像信息；其中，所述第一图像信息从第一视频帧中获取，所述第二图像信息从第二视频帧中获取，所述第一视频帧与所述第二视频帧相邻，且所述第一视频帧在所述第二视频帧之前。
在本实施例中，是从视频中获取到了人脸图像，对其进行处理，最后建立三维人脸模型的。举例来说，如图8所示，设备获取视频后，对人脸进行检测，然后对人脸进行重建，进一步也可以生成虚拟人脸，最后输出三维人脸模型的视频。
设备获取视频后，对人脸进行检测的过程可以为设备获取原始视频信息，从原始视频信息中获取同一人脸对应的第一图像信息和第二图像信息，第一图像信息从第一视频帧中获取，第二图像信息从第二视频帧中获取，第一视频帧与第二视频帧相邻，且第一视频帧在第二视频帧之前。
可以理解的是，当从原始视频信息中获取的视频帧中不包括人脸时，不用进行三维人脸模型重建，只是用来显示，在生成三维人脸模型的视频时直接使用即可。
S302：从所述第一图像信息中的获取第一人脸区域图像，并且从所述第二图像信息中获取第二人脸区域图像。
设备从第一图像信息中的获取第一人脸区域图像，并且从第二图像信息中获取第二人脸区域图像，其中，从第一图像信息中的获取第一人脸区域图像，和从第二图像信息中获取第二人脸区域图像的方法可以参考S202中的相关描述，此处不再赘述。
S303：当检测到所述第一人脸区域图像的第一尺寸信息和所述第二人脸区域图像的第二尺寸信息之间的差异信息不满足预设条件时，基于所述第一尺寸信息、所述第二尺寸信息和预设系数，确定第三尺寸信息。
设备第一人脸区域图像的第一尺寸信息和第二人脸区域图像的第二尺寸信息，并且计算第一尺寸信息和第二尺寸信息之间的差异信息，设备中预先存储用于判断第一尺寸信息和第二尺寸信息之间的差异信息的条件，当检测到第一尺寸信息和第二尺寸信息之间的差异信息不满足预设条件时，为了防止第一人脸区域图像和第二人脸区域图像重建出来的三维人脸图像在形成视频后，播放不够流畅，所以此时要进行调整。
调整的具体方法为设备基于第一尺寸信息、第二尺寸信息和预设系数，确定第三尺寸信息。其中，预设系数用于计算第三尺寸信息，预设系数标识了第一尺寸信息和第二尺寸信息在计算第三尺寸信息时的权重，具体可以通过一下公式计算得到第三尺寸信息：
scurrent＝×sprevious+(1-a)×scurrent1
其中，scurrent为第三尺寸信息，sprevious为第一尺寸信息，scurrent1为第二尺寸信息，a为预设系数。
进一步地，a可以设置为0.9，那么此时第三尺寸信息的计算公式为：
scurrent＝0.9×sprevious+0.1×scurrent1
S304：基于所述第三尺寸信息和所述第二图像信息，确定目标人脸区域图像。
设备在确定第三尺寸信息后，基于第二图像信息的第二人脸区域图像的中心点为中心，将第二人脸区域图像的大小调整为第三尺寸信息，得到目标人脸区域图像。
请参见图9，图9是本申请第四实施例提供的另一种三维人脸模型的重建方法的示意流程图。为了根据三维人脸模型生成用户指定的三维人物形象，从而提升趣味性，本实施例与第一实施例之间的区别在于S404～S405，其中，本实施例中的S401～S403与第一实施例中的S101～S103相同，S404～S405在S403之后执行。如图6所示，S404～S405具体如下：
S404：当检测到待更换的目标人脸纹理信息时，获取所述三维人脸模型的人脸纹理信息。
设备在接收到三维人脸模型重建的指令时，可以进入虚拟角色选择的虚拟界面，用户可以在虚拟界面上选择自己想要的三维人脸的目标人脸纹理信息。其中，人脸纹理信息可以理解为人脸的特征，例如人脸的肤色、人脸的唇色等等。这样，三维人脸模型重建的指令中会包括用户指定的三维人脸模型的目标人脸纹理信息。设备检测用户选择完成后，对获取到的二维人脸进行重建，获取到三维人脸模型。当设备已经生成三维人脸模型之后，检测是否存在待更换的目标人脸纹理信息，当检测到待更换的目标人脸纹理信息时，获取三维人脸模型的人脸纹理信息。
S405：将所述人脸纹理信息替换为所述目标人脸纹理信息，生成目标三维人脸模型。
设备将人脸纹理信息替换为目标人脸纹理信息，替换的过程可以根据纹理坐标映射，将目标人脸纹理信息替换人脸纹理信息，从而生成目标三维人脸模型。举例来说，如图10所示，设备进行三维人脸重建后，根据用户选择的目标人脸纹理信息，图中用户选择的目标人脸纹理信息为肤色和雀斑，然后生成了“虚拟”三维人脸。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
请参见图11，图11是本申请第五实施例提供的三维人脸模型的重建装置的示意图。包括的各单元用于执行图1～图4、图7、图9对应的实施例中的各步骤。具体请参阅图1～图4、图7、图9各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图11，三维人脸模型的重建装置11包括：
第一获取单元1110，用于获取待重建的目标人脸区域图像；
处理单元1120，用于采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；其中，所述三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到；所述系数标签用于标识所述样本人脸区域图像信息对应的三维人脸系数；
第一确定单元1130，用于基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型；其中，所述预设人脸基准向量和所述三维人脸系数用于构建人脸特征信息，所述人脸特征信息用于构建三维人脸模型。
进一步地，所述三维人脸模型系数包括三维人脸表情系数和三维人脸形状系数；所述预设人脸基准向量包括预设人脸基准表情向量和预设人脸基准形状向量；所述人脸特征信息包括人脸表情特征信息和人脸形状特征信息；
第一确定单元1130，具体用于：
基于所述三维人脸表情系数和所述预设人脸基准表情向量，确定人脸表情特征信息；
基于所述三维人脸形状系数和所述预设人脸基准形状向量，确定人脸形状特征信息；
基于所述预设基准人脸信息、所述人脸表情特征信息和所述人脸形状特征信息，确定所述目标人脸区域图像对应的三维人脸模型。
进一步地，第一获取单元1110，包括：
第二获取单元，用于获取原始图像信息，并且从所述原始图像信息中获取人脸特征点；所述原始图像信息包括人脸图像；
第二确定单元，用于基于所述人脸特征点确定待重建的目标人脸区域图像。
进一步地，所述第二获取单元，具体用于：
获取原始图像信息，基于预设人脸检测算法检测所述原始图像信息中的人脸特征点，以确定当前的原始图像信息当中是否存在人脸图像。
进一步地，第一获取单元1110，具体用于：
从原始视频信息中获取同一人脸对应的第一图像信息和第二图像信息；其中，所述第一图像信息从第一视频帧中获取，所述第二图像信息从第二视频帧中获取，所述第一视频帧与所述第二视频帧相邻，且所述第一视频帧在所述第二视频帧之前；
从所述第一图像信息中的获取第一人脸区域图像，并且从所述第二图像信息中获取第二人脸区域图像；
当检测到所述第一人脸区域图像的第一尺寸信息和所述第二人脸区域图像的第二尺寸信息之间的差异信息不满足预设条件时，基于所述第一尺寸信息、所述第二尺寸信息和预设系数，确定第三尺寸信息；
基于所述第三尺寸信息和所述第二图像信息，确定目标人脸区域图像。
进一步地，三维人脸模型的重建装置11，还包括：
第三获取单元，用于当检测到待更换的目标人脸纹理信息时，获取所述三维人脸模型的人脸纹理信息；
生成单元，用于将所述人脸纹理信息替换为所述目标人脸纹理信息，生成目标三维人脸模型。
进一步地，处理单元1120，具体用于：
将所述目标人脸区域图像输入卷积层进行特征提取，得到所述目标人脸区域图像对应的第一人脸特征信息；
将所述第一人脸特征信息输入池化层进行处理，从所述第一人脸特征信息中提取第二人脸特征信息；
将所述第二人脸特征信息输入全连接层进行处理，得到所述目标人脸区域图像对应的三维人脸系数。
图12是本申请第六实施例提供的三维人脸模型的重建设备的示意图。如图12所示，该实施例的三维人脸模型的重建设备12包括：处理器120、存储器121以及存储在所述存储器121中并可在所述处理器120上运行的计算机程序122，例如三维人脸模型的重建程序。所述处理器120执行所述计算机程序122时实现上述各个三维人脸模型的重建方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器120执行所述计算机程序122时实现上述各装置实施例中各模块/单元的功能，例如图11所示模块1110至1120的功能。
示例性的，所述计算机程序122可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器121中，并由所述处理器120执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序122在所述三维人脸模型的重建设备12中的执行过程。例如，所述计算机程序122可以被分割成第一获取单元、处理单元、确定单元，各单元具体功能如下：
第一获取单元，用于获取待重建的目标人脸区域图像；
处理单元，用于采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；其中，所述三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到；所述系数标签用于标识所述样本人脸区域图像信息对应的三维人脸系数；
第一确定单元，用于基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型；其中，所述预设人脸基准向量和所述三维人脸系数用于构建人脸特征信息，所述人脸特征信息用于构建三维人脸模型。
所述三维人脸模型的重建设备可包括，但不仅限于，处理器120、存储器121。本领域技术人员可以理解，图12仅仅是三维人脸模型的重建设备12的示例，并不构成对三维人脸模型的重建设备12的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述三维人脸模型的重建设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器120可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器121可以是所述三维人脸模型的重建设备12的内部存储单元，例如三维人脸模型的重建设备12的硬盘或内存。所述存储器121也可以是所述三维人脸模型的重建设备12的外部存储设备，例如所述三维人脸模型的重建设备12上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器121还可以既包括所述三维人脸模型的重建设备12的内部存储单元也包括外部存储设备。所述存储器121用于存储所述计算机程序以及所述三维人脸模型的重建设备所需的其他程序和数据。所述存储器121还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种三维人脸模型的重建方法，其特征在于，包括：
获取待重建的目标人脸区域图像；
采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；其中，所述三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到；所述系数标签用于标识所述样本人脸区域图像信息对应的三维人脸系数；
基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型；其中，所述预设人脸基准向量和所述三维人脸系数用于构建人脸特征信息，所述人脸特征信息用于构建三维人脸模型；
所述三维人脸系数包括三维人脸表情系数和三维人脸形状系数；所述预设人脸基准向量包括预设人脸基准表情向量和预设人脸基准形状向量；所述人脸特征信息包括人脸表情特征信息和人脸形状特征信息；
所述基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型，包括：
基于所述三维人脸表情系数和所述预设人脸基准表情向量，确定人脸表情特征信息；
基于所述三维人脸形状系数和所述预设人脸基准形状向量，确定人脸形状特征信息；
基于所述预设基准人脸信息、所述人脸表情特征信息和所述人脸形状特征信息，确定所述目标人脸区域图像对应的三维人脸模型。
2.如权利要求1所述的三维人脸模型的重建方法，其特征在于，所述获取待重建的目标人脸区域图像，包括：
获取原始图像信息，并且从所述原始图像信息中获取人脸特征点；所述原始图像信息包括人脸图像；
基于所述人脸特征点确定待重建的目标人脸区域图像。
3.如权利要求2所述的三维人脸模型的重建方法，其特征在于，所述获取原始图像信息，并且从所述原始图像信息中获取人脸特征点，包括：
获取原始图像信息，基于预设人脸检测算法检测所述原始图像信息中的人脸特征点，以确定当前的原始图像信息当中是否存在人脸图像。
4.如权利要求1所述的三维人脸模型的重建方法，其特征在于，所述获取待重建的目标人脸区域图像，包括：
从原始视频信息中获取同一人脸对应的第一图像信息和第二图像信息；其中，所述第一图像信息从第一视频帧中获取，所述第二图像信息从第二视频帧中获取，所述第一视频帧与所述第二视频帧相邻，且所述第一视频帧在所述第二视频帧之前；
从所述第一图像信息中的获取第一人脸区域图像，并且从所述第二图像信息中获取第二人脸区域图像；
当检测到所述第一人脸区域图像的第一尺寸信息和所述第二人脸区域图像的第二尺寸信息之间的差异信息不满足预设条件时，基于所述第一尺寸信息、所述第二尺寸信息和预设系数，确定第三尺寸信息；
基于所述第三尺寸信息和所述第二图像信息，确定目标人脸区域图像。
5.如权利要求1所述的三维人脸模型的重建方法，其特征在于，在所述基于所述三维人脸系数、预设基准人脸信息和预设人脸基准向量，确定所述目标人脸区域图像对应的三维人脸模型之后，还包括：
当检测到待更换的目标人脸纹理信息时，获取所述三维人脸模型的人脸纹理信息；
将所述人脸纹理信息替换为所述目标人脸纹理信息，生成目标三维人脸模型。
6.如权利要求1-5任一项所述的三维人脸模型的重建方法，其特征在于，所述采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数，包括：
将所述目标人脸区域图像输入卷积层进行特征提取，得到所述目标人脸区域图像对应的第一人脸特征信息；
将所述第一人脸特征信息输入池化层进行处理，从所述第一人脸特征信息中提取第二人脸特征信息；
将所述第二人脸特征信息输入全连接层进行处理，得到所述目标人脸区域图像对应的三维人脸系数。
7.一种三维人脸模型的重建装置，其特征在于，包括：
第一获取单元，用于获取待重建的目标人脸区域图像；
处理单元，用于采用预设的三维人脸系数获取模型对所述目标人脸区域图像进行处理，得到所述目标人脸区域图像对应的三维人脸系数；其中，所述三维人脸系数获取模型基于多个样本人脸区域图像信息及其各自对应的系数标签对深度学习网络训练得到；所述系数标签用于标识所述样本人脸区域图像信息对应的三维人脸系数；
第一确定单元，用于基于预设基准人脸信息、预设人脸基准向量和所述三维人脸系数，确定所述目标人脸区域图像对应的三维人脸模型；其中，所述预设人脸基准向量和所述三维人脸系数用于构建人脸特征信息，所述人脸特征信息用于构建三维人脸模型；
所述三维人脸系数包括三维人脸表情系数和三维人脸形状系数；所述预设人脸基准向量包括预设人脸基准表情向量和预设人脸基准形状向量；所述人脸特征信息包括人脸表情特征信息和人脸形状特征信息；所述第一确定单元，具体用于：
基于所述三维人脸表情系数和所述预设人脸基准表情向量，确定人脸表情特征信息；
基于所述三维人脸形状系数和所述预设人脸基准形状向量，确定人脸形状特征信息；
基于所述预设基准人脸信息、所述人脸表情特征信息和所述人脸形状特征信息，确定所述目标人脸区域图像对应的三维人脸模型。
8.一种三维人脸模型的重建设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN201911391285.5A 2019-12-30 2019-12-30 一种三维人脸模型的重建方法及装置 Active CN113128253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391285.5A CN113128253B (zh) 2019-12-30 2019-12-30 一种三维人脸模型的重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391285.5A CN113128253B (zh) 2019-12-30 2019-12-30 一种三维人脸模型的重建方法及装置

Publications (2)

Publication Number Publication Date
CN113128253A CN113128253A (zh) 2021-07-16
CN113128253B true CN113128253B (zh) 2024-05-03

Family

ID=76767719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391285.5A Active CN113128253B (zh) 2019-12-30 2019-12-30 一种三维人脸模型的重建方法及装置

Country Status (1)

Country Link
CN (1) CN113128253B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029768A1 (zh) * 2014-08-29 2016-03-03 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和***
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029768A1 (zh) * 2014-08-29 2016-03-03 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和***
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置

Also Published As

Publication number Publication date
CN113128253A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US11734851B2 (en) Face key point detection method and apparatus, storage medium, and electronic device
WO2020199693A1 (zh) 一种大姿态下的人脸识别方法、装置及设备
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
US10832069B2 (en) Living body detection method, electronic device and computer readable medium
EP3992846A1 (en) Action recognition method and apparatus, computer storage medium, and computer device
CN111860398B (zh) 遥感图像目标检测方法、***及终端设备
CN111539389B (zh) 人脸防伪识别方法、装置、设备及存储介质
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN111539290A (zh) 视频动作识别方法、装置、电子设备及存储介质
EP4047509A1 (en) Facial parsing method and related devices
CN111047509A (zh) 一种图像特效处理方法、装置及终端
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN111080670A (zh) 图像提取方法、装置、设备及存储介质
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
CN116363261A (zh) 图像编辑模型的训练方法、图像编辑方法和装置
US11741678B2 (en) Virtual object construction method, apparatus and storage medium
CN111985597A (zh) 模型压缩方法及装置
JP2023543964A (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム
CN110633630B (zh) 一种行为识别方法、装置及终端设备
CN113128253B (zh) 一种三维人脸模型的重建方法及装置
WO2023142550A1 (zh) 异常事件检测方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品
CN110781223A (zh) 数据处理方法及装置、处理器、电子设备及存储介质
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及***
CN114820755A (zh) 一种深度图估计方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District

Applicant before: TCL Corp.

Country or region before: China

GR01 Patent grant
GR01 Patent grant