CN112419454B - 一种人脸重建方法、装置、计算机设备及存储介质 - Google Patents

一种人脸重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112419454B
CN112419454B CN202011337901.1A CN202011337901A CN112419454B CN 112419454 B CN112419454 B CN 112419454B CN 202011337901 A CN202011337901 A CN 202011337901A CN 112419454 B CN112419454 B CN 112419454B
Authority
CN
China
Prior art keywords
target
data
face
virtual
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011337901.1A
Other languages
English (en)
Other versions
CN112419454A (zh
Inventor
徐胜伟
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011337901.1A priority Critical patent/CN112419454B/zh
Publication of CN112419454A publication Critical patent/CN112419454A/zh
Priority to PCT/CN2021/102431 priority patent/WO2022110791A1/zh
Priority to KR1020227010819A priority patent/KR20220075339A/ko
Priority to JP2022520004A priority patent/JP2023507863A/ja
Priority to TW110127356A priority patent/TWI773458B/zh
Application granted granted Critical
Publication of CN112419454B publication Critical patent/CN112419454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Electric Double-Layer Capacitors Or The Like (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种人脸重建方法、装置、计算机设备及存储介质，其中，该方法包括：基于目标图像生成第一真实人脸模型；利用预先生成的多个第二真实人脸模型对第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；基于多个第二真实人脸模型分别对应的目标系数、多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形系数；基于目标骨骼数据以及目标蒙皮变形系数，生成与第一真实人脸模型对应的目标虚拟人脸模型。

Description

一种人脸重建方法、装置、计算机设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种人脸重建方法、装置、计算机设备及存储介质。
背景技术
人脸重建能够根据真实人脸或自身喜好建立虚拟人脸三维模型，在游戏、动漫、虚拟社交等领域具有广泛应用。例如在游戏中，玩家可以通过游戏程序提供的人脸重建***依照玩家提供的图像中包括的真实人脸生成虚拟人脸三维模型，并利用创造出的虚拟人脸三维模型更有代入感的参与游戏。
目前，在基于人像图像中包括的人脸进行人脸重建时，通常是基于人脸图像提取人脸轮廓特征，然后将提取的人脸轮廓特征和预先生成的虚拟三维模型进行匹配、融合，以生成虚拟人脸三维模型；但是由于在将人脸轮廓特征匹配准确率较低，使得生成的虚拟人脸三维模型与真实人脸形象之间的相似度较低。
发明内容
本公开实施例至少提供一种人脸重建方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种人脸重建方法，包括：基于目标图像生成第一真实人脸模型；利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形系数；基于所述目标骨骼数据以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型。
该实施方式中，利用目标系数作为媒介，建立了多个第二真实人脸模型与第一真实人脸模型之间的关联关系，该关联关系，能够表征基于第二真实人脸模型建立的虚拟人脸模型、和基于第一真实人脸模型建立的目标虚拟人脸模型之间的关联；另外，目标蒙皮变形系数能够表征目标图像中人脸蒙皮发生变形的特征，如骨骼相同的情况下，存在可以由蒙皮表征的胖瘦差异；基于目标系数以及目标蒙皮变形系数确定的目标虚拟人脸模型，既具有预设风格、及第一真实人脸模型对应的原始人脸的特征，又可以体现原始人脸的胖瘦特征，所生成的目标虚拟人脸模型，和第一真实人脸模型对应的原始人脸之间具有更高的相似度。
在一种可选的实施方式中，所述虚拟人脸模型包括：所述虚拟人脸模型的蒙皮数据相对于预先生成的标准虚拟人脸模型的标准蒙皮数据的蒙皮变形系数；基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标蒙皮变形系数，包括：基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数。
该实施方式中，将标准虚拟人脸模型的标准蒙皮数据作为基准，在确定了虚拟人脸模型的蒙皮数据相对于标准蒙皮数据的蒙皮变形系数后，能够基于表征虚拟人脸模型和目标虚拟人脸模型之间的关联关系的目标系数，准确确定目标虚拟人脸的目标蒙皮数据相对于标准蒙皮数据的目标蒙皮变形系数，从而能够基于目标蒙皮变形系数更准确的确定目标虚拟人脸的蒙皮数据，使得生成的目标虚拟人脸模型和第一真实人脸模型对应的原始人脸之间具有更高的相似度。
在一种可选的实施方式中，所述基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数，包括：对所述多个第二真实人脸模型分别对应的目标系数进行归一化处理；基于归一化处理后的目标系数、以及所述虚拟人脸模型分别包括的蒙皮变形系数，得到所述目标蒙皮变形系数。
该实施方式中，通过对所述多个第二真实人脸模型分别对应的目标系数进行归一化处理，使得基于归一化处理后的目标系数、以及所述虚拟人脸模型分别包括的蒙皮变形系数得到目标蒙皮变形系数时，数据的表达更加的简单，简化了处理过程，提高了后续在使用拟合结果进行人脸重建的处理速度。
在一种可选的实施方式中，所述基于所述目标骨骼数据、以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型，包括：基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对所述标准蒙皮数据进行位置变换处理，生成中间蒙皮数据；基于所述目标蒙皮变形系数，对所述中间蒙皮数据进行变形处理，得到目标蒙皮数据；基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
该实施方式中，在生成中间蒙皮数据后，利用目标蒙皮变形系数对中间蒙皮数据进行变形处理，得到的目标蒙皮数据不仅可以表征第一真实人脸模型的外貌特征，还能够表现出第一真实人脸的胖瘦程度，生成的目标虚拟人脸模型不仅具有外貌上的差异，还具有胖瘦程度的差异，使得在生成不同的目标虚拟人脸时，与第一真实人脸模型对应的原始人脸具有更高的相似度。
在一种可选的实施方式中，所述目标骨骼数据包括以下至少一种：所述目标骨骼位置数据、所述目标骨骼缩放数据、以及所述目标骨骼旋转数据；所述多个虚拟人脸模型分别对应的骨骼数据包括以下至少一种：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据。
该实施方式中，利用骨骼数据能够更精确的表征多块人脸骨骼中每块骨骼对应的骨骼数据，并且利用目标骨骼数据，能够更精确的确定目标虚拟人脸模型。
在一种可选的实施方式中，所述目标骨骼数据包括目标骨骼位置数据，基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据，包括：基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到所述目标骨骼位置数据。
在一种可选的实施方式中，所述目标骨骼数据包括目标骨骼缩放数据，基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据，包括：基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到所述目标骨骼缩放数据。
在一种可选的实施方式中，所述目标骨骼数据包括目标骨骼旋转数据，基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据，包括：将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到所述目标骨骼旋转数据。
在一种可选的实施方式中，所述基于目标图像生成第一真实人脸模型，包括：获取包括原始人脸的目标图像；对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
该实施方式中，利用对原始人脸进行三维人脸重建得到的第一真实人脸模型，可以更准确且全面的表征目标图像中原始人脸的人脸特征。
在一种可选的实施方式中，根据以下方式预先生成多个所述第二真实人脸模型：获取多张包括参考人脸的参考图像；针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的所述参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
该实施方式中，利用多张参考图像，可以尽量覆盖到较为广泛的人脸外形特征，因此，基于多张参考图像中的每张参考图像进行三维人脸重建得到的第二真实人脸模型同样可以尽量覆盖到较为广泛的人脸外形特征。
在一种可选的实施方式中，还包括：采用下述方式获取所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型：生成所述多个第二真实人脸模型中每个第二真实人脸模型对应的具有预设风格的中间虚拟人脸模型；基于相对于标准虚拟人脸模型的多组预设蒙皮变形系数，生成与所述每个第二真实人脸模型对应的虚拟人脸模型相对于所述标准虚拟人脸模型的蒙皮变形系数；利用所述蒙皮变形系数，对所述中间虚拟人脸模型中的中间蒙皮数据进行调整，并基于调整后的中间蒙皮数据、以及所述中间虚拟人脸模型的中间骨骼数据，生成所述每个第二真实人脸模型的虚拟人脸模型。
该实施方式中，通过蒙皮变形系数，对第二真实人脸模型对应的中间虚拟人脸模型的中间蒙皮数据进行调整，使得生成的虚拟人脸模型不仅具有预设风格、以及第二真实人脸模型的外貌特征，还能够表征与第二真实人脸模型对应的参考人脸胖瘦程度，使得虚拟人脸模型和对应的参考人脸之间具有更高的相似度。
在一种可选的实施方式中，所述利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数，包括：对所述多个第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
该实施方式中，利用目标系数，可以准确的表征在利用多个第二真实人脸模型拟合第一真实人脸模型时的拟合情况。
第二方面，本公开实施例还提供一种人脸重建装置，包括：
第一生成模块，用于基于目标图像生成第一真实人脸模型；
处理模块，用于利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
第二生成模块，用于基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形系数；
第三生成模块，用于基于所述目标骨骼数据以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型
一种可选的实施方式中，所述虚拟人脸模型包括：所述虚拟人脸模型的蒙皮数据相对于预先生成的标准虚拟人脸模型的标准蒙皮数据的蒙皮变形系数；
所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标蒙皮变形系数时，用于：基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数。
一种可选的实施方式中，所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数时，用于：对所述多个第二真实人脸模型分别对应的目标系数进行归一化处理；基于归一化处理后的目标系数、以及所述虚拟人脸模型分别包括的蒙皮变形系数，得到所述目标蒙皮变形系数。
一种可选的实施方式中，所述第三生成模块在基于所述目标骨骼数据、以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型时，用于：基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对所述标准蒙皮数据进行位置变换处理，生成中间蒙皮数据；基于所述目标蒙皮变形系数，对所述中间蒙皮数据进行变形处理，得到目标蒙皮数据；基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
一种可选的实施方式中，所述目标骨骼数据包括以下至少一种：所述目标骨骼位置数据、所述目标骨骼缩放数据、以及所述目标骨骼旋转数据；
所述多个虚拟人脸模型分别对应的骨骼数据包括以下至少一种：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼位置数据，所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到所述目标骨骼位置数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼缩放数据，第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到所述目标骨骼缩放数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼旋转数据，所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据时，用于：将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到所述目标骨骼旋转数据。
一种可选的实施方式中，所述第一生成模块在基于目标图像生成第一真实人脸模型时，用于：获取包括原始人脸的目标图像；对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
一种可选的实施方式中，所述处理模块根据以下方式预先生成所述多个第二真实人脸模型：获取多张包括参考人脸的参考图像；针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
一种可选的实施方式中，还包括获取模块，用于采用下述方式获取所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型：生成所述多个第二真实人脸模型中每个第二真实人脸模型对应的具有预设风格的中间虚拟人脸模型；基于相对于标准虚拟人脸模型的多组预设蒙皮变形系数，生成与所述每个第二真实人脸模型对应的虚拟人脸模型相对于所述标准虚拟人脸模型的蒙皮变形系数；利用所述蒙皮变形系数，对所述中间虚拟人脸模型中的中间蒙皮数据进行调整，并基于调整后的中间蒙皮数据、以及所述中间虚拟人脸模型的中间骨骼数据，生成所述每个第二真实人脸模型的虚拟人脸模型。
一种可选的实施方式中，所述处理模块利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数时，用于：对所述多个第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述人脸重建装置、计算机设备、及计算机可读存储介质的效果描述参见上述人脸重建方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人脸重建方法的流程图；
图2示出了本公开实施例所提供一种生成与每个第二真实人脸模型对应的虚拟人脸模型的具体方法的流程图；
图3示出了本公开实施例所提供的一种得到目标蒙皮变形系数的具体方法的流程图；
图4示出了本公开实施例所提供的一种基于目标骨骼数据、以及目标蒙皮变形系数，生成与第一真实人脸模型对应的目标虚拟人脸模型的具体方法的流程图；
图5示出了本公开实施例提供的一种人脸重建方法中包含的多个人脸以及人脸模型的示例；
图6示出了本公开实施例提供的一种人脸重建装置的示意图；
图7示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，利用人脸重建的方法可以根据真实人脸或自身喜好建立虚拟人脸三维模型。其中，在基于人像图像中的人脸进行人脸重建的情况下，通常先对人像图像中包含的人脸进行特征提取，以得到人脸轮廓特征，再将人脸轮廓特征与预先生成的人脸虚拟三维模型中的特征进行匹配，并基于匹配的结果，将人脸轮廓特征与人脸虚拟三维模型进行融合，以获取与人像图像中的人脸对应的虚拟人脸三维模型。由于在将人脸轮廓特征与预先生成的人脸虚拟三维模型中的特征进行匹配时，匹配的准确率较低，造成在将人脸虚拟三维模型、以及人脸轮廓特征之间匹配的误差较大，容易造成依据匹配结果对人脸轮廓特征与人脸虚拟三维模型进行融合得到的虚拟人脸三维模型与人像图像中的人脸相似度较低的问题。
基于上述研究，本公开提供了本公开提供了一种人脸重建方法，利用预先生成的多个真实人脸模型拟合第一真实人脸模型的过程，得到个第二真实人脸模型分别对应的目标系数，然后利用该目标系数、与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型、及目标蒙皮变形系数，生成与所述目标图像对应的目标虚拟人脸模型，从而将目标系数作为媒介，建立了多个第二真实人脸模型与第一真实人脸模型之间的关联关系，并将该关联关系，转移到基于第二真实人脸模型建立的虚拟人脸模型、和基于第一真实人脸模型建立的目标虚拟人脸模型之间；同时，由于目标蒙皮系数能够表征目标图像中人脸蒙皮发生变形的特征，也即利用目标蒙皮系数可以对存在的胖瘦差异做出适应性的调整，可以使得基于目标系数、以及虚拟人脸模型确定的目标虚拟人脸模型，既具有预设风格、及第一真实人脸模型对应的原始人脸的特征，又可以体现原始人脸的胖瘦特征，所生成的目标虚拟人脸模型，和第一真实人脸模型对应的原始人脸之间具有更高的相似度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种人脸重建方法进行详细介绍，本公开实施例所提供的人脸重建方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该人脸重建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的人脸重建方法加以说明。
参见图1所示，为本公开实施例提供的人脸重建方法的流程图，所述方法包括步骤S101～S104，其中：
S101：基于目标图像生成第一真实人脸模型；
S102：利用预先生成的多个第二真实人脸模型对第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
S103：基于多个第二真实人脸模型分别对应的目标系数、多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据、以及目标蒙皮变形系数；
S104：基于目标骨骼数据、以及目标蒙皮变形系数，生成与第一真实人脸模型对应的目标虚拟人脸模型。
本公开提供了一种人脸重建方法，将目标系数作为媒介，建立了多个第二真实人脸模型与第一真实人脸模型之间的关联关系，该关联关系能够表征基于第二真实人脸模型建立的虚拟人脸模型、和基于第一真实人脸模型建立的目标虚拟人脸模型之间的关联，同时，通过目标蒙皮变形系数表征目标图像中人脸蒙皮变形的特征，如骨骼相同的情况下，存在的胖瘦差异，使得基于目标系数、以及虚拟人脸模型确定的目标虚拟人脸模型，既具有预设风格、及第一真实人脸模型对应的原始人脸的特征，又可以体现原始人脸的胖瘦特征，所生成的目标虚拟人脸模型，和第一真实人脸模型对应的原始人脸之间具有更高的相似度。
下面对上述S101～S104加以详细说明。
针对上述S101，目标图像例如为获取的包括人脸的图像，或者在利用相机的拍摄设备对某一对象进行拍摄时获取的包括人脸的图像。此时，例如可以将图像中包括的任一张人脸确定为原始人脸，并将原始人脸作为人脸重建的对象。
具体地，在将本公开实施例提供的人脸重建方法应用于不同的场景下时，目标图像的获取方法也有所区别。
例如，在将该人脸重建方法应用于游戏中的情况下，可以通过游戏设备中安装的图像获取设备获取包括了游戏玩家人脸的图像、或者从游戏设备中的相册中选择包括了游戏玩家人脸的图像、并将获取的包括了游戏玩家人脸的图像作为目标图像。
又例如，在将人脸重建方法应用于手机等终端设备的情况下，可以由终端设备的摄像头采集包括用户人脸的图像，或者从终端设备的相册中选择包括了用户人脸的图像、或者从终端设备中安装的其他应用程序中接收包括用户人脸的图像。
又例如，在将人脸重建方法应用于直播场景下，可以从直播设备获取的视频流中包括的多帧视频帧图像中，确定包含人脸的视频帧图像；并将包含人脸的视频帧图像作为目标图像。此处，目标图像例如可以有多帧；多帧目标图像例如可以是对视频流进行采样获得。
在基于目标图像生成第一真实人脸模型时，例如可以采用下述方式：获取包括原始人脸的目标图像；对目标图像中包括的原始人脸进行三维人脸重建，得到第一真实人脸模型。
此处，在对目标图像中包括的原始人脸进行三维人脸重建时，例如可以采用三维可变形人脸模型(3Dimensions Morphable Models，3DMM)得到原始人脸对应的第一真实人脸模型。其中，第一真实人脸模型例如包括目标图像中原始人脸的多个关键点中每个关键点在预设的相机坐标系中位置信息。
针对上述S102，第二真实人脸模型，是基于包括参考人脸的参考图像生成的。其中，不同参考图像中的参考人脸可以不同；示例性的，可以确定性别、年龄、肤色、胖瘦程度等中至少一项不同的多个人，针对多个人中的每个人，获取每个人的人脸图像，并将获取的人脸图像作为参考图像。这样，基于参考图像获取的第二真实人脸模型，能够尽量覆盖到较为广泛的人脸外形特征。
其中，参考人脸例如包括N个不同对象对应的人脸，(N为大于1的整数)。示例性的，可以通过对N个不同对象分别进行拍摄，得到分别对应于N个不同对象的N张照片，且每张照片均对应一个参考人脸。此时，可以将此N张照片作为N张参考图像；或者，从多张预先拍摄好的包括不同人脸的图像中，确定N张参考图像。
示例性的，生成多个第二真实人脸模型的方法包括：获取多张包括参考人脸的参考图像；针对多张参考图像中的每张参考图像，对每张参考图像中包括的参考人脸进行三维人脸重建，得到每张参考图像对应的第二真实人脸模型。
其中，对参考人脸进行三维人脸重建的方法，与上述对原始人脸进行三维人脸重建的方法类似，在此不再赘述。所得到的第二真实人脸模型，包括参考图像中参考人脸的多个关键点中每个关键点在预设的相机坐标系中位置信息。此时，该第二真实人脸模型的坐标系和第一真实人脸模型的坐标系可以为同一坐标系。
在利用预先生成的多个第二真实人脸模型对第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数时，例如可以采用下述方式：对多个第二真实人脸模型以及第一真实人脸模型进行最小二乘处理，得到多个第二真实人脸模型分别对应的目标系数。
示例性的，可以将第一真实人脸模型对应的模型数据表示为Da，将N个第二真实人脸模型分别对应的模型数据表示为Dbi(i∈[1，N])，其中，Dbi表示N个第二真实人脸模型中的第i个第二真实人脸模型。
利用Da对Db1至DbN中的每一项进行最小二乘处理，可以得到N个拟合值，表示为αi(i∈[1,N])。其中，αi表征第i个第二真实人脸模型对应的拟合值。利用N个拟合值，可以确定目标系数Alpha，例如可以用系数矩阵表示，也即Alpha＝[α1,α2,…,αN]。
此处，在通过第二真实人脸模型拟合第一真实人脸模型的过程中，通过目标系数对第二真实人脸模型进行加权求和后得到的数据，可以与第一真实人脸模型的数据尽可能的接近。
该目标系数，又可视为利用多个第二真实人脸模型表达第一真实人脸模型时，每个第二真实人脸模型的表达系数。也即利用多个第二真实人脸模型分别在表达系数中对应的拟合值，可以将第二真实人脸模型向第一真实人脸模型进行转化拟合。
针对上述S103，预设风格例如可以为卡通风格、古代风格或抽象风格等，具体可以根据实际的需要进行设定。示例性的，针对预设风格为卡通风格的情况，具有预设风格的虚拟人脸模型例如可以为具有某种卡通风格的虚拟人脸模型。
其中，虚拟人脸模型，包括：骨骼数据、蒙皮数据、以及虚拟人脸模型的蒙皮数据相对于预先生成的标准虚拟人脸模型的标准蒙皮数据的蒙皮变形系数。
参见图2所示，本公开实施例提供了一种生成每个第二真实人脸模型的具体方法，包括：
S201：生成多个第二真实人脸模型中每个第二真实人脸模型对应的具有预设风格的中间虚拟人脸模型。
此处，生成与多个第二真实人脸模型分别对应的具有预设风格的中间虚拟人脸模型的方法例如包括下述(a1)和(a2)中至少一种：
(a1)、以获取一个第二真实人脸模型对应的中间虚拟人脸模型为例，可以基于参考图像制作与具有参考人脸特征的、且具有预设风格的虚拟人脸图像，并对虚拟人脸图像中的虚拟人脸进行三维建模，得到虚拟人脸图像中虚拟人脸的骨骼数据以及蒙皮数据。
其中，骨骼数据包括：为虚拟人脸预设的多个骨骼在预设坐标系中的骨骼旋转数据、骨骼缩放数据、以及骨骼位置数据。此处，多个骨骼例如可以进行多层级的划分；例如包括根骨骼、五官骨骼、五官细节骨骼；其中五官骨骼可以包括：眉骨骼、鼻骨骼、颧骨骨骼、下颌骨骼、嘴骨骼等；五官细节骨骼例如又可以将不同的五官骨骼再进行进一步的详细划分。具体的可以根据不同风格的虚拟图像需求进行设定，在此不做限定。
蒙皮数据包括：虚拟人脸的表面中多个位置点在预设的模型坐标系中的位置信息、以及每个位置点与多个骨骼中至少一个骨骼的关联关系信息。其中，该模型坐标系为针对虚拟人脸模型建立的三维坐标系。
将对虚拟人脸图像中的虚拟人脸进行三维建模得到的虚拟模型作为第二真实人脸模型对应的中间虚拟人脸模型。
(a2)、预先生成一具有预设风格的标准虚拟人脸模型。该标准虚拟人脸模型同样包括标准骨骼数据、标准蒙皮数据、以及标准骨骼数据与标准蒙皮数据之间的关联关系。基于多张参考图像中的每张参考图像对应的参考人脸的人脸特征，对标准虚拟人脸模型中的标准骨骼数据进行调整，以使调整后的标准虚拟人脸模型在具有预设风格的同时，还包括了参考图像中参考人脸的特征；然后，基于标准骨骼数据与标准蒙皮数据之间的关联关系，对标准蒙皮数据进行调整，同时还可以为标准蒙皮数据添加参考人脸所具有的特征信息，基于修改后的标准骨骼数据和修改后的标准蒙皮数据，生成第二真实人脸模型对应的中间虚拟人脸模型。
此处，中间虚拟人脸模型的具体数据表示可以参见上述(a1)所示，在此不再赘述。
S202：基于相对于标准虚拟人脸模型的多组预设蒙皮变形系数，生成与每个第二真实人脸模型对应的虚拟人脸模型相对于标准虚拟人脸模型的蒙皮变形系数。
这里，针对标准虚拟人脸模型，生成多组蒙皮变形系数时，是在标准虚拟人脸模型的骨骼未发生改变的情况下，仅仅对标准虚拟人脸模型的标注蒙皮数据中表征标准虚拟人脸模型的例如颧骨等的具***置对应的至少部分位置点进行调整的调整系数。
其中，每组蒙皮变形系数，表征对标准蒙皮数据中至少部分位置点在模型坐标系中的位置进行调整的结果，使得标准虚拟人脸模型中与调整的位置点所对应部位，呈现变胖、或者变瘦的效果。
通过多组预设蒙皮数据，组合与参考人脸对应的蒙皮变形系数时，例如可以对多组预设蒙皮数据进行拟合，使得拟合后的结果，与参考人脸的人脸形状相似。
S203：利用蒙皮变形系数，对中间虚拟人脸模型中的中间蒙皮数据进行调整，并基于调整后的中间蒙皮数据、以及中间虚拟人脸模型的中间骨骼数据，生成每个第二真实人脸模型的虚拟人脸模型。
例如，在一种可能的实施方式中，可以获取R组预设蒙皮变形系数Blendshape；此处，每一组预设的蒙皮变形系数中，包括与蒙皮数据中多个位置点分别对应的变形系数值。示例性的，若蒙皮数据中的位置点有W个，每个位置点均对应一个变形系数值，则R组预设蒙皮变形系数中的每组蒙皮变形系数的维度为W。
其中，利用Blendshapei(i∈[1,R])表示第i组预设蒙皮变形系数。利用R组预设蒙皮变形系数，可以对标准虚拟人脸模型的胖瘦做出修改，以获取R个调整胖瘦特征后的标准虚拟人脸模型。
在生成虚拟人脸模型时，可以用R组预设蒙皮变形系数Blendshape组合得到虚拟人脸模型的蒙皮变形系数。此处，例如可以为不同的预设蒙皮变形系数添加对应的权值，利用该权值，将R组预设蒙皮变形系数进行加权求和，以得到某一虚拟人脸模型的蒙皮变形系数。
示例性的，在预先生成N个第二真实人脸模型、且获取R组预设蒙皮变形系数的情况下，第i个真实人脸的蒙皮变形系数Blendshapei的维度为R×W。N个第二真实人脸模型分别对应的蒙皮变形系数，能够构成一维度为N×R×W的矩阵；该矩阵中，包括N个第二真实人脸模型中每个第二真实人脸模型分别对应的虚拟人脸模型的蒙皮变形系数。
另外，在利用蒙皮变形系数，对中间虚拟人脸模型中的蒙皮数据进行调整时，还可以对中间虚拟人脸模型的骨骼数据进行微调，优化所生成的虚拟人脸模型的面部细节特征，使得生成的虚拟人脸模型，与参考人脸具有更高的相似度。
在得到N个第二真实人脸模型分别对应的虚拟人脸模型后，即能够利用N个虚拟人脸模型，以及目标系数，拟合目标虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形数据。
具体地，目标虚拟人脸模型包括：目标骨骼数据、以及目标蒙皮数据；其中目标蒙皮数据是基于目标骨骼数据、以及目标虚拟人脸模型的目标蒙皮变形数据确定的。
本公开实施例在基于多个第二真实人脸模型对应的目标系数、以及多个虚拟人脸模型分别对应的骨骼数据，得到目标骨骼数据时，例如包括：基于多个第二真实人脸模型对应的目标系数，对多个虚拟人脸模型分别对应的骨骼数据进行插值处理，得到目标骨骼数据。
其中，多个虚拟人脸模型分别对应的骨骼数据包括以下至少一种：虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据。得到的目标骨骼数据包括以下至少一种：目标骨骼位置数据、目标骨骼缩放数据、以及目标骨骼旋转数据。
示例性的，在基于多个第二真实人脸模型对应的目标系数，对多个虚拟人脸模型分别对应的骨骼数据进行插值处理，得到目标骨骼数据时，例如可以采用下述b1～b3中至少一项：
(b1)、基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到目标骨骼位置数据。
(b2)、基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到目标骨骼缩放数据。
(b3)、将多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对四元数数据进行正则化处理，得到正则化四元数数据；基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到目标骨骼旋转数据。
在具体实施中，针对上述方法(b1)以及方法(b2)，在获取骨骼位置数据、及骨骼缩放数据的情况下，还包括基于多个第二真实人脸模型确定各层级骨骼、及各层级骨骼分别对应的局部坐标系。其中，在对人脸模型进行骨骼层级分层的情况下，例如可以直接按照生物学骨骼分层方法确定骨骼层级，也可以根据人脸重建的要求确定骨骼层级，具体的分层方法可以根据实际情况确定，在此不再赘述。
在确定各个骨骼层级后，即可基于各个骨骼层级建立每个骨骼层级对应的骨骼坐标系。示例性的，可以将各层级表示为Bonei。
此时，骨骼位置数据可以包括虚拟人脸模型中的各层级骨骼Bonei分别在对应的骨骼坐标系下的三维坐标值；骨骼缩放数据可以包括虚拟人脸模型中的各层级骨骼Bonei分别在对应的骨骼坐标系下，用于表征骨骼缩放程度的百分比，例如为80％、90％、及100％。
在一种可能的实施方式中，将第i个虚拟人脸模型对应的骨骼位置数据表示为Posi、对应的骨骼缩放数据表示为Scalingi。此时，骨骼位置数据Posi包含多个层级骨骼分别对应的骨骼位置数据，且骨骼缩放数据Scalingi包含多个层级骨骼分别对应的骨骼缩放数据。
此时对应的目标系数为ai。在基于M个第二真实人脸模型对应的目标系数，对M个虚拟人脸模型对应的位置骨骼数据Posi进行插值处理，得到目标骨骼位置数据。
示例性的，例如可以将目标系数作为各个虚拟人脸模型对应的权重，对虚拟人脸模型对应的位置骨骼数据Posi进行加权求和处理，实现插值处理的过程。此时，目标骨骼位置数据Posnew满足下述公式(1)：
类似的，在基于M个第二真实人脸模型对应的目标系数，对M个虚拟人脸模型对应的骨骼缩放数据，表示为Scalingi，可以将M个第二真实人脸模型分别对应的目标系数，作为对应虚拟人脸模型的权重，对M个虚拟人脸模型分别对应的骨骼缩放数据进行加权求和处理，以实现对M个虚拟人脸模型进行插值处理；在该种情况下，目标骨骼缩放数据Scalingnew满足下述公式(2)：
针对上述方法(b3)，骨骼旋转数据可以包括虚拟人脸模型中的各个骨骼分别在对应的骨骼坐标系下，用于表征骨骼的旋转坐标变换程度的向量值，包含旋转轴和旋转角。在一种可能的实施方式中，将第i个虚拟人脸模型对应的骨骼旋转数据表示为Transi。由于骨骼旋转数据钟包含的旋转角存在万向节死锁的问题，故将骨骼旋转数据转换为四元数数据，并且对四元数数据正则化，得到正则化四元数数数据，表示为Trans'i，以防止直接对四元数数据进行加权求和处理时产生过拟合的现象。
在基于M个第二真实人脸模型对应的目标系数，对M个虚拟人脸模型对应的正则化四元数数据Trans'i进行插值处理时，也可以将M个第二真实人脸模型对应的目标系数作为权重，对M个虚拟人脸模型对应的正则化四元数数据进行加权求和；在该种情况下，目标骨骼旋转数据Transnew满足下述公式(3)：
另外，还可以采用其他的插值方法，得到目标骨骼位置数据Posnew、目标骨骼缩放数据Scalingnew、及目标骨骼旋转数据Transnew，具体的可以根据实际的需要进行确定，本公开不做限定。
基于上述(b1)、(b2)、以及(b3)中得到的目标骨骼位置数据Posnew、目标骨骼缩放数据Scalingnew、及目标骨骼旋转数据Transnew后，即可确定目标骨骼数据，表示为Bonenew。示例性的，可以将目标骨骼数据以向量形式表示为(Posnew,Scalingnew,Transnew)。
在确定了多个第二真实人脸模型分别对应的目标系数、以及多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型下，在生成目标蒙皮变形系数时，例如可以采用下述方法：基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成目标虚拟人脸模型相对于所述标准虚拟人脸模型的所述目标蒙皮变形系数。其中，虚拟人脸模型包括：虚拟人脸模型的蒙皮数据相对于预先生成的标准虚拟人脸模型的标准蒙皮数据的蒙皮变形系数。
参见图3所示，本公开实施例还提供了一种得到目标蒙皮变形系数的具体方法，包括：
S301：对多个第二真实人脸模型分别对应的目标系数进行归一化处理。
其中，在对多个第二真实人脸模型分别对应的目标系数进行归一化处理的情况下，例如可以采用归一化函数(Softmax)求取概率值，表征多个第二真实人脸模型分别对应的目标系数在多个目标系数中的比值，设归一化后的目标系数为AlphaNorm。
示例性的，在第二真实人脸模型有N个的情况下，进行归一化处理得到的目标系数AlphaNorm的维度为N。
S302：基于归一化后的目标系数，对多个虚拟人脸模型分别包括的蒙皮变形系数进行插值处理，得到目标蒙皮变形系数。
此处，利用多个第二真实人脸模型分别对应的目标系数分别对虚拟人脸模型包括的蒙皮变形系数进行拟合，得到的拟合结果可以表征多个第二真实人脸模型对虚拟人脸模型的影响力，生成目标虚拟人脸模型相对于标准虚拟人脸模型的目标蒙皮变形系数。其中，目标蒙皮变形系数例如可以对人脸的胖瘦做出调整，使得得到的目标虚拟人脸模型与目标图像中的人脸胖瘦特征相符。
示例性的，可以基于归一化后的所述目标系数，对所述多个虚拟人脸模型分别对应的所述蒙皮变形系数进行加权求和，以实现对多个虚拟人脸模型分别对应的蒙皮变形系数进行插值处理的过程，得到所述目标蒙皮变形系数。
归一化处理得到的目标系数AlphaNorm可以表示维度为N的第一向量，R个虚拟人脸模型分别对应的蒙皮变形系数，能够形成一维度为N×R的第二向量；此时，将所述多个虚拟人脸模型分别对应的所述蒙皮变形系数进行加权求和，例如可以直接将第一向量和第二向量进行相乘，得到目标蒙皮变形系数。
示例性的，例如可以采用下述公式得到目标蒙皮变形系数，表示为Blendshape'，且Blendshape'满足下述公式(4)：
Blendshape'＝Blendshape×AlphaNorm (4)
针对上述S104，参见图4所示，本公开实施例还提供了一种基于目标骨骼数据、以及目标蒙皮变形系数，生成与第一真实人脸模型对应的目标虚拟人脸模型的具体方法，包括：
S401：基于目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对蒙皮数据进行位置变换处理，生成中间蒙皮数据。
其中，标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系例如为各层级骨骼对应的标准骨骼数据与标准蒙皮数据之间的关联关系。基于此关联关系，即可将蒙皮绑定在虚拟人脸模型中的骨骼上。
利用目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，可以对多个层级骨骼对应位置的蒙皮数据进行位置变换处理，以使生成的目标蒙皮数据中对应层级骨骼的位置可以与对应的目标骨骼数据中位置相符，此时，例如可以将进行位置变换处理后的蒙皮数据，作为生成的中间蒙皮数据。
S402：基于目标蒙皮变形系数，对中间蒙皮数据进行变形处理，得到目标蒙皮数据。
S403：基于目标骨骼数据、以及目标蒙皮数据，构成目标虚拟人脸模型。
此处，利用目标骨骼数据，可以确定用于构建目标虚拟人脸模型的各层级骨骼；且利用目标蒙皮数据，可以确定将模型绑定至骨骼上的蒙皮，从而构成目标虚拟人脸模型。
其中，确定目标虚拟人脸模型的方法包括下述至少一种：基于目标骨骼数据、及目标蒙皮数据直接建立目标虚拟人脸模型；利用各层级骨骼对应的目标骨骼数据替换第一真实人脸模型中对应的各层级骨骼数据，再利用目标蒙皮数据建立目标虚拟人脸模型。具体建立目标虚拟人脸模型的方法可以按照实际情况确定，在此不再赘述。
本公开实施例还提供了一种利用本公开实施例提供的人脸重建方法，对获取目标图像PicA中的原始人脸A对应的目标虚拟人脸模型ModAim的具体过程的说明。
确定目标虚拟人脸模型ModAim的步骤包括下述(c1)～(c6)：
(c1)、准备素材；其中，准备素材包括：对标准虚拟人脸模型的素材准备、以及对虚拟图片的素材准备。
在准备标准虚拟人脸模型的素材时，以选取卡通风格作为预设风格为例，首先设置一个卡通风格的标准虚拟人脸模型ModBase。
生成9组预设蒙皮变形系数；其中，使用9组蒙皮变形系数分别对标准虚拟人脸模型的标准蒙皮数据进行不同部位、和/或不同程度的改变，即可对标准虚拟人脸的胖瘦进行调整，涵盖绝大多数脸型特征。
在准备虚拟图片的素材时，收集24张虚拟图片Pic1～Pic24；收集的24张虚拟图片中的虚拟人脸B1～B24对应的男生、女生的数量均衡，并且尽可能包含较广泛的五官特征分布。
(c2)、人脸模型重建；其中，人脸模型重建包括：利用目标图像PicA中原始人脸A生成第一真实人脸模型Modfst、以及利用虚拟图片中的虚拟人脸B1～B24生成第二真实人脸模型Modsnd-1～Modsnd-24。
在确定原始人脸A生成第一真实人脸模型Modfst时，首先对目标图像中的人脸进行转正剪裁，然后利用预先训练好的RGB重建神经网络，生成原始人脸A对应的第一真实人脸模型Modfst。同样的，利用预先训练好的RGB重建神经网络，可以确定虚拟人脸B1～B24分别对应的第二真实人脸模型Modsnd-1～Modsnd-24。
在确定第二真实人脸模型Modsnd-1～Modsnd-24后，还包括：利用预设的风格，利用人工调整的方式，确定第二真实人脸模型Modsnd-1～Modsnd-24分别对应的具有预设风格的虚拟人脸模型Modfic-1～Modfic-24。
另外，还会基于9组预设蒙皮变形系数，生成24个虚拟人脸模型的蒙皮变形系数。
(c3)、拟合处理；其中，拟合包括：利用多个第二真实人脸模型对第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数alpha＝[alphasnd-1,alphasnd-2，…,alphasnd-24]。
在利用多个第二真实人脸模型对第一真实人脸模型进行拟合时，选取最小二乘法的方法进行拟合，得到24维系数alpha。
(c4)、确定目标蒙皮变形系数；其中，在确定目标蒙皮变形系数时，还包括下述(c4-1)、(c4-2)、以及(c4-3)。
(c4-1)、读取具有预设风格的虚拟人脸模型Modfic-1～Modfic-24分别对应的蒙皮变形系数blendshapefic-1～blendshapefic-24；
(c4-2)、对多个第二真实人脸模型分别对应的目标系数alpha进行归一化处理；
(c4-3)、利用多个第二真实人脸模型分别对应的目标系数alpha对多个虚拟人脸模型分别包括的蒙皮变形系数blendshapefic-1～blendshapefic-24进行插值处理，生成目标蒙皮变形系数blendshapeAim。
(c5)、确定目标骨骼数据；其中，在确定目标骨骼数据时，还包括下述(c5-1)以及(c5-2)。
(c5-1)、读取骨骼数据；其中，骨骼数据包括：在各层级骨骼Bonei下具有预设风格的虚拟人脸模型Modfic-1～Modfic-24分别对应的骨骼位置数据Posi、骨骼缩放数据Scalingi、以及骨骼旋转数据Transi。
(c5-2)、利用目标系数alpha对预设风格的虚拟人脸模型Modfic-1～Modfic-24分别对应的骨骼数据进行插值处理，生成目标骨骼数据Bonenew，包括目标骨骼位置数据Posnew、目标骨骼缩放数据Scalingnew、及目标骨骼旋转数据Transnew。
(c6)、生成目标虚拟人脸模型。
基于目标骨骼数据以及目标蒙皮变形系数，将目标骨骼数据替换至标准虚拟人脸模型ModBase中，并利用目标蒙皮变形系数blendshapeAim，将蒙皮与骨骼贴合，生成与第一真实人脸模型对应的目标虚拟人脸模型。
参见图5所示，为本公开实施例提供的在上述具体示例包含的多个过程中使用的具体数据的示例。其中，图5中a表示目标图像，51表示原始人脸A；图5中b表示具有卡通风格的标准虚拟人脸模型的示意图；图5中c表示在利用目标蒙皮变形系数对标准蒙皮数据中各个位置点进行调整后得到目标蒙皮数据中各个位置点的相对位置关系的示意图；图5中d表示得到的对应于原始人脸A生成的目标虚拟人脸模型的示意图。
此处，值得注意的是，上述(c1)～(c6)仅是完成人脸重建方法一个具体示例，不对本公开实施例提供的人脸重建方法造成限定。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与人脸重建方法对应的人脸重建装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述人脸重建方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图6所示，为本公开实施例提供的一种人脸重建装置的示意图，所述装置包括：第一生成模块61、处理模块62、第二生成模块63、及第三生成模块64；其中，
第一生成模块61，用于基于目标图像生成第一真实人脸模型；
处理模块62，用于利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
第二生成模块63，用于基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形系数；
第三生成模块64，用于基于所述目标骨骼数据以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型
一种可选的实施方式中，所述虚拟人脸模型包括：所述虚拟人脸模型的蒙皮数据相对于预先生成的标准虚拟人脸模型的标准蒙皮数据的蒙皮变形系数；
所述第二生成模块63在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标蒙皮变形系数时，用于：基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数。
一种可选的实施方式中，所述第二生成模块63在基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数时，用于：对所述多个第二真实人脸模型分别对应的目标系数进行归一化处理；基于归一化处理后的目标系数、以及所述虚拟人脸模型分别包括的蒙皮变形系数，得到所述目标蒙皮变形系数。
一种可选的实施方式中，所述第三生成模块64在基于所述目标骨骼数据、以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型时，用于：基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对所述标准蒙皮数据进行位置变换处理，生成中间蒙皮数据；基于所述目标蒙皮变形系数，对所述中间蒙皮数据进行变形处理，得到目标蒙皮数据；基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
一种可选的实施方式中，所述目标骨骼数据包括以下至少一种：所述目标骨骼位置数据、所述目标骨骼缩放数据、以及所述目标骨骼旋转数据；
所述多个虚拟人脸模型分别对应的骨骼数据包括以下至少一种：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼位置数据，所述第二生成模块63在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到所述目标骨骼位置数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼缩放数据，第二生成模块63在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到所述目标骨骼缩放数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼旋转数据，所述第二生成模块63在基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据时，用于：将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到所述目标骨骼旋转数据。
一种可选的实施方式中，所述第一生成模块61在基于目标图像生成第一真实人脸模型时，用于：获取包括原始人脸的目标图像；对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
一种可选的实施方式中，所述处理模块62根据以下方式预先生成所述多个第二真实人脸模型：获取多张包括参考人脸的参考图像；针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
一种可选的实施方式中，还包括获取模块65，用于采用下述方式获取所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型：生成所述多个第二真实人脸模型中每个第二真实人脸模型对应的具有预设风格的中间虚拟人脸模型；基于相对于标准虚拟人脸模型的多组预设蒙皮变形系数，生成与所述每个第二真实人脸模型对应的虚拟人脸模型相对于所述标准虚拟人脸模型的蒙皮变形系数；利用所述蒙皮变形系数，对所述中间虚拟人脸模型中的中间蒙皮数据进行调整，并基于调整后的中间蒙皮数据、以及所述中间虚拟人脸模型的中间骨骼数据，生成所述每个第二真实人脸模型的虚拟人脸模型。
一种可选的实施方式中，所述处理模块62利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数时，用于：对所述多个第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图7所示，为本公开实施例提供的计算机设备结构示意图，包括：
处理器71和存储器72；所述存储器72存储有处理器71可执行的机器可读指令，处理器71用于执行存储器72中存储的机器可读指令，所述机器可读指令被处理器71执行时，处理器71执行下述步骤：
基于目标图像生成第一真实人脸模型；利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形系数；基于所述目标骨骼数据以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型。
上述存储器72包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的人脸重建方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的人脸重建方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的人脸重建方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种人脸重建方法，其特征在于，包括：
基于目标图像生成第一真实人脸模型；
利用基于多张参考图像中的参考人脸预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
基于所述多个第二真实人脸模型分别对应的归一化处理后的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形系数；采用下述方式获取所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型：生成所述多个第二真实人脸模型中每个第二真实人脸模型对应的具有预设风格的中间虚拟人脸模型；基于相对于标准虚拟人脸模型的多组预设蒙皮变形系数，生成与所述每个第二真实人脸模型对应的虚拟人脸模型相对于所述标准虚拟人脸模型的蒙皮变形系数；利用所述蒙皮变形系数，对所述中间虚拟人脸模型中的中间蒙皮数据进行调整，并基于调整后的中间蒙皮数据、以及所述中间虚拟人脸模型的中间骨骼数据，生成所述每个第二真实人脸模型的虚拟人脸模型；其中，所述具有预设风格的中间虚拟人脸模型是基于所述多张参考图像中的参考人脸以及具有预设风格的虚拟人脸图像或者具有预设风格的标准虚拟人脸模型得到的；
基于所述目标骨骼数据、标准骨骼数据与标准蒙皮数据之间的关联关系、以及所述目标蒙皮变形系数，得到目标蒙皮数据，基于所述目标骨骼数据以及所述目标蒙皮数据，生成与所述第一真实人脸模型对应的目标虚拟人脸模型。
2.根据权利要求1所述的人脸重建方法，其特征在于，所述虚拟人脸模型包括：所述虚拟人脸模型的蒙皮数据相对于预先生成的标准虚拟人脸模型的标准蒙皮数据的蒙皮变形系数；
基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标蒙皮变形系数，包括：
基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数。
3.根据权利要求2所述的人脸重建方法，其特征在于，所述基于所述多个第二真实人脸模型分别对应的目标系数、以及多个所述虚拟人脸模型分别包括的蒙皮变形系数，生成所述目标虚拟人脸模型的目标蒙皮数据相对于所述标准蒙皮数据的所述目标蒙皮变形系数，包括：
对所述多个第二真实人脸模型分别对应的目标系数进行归一化处理；
基于归一化处理后的目标系数、以及所述虚拟人脸模型分别包括的蒙皮变形系数，得到所述目标蒙皮变形系数。
4.根据权利要求3所述的人脸重建方法，其特征在于，所述基于所述目标骨骼数据以及所述目标蒙皮变形系数，生成与所述第一真实人脸模型对应的目标虚拟人脸模型，包括：
基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对所述标准蒙皮数据进行位置变换处理，生成中间蒙皮数据；
基于所述目标蒙皮变形系数，对所述中间蒙皮数据进行变形处理，得到目标蒙皮数据；
基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
5.根据权利要求1-4任一项所述的人脸重建方法，其特征在于，所述目标骨骼数据包括以下至少一种：所述目标骨骼位置数据、所述目标骨骼缩放数据、以及所述目标骨骼旋转数据；
所述多个虚拟人脸模型分别对应的骨骼数据包括以下至少一种：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据。
6.根据权利要求5所述的人脸重建方法，其特征在于，所述目标骨骼数据包括目标骨骼位置数据；所述基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据，包括：
基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到所述目标骨骼位置数据。
7.根据权利要求5所述的人脸重建方法，其特征在于，所述目标骨骼数据包括目标骨骼缩放数据；所述基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据，包括：
基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到所述目标骨骼缩放数据。
8.根据权利要求5所述的人脸重建方法，其特征在于，所述目标骨骼数据包括目标骨骼旋转数据；所述基于所述多个第二真实人脸模型分别对应的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据，包括：
将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；
基于所述多个第二真实人脸模型分别对应的目标系数，对所述多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到所述目标骨骼旋转数据。
9.根据权利要求5所述的人脸重建方法，其特征在于，所述基于目标图像生成第一真实人脸模型，包括：
获取包括原始人脸的目标图像；
对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
10.根据权利要求5所述的人脸重建方法，其特征在于，根据以下方式预先生成所述多个第二真实人脸模型：
获取多张包括参考人脸的参考图像；
针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
11.根据权利要求5所述的人脸重建方法，其特征在于，所述利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数，包括：
对所述多个第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
12.一种人脸重建装置，其特征在于，包括：
第一生成模块，用于基于目标图像生成第一真实人脸模型；
处理模块，用于利用基于多个参考图像中的参考人脸预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
第二生成模块，用于基于所述多个第二真实人脸模型分别对应的归一化处理后的目标系数、所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成目标骨骼数据以及目标蒙皮变形系数；其中，采用下述方式获取所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型：生成所述多个第二真实人脸模型中每个第二真实人脸模型对应的具有预设风格的中间虚拟人脸模型；基于相对于标准虚拟人脸模型的多组预设蒙皮变形系数，生成与所述每个第二真实人脸模型对应的虚拟人脸模型相对于所述标准虚拟人脸模型的蒙皮变形系数；利用所述蒙皮变形系数，对所述中间虚拟人脸模型中的中间蒙皮数据进行调整，并基于调整后的中间蒙皮数据、以及所述中间虚拟人脸模型的中间骨骼数据，生成所述每个第二真实人脸模型的虚拟人脸模型；其中，所述具有预设风格的中间虚拟人脸模型是基于所述多个参考图像中的参考人脸以及具有预设风格的虚拟人脸图像或者具有预设风格的标准虚拟人脸模型得到的；
第三生成模块，用于基于所述目标骨骼数据以及标准骨骼数据与标准蒙皮数据之间的关联关系，得到目标蒙皮数据，基于所述目标骨骼数据以及所述目标蒙皮数据，生成与所述第一真实人脸模型对应的目标虚拟人脸模型。
13.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至11任一项所述的人脸重建方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至11任一项所述的人脸重建方法的步骤。
CN202011337901.1A 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质 Active CN112419454B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011337901.1A CN112419454B (zh) 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质
PCT/CN2021/102431 WO2022110791A1 (zh) 2020-11-25 2021-06-25 重建人脸的方法、装置、计算机设备及存储介质
KR1020227010819A KR20220075339A (ko) 2020-11-25 2021-06-25 얼굴 재구성 방법, 장치, 컴퓨터 기기 및 저장매체
JP2022520004A JP2023507863A (ja) 2020-11-25 2021-06-25 顔再構築方法、装置、コンピュータデバイス、及び記憶媒体
TW110127356A TWI773458B (zh) 2020-11-25 2021-07-26 重建人臉的方法、裝置、電腦設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011337901.1A CN112419454B (zh) 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112419454A CN112419454A (zh) 2021-02-26
CN112419454B true CN112419454B (zh) 2023-11-28

Family

ID=74842193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011337901.1A Active CN112419454B (zh) 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质

Country Status (5)

Country Link
JP (1) JP2023507863A (zh)
KR (1) KR20220075339A (zh)
CN (1) CN112419454B (zh)
TW (1) TWI773458B (zh)
WO (1) WO2022110791A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419454B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN113160418A (zh) * 2021-05-10 2021-07-23 上海商汤智能科技有限公司 三维重建方法、装置和***、介质及计算机设备
CN113610992B (zh) * 2021-08-04 2022-05-20 北京百度网讯科技有限公司 骨骼驱动系数确定方法、装置、电子设备及可读存储介质
CN113808249B (zh) * 2021-08-04 2022-11-25 北京百度网讯科技有限公司 图像处理方法、装置、设备和计算机存储介质
CN113805532B (zh) * 2021-08-26 2023-05-23 福建天泉教育科技有限公司 一种制作实体机器人动作的方法及终端
CN114529640B (zh) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN114693876A (zh) * 2022-04-06 2022-07-01 北京字跳网络技术有限公司 数字人生成方法、装置、存储介质和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법
CN109395390A (zh) * 2018-10-26 2019-03-01 网易（杭州）网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN110111247A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
CN110675475A (zh) * 2019-08-19 2020-01-10 腾讯科技（深圳）有限公司 一种人脸模型生成方法、装置、设备及存储介质
CN111695471A (zh) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
KR101696007B1 (ko) * 2013-01-18 2017-01-13 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
JP6207210B2 (ja) * 2013-04-17 2017-10-04 キヤノン株式会社 情報処理装置およびその方法
CN110111417B (zh) * 2019-05-15 2021-04-27 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备
CN110599573B (zh) * 2019-09-03 2023-04-11 电子科技大学 一种基于单目相机的人脸实时交互动画的实现方法
CN111724457A (zh) * 2020-03-11 2020-09-29 长沙千博信息技术有限公司 基于ue4的真实感虚拟人多模态交互实现方法
CN111714885A (zh) * 2020-06-22 2020-09-29 网易（杭州）网络有限公司 游戏角色模型生成、角色调整方法、装置、设备及介质
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419454B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법
CN109395390A (zh) * 2018-10-26 2019-03-01 网易（杭州）网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN110111247A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
CN110675475A (zh) * 2019-08-19 2020-01-10 腾讯科技（深圳）有限公司 一种人脸模型生成方法、装置、设备及存储介质
CN111695471A (zh) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LOW-FREQUENCY GUIDED SELF-SUPERVISED LEARNING FOR HIGH-FIDELITY 3D;Pengrui Wang 等;《IEEE》;20200709;全文 *
基于稀疏形变模型的三维卡通人脸生成;署光等;《电子学报》;20100831(第08期);第1798-1802页 *
面向形变模型的三维人脸建模研究及其改进;廖海斌等;《武汉大学学报(信息科学版)》;20110205(第02期);全文 *

Also Published As

Publication number Publication date
WO2022110791A1 (zh) 2022-06-02
TW202221651A (zh) 2022-06-01
TWI773458B (zh) 2022-08-01
KR20220075339A (ko) 2022-06-08
JP2023507863A (ja) 2023-02-28
CN112419454A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419454B (zh) 一种人脸重建方法、装置、计算机设备及存储介质
CN112419485B (zh) 一种人脸重建方法、装置、计算机设备及存储介质
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
US20220207810A1 (en) Single image-based real-time body animation
CN114981844A (zh) 3d身体模型生成
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN110399849A (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN113012282B (zh) 三维人体重建方法、装置、设备及存储介质
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
EP1424655A2 (en) A method of creating 3-D facial models starting form face images
US20130101164A1 (en) Method of real-time cropping of a real entity recorded in a video sequence
WO2021253788A1 (zh) 一种人体三维模型构建方法及装置
WO2013078404A1 (en) Perceptual rating of digital image retouching
CN111815768B (zh) 三维人脸重建方法和装置
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
CN114529640B (zh) 一种运动画面生成方法、装置、计算机设备和存储介质
WO2022110855A1 (zh) 人脸重建方法、装置、计算机设备及存储介质
CN108717730B (zh) 一种3d人物重建的方法及终端
CN114359453A (zh) 一种三维特效渲染方法、装置、存储介质及设备
CN114429518A (zh) 人脸模型重建方法、装置、设备和存储介质
CN111932439A (zh) 一种戴口罩人脸图像生成方法及相关装置
CN114612614A (zh) 人体模型的重建方法、装置、计算机设备及存储介质
CN113240811B (zh) 三维人脸模型创建方法、***、设备及存储介质
KR20200134623A (ko) 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40040544

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant