CN112419485A - 一种人脸重建方法、装置、计算机设备及存储介质 - Google Patents

一种人脸重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112419485A
CN112419485A CN202011342169.7A CN202011342169A CN112419485A CN 112419485 A CN112419485 A CN 112419485A CN 202011342169 A CN202011342169 A CN 202011342169A CN 112419485 A CN112419485 A CN 112419485A
Authority
CN
China
Prior art keywords
target
data
face
bone
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011342169.7A
Other languages
English (en)
Other versions
CN112419485B (zh
Inventor
徐胜伟
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011342169.7A priority Critical patent/CN112419485B/zh
Publication of CN112419485A publication Critical patent/CN112419485A/zh
Priority to JP2022519295A priority patent/JP2023507862A/ja
Priority to PCT/CN2021/102404 priority patent/WO2022110790A1/zh
Priority to KR1020237021453A priority patent/KR20230110607A/ko
Priority to TW110127359A priority patent/TWI778723B/zh
Application granted granted Critical
Publication of CN112419485B publication Critical patent/CN112419485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Electric Double-Layer Capacitors Or The Like (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本公开提供了一种人脸重建方法、装置、计算机设备及存储介质，其中，该方法包括：基于目标图像生成第一真实人脸模型；利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。

Description

一种人脸重建方法、装置、计算机设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种人脸重建方法、装置、计算机设备及存储介质。
背景技术
人脸重建能够根据真实人脸或自身喜好建立虚拟人脸三维模型，在游戏、动漫、虚拟社交等领域具有广泛应用。例如在游戏中，玩家可以通过游戏程序提供的人脸重建***依照玩家提供的图像中包括的真实人脸生成虚拟人脸三维模型，并利用创造出的虚拟人脸三维模型更有代入感的参与游戏。
目前，在基于人像图像中包括的人脸进行人脸重建时，通常是基于人脸图像提取人脸轮廓特征，然后将提取的人脸轮廓特征和预先生成的虚拟三维模型进行匹配、融合，以生成虚拟人脸三维模型；但是由于在将人脸轮廓特征匹配准确率较低，使得生成的虚拟人脸三维模型与真实人脸形象之间的相似度较低。
发明内容
本公开实施例至少提供一种人脸重建方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种人脸重建方法，包括：基于目标图像生成第一真实人脸模型；利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。
本实施例中，利用目标系数作为媒介，建立了多个第二真实人脸模型与第一真实人脸模型之间的关联关系，该关联关系，能够表征基于第二真实人脸模型建立的虚拟人脸模型、和基于第一真实人脸模型建立的目标虚拟人脸模型之间的关联，使得基于目标系数确定的目标虚拟人脸模型，既具有预设风格、及第一真实人脸模型对应的原始人脸的特征，所生成的目标虚拟人脸模型，和第一真实人脸模型对应的原始人脸之间具有更高的相似度。
一种可选的实施方式中，所述基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型，包括：基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据；基于所述目标骨骼数据，生成所述目标虚拟人脸模型。
一种可选的实施方式中，所述基于所述目标骨骼数据，生成所述目标虚拟人脸模型，包括：基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对标准蒙皮数据进行位置变换处理，生成目标蒙皮数据；基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
该实施方式中，可以通过目标蒙皮数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，使得得到的目标虚拟人脸模型可以更好的将目标骨骼数据与目标蒙皮数据贴合，从而使得利用目标骨骼数据构成的目标虚拟人脸模型中，较少的出现由于骨骼数据的变化导致的目标虚拟人脸模型显示异常凸起或者凹陷的情况。
一种可选的实施方式中，所述虚拟人脸模型分别对应的骨骼数据包括以下至少一种数据：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据；所述目标骨骼数据包括以下至少一种数据：所述目标骨骼位置数据、目标骨骼缩放数据、以及所述目标骨骼旋转数据。
该实施方式中，利用骨骼数据能够更精确的表征多块人脸骨骼中每块骨骼对应的骨骼数据，并且利用目标骨骼数据，能够更精确的确定目标虚拟人脸模型。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼位置数据，所述基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据，包括：基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到目标骨骼位置数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼缩放数据，所述基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据，包括：基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到目标骨骼缩放数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼旋转数据，所述基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据，包括：将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到目标骨骼旋转数据。
该实施方式中，利用目标骨骼数据可以更精确的对虚拟人脸模型进行调整，使得得到的目标虚拟人脸模型中的骨骼细节更加细致，并且与原始人脸的骨骼细节更相似，从而使得目标虚拟人脸模型与原始人脸之间具有更高的相似度。
一种可选的实施方式中，所述基于目标图像生成第一真实人脸模型，包括：获取包括原始人脸的目标图像；对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
该实施方式中，利用对原始人脸进行三维人脸重建得到的第一真实人脸模型，可以更准确且全面的表征目标图像中原始人脸的人脸特征。
一种可选的实施方式中，根据以下方式生成多个第二真实人脸模型：获取多张包括参考人脸的参考图像；针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的所述参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
该实施方式中，利用多张参考图像，可以尽量覆盖到较为广泛的人脸外形特征，因此，基于多张参考图像中的每张参考图像进行三维人脸重建得到的第二真实人脸模型同样可以尽量覆盖到较为广泛的人脸外形特征。
一种可选的实施方式中，所述利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数，包括：对多个所述第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
该实施方式中，利用目标系数，可以准确的表征在利用多个第二真实人脸模型拟合第一真实人脸模型时的拟合情况。
第二方面，本公开实施例还提供一种人脸重建装置，包括：
第一生成模块，用于基于目标图像生成第一真实人脸模型；
处理模块，用于利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
第二生成模块，用于基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。
一种可选的实施方式中，所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型时，用于：基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据；基于所述目标骨骼数据，生成所述目标虚拟人脸模型。
一种可选的实施方式中，所述第二生成模块在基于所述目标骨骼数据，生成所述目标虚拟人脸模型时，用于：基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对标准蒙皮数据进行位置变换处理，生成目标蒙皮数据；基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
一种可选的实施方式中，所述虚拟人脸模型的骨骼数据包括以下至少一种数据：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据；所述目标骨骼数据包括以下至少一种数据：所述目标骨骼位置数据、目标骨骼缩放数据、以及所述目标骨骼旋转数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼位置数据，所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到所述目标骨骼位置数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼缩放数据，所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到所述目标骨骼缩放数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼旋转数据，所述第二生成模块在基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据时，用于：将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到所述目标骨骼旋转数据。
一种可选的实施方式中，所述第一生成模块在基于目标图像生成第一真实人脸模型时，用于：获取包括原始人脸的目标图像；对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
一种可选的实施方式中，所述处理模块根据以下方式生成多个第二真实人脸模型：获取多张包括参考人脸的参考图像；针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
一种可选的实施方式中，所述处理模块利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数时，用于：对多个所述第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述人脸重建装置、计算机设备、及计算机可读存储介质的效果描述参见上述人脸重建方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人脸重建方法的流程图；
图2示出了本公开实施例所提供的生成与目标图像对应的目标虚拟人脸模型的方法的流程图；
图3示出了本公开实施例所提供的一种基于目标骨骼数据生成与第一真实人脸模型对应的目标虚拟人脸模型的具体方法的流程图；
图4示出了本公开实施例所提供的一种人脸重建方法中包含的多个人脸以及人脸模型的示例；
图5示出了本公开实施例所提供的一种人脸重建装置的示意图；
图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，利用人脸重建的方法可以根据真实人脸或自身喜好建立虚拟人脸三维模型。其中，在基于人像图像中的人脸进行人脸重建的情况下，通常先对人像图像中包含的人脸进行特征提取，以得到人脸轮廓特征，再将人脸轮廓特征与预先生成的人脸虚拟三维模型中的特征进行匹配，并基于匹配的结果，将人脸轮廓特征与人脸虚拟三维模型进行融合，以获取与人像图像中的人脸对应的虚拟人脸三维模型。由于在将人脸轮廓特征与预先生成的人脸虚拟三维模型中的特征进行匹配时，匹配的准确率较低，造成在将人脸虚拟三维模型、以及人脸轮廓特征之间匹配的误差较大，容易造成依据匹配结果对人脸轮廓特征与人脸虚拟三维模型进行融合得到的虚拟人脸三维模型与人像图像中的人脸相似度较低的问题。
基于上述研究，本公开提供了一种人脸重建方法，利用预先生成的多个真实人脸模型拟合第一真实人脸模型的过程，得到个第二真实人脸模型分别对应的目标系数，然后利用该目标系数，以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型，从而将目标系数作为媒介，建立了多个第二真实人脸模型与第一真实人脸模型之间的关联关系，该关联关系，能够表征基于第二真实人脸模型建立的虚拟人脸模型、和基于第一真实人脸模型建立的目标虚拟人脸模型之间的关联，使得基于目标系数、以及虚拟人脸模型确定的目标虚拟人脸模型，既具有预设风格，又具有第一真实人脸模型对应的原始人脸的特征，所生成的目标虚拟人脸模型，和第一真实人脸模型对应的原始人脸之间具有更高的相似度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种人脸重建方法进行详细介绍，本公开实施例所提供的人脸重建方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该人脸重建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的人脸重建方法加以说明。
参见图1所示，为本公开实施例提供的人脸重建方法的流程图，所述方法包括步骤S101～S103，其中：
S101：基于目标图像生成第一真实人脸模型；
S102：利用预先生成的多个第二真实人脸模型对第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
S103：基于多个第二真实人脸模型分别对应的目标系数、以及与多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与目标图像对应的目标虚拟人脸模型。
本公开实施例利用预先生成的多个真实人脸模型拟合第一真实人脸模型的过程，得到个第二真实人脸模型分别对应的目标系数，并将目标系数作为媒介，建立多个第二真实人脸模型于第一真实人脸模型之间的关联关系，然后利用该目标系数，以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。这种方法使得基于目标系数、以及虚拟人脸模型确定的目标虚拟人脸模型，既具有预设风格，又具有第一真实人脸模型对应的原始人脸的特征，所生成的目标虚拟人脸模型，和第一真实人脸模型对应的原始人脸之间具有更高的相似度。
下面对上述S101～S103加以详细说明。
针对上述S101，目标图像例如为获取的包括人脸的图像，或者在利用相机的拍摄设备对某一对象进行拍摄时获取的包括人脸的图像，且图像中包括的任一张人脸均可以作为原始人脸。
具体地，在将本公开实施例提供的人脸重建方法应用于不同的场景下时，目标图像的获取方法也有所区别。
例如，在将该人脸重建方法应用于游戏中的情况下，可以通过游戏设备中安装的图像获取设备获取包括了游戏玩家人脸的图像、或者从游戏设备中的相册中选择包括了游戏玩家人脸的图像、并将获取的包括了游戏玩家人脸的图像作为目标图像。
又例如，在将人脸重建方法应用于手机等终端设备的情况下，可以由终端设备的摄像头采集包括用户人脸的图像，或者从终端设备的相册中选择包括了用户人脸的图像、或者从终端设备中安装的其他应用程序中接收包括用户人脸的图像。
又例如，在将人脸重建方法应用于直播场景下，可以从直播设备获取的视频流中包括的多帧视频帧图像中，确定包含人脸的视频帧图像；并将包含人脸的视频帧图像作为目标图像。此处，目标图像例如可以有多帧；多帧目标图像例如可以是对视频流进行采样获得。
在基于目标图像生成第一真实人脸模型时，例如可以采用下述方式：获取包括原始人脸的目标图像；对目标图像中包括的原始人脸进行三维人脸重建，得到第一真实人脸模型。
此处，在对目标图像中包括的原始人脸进行三维人脸重建时，例如可以采用三维可变形人脸模型(3Dimensions Morphable Models，3DMM)得到原始人脸对应的第一真实人脸模型。其中，第一真实人脸模型例如包括目标图像中原始人脸的多个关键点中每个关键点在预设的相机坐标系中位置信息。
针对上述S102，第二真实人脸模型，是基于包括参考人脸的参考图像生成的。其中，所述参考图像中，不同参考图像中的参考人脸可以不同；示例性的，可以确定性别、年龄、肤色、胖瘦程度等中至少一项不同的多个人，针对多个人中的每个人，获取每个人的人脸图像，并将获取的人脸图像作为参考图像。这样，基于参考图像获取的第二真实人脸模型，能够尽量覆盖到较为广泛的人脸外形特征。
其中，参考人脸例如包括N个不同个体对象对应的人脸，(N为大于1的整数)。在获取多张包括参考人脸的参考图像的情况下，示例性的，可以通过对N个不同个体对象分别进行拍摄，得到分别对应于N个不同个体对象的N张照片，且每张照片均对应一个参考人脸，将此N张照片作为参考图像；或者，从多张预先拍摄好的包括不同人脸的图像中，确定N张参考图像。
示例性的，生成多个第二真实人脸模型的方法包括：获取多张包括参考人脸的参考图像；针对多张参考图像中的每张参考图像，对每张参考图像中包括的参考人脸进行三维人脸重建，得到每张参考图像对应的第二真实人脸模型。
其中，对参考人脸进行三维人脸重建的方法，与上述对原始人脸进行三维人脸重建的方法类似，在此不再赘述。所得到的第二真实人脸模型，包括参考图像中参考人脸的多个关键点中每个关键点在预设的相机坐标系中位置信息。此处，该第二真实人脸模型的坐标系和第一真实人脸模型的坐标系可以为同一坐标系。
在利用预先生成的多个第二真实人脸模型对第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数时，例如可以采用下述方式：对多个第二真实人脸模型以及第一真实人脸模型进行最小二乘处理，得到多个第二真实人脸模型分别对应的目标系数。
示例性的，在预先生成N个第二真实人脸模型的情况下，可以将第一真实人脸模型对应的模型数据表示为Da，将N个第二真实人脸模型分别对应的模型数据表示为Dbi(i∈[1，N])，其中，Dbi表示N个第二真实人脸模型中的第i个第二真实人脸模型。
利用Da对Db1至DbN中的每一项进行最小二乘处理，可以得到N个拟合值，表示为αi(i∈[1,N])。其中，αi表征第i个第二真实人脸模型对应的拟合值。利用N个拟合值，可以确定目标系数Alpha，例如可以用系数矩阵表示，也即Alpha＝[α1,α2,…,αN]。
此处，在通过第二真实人脸模型拟合第一真实人脸模型的过程中，要使得通过目标系数对第二真实人脸模型进行加权求和后得到的数据，与第一真实人脸模型的数据尽可能的接近。
该目标系数，又可视为利用多个第二真实人脸模型表达第一真实人脸模型时，每个第二真实人脸模型的表达系数。也即利用多个第二真实人脸模型分别在表达系数中对应的拟合值，可以将第二真实人脸模型向第一真实人脸模型进行转化拟合。
针对上述S103，预设风格例如可以为卡通风格、古代风格或抽象风格等，具体可以根据实际的需要进行设定。示例性的，针对预设风格为卡通风格的情况，具有预设风格的虚拟人脸模型例如可以为具有某种卡通风格的虚拟人脸模型。
其中，获取与多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型的方法例如包括下述(a1)和(a2)中至少一种：
(a1)、以获取一个第二真实人脸模型对应的虚拟人脸模型为例，可以基于参考图像设计制作与具有参考人脸特征的、且具有预设风格的虚拟人脸图像，并对虚拟人脸图像中的虚拟人脸进行三维建模，得到虚拟人脸图像中虚拟人脸的骨骼数据以及蒙皮数据。
其中，骨骼数据包括：为虚拟人脸预设的多个骨骼在预设坐标系中的骨骼旋转数据、骨骼缩放数据、以及骨骼位置数据。此处，多个骨骼例如可以进行多层级的划分；例如包括根骨骼、五官骨骼、五官细节骨骼；其中五官骨骼可以包括：眉骨骼、鼻骨骼、颧骨骨骼、下颌骨骼、嘴骨骼等；五官细节骨骼例如又可以将不同的五官骨骼再进行进一步的详细划分。具体的可以根据不同风格的虚拟图像需求进行设定，在此不做限定。
蒙皮数据包括：虚拟人脸的表面中多个位置点在预设坐标系中的位置信息、以及每个位置点与多个骨骼中至少一个骨骼的关联关系信息。
将对虚拟人脸图像中的虚拟人脸进行三维建模得到的虚拟模型作为第二真实人脸模型对应的虚拟人脸模型。
(a2)、预先生成一具有预设风格的标准虚拟人脸模型。该标准虚拟人脸模型同样包括标准骨骼数据、标准蒙皮数据、以及标准骨骼数据与标准蒙皮数据之间的关联关系。基于参考人脸，对标准虚拟人脸模型中的标准骨骼数据做设计修改，以使设计修改后的标准虚拟人脸模型在具有预设风格的同时，还包括了参考图像中参考人脸的特征；然后，基于标准骨骼数据与标准蒙皮数据之间的关联关系，对标准蒙皮数据进行调整，同时还可以为标准蒙皮数据添加参考人脸所具有的特征信息，基于修改后的标准骨骼数据和修改后的标准蒙皮数据，生成第二真实人脸模型对应的虚拟人脸模型。
此处，虚拟人脸模型的具体数据表示可以参见上述(a1)所示，在此不再赘述。
参见图2所示，本公开实施例还提供了一种基于多个第二真实人脸模型分别对应的目标系数、以及与多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型的骨骼数据，生成与目标图像对应的目标虚拟人脸模型的方法，包括：
S201：基于多个第二真实人脸模型分别对应的目标系数、及多个虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据。
其中，多个虚拟人脸模型分别对应的骨骼数据包括以下至少一种数据：虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据。
在一种可能的实施方式中，可以基于多个第二真实人脸对应的目标系数，对多个虚拟人脸模型分别对应的骨骼数据进行插值处理，得到目标骨骼数据。得到的目标骨骼数据包括以下至少一种：目标骨骼位置数据、目标骨骼缩放数据、以及目标骨骼旋转数据。
其中，目标骨骼位置数据，例如包括骨骼的中心点在模型坐标系中的三维坐标值；目标骨骼缩放数据例如包括目标骨骼相对于标准虚拟人脸模型中骨骼的缩放比例；目标骨骼旋转数据例如包括骨骼的轴线在模型坐标系中的旋转角度。
示例性的，在基于多个第二真实人脸模型分别对应的目标系数、及多个虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据时，例如可以采用下述b1～b3中至少一项：
(b1)、基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到目标骨骼位置数据。
(b2)、基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到目标骨骼缩放数据。
(b3)、将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；基于多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到目标骨骼旋转数据。
在具体实施中，针对上述方法(b1)以及(b2)，在获取骨骼位置数据、及骨骼缩放数据的情况下，还包括基于多个第二真实人脸模型确定各层级骨骼、及各层级骨骼分别对应的局部坐标系。其中，在对人脸模型进行骨骼层级分层的情况下，例如可以直接按照生物学骨骼分层方法确定骨骼层级，也可以根据人脸重建的要求确定骨骼层级，具体的分层方法可以根据实际情况确定，在此不再赘述。
在确定各个骨骼层级后，即可基于各个骨骼层级建立每个骨骼层级对应的骨骼坐标系。示例性的，可以将各层级表示为Bonei。
此时，骨骼位置数据可以包括虚拟人脸模型中的各层级骨骼Bonei分别在对应的骨骼坐标系下的三维坐标值；骨骼缩放数据可以包括虚拟人脸模型中的各层级骨骼Bonei分别在对应的骨骼坐标系下，用于表征骨骼缩放程度的百分比，例如为80％、90％、及100％。
在一种可能的实施方式中，将第i个虚拟人脸模型对应的骨骼位置数据表示为Posi、对应的骨骼缩放数据表示为Scalingi。此时，骨骼位置数据Posi包含多个层级骨骼分别对应的骨骼位置数据，且骨骼缩放数据Scalingi包含多个层级骨骼分别对应的骨骼缩放数据。
此时对应的目标系数为ai。在基于M个第二真实人脸模型对应的目标系数，对M个虚拟人脸模型对应的位置骨骼数据Posi进行插值处理，得到目标骨骼位置数据。
示例性的，例如可以将目标系数作为各个虚拟人脸模型对应的权重，对虚拟人脸模型对应的位置骨骼数据Posi进行加权求和处理，实现插值处理的过程。此时，目标骨骼位置数据Posnew满足下述公式(1)：
Figure BDA0002798860360000161
类似的，在基于M个第二真实人脸模型对应的目标系数，对M个虚拟人脸模型对应的骨骼缩放数据，表示为Scalingi，可以将M个第二真实人脸模型分别对应的目标系数，作为对应虚拟人脸模型的权重，对M个虚拟人脸模型分别对应的骨骼缩放数据进行加权求和处理，以实现对M个虚拟人脸模型进行插值处理；在该种情况下，目标骨骼缩放数据Scalingnew满足下述公式(2)：
Figure BDA0002798860360000162
针对上述方法(b3)，骨骼旋转数据可以包括虚拟人脸模型中的各个骨骼分别在对应的骨骼坐标系下，用于表征骨骼的旋转坐标变换程度的向量值，包含旋转轴和旋转角。在一种可能的实施方式中，将第i个虚拟人脸模型对应的骨骼旋转数据表示为Transi。由于骨骼旋转数据钟包含的旋转角存在万向节死锁的问题，故将骨骼旋转数据转换为四元数数据，并且对四元数数据正则化，得到正则化四元数数数据，表示为Trans'i，以防止直接对四元数数据进行加权求和处理时产生过拟合的现象。
在基于M个第二真实人脸模型对应的目标系数，对M个虚拟人脸模型对应的正则化四元数数据Trans'i进行插值处理时，也可以将M个第二真实人脸模型对应的目标系数作为权重，对M个虚拟人脸模型对应的正则化四元数数据进行加权求和；在该种情况下，目标骨骼旋转数据Transnew满足下述公式(3)：
Figure BDA0002798860360000163
基于上述(b1)、(b2)、以及(b3)中得到的目标骨骼位置数据Posnew、目标骨骼缩放数据Scalingnew、及目标骨骼旋转数据Transnew，即可确定目标骨骼数据，表示为Bonenew。示例性的，可以将目标骨骼数据以向量形式表示为(Posnew,Scalingnew,Transnew)。
承接上述S201，生成目标图像对应的目标虚拟人脸模型的方法，还包括：
S202：基于目标骨骼数据，生成目标虚拟人脸模型。
参见图3所示，为本公开实施例提供的一种基于目标骨骼数据生成与第一真实人脸模型对应的目标虚拟人脸模型的具体方法，包括：
S301：基于目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对标准蒙皮数据进行位置变换处理，生成目标蒙皮数据；
S302：基于目标骨骼数据、以及目标蒙皮数据，构成目标虚拟人脸模型。
其中，标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系例如为各层级骨骼对应的标准骨骼数据与标准蒙皮数据之间的关联关系。基于此关联关系，即可将蒙皮绑定在虚拟人脸模型中的骨骼上。
利用目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，可以对多个层级骨骼对应位置的蒙皮数据进行位置变换处理，以使生成的目标蒙皮数据中对应层级骨骼的位置可以与对应的目标骨骼数据中位置相符。
此处，标准虚拟人脸模型中骨骼数据与标准蒙皮数据之间的关联关系，包括：标准蒙皮变形数据中的各个位置点在模型坐标系中的坐标值，与骨骼的骨骼位置数据、骨骼缩放数据、以及骨骼旋转数据中至少一项之间的关联关系。
在利用目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，可以对多个层级骨骼对应位置的蒙皮数据进行位置变换处理时，在目标骨骼数据确定的情况下，也即在目标骨骼的目标骨骼位置数据、目标骨骼缩放数据、以及目标骨骼旋转数据中至少一项确定的情况下，可以利用上述关联关系，确定在骨骼从标准骨骼数据变换至目标骨骼数据后，标准蒙皮数据中的各个位置点在模型坐标系下的新的坐标值，从而基于标准蒙皮数据中的各个位置点在模型坐标系下的新的坐标值，得到目标虚拟人脸的目标蒙皮数据。
利用目标骨骼数据，可以确定用于构建目标虚拟人脸模型的各层级骨骼；且利用目标蒙皮数据，可以确定将模型绑定至骨骼上的蒙皮，从而构成目标虚拟人脸模型。
其中，确定目标虚拟人脸模型的方式可以为基于目标骨骼数据、及目标蒙皮数据直接建立目标虚拟人脸模型；或者，也可以利用各层级骨骼对应的目标骨骼数据替换第一真实人脸模型中对应的各层级骨骼数据，再利用目标蒙皮数据建立目标虚拟人脸模型。具体建立目标虚拟人脸模型的方法可以按照实际情况确定，在此不再赘述。
本公开实施例还提供了一种利用本公开实施例提供的人脸重建方法，对获取目标图像PicA中的原始人脸A对应的目标虚拟人脸模型ModAim的具体过程的说明。
确定目标虚拟人脸模型ModAim的步骤包括下述(c1)～(c5)：
(c1)、准备素材；其中，准备素材包括：对标准虚拟人脸模型的素材准备、以及对虚拟图片的素材准备。
在准备标准虚拟人脸模型的素材时，以选取卡通风格作为预设风格为例，首先设置一个卡通风格的标准虚拟人脸模型ModBase。
在准备虚拟图片的素材时，收集24张虚拟图片Pic1～Pic24；收集的24张虚拟图片中的虚拟人脸B1～B24对应的男生、女生的数量均衡，并且尽可能包含较广泛的五官特征分布。
(c2)、人脸模型重建；其中，人脸模型重建包括：利用目标图像PicA中原始人脸A生成第一真实人脸模型Modfst、以及利用虚拟图片中的虚拟人脸B1～B24生成第二真实人脸模型Modsnd-1～Modsnd-24。
在确定原始人脸A生成第一真实人脸模型Modfst时，首先对目标图像中的人脸进行转正剪裁，然后利用预先训练好的RGB重建神经网络，生成原始人脸A对应的第一真实人脸模型Modfst。同样的，利用预先训练好的RGB重建神经网络，可以确定虚拟人脸B1～B24分别对应的第二真实人脸模型Modsnd-1～Modsnd-24。
在确定第二真实人脸模型Modsnd-1～Modsnd-24后，还包括：利用预设的风格，利用人工调整的方式，确定第二真实人脸模型Modsnd-1～Modsnd-24分别对应的具有预设风格的虚拟人脸模型Modfic-1～Modfic-24。
(c3)、拟合处理；其中，拟合包括：利用多个第二真实人脸模型对第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数alpha＝[alphasnd-1,alphasnd-2，…,alphasnd-24]。
在利用多个第二真实人脸模型对第一真实人脸模型进行拟合时，选取最小二乘法的方法进行拟合，得到24维系数alpha。
(c4)、确定目标骨骼数据；其中，在确定目标骨骼数据时，还包括下述(c4-1)以及(c4-2)。
(c4-1)、读取骨骼数据；其中，骨骼数据包括：在各层级骨骼Bonei下具有预设风格的虚拟人脸模型Modfic-1～Modfic-24分别对应的骨骼位置数据Posi、骨骼缩放数据Scalingi、以及骨骼旋转数据Transi。
(c4-2)、利用目标系数alpha对预设风格的虚拟人脸模型Modfic-1～Modfic-24分别对应的骨骼数据进行差值处理，生成目标骨骼数据Bonenew，包括目标骨骼位置数据Posnew、目标骨骼缩放数据Scalingnew、及目标骨骼旋转数据Transnew。
(c5)、生成目标虚拟人脸模型。
利用目标骨骼数据确定用于构建目标虚拟人脸模型的各层级骨骼，将目标骨骼数据替换至标准虚拟人脸模型ModBase中，并利用目标蒙皮数据，可以确定将模型绑定至骨骼上的蒙皮，然后利用预先确定的标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，生成与第一真实人脸模型对应的目标虚拟人脸模型。
参见图4所示，为本公开实施例提供的在上述具体示例包含的多个过程中使用的具体数据的示例。其中，图4中a表示目标图像，41表示原始人脸A；图4中b表示卡通风格的标准虚拟人脸模型的示意图；图4中c表示生成的与第一真实人脸模型对应的目标虚拟人脸模型的示意图。
此处，值得注意的是，上述(c1)～(c5)仅是完成人脸重建方法一个具体示例，不对本公开实施例提供的人脸重建方法造成限定。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与人脸重建方法对应的人脸重建装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述人脸重建方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种人脸重建装置的示意图，所述装置包括：第一生成模块51、处理模块52、及第二生成模块53；其中，
第一生成模块51，用于基于目标图像生成第一真实人脸模型；
处理模块52，用于利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
第二生成模块53，用于基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。
一种可选的实施方式中，所述第二生成模块53在基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型时，用于：基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据；基于所述目标骨骼数据，生成所述目标虚拟人脸模型。
一种可选的实施方式中，所述第二生成模块53在基于所述目标骨骼数据，生成所述目标虚拟人脸模型时，用于：基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对标准蒙皮数据进行位置变换处理，生成目标蒙皮数据；基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
一种可选的实施方式中，所述虚拟人脸模型的骨骼数据包括以下至少一种数据：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据；所述目标骨骼数据包括以下至少一种数据：所述目标骨骼位置数据、目标骨骼缩放数据、以及所述目标骨骼旋转数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼位置数据，所述第二生成模块53在基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到所述目标骨骼位置数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼缩放数据，所述第二生成模块53在基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据时，用于：基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到所述目标骨骼缩放数据。
一种可选的实施方式中，所述目标骨骼数据包括所述目标骨骼旋转数据，所述第二生成模块53在基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据时，用于：将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到所述目标骨骼旋转数据。
一种可选的实施方式中，所述第一生成模块51在基于目标图像生成第一真实人脸模型时，用于：获取包括原始人脸的目标图像；对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
一种可选的实施方式中，所述处理模块52根据以下方式生成多个第二真实人脸模型：获取多张包括参考人脸的参考图像；针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
一种可选的实施方式中，所述处理模块52利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数时，用于：对多个所述第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图6所示，为本公开实施例提供的计算机设备结构示意图，包括：
处理器61和存储器62；所述存储器62存储有处理器61可执行的机器可读指令，处理器61用于执行存储器62中存储的机器可读指令，所述机器可读指令被处理器61执行时，处理器61执行下述步骤：
基于目标图像生成第一真实人脸模型；利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。
上述存储器62包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的人脸重建方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的人脸重建方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的人脸重建方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种人脸重建方法，其特征在于，包括：
基于目标图像生成第一真实人脸模型；
利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。
2.根据权利要求1所述的人脸重建方法，其特征在于，所述基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型，包括：
基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据；
基于所述目标骨骼数据，生成所述目标虚拟人脸模型。
3.根据权利要求2所述的人脸重建方法，其特征在于，所述基于所述目标骨骼数据，生成所述目标虚拟人脸模型，包括：
基于所述目标骨骼数据、以及标准虚拟人脸模型中标准骨骼数据与标准蒙皮数据之间的关联关系，对标准蒙皮数据进行位置变换处理，生成目标蒙皮数据；
基于所述目标骨骼数据、以及所述目标蒙皮数据，构成所述目标虚拟人脸模型。
4.根据权利要求2或3所述的人脸重建方法，其特征在于，所述虚拟人脸模型的骨骼数据包括以下至少一种数据：所述虚拟人脸的多块人脸骨骼中每块人脸骨骼对应的骨骼旋转数据、骨骼位置数据、骨骼缩放数据；
所述目标骨骼数据包括以下至少一种数据：所述目标骨骼位置数据、目标骨骼缩放数据、以及所述目标骨骼旋转数据。
5.根据权利要求4所述的人脸重建方法，其特征在于，所述目标骨骼数据包括所述目标骨骼位置数据，所述基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据，包括：
基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼位置数据进行插值处理，得到所述目标骨骼位置数据。
6.根据权利要求4或5所述的人脸重建方法，其特征在于，所述目标骨骼数据包括所述目标骨骼缩放数据，所述基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据，包括：
基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的骨骼缩放数据进行插值处理，得到所述目标骨骼缩放数据。
7.根据权利要求4-6任一项所述的人脸重建方法，其特征在于，所述目标骨骼数据包括所述目标骨骼旋转数据，所述基于所述多个第二真实人脸模型分别对应的目标系数、及多个所述虚拟人脸模型分别对应的骨骼数据，确定目标骨骼数据，包括：
将所述多个虚拟人脸模型分别对应的骨骼旋转数据转换为四元数数据，并对所述四元数数据进行正则化处理，得到正则化四元数数据；
基于所述多个第二真实人脸模型分别对应的目标系数，对多个虚拟人脸模型分别对应的正则化四元数数据进行插值处理，得到所述目标骨骼旋转数据。
8.根据权利要求1-7任一所述的人脸重建方法，其特征在于，所述基于目标图像生成第一真实人脸模型，包括：
获取包括原始人脸的目标图像；
对所述目标图像中包括的所述原始人脸进行三维人脸重建，得到所述第一真实人脸模型。
9.根据权利要求1-8任一所述的人脸重建方法，其特征在于，根据以下方式生成多个第二真实人脸模型：
获取多张包括参考人脸的参考图像；
针对多张所述参考图像中的每张参考图像，对所述每张参考图像中包括的参考人脸进行三维人脸重建，得到所述每张参考图像对应的第二真实人脸模型。
10.根据权利要求1-9任一项所述的人脸重建方法，其特征在于，所述利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数，包括：
对多个所述第二真实人脸模型以及所述第一真实人脸模型进行最小二乘处理，得到所述多个第二真实人脸模型分别对应的目标系数。
11.一种人脸重建装置，其特征在于，包括：
第一生成模块，用于基于目标图像生成第一真实人脸模型；
处理模块，用于利用预先生成的多个第二真实人脸模型对所述第一真实人脸模型进行拟合处理，得到多个第二真实人脸模型分别对应的目标系数；
第二生成模块，用于基于所述多个第二真实人脸模型分别对应的目标系数、以及与所述多个第二真实人脸模型分别对应的具有预设风格的虚拟人脸模型，生成与所述目标图像对应的目标虚拟人脸模型。
12.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至10任一项所述的人脸重建方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至10任一项所述的人脸重建方法的步骤。
CN202011342169.7A 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质 Active CN112419485B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011342169.7A CN112419485B (zh) 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质
JP2022519295A JP2023507862A (ja) 2020-11-25 2021-06-25 顔再構築方法、装置、コンピュータデバイス、及び記憶媒体
PCT/CN2021/102404 WO2022110790A1 (zh) 2020-11-25 2021-06-25 重建人脸的方法、装置、计算机设备及存储介质
KR1020237021453A KR20230110607A (ko) 2020-11-25 2021-06-25 얼굴 재구성 방법, 장치, 컴퓨터 기기 및 저장 매체
TW110127359A TWI778723B (zh) 2020-11-25 2021-07-26 重建人臉的方法、裝置、電腦設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011342169.7A CN112419485B (zh) 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112419485A true CN112419485A (zh) 2021-02-26
CN112419485B CN112419485B (zh) 2023-11-24

Family

ID=74843538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011342169.7A Active CN112419485B (zh) 2020-11-25 2020-11-25 一种人脸重建方法、装置、计算机设备及存储介质

Country Status (5)

Country Link
JP (1) JP2023507862A (zh)
KR (1) KR20230110607A (zh)
CN (1) CN112419485B (zh)
TW (1) TWI778723B (zh)
WO (1) WO2022110790A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078184A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114529640A (zh) * 2022-02-17 2022-05-24 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
WO2022110791A1 (zh) * 2020-11-25 2022-06-02 北京市商汤科技开发有限公司 重建人脸的方法、装置、计算机设备及存储介质
WO2022110790A1 (zh) * 2020-11-25 2022-06-02 北京市商汤科技开发有限公司 重建人脸的方法、装置、计算机设备及存储介质
CN115187822A (zh) * 2022-07-28 2022-10-14 广州方硅信息技术有限公司 人脸图像数据集分析方法、直播人脸图像处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029768A1 (zh) * 2014-08-29 2016-03-03 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN109395390A (zh) * 2018-10-26 2019-03-01 网易（杭州）网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN110111247A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
CN110111417A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备
CN110400369A (zh) * 2019-06-21 2019-11-01 苏州狗尾草智能科技有限公司 一种人脸重建的方法、***平台及存储介质
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN111695471A (zh) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
US20200302668A1 (en) * 2018-02-09 2020-09-24 Tencent Technology (Shenzhen) Company Limited Expression animation data processing method, computer device, and storage medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101696007B1 (ko) * 2013-01-18 2017-01-13 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
JP6207210B2 (ja) * 2013-04-17 2017-10-04 キヤノン株式会社 情報処理装置およびその方法
CN104851123B (zh) * 2014-02-13 2018-02-06 北京师范大学 一种三维人脸变化模拟方法
US11127163B2 (en) * 2015-06-24 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Skinned multi-infant linear body model
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111710035B (zh) * 2020-07-16 2023-11-07 腾讯科技（深圳）有限公司 人脸重建方法、装置、计算机设备及存储介质
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029768A1 (zh) * 2014-08-29 2016-03-03 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
US20200302668A1 (en) * 2018-02-09 2020-09-24 Tencent Technology (Shenzhen) Company Limited Expression animation data processing method, computer device, and storage medium
CN109395390A (zh) * 2018-10-26 2019-03-01 网易（杭州）网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN110111247A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
CN110111417A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备
CN110400369A (zh) * 2019-06-21 2019-11-01 苏州狗尾草智能科技有限公司 一种人脸重建的方法、***平台及存储介质
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN111695471A (zh) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
署光等: "基于稀疏形变模型的三维卡通人脸生成", 《电子学报》 *
署光等: "基于稀疏形变模型的三维卡通人脸生成", 《电子学报》, no. 08, 31 August 2010 (2010-08-31), pages 1798 - 1802 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110791A1 (zh) * 2020-11-25 2022-06-02 北京市商汤科技开发有限公司 重建人脸的方法、装置、计算机设备及存储介质
WO2022110790A1 (zh) * 2020-11-25 2022-06-02 北京市商汤科技开发有限公司 重建人脸的方法、装置、计算机设备及存储介质
CN114078184A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114529640A (zh) * 2022-02-17 2022-05-24 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN114529640B (zh) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN115187822A (zh) * 2022-07-28 2022-10-14 广州方硅信息技术有限公司 人脸图像数据集分析方法、直播人脸图像处理方法及装置

Also Published As

Publication number Publication date
JP2023507862A (ja) 2023-02-28
CN112419485B (zh) 2023-11-24
TWI778723B (zh) 2022-09-21
KR20230110607A (ko) 2023-07-24
WO2022110790A1 (zh) 2022-06-02
TW202221652A (zh) 2022-06-01

Similar Documents

Publication Publication Date Title
CN112419454A (zh) 一种人脸重建方法、装置、计算机设备及存储介质
CN112419485A (zh) 一种人脸重建方法、装置、计算机设备及存储介质
WO2020192568A1 (zh) 人脸图像生成方法、装置、设备及存储介质
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
WO2021253788A1 (zh) 一种人体三维模型构建方法及装置
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
JP2013524357A (ja) ビデオ・シーケンスに記録された現実エンティティのリアルタイムのクロッピングの方法
CN111784821A (zh) 三维模型生成方法、装置、计算机设备及存储介质
WO2013078404A1 (en) Perceptual rating of digital image retouching
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN111652987A (zh) 一种ar合影图像生成的方法及装置
CN112419144A (zh) 人脸图像的处理方法、装置、电子设备及存储介质
CN114333034A (zh) 人脸姿态估计方法、装置、电子设备及可读存储介质
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
CN114529640B (zh) 一种运动画面生成方法、装置、计算机设备和存储介质
WO2022110855A1 (zh) 人脸重建方法、装置、计算机设备及存储介质
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
CN114359453A (zh) 一种三维特效渲染方法、装置、存储介质及设备
CN114612614A (zh) 人体模型的重建方法、装置、计算机设备及存储介质
CN115393487A (zh) 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN110446091A (zh) 一种虚拟观众显示方法、***、装置和存储介质
CN115550563A (zh) 视频处理方法、装置、计算机设备和存储介质
CN114677476A (zh) 一种脸部处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40040545

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant