JP2023507863A - Face reconstruction method, apparatus, computer device, and storage medium - Google Patents

Face reconstruction method, apparatus, computer device, and storage medium Download PDF

Info

Publication number
JP2023507863A
JP2023507863A JP2022520004A JP2022520004A JP2023507863A JP 2023507863 A JP2023507863 A JP 2023507863A JP 2022520004 A JP2022520004 A JP 2022520004A JP 2022520004 A JP2022520004 A JP 2022520004A JP 2023507863 A JP2023507863 A JP 2023507863A
Authority
JP
Japan
Prior art keywords
face
target
data
real
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022520004A
Other languages
Japanese (ja)
Inventor
勝偉 徐
権 王
晨 銭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2023507863A publication Critical patent/JP2023507863A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Electric Double-Layer Capacitors Or The Like (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本発明では、顔再構築方法、装置、コンピュータデバイス、及び記憶媒体が提案されており、かかる方法は、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成するステップと、目標骨格データ及び目標スキン変形係数に基づいて、第１実顔モデルに対応する目標仮想顔モデルを生成するステップと、を含む。【選択図】図１The present invention proposes a face reconstruction method, apparatus, computing device and storage medium, comprising the steps of generating a first real face model based on a target image; obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing fitting processing of the first real face model using the two real face models; and a virtual face model corresponding to each of the plurality of second real face models and having a preset style, generating target skeleton data and target skin deformation coefficients; generating a target virtual face model corresponding to the first real face model based on the data and the target skin deformation coefficients. [Selection drawing] Fig. 1

Description

本発明は、画像処理の技術分野に関し、具体的には、顔再構築方法、装置、コンピュータデバイス、及び記憶媒体に関する。 The present invention relates to the technical field of image processing, and in particular to a face reconstruction method, apparatus, computer device and storage medium.

通常、実顔や自分の好みに基づいて仮想的な顔３次元モデルを確立して顔の再構築を実現できるということは、ゲーム、アニメ、仮想ソーシャル等の分野で広く適用されている。例えば、ゲームでは、ゲームプログラムが提供する顔再構築システムは、プレイヤーから提供された画像に含まれる実顔に基づいて仮想的な顔３次元モデルを生成し、プレイヤーは、生成された仮想的な顔３次元モデルを利用し、より没入感を持ってゲームに参加することができる。 The ability to reconstruct a face by establishing a virtual three-dimensional face model based on a real face or one's own preferences is widely applied in fields such as games, animation, and virtual social networking. For example, in a game, a face reconstruction system provided by a game program generates a virtual three-dimensional face model based on a real face included in an image provided by a player, and the player can use the generated virtual Using a 3D face model, you can participate in the game with a more immersive feeling.

現在、人物画像における実顔に基づいて顔の再構築を行う場合には、一般的に、顔画像に基づいて顔輪郭特徴を抽出し、抽出した顔輪郭特徴を予め生成された仮想３次元モデルとマッチング・融合することで、実顔に対応する仮想的な顔３次元モデルを生成する。しかしながら、顔輪郭特徴と予め生成された仮想３次元モデルとのマッチング度が低いことから、生成された仮想的な顔３次元モデルと実顔画像との類似度が低い。 At present, when reconstructing a face based on a real face in a human image, generally, facial contour features are extracted based on the facial image, and the extracted facial contour features are converted to a pre-generated virtual three-dimensional model. By matching and fusing with , a virtual three-dimensional face model corresponding to the real face is generated. However, since the degree of matching between the facial contour features and the pre-generated virtual three-dimensional model is low, the degree of similarity between the generated virtual three-dimensional face model and the real face image is low.

本発明の実施例では、少なくとも顔再構築方法、装置、コンピュータデバイス、及び記憶媒体が提案されている。 Embodiments of the present invention propose at least a face reconstruction method, apparatus, computer device and storage medium.

本発明の実施例の第１態様により、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成するステップと、前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するステップと、を含む、顔再構築方法が提案されている。 According to a first aspect of an embodiment of the present invention, generating a first real face model based on a target image; and fitting said first real face model using a plurality of pre-generated second real face models. obtaining fitting coefficients corresponding to each of the plurality of second real face models; fitting coefficients corresponding to each of the plurality of second real face models; generating target skeletal data and target skin deformation coefficients based on a virtual face model corresponding to each model and having a preset style; and based on the target skeletal data and the target skin deformation coefficients, generating a target virtual face model corresponding to the first real face model.

この実施形態では、フィッティング係数を媒介として複数の第２実顔モデルと第１実顔モデルとの関連関係が確立され、この関連関係は、第２実顔モデルに基づいて確立された仮想顔モデルと第１実顔モデルに基づいて確立された目標仮想顔モデルとの関連を特徴付けることができる。また、目標スキン変形係数は、目標画像における顔スキンの変形の特徴を特徴付けることができ、例えば骨格が同じである場合、スキンによって特徴付けられる太り具合の差が存在する。フィッティング係数及び目標スキン変形係数に基づいて確立された目標仮想顔モデルは、予め設定されたスタイルと第１実顔モデルに対応する初期顔の特徴とを併せ持つのみならず、初期顔の太り具合の特徴を体現することもでき、さらに、生成された目標仮想顔モデルと第１実顔モデルに対応する初期顔との類似度が一層高くなる。 In this embodiment, a relationship between a plurality of second real face models and a first real face model is established via fitting coefficients, and the relationship is a virtual face model established based on the second real face model. and a target virtual face model established based on the first real face model. Also, the target skin deformation coefficients can characterize the deformation of the facial skin in the target image, eg, if the skeleton is the same, there is a difference in fatness characterized by the skin. The target virtual face model established based on the fitting coefficients and the target skin deformation coefficients not only has a preset style and the initial facial features corresponding to the first real face model, but also has the thickness of the initial face. Features can also be embodied, and the degree of similarity between the generated target virtual face model and the initial face corresponding to the first real face model is even higher.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標スキン変形係数を生成するステップは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成することを含む。 In an optional embodiment, a virtual face model having fitting coefficients corresponding to each of the plurality of second real face models and a preset style corresponding to each of the plurality of second real face models. The step of generating target skin deformation coefficients based on the target skin deformation coefficients based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models Including generating skin deformation coefficients.

この実施形態では、標準仮想顔モデルの標準スキンデータを基準とし、仮想顔モデルのスキン変形係数を決定した後、仮想顔モデルと目標仮想顔モデルとの関連関係を特徴付けるフィッティング係数に基づいて、目標仮想顔の目標スキン変形係数を決定することができる。このため、目標スキン変形係数に基づいて目標仮想顔のスキンデータをより正確に決定することができ、さらに、生成された目標仮想顔モデルと第１実顔モデルに対応する初期顔との類似度が一層高くなる。 In this embodiment, after determining the skin deformation coefficients of the virtual face model based on the standard skin data of the standard virtual face model, the target virtual face model is based on the fitting coefficients that characterize the relationship between the virtual face model and the target virtual face model. A target skin deformation coefficient for the virtual face can be determined. Therefore, the skin data of the target virtual face can be determined more accurately based on the target skin deformation coefficient, and the degree of similarity between the generated target virtual face model and the initial face corresponding to the first real face model is becomes even higher.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成することは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を正規化処理することと、正規化処理済みのフィッティング係数、及び前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて前記目標スキン変形係数を取得することと、を含む。 In an optional embodiment, the target skin deformation coefficients are generated based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models. performing normalization processing on the fitting coefficients corresponding to each of the plurality of second real face models; and based on the normalized fitting coefficients and the skin deformation coefficients included in each of the virtual face models. and obtaining the target skin deformation coefficients with.

この実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を正規化処理することにより、正規化処理済みのフィッティング係数、及び前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて目標スキン変形係数を取得する際に、データの表現が一層簡単になり、処理プロセスが簡素化し、これからのフィッティング結果による顔再構築の処理速度が向上する。 In this embodiment, by normalizing the fitting coefficients corresponding to each of the plurality of second real face models, the normalized fitting coefficients and the skin deformation coefficients included in each of the virtual face models are: When obtaining the target skin deformation coefficients based on it, the data representation is simpler, the processing process is simplified, and the processing speed of face reconstruction according to the future fitting results is improved.

選択的な一実施形態では、前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するステップは、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて前記標準スキンデータの位置変換処理を行うことで、中間スキンデータを生成するステップと、前記目標スキン変形係数に基づいて前記中間スキンデータの変形処理を行うことで、目標スキンデータを取得するステップと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを確立するステップと、を含む。 In an optional embodiment, generating a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients includes: generating intermediate skin data by performing a position transformation process on the standard skin data based on the relationship between the standard skeleton data and the standard skin data in the model; and the intermediate skin data based on the target skin deformation coefficient. and establishing the target virtual face model based on the target skeleton data and the target skin data.

この実施形態では、中間スキンデータを生成した後、目標スキン変形係数に基づいて中間スキンデータの変形処理を行い、それによって取得した目標スキンデータは、第１実顔モデルの外貌特徴を特徴付けるのみならず、第１実顔の太り具合を表すこともでき、生成された目標仮想顔モデルは、外貌の差のみならず、太り具合の差もあり、さらに、異なる目標仮想顔が生成された場合、第１実顔モデルに対応する初期顔との類似度が一層高くなる。 In this embodiment, after intermediate skin data is generated, deformation processing of the intermediate skin data is performed based on the target skin deformation coefficient, and the target skin data obtained thereby characterizes the appearance features of the first real face model. In addition, the degree of fatness of the first real face can be represented, and the generated target virtual face model has not only a difference in appearance but also a difference in fatness. The degree of similarity with the initial face corresponding to the first real face model is even higher.

選択的な一実施形態では、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つを含み、複数の前記仮想顔モデルのそれぞれに対応する骨格データは、仮想顔における複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つを含む。 In a selective embodiment, the target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data, and includes skeletons corresponding to each of the plurality of virtual face models. The data includes at least one of skeleton rotation data, skeleton position data, and skeleton scale data corresponding to each of a plurality of facial skeletons in the virtual face.

この実施形態では、骨格データによれば、複数の顔骨格のそれぞれに対応する骨格データをより精確に特徴付けることができ、目標骨格データによれば、目標仮想顔モデルをより精確に確立することができる。 In this embodiment, the skeleton data may more accurately characterize the skeleton data corresponding to each of the plurality of facial skeletons, and the target skeleton data may more accurately establish the target virtual face model. can.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成するステップは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することを含む。 In an optional embodiment, a virtual face model having fitting coefficients corresponding to each of the plurality of second real face models and a preset style corresponding to each of the plurality of second real face models. The step of generating target skeletal data based on the above is interpolating skeletal position data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. , obtaining the target skeleton position data.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成するステップは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することを含む。 In an optional embodiment, a virtual face model having fitting coefficients corresponding to each of the plurality of second real face models and a preset style corresponding to each of the plurality of second real face models. The step of generating target skeletal data is interpolating skeletal scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. , obtaining the target skeletal scale data.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成するステップは、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する前記正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、を含む。 In an optional embodiment, a virtual face model having fitting coefficients corresponding to each of the plurality of second real face models and a preset style corresponding to each of the plurality of second real face models. The step of generating target skeleton data based on the above includes converting skeleton rotation data corresponding to each of the plurality of virtual face models into quaternions, and normalizing the quaternions corresponding to each of the plurality of virtual face models. obtaining a normalized quaternion, and obtaining the normalized quaternion corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models; obtaining the target skeleton rotation data by interpolating the prime.

選択的な一実施形態では、目標画像に基づいて第１実顔モデルを生成するステップは、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、を含む。 In an optional embodiment, the step of generating a first real face model based on a target image includes obtaining a target image including an initial face; obtaining the first real face model by performing face reconstruction of .

この実施形態では、初期顔に対して３次元の顔再構築を行うことで取得した第１実顔モデルによれば、目標画像における初期顔の顔特徴をより正確かつ全面的に特徴付けることができる。 In this embodiment, the first real face model obtained by performing 3D face reconstruction on the initial face can more accurately and fully characterize the facial features of the initial face in the target image. .

選択的な一実施形態では、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる前記参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、複数の前記第２実顔モデルを予め生成する。 In an optional embodiment, a plurality of reference images including reference faces are obtained, and for each of the plurality of reference images, 3D face reconstruction is performed with respect to the reference faces included in the reference images. and acquiring the second real face models corresponding to the reference image, thereby generating a plurality of the second real face models in advance.

この実施形態では、複数枚の参照画像を利用して、できるだけ広範な顔の外形特徴をカバーすることができるため、複数枚の参照画像のそれぞれに基づいて３次元の顔再構築を行うことで取得した第２実顔モデルは同様に、できるだけ広範な顔の外形特徴をカバーすることができる。 In this embodiment, a plurality of reference images can be used to cover as wide a range of facial features as possible. The obtained second real face model can also cover as wide a range of facial features as possible.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれについて、前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する中間仮想顔モデルを生成し、標準仮想顔モデルに対する複数組の予め設定されたスキン変形係数に基づいて、前記第２実顔モデルに対応する仮想顔モデルの前記標準仮想顔モデルに対するスキン変形係数を生成し、前記スキン変形係数を利用して前記中間仮想顔モデルにおける中間スキンデータを調整し、調整済みの中間スキンデータ、及び前記中間仮想顔モデルの中間骨格データに基づいて前記第２実顔モデルのそれぞれの仮想顔モデルを生成する、ことにより、前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する仮想顔モデルを取得することをさらに含む。 In an optional embodiment, for each of the plurality of second real face models, an intermediate virtual face model corresponding to the second real face model and having a preset style is generated; generating skin deformation coefficients of a virtual face model corresponding to the second real face model with respect to the standard virtual face model based on a plurality of sets of preset skin deformation coefficients; adjusting intermediate skin data in a virtual face model and generating virtual face models for each of said second real face models based on adjusted intermediate skin data and intermediate skeleton data of said intermediate virtual face models; Further comprising obtaining a virtual face model corresponding to the second real face model and having a preset style.

この実施形態では、スキン変形係数を利用して第２実顔モデルに対応する中間仮想顔モデルの中間スキンデータを調整することにより、生成された仮想顔モデルは、予め設定されたスタイル及び第２実顔モデルの外貌特徴を有するのみならず、第２実顔モデルに対応する参照顔の太り具合を特徴付けることもでき、さらに、仮想顔モデルとそれに対応する参照顔との類似度が一層高くなる。 In this embodiment, by adjusting the intermediate skin data of the intermediate virtual face model corresponding to the second real face model using the skin deformation coefficients, the generated virtual face model has the preset style and the second It not only has the appearance features of the real face model, but also can characterize the plumpness of the reference face corresponding to the second real face model, and the similarity between the virtual face model and its corresponding reference face is higher. .

選択的な一実施形態では、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップは、前記複数の第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することを含む。 In an alternative embodiment, a plurality of second real face models generated in advance are used to perform the fitting process of the first real face model, thereby performing fitting corresponding to each of the plurality of second real face models. In the step of obtaining coefficients, fitting coefficients corresponding to each of the plurality of second real face models are obtained by performing least-squares processing on the plurality of second real face models and the first real face model. including doing

この実施形態では、フィッティング係数によれば、複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行う際のフィッティング状況を正確に特徴付けることができる。 In this embodiment, the fitting coefficients can accurately characterize the fitting situation when fitting a first real face model using a plurality of second real face models.

本発明の実施例の第２態様により、目標画像に基づいて第１実顔モデルを生成するように構成される第１生成モジュールと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される処理モジュールと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成するように構成される第２生成モジュールと、前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するように構成される第３生成モジュールと、を含む、顔再構築装置が提案されている。 According to a second aspect of an embodiment of the present invention, using a first generation module configured to generate a first real face model based on a target image and a plurality of pre-generated second real face models: a processing module configured to obtain fitting coefficients corresponding to each of a plurality of second real face models by performing fitting processing of the first real face model; and each of the plurality of second real face models. and a virtual face model corresponding to each of the plurality of second real face models and having a preset style, generating target skeleton data and target skin deformation coefficients. and a third generation module configured to generate a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients. , proposed a face reconstructor.

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標スキン変形係数を生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成することに用いられる。 In an optional embodiment, the second generating module generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset Fitting coefficients corresponding to each of the plurality of second real face models and skin deformation included in each of the plurality of virtual face models when generating target skin deformation coefficients based on the virtual face model with style Based on the coefficients, it is used to generate the target skin deformation coefficients.

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を正規化処理することと、正規化処理済みのフィッティング係数、及び前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて前記目標スキン変形係数を取得することと、に用いられる。 In an optional embodiment, the second generating module, based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models, normalizing fitting coefficients corresponding to each of the plurality of second real face models when generating the target skin deformation coefficients; and obtaining the target skin deformation coefficients based on the included skin deformation coefficients.

選択的な一実施形態では、前記第３生成モジュールは、前記目標骨格データ及び前記目標スキン変形係数に基づいて前記第１実顔モデルに対応する目標仮想顔モデルを生成する際に、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて前記標準スキンデータの位置変換処理を行うことで、中間スキンデータを生成することと、前記目標スキン変形係数に基づいて前記中間スキンデータの変形処理を行うことで、目標スキンデータを取得することと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを確立することと、に用いられる。 In an optional embodiment, the third generation module, when generating a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients, generates the target skeleton generating intermediate skin data by performing a position transformation process on the standard skin data based on the data and the relationship between the standard skeleton data and the standard skin data in the standard virtual face model; obtaining target skin data by transforming the intermediate skin data based on the target skeleton data and establishing the target virtual face model based on the target skeleton data and the target skin data.

選択的な一実施形態では、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つを含み、複数の前記仮想顔モデルのそれぞれに対応する骨格データは、仮想顔の複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つを含む。 In a selective embodiment, the target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data, and includes skeletons corresponding to each of the plurality of virtual face models. The data includes at least one of skeleton rotation data, skeleton position data, and skeleton scale data corresponding to each of a plurality of facial skeletons of the virtual face.

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することに用いられる。 In an optional embodiment, the second generating module generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset skeleton positions corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models when generating target skeleton data based on a virtual face model having a style; Interpolating the data is used to acquire the target skeleton position data.

選択的な一実施形態では、第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することに用いられる。 In an optional embodiment, the second generation module generates fitting coefficients corresponding to each of the plurality of second real face models and preset styles corresponding to each of the plurality of second real face models. Skeletal scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models when generating target skeleton data based on the virtual face model having is used to acquire the target skeletal scale data.

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成する際に、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する前記正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、に用いられる。 In an optional embodiment, the second generating module generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset When generating target skeletal data based on a virtual face model having a style, skeletal rotation data corresponding to each of the plurality of virtual face models is converted into a quaternion, and converted to each of the plurality of virtual face models obtaining a normalized quaternion by normalizing the corresponding quaternion; and obtaining a normalized quaternion for each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. obtaining the target skeleton rotation data by interpolating the normalized quaternion corresponding to .

選択的な一実施形態では、前記第１生成モジュールは、目標画像に基づいて第１実顔モデルを生成する際に、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、に用いられる。 In an optional embodiment, the first generating module, when generating the first real face model based on the target image, obtains a target image including an initial face; and obtaining the first real face model by performing 3D face reconstruction on the initial face.

選択的な一実施形態では、前記処理モジュールは、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記複数の第２実顔モデルを予め生成する。 In an optional embodiment, the processing module obtains a plurality of reference images including reference faces, and for each of the plurality of reference images, a three-dimensional representation of the reference faces included in the reference images. Pre-generating the plurality of second real face models by performing face reconstruction and obtaining the second real face models corresponding to the reference images.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれについて、前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する中間仮想顔モデルを生成し、標準仮想顔モデルに対する複数組の予め設定されたスキン変形係数に基づいて、前記第２実顔モデルに対応する仮想顔モデルの前記標準仮想顔モデルに対するスキン変形係数を生成し、前記スキン変形係数を利用して前記中間仮想顔モデルにおける中間スキンデータを調整し、調整済みの中間スキンデータ、及び前記中間仮想顔モデルの中間骨格データに基づいて前記第２実顔モデルの仮想顔モデルを生成する、ことにより、前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する仮想顔モデルを取得するように構成される取得モジュールをさらに含む。 In an optional embodiment, for each of the plurality of second real face models, an intermediate virtual face model corresponding to the second real face model and having a preset style is generated; generating skin deformation coefficients of a virtual face model corresponding to the second real face model with respect to the standard virtual face model based on a plurality of sets of preset skin deformation coefficients; adjusting intermediate skin data in the virtual face model and generating a virtual face model of the second real face model based on the adjusted intermediate skin data and intermediate skeleton data of the intermediate virtual face model; It further includes an acquisition module configured to acquire a virtual face model corresponding to the two real face models and having a preset style.

選択的な一実施形態では、前記処理モジュールは、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、前記複数の第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することに用いられる。 In an alternative embodiment, the processing module performs a fitting process on the first real face model using a plurality of pre-generated second real face models to obtain a plurality of second real face models. each of the plurality of second real face models is obtained by performing least-squares processing on the plurality of second real face models and the first real face model when obtaining fitting coefficients corresponding to each of the plurality of second real face models; It is used to obtain the fitting coefficients for

本発明の第３態様により、選択的な一実施形態として、プロセッサ及びメモリを含むコンピュータデバイスであって、前記メモリには、前記プロセッサで実行できる機械読み取り可能な命令が格納されており、前記プロセッサは、前記メモリに格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令が前記プロセッサで実行される際に、上記した第１態様または第１態様における任意１つの実施可能な形態に記載のステップが実施される、コンピュータデバイスが提案されている。 According to a third aspect of the present invention, as an alternative embodiment, there is provided a computing device comprising a processor and a memory, the memory storing machine-readable instructions executable by the processor, the processor comprising: is configured to execute machine-readable instructions stored in said memory, and when said machine-readable instructions are executed by said processor, any one of the first aspect or the first aspect above. A computing device is proposed in which the steps described in the possible forms are implemented.

本発明の第４態様により、選択的な一実施形態として、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、当該コンピュータ・プログラムが実行される際に、上記した第１態様または第１態様における任意１つの実施可能な形態に記載のステップが実施される、コンピュータ読み取り可能な記憶媒体が提案されている。 According to a fourth aspect of the present invention, as an alternative embodiment, a computer-readable storage medium storing a computer program, wherein when the computer program is executed, the above-described first aspect or A computer readable storage medium is proposed in which the steps of any one possible embodiment of the first aspect are implemented.

上記した顔再構築装置、コンピュータデバイス、およびコンピュータ読み取り可能な記憶媒体の効果に関する記述は、上記した顔再構築方法に関する記述を参照でき、ここで重複に説明しないものとする。本発明の上記した目的、特徴、及びメリットをより明確かつ理解され易いものにするために、以下では、好適な実施例を挙げて、添付図面に合わせて詳細に説明する。 For the description of the effects of the face reconstruction apparatus, computer device, and computer-readable storage medium described above, reference can be made to the description of the face reconstruction method described above, and will not be repeated here. In order to make the above objects, features, and advantages of the present invention clearer and easier to understand, preferred embodiments are described in detail below in conjunction with the accompanying drawings.

本発明の実施例に係る技術案をより明晰に説明するために、以下では、実施例に用いられる図面を簡単に説明する。これらの図面は本発明に符合する実施例を示し、明細書に合わせて本発明に係る技術案を説明するためのものである。以下の図面は、本発明の幾つかの実施例のみを図示するので、範囲への限定として見なされるべきではなく、当分野の通常の技術者にとっては、創造的な労働をせずにこれらの図面から他の相関図面を得ることもできるとは、理解されるべきであろう。
本発明の一実施例で提案される顔再構築方法を示すフローチャートである。 本発明の別の一実施例で提案される顔再構築方法を示すフローチャートである。 本発明の実施例で提案される目標スキン変形係数を取得するための具体的な方法を示すフローチャートである。 本発明の実施例で提案される目標骨格データ及び目標スキン変形係数に基づいて第１実顔モデルに対応する目標仮想顔モデルを生成するための具体的な方法を示すフローチャートである。 本発明の実施例で提案される顔再構築方法に係る複数の顔及び顔モデルの例示を示す図である。 本発明の実施例で提案される顔再構築装置を示す概略図である。 本発明の実施例で提案されるコンピュータデバイスを示す概略図である。 In order to describe the technical solutions according to the embodiments of the present invention more clearly, the drawings used in the embodiments are briefly described below. These drawings show embodiments consistent with the present invention and serve to explain the technical solution of the present invention in conjunction with the specification. The following drawings illustrate only some embodiments of the invention and should not be considered as limiting the scope, and those of ordinary skill in the art will be able to reproduce these without creative effort. It should be understood that other correlation drawings can be derived from the drawing.
Fig. 4 is a flowchart illustrating a face reconstruction method proposed in one embodiment of the present invention; Fig. 4 is a flow chart illustrating a face reconstruction method proposed in another embodiment of the present invention; 4 is a flow chart showing a specific method for obtaining target skin deformation coefficients proposed in an embodiment of the present invention; 4 is a flow chart showing a specific method for generating a target virtual face model corresponding to a first real face model based on target skeleton data and target skin deformation coefficients proposed in an embodiment of the present invention; FIG. 3 shows an illustration of multiple faces and face models according to the face reconstruction method proposed in an embodiment of the present invention; 1 is a schematic diagram of a face reconstruction device proposed in an embodiment of the present invention; FIG. 1 is a schematic diagram of a computer device proposed in an embodiment of the present invention; FIG.

本発明の実施例の目的、技術案、及びメリットをより明晰にするために、以下では、本発明の実施例に係る技術案について本発明の実施例に係る図面を参照しながら明晰かつ完全に説明する。明らかには、本明細書に記述される実施例は、本発明の実施例の全部ではなく、その一部に過ぎない。通常、ここで記述や図示される本発明の実施例に係る構成要素は、様々な異なる構成で配置や設計されることができる。したがって、本発明の実施例に関する以下の詳細な記述は、保護が請求する本発明の範囲を限定することを主旨とするものではなく、本発明に選定された実施例のみを示すものである。本発明の実施例に基づき、当分野の技術者が創造的な労働をせずに得られた全ての他の実施例は、本発明の保護範囲内に含まれるものとする。 In order to make the objects, technical solutions and advantages of the embodiments of the present invention clearer, the technical solutions according to the embodiments of the present invention will be described in a clear and complete manner with reference to the drawings according to the embodiments of the present invention. explain. Apparently, the embodiments described herein are merely a part rather than all of the embodiments of the present invention. In general, the components described and illustrated herein according to embodiments of the invention can be arranged and designed in a variety of different configurations. Accordingly, the following detailed description of embodiments of the invention is not intended to limit the scope of the invention for which protection is claimed, but merely illustrates selected embodiments of the invention. Based on the embodiments of the present invention, all other embodiments obtained without creative efforts by those skilled in the art shall fall within the protection scope of the present invention.

顔再構築方法によれば、実顔や自分の好みに基づいて仮想的な顔３次元モデルを確立できることがわかった。人物画像における実顔に基づいて顔の再構築を行う際に、人物画像における実顔に対して特徴抽出を行って顔輪郭特徴を取得してから、顔輪郭特徴を予め生成された仮想３次元モデルにおける特徴とマッチングし、マッチング結果に基づいて顔輪郭特徴を仮想３次元モデルと融合することで、人物画像における実顔に対応する仮想的な顔３次元モデルを取得することは、一般的なことである。顔輪郭特徴を予め生成された仮想３次元モデルにおける特徴とマッチングする際に、マッチングの精度が低いことから、仮想３次元モデルと顔輪郭特徴とのマッチングの誤差が大きく、マッチング結果に基づいて顔輪郭特徴と顔の仮想３次元モデルとを融合して得られた仮想的な顔３次元モデルと、人物画像における顔との類似度が低いという問題が生じやすい。 It has been found that the face reconstruction method can establish a virtual three-dimensional face model based on the real face and one's own preferences. When reconstructing a face based on a real face in a human image, after performing feature extraction on the real face in the human image to obtain facial contour features, the facial contour features are extracted from a pre-generated virtual three-dimensional face. Acquiring a virtual three-dimensional face model corresponding to a real face in a human image by matching features in the model and fusing facial contour features with a virtual three-dimensional model based on the matching results is a common technique. That is. When the facial contour features are matched with the features in the pre-generated virtual 3D model, the accuracy of matching is low, so the matching error between the virtual 3D model and facial contour features is large. A problem is likely to arise that the degree of similarity between a virtual three-dimensional face model obtained by fusing contour features and a virtual three-dimensional model of the face and the face in the human image is low.

上記した技術案の欠点に対して、本発明の実施例では、予め設定されたスタイルのみならず、第１実顔モデルに対応する初期顔の特徴も有する目標仮想顔モデルを生成可能な顔再構築方法が提案されており、当該目標仮想顔モデルは、初期顔の太り具合の特徴を体現でき、且つ第１実顔モデルに対応する初期顔との類似度が高い。 In view of the shortcomings of the above technical solution, the embodiment of the present invention provides a facial reconstruction capable of generating a target virtual face model having not only a preset style but also initial facial features corresponding to the first real face model. A construction method has been proposed, in which the target virtual face model can embody the characteristics of fatness of the initial face, and has a high degree of similarity with the initial face corresponding to the first real face model.

本実施例の理解を容易にするために、先ず、本発明の実施例に開示された顔再構築方法について詳しく説明する。本発明の実施例で提案される顔再構築方法の実行主体は一般的には所定の計算能力を持つコンピュータデバイスであり、当該コンピュータデバイスは、例えば端末デバイスやサーバ又は他の処理デバイスを備え、端末デバイスとしては、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話）、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち機器、計算機器、車載機器、ウェアラブル機器等が挙げられる。幾つかの実施可能な形態では、当該顔再構築方法は、プロセッサによってメモリに格納されたコンピュータ読み取り可能な命令を呼び出すという方式で実現することができる。 To facilitate understanding of this embodiment, first, the face reconstruction method disclosed in the embodiment of the present invention will be described in detail. The implementation body of the face reconstruction method proposed in the embodiments of the present invention is generally a computer device with a certain computing power, such as a terminal device, a server or other processing device, Terminal devices include user equipment (UE), mobile equipment, user terminal, terminal, cellular phone), cordless phone, personal digital assistant (PDA), hand-held equipment, computing equipment, in-vehicle equipment, wearables. equipment and the like. In some possible embodiments, the face reconstruction method can be implemented by a processor invoking computer readable instructions stored in memory.

以下では、本発明の実施例で提案される顔再構築方法について説明する。 A face reconstruction method proposed in an embodiment of the present invention is described below.

図１は、本発明の一実施例で提案される顔再構築方法を示すフローチャートである。図１に示すように、前記方法は、ステップＳ１０１～Ｓ１０４を含む。 FIG. 1 is a flowchart illustrating a face reconstruction method proposed in one embodiment of the present invention. As shown in FIG. 1, the method includes steps S101-S104.

Ｓ１０１：目標画像に基づいて第１実顔モデルを生成する。 S101: Generate a first real face model based on the target image.

Ｓ１０２：予め生成された複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する。 S102: Acquire fitting coefficients corresponding to each of the plurality of second real face models by performing fitting processing of the first real face model using the plurality of second real face models generated in advance.

Ｓ１０３：複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成する。目標スキン変形係数は、生成すべき目標顔モデルにおけるスキンデータの予め生成された標準仮想顔モデルにおける標準スキンデータに対する変形を示す。 S103: Based on the fitting coefficients corresponding to each of the plurality of second real face models and the virtual face model corresponding to each of the plurality of second real face models and having a preset style, target skeleton data and target Generate skin deformation coefficients. The target skin deformation coefficient indicates the deformation of the skin data in the target face model to be generated with respect to the standard skin data in the pre-generated standard virtual face model.

Ｓ１０４：目標骨格データ及び目標スキン変形係数に基づいて、第１実顔モデルに対応する目標仮想顔モデルを生成する。 S104: Generate a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients.

本発明の実施例では、顔再構築方法が提案されており、具体的には、フィッティング係数を媒介として複数の第２実顔モデルと第１実顔モデルとの関連関係が確立され、この関連関係は、第２実顔モデルに基づいて確立された仮想顔モデルと第１実顔モデルに基づいて確立された目標仮想顔モデルとの関連を特徴付けることができる。なお、目標スキン変形係数は、目標画像における顔スキンの変形の特徴、例えば骨格が同じである場合に存在する太り具合の差を特徴付けることができ、そして、フィッティング係数及び仮想顔モデルに基づく目標仮想顔モデルが生成され、該目標仮想顔モデルは、予め設定されたスタイルと第１実顔モデルに対応する初期顔の特徴とを併せ持つのみならず、初期顔の太り具合の特徴も体現でき、さらに、生成された目標仮想顔モデルと第１実顔モデルに対応する初期顔との類似度が高くなる。 In an embodiment of the present invention, a face reconstruction method is proposed, specifically, a relationship between a plurality of second real face models and a first real face model is established through fitting coefficients, and this relationship is A relationship may characterize an association between a virtual face model established based on the second real face model and a target virtual face model established based on the first real face model. Note that the target skin deformation coefficients can characterize facial skin deformation features in the target image, e.g. fatness differences that exist when the skeleton is the same, and the target virtual face model based on the fitting coefficients and the virtual face model. A face model is generated, the target virtual face model not only has a preset style and initial facial features corresponding to the first real face model, but also can embody the fatness feature of the initial face, and , the degree of similarity between the generated target virtual face model and the initial face corresponding to the first real face model increases.

以下では、上記したステップＳ１０１～Ｓ１０４について詳しく説明する。 The above steps S101 to S104 will be described in detail below.

上記したステップＳ１０１について、目標画像は、例えば顔を含む画像、例えば、カメラ等の撮像装置を用いてある対象を撮像する際に取得される顔を含む画像である。このとき、例えば、画像に含まれる何れかの顔を初期顔として決定し、初期顔を顔再構築対象とすることができる。 In step S101 described above, the target image is, for example, an image including a face, such as an image including a face that is obtained when an image of a certain target is captured using an imaging device such as a camera. At this time, for example, one of the faces included in the image can be determined as the initial face, and the initial face can be set as the face reconstruction target.

本発明の実施例で提案される顔再構築方法が異なるシーンに用いられる場合、目標画像の取得方法も異なる。 When the face reconstruction method proposed in the embodiments of the present invention is used in different scenes, the method of acquiring the target image is also different.

例えば、当該顔再構築方法がゲームに用いられる場合、ゲームデバイスにインストールされている画像取得装置によってゲームプレイヤーの顔を含む画像を取得したり、ゲームデバイスのアルバムからゲームプレイヤーの顔を含む画像を選択したりすることができ、そして、取得したゲームプレイヤーの顔を含む画像を目標画像として決定する。 For example, when the face reconstruction method is used in a game, an image including the game player's face is acquired by an image acquisition device installed in the game device, or an image including the game player's face is acquired from the album of the game device. and determine the captured image containing the game player's face as the target image.

また例えば、顔再構築方法が携帯電話等の端末デバイスに用いられる場合、端末デバイスのカメラによってユーザの顔を含む画像を収集したり、端末デバイスのアルバムからユーザの顔を含む画像を選択したり、端末デバイスにインストールされている他のアプリプログラムからユーザの顔を含む画像を受信したりすることができる。 Further, for example, when the face reconstruction method is used in a terminal device such as a mobile phone, an image including the user's face is collected by the camera of the terminal device, or an image including the user's face is selected from the album of the terminal device. , an image including the user's face can be received from other application programs installed on the terminal device.

さらに例えば、顔再構築方法がライブ配信のシーンに用いられる場合、ライブ配信装置から取得したビデオストリームに含まれる複数フレームのビデオフレーム画像から、顔を含むビデオフレーム画像を取得することができ、そして、顔を含むビデオフレーム画像を目標画像として決定する。ここで、目標画像は例えば複数フレームであってよい。複数フレームの目標画像は例えばビデオストリームをサンプリングして得られたものであってよい。 Furthermore, for example, when the face reconstruction method is used in a live distribution scene, a video frame image including a face can be obtained from a plurality of video frame images included in a video stream obtained from a live distribution device, and , determine the video frame image containing the face as the target image. Here, the target image may be, for example, multiple frames. A multi-frame target image may be obtained, for example, by sampling a video stream.

目標画像に基づいて第１実顔モデルを生成する際に、例えば、初期顔を含む目標画像を取得し、目標画像に含まれる初期顔に対して３次元の顔再構築を行って第１実顔モデルを取得するという方法を利用する。 When generating the first real face model based on the target image, for example, a target image including an initial face is acquired, and the initial face included in the target image is subjected to three-dimensional face reconstruction to generate the first real face model. Use the method of acquiring a face model.

ここでは、目標画像に含まれる初期顔に対して３次元の顔再構築を行う際に、例えば、変形可能な３次元顔モデル(３ Ｄｉｍｅｎｓｉｏｎｓ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌｓ，３ＤＭＭ)を利用して、初期顔に対応する第１実顔モデルを取得する。第１実顔モデルは、例えば、目標画像における初期顔の複数のキーポイントのうちの各キーポイントの、予め設定されたカメラ座標系における位置情報を含む。 Here, when performing three-dimensional face reconstruction for the initial face contained in the target image, for example, a deformable three-dimensional face model (3 Dimensions Morphable Models, 3DMM) is used to correspond to the initial face. A first real face model is obtained. The first real face model includes, for example, position information of each keypoint among a plurality of keypoints of the initial face in the target image in a preset camera coordinate system.

上記したステップＳ１０２について、第２実顔モデルは、参照顔を含む参照画像に基づいて生成されたものである。ここで、異なる参照画像における参照顔は、異なるものであってよい。例示的には、性別、年齢、肌色、太り具合等のうちの少なくとも１つが異なる複数の人物を選択し、複数の人物のそれぞれについてその顔画像を取得し、取得した顔画像を参照画像とする。このように、複数枚の参照画像に基づいて取得した複数の第２実顔モデルは、できるだけ広範な顔の外形特徴をカバーすることができる。 Regarding step S102 described above, the second real face model is generated based on the reference image including the reference face. Here, reference faces in different reference images may be different. As an example, a plurality of persons with different at least one of gender, age, skin color, degree of fatness, etc. are selected, face images of each of the plurality of persons are acquired, and the acquired face images are used as reference images. . In this way, a plurality of second real face models obtained based on a plurality of reference images can cover as wide a range of facial features as possible.

参照顔は、例えば、Ｎ個の異なるオブジェクトに対応する顔を含む(Ｎは１より大きい整数)。例示的には、Ｎ個の異なるオブジェクトをそれぞれ撮影することでＮ個の異なるオブジェクトのそれぞれに対応するＮ枚の写真を取得し、１枚の写真毎に１つの参照顔が対応されている。このとき、このＮ枚の写真をＮ枚の参照画像とし、あるいは、予め撮影された異なる顔を含む複数枚の画像からＮ枚の参照画像を特定してもよい。 A reference face includes, for example, faces corresponding to N different objects (N being an integer greater than 1). Illustratively, N photographs corresponding to each of the N different objects are obtained by photographing N different objects, and one reference face is associated with each photograph. At this time, the N photographs may be used as the N reference images, or the N reference images may be specified from a plurality of images including different faces taken in advance.

例示的には、複数の第２実顔モデルを生成する方法は、参照顔を含む複数枚の参照画像を取得することと、複数枚の参照画像のそれぞれについて、当該参照画像に含まれる参照顔に対して３次元の顔再構築を行うことで、当該参照画像に対応する第２実顔モデルを取得することと、を含む。 Exemplarily, the method for generating a plurality of second real face models includes obtaining a plurality of reference images including reference faces, and obtaining reference faces included in the reference images for each of the plurality of reference images. obtaining a second real face model corresponding to the reference image by performing three-dimensional face reconstruction on the reference image.

参照顔に対して３次元の顔再構築を行う方法は、上記した初期顔に対して３次元の顔再構築を行う方法と類似するので、ここで重複に説明しないものとする。取得した第２実顔モデルは、参照画像における参照顔の複数のキーポイントのうちの各キーポイントの、予め設定されたカメラ座標系における位置情報を含む。このとき、当該第２実顔モデルの座標系と第１実顔モデルの座標系は、同一の座標系であってもよい。 The method of performing 3D face reconstruction on the reference face is similar to the method of performing 3D face reconstruction on the initial face described above, so it will not be described again here. The obtained second real face model includes position information in a preset camera coordinate system of each keypoint among a plurality of keypoints of the reference face in the reference image. At this time, the coordinate system of the second real face model and the coordinate system of the first real face model may be the same coordinate system.

予め生成された複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応する複数のフィッティング係数を取得することは、例えば、複数の第２実顔モデル及び第１実顔モデルに対して最小二乗処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するという方式で実現することができる。 Acquiring a plurality of fitting coefficients corresponding to each of the plurality of second real face models by performing fitting processing of the first real face model using a plurality of second real face models generated in advance, For example, by performing least-squares processing on a plurality of second real face models and a first real face model, fitting coefficients corresponding to each of the plurality of second real face models can be obtained. can.

例示的には、第１実顔モデルに対応するモデルデータをＤa、第２実顔モデルに対応するモデルデータをＤbi（ｉ∈［１，Ｎ］）として表すことができ、ここで、ＤbiはＮ個の第２実顔モデルのうちｉ番目の第２実顔モデルを示す。 Illustratively, the model data corresponding to the first real face model can be represented as D a , and the model data corresponding to the second real face model can be represented as D bi (iε[1,N]), where: Dbi indicates the i-th second real face model among the N second real face models.

Ｄaを利用してＤb1～ＤbNのそれぞれに対して最小二乗処理を行うことで、Ｎ個のフィッティング値を取得することができ、このフィッティング値をαi（ｉ∈［１，Ｎ］）として表す。ここで、αiはｉ番目の第２実顔モデルに対応するフィッティング値を示す。Ｎ個のフィッティング値を用いてフィッティング係数Ａｌｐｈａを決定することができ、例えば係数行列として表すことができ、即ち、Ａｌｐｈａ＝[α1，α2，…，αN]である。 By performing least-squares processing on each of D b1 to D bN using D a , N fitting values can be obtained. ). Here, α i indicates a fitting value corresponding to the i-th second real face model. The N fitting values can be used to determine the fitting coefficients Alpha, which can be represented, for example, as a coefficient matrix: Alpha=[α 1 , α 2 , . . . , α N ].

ここでは、複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行うプロセスにおいて、複数のフィッティング係数により複数の第２実顔モデルを重み付け加算して得られたデータは、第１実顔モデルのデータにできるだけ近づくことが可能である。 Here, in the process of fitting a first real face model using a plurality of second real face models, data obtained by weighting and adding a plurality of second real face models with a plurality of fitting coefficients is It is possible to get as close as possible to the data of one real face model.

このフィッティング係数は、複数の第２実顔モデルを利用して第１実顔モデルを表現する際の各第２実顔モデルの表現係数として見なされてもよい。換言すると、表現係数における、複数の第２実顔モデルのそれぞれに対応する複数のフィッティング値を利用して、第２実顔モデルを第１実顔モデルに変換やフィッティングすることができる。 This fitting coefficient may be regarded as a representation coefficient for each second real face model when representing the first real face model using a plurality of second real face models. In other words, it is possible to convert or fit the second real face model to the first real face model using a plurality of fitting values corresponding to each of the plurality of second real face models in the expression coefficients.

上記したステップＳ１０３について、予め設定されたスタイルは、例えば、カートゥーンスタイル、古代スタイル、又は抽象スタイル等であってもよく、実際の必要に応じて具体的に設定することができる。例示的には、予め設定されたスタイルがカートゥーンスタイルである場合、予め設定されたスタイルを有する仮想顔モデルは、例えば、あるカートゥーンスタイルを有する仮想顔モデルである。 For step S103 above, the preset style may be, for example, cartoon style, ancient style, or abstract style, etc., and can be specifically set according to actual needs. Illustratively, if the preset style is a cartoon style, the virtual face model with the preset style is, for example, a virtual face model with a certain cartoon style.

仮想顔モデルは、骨格データと、スキンデータ及び/又はスキン変形係数と、を含む。スキン変形係数は、仮想顔モデルにおけるスキンデータの予め生成された標準仮想顔モデルにおける標準スキンデータに対する変形を示す。 A virtual face model includes skeletal data, skin data and/or skin deformation coefficients. The skin deformation coefficient indicates the deformation of the skin data in the virtual face model with respect to the standard skin data in the pre-generated standard virtual face model.

図２に示すように、本発明の実施例では、前記複数の第２実顔モデルのそれぞれについて、当該第２実顔モデルに対応し且つ予め設定されたスタイルを有する仮想顔モデルを生成するための具体的な方法が提案されており、該方法は、次のステップを含む。 As shown in FIG. 2, in the embodiment of the present invention, for each of the plurality of second real face models, a virtual face model corresponding to the second real face model and having a preset style is generated. is proposed, which includes the following steps.

Ｓ２０１：当該第２実顔モデルに対応し且つ予め設定されたスタイルを有する中間仮想顔モデルを生成する。 S201: Generate an intermediate virtual face model corresponding to the second real face model and having a preset style.

ここでは、当該第２実顔モデルに対応し且つ予め設定されたスタイルを有する中間仮想顔モデルを生成するための方法は、例えば、次の(ａ1)と(ａ２)のうちの少なくとも１つを含む。 Here, the method for generating an intermediate virtual face model corresponding to the second real face model and having a preset style includes, for example, at least one of the following (a1) and (a2): include.

(ａ1)参照画像に基づいて参照顔の特徴を有し且つ予め設定されたスタイルを有する仮想顔画像を作成し、仮想顔画像における仮想顔に対して３次元モデリングを行うことで、仮想顔画像における仮想顔の骨格データ及びスキンデータを取得してもよい。 (a1) Create a virtual face image having features of the reference face and a preset style based on the reference image, and perform three-dimensional modeling on the virtual face in the virtual face image to obtain the virtual face image. You may acquire the skeleton data and skin data of the virtual face in .

ここで、骨格データは、仮想顔に対して予め設定された複数の骨格の予め設定された座標系における骨格回転データ、骨格スケール（拡大縮小）データ、及び骨格位置データを含む。ここで、複数の骨格は、例えば複数の階層に分けられることができ、例えば、ルート(ｒｏｏｔ)骨格、五官骨格、及び五官細部骨格を含む。五官骨格は、眉骨、鼻骨、頬骨、顎骨、口骨等を含んでもよい。五官細部骨格は、例えば異なる五官骨格をさらに詳細に分けることができる。異なるスタイルを有する仮想画像のニーズに応じて具体的に設定することができ、ここでは限定されない。 Here, the skeleton data includes skeleton rotation data, skeleton scale (enlargement/reduction) data, and skeleton position data in a preset coordinate system of a plurality of skeletons preset for the virtual face. Here, the plurality of skeletons can be divided into, for example, a plurality of hierarchies, including, for example, a root skeleton, a pentagonal skeleton, and a pentagonal skeleton. Pentaneous skeletons may include eyebrow bones, nasal bones, cheekbones, jawbones, oral bones, and the like. The pentafunctional skeleton can, for example, further subdivide different pentafunctional skeletons. It can be specifically set according to the needs of virtual images with different styles and is not limited here.

スキンデータは、仮想顔の表面の複数の位置ポイントの予め設定されたモデル座標系における位置情報、及び各位置ポイントと複数の骨格のうちの少なくとも一つの骨格との関連関係情報を含む。ここで、当該モデル座標系は、仮想顔モデルに対して設定された３次元座標系である。 The skin data includes position information of a plurality of position points on the surface of the virtual face in a preset model coordinate system, and relationship information between each position point and at least one skeleton of the plurality of skeletons. Here, the model coordinate system is a three-dimensional coordinate system set for the virtual face model.

仮想顔画像における仮想顔に対して３次元モデリングを行って得られた仮想モデルを、第２実顔モデルに対応する中間仮想顔モデルとする。 A virtual model obtained by performing three-dimensional modeling on the virtual face in the virtual face image is used as an intermediate virtual face model corresponding to the second real face model.

（ａ２）予め設定されたスタイルを有する標準仮想顔モデルを予め生成する。この標準仮想顔モデルは同様に、標準骨格データ、標準スキンデータ、及び標準骨格データと標準スキンデータとの関連関係を含む。複数枚の参照画像のそれぞれに対応する参照顔の顔特徴に基づいて標準的仮想顔モデルにおける標準骨格データを調整することにより、調整済みの標準的仮想顔モデルは、予め設定されたスタイルを有するとともに参照画像における参照顔の特徴も含む。その次に、標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータを調整するとともに、標準スキンデータに参照顔の特徴情報を追加することもでき、そして、調整済みの標準骨格データと調整済みの標準スキンデータに基づいて、第２実顔モデルに対応する中間仮想顔モデルを生成する。 (a2) Generate in advance a standard virtual face model having a preset style. This standard virtual face model also includes standard skeleton data, standard skin data, and a relational relationship between the standard skeleton data and the standard skin data. The adjusted standard virtual face model has a preset style by adjusting the standard skeleton data in the standard virtual face model based on the facial features of the reference face corresponding to each of the plurality of reference images. Also includes the features of the reference face in the reference image. Then, the standard skin data is adjusted according to the relationship between the standard skeleton data and the standard skin data, and the reference facial feature information can be added to the standard skin data, and the adjusted standard skeleton data and the adjusted standard skin data to generate an intermediate virtual face model corresponding to the second real face model.

ここでは、中間仮想顔モデルの具体的なデータの表現は、上記した（ａ１）での記述を参照でき、ここで重複に説明しないものとする。 Here, the description in (a1) above can be referred to for the expression of the specific data of the intermediate virtual face model, and redundant description will be omitted here.

Ｓ２０２：標準仮想顔モデルに対する複数組の予め設定されたスキン変形係数に基づいて、当該第２実顔モデルに対応する仮想顔モデルの標準仮想顔モデルに対するスキン変形係数を生成する。 S202: Generate skin deformation coefficients of the virtual face model corresponding to the second real face model with respect to the standard virtual face model, according to a plurality of sets of preset skin deformation coefficients with respect to the standard virtual face model.

ここでは、標準仮想顔モデルに対して生成された複数組のスキン変形係数は、標準仮想顔モデルの骨格が不変である場合に、標準仮想顔モデルの標準スキンデータ中の、標準仮想顔モデルを特徴付けるための例えば頬骨等の具体的な位置に対応する少なくとも一部の位置ポイントのみを調整する調整係数である。 Here, multiple sets of skin deformation coefficients generated for the standard virtual face model are used to transform the standard virtual face model in the standard skin data of the standard virtual face model when the skeleton of the standard virtual face model is unchanged. An adjustment factor that adjusts only at least some of the position points corresponding to specific positions, such as cheekbones, to characterize.

各組のスキン変形係数は、標準スキンデータ中の少なくとも一部の位置ポイントのモデル座標系における位置を調整した結果を特徴付けるものであり、標準仮想顔モデルにおける調整された位置ポイントに対応する部位を太くまたは細くするという効果をもたらすことができる。 Each set of skin deformation coefficients characterizes the result of adjusting the positions of at least some of the position points in the standard skin data in the model coordinate system, and the parts corresponding to the adjusted position points in the standard virtual face model. A thickening or thinning effect can be provided.

複数組の予め設定されたスキンデータによって参照顔に対応するスキン変形係数を組み合わせる際に、例えば、フィッティング済みの結果が参照顔の顔形状に似ているように、複数組の予め設定されたスキンデータのフィッティングを行うことができる。 When combining skin deformation coefficients corresponding to a reference face with multiple sets of preset skin data, multiple sets of preset skins are used, e.g., such that the fitted result resembles the facial shape of the reference face. Data fitting can be performed.

Ｓ２０３：スキン変形係数を利用して中間仮想顔モデルにおける中間スキンデータを調整し、調整済みの中間スキンデータ、及び中間仮想顔モデルの中間骨格データに基づいて、当該第２実顔モデルに対応する仮想顔モデルを生成する。 S203: Adjust the intermediate skin data in the intermediate virtual face model using the skin deformation coefficient, and correspond to the second real face model based on the adjusted intermediate skin data and the intermediate skeleton data of the intermediate virtual face model. Generate a virtual face model.

例えば、１つの実施可能な形態では、Ｒ組の予め設定されたスキン変形係数Ｂｌｅｎｄｓｈａｐｅを取得することができる。ここで、各組の予め設定されたスキン変形係数には、スキンデータ中の複数の位置ポイントのそれぞれに対応する変形係数値が含まれている。例示的には、スキンデータ中の位置ポイントがＷ個であり、１つの位置ポイント毎に１つの変形係数値が対応されている場合、Ｒ組の予め設定されたスキン変形係数のうちの各組のスキン変形係数の次元がＷである。 For example, in one implementation, R sets of preset skin deformation coefficients Blendshape may be obtained. Here, each set of preset skin deformation coefficients includes a deformation coefficient value corresponding to each of a plurality of position points in the skin data. Illustratively, if there are W position points in the skin data, and one deformation coefficient value is associated with each position point, each set of R sets of preset skin deformation coefficients W is the dimension of the skin deformation coefficient of .

ここで、Ｂｌｅｎｄｓｈａｐｅi（ｉ∈［１，Ｎ］）でｉ番目組の予め設定されたスキン変形係数を表す。Ｒ組の予め設定されたスキン変形係数によれば、標準仮想顔モデルの太り具合を修正して、太り具合の特徴が調整されたＲ個の標準仮想顔モデルを取得することができる。 Let Blendshape i (iε[1, N]) denote the i-th set of preset skin transformation coefficients. According to the R sets of preset skin deformation coefficients, the fatness of the standard virtual face model can be modified to obtain R standard virtual face models with adjusted fatness features.

仮想顔モデルを生成する際に、Ｒ組の予め設定されたスキン変形係数Ｂｌｅｎｄｓｈａｐｅの組み合わせによって仮想顔モデルのスキン変形係数を取得することができる。ここで、例えば、異なる予め設定されたスキン変形係数ために対応する重み値を追加し、この重み値によりＲ組の予め設定されたスキン変形係数を重み付け加算することで、ある仮想顔モデルのスキン変形係数を取得することができる。 When generating the virtual face model, the skin deformation coefficients of the virtual face model can be obtained by combining R sets of preset skin deformation coefficients Blendshape. Here, for example, adding corresponding weight values for different preset skin deformation coefficients, and weighting and summing R sets of preset skin deformation coefficients by the weight values, the skin of a certain virtual face model is Deformation coefficients can be obtained.

例示的には、Ｎ個の第２実顔モデルが予め生成され、Ｒ組の予め設定されたスキン変形係数が取得された場合、ｉ番目の実顔のスキン変形係数Ｂｌｅｎｄｓｈａｐｅiの次元がＲ×Ｗである。Ｎ個の第２実顔モデルのそれぞれに対応するスキン変形係数は、次元Ｎ×Ｒ×Ｗの行列を構成でき、この行列には、Ｎ個の第２実顔モデルのそれぞれに対応する仮想顔モデルのスキン変形係数が含まれている。 Illustratively, if N second real face models are pre-generated and R sets of preset skin deformation coefficients are obtained, the dimension of the skin deformation coefficient Blendshape i of the i-th real face is R× It is W. The skin deformation coefficients corresponding to each of the N second real face models can form a matrix of dimensions N×R×W, and the matrix contains virtual faces corresponding to each of the N second real face models. Contains skin deformation coefficients for the model.

また、スキン変形係数を利用して中間仮想顔モデルのスキンデータを調整する際に、生成される仮想顔モデルと参照顔との類似度が一層高くなるように、中間仮想顔モデルの骨格データを微調整して、生成される仮想顔モデルの顔細部特徴を最適化してもよい。 Also, when adjusting the skin data of the intermediate virtual face model using the skin deformation coefficient, the skeletal data of the intermediate virtual face model is adjusted so that the similarity between the generated virtual face model and the reference face is further increased. Fine tuning may be performed to optimize the facial detail features of the generated virtual face model.

Ｎ個の第２実顔モデルのそれぞれに対応する仮想顔モデルを取得した後、Ｎ個の仮想顔モデル及び対応するフィッティング係数を利用して目標仮想顔モデルのフィッティングを行い、目標骨格データ及び目標スキン変形データを生成することができる。 After obtaining a virtual face model corresponding to each of the N second real face models, a target virtual face model is fitted using the N virtual face models and the corresponding fitting coefficients, and the target skeleton data and the target Skin deformation data can be generated.

具体的には、目標仮想顔モデルは、目標骨格データ、及び目標スキンデータを含む。さらに、目標スキンデータは、目標骨格データ、及び目標仮想顔モデルの目標スキン変形データに基づいて決定されるものである。 Specifically, the target virtual face model includes target skeleton data and target skin data. Furthermore, the target skin data is determined based on the target skeleton data and the target skin deformation data of the target virtual face model.

本発明の実施例では、複数の第２実顔モデルに対応するフィッティング係数、及び複数の仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを取得する際に、例えば、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格データを補間処理することで、目標骨格データを取得することを含む。 In the embodiment of the present invention, when acquiring target skeleton data based on fitting coefficients corresponding to a plurality of second real face models and skeleton data respectively corresponding to a plurality of virtual face models, for example, a plurality of Acquiring target skeleton data by interpolating skeleton data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the second real face models.

仮想顔モデルに対応する骨格データは、仮想顔における複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つを含む。取得した目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つを含む。 The skeleton data corresponding to the virtual face model includes at least one of skeleton rotation data, skeleton position data, and skeleton scale data corresponding to each of a plurality of facial skeletons in the virtual face. The acquired target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data.

例示的には、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格データを補間処理することで、目標骨格データを取得する際に、例えば次の（ｂ１）～（ｂ３）のうちの少なくとも１つを用いることができる。 As an example, when acquiring target skeleton data by interpolating skeleton data corresponding to each of a plurality of virtual face models based on fitting coefficients corresponding to each of a plurality of second real face models, For example, at least one of the following (b1) to (b3) can be used.

（ｂ１）複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、目標骨格位置データを取得する。 (b1) Acquire target skeleton position data by interpolating skeleton position data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models.

（ｂ２）複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得する。 (b2) obtaining target skeleton scale data by interpolating skeleton scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models;

（ｂ３）複数の仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、取得した四元数を正規化処理することで正規化四元数を取得し、そして、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、目標骨格回転データを取得する。 (b3) Converting skeleton rotation data corresponding to each of a plurality of virtual face models into quaternions, normalizing the obtained quaternions to obtain normalized quaternions, and obtaining a plurality of quaternions. Target skeletal rotation data is obtained by interpolating the normalized quaternion corresponding to each of the plurality of virtual face models based on the fitting coefficients corresponding to each of the two real face models.

具体的な実施プロセスにおいて、上記した方法(ｂ１)及び方法(ｂ２)について、骨格位置データ及び骨格スケールデータを取得する際に、複数の第２実顔モデルに基づいて、各階層骨格及び各階層骨格に対応する局所座標系を決定することをさらに含む。顔モデルの骨格階層化を行う際に、例えば、生物学的骨格階層化方法に従って骨格階層を決定してもよいし、顔再構築の要求に応じて骨格階層を決定してもよく、具体的な階層化方法は、実際の状況に応じて決定することができ、ここで重複に説明しないものとする。 In a specific implementation process, for the method (b1) and method (b2) described above, when acquiring the skeleton position data and the skeleton scale data, based on a plurality of second real face models, each layer skeleton and each layer Further including determining a local coordinate system corresponding to the skeleton. When performing the skeletal hierarchy of the face model, the skeletal hierarchy may be determined, for example, according to a biological skeletal hierarchy method, or the skeletal hierarchy may be determined according to the face reconstruction request. Any suitable layering method can be determined according to the actual situation, and will not be described repeatedly here.

各骨格階層を決定した後、各骨格階層に基づいて各骨格階層に対応する骨格座標系を確立することができる。例示的には、各階層骨格をＢｏｎｅiとして表すことができる。 After determining each skeletal hierarchy, a skeletal coordinate system corresponding to each skeletal hierarchy can be established based on each skeletal hierarchy. Illustratively, each hierarchical skeleton can be represented as Bone i .

この場合、骨格位置データは、仮想顔モデルにおける各階層骨格Ｂｏｎｅiのそれに対応する骨格座標系における３次元座標値を含み、骨格スケールデータは、仮想顔モデルにおける各階層骨格Ｂｏｎｅiのそれに対応する骨格座標系における骨格スケール程度を示す百分比を含み、例えば８０％、９０％又は１００％であってよい。 In this case, the skeleton position data includes three-dimensional coordinate values in the skeleton coordinate system corresponding to each hierarchical skeleton Bone i in the virtual face model, and the skeleton scale data corresponds to each hierarchical skeleton Bone i in the virtual face model. It includes a percentage indicating the degree of skeletal scale in a skeletal coordinate system, which may be, for example, 80%, 90% or 100%.

１つの実施可能な形態では、ｉ番目の仮想顔モデルに対応する骨格位置データをＰｏｓi、ｉ番目の仮想顔モデルに対応する骨格スケールデータをＳｃａｌｉｎｇiとして表す。この場合、骨格位置データＰｏｓiは、複数の階層の骨格のそれぞれに対応する骨格位置データを含み、骨格スケールデータＳｃａｌｉｎｇiは、複数の階層の骨格のそれぞれに対応する骨格スケールデータを含む。 In one possible embodiment , the skeletal position data corresponding to the i-th virtual face model is denoted as Posi, and the skeletal scale data corresponding to the i-th virtual face model is denoted as Scalingi . In this case, the skeletal position data Posi includes skeletal position data corresponding to each of the skeletons of multiple hierarchies, and the skeletal scale data Scaling i includes skeletal scale data corresponding to each of the multiple hierarchies of the skeleton.

この場合に対応するフィッティング係数は、αiである。Ｍ個の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいてＭ個の仮想顔モデルのそれぞれに対応する骨格位置データＰｏｓiを補間処理することで、目標骨格位置データを取得する。 The fitting coefficients corresponding to this case are α i . Target skeleton position data is acquired by interpolating skeleton position data Posi corresponding to each of the M virtual face models based on fitting coefficients corresponding to each of the M second real face models.

例示的には、例えばフィッティング係数を各仮想顔モデルに対応する重みとして、Ｍ個の仮想顔モデルのそれぞれに対応する骨格位置データＰｏｓiを重み付け加算処理することで、補間処理プロセスを実現することができる。この場合、目標骨格位置データＰｏｓnewは、以下の数式(１)を満たす。

Figure 2023507863000002
As an example, the interpolation process may be realized by weighting and adding the skeleton position data Posi corresponding to each of the M virtual face models, using the fitting coefficient as the weight corresponding to each virtual face model. can be done. In this case, the target skeleton position data Pos new satisfies the following formula (1).
Figure 2023507863000002

同様に、Ｍ個の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいてＭ個の仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得する。ここで、ｉ番目の仮想顔モデルに対応する骨格スケールデータをＳｃａｌｉｎｇiとして表し、Ｍ個の第２実顔モデルのそれぞれに対応するフィッティング係数を、仮想顔モデルに対応する重みとして、Ｍ個の仮想顔モデルのそれぞれに対応する骨格スケールデータを重み付け加算処理することで、Ｍ個の仮想顔モデルの補間処理を実現することができる。この場合、Ｓｃａｌｉｎｇnewは、以下の数式(２)を満たす。

Figure 2023507863000003
Similarly, target skeleton scale data is obtained by interpolating skeleton scale data corresponding to each of the M virtual face models based on fitting coefficients corresponding to each of the M second real face models. Here, the skeletal scale data corresponding to the i-th virtual face model is expressed as Scaling i , and the fitting coefficients corresponding to each of the M second real face models are used as weights corresponding to the virtual face models, and M By subjecting the skeleton scale data corresponding to each of the virtual face models to weighted addition processing, it is possible to implement interpolation processing for M virtual face models. In this case, Scaling new satisfies the following formula (2).
Figure 2023507863000003

上記した方法(ｂ３)について、骨格回転データは、仮想顔モデルにおける各骨格のそれに対応する骨格座標系における、骨格回転座標変換程度を示すためのベクトル値を含み、例えば、回転軸と回転角とを含む。１つの実施可能な形態では、ｉ番目の仮想顔モデルに対応する骨格回転データをＴｒａｎｓiとして表す。骨格回転データに含まれる回転角にはジンバルロック（Ｇｉｍｂａｌ Ｌｏｃｋ）問題があるため、骨格回転データを四元数に変換し、四元数を直接に重み付け加算処理する際のオーバーフィッティング（ｏｖｅｒｆｉｔｔｉｎｇ）現象の発生を防止するために、四元数を正規化することで正規化四元数データを取得することとなり、そのデータがＴｒａｎｓ′iとして表される。 For method (b3) described above, the skeleton rotation data includes vector values for indicating the degree of skeleton rotation coordinate transformation in the skeleton coordinate system corresponding to each skeleton in the virtual face model. including. In one possible implementation, the skeletal rotation data corresponding to the i-th virtual face model is denoted as Trans i . Since the rotation angle included in the skeleton rotation data has a gimbal lock problem, there is an overfitting phenomenon when the skeleton rotation data is converted to a quaternion and the quaternion is directly weighted and added. In order to prevent the occurrence of , the quaternion is normalized to obtain normalized quaternion data, which is represented as Trans'i .

Ｍ個の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいてＭ個の仮想顔モデルのそれぞれに対応する正規化四元数Ｔｒａｎｓ′iを補間処理する際に、Ｍ個の第２実顔モデルのそれぞれに対応するフィッティング係数を重みとして、Ｍ個の仮想顔モデルのそれぞれに対応する正規化四元数を重み付け加算することもできる。この場合、目標骨格回転データＴｒａｎｓnewは、以下の数式(３)を満たす。

Figure 2023507863000004
When interpolating the normalized quaternion Trans' i corresponding to each of the M virtual face models based on the fitting coefficients corresponding to each of the M second real face models, M second real face models are obtained. It is also possible to perform weighted addition of the normalized quaternions corresponding to each of the M virtual face models, using the fitting coefficients corresponding to each of the face models as weights. In this case, the target skeleton rotation data Trans new satisfies the following formula (3).
Figure 2023507863000004

また、目標骨格位置データＰｏｓnew、目標骨格スケールデータＳｃａｌｉｎｇnew、及び目標骨格回転データＴｒａｎｓnewを取得するために、その他の補間法を用いてもよく、具体的には実際のニーズに応じて決定できるが、本発明では限定されない。 In addition, other interpolation methods may be used to obtain the target skeleton position data Pos new , the target skeleton scale data Scaling new and the target skeleton rotation data Trans new , specifically determined according to actual needs. It can, but is not limited to in the present invention.

上記した(ｂ１)、(ｂ２)、及び(ｂ３)で取得した目標骨格位置データＰｏｓnew、目標骨格スケールデータＳｃａｌｉｎｇnew、及び目標骨格回転データＴｒａｎｓnewによれば、Ｂｏｎｅnewとして表す目標骨格データを決定することができる。例示的には、この目標骨格データをベクトル形態で(Ｐｏｓnew，Ｓｃａｌｉｎｇnew，Ｔｒａｎｓnew)として表すことができる。 According to the target skeleton position data Pos new , the target skeleton scale data Scaling new , and the target skeleton rotation data Trans new obtained in (b1), (b2), and (b3) above, the target skeleton data expressed as Bone new is can decide. Illustratively, this target skeleton data can be represented in vector form as (Pos new , Scaling new , Trans new ).

複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルが決定された場合、目標スキン変形係数を生成するときに、例えば、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて前記目標スキン変形係数を生成するという方法を用いることができる。ここで、仮想顔モデルのスキン変形係数は、仮想顔モデルのスキンデータの予め生成された標準仮想顔モデルの標準スキンデータに対する変形を表す。 When a fitting coefficient corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style are determined, a target skin deformation coefficient is determined. When generating, for example, the target skin deformation coefficients are generated based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models. method can be used. Here, the skin deformation coefficient of the virtual face model represents the deformation of the skin data of the virtual face model with respect to the standard skin data of the standard virtual face model generated in advance.

図３に示すように、本発明の実施例ではさらに、目標スキン変形係数を取得するための具体的な方法が提案されており、該方法は、次のステップを含む。 As shown in FIG. 3, an embodiment of the present invention further proposes a specific method for obtaining a target skin deformation coefficient, which includes the following steps.

Ｓ３０１：複数の第２実顔モデルのそれぞれに対応するフィッティング係数を正規化処理する。 S301: Normalize the fitting coefficients corresponding to each of the plurality of second real face models.

複数の第２実顔モデルのそれぞれに対応するフィッティング係数を正規化処理する際に、例えば正規化関数(Ｓｏｆｔｍａｘ)を用いて確率値を求めて、複数の第２実顔モデルのそれぞれに対応するフィッティング係数の複数のフィッティング係数における割合を特徴付けることができ、正規化済みのフィッティング係数をＡｌｐｈａNormとして設定する。 When normalizing the fitting coefficients corresponding to each of the plurality of second real face models, a probability value is obtained using, for example, a normalization function (Softmax), and the probability value corresponding to each of the plurality of second real face models is The proportion of fitting coefficients in a plurality of fitting coefficients can be characterized, and the normalized fitting coefficients are set as the Alpha Norm .

例示的には、第２実顔モデルがＮ個ある場合、正規化処理して得られたフィッティング係数ＡｌｐｈａNormの次元がＮである。 For example, when there are N second real face models, N is the dimension of the fitting coefficient Alpha Norm obtained by normalization.

Ｓ３０２：正規化済みのフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに含まれるスキン変形係数を補間処理することで、目標スキン変形係数を取得する。 S302: Acquire target skin deformation coefficients by interpolating the skin deformation coefficients included in each of the plurality of virtual face models based on the normalized fitting coefficients.

ここでは、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を利用して、仮想顔モデルに含まれるスキン変形係数に対してそれぞれフィッティングを行い、得られたフィッティング結果は、複数の第２実顔モデルの仮想顔モデルに対する影響力を特徴付けて、目標スキン変形係数が生成されることができる。目標スキン変形係数により、例えば、得られた目標仮想顔モデルが目標画像における顔の太り具合の特徴と一致するように、顔の太り具合を調整することができる。 Here, using the fitting coefficients corresponding to each of the plurality of second real face models, fitting is performed on the skin deformation coefficients included in the virtual face model, and the obtained fitting results are used for the plurality of second real face models. Characterizing the influence of the real face model on the virtual face model, target skin deformation coefficients can be generated. The target skin deformation coefficients can be used to adjust the fatness of the face, for example, so that the resulting target virtual face model matches the fatness characteristics of the face in the target image.

例示的には、正規化済みの前記フィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する前記スキン変形係数を重み付け加算することで、複数の仮想顔モデルのそれぞれに対応するスキン変形係数を補間処理して、前記目標スキン変形係数を取得することができる。 Exemplarily, skin deformation coefficients corresponding to each of the plurality of virtual face models are obtained by weighted addition of the skin deformation coefficients corresponding to each of the plurality of virtual face models based on the normalized fitting coefficients. can be interpolated to obtain the target skin deformation coefficients.

正規化処理によって得られたフィッティング係数ＡｌｐｈａNormは、次元Ｎの第１ベクトルを表すことができ、Ｒ個の仮想顔モデルのそれぞれに対応するスキン変形係数は、次元Ｎ×Ｒの第２ベクトルを形成することができる。このとき、複数の前記仮想顔モデルのそれぞれに対応する前記スキン変形係数を重み付け加算し、例えば第１ベクトルと第２ベクトルを直接乗算して目標スキン変形係数を取得することができる。 The fitting coefficients Alpha Norm obtained by the normalization process can represent a first vector of dimension N, and the skin deformation coefficients corresponding to each of the R virtual face models can represent a second vector of dimension N×R. can be formed. At this time, the skin deformation coefficients corresponding to each of the plurality of virtual face models are weighted and added, for example, the first vector and the second vector are directly multiplied to obtain the target skin deformation coefficients.

例示的には、例えば以下の式によって、Ｂｌｅｎｄｓｈａｐｅ′として表される目標スキン変形係数を取得することができ、そして、Ｂｌｅｎｄｓｈａｐｅ′は、以下の数式(４)を満たす。
Ｂｌｅｎｄｓｈａｐｅ′＝Ｂｌｅｎｄｓｈａｐｅ×ＡｌｐｈａNorm （４） Illustratively, a target skin deformation coefficient represented as Blendshape' can be obtained, for example, by the following equation, and Blendshape' satisfies Equation (4) below.
Blendshape′=Blendshape×Alpha Norm (4)

上記したＳ１０４について、図４に示すように、本発明の実施例ではさらに、目標骨格データ及び目標スキン変形係数に基づいて第１実顔モデルに対応する目標仮想顔モデルを生成するための具体的な方法が提案されており、該方法は、次のステップを含む。 Regarding S104 described above, as shown in FIG. 4, in the embodiment of the present invention, a specific procedure for generating a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficient is performed. A method is proposed, which includes the following steps.

Ｓ４０１：目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいてスキンデータの位置変換処理を行うことで、中間スキンデータを生成する。 S401: Intermediate skin data is generated by performing position conversion processing of skin data based on the target skeleton data and the relationship between the standard skeleton data and the standard skin data in the standard virtual face model.

ここでは、標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係は、例えば、各階層の骨格に対応する標準骨格データと標準スキンデータとの関連関係である。この関連関係に基づき、仮想顔モデルにおける骨格にスキンをバインドすることができる。 Here, the relationship between the standard skeleton data and the standard skin data in the standard virtual face model is, for example, the relationship between the standard skeleton data and the standard skin data corresponding to the skeleton of each layer. Based on this association relationship, the skin can be bound to the skeleton in the virtual face model.

生成される目標スキンデータ中の階層骨格に対応する位置が対応する目標骨格データ中の位置と一致するように、目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係を利用して、複数の階層の骨格に対応する位置のスキンデータに対して位置変換処理を行ってもよく、このとき、例えば、位置変換処理済みのスキンデータを、生成される中間スキンデータとすることができる。 Target skeleton data and the relation between the standard skeleton data and the standard skin data in the standard virtual face model so that the position corresponding to the hierarchical skeleton in the generated target skin data matches the corresponding position in the target skeleton data. may be used to perform positional transformation processing on skin data at positions corresponding to the skeletons of multiple layers. can do.

Ｓ４０２：目標スキン変形係数に基づいて中間スキンデータの変形処理を行うことで、目標スキンデータを取得する。 S402: Acquire target skin data by transforming the intermediate skin data based on the target skin transformation coefficients.

Ｓ４０３：目標骨格データ及び目標スキンデータに基づいて目標仮想顔モデルを確立する。 S403: Establish a target virtual face model based on the target skeleton data and the target skin data.

ここでは、目標骨格データを利用して目標仮想顔モデルを確立するための各階層骨格を決定することができ、目標スキンデータを利用してモデルが骨格にバインドされるスキンを決定することができ、さらに、目標仮想顔モデルを確立することができる。 Here, the target skeleton data can be used to determine each hierarchical skeleton for establishing the target virtual face model, and the target skin data can be used to determine the skin to which the model is bound to the skeleton. , furthermore, a target virtual face model can be established.

目標仮想顔モデルを決定する方法は、目標骨格データ及び目標スキンデータに基づいて目標仮想顔モデルを直接確立する方法と、各階層骨格に対応する目標骨格データを利用して、第１実顔モデルにおける対応する各階層骨格のデータを置き換えてから、目標スキンデータを利用して目標仮想顔モデルを確立する方法とのうちの少なくとも１つを含む。目標仮想顔モデルを確立するための具体的な方法は、実際の状況に応じて決定することができ、ここで重複に説明しないものとする。 A method for determining a target virtual face model includes a method of directly establishing a target virtual face model based on target skeleton data and target skin data, and a method of directly establishing a target virtual face model based on target skeleton data and target skin data, and using target skeleton data corresponding to each hierarchical skeleton to generate a first real face model. and replacing data for each corresponding hierarchical skeleton in , and then utilizing the target skin data to establish a target virtual face model. The specific method for establishing the target virtual face model can be determined according to the actual situation and will not be described redundantly here.

本発明の実施例ではさらに、本発明の実施例で提案される顔再構築方法を利用して目標画像ＰｉｃAにおける初期顔Ａに対応する目標仮想顔モデルＭｏｄAimを取得する具体的なプロセスに関する説明が提供されている。 The embodiment of the present invention further relates to the specific process of obtaining the target virtual face model Mod Aim corresponding to the initial face A in the target image Pic A using the face reconstruction method proposed in the embodiment of the present invention. An explanation is provided.

目標仮想顔モデルＭｏｄAimの確立は、次のステップ（ｃ１）～（ｃ６）を含む。 Establishing the target virtual face model Mod Aim includes the following steps (c1) to (c6).

（ｃ１）素材を用意する。具体的には、標準仮想顔モデルの素材を用意することと、仮想ピクチャの素材を用意することと、を含む。 (c1) Prepare materials. Specifically, it includes preparing material for a standard virtual face model and preparing material for a virtual picture.

標準仮想顔モデルの素材を用意する際に、予め設定されたスタイルとしてカートゥーンスタイルを選択することを例にとって説明すると、先ずカートゥーンスタイルを有する標準仮想顔モデルＭｏｄBaseを設定する。 Taking the example of selecting a cartoon style as a preset style when preparing materials for a standard virtual face model, first, a standard virtual face model Mod Base having a cartoon style is set.

９組の予め設定されたスキン変形係数を生成する。ここで、９組のスキン変形係数のそれぞれを利用して、標準仮想顔モデルの標準スキンデータに対して異なる部位及び/又は異なる程度の変更を行うことをすれば、標準仮想顔の太り具合を調整することができ、ほとんどの顔型特徴をカバーすることができる。 Generate 9 sets of preset skin deformation coefficients. Here, if the standard skin data of the standard virtual face model is changed to different parts and/or different degrees using each of the nine sets of skin deformation coefficients, the thickness of the standard virtual face can be changed. It is adjustable and can cover most facial features.

仮想ピクチャの素材を用意する際に、２４枚の仮想ピクチャＰｉｃ1～Ｐｉｃ24を収集する。収集した２４枚の仮想ピクチャは、仮想顔Ｂ1～Ｂ24に対応する男女の数が平衡しており、できるだけ広範な五官特徴分布を含んでいる。 When preparing virtual picture materials, 24 virtual pictures Pic 1 to Pic 24 are collected. The collected 24 virtual pictures have a balanced number of males and females corresponding to the virtual faces B 1 to B 24 and contain the widest possible distribution of five sensory features.

（ｃ２）顔モデルを再構築する。具体的には、目標画像ＰｉｃAにおける初期顔Ａを利用して第１実顔モデルＭｏｄfstを生成することと、仮想ピクチャ中の仮想顔Ｂ1～Ｂ24を利用して第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を生成することと、を含む。 (c2) reconstruct the face model; Specifically, the first real face model Mod fst is generated using the initial face A in the target image Pic A , and the second real face model Mod fst is generated using the virtual faces B 1 to B 24 in the virtual picture. generating Mod snd-1 through Mod snd-24 .

初期顔Ａを利用して第１実顔モデルＭｏｄfstを生成する際に、先ず目標画像における顔の向きを正しくして切り取って、その次に予めトレーニングされたＲＧＢ再構築ニューラルネットワークを利用して、初期顔Ａに対応する第１実顔モデルＭｏｄfstを生成する。同様に、予めトレーニングされたＲＧＢ再構築ニューラルネットワークを利用して、仮想顔Ｂ1～Ｂ24のそれぞれに対応する第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を確立することができる。 When generating the first real face model Mod fst using the initial face A, first correct the orientation of the face in the target image and clip it, and then use the pre-trained RGB reconstruction neural network to generate , a first real face model Mod fst corresponding to the initial face A is generated. Similarly, a pretrained RGB reconstruction neural network can be utilized to establish second real face models Mod snd-1 through Mod snd-24 corresponding to virtual faces B 1 through B 24 , respectively.

第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を確立した後、予め設定されたスタイルを利用して、手動調整で、第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24のそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24を確立することをさらに含む。 After establishing the second real face models Mod snd-1 to Mod snd-24 , using preset styles, manually adjust the second real face models Mod snd-1 to Mod snd-24 respectively. It further includes establishing virtual face models Mod fic-1 to Mod fic-24 with corresponding and preset styles.

また、予め設定された９組のスキン変形係数に基づいて２４個の仮想顔モデルのスキン変形係数を生成することをさらに含む。 The method further includes generating skin deformation coefficients of the 24 virtual face models based on the preset 9 sets of skin deformation coefficients.

（ｃ３）フィッティング処理を行う。具体的には、複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数ａｌｐｈａ＝［ａｌｐｈａsnd-1，ａｌｐｈａsnd-2，・・・，ａｌｐｈａsnd-24］を取得することを含む。 (c3) Perform fitting processing. Specifically, by performing the fitting process of the first real face model using the plurality of second real face models, the fitting coefficient alpha=[alpha snd-1 , alpha_snd -2 , . . . , alpha_snd -24 ].

複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行う際に、最小二乗法を選択してフィッティングを行うことで、２４次元係数ａｌｐｈａを取得する。 When fitting the first real face model using a plurality of second real face models, the 24-dimensional coefficient alpha is obtained by performing the fitting by selecting the least squares method.

（ｃ４）目標スキン変形係数を決定する。具体的には、目標スキン変形係数を決定する際に、次の(ｃ４-１)、(ｃ４-２)、及び(ｃ４-３)を含む。 (c4) Determining target skin deformation coefficients. Specifically, the following (c4-1), (c4-2), and (c4-3) are included when determining the target skin deformation coefficient.

（ｃ４-１）予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24のそれぞれに対応するスキン変形係数ｂｌｅｎｄｓｈａｐｅfic-1～ｂｌｅｎｄｓｈａｐｅfic-24を読み取る。 (c4-1) Read skin deformation coefficients blendshape fic-1 to blendshape fic-24 corresponding to virtual face models Mod fic-1 to Mod fic-24 having preset styles.

（ｃ４-２）複数の第２実顔モデルのそれぞれに対応するフィッティング係数ａｌｐｈａを正規化処理する。 (c4-2) Normalize the fitting coefficient alpha corresponding to each of the plurality of second real face models.

（ｃ４-３）複数の第２実顔モデルのそれぞれに対応するフィッティング係数ａｌｐｈａを利用して、複数の仮想顔モデルのそれぞれに含まれるスキン変形係数ｂｌｅｎｄｓｈａｐｅfic-1～ｂｌｅｎｄｓｈａｐｅfic-24を補間処理することで、目標スキン変形係数ｂｌｅｎｄｓｈａｐｅAimを生成する。 (c4-3) Using the fitting coefficient alpha corresponding to each of the plurality of second real face models, interpolate the skin deformation coefficients blendshape fic-1 to blendshape fic-24 included in each of the plurality of virtual face models. By doing so, the target skin deformation coefficient blendshape Aim is generated.

（ｃ５）目標骨格データを決定する。具体的には、目標骨格データを決定する際に、次の(ｃ５-１)及び(ｃ５-２)を含む。 (c5) Determine target skeleton data. Specifically, the following (c5-1) and (c5-2) are included when determining the target skeleton data.

（ｃ５-１）骨格データを読み取る。ここで、骨格データは、各階層骨格Ｂｏｎｅiにおける予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24のそれぞれに対応する骨格位置データＰｏｓi、骨格スケールデータＳｃａｌｉｎｇi、及び骨格回転データＴｒａｎｓiを含む。 (c5-1) Read skeleton data. Here, the skeletal data includes skeletal position data Posi, skeletal scale data Scaling i , and skeletal scale data Scaling i corresponding to virtual face models Modfic -1 to Modfic-24 having preset styles in each hierarchical skeleton Bone i . Contains skeletal rotation data Trans i .

（ｃ５-２）フィッティング係数ａｌｐｈａを利用して予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24のそれぞれに対応する骨格データを補間処理することで、目標骨格データＢｏｎｅnewを生成する。この目標骨格データは、目標骨格位置データＰｏｓnew、目標骨格スケールデータＳｃａｌｉｎｇnew、及び目標骨格回転データＴｒａｎｓnewを含む。 (c5-2) The target skeleton data Bone new is obtained by interpolating the skeleton data corresponding to each of the virtual face models Mod fic-1 to Mod fic-24 having a style set in advance using the fitting coefficient alpha. to generate This target skeleton data includes target skeleton position data Posnew , target skeleton scale data Scalingnew , and target skeleton rotation data Transnew .

（ｃ６）目標仮想顔モデルを生成する。 (c6) Generate a target virtual face model.

目標骨格データ及び目標スキン変形係数に基づき、目標骨格データを標準仮想顔モデルＭｏｄBaseに代入するとともに、目標スキン変形係数ｂｌｅｎｄｓｈａｐｅAimを利用してスキンを骨格にフィットさせて、第１実顔モデルに対応する目標仮想顔モデルを生成する。 Based on the target skeleton data and the target skin deformation coefficient, the target skeleton data is substituted into the standard virtual face model Mod Base , and the target skin deformation coefficient blendshape Aim is used to fit the skin to the skeleton to form the first real face model. Generate a corresponding target virtual face model.

図５に示すように、本発明の実施例で提案される上記した具体的な例示に含まれる複数のプロセスにおいて使用される具体的なデータの例示である。具体的には、図５のａは、目標画像を示し、５１は、初期顔Ａを示し、図５のｂは、カートゥーンスタイルを有する標準仮想顔モデルを示す概略図であり、図５のｃは、目標スキン変形係数を用いて標準スキンデータ中の各位置ポイントを調整して得られた目標スキンデータ中の各位置ポイントの相対位置関係を示す概略図であり、図５のｄは、初期顔Ａに対応して生成された目標仮想顔モデルを示す概略図である。 As shown in FIG. 5, it is an illustration of specific data used in multiple processes included in the above specific examples proposed in the embodiments of the present invention. Specifically, FIG. 5a shows the target image, 51 shows the initial face A, FIG. 5b is a schematic diagram showing a standard virtual face model with cartoon style, FIG. is a schematic diagram showing the relative positional relationship of each position point in the target skin data obtained by adjusting each position point in the standard skin data using the target skin deformation coefficient, and FIG. 4 is a schematic diagram showing a target virtual face model generated corresponding to face A; FIG.

ここでは、上記したステップ(ｃ１)～(ｃ６)は、顔再構築の実行方法の具体的な一例示に過ぎず、本発明の実施例で提案される顔再構築方法を制限するものではない点に留意すべきである。 Here, the steps (c1) to (c6) described above are only a specific example of the face reconstruction execution method, and do not limit the face reconstruction method proposed in the embodiments of the present invention. It should be noted that

当分野の技術者にとっては、具体的な実施形態で記載された上記した方法において、各ステップの記載順序は、実施プロセスを制限するような厳密な実行順序を意味するものではなく、各ステップの具体的な実行順序は、その機能及び可能的な固有ロジックによって決定されるとは、理解されるべきであろう。 For those skilled in the art, in the above methods described in specific embodiments, the described order of each step does not imply a strict order of execution that limits the implementation process, but rather It should be understood that the specific order of execution is determined by its functionality and possible inherent logic.

本発明の実施例ではさらに、上記と同じ発明の構想に基づく、顔再構築方法に対応する顔再構築装置が提案されている。本発明の実施例における装置に係る問題解決原理は、本発明の実施例における上記した顔再構築方法と類似するので、装置の実施は方法の実施を参照でき、重複点についてこれ以上説明しないものとする。 An embodiment of the present invention further proposes a face reconstruction device corresponding to the face reconstruction method based on the same inventive concept as above. Since the problem-solving principle of the apparatus in the embodiments of the present invention is similar to the face reconstruction method described above in the embodiments of the present invention, the implementation of the apparatus can refer to the implementation of the method, and the duplication will not be described further. and

図６に示すように、本発明の実施例では顔再構築装置が提案されており、前記装置は、第１生成モジュール６１、処理モジュール６２、第２生成モジュール６３、及び第３生成モジュール６４を含む。 As shown in FIG. 6, a face reconstruction device is proposed in an embodiment of the present invention, said device comprises a first generation module 61, a processing module 62, a second generation module 63 and a third generation module 64. include.

第１生成モジュール６１：目標画像に基づいて第１実顔モデルを生成するように構成される。 First generation module 61: configured to generate a first real face model based on the target image.

処理モジュール６２：予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される。 Processing module 62: obtains fitting coefficients corresponding to each of the plurality of second real face models by performing fitting processing of the first real face model using a plurality of second real face models generated in advance. configured as

第２生成モジュール６３：前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成するように構成される。 a second generation module 63: based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style; , to generate target skeletal data and target skin deformation coefficients.

第３生成モジュール６４：前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するように構成される。 A third generation module 64: configured to generate a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients.

選択的な一実施形態では、前記仮想顔モデルには、前記仮想顔モデルのスキンデータの予め生成された標準仮想顔モデルの標準スキンデータに対する変形を示すスキン変形係数が含まれている。 In an optional embodiment, the virtual face model includes skin deformation coefficients that indicate deformation of skin data of the virtual face model relative to standard skin data of a pre-generated standard virtual face model.

前記第２生成モジュール６３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標スキン変形係数を生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成することに用いられる。 The second generation module 63 generates a virtual face model having a fitting coefficient corresponding to each of the plurality of second real face models and a preset style corresponding to each of the plurality of second real face models. based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models, when generating target skin deformation coefficients based on the target Used to generate skin deformation coefficients.

選択的な一実施形態では、前記第２生成モジュール６３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を正規化処理することと、正規化処理済みのフィッティング係数、及び前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて前記目標スキン変形係数を取得することと、に用いられる。 In an optional embodiment, the second generation module 63 generates a skin deformation coefficient based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models. , when generating the target skin deformation coefficients, normalizing the fitting coefficients corresponding to each of the plurality of second real face models; and each of the normalized fitting coefficients and the virtual face model. obtaining the target skin deformation coefficients based on the skin deformation coefficients contained in .

選択的な一実施形態では、前記第３生成モジュール６４は、前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成する際に、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて前記標準スキンデータの位置変換処理を行うことで、中間スキンデータを生成することと、前記目標スキン変形係数に基づいて前記中間スキンデータの変形処理を行うことで、目標スキンデータを取得することと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、に用いられる。 In an optional embodiment, the third generation module 64, when generating a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients, includes the Generating intermediate skin data by performing a position conversion process on the standard skin data based on the target skeleton data and the relation between the standard skeleton data and the standard skin data in the standard virtual face model; and transforming the target skin. Acquiring target skin data by transforming the intermediate skin data based on coefficients, and generating the target virtual face model based on the target skeleton data and the target skin data. be done.

選択的な一実施形態では、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つを含む。 In an optional embodiment, the target skeletal data includes at least one of target skeletal position data, target skeletal scale data, and target skeletal rotation data.

前記仮想顔モデルに対応する骨格データは、仮想顔における複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つを含む。 The skeleton data corresponding to the virtual face model includes at least one of skeleton rotation data, skeleton position data, and skeleton scale data corresponding to each of a plurality of facial skeletons in the virtual face.

選択的な一実施形態では、前記第２生成モジュール６３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することに用いられる。 In an optional embodiment, the second generating module 63 generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset a skeleton corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models when generating target skeleton data based on the virtual face model having the style Interpolating the position data is used to acquire the target skeleton position data.

選択的な一実施形態では、前記第２生成モジュール６３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することに用いられる。 In an optional embodiment, the second generating module 63 generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset a skeleton corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models when generating target skeleton data based on the virtual face model having the style It is used to acquire the target skeleton scale data by interpolating the scale data.

選択的な一実施形態では、前記第２生成モジュール６３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成する際に、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する前記正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、に用いられる。 In an optional embodiment, the second generating module 63 generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset When generating target skeletal data based on a virtual face model having a style that is unique to each of the plurality of virtual face models, the skeletal rotation data corresponding to each of the plurality of virtual face models is converted into a quaternion, and each of the plurality of virtual face models obtaining a normalized quaternion by normalizing the quaternion corresponding to the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models; obtaining the target skeleton rotation data by interpolating the corresponding normalized quaternions.

選択的な一実施形態では、前記第１生成モジュール６１は、目標画像に基づいて第１実顔モデルを生成する際に、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、に用いられる。 In an optional embodiment, the first generating module 61, when generating the first real face model based on the target image, obtains a target image including an initial face, and includes and obtaining the first real face model by performing three-dimensional face reconstruction on the initial face.

選択的な一実施形態では、前記処理モジュール６２は、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する第２実顔モデルを取得する、ことにより、前記複数の第２実顔モデルを予め生成する。 In an optional embodiment, the processing module 62 obtains a plurality of reference images containing reference faces, and for each of the plurality of reference images, 3-dimensionally maps the reference faces contained in the reference images. and obtaining a second real face model corresponding to the reference image, thereby generating the plurality of second real face models in advance.

選択的な一実施形態では、当該顔再構築装置は、前記複数の第２実顔モデルのそれぞれについて、前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する中間仮想顔モデルを生成し、標準仮想顔モデルに対する複数組の予め設定されたスキン変形係数に基づいて、前記第２実顔モデルに対応する仮想顔モデルの前記標準仮想顔モデルに対するスキン変形係数を生成し、前記スキン変形係数を利用して前記中間仮想顔モデルにおける中間スキンデータを調整し、調整済みの中間スキンデータ、及び前記中間仮想顔モデルの中間骨格データに基づいて前記第２実顔モデルの仮想顔モデルを生成する、ことにより、前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する仮想顔モデルを取得するように構成される取得モジュール６５をさらに含む。 In an optional embodiment, the face reconstruction device generates, for each of the plurality of second real face models, an intermediate virtual face model corresponding to the second real face model and having a preset style. and generating skin deformation coefficients of a virtual face model corresponding to the second real face model with respect to the standard virtual face model, based on a plurality of sets of preset skin deformation coefficients for the standard virtual face model, and Adjusting the intermediate skin data in the intermediate virtual face model using coefficients to generate a virtual face model of the second real face model based on the adjusted intermediate skin data and the intermediate skeleton data of the intermediate virtual face model. further comprising an obtaining module 65 configured to obtain a virtual face model corresponding to said second real face model and having a preset style, by doing so.

選択的な一実施形態では、前記処理モジュール６２は、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、前記複数の第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することに用いられる。 In an alternative embodiment, the processing module 62 performs the fitting process of the first real face model using a plurality of pre-generated second real face models to generate a plurality of second real face models. When obtaining fitting coefficients corresponding to each of the plurality of second real face models and the first real face model, by performing least-squares processing on each of the plurality of second real face models, used to obtain the corresponding fitting coefficients.

装置に係る各モジュールの処理プロセス及び各モジュール間の相互作用プロセスに関する記述は、上記した方法実施例における関連記述を参照でき、ここでは詳しく説明しないものとする。 The description of the processing process of each module and the interaction process between each module in the apparatus can refer to the related descriptions in the above method embodiments and will not be described in detail herein.

図７に示すように、本発明の実施例ではさらに、プロセッサ７１及びメモリ７２を含むコンピュータデバイスが提案されている。 As shown in FIG. 7, embodiments of the present invention further propose a computing device including a processor 71 and a memory 72 .

メモリ７２には、プロセッサ７１で実行できる機械読み取り可能な命令が格納されており、プロセッサ７１は、メモリ７２に格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令がプロセッサ７１で実行される際に、プロセッサ７１は、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成するステップと、前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するステップと、を実行することとなる。 The memory 72 stores machine-readable instructions executable by the processor 71, the processor 71 being configured to execute the machine-readable instructions stored in the memory 72, the machine-readable instructions is executed by the processor 71, the processor 71 generates a first real face model based on the target image; obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing model fitting processing; fitting coefficients corresponding to each of the plurality of second real face models; generating target skeletal data and target skin deformation coefficients based on a virtual face model corresponding to each of two real face models and having a preset style; and generating a target virtual face model corresponding to the first real face model.

上記したメモリ７２は、内部メモリ７２１及び外部メモリ７２２を含む。ここでの内部メモリ７２１は、内蔵メモリとも呼ばれ、プロセッサ７１における演算データ、及びハードディスク等の外部メモリ７２２との交換データを一時的に格納するように構成され、プロセッサ７１は、内部メモリ７２１を介して外部メモリ７２２とのデータ交換を行うように構成される。 The memory 72 described above includes an internal memory 721 and an external memory 722 . The internal memory 721 here is also called a built-in memory, and is configured to temporarily store computation data in the processor 71 and data exchanged with an external memory 722 such as a hard disk. It is configured to exchange data with an external memory 722 via.

上記した命令の具体的な実行プロセスは、本発明の実施例で説明した顔再構築方法を参照でき、ここで重複に説明しないものとする。 The specific execution process of the above instructions can refer to the face reconstruction method described in the embodiments of the present invention, and will not be described repeatedly here.

本発明の実施例ではさらに、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、当該コンピュータ・プログラムがプロセッサで実行される際に、上記した方法実施例で説明した顔再構築方法が実施されることとなる、コンピュータ読み取り可能な記憶媒体が提案されている。また、当該記憶媒体は、揮発性もしくは不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。 Embodiments of the present invention further include a computer readable storage medium having a computer program stored thereon, which, when the computer program is executed by a processor, performs the face reconstruction method described in the above method embodiment. A computer readable storage medium is proposed on which is implemented. Also, the storage medium may be a volatile or non-volatile computer-readable storage medium.

本発明の実施例ではさらに、プログラムコードを含むコンピュータ・プログラム製品が提案されており、前記プログラムコードに含まれる命令によって上記した方法実施例で説明した顔再構築方法を実施することができる。具体的には上記した方法実施例を参照でき、ここで重複に説明しないものとする。 An embodiment of the present invention further proposes a computer program product comprising program code, instructions contained in said program code being able to implement the face reconstruction method described in the above method embodiment. Specifically, reference can be made to the above method embodiments, which will not be repeated here.

また、上記したコンピュータ・プログラム製品は具体的に、ハードウェア、ソフトウェア又はそれらの組み合わせで実現することができる。選択的な一実施例では、前記コンピュータ・プログラム製品は、コンピュータ記憶媒体として具現化しているが、選択的な別の一実施例では、コンピュータ・プログラム製品は、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ)等のソフトウェア製品として具現化している。 Also, the computer program products described above can be specifically implemented in hardware, software, or a combination thereof. In an alternative embodiment, said computer program product is embodied as a computer storage medium, while in another alternative embodiment, the computer program product is, for example, a Software Development Kit. SDK) and other software products.

記述の便利及び簡潔のため、上記したシステム及び装置の具体的な作業プロセスは、上記した方法実施例における対応プロセスを参照できるとは、当分野の技術者には明白であろう。ここでは、重複に説明しないものとする。本発明で提案される幾つかの実施例では、披露されたシステム、装置、及び方法が他の形態で実現され得ることは、理解されるべきであろう。上記した装置実施例は、単なる例示的なものに過ぎず、例えば、上記したユニットの区画は、単なる論理的な機能の区画に過ぎず、実際の実施時、他の区画方法が存在してもよく、また例えば、複数のユニットまたは構成要素が別のシステムに組み合わせられたり集成されたりすることができ、一部の特徴が無視されたり実行されなかったりすることもできる。また、表示または討論される相互結合または直接結合または通信接続は、幾つかのインターフェース、装置またはユニットを介した間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。 It will be obvious to those skilled in the art that, for convenience and brevity of description, the specific working processes of the above systems and devices can refer to the corresponding processes in the above method embodiments. Here, redundant description is omitted. It should be understood that in some of the embodiments proposed by the present invention, the disclosed systems, devices and methods may be embodied in other forms. The above-described device embodiments are merely exemplary, for example, the above-described unit partitions are merely logical functional partitions, and other partitioning methods may exist in actual implementation. Well, for example, multiple units or components may be combined or aggregated into another system, and some features may be ignored or not performed. Also, any mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, be it electrical, mechanical or otherwise. may

分離部品として説明する前記ユニットは、物理的に分離したものであってもなくてもよく、ユニットとして表される部品は、物理ユニットであってもなくてもよく、即ち、同一の箇所に位置しても、複数のネットワークユニットに配置されてもよい。本実施例に係る技術案の目的を実現するために、実際の必要に応じて上記したユニットから一部または全部を選択することができる。 The units described as separate parts may or may not be physically separate, and the parts represented as units may or may not be physical units, i.e., co-located. may be located in multiple network units. In order to achieve the purpose of the technical solution of this embodiment, some or all of the above units can be selected according to actual needs.

また、本発明の各実施例における各機能ユニットについては、全てのユニットが１つの処理ユニットに集成されてもよいし、各ユニットが単独で物理的に存在してもよいし、２つ以上のユニットが１つのユニットに集成されてもよい。 Also, with respect to each functional unit in each embodiment of the present invention, all units may be aggregated into one processing unit, each unit may physically exist independently, or two or more processing units may exist. Units may be aggregated into one unit.

上記した機能は、ソフトウェア機能ユニットの形態で実現され、かつ独立した製品として販売されるかまたは使用される場合、プロセッサで実行できる不揮発性のコンピュータ読み取り可能な記憶媒体に格納され得る。このような理解を基に、本発明に係る技術案は本質的に、換言すれば従来技術に貢献する部分又は当該技術案の一部がソフトウェア製品の形態で体現でき、当該コンピュータソフトウェア製品は、記憶媒体に格納され、１台のコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイス等であってもよい）に本発明の各実施例で説明した方法におけるステップの全部又は一部を実行させるための若干の命令を含む。上記した記憶媒体としては、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを記憶可能な各種媒体が挙げられる。 The functionality described above may be implemented in the form of software functional units and stored in a non-volatile computer-readable storage medium executable by a processor when sold or used as a stand-alone product. Based on this understanding, the technical solution according to the present invention can essentially be embodied in the form of a software product, in other words, the part that contributes to the prior art or a part of the technical solution, and the computer software product is: a computer device (which may be a personal computer, a server, a network device, etc.) stored in a storage medium for executing all or part of the steps in the method described in each embodiment of the present invention; Contains some instructions. Examples of the above-mentioned storage medium include U disk, mobile hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk, optical disk, etc., which can store program code. media.

最後に説明したいこととして、上記した実施例は、単なる本発明の具体的な実施形態に過ぎず、本発明に係る技術案を説明するためのものであり、それを制限するものでなく、本発明の保護範囲は、上記した実施例に制限されるものではない。上記した実施例を参照して本発明について詳しく説明したが、当分野の通常の技術者にとっては、本技術分野に熟知する任意の技術者であれば、本発明に披露された技術範囲内で、上記した実施例に記載された技術案を補正したり、その変更に容易に想到したり、その一部の技術特徴について同等な置換を行ったりすることができ、これらの修正、変更または置換は、関連する技術案の本質が本発明の実施例に係る技術案の精神及び範囲から逸脱したことを招来するものでないため、本発明の保護範囲内に含まれるとは、理解されるべきであろう。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲を基準とするものとする。 Finally, I would like to explain that the above-mentioned examples are merely specific embodiments of the present invention, and are for the purpose of explaining the technical solution of the present invention, and not for limiting it. The scope of protection of the invention is not restricted to the embodiments described above. Although the present invention has been described in detail with reference to the above examples, it will be appreciated by those of ordinary skill in the art that any person familiar with the art may make modifications within the scope of the techniques disclosed in the present invention. , the technical proposals described in the above examples can be corrected, modifications thereof can be easily conceived, and equivalent replacements can be made for some of the technical features thereof, and these modifications, changes or replacements does not cause the essence of the relevant technical solution to deviate from the spirit and scope of the technical solution according to the embodiments of the present invention, and thus fall within the protection scope of the present invention. be. Therefore, the protection scope of the present invention shall be based on the protection scope of the claims.

本特許出願は、２０２０年１１月２５日に提出された、出願番号が２０２０１１３３７９０１.１、発明の名称が「顔再構築方法、装置、コンピュータデバイス、及び記憶媒体」である中国特許出願の優先権を主張しており、当該中国特許出願が援用により本明細書に組み込まれるものとする。 This patent application takes priority from a Chinese patent application with application number 202011337901.1 entitled "Face Reconstruction Method, Apparatus, Computer Device and Storage Medium" filed on November 25, 2020 and the Chinese patent application is incorporated herein by reference.

Claims (15)

目標画像に基づいて第１実顔モデルを生成するステップと、
予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成するステップと、
前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するステップと、を含む、
ことを特徴とする顔再構築方法。 generating a first real face model based on the target image;
obtaining fitting coefficients corresponding to each of a plurality of second real face models by performing fitting processing of the first real face model using a plurality of second real face models generated in advance;
Based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style, target skeleton data and target generating skin deformation coefficients;
generating a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients;
A face reconstruction method characterized by: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標スキン変形係数を生成するステップは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成することを含む、
ことを特徴とする請求項１に記載の顔再構築方法。 Target skin deformation coefficients are determined based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style. The steps to generate
generating the target skin deformation coefficients based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models;
The face reconstruction method according to claim 1, characterized in that: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて、前記目標スキン変形係数を生成することは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を正規化処理することと、
正規化処理済みのフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに含まれるスキン変形係数に基づいて前記目標スキン変形係数を取得することと、を含む、
ことを特徴とする請求項２に記載の顔再構築方法。 generating the target skin deformation coefficients based on fitting coefficients corresponding to each of the plurality of second real face models and skin deformation coefficients included in each of the plurality of virtual face models;
normalizing fitting coefficients corresponding to each of the plurality of second real face models;
obtaining the target skin deformation coefficients based on normalized fitting coefficients and skin deformation coefficients included in each of the plurality of virtual face models;
3. The face reconstruction method according to claim 2, wherein: 前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するステップは、
前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて前記標準スキンデータの位置変換処理を行うことで、中間スキンデータを生成することと、
前記目標スキン変形係数に基づいて前記中間スキンデータの変形処理を行うことで、目標スキンデータを取得することと、
前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを確立することと、を含む、
ことを特徴とする請求項１乃至３の何れか一項に記載の顔再構築方法。 generating a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients;
generating intermediate skin data by performing a position conversion process on the standard skin data based on the target skeleton data and the relationship between the standard skeleton data and the standard skin data in the standard virtual face model;
obtaining target skin data by performing a deformation process on the intermediate skin data based on the target skin deformation coefficient;
establishing the target virtual face model based on the target skeleton data and the target skin data;
4. The face reconstruction method according to any one of claims 1 to 3, characterized in that: 前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つを含み、
複数の前記仮想顔モデルのそれぞれに対応する骨格データは、仮想顔の複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つを含む、
ことを特徴とする請求項１乃至４の何れか一項に記載の顔再構築方法。 the target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data;
the skeleton data corresponding to each of the plurality of virtual face models includes at least one of skeleton rotation data, skeleton position data, and skeleton scale data corresponding to each of the plurality of facial skeletons of the virtual face;
5. The face reconstruction method according to any one of claims 1 to 4, characterized in that: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成するステップは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することを含む、
ことを特徴とする請求項５に記載の顔再構築方法。 Generating target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style. The steps to do are
obtaining the target skeleton position data by interpolating skeleton position data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. ,
6. The face reconstruction method according to claim 5, wherein: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成するステップは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することを含む、
ことを特徴とする請求項５または６に記載の顔再構築方法。 Generating target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style. The steps to do are
obtaining the target skeletal scale data by interpolating skeletal scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. ,
7. The face reconstruction method according to claim 5 or 6, characterized in that: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データを生成するステップは、
複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する前記正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、を含む、
ことを特徴とする請求項５乃至７の何れか一項に記載の顔再構築方法。 Generating target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style. The steps to do are
converting skeletal rotation data corresponding to each of the plurality of virtual face models into a quaternion, and normalizing the quaternion corresponding to each of the plurality of virtual face models to obtain a normalized quaternion; to obtain;
Obtaining the target skeleton rotation data by interpolating the normalized quaternion corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. including
8. The face reconstruction method according to any one of claims 5 to 7, characterized in that: 目標画像に基づいて第１実顔モデルを生成するステップは、
初期顔を含む目標画像を取得することと、
前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、を含む、
ことを特徴とする請求項１乃至８の何れか一項に記載の顔再構築方法。 Generating a first real face model based on the target image comprises:
obtaining a target image containing an initial face;
obtaining the first real face model by performing three-dimensional face reconstruction on the initial face contained in the target image;
The face reconstruction method according to any one of claims 1 to 8, characterized in that: 参照顔を含む複数枚の参照画像を取得し、
前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、
前記複数の第２実顔モデルを予め生成する、
ことを特徴とする請求項１乃至９の何れか一項に記載の顔再構築方法。 Acquire multiple reference images containing a reference face,
For each of the plurality of reference images, performing three-dimensional face reconstruction on the reference face included in the reference image to obtain the second real face model corresponding to the reference image,
pre-generating the plurality of second real face models;
The face reconstruction method according to any one of claims 1 to 9, characterized in that: 前記複数の第２実顔モデルのそれぞれについて、
前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する中間仮想顔モデルを生成し、
標準仮想顔モデルに対する複数組の予め設定されたスキン変形係数に基づいて、前記第２実顔モデルに対応する仮想顔モデルの前記標準仮想顔モデルに対するスキン変形係数を生成し、
前記スキン変形係数を利用して前記中間仮想顔モデルにおける中間スキンデータを調整し、
調整済みの中間スキンデータ、及び前記中間仮想顔モデルの中間骨格データに基づいて、前記第２実顔モデルの仮想顔モデルを生成する、ことにより、
前記第２実顔モデルに対応し且つ予め設定されたスタイルを有する仮想顔モデルを取得することをさらに含む、
ことを特徴とする請求項１乃至１０の何れか一項に記載の顔再構築方法。 For each of the plurality of second real face models,
generating an intermediate virtual face model corresponding to the second real face model and having a preset style;
generating skin deformation coefficients of a virtual face model corresponding to the second real face model with respect to the standard virtual face model based on a plurality of sets of preset skin deformation coefficients with respect to the standard virtual face model;
adjusting intermediate skin data in the intermediate virtual face model using the skin deformation coefficient;
generating a virtual face model of the second real face model based on adjusted intermediate skin data and intermediate skeleton data of the intermediate virtual face model;
further comprising obtaining a virtual face model corresponding to the second real face model and having a preset style;
The face reconstruction method according to any one of claims 1 to 10, characterized in that: 前記予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップは、
前記複数の第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することを含む、
ことを特徴とする請求項１乃至１１の何れか一項に記載の顔再構築方法。 The step of obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing fitting processing of the first real face model using the plurality of second real face models generated in advance,
obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing least-squares processing on the plurality of second real face models and the first real face model;
The face reconstruction method according to any one of claims 1 to 11, characterized in that: 目標画像に基づいて第１実顔モデルを生成するように構成される第１生成モジュールと、
予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される処理モジュールと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標骨格データ及び目標スキン変形係数を生成するように構成される第２生成モジュールと、
前記目標骨格データ及び前記目標スキン変形係数に基づいて、前記第１実顔モデルに対応する目標仮想顔モデルを生成するように構成される第３生成モジュールと、を含む、
ことを特徴とする顔再構築装置。 a first generation module configured to generate a first real face model based on the target image;
Fitting processing of the first real face model is performed using a plurality of second real face models generated in advance, thereby obtaining fitting coefficients corresponding to each of the plurality of second real face models. a processing module that
Based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style, target skeleton data and target a second generation module configured to generate skin deformation coefficients;
a third generation module configured to generate a target virtual face model corresponding to the first real face model based on the target skeleton data and the target skin deformation coefficients;
A face reconstruction device characterized by: プロセッサ及びメモリを含むコンピュータデバイスであって、
前記メモリには、前記プロセッサで実行できる機械読み取り可能な命令が格納されており、前記プロセッサは、前記メモリに格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令が前記プロセッサで実行されるとき、前記プロセッサは、請求項１乃至１２の何れか一項に記載の顔再構築方法を実施する、コンピュータデバイス。 A computer device comprising a processor and memory,
The memory stores machine-readable instructions executable by the processor, the processor is configured to execute the machine-readable instructions stored in the memory, and the machine-readable instructions are is executed on the processor, the processor implements the face reconstruction method according to any one of claims 1 to 12. コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ・プログラムがコンピュータデバイスで実行されるとき、前記コンピュータデバイスは、請求項１乃至１２の何れか一項に記載の顔再構築方法を実施する、コンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium storing a computer program,
A computer-readable storage medium, wherein the computer device implements the face reconstruction method according to any one of claims 1 to 12 when the computer program is run on a computer device.
JP2022520004A 2020-11-25 2021-06-25 Face reconstruction method, apparatus, computer device, and storage medium Pending JP2023507863A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011337901.1A CN112419454B (en) 2020-11-25 2020-11-25 Face reconstruction method, device, computer equipment and storage medium
CN202011337901.1 2020-11-25
PCT/CN2021/102431 WO2022110791A1 (en) 2020-11-25 2021-06-25 Method and apparatus for face reconstruction, and computer device, and storage medium

Publications (1)

Publication Number Publication Date
JP2023507863A true JP2023507863A (en) 2023-02-28

Family

ID=74842193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022520004A Pending JP2023507863A (en) 2020-11-25 2021-06-25 Face reconstruction method, apparatus, computer device, and storage medium

Country Status (5)

Country Link
JP (1) JP2023507863A (en)
KR (1) KR20220075339A (en)
CN (1) CN112419454B (en)
TW (1) TWI773458B (en)
WO (1) WO2022110791A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419454B (en) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 Face reconstruction method, device, computer equipment and storage medium
CN113160418A (en) * 2021-05-10 2021-07-23 上海商汤智能科技有限公司 Three-dimensional reconstruction method, device and system, medium and computer equipment
CN113808249B (en) * 2021-08-04 2022-11-25 北京百度网讯科技有限公司 Image processing method, device, equipment and computer storage medium
CN113610992B (en) * 2021-08-04 2022-05-20 北京百度网讯科技有限公司 Bone driving coefficient determining method and device, electronic equipment and readable storage medium
CN113805532B (en) * 2021-08-26 2023-05-23 福建天泉教育科技有限公司 Method and terminal for manufacturing physical robot actions
CN114529640B (en) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 Moving picture generation method, moving picture generation device, computer equipment and storage medium
CN114693876A (en) * 2022-04-06 2022-07-01 北京字跳网络技术有限公司 Digital human generation method, device, storage medium and electronic equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204089A1 (en) * 2013-01-18 2014-07-24 Electronics And Telecommunications Research Institute Method and apparatus for creating three-dimensional montage
JP2014211719A (en) * 2013-04-17 2014-11-13 キヤノン株式会社 Apparatus and method for information processing
CN110111417A (en) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 Generation method, device and the equipment of three-dimensional partial body's model
CN111695471A (en) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 Virtual image generation method, device, equipment and storage medium
CN111714885A (en) * 2020-06-22 2020-09-29 网易（杭州）网络有限公司 Game role model generation method, game role model generation device, game role adjustment device and game role adjustment medium

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178662B2 (en) * 2009-07-31 2013-04-10 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
KR101757642B1 (en) * 2016-07-20 2017-07-13 (주)레벨소프트 Apparatus and method for 3d face modeling
CN109395390B (en) * 2018-10-26 2021-12-21 网易（杭州）网络有限公司 Method and device for processing face model of game character, processor and terminal
CN110111247B (en) * 2019-05-15 2022-06-24 浙江商汤科技开发有限公司 Face deformation processing method, device and equipment
CN110675475B (en) * 2019-08-19 2024-02-20 腾讯科技（深圳）有限公司 Face model generation method, device, equipment and storage medium
CN110599573B (en) * 2019-09-03 2023-04-11 电子科技大学 Method for realizing real-time human face interactive animation based on monocular camera
CN111724457A (en) * 2020-03-11 2020-09-29 长沙千博信息技术有限公司 Realistic virtual human multi-modal interaction implementation method based on UE4
CN111784821B (en) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 Three-dimensional model generation method and device, computer equipment and storage medium
CN112419454B (en) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 Face reconstruction method, device, computer equipment and storage medium
CN112419485B (en) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 Face reconstruction method, device, computer equipment and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204089A1 (en) * 2013-01-18 2014-07-24 Electronics And Telecommunications Research Institute Method and apparatus for creating three-dimensional montage
JP2014211719A (en) * 2013-04-17 2014-11-13 キヤノン株式会社 Apparatus and method for information processing
CN110111417A (en) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 Generation method, device and the equipment of three-dimensional partial body's model
CN111695471A (en) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 Virtual image generation method, device, equipment and storage medium
CN111714885A (en) * 2020-06-22 2020-09-29 网易（杭州）网络有限公司 Game role model generation method, game role model generation device, game role adjustment device and game role adjustment medium

Also Published As

Publication number Publication date
CN112419454B (en) 2023-11-28
TW202221651A (en) 2022-06-01
TWI773458B (en) 2022-08-01
CN112419454A (en) 2021-02-26
KR20220075339A (en) 2022-06-08
WO2022110791A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
JP2023507863A (en) Face reconstruction method, apparatus, computer device, and storage medium
JP2023507862A (en) Face reconstruction method, apparatus, computer device, and storage medium
CN111784821B (en) Three-dimensional model generation method and device, computer equipment and storage medium
Claes et al. Craniofacial reconstruction using a combined statistical model of face shape and soft tissue depths: methodology and validation
WO2020256969A1 (en) Animating avatars from headset cameras
US20180253895A1 (en) System and method for creating a full head 3d morphable model
CN114981844A (en) 3D body model generation
CN113012282B (en) Three-dimensional human body reconstruction method, device, equipment and storage medium
CN104851123B (en) A kind of three-dimensional face change modeling method
WO2021253788A1 (en) Three-dimensional human body model construction method and apparatus
CN108960020A (en) Information processing method and information processing equipment
CN108537881A (en) A kind of faceform's processing method and its equipment, storage medium
Suetens et al. Statistically deformable face models for cranio-facial reconstruction
CN111950430B (en) Multi-scale dressing style difference measurement and migration method and system based on color textures
WO2013078404A1 (en) Perceptual rating of digital image retouching
WO2024103890A1 (en) Model construction method and apparatus, reconstruction method and apparatus, and electronic device and non-volatile readable storage medium
JP4539519B2 (en) Stereo model generation apparatus and stereo model generation method
Claes A robust statistical surface registration framework using implicit function representations-application in craniofacial reconstruction
CN108717730B (en) 3D character reconstruction method and terminal
WO2022110855A1 (en) Face reconstruction method and apparatus, computer device, and storage medium
CN114429518A (en) Face model reconstruction method, device, equipment and storage medium
WO2022096105A1 (en) 3d tongue reconstruction from single images
CN113240811B (en) Three-dimensional face model creating method, system, equipment and storage medium
RU2720361C1 (en) Multi-frame training of realistic neural models of speakers heads
CN112308957A (en) Optimal fat and thin face portrait image automatic generation method based on deep learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A603 Late request for extension of time limit during examination

Free format text: JAPANESE INTERMEDIATE CODE: A603

Effective date: 20230922

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240404

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240411