JP2023507862A - Face reconstruction method, apparatus, computer device, and storage medium - Google Patents

Face reconstruction method, apparatus, computer device, and storage medium Download PDF

Info

Publication number
JP2023507862A
JP2023507862A JP2022519295A JP2022519295A JP2023507862A JP 2023507862 A JP2023507862 A JP 2023507862A JP 2022519295 A JP2022519295 A JP 2022519295A JP 2022519295 A JP2022519295 A JP 2022519295A JP 2023507862 A JP2023507862 A JP 2023507862A
Authority
JP
Japan
Prior art keywords
face
target
data
models
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022519295A
Other languages
Japanese (ja)
Inventor
勝偉 徐
権 王
晨 銭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2023507862A publication Critical patent/JP2023507862A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Electric Double-Layer Capacitors Or The Like (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本発明では、顔再構築方法、装置、コンピュータデバイス、及び記憶媒体が提案されており、該方法は、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を含む。【選択図】図１In the present invention, a face reconstruction method, apparatus, computer device and storage medium are proposed, comprising the steps of generating a first real face model based on a target image; obtaining fitting coefficients corresponding to each of the plurality of second real face models by fitting the first real face model using two real face models; and a virtual face model corresponding to each of the plurality of second real face models and having a preset style, generating a target virtual face model corresponding to the target image. and a step. [Selection drawing] Fig. 1

Description

本発明は、画像処理の技術分野に関し、具体的には、顔再構築方法、装置、コンピュータデバイス、及び記憶媒体に関する。 The present invention relates to the technical field of image processing, and in particular to a face reconstruction method, apparatus, computer device and storage medium.

通常、実顔や自分の好みに基づいて仮想的な顔３次元モデルを確立して顔の再構築を実現できるということは、ゲーム、アニメ、仮想ソーシャル等の分野で広く適用されている。例えば、ゲームでは、ゲームプログラムが提供する顔再構築システムは、プレイヤーから提供された画像に含まれる実顔に基づいて仮想的な顔３次元モデルを生成し、プレイヤーは、生成された仮想的な顔３次元モデルを利用し、より没入感を持ってゲームに参加することができる。 The ability to reconstruct a face by establishing a virtual three-dimensional face model based on a real face or one's own preferences is widely applied in fields such as games, animation, and virtual social networking. For example, in a game, a face reconstruction system provided by a game program generates a virtual three-dimensional face model based on a real face included in an image provided by a player, and the player can use the generated virtual Using a 3D face model, you can participate in the game with a more immersive feeling.

現在、人物画像における実顔に基づいて顔の再構築を行う場合には、一般的に、顔画像に基づいて顔輪郭特徴を抽出し、抽出した顔輪郭特徴を予め生成された仮想３次元モデルとマッチング・融合することで、実顔に対応する仮想的な顔３次元モデルを生成する。しかしながら、顔輪郭特徴と予め生成された仮想３次元モデルとのマッチング度が低いことから、生成された仮想的な顔３次元モデルと実顔画像との類似度が低い。 At present, when reconstructing a face based on a real face in a human image, generally, facial contour features are extracted based on the facial image, and the extracted facial contour features are converted to a pre-generated virtual three-dimensional model. By matching and fusing with , a virtual three-dimensional face model corresponding to the real face is generated. However, since the degree of matching between the facial contour features and the pre-generated virtual three-dimensional model is low, the degree of similarity between the generated virtual three-dimensional face model and the real face image is low.

本発明の実施例では、少なくとも顔再構築方法、装置、コンピュータデバイス、及び記憶媒体が提案されている。 Embodiments of the present invention propose at least a face reconstruction method, apparatus, computer device and storage medium.

本発明の実施例の第１態様により、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を含む、顔再構築方法が提案されている。 According to a first aspect of an embodiment of the present invention, generating a first real face model based on a target image; and fitting said first real face model using a plurality of pre-generated second real face models. obtaining fitting coefficients corresponding to each of the plurality of second real face models; fitting coefficients corresponding to each of the plurality of second real face models; generating a target virtual face model corresponding to the target image based on virtual face models corresponding to each of the models and having preset styles.

本実施例では、フィッティング係数を媒介として複数の第２実顔モデルと第１実顔モデルとの関連関係が確立され、この関連関係は、第２実顔モデルに基づいて確立された仮想顔モデルと第１実顔モデルに基づいて確立された目標仮想顔モデルとの関連を特徴付けることができ、フィッティング係数に基づいて確立された目標仮想顔モデルは、予め設定されたスタイルに加えて、第１実顔モデルに対応する初期顔の特徴も有し、さらに、生成された目標仮想顔モデルと第１実顔モデルに対応する初期顔との類似度が一層高くなる。 In this embodiment, a relationship between a plurality of second real face models and a first real face model is established through fitting coefficients, and this relationship is based on a virtual face model established based on the second real face model. and a target virtual face model established based on the first real face model, the target virtual face model established based on the fitting coefficients, in addition to the preset style, the first It also has the features of the initial face corresponding to the real face model, and the degree of similarity between the generated target virtual face model and the initial face corresponding to the first real face model is even higher.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、を含む。 In an optional embodiment, a virtual face model having fitting coefficients corresponding to each of the plurality of second real face models and a preset style corresponding to each of the plurality of second real face models. generating a target virtual face model corresponding to the target image based on fitting coefficients corresponding to each of the plurality of second real face models and skeletal data corresponding to each of the plurality of virtual face models; determining target skeletal data based on the target skeletal data; and generating the target virtual face model based on the target skeletal data.

選択的な一実施形態では、前記目標骨格データに基づいて前記目標仮想顔モデルを生成するスことは、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成するステップと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成するステップと、を含む。 In an alternative embodiment, generating the target virtual face model based on the target skeleton data is based on the relationship between the target skeleton data and the standard skeleton data and standard skin data in the standard virtual face model. generating target skin data by performing a position transformation process on standard skin data based on the target skeleton data; and generating the target virtual face model based on the target skeleton data and the target skin data.

この実施形態では、目標スキンデータ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係により、得られた目標仮想顔モデルでは、目標骨格データと目標スキンデータがより良くフィットするようになり、さらに、目標骨格データを利用して確立された目標仮想顔モデルにおいて、骨格データの変化に起因する目標仮想顔モデルに異常な***または凹みが表されることが低減される。 In this embodiment, in the obtained target virtual face model, the target skeleton data and the target skin data are better fitted according to the target skin data and the relation between the standard skeleton data and the standard skin data in the standard virtual face model. Furthermore, in a target virtual face model established using the target skeletal data, the appearance of abnormal ridges or depressions in the target virtual face model due to changes in the skeletal data is reduced.

選択的な一実施形態では、前記仮想顔モデルに対応する骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含み、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つのデータを含む。 In an optional embodiment, the skeletal data corresponding to the virtual face model is at least one of skeletal rotation data, skeletal position data, and skeletal scale data corresponding to each of a plurality of facial skeletons in the virtual face model. and the target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data.

この実施形態では、骨格データによれば、複数の顔骨格のそれぞれに対応する骨格データをより精確に特徴付けることができ、目標骨格データによれば、目標仮想顔モデルをより精確に確立することができる。 In this embodiment, the skeleton data may more accurately characterize the skeleton data corresponding to each of the plurality of facial skeletons, and the target skeleton data may more accurately establish the target virtual face model. can.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、目標骨格位置データを取得することを含む。 In an optional embodiment, determining target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models includes: and obtaining target skeleton position data by interpolating skeleton position data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得することを含む。 In an optional embodiment, determining target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models includes: obtaining target skeletal scale data by interpolating skeletal scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models.

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、目標骨格回転データを取得することと、を含む。 In an optional embodiment, determining target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models includes: a normalized quaternion by converting skeleton rotation data corresponding to each of the plurality of virtual face models into a quaternion and normalizing the quaternion corresponding to each of the plurality of virtual face models; and interpolating a normalized quaternion corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models, thereby obtaining target skeleton rotation data and obtaining

この実施形態では、目標骨格データにより仮想顔モデルをより精確に調整することができ、その結果、得られた目標仮想顔モデルにおける骨格の細部がより細かくなり、初期顔における骨格の細部とより類似するようになり、さらに目標仮想顔モデルと初期顔との類似度がより高くなる。 In this embodiment, the target skeletal data allows the virtual face model to be more precisely adjusted, resulting in finer skeletal detail in the resulting target virtual face model, more similar to skeletal detail in the initial face. and the degree of similarity between the target virtual face model and the initial face becomes higher.

選択的な一実施形態では、前記目標画像に基づいて第１実顔モデルを生成するステップは、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、を含む。 In an optional embodiment, the step of generating a first real face model based on said target image comprises: obtaining a target image comprising an initial face; obtaining the first real face model by performing dimensional face reconstruction.

この実施形態では、初期顔に対して３次元の顔再構築を行うことで取得した第１実顔モデルによれば、目標画像における初期顔の顔特徴をより正確かつ全面的に特徴付けることができる。 In this embodiment, the first real face model obtained by performing 3D face reconstruction on the initial face can more accurately and fully characterize the facial features of the initial face in the target image. .

選択的な一実施形態では、前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて前記参照画像に含まれる前記参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する。 In an alternative embodiment, a plurality of reference images including a reference face are obtained for each of the plurality of second real face models, and the reference images included in the reference images are obtained for each of the plurality of reference images. The second real face model is generated by performing three-dimensional face reconstruction on the face and obtaining the second real face model corresponding to the reference image.

この実施形態では、複数枚の参照画像を利用して、できるだけ広範な顔の外形特徴をカバーすることができるため、複数枚の参照画像のそれぞれに基づいて３次元の顔再構築を行うことで取得した第２実顔モデルは同様に、できるだけ広範な顔の外形特徴をカバーすることができる。 In this embodiment, a plurality of reference images can be used to cover as wide a range of facial features as possible. The obtained second real face model can also cover as wide a range of facial features as possible.

選択的な一実施形態では、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップは、複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することを含む。 In an alternative embodiment, a plurality of second real face models generated in advance are used to perform the fitting process of the first real face model, thereby performing fitting corresponding to each of the plurality of second real face models. In the step of obtaining coefficients, fitting coefficients corresponding to each of the plurality of second real face models are obtained by performing least-squares processing on the plurality of second real face models and the first real face models. including doing

この実施形態では、フィッティング係数によれば、複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行う際のフィッティング状況を精確に特徴付けることができる。 In this embodiment, the fitting coefficients can accurately characterize the fitting situation when fitting a first real face model using a plurality of second real face models.

本発明の実施例の第２態様により、顔再構築装置が提案されており、前記装置は、 According to a second aspect of an embodiment of the present invention, a face reconstruction device is proposed, said device comprising:

目標画像に基づいて第１実顔モデルを生成するように構成される第１生成モジュールと、 a first generation module configured to generate a first real face model based on the target image;

予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される処理モジュールと、 Fitting processing of the first real face model is performed using a plurality of second real face models generated in advance, thereby obtaining fitting coefficients corresponding to each of the plurality of second real face models. a processing module that

前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するように構成される第２生成モジュールと、を含む。 corresponding to the target image based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style; a second generation module configured to generate a target virtual face model that

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、に用いられる。 In an optional embodiment, the second generating module generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset When generating a target virtual face model corresponding to the target image based on the virtual face model having the style, fitting coefficients corresponding to each of the plurality of second real face models and a plurality of the virtual face models. It is used to determine target skeleton data based on the corresponding skeleton data, and to generate the target virtual face model based on the target skeleton data.

選択的な一実施形態では、前記第２生成モジュールは、前記目標骨格データに基づいて前記目標仮想顔モデルを生成する際に、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成することと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、に用いられる。 In an alternative embodiment, when generating the target virtual face model based on the target skeleton data, the second generation module generates the target skeleton data, and standard skeleton data and standard skin in a standard virtual face model. Generating target skin data by performing position transformation processing of standard skin data based on the relationship with the data, and generating the target virtual face model based on the target skeleton data and the target skin data. and used for

選択的な一実施形態では、前記仮想顔モデルに対応する骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含み、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つのデータを含む。 In an optional embodiment, the skeletal data corresponding to the virtual face model is at least one of skeletal rotation data, skeletal position data, and skeletal scale data corresponding to each of a plurality of facial skeletons in the virtual face model. and the target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data.

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することに用いられる。 In an optional embodiment, the second generating module generates a target based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models. When determining the skeleton data, the target skeleton is obtained by interpolating the skeleton position data corresponding to each of the plurality of virtual face models based on the fitting coefficients corresponding to each of the plurality of second real face models. Used to get location data.

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することに用いられる。 In an optional embodiment, the second generating module generates a target based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models. When determining the skeleton data, the target skeleton is obtained by interpolating skeleton scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. Used to get scale data.

選択的な一実施形態では、前記第２生成モジュールは、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、に用いられる。 In an optional embodiment, the second generating module generates a target based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models. When determining skeleton data, converting skeleton rotation data corresponding to each of the plurality of virtual face models into quaternions, and normalizing the quaternions corresponding to each of the plurality of virtual face models. obtaining a normalized quaternion; and interpolating the normalized quaternion corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. By doing so, it is used for obtaining the target skeleton rotation data.

選択的な一実施形態では、前記第１生成モジュールは、前記目標画像に基づいて第１実顔モデルを生成する際に、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、に用いられる。 In an optional embodiment, the first generating module, when generating the first real face model based on the target image, obtains a target image including an initial face, and includes: and obtaining the first real face model by performing three-dimensional face reconstruction on the initial face.

選択的な一実施形態では、前記処理モジュールは、前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する。 In an optional embodiment, the processing module obtains, for each of the plurality of second real face models, a plurality of reference images including a reference face, and for each of the plurality of reference images, the reference image performing three-dimensional face reconstruction on the reference face included in the to obtain the second real face model corresponding to the reference image, thereby generating the second real face model.

選択的な一実施形態では、前記処理モジュールは、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することに用いられる。 In an alternative embodiment, the processing module performs a fitting process on the first real face model using a plurality of pre-generated second real face models to obtain a plurality of second real face models. each of the plurality of second real face models is obtained by performing least-squares processing on the plurality of the second real face models and the first real face models when obtaining fitting coefficients corresponding to each of the plurality of the second real face models; It is used to obtain the fitting coefficients for

本発明の第３態様により、選択的な一実施形態として、プロセッサ及びメモリを含むコンピュータデバイスであって、前記メモリには、前記プロセッサで実行できる機械読み取り可能な命令が格納されており、前記プロセッサは、前記メモリに格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令が前記プロセッサで実行される際に、上記した第１態様または第１態様における任意１つの実施可能な形態に記載のステップが実施されることとなる、コンピュータデバイスが提案されている。 According to a third aspect of the present invention, as an alternative embodiment, there is provided a computing device comprising a processor and a memory, the memory storing machine-readable instructions executable by the processor, the processor comprising: is configured to execute machine-readable instructions stored in said memory, and when said machine-readable instructions are executed by said processor, any one of the first aspect or the first aspect above. A computing device is proposed in which the steps described in the possible forms are to be performed.

本発明の第４態様により、選択的な一実施形態として、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、当該コンピュータ・プログラムが実行される際に、上記した第１態様または第１態様における任意１つの実施可能な形態に記載のステップが実施されることとなる、コンピュータ読み取り可能な記憶媒体が提案されている。 According to a fourth aspect of the present invention, as an alternative embodiment, a computer-readable storage medium storing a computer program, wherein when the computer program is executed, the above-described first aspect or A computer readable storage medium is proposed in which the steps of any one possible embodiment of the first aspect are performed.

上記した顔再構築装置、コンピュータデバイス、およびコンピュータ読み取り可能な記憶媒体の効果に関する記述は、上記した顔再構築方法に関する記述を参照でき、ここで重複に説明しないものとする。 For the description of the effects of the face reconstruction apparatus, computer device, and computer-readable storage medium described above, reference can be made to the description of the face reconstruction method described above, and will not be repeated here.

本発明の上記した目的、特徴、及びメリットをより明確かつ理解され易いものにするために、以下では、好適な実施例を挙げて、添付図面に合わせて詳細に説明する。 In order to make the above objects, features, and advantages of the present invention clearer and easier to understand, preferred embodiments are described in detail below in conjunction with the accompanying drawings.

本発明の実施例に係る技術案をより明晰に説明するために、以下では、実施例に用いられる図面を簡単に説明する。ここでの図面は明細書に合併されて本明細書の一部を構成し、これらの図面は本発明に符合する実施例を示し、明細書に合わせて本発明に係る技術案を説明するためのものである。以下の図面は、本発明の幾つかの実施例のみを図示するので、範囲への限定として見なされるべきではなく、当分野の通常の技術者にとっては、創造的な労働をせずにこれらの図面から他の相関図面を得ることもできるとは、理解されるべきであろう。
本発明の一実施例で提案される顔再構築方法を示すフローチャートである。 本発明の実施例で提案される目標画像に対応する目標仮想顔モデルを生成するための方法を示すフローチャートである。 本発明の実施例で提案される目標骨格データに基づいて第１実顔モデルに対応する目標仮想顔モデルを生成するための具体的な方法を示すフローチャートである。 本発明の実施例で提案される顔再構築方法に係る複数の顔及び顔モデルの例示を示す図である。 本発明の実施例で提案される顔再構築装置を示す概略図である。 本発明の実施例で提案されるコンピュータデバイスを示す概略図である。 In order to describe the technical solutions according to the embodiments of the present invention more clearly, the drawings used in the embodiments are briefly described below. The drawings herein are incorporated into the specification and constitute a part of this specification, and these drawings show embodiments consistent with the present invention and are intended to explain the technical solution of the present invention in accordance with the specification. belongs to. The following drawings illustrate only some embodiments of the invention and should not be considered as limiting the scope, and those of ordinary skill in the art will be able to reproduce these without creative effort. It should be understood that other correlation drawings can be derived from the drawing.
Fig. 4 is a flowchart illustrating a face reconstruction method proposed in one embodiment of the present invention; Fig. 4 is a flow chart illustrating a method for generating a target virtual face model corresponding to a target image proposed in an embodiment of the present invention; 4 is a flow chart showing a specific method for generating a target virtual face model corresponding to a first real face model based on target skeleton data proposed in an embodiment of the present invention; FIG. 3 shows an illustration of multiple faces and face models according to the face reconstruction method proposed in an embodiment of the present invention; 1 is a schematic diagram of a face reconstruction device proposed in an embodiment of the present invention; FIG. 1 is a schematic diagram of a computer device proposed in an embodiment of the present invention; FIG.

本発明の実施例の目的、技術案、及びメリットをより明晰にするために、以下では、本発明の実施例に係る技術案について本発明の実施例に係る図面を参照しながら明晰かつ完全に説明する。明らかには、本明細書に記述される実施例は、本発明の実施例の全部ではなく、その一部に過ぎない。通常、ここで記述や図示される本発明の実施例に係る構成要素は、様々な異なる構成で配置や設計されることができる。したがって、本発明の実施例に関する以下の詳細な記述は、保護が請求する本発明の範囲を限定することを主旨とするものではなく、本発明に選定された実施例のみを示すものである。本発明の実施例に基づき、当分野の技術者が創造的な労働をせずに得られた全ての他の実施例は、本発明の保護範囲内に含まれるものとする。 In order to make the objects, technical solutions and advantages of the embodiments of the present invention clearer, the technical solutions according to the embodiments of the present invention will be described in a clear and complete manner with reference to the drawings according to the embodiments of the present invention. explain. Apparently, the embodiments described herein are merely a part rather than all of the embodiments of the present invention. In general, the components described and illustrated herein according to embodiments of the invention can be arranged and designed in a variety of different configurations. Accordingly, the following detailed description of embodiments of the invention is not intended to limit the scope of the invention for which protection is claimed, but merely illustrates selected embodiments of the invention. Based on the embodiments of the present invention, all other embodiments obtained without creative efforts by those skilled in the art shall fall within the protection scope of the present invention.

顔再構築方法によれば、実顔や自分の好みに基づいて仮想的な顔３次元モデルを確立できることがわかった。人物画像における実顔に基づいて顔の再構築を行う際に、人物画像における実顔に対して特徴抽出を行って顔輪郭特徴を取得してから、顔輪郭特徴を予め生成された仮想３次元モデルにおける特徴とマッチングし、マッチング結果に基づいて顔輪郭特徴を仮想３次元モデルと融合することで、人物画像における実顔に対応する仮想的な顔３次元モデルを取得することは、一般的なことである。顔輪郭特徴を予め生成された仮想３次元モデルにおける特徴とマッチングする際に、マッチングの精度が低いことから、仮想３次元モデルと顔輪郭特徴とのマッチングの誤差が大きく、マッチング結果に基づいて顔輪郭特徴と顔の仮想３次元モデルとを融合して得られた仮想的な顔３次元モデルと、人物画像における顔との類似度が低いという問題が生じやすい。 It has been found that the face reconstruction method can establish a virtual three-dimensional face model based on the real face and one's own preferences. When reconstructing a face based on a real face in a human image, after performing feature extraction on the real face in the human image to obtain facial contour features, the facial contour features are extracted from a pre-generated virtual three-dimensional face. Acquiring a virtual three-dimensional face model corresponding to a real face in a human image by matching features in the model and fusing facial contour features with a virtual three-dimensional model based on the matching results is a common technique. That is. When the facial contour features are matched with the features in the pre-generated virtual 3D model, the accuracy of matching is low, so the matching error between the virtual 3D model and facial contour features is large. A problem is likely to arise that the degree of similarity between a virtual three-dimensional face model obtained by fusing contour features and a virtual three-dimensional model of the face and the face in the human image is low.

上記した技術案の欠点に対して、本発明の実施例では、予め設定されたスタイルを有し且つ実顔との類似度が高い目標仮想顔モデルを生成可能な顔再構築方法が提案されている。 In view of the drawbacks of the above-described technical solution, the embodiment of the present invention proposes a face reconstruction method that can generate a target virtual face model that has a preset style and is highly similar to a real face. there is

本実施例の理解を容易にするために、先ず、本発明の実施例に開示された顔再構築方法について詳しく説明する。本発明の実施例で提案される顔再構築方法の実行主体は一般的には所定の計算能力を持つコンピュータデバイスであり、当該コンピュータデバイスは、例えば端末デバイスやサーバ又は他の処理デバイスを備え、端末デバイスとしては、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち機器、計算機器、車載機器、ウェアラブル機器等が挙げられる。幾つかの実施可能な形態では、当該顔再構築方法は、プロセッサによってメモリに格納されたコンピュータ読み取り可能な命令を呼び出すという方式で実現することができる。 To facilitate understanding of this embodiment, first, the face reconstruction method disclosed in the embodiment of the present invention will be described in detail. The implementation body of the face reconstruction method proposed in the embodiments of the present invention is generally a computer device with a certain computing power, such as a terminal device, a server or other processing device, Terminal devices include user equipment (UE), mobile equipment, user terminals, terminals, cellular telephones, cordless telephones, personal digital assistants (PDA), handheld equipment, computing equipment, in-vehicle equipment, and wearable equipment. etc. In some possible embodiments, the face reconstruction method can be implemented by a processor invoking computer readable instructions stored in memory.

以下では、本発明の実施例で提案される顔再構築方法について説明する。 A face reconstruction method proposed in an embodiment of the present invention is described below.

図１は、本発明の一実施例で提案される顔再構築方法を示すフローチャートである。図１に示すように、前記方法は、ステップＳ１０１～Ｓ１０３を含む。 FIG. 1 is a flowchart illustrating a face reconstruction method proposed in one embodiment of the present invention. As shown in FIG. 1, the method includes steps S101-S103.

Ｓ１０１：目標画像に基づいて第１実顔モデルを生成する。 S101: Generate a first real face model based on the target image.

Ｓ１０２：予め生成された複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する。 S102: Acquire fitting coefficients corresponding to each of the plurality of second real face models by performing fitting processing of the first real face model using the plurality of second real face models generated in advance.

Ｓ１０３：複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、目標画像に対応する目標仮想顔モデルを生成する。 S103: Corresponding to the target image based on the fitting coefficients corresponding to each of the plurality of second real face models and the virtual face model corresponding to each of the plurality of second real face models and having a preset style. Generate a target virtual face model.

本発明の実施例では、予め生成された複数の実顔モデルを利用して第１実顔モデルのフィッティングを行うプロセスにおいて、第２実顔モデルのそれぞれに対応するフィッティング係数を取得してから、フィッティング係数を媒介として複数の第２実顔モデルと第１実顔モデルとの関連関係を確立し、その後、当該フィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルを利用して、前記目標画像に対応する目標仮想顔モデルを生成する。この方法によれば、フィッティング係数及び仮想顔モデルに基づいて確立された目標仮想顔モデルは、予め設定されたスタイルに加えて、第１実顔モデルに対応する初期顔の特徴も有し、換言すると、生成された目標仮想顔モデルと第１実顔モデルに対応する初期顔との類似度が高くなる。 In an embodiment of the present invention, in the process of fitting a first real face model using a plurality of pre-generated real face models, after obtaining fitting coefficients corresponding to each of the second real face models, establishing a relationship between a plurality of second real face models and a first real face model through fitting coefficients, and then corresponding and preset corresponding to the fitting coefficients and the plurality of second real face models respectively; A virtual face model having the style is used to generate a target virtual face model corresponding to the target image. According to this method, the target virtual face model established based on the fitting coefficients and the virtual face model, in addition to the preset style, also has initial facial features corresponding to the first real face model, in other words: Then, the degree of similarity between the generated target virtual face model and the initial face corresponding to the first real face model increases.

以下では、上記したステップＳ１０１～Ｓ１０３について詳しく説明する。 The above steps S101 to S103 will be described in detail below.

上記したステップＳ１０１について、目標画像は、例えば顔を含む画像、例えば、カメラ等の撮像装置を用いてある対象を撮像する際に取得される顔を含む画像であり、しかも、画像に含まれる何れかの顔が初期顔として決定されることができる。 In step S101 described above, the target image is, for example, an image including a face, for example, an image including a face obtained when an imaging device such as a camera is used to capture an image of an object, and any image included in the image is One face can be determined as the initial face.

本発明の実施例で提案される顔再構築方法が異なるシーンに用いられる場合、目標画像の取得方法も異なる。 When the face reconstruction method proposed in the embodiments of the present invention is used in different scenes, the method of acquiring the target image is also different.

例えば、当該顔再構築方法がゲームに用いられる場合、ゲームデバイスにインストールされている画像取得装置によってゲームプレイヤーの顔を含む画像を取得したり、ゲームデバイスのアルバムからゲームプレイヤーの顔を含む画像を選択したりすることができ、そして、取得したゲームプレイヤーの顔を含む画像を目標画像として決定する。 For example, when the face reconstruction method is used in a game, an image including the game player's face is acquired by an image acquisition device installed in the game device, or an image including the game player's face is acquired from the album of the game device. and determine the captured image containing the game player's face as the target image.

また例えば、顔再構築方法が携帯電話等の端末デバイスに用いられる場合、端末デバイスのカメラによってユーザの顔を含む画像を収集したり、端末デバイスのアルバムからユーザの顔を含む画像を選択したり、端末デバイスにインストールされている他のアプリプログラムからユーザの顔を含む画像を受信したりすることができる。 Further, for example, when the face reconstruction method is used in a terminal device such as a mobile phone, an image including the user's face is collected by the camera of the terminal device, or an image including the user's face is selected from the album of the terminal device. , an image including the user's face can be received from other application programs installed on the terminal device.

さらに例えば、顔再構築方法がライブ配信のシーンに用いられる場合、ライブ配信の装置のビデオストリームに含まれる複数フレームのビデオフレーム画像から、顔を含むビデオフレーム画像を取得することができ、そして、顔を含むビデオフレーム画像を目標画像として決定する。ここで、目標画像は例えば複数フレームであってよい。複数フレームの目標画像は例えばビデオストリームをサンプリングして得られたものであってよい。 Further, for example, when the face reconstruction method is used in a live distribution scene, a video frame image including a face can be obtained from a plurality of video frame images included in the video stream of the live distribution device, and A video frame image containing a face is determined as a target image. Here, the target image may be, for example, multiple frames. A multi-frame target image may be obtained, for example, by sampling a video stream.

目標画像に基づいて第１実顔モデルを生成する際に、例えば、初期顔を含む目標画像を取得し、目標画像に含まれる初期顔に対して３次元の顔再構築を行って第１実顔モデルを取得するという方法を利用することができる。 When generating the first real face model based on the target image, for example, a target image including an initial face is acquired, and the initial face included in the target image is subjected to three-dimensional face reconstruction to generate the first real face model. A method of obtaining a face model can be used.

ここでは、目標画像に含まれる初期顔に対して３次元の顔再構築を行う場合、例えば、変形可能な３次元顔モデル(３ Ｄｉｍｅｎｓｉｏｎｓ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌｓ，３ＤＭＭ)を利用して、初期顔に対応する第１実顔モデルを取得する。また、第１実顔モデルは、例えば、目標画像における初期顔の複数のキーポイントのうち各キーポイントの予め設定されたカメラ座標系における位置情報を含む。 Here, when performing three-dimensional face reconstruction for an initial face included in a target image, for example, a deformable three-dimensional face model (3 Dimensions Morphable Models, 3DMM) is used to reconstruct the initial face. Obtain a first real face model. Also, the first real face model includes, for example, position information of each keypoint in a preset camera coordinate system among a plurality of keypoints of the initial face in the target image.

上記したステップＳ１０２について、第２実顔モデルは、参照顔を含む参照画像に基づいて生成されたものである。ここで、異なる参照画像における参照顔は、異なるものであってよい。例示的には、性別、年齢、肌色、太り具合等のうちの少なくとも１つが異なる複数の人物を選択し、複数の人物のそれぞれについてその顔画像を取得し、取得した顔画像を参照画像とする。このように、複数枚の参照画像に基づいて取得した複数の第２実顔モデルは、できるだけ広範な顔の外形特徴をカバーすることができる。 Regarding step S102 described above, the second real face model is generated based on the reference image including the reference face. Here, reference faces in different reference images may be different. As an example, a plurality of persons with different at least one of gender, age, skin color, degree of fatness, etc. are selected, face images of each of the plurality of persons are acquired, and the acquired face images are used as reference images. . In this way, a plurality of second real face models obtained based on a plurality of reference images can cover as wide a range of facial features as possible.

参照顔は、例えば、Ｎ個の異なる個体オブジェクトに対応するＮ個の顔を含む(Ｎは１より大きい整数)。参照顔を含む参照画像を複数枚取得したい際に、例示的には、Ｎ個の異なる個体オブジェクトをそれぞれ撮影することでＮ個の異なる個体オブジェクトのそれぞれに対応するＮ枚のピクチャを取得し、１枚のピクチャ毎に１つの参照顔が対応され、このＮ枚のピクチャを参照画像とすることができる。あるいは、予め撮影された異なる顔を含む複数枚の画像からＮ枚の参照画像を特定してもよい。 A reference face includes, for example, N faces corresponding to N different individual objects (N being an integer greater than 1). When obtaining a plurality of reference images including a reference face, for example, N different individual objects are photographed to obtain N pictures corresponding to each of the N different individual objects, One reference face corresponds to each picture, and these N pictures can be used as reference images. Alternatively, N reference images may be identified from a plurality of images containing different faces that have been captured in advance.

例示的には、前記複数の第２実顔モデルのそれぞれに対して、第２実顔モデルを生成する方法は、参照顔を含む複数枚の参照画像を取得することと、複数枚の参照画像のそれぞれについて前記参照画像に含まれる参照顔に対して３次元の顔再構築を行うことで、当該参照画像に対応する第２実顔モデルを取得することと、を含む。 Illustratively, for each of the plurality of second real face models, the method for generating a second real face model includes obtaining a plurality of reference images including a reference face; obtaining a second real face model corresponding to the reference image by performing three-dimensional face reconstruction on the reference face included in the reference image for each of the.

、参照顔に対して３次元の顔再構築を行う方法は、上記した初期顔に対して３次元の顔再構築を行う方法と類似するので、ここで重複に説明しないものとする。取得した第２実顔モデルは、参照画像における参照顔の複数のキーポイントのうちの各キーポイントの予め設定されたカメラ座標系における位置情報を含む。ここで、この第２実顔モデルの座標系と第１実顔モデルの座標系は、同一の座標系であってもよい。 , the method of reconstructing the 3D face from the reference face is similar to the method of reconstructing the 3D face from the initial face, so it will not be described again here. The obtained second real face model includes position information in a preset camera coordinate system of each keypoint among a plurality of keypoints of the reference face in the reference image. Here, the coordinate system of the second real face model and the coordinate system of the first real face model may be the same coordinate system.

予め生成された複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、例えば、複数の第２実顔モデル及び第１実顔モデルに対して最小二乗処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するという方式を利用することができる。 By performing fitting processing of the first real face model using a plurality of second real face models generated in advance, when obtaining fitting coefficients corresponding to each of the plurality of second real face models, for example, A method of obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing least squares processing on the plurality of second real face models and the first real face models can be used.

例示的には、Ｎ個の第２実顔モデルが予め生成された場合、第１実顔モデルに対応するモデルデータをＤa、第２実顔モデルに対応するモデルデータをＤbi（ｉ∈［１，Ｎ］）として表すことができ、ここで、ＤbiはＮ個の第２実顔モデルのうちｉ番目の第２実顔モデルを示す。 As an example, when N second real face models are generated in advance, model data corresponding to the first real face model is D a and model data corresponding to the second real face model is D bi (iε [1, N]), where D bi denotes the i-th second real face model among the N second real face models.

Ｄaを利用してＤb1～ＤbNのそれぞれに対して最小二乗処理を行うことで、Ｎ個のフィッティング値を取得することができ、このフィッティング値をαi（ｉ∈［１，Ｎ］）として表す。ここで、αiはｉ番目の第２実顔モデルに対応するフィッティング値を示す。Ｎ個のフィッティング値を利用してフィッティング係数Ａｌｐｈａを決定することができ、例えば係数行列として表すことができ、即ち、Ａｌｐｈａ＝[α1，α2，…，αN]である。 By performing least-squares processing on each of D b1 to D bN using D a , N fitting values can be obtained. ). Here, α i indicates a fitting value corresponding to the i-th second real face model. The N fitting values can be used to determine the fitting coefficients Alpha, which can be represented, for example, as a coefficient matrix: Alpha=[α 1 , α 2 , . . . , α N ].

ここでは、複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行うプロセスにおいて、複数のフィッティング係数により複数の第２実顔モデルを重み付け加算して得られたデータは、第１実顔モデルのデータにできるだけ近づくことが可能である。 Here, in the process of fitting a first real face model using a plurality of second real face models, data obtained by weighting and adding a plurality of second real face models with a plurality of fitting coefficients is It is possible to get as close as possible to the data of one real face model.

このフィッティング係数は、複数の第２実顔モデルを利用して第１実顔モデルを表現する際の各第２実顔モデルの表現係数として見なされてもよい。換言すると、表現係数における、複数の第２実顔モデルのそれぞれに対応するフィッティング値を利用して、第２実顔モデルを第１実顔モデルに変換やフィッティングすることができる。 This fitting coefficient may be regarded as a representation coefficient for each second real face model when representing the first real face model using a plurality of second real face models. In other words, it is possible to convert or fit the second real face model to the first real face model using the fitting values corresponding to each of the plurality of second real face models in the expression coefficients.

上記したステップＳ１０３について、予め設定されたスタイルは、例えば、カートゥーンスタイル、古代スタイル、又は抽象スタイル等であってもよく、実際の必要に応じて具体的に設定することができる。例示的には、予め設定されたスタイルがカートゥーンスタイルである場合、予め設定されたスタイルを有する仮想顔モデルは、例えば、あるカートゥーンスタイルを有する仮想顔モデルである。 For step S103 above, the preset style may be, for example, cartoon style, ancient style, or abstract style, etc., and can be specifically set according to actual needs. Illustratively, if the preset style is a cartoon style, the virtual face model with the preset style is, for example, a virtual face model with a certain cartoon style.

さらに、複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する複数の仮想顔モデルを取得するための方法は、例えば、次の(ａ1)と(ａ２)のうちの少なくとも１つを含む。 Furthermore, the method for acquiring a plurality of virtual face models corresponding to each of the plurality of second real face models and having preset styles includes, for example, at least of the following (a1) and (a2): including one.

(ａ1)１つの第２実顔モデルに対応する仮想顔モデルを取得することを例に取ると、参照画像に基づいて参照顔の特徴を有し且つ予め設定されたスタイルを有する仮想顔画像を設計作成し、仮想顔画像における仮想顔に対して３次元モデリングを行うことで、仮想顔画像における仮想顔モデルの骨格データ及びスキンデータを取得することができる。 (a1) Taking the example of obtaining a virtual face model corresponding to a second real face model, a virtual face image having features of the reference face and having a preset style is obtained based on the reference image. The skeleton data and skin data of the virtual face model in the virtual face image can be obtained by designing and creating the virtual face and performing three-dimensional modeling on the virtual face in the virtual face image.

ここで、この骨格データは、仮想顔に対して予め設定された複数の骨格の予め設定された座標系における骨格回転データ、骨格スケールデータ、及び骨格位置データを含む。ここで、複数の骨格は、例えば複数の階層に分けられることができ、例えば、ルート(ｒｏｏｔ)骨格、五官骨格、及び五官細部骨格を含む。五官骨格は、眉骨、鼻骨、頬骨、顎骨、口骨等を含んでもよい。五官細部骨格は、例えば異なる五官骨格をさらに詳細に分けることができる。異なるスタイルを有する仮想画像のニーズに応じて具体的に設定することができ、ここでは限定されない。 Here, the skeleton data includes skeleton rotation data, skeleton scale data, and skeleton position data in a preset coordinate system of a plurality of skeletons preset for the virtual face. Here, the plurality of skeletons can be divided into, for example, a plurality of hierarchies, including, for example, a root skeleton, a pentagonal skeleton, and a pentagonal skeleton. Pentaneous skeletons may include eyebrow bones, nasal bones, cheekbones, jawbones, oral bones, and the like. The pentafunctional skeleton can, for example, further subdivide different pentafunctional skeletons. It can be specifically set according to the needs of virtual images with different styles and is not limited here.

スキンデータは、仮想顔の表面の複数の位置ポイントの予め設定された座標系における位置情報、及び各位置ポイントと複数の骨格のうちの少なくとも一つの骨格との関連関係情報を含む。 The skin data includes positional information of a plurality of positional points on the surface of the virtual face in a preset coordinate system, and relationship information between each positional point and at least one of the plurality of skeletons.

仮想顔画像における仮想顔に対して３次元モデリングを行って得られた仮想モデルを、第２実顔モデルに対応する仮想顔モデルとする。 A virtual model obtained by performing three-dimensional modeling on the virtual face in the virtual face image is used as a virtual face model corresponding to the second real face model.

（ａ２）予め設定されたスタイルを有する標準仮想顔モデルを予め生成する。この標準仮想顔モデルは同様に、標準骨格データ、標準スキンデータ、及び標準骨格データと標準スキンデータとの関連関係を含む。設計修正済みの標準的仮想顔モデルが予め設定されたスタイルを有すると同時に、参照画像における参照顔の特徴も含むように、参照顔に基づいて標準的仮想顔モデルにおける標準骨格データを設計修正する。その次に、標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータを調整するとともに、標準スキンデータに参照顔の特徴情報を追加することもでき、そして、修正済みの標準骨格データと修正済みの標準スキンデータに基づいて、第２実顔モデルに対応する仮想顔モデルを生成する。 (a2) Generate in advance a standard virtual face model having a preset style. This standard virtual face model also includes standard skeleton data, standard skin data, and a relational relationship between the standard skeleton data and the standard skin data. Designing and modifying the standard skeleton data in the standard virtual face model based on the reference face such that the design-modified standard virtual face model has a preset style while also including the features of the reference face in the reference image. . Then, the standard skin data can be adjusted according to the relationship between the standard skeleton data and the standard skin data, and the reference facial feature information can be added to the standard skin data, and the modified standard skeleton data and the corrected standard skin data, a virtual face model corresponding to the second real face model is generated.

ここでは、仮想顔モデルの具体的なデータの表現は、上記した（ａ１）での記述を参照でき、ここで重複に説明しないものとする。 Here, the description in (a1) above can be referred to for the expression of the concrete data of the virtual face model, and redundant description will be omitted here.

図２に示すように、本発明の実施例ではさらに、複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルの骨格データに基づいて、目標画像に対応する目標仮想顔モデルを生成する方法が提案されており、該方法は、次のステップを含む。 As shown in FIG. 2, the embodiment of the present invention further includes fitting coefficients corresponding to each of the plurality of second real face models and preset styles corresponding to each of the plurality of second real face models. A method is proposed for generating a target virtual face model corresponding to a target image based on skeletal data of the virtual face model having the following steps.

Ｓ２０１：複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する。 S201: Determine target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models.

骨格データは、仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含む。 The skeleton data includes at least one of skeleton rotation data, skeleton position data, and skeleton scale data corresponding to each of a plurality of facial skeletons in the virtual face model.

１つの実施可能な形態では、複数の第２実顔に対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格データを補間処理することで、目標骨格データを取得することができる。取得した目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つを含む。 In one possible embodiment, target skeleton data can be obtained by interpolating skeleton data corresponding to each of a plurality of virtual face models based on fitting coefficients corresponding to a plurality of second real faces. . The acquired target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data.

ここでは、目標骨格位置データは、例えば、骨格中心点のモデル座標系における３次元座標値を含み、目標骨格スケールデータは、例えば、目標骨格の標準仮想顔モデルにおける骨格に対するスケール比例を含み、目標骨格回転データは、例えば、骨格軸線のモデル座標系における回転角度を含む。 Here, the target skeleton position data includes, for example, three-dimensional coordinate values of the skeleton center point in the model coordinate system, and the target skeleton scale data includes, for example, the scale proportion of the target skeleton to the skeleton in the standard virtual face model. The skeletal rotation data includes, for example, rotation angles of the skeletal axes in the model coordinate system.

例示的には、複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、例えば次の（ｂ１）～（ｂ３）のうちの少なくとも１つによって実現することができる。 Illustratively, determining the target skeleton data based on the fitting coefficients corresponding to each of the plurality of second real face models and the skeleton data corresponding to each of the plurality of virtual face models can be performed by, for example, the following ( It can be realized by at least one of b1) to (b3).

（ｂ１）複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、目標骨格位置データを取得する。 (b1) Acquire target skeleton position data by interpolating skeleton position data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models.

（ｂ２）複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得する。 (b2) obtaining target skeleton scale data by interpolating skeleton scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models;

（ｂ３）複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数(Ｑｕａｔｅｒｎｉｏｎ)データに変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで正規化四元数を取得し、そして、複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、目標骨格回転データを取得する。 (b3) converting skeleton rotation data corresponding to each of the plurality of virtual face models into quaternion data, and normalizing the quaternions corresponding to each of the plurality of virtual face models; Obtaining a normalized quaternion, and interpolating the normalized quaternion corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models, Get target skeleton rotation data.

具体的な実施プロセスにおいて、上記した方法(ｂ１)及び(ｂ２)について、骨格位置データ及び骨格スケールデータを取得する際に、複数の第２実顔モデルに基づいて、各階層骨格及び各階層骨格に対応する局所座標系を決定することをさらに含む。顔モデルの骨格階層化を行う際に、例えば、生物学的骨格階層化方法に従って骨格階層を決定してもよいし、顔再構築の要求に応じて骨格階層を決定してもよく、具体的な階層化方法は、実際の状況に応じて決定することができ、ここで重複に説明しないものとする。 In a specific implementation process, for the above-described methods (b1) and (b2), when acquiring skeleton position data and skeleton scale data, based on a plurality of second real face models, each hierarchical skeleton and each hierarchical skeleton further comprising determining a local coordinate system corresponding to . When performing the skeletal hierarchy of the face model, the skeletal hierarchy may be determined, for example, according to a biological skeletal hierarchy method, or the skeletal hierarchy may be determined according to the face reconstruction request. Any suitable layering method can be determined according to the actual situation, and will not be described repeatedly here.

各骨格階層を決定した後、各骨格階層に基づいて各骨格階層に対応する骨格座標系を確立することができる。例示的には、各階層骨格をＢｏｎｅiとして表すことができる。 After determining each skeletal hierarchy, a skeletal coordinate system corresponding to each skeletal hierarchy can be established based on each skeletal hierarchy. Illustratively, each hierarchical skeleton can be represented as Bone i .

この場合、骨格位置データは、仮想顔モデルにおける各階層骨格Ｂｏｎｅiのそれに対応する骨格座標系における３次元座標値を含み、骨格スケールデータは、仮想顔モデルにおける各階層骨格Ｂｏｎｅiのそれに対応する骨格座標系における骨格スケール程度を示す百分比を含み、例えば８０％、９０％又は１００％であってよい。 In this case, the skeleton position data includes three-dimensional coordinate values in the skeleton coordinate system corresponding to each hierarchical skeleton Bone i in the virtual face model, and the skeleton scale data corresponds to each hierarchical skeleton Bone i in the virtual face model. It includes a percentage indicating the degree of skeletal scale in a skeletal coordinate system, which may be, for example, 80%, 90% or 100%.

１つの実施可能な形態では、ｉ番目の仮想顔モデルに対応する骨格位置データをＰｏｓi、ｉ番目の仮想顔モデルに対応する骨格スケールデータをＳｃａｌｉｎｇiとして表す。この場合、骨格位置データＰｏｓiは、複数の階層の骨格のそれぞれに対応する骨格位置データを含み、骨格スケールデータＳｃａｌｉｎｇiは、複数の階層の骨格のそれぞれに対応する骨格スケールデータを含む。 In one possible embodiment , the skeletal position data corresponding to the i-th virtual face model is denoted as Posi, and the skeletal scale data corresponding to the i-th virtual face model is denoted as Scalingi . In this case, the skeletal position data Posi includes skeletal position data corresponding to each of the skeletons of multiple hierarchies, and the skeletal scale data Scaling i includes skeletal scale data corresponding to each of the multiple hierarchies of the skeleton.

この場合に対応するフィッティング係数は、αiである。Ｍ個の第２実顔モデルに対応するフィッティング係数に基づいてＭ個の仮想顔モデルに対応する骨格位置データＰｏｓiを補間処理することで、目標骨格位置データを取得する。 The fitting coefficients corresponding to this case are α i . Target skeleton position data is acquired by interpolating skeleton position data Posi corresponding to M virtual face models based on fitting coefficients corresponding to M second real face models.

例示的には、例えばフィッティング係数を各仮想顔モデルに対応する重みとして、仮想顔モデルに対応する骨格位置データＰｏｓiを重み付け加算処理することで、補間処理プロセスを実現することができる。この場合、目標骨格位置データＰｏｓnewは、以下の数式(１)を満たす。

Figure 2023507862000002
As an example, the interpolation process can be realized by weighting and adding the skeleton position data Posi corresponding to the virtual face model using the fitting coefficient as a weight corresponding to each virtual face model. In this case, the target skeleton position data Pos new satisfies the following formula (1).
Figure 2023507862000002

同様に、Ｍ個の第２実顔モデルに対応するフィッティング係数に基づいてＭ個の仮想顔モデルに対応する骨格スケールデータを補間処理することで、目標骨格スケールデータを取得する。ここで、ｉ番目の仮想顔モデルに対応する骨格スケールデータをＳｃａｌｉｎｇiとして表し、Ｍ個の第２実顔モデルのそれぞれに対応するフィッティング係数を、仮想顔モデルに対応する重みとして、Ｍ個の仮想顔モデルのそれぞれに対応する骨格スケールデータを重み付け加算処理することで、Ｍ個の仮想顔モデルの補間処理を実現することができる。この場合、目標骨格スケールデータＳｃａｌｉｎｇnewは、以下の数式(２)を満たす。

Figure 2023507862000003
Similarly, the target skeleton scale data is obtained by interpolating the skeleton scale data corresponding to the M virtual face models based on the fitting coefficients corresponding to the M second real face models. Here, the skeletal scale data corresponding to the i-th virtual face model is expressed as Scaling i , and the fitting coefficients corresponding to each of the M second real face models are used as weights corresponding to the virtual face models, and M By subjecting the skeleton scale data corresponding to each of the virtual face models to weighted addition processing, it is possible to implement interpolation processing for M virtual face models. In this case, the target skeleton scale data Scaling new satisfies the following formula (2).
Figure 2023507862000003

上記した方法(ｂ３)について、骨格回転データは、仮想顔モデルにおける各骨格のそれに対応する骨格座標系における、骨格回転座標変換程度を示すためのベクトル値を含み、例えば、回転軸と回転角とを含む。１つの実施可能な形態では、ｉ番目の仮想顔モデルに対応する骨格回転データをＴｒａｎｓiとして表す。骨格回転データに含まれる回転角にはジンバルロック（Ｇｉｍｂａｌ Ｌｏｃｋ）問題があるため、骨格回転データを四元数に変換し、四元数を直接に重み付け加算処理する際のオーバーフィッティング（ｏｖｅｒｆｉｔｔｉｎｇ）現象の発生を防止するために、四元数を正規化することで正規化四元数データを取得することとなり、そのデータがＴｒａｎｓ′iとして表される。 For method (b3) described above, the skeleton rotation data includes vector values for indicating the degree of skeleton rotation coordinate transformation in the skeleton coordinate system corresponding to each skeleton in the virtual face model. including. In one possible implementation, the skeletal rotation data corresponding to the i-th virtual face model is denoted as Trans i . Since the rotation angle included in the skeleton rotation data has a gimbal lock problem, there is an overfitting phenomenon when the skeleton rotation data is converted to a quaternion and the quaternion is directly weighted and added. In order to prevent the occurrence of , the quaternion is normalized to obtain normalized quaternion data, which is represented as Trans'i .

Ｍ個の第２実顔モデルに対応するフィッティング係数に基づいてＭ個の仮想顔モデルに対応する正規化四元数Ｔｒａｎｓ′iを補間処理する場合、Ｍ個の第２実顔モデルに対応するフィッティング係数を重みとして、Ｍ個の仮想顔モデルに対応する正規化四元数を重み付け加算することもできる。この場合、目標骨格回転データＴｒａｎｓnewは、以下の数式(３)を満たす。

Figure 2023507862000004
When the normalized quaternion Trans' i corresponding to M virtual face models is interpolated based on fitting coefficients corresponding to M second real face models, It is also possible to perform weighted addition of the normalized quaternions corresponding to the M virtual face models using the fitting coefficients as weights. In this case, the target skeleton rotation data Trans new satisfies the following formula (3).
Figure 2023507862000004

上記した(ｂ１)、(ｂ２)、及び(ｂ３)で取得した目標骨格位置データＰｏｓnew、目標骨格スケールデータＳｃａｌｉｎｇnew、及び目標骨格回転データＴｒａｎｓnewによれば、Ｂｏｎｅnewとして表す目標骨格データを決定することができる。例示的には、この目標骨格データをベクトル形態で(Ｐｏｓnew，Ｓｃａｌｉｎｇnew，Ｔｒａｎｓnew)として表すことができる。 According to the target skeleton position data Pos new , the target skeleton scale data Scaling new , and the target skeleton rotation data Trans new obtained in (b1), (b2), and (b3) above, the target skeleton data expressed as Bone new is can decide. Illustratively, this target skeleton data can be represented in vector form as (Pos new , Scaling new , Trans new ).

目標画像に対応する目標仮想顔モデルを生成する方法は、上記したＳ２０１に続く次のステップをさらに含む。 The method of generating the target virtual face model corresponding to the target image further includes the following steps following S201 described above.

Ｓ２０２：目標骨格データに基づいて目標仮想顔モデルを生成する。 S202: Generate a target virtual face model based on the target skeleton data.

図３に示すように、本発明の実施例で提案される目標骨格データに基づいて第１実顔モデルに対応する目標仮想顔モデルを生成するための具体的な方法であり、該方法は、次のステップを含む。 As shown in FIG. 3, a specific method for generating a target virtual face model corresponding to a first real face model based on target skeleton data proposed in an embodiment of the present invention, the method comprises: Includes the following steps:

Ｓ３０１：目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成する。 S301: Target skin data is generated by performing position conversion processing of the standard skin data based on the target skeleton data and the relationship between the standard skeleton data and the standard skin data in the standard virtual face model.

Ｓ３０２：目標骨格データ及び目標スキンデータに基づいて目標仮想顔モデルを生成する。 S302: Generate a target virtual face model based on the target skeleton data and the target skin data.

ここでは、標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係は、例えば、各階層の骨格に対応する標準骨格データと標準スキンデータとの関連関係である。この関連関係に基づき、仮想顔モデルにおける骨格にスキンをバインドすることができる。 Here, the relationship between the standard skeleton data and the standard skin data in the standard virtual face model is, for example, the relationship between the standard skeleton data and the standard skin data corresponding to the skeleton of each layer. Based on this association relationship, the skin can be bound to the skeleton in the virtual face model.

生成される目標スキンデータ中の階層骨格に対応する位置が対応する目標骨格データ中の位置と一致するように、目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係を利用して、複数の階層の骨格に対応する位置のスキンデータに対して位置変換処理を行ってもよい。 Target skeleton data and the relation between the standard skeleton data and the standard skin data in the standard virtual face model so that the position corresponding to the hierarchical skeleton in the generated target skin data matches the corresponding position in the target skeleton data. may be used to perform position conversion processing on skin data at positions corresponding to skeletons in a plurality of hierarchies.

ここでは、標準仮想顔モデルにおける骨格データと標準スキンデータとの関連関係は、標準スキン変形データ中の各位置ポイントのモデル座標系における座標値と、骨格の骨格位置データ、骨格スケールデータ、及び骨格回転データのうちの少なくとも１つとの関連関係を含む。 Here, the relationship between the skeleton data and the standard skin data in the standard virtual face model is defined by the coordinate values in the model coordinate system of each position point in the standard skin transformation data, the skeleton position data of the skeleton, the skeleton scale data, and the skeleton. including an association relationship with at least one of the rotation data;

目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係を利用して複数の階層の骨格に対応する位置でのスキンデータの位置変換処理を行う際に、目標骨格データが決定された場合、即ち目標骨格の目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つが決定された場合、上記した関連関係を利用して、骨格が標準骨格データから目標骨格データに変換された後の、標準スキンデータ中の各位置ポイントのモデル座標系における新しい座標値を決定し、さらに、標準スキンデータ中の各位置ポイントのモデル座標系における新しい座標値に基づいて、目標仮想顔モデルの目標スキンデータを取得することができる。 When performing position conversion processing of skin data at positions corresponding to skeletons in a plurality of hierarchies using the target skeleton data and the relationship between the standard skeleton data and the standard skin data in the standard virtual face model, the target skeleton data is determined, i.e., at least one of the target skeleton position data, the target skeleton scale data, and the target skeleton rotation data of the target skeleton is determined, the skeleton is determined from the standard skeleton data using the above-described association relationship Determine the new coordinate values in the model coordinate system of each position point in the standard skin data after conversion from Based on this, the target skin data of the target virtual face model can be obtained.

目標骨格データを利用して目標仮想顔モデルを確立するための各階層骨格を決定することができ、目標スキンデータを利用してモデルが骨格にバインドされるスキンを決定することができ、さらに、目標仮想顔モデルを確立することができる。 The target skeleton data can be used to determine each hierarchical skeleton for establishing the target virtual face model, the target skin data can be used to determine the skin to which the model is bound to the skeleton, and A target virtual face model can be established.

目標仮想顔モデルを確立する方法としては、目標骨格データ及び目標スキンデータに基づいて目標仮想顔モデルを直接確立してもよいし、各階層骨格に対応する目標骨格データを利用して、第１実顔モデルにおける対応する各階層骨格データを置き換えてから、目標スキンデータを利用して目標仮想顔モデルを確立してもよい。目標仮想顔モデルを確立するための具体的な方法は、実際の状況に応じて決定することができ、ここで重複に説明しないものとする。 As a method of establishing the target virtual face model, the target virtual face model may be directly established based on the target skeleton data and the target skin data, or the target virtual face model may be established using the target skeleton data corresponding to each hierarchical skeleton. The target skin data may be used to establish a target virtual face model after replacing each corresponding layered skeleton data in the real face model. The specific method for establishing the target virtual face model can be determined according to the actual situation and will not be described redundantly here.

本発明の実施例ではさらに、本発明の実施例で提案される顔再構築方法を利用して目標画像ＰｉｃAにおける初期顔Ａに対応する目標仮想顔モデルＭｏｄAimを取得する具体的なプロセスに関する説明が提供されている。 The embodiment of the present invention further relates to the specific process of obtaining the target virtual face model Mod Aim corresponding to the initial face A in the target image Pic A using the face reconstruction method proposed in the embodiment of the present invention. An explanation is provided.

目標仮想顔モデルＭｏｄAimの確立は、次のステップ（ｃ１）～（ｃ５）を含む。 Establishing the target virtual face model Mod Aim includes the following steps (c1) to (c5).

（ｃ１）素材を用意する。具体的には、標準仮想顔モデルの素材を用意することと、仮想ピクチャの素材を用意することと、を含む。 (c1) Prepare materials. Specifically, it includes preparing material for a standard virtual face model and preparing material for a virtual picture.

標準仮想顔モデルの素材を用意する際に、予め設定されたスタイルとしてカートゥーンスタイルを選択することを例にとって説明すると、先ずカートゥーンスタイルを有する標準仮想顔モデルＭｏｄBaseを設定する。 Taking the example of selecting a cartoon style as a preset style when preparing materials for a standard virtual face model, first, a standard virtual face model Mod Base having a cartoon style is set.

仮想ピクチャの素材を用意する際に、２４枚の仮想ピクチャＰｉｃ1～Ｐｉｃ24を収集する。収集した２４枚の仮想ピクチャは、仮想顔Ｂ1～Ｂ24に対応する男女の数が平衡しており、できるだけ広範な五官特徴分布を含んでいる。 When preparing virtual picture materials, 24 virtual pictures Pic 1 to Pic 24 are collected. The collected 24 virtual pictures have a balanced number of males and females corresponding to the virtual faces B 1 to B 24 and contain the widest possible distribution of five sensory features.

（ｃ２）顔モデルを再構築する。具体的には、目標画像ＰｉｃAにおける初期顔Ａを利用して第１実顔モデルＭｏｄfstを生成することと、仮想ピクチャ中の仮想顔Ｂ1～Ｂ24を利用して第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を生成することと、を含む。 (c2) reconstruct the face model; Specifically, the first real face model Mod fst is generated using the initial face A in the target image Pic A , and the second real face model Mod fst is generated using the virtual faces B 1 to B 24 in the virtual picture. generating Mod snd-1 through Mod snd-24 .

初期顔Ａを利用して第１実顔モデルＭｏｄfstを生成する際に、先ず目標画像における顔の向きを正しくして切り取って、その次に予めトレーニングされたＲＧＢ再構築ニューラルネットワークを利用して、初期顔Ａに対応する第１実顔モデルＭｏｄfstを生成する。同様に、予めトレーニングされたＲＧＢ再構築ニューラルネットワークを利用して、仮想顔Ｂ1～Ｂ24のそれぞれに対応する第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を確立することができる。 When generating the first real face model Mod fst using the initial face A, first correct the orientation of the face in the target image and clip it, and then use the pre-trained RGB reconstruction neural network to generate , a first real face model Mod fst corresponding to the initial face A is generated. Similarly, a pretrained RGB reconstruction neural network can be utilized to establish second real face models Mod snd-1 through Mod snd-24 corresponding to virtual faces B 1 through B 24 , respectively.

第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24を確立した後、予め設定されたスタイルを利用して、手動調整で、第２実顔モデルＭｏｄsnd-1～Ｍｏｄsnd-24のそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24を確立することをさらに含む。 After establishing the second real face models Mod snd-1 to Mod snd-24 , using preset styles, manually adjust the second real face models Mod snd-1 to Mod snd-24 respectively. It further includes establishing virtual face models Mod fic-1 to Mod fic-24 with corresponding and preset styles.

（ｃ３）フィッティング処理を行う。具体的には、複数の第２実顔モデルを利用して第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数ａｌｐｈａ＝［ａｌｐｈａsnd-1，ａｌｐｈａsnd-2，・・・，ａｌｐｈａsnd-24］を取得することを含む。 (c3) Perform fitting processing. Specifically, by performing the fitting process of the first real face model using the plurality of second real face models, the fitting coefficient alpha=[alpha snd-1 , alpha_snd -2 , . . . , alpha_snd -24 ].

複数の第２実顔モデルを利用して第１実顔モデルのフィッティングを行う際に、最小二乗法を選択してフィッティングを行うことで、２４次元係数ａｌｐｈａを取得する。 When fitting the first real face model using a plurality of second real face models, the 24-dimensional coefficient alpha is obtained by performing the fitting by selecting the least squares method.

（ｃ４）目標骨格データを決定する。具体的には、目標骨格データを決定する際に、次のステップ(ｃ４-１)及び(ｃ４-２)を含む。 (c4) Determine target skeleton data. Specifically, the following steps (c4-1) and (c4-2) are included when determining the target skeleton data.

（ｃ４-１）骨格データを読み取る。ここで、骨格データは、各階層骨格Ｂｏｎｅiにおける予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24のそれぞれに対応する骨格位置データＰｏｓi、骨格スケールデータＳｃａｌｉｎｇi、及び骨格回転データＴｒａｎｓiを含む。 (c4-1) Read skeleton data. Here, the skeletal data includes skeletal position data Posi, skeletal scale data Scaling i , and skeletal scale data Scaling i corresponding to virtual face models Modfic -1 to Modfic-24 having preset styles in each hierarchical skeleton Bone i . Contains skeletal rotation data Trans i .

（ｃ４-２）フィッティング係数ａｌｐｈａを利用して予め設定されたスタイルを有する仮想顔モデルＭｏｄfic-1～Ｍｏｄfic-24に対応する骨格データの補間処理を行うことで、目標骨格データＢｏｎｅnewを生成する。この目標骨格データは、目標骨格位置データＰｏｓnew、目標骨格スケールデータＳｃａｌｉｎｇnew、及び目標骨格回転データＴｒａｎｓnewを含む。 (c4-2) Performing interpolation processing of skeleton data corresponding to virtual face models Mod fic-1 to Mod fic-24 having styles set in advance using fitting coefficients alpha to obtain target skeleton data Bone new . Generate. This target skeleton data includes target skeleton position data Posnew , target skeleton scale data Scalingnew , and target skeleton rotation data Transnew .

（ｃ５）目標仮想顔モデルを生成する。 (c5) Generate a target virtual face model.

目標骨格データを利用して目標仮想顔モデルを確立するための各階層骨格を決定し、目標骨格データを標準仮想顔モデルＭｏｄBaseに代入するとともに、目標スキンデータを利用してモデルが骨格にバインドされるスキンを決定し、そして予め確立された標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係を利用して、第１実顔モデルに対応する目標仮想顔モデルを生成する。 Determine each hierarchical skeleton for establishing a target virtual face model using the target skeleton data, substitute the target skeleton data into the standard virtual face model Mod Base , and bind the model to the skeleton using the target skin data. determine the skin to be applied, and generate a target virtual face model corresponding to the first real face model using the relational relationship between the standard skeleton data and the standard skin data in the pre-established standard virtual face model.

図４に示すように、本発明の実施例で提案される上記した具体的な例示に含まれる複数のプロセスにおいて使用される具体的なデータの例示である。具体的には、図４のａは、目標画像を示し、４１は、初期顔Ａを示し、図４のｂは、カートゥーンスタイルを有する標準仮想顔モデルを示す概略図であり、図４のｃは、第１実顔モデルに対応して生成された目標仮想顔モデルを示す概略図である。 As shown in FIG. 4, it is an illustration of specific data used in multiple processes included in the above specific examples proposed in the embodiments of the present invention. Specifically, FIG. 4a shows the target image, 41 shows the initial face A, FIG. 4b is a schematic diagram showing a standard virtual face model with cartoon style, FIG. 4 is a schematic diagram showing a target virtual face model generated corresponding to a first real face model; FIG.

ここでは、上記したステップ(ｃ１)～(ｃ５)は、顔再構築方法の具体的な一例示に過ぎず、本発明の実施例で提案される顔再構築方法を制限するものではない点に留意すべきである。 Here, the above steps (c1) to (c5) are merely a specific example of the face reconstruction method, and are not intended to limit the face reconstruction method proposed in the embodiments of the present invention. It should be noted.

当分野の技術者にとっては、具体的な実施形態で記載された上記した方法において、各ステップの記載順序は、実施プロセスを制限するような厳密な実行順序を意味するものではなく、各ステップの具体的な実行順序は、その機能及び可能的な固有ロジックによって決定されるとは、理解されるべきであろう。 For those skilled in the art, in the above methods described in specific embodiments, the described order of each step does not imply a strict order of execution that limits the implementation process, but rather It should be understood that the specific order of execution is determined by its functionality and possible inherent logic.

本発明の実施例ではさらに、上記と同じ発明の構想に基づく、顔再構築方法に対応する顔再構築装置が提案されている。本発明の実施例における装置に係る問題解決原理は、本発明の実施例における上記した顔再構築方法と類似するので、装置の実施は、方法の実施を参照でき、重複点についてこれ以上説明しないものとする。 An embodiment of the present invention further proposes a face reconstruction device corresponding to the face reconstruction method based on the same inventive concept as above. Since the problem-solving principle of the apparatus in the embodiments of the present invention is similar to the face reconstruction method described above in the embodiments of the present invention, the implementation of the apparatus can refer to the implementation of the method, and the duplication will not be described further. shall be

図５に示すように、本発明の実施例では顔再構築装置が提案されており、前記装置は、第１生成モジュール５１、処理モジュール５２、及び第２生成モジュール５３を含む。 A face reconstruction device is proposed in an embodiment of the present invention, as shown in FIG.

第１生成モジュール５１：目標画像に基づいて第１実顔モデルを生成するように構成される。 First generation module 51: configured to generate a first real face model based on the target image.

処理モジュール５２：予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される。 Processing module 52: Fitting the first real face model using a plurality of second real face models generated in advance to obtain fitting coefficients corresponding to each of the plurality of second real face models. configured as

第２生成モジュール５３：前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する複数の仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するように構成される。 a second generating module 53: generating fitting coefficients corresponding to each of the plurality of second real face models, and a plurality of virtual face models corresponding to each of the plurality of second real face models and having preset styles; A target virtual face model corresponding to the target image is generated based on the target image.

選択的な一実施形態では、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、に用いられる。 In an optional embodiment, the second generating module 53 generates fitting coefficients corresponding to each of the plurality of second real face models, and fitting coefficients corresponding to each of the plurality of second real face models and preset fitting coefficients corresponding to each of the plurality of second real face models and a plurality of the virtual face models when generating a target virtual face model corresponding to the target image based on the virtual face model having the style and generating the target virtual face model based on the target skeleton data.

選択的な一実施形態では、前記第２生成モジュール５３は、前記目標骨格データに基づいて前記目標仮想顔モデルを生成する際に、前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成することと、前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、に用いられる。 In an optional embodiment, the second generation module 53 generates the target virtual face model based on the target skeleton data by combining the target skeleton data, standard skeleton data in a standard virtual face model, and standard skeleton data. Generating target skin data by performing position conversion processing of standard skin data based on the relationship with skin data, and generating the target virtual face model based on the target skeleton data and the target skin data. Used for things and things.

選択的な一実施形態では、前記仮想顔モデルの骨格データは、前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、骨格位置データ、及び骨格スケールデータのうちの少なくとも１つのデータを含み、前記目標骨格データは、目標骨格位置データ、目標骨格スケールデータ、及び目標骨格回転データのうちの少なくとも１つのデータを含む。 In a selective embodiment, the skeletal data of the virtual face model is at least one of skeletal rotation data, skeletal position data, and skeletal scale data corresponding to each of a plurality of facial skeletons in the virtual face model. and the target skeleton data includes at least one of target skeleton position data, target skeleton scale data, and target skeleton rotation data.

選択的な一実施形態では、前記目標骨格データは、前記目標骨格位置データを含み、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することに用いられる。 In an optional embodiment, the target skeleton data includes the target skeleton position data, and the second generation module 53 generates fitting coefficients corresponding to each of the plurality of second real face models and a plurality of the When determining target skeleton data based on skeleton data corresponding to each of the virtual face models, corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. The target skeleton position data is obtained by interpolating the skeleton position data.

選択的な一実施形態では、前記目標骨格データは、前記目標骨格スケールデータを含み、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することに用いられる。 In an optional embodiment, the target skeletal data includes the target skeletal scale data, and the second generation module 53 generates fitting coefficients corresponding to each of the plurality of second real face models and a plurality of the When determining target skeleton data based on skeleton data corresponding to each of the virtual face models, corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. It is used to obtain the target skeleton scale data by interpolating the skeleton scale data.

選択的な一実施形態では、前記目標骨格データは、前記目標骨格回転データを含み、前記第２生成モジュール５３は、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定する際に、複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、に用いられる。 In an optional embodiment, the target skeleton data includes the target skeleton rotation data, and the second generating module 53 generates fitting coefficients corresponding to each of the plurality of second real face models and a plurality of the When determining the target skeleton data based on the skeleton data corresponding to each of the virtual face models, the skeleton rotation data corresponding to each of the plurality of virtual face models is converted into a quaternion, and the plurality of virtual faces are obtained. obtaining a normalized quaternion by normalizing a quaternion corresponding to each of the models; and generating a plurality of virtual faces based on fitting coefficients corresponding to each of the plurality of second real face models. and obtaining the target skeleton rotation data by interpolating normalized quaternions corresponding to each of the models.

選択的な一実施形態では、前記第１生成モジュール５１は、目標画像に基づいて第１実顔モデルを生成する際に、初期顔を含む目標画像を取得することと、前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、に用いられる。 In an optional embodiment, the first generating module 51, when generating the first real face model based on the target image, obtains a target image including an initial face, and includes and obtaining the first real face model by performing three-dimensional face reconstruction on the initial face.

選択的な一実施形態では、前記処理モジュール５２は、前記複数の第２実顔モデルのそれぞれについて、参照顔を含む複数枚の参照画像を取得し、前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する。 In an optional embodiment, the processing module 52 obtains a plurality of reference images containing a reference face for each of the plurality of second real face models, and for each of the plurality of reference images, the The second real face model is generated by performing three-dimensional face reconstruction on the reference face included in the reference image and obtaining the second real face model corresponding to the reference image.

選択的な一実施形態では、前記処理モジュール５２は、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得する際に、複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することに用いられる。 In an optional embodiment, the processing module 52 performs the fitting process of the first real face model using a plurality of pre-generated second real face models to generate a plurality of second real face models. When obtaining fitting coefficients corresponding to each of the plurality of second real face models and the first real face model, by performing least-squares processing on each of the plurality of second real face models, used to obtain the corresponding fitting coefficients.

装置に係る各モジュールの処理プロセス及び各モジュール間の相互作用プロセスに関する記述は、上記した方法実施例における関連記述を参照でき、ここでは詳しく説明しないものとする。 The description of the processing process of each module and the interaction process between each module in the apparatus can refer to the related descriptions in the above method embodiments and will not be described in detail herein.

図６に示すように、本発明の実施例ではさらに、プロセッサ６１及びメモリ６２を含むコンピュータデバイスが提案されている。 As shown in FIG. 6, an embodiment of the present invention further proposes a computing device comprising a processor 61 and a memory 62 .

メモリ６２には、プロセッサ６１で実行できる機械読み取り可能な命令が格納されており、プロセッサ６１は、メモリ６２に格納された機械読み取り可能な命令を実行するように構成され、当該機械読み取り可能な命令がプロセッサ６１で実行される際に、プロセッサ６１は、目標画像に基づいて第１実顔モデルを生成するステップと、予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を実行することとなる。 The memory 62 stores machine-readable instructions executable by the processor 61, the processor 61 being configured to execute the machine-readable instructions stored in the memory 62 and executing the machine-readable instructions. is executed by the processor 61, the processor 61 generates a first real face model based on the target image; obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing model fitting processing; fitting coefficients corresponding to each of the plurality of second real face models; generating a target virtual face model corresponding to the target image based on a virtual face model corresponding to each of two real face models and having a preset style.

上記したメモリ６２は、内部メモリ６２１及び外部メモリ６２２を含む。ここでの内部メモリ６２１は、内蔵メモリとも呼ばれ、プロセッサ６１における演算データ、及びハードディスク等の外部メモリ６２２との交換データを一時的に格納するように構成され、プロセッサ６１は、内部メモリ６２１を介して外部メモリ６２２とのデータ交換を行うように構成される。 The memory 62 described above includes an internal memory 621 and an external memory 622 . The internal memory 621 here is also called a built-in memory, and is configured to temporarily store computation data in the processor 61 and data exchanged with an external memory 622 such as a hard disk. It is configured to exchange data with an external memory 622 via.

上記した命令の具体的な実行プロセスは、本発明の実施例で説明した顔再構築方法を参照でき、ここで重複に説明しないものとする。 The specific execution process of the above instructions can refer to the face reconstruction method described in the embodiments of the present invention, and will not be described repeatedly here.

本発明の実施例ではさらに、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、当該コンピュータ・プログラムがプロセッサで実行される際に、上記した方法実施例で説明した顔再構築方法が実施されることとなる、コンピュータ読み取り可能な記憶媒体が提案されている。また、当該記憶媒体は、揮発性もしくは不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。 Embodiments of the present invention further include a computer readable storage medium having a computer program stored thereon, which, when the computer program is executed by a processor, performs the face reconstruction method described in the above method embodiment. A computer readable storage medium is proposed on which is implemented. Also, the storage medium may be a volatile or non-volatile computer-readable storage medium.

本発明の実施例ではさらに、プログラムコードを含むコンピュータ・プログラム製品が提案されており、前記プログラムコードに含まれる命令によって上記した方法実施例で説明した顔再構築方法を実施することができる。具体的には上記した方法実施例を参照でき、ここで重複に説明しないものとする。 An embodiment of the present invention further proposes a computer program product comprising program code, instructions contained in said program code being able to implement the face reconstruction method described in the above method embodiment. Specifically, reference can be made to the above method embodiments, which will not be repeated here.

また、上記したコンピュータ・プログラム製品は具体的に、ハードウェア、ソフトウェア又はそれらの組み合わせで実現することができる。選択的な一実施例では、前記コンピュータ・プログラム製品は、コンピュータ記憶媒体として具現化しているが、選択的な別の一実施例では、コンピュータ・プログラム製品は、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ)等のソフトウェア製品として具現化している。 Also, the computer program products described above can be specifically implemented in hardware, software, or a combination thereof. In an alternative embodiment, said computer program product is embodied as a computer storage medium, while in another alternative embodiment, the computer program product is, for example, a Software Development Kit. SDK) and other software products.

記述の便利及び簡潔のため、上記したシステム及び装置の具体的な作業プロセスは、上記した方法実施例における対応プロセスを参照できるとは、当分野の技術者には明白であろう。ここでは、重複に説明しないものとする。本発明で提案される幾つかの実施例では、披露されたシステム、装置、及び方法が他の形態で実現され得ることは、理解されるべきであろう。上記した装置実施例は、単なる例示的なものに過ぎず、例えば、上記したユニットの区画は、単なる論理的な機能の区画に過ぎず、実際の実施時、他の区画方法が存在してもよく、また例えば、複数のユニットまたは構成要素が別のシステムに組み合わせられたり集成されたりすることができ、一部の特徴が無視されたり実行されなかったりすることもできる。また、表示または討論される相互結合または直接結合または通信接続は、幾つかのインターフェース、装置またはユニットを介した間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。 It will be obvious to those skilled in the art that, for convenience and brevity of description, the specific working processes of the above systems and devices can refer to the corresponding processes in the above method embodiments. Here, redundant description is omitted. It should be understood that in some of the embodiments proposed by the present invention, the disclosed systems, devices and methods may be embodied in other forms. The above-described device embodiments are merely exemplary, for example, the above-described unit partitions are merely logical functional partitions, and other partitioning methods may exist in actual implementation. Well, for example, multiple units or components may be combined or aggregated into another system, and some features may be ignored or not performed. Also, any mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, be it electrical, mechanical or otherwise. may

分離部品として説明する前記ユニットは、物理的に分離したものであってもなくてもよく、ユニットとして表される部品は、物理ユニットであってもなくてもよく、即ち、同一の箇所に位置しても、複数のネットワークユニットに配置されてもよい。本実施例に係る技術案の目的を実現するために、実際の必要に応じて上記したユニットから一部または全部を選択することができる。 The units described as separate parts may or may not be physically separate, and the parts represented as units may or may not be physical units, i.e., co-located. may be located in multiple network units. In order to achieve the purpose of the technical solution of this embodiment, some or all of the above units can be selected according to actual needs.

また、本発明の各実施例における各機能ユニットについては、全てのユニットが１つの処理ユニットに集成されてもよいし、各ユニットが単独で物理的に存在してもよいし、２つ以上のユニットが１つのユニットに集成されてもよい。 Also, with respect to each functional unit in each embodiment of the present invention, all units may be aggregated into one processing unit, each unit may physically exist independently, or two or more processing units may exist. Units may be aggregated into one unit.

上記した機能は、ソフトウェア機能ユニットの形態で実現され、かつ独立した製品として販売されるかまたは使用される場合、プロセッサで実行できる不揮発性のコンピュータ読み取り可能な記憶媒体に格納され得る。このような理解を基に、本発明に係る技術案は本質的に、換言すれば従来技術に貢献する部分又は当該技術案の一部がソフトウェア製品の形態で体現でき、当該コンピュータソフトウェア製品は、記憶媒体に格納され、１台のコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイス等であってもよい）に本発明の各実施例で説明した方法におけるステップの全部又は一部を実行させるための若干の命令を含む。上記した記憶媒体としては、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを記憶可能な各種媒体が挙げられる。 The functionality described above may be implemented in the form of software functional units and stored in a non-volatile computer-readable storage medium executable by a processor when sold or used as a stand-alone product. Based on this understanding, the technical solution according to the present invention can essentially be embodied in the form of a software product, in other words, the part that contributes to the prior art or a part of the technical solution, and the computer software product is: a computer device (which may be a personal computer, a server, a network device, etc.) stored in a storage medium for executing all or part of the steps in the method described in each embodiment of the present invention; Contains some instructions. Examples of the above-mentioned storage medium include U disk, mobile hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk, optical disk, etc., which can store program code. media.

最後に説明したいこととして、上記した実施例は、単なる本発明の具体的な実施形態に過ぎず、本発明に係る技術案を説明するためのものであり、それを制限するものでなく、本発明の保護範囲は、上記した実施例に制限されるものではない。上記した実施例を参照して本発明について詳しく説明したが、当分野の通常の技術者にとっては、本技術分野に熟知する任意の技術者であれば、本発明に披露された技術範囲内で、上記した実施例に記載された技術案を補正したり、その変更に容易に想到したり、その一部の技術特徴について同等な置換を行ったりすることができ、これらの修正、変更または置換は、関連する技術案の本質が本発明の実施例に係る技術案の精神及び範囲から逸脱したことを招来するものでないため、本発明の保護範囲内に含まれるとは、理解されるべきであろう。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲を基準とするものとする。 Finally, I would like to explain that the above-mentioned examples are merely specific embodiments of the present invention, and are for the purpose of explaining the technical solution of the present invention, and not for limiting it. The scope of protection of the invention is not restricted to the embodiments described above. Although the present invention has been described in detail with reference to the above examples, it will be appreciated by those of ordinary skill in the art that any person familiar with the art may make modifications within the scope of the techniques disclosed in the present invention. , the technical proposals described in the above examples can be corrected, modifications thereof can be easily conceived, and equivalent replacements can be made for some of the technical features thereof, and these modifications, changes or replacements does not cause the essence of the relevant technical solution to deviate from the spirit and scope of the technical solution according to the embodiments of the present invention, and thus fall within the protection scope of the present invention. be. Therefore, the protection scope of the present invention shall be based on the protection scope of the claims.

本特許出願は、２０２０年１１月２５日に提出された、出願番号が２０２０１１３４２１６９.７、発明の名称が「顔再構築方法、装置、コンピュータデバイス、及び記憶媒体」である中国特許出願の優先権を主張しており、当該中国特許出願が援用により本明細書に組み込まれるものとする。 This patent application takes priority from a Chinese patent application with application number 202011342169.7 entitled "Face Reconstruction Method, Apparatus, Computer Device and Storage Medium" filed on November 25, 2020 and the Chinese patent application is incorporated herein by reference.

Claims (13)

目標画像に基づいて第１実顔モデルを生成するステップと、
予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップと、を含む、
ことを特徴とする顔再構築方法。 generating a first real face model based on the target image;
obtaining fitting coefficients corresponding to each of a plurality of second real face models by performing fitting processing of the first real face model using a plurality of second real face models generated in advance;
corresponding to the target image based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style; generating a target virtual face model to
A face reconstruction method characterized by: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するステップは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することと、
前記目標骨格データに基づいて前記目標仮想顔モデルを生成することと、を含む、
ことを特徴とする請求項１に記載の顔再構築方法。 corresponding to the target image based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style; The step of generating a target virtual face model to
determining target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models;
generating the target virtual face model based on the target skeleton data;
The face reconstruction method according to claim 1, characterized in that: 前記目標骨格データに基づいて前記目標仮想顔モデルを生成することは、
前記目標骨格データ、及び標準仮想顔モデルにおける標準骨格データと標準スキンデータとの関連関係に基づいて標準スキンデータの位置変換処理を行うことで、目標スキンデータを生成することと、
前記目標骨格データ及び前記目標スキンデータに基づいて前記目標仮想顔モデルを生成することと、を含む、
ことを特徴とする請求項２に記載の顔再構築方法。 Generating the target virtual face model based on the target skeleton data includes:
generating target skin data by performing a position conversion process on the standard skin data based on the target skeleton data and the relationship between the standard skeleton data and the standard skin data in the standard virtual face model;
generating the target virtual face model based on the target skeleton data and the target skin data;
3. The face reconstruction method according to claim 2, wherein: 前記仮想顔モデルに対応する骨格データは、
前記仮想顔モデルにおける複数の顔骨格のそれぞれに対応する骨格回転データ、
骨格位置データ、及び
骨格スケールデータのうちの少なくとも１つのデータを含み、
前記目標骨格データは、
目標骨格位置データ、
目標骨格スケールデータ、及び
目標骨格回転データのうちの少なくとも１つのデータを含む、
ことを特徴とする請求項２または３に記載の顔再構築方法。 The skeleton data corresponding to the virtual face model are
skeleton rotation data corresponding to each of a plurality of facial skeletons in the virtual face model;
including at least one of skeletal position data and skeletal scale data;
The target skeleton data is
target skeleton position data,
including at least one of target skeletal scale data and target skeletal rotation data;
4. The face reconstruction method according to claim 2 or 3, characterized in that: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格位置データを補間処理することで、前記目標骨格位置データを取得することを含む、
ことを特徴とする請求項４に記載の顔再構築方法。 Determining target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models includes:
obtaining the target skeleton position data by interpolating skeleton position data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. ,
5. The face reconstruction method according to claim 4, characterized in that: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する骨格スケールデータを補間処理することで、前記目標骨格スケールデータを取得することを含む、
ことを特徴とする請求項４または５に記載の顔再構築方法。 Determining target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models includes:
obtaining the target skeletal scale data by interpolating skeletal scale data corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. ,
6. The face reconstruction method according to claim 4 or 5, characterized in that: 前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び複数の前記仮想顔モデルのそれぞれに対応する骨格データに基づいて、目標骨格データを決定することは、
複数の前記仮想顔モデルのそれぞれに対応する骨格回転データを四元数に変換し、複数の前記仮想顔モデルのそれぞれに対応する四元数を正規化処理することで、正規化四元数を取得することと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数に基づいて複数の前記仮想顔モデルのそれぞれに対応する正規化四元数を補間処理することで、前記目標骨格回転データを取得することと、を含む、
ことを特徴とする請求項４乃至６の何れか一項に記載の顔再構築方法。 Determining target skeleton data based on fitting coefficients corresponding to each of the plurality of second real face models and skeleton data corresponding to each of the plurality of virtual face models includes:
converting skeletal rotation data corresponding to each of the plurality of virtual face models into a quaternion, and normalizing the quaternion corresponding to each of the plurality of virtual face models to obtain a normalized quaternion; to obtain;
Obtaining the target skeleton rotation data by interpolating normalized quaternions corresponding to each of the plurality of virtual face models based on fitting coefficients corresponding to each of the plurality of second real face models. and including
7. The face reconstruction method according to any one of claims 4 to 6, characterized in that: 前記目標画像に基づいて第１実顔モデルを生成するステップは、
初期顔を含む目標画像を取得することと、
前記目標画像に含まれる前記初期顔に対して３次元の顔再構築を行うことで、前記第１実顔モデルを取得することと、を含む、
ことを特徴とする請求項１乃至７の何れか一項に記載の顔再構築方法。 generating a first real face model based on the target image;
obtaining a target image containing an initial face;
obtaining the first real face model by performing three-dimensional face reconstruction on the initial face contained in the target image;
The face reconstruction method according to any one of claims 1 to 7, characterized in that: 前記複数の第２実顔モデルのそれぞれについて、
参照顔を含む複数枚の参照画像を取得し、
前記複数枚の参照画像のそれぞれについて、前記参照画像に含まれる参照顔に対して３次元の顔再構築を行い、前記参照画像に対応する前記第２実顔モデルを取得する、ことにより、前記第２実顔モデルを生成する、
ことを特徴とする請求項１乃至８の何れか一項に記載の顔再構築方法。 For each of the plurality of second real face models,
Acquire multiple reference images containing a reference face,
For each of the plurality of reference images, performing three-dimensional face reconstruction on the reference face included in the reference image to obtain the second real face model corresponding to the reference image, generating a second real face model;
The face reconstruction method according to any one of claims 1 to 8, characterized in that: 前記予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するステップは、
複数の前記第２実顔モデル及び前記第１実顔モデルに対して最小二乗処理を行うことで、前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得することを含む、
ことを特徴とする請求項１乃至９の何れか一項に記載の顔再構築方法。 The step of obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing fitting processing of the first real face model using the plurality of second real face models generated in advance,
obtaining fitting coefficients corresponding to each of the plurality of second real face models by performing least-squares processing on the plurality of second real face models and the first real face model;
The face reconstruction method according to any one of claims 1 to 9, characterized in that: 目標画像に基づいて第１実顔モデルを生成するように構成される第１生成モジュールと、
予め生成された複数の第２実顔モデルを利用して前記第１実顔モデルのフィッティング処理を行うことで、複数の第２実顔モデルのそれぞれに対応するフィッティング係数を取得するように構成される処理モジュールと、
前記複数の第２実顔モデルのそれぞれに対応するフィッティング係数、及び前記複数の第２実顔モデルのそれぞれに対応し且つ予め設定されたスタイルを有する仮想顔モデルに基づいて、前記目標画像に対応する目標仮想顔モデルを生成するように構成される第２生成モジュールと、を含む、
ことを特徴とする顔再構築装置。 a first generation module configured to generate a first real face model based on the target image;
Fitting processing of the first real face model is performed using a plurality of second real face models generated in advance, thereby obtaining fitting coefficients corresponding to each of the plurality of second real face models. a processing module that
corresponding to the target image based on fitting coefficients corresponding to each of the plurality of second real face models and a virtual face model corresponding to each of the plurality of second real face models and having a preset style; a second generation module configured to generate a target virtual face model that
A face reconstruction device characterized by: プロセッサ及びメモリを含むコンピュータデバイスであって、
前記メモリには、前記プロセッサで実行できる機械読み取り可能な命令が格納されており、前記プロセッサは、前記メモリに格納された機械読み取り可能な命令を実行するように構成され、前記機械読み取り可能な命令が前記プロセッサで実行されるとき、前記プロセッサは、請求項１乃至１０の何れか一項に記載の顔再構築方法を実施する、コンピュータデバイス。 A computer device comprising a processor and memory,
The memory stores machine-readable instructions executable by the processor, the processor is configured to execute the machine-readable instructions stored in the memory, and the machine-readable instructions are is executed on the processor, the processor implements the face reconstruction method according to any one of claims 1 to 10. コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ・プログラムがコンピュータデバイスで実行されるとき、前記コンピュータデバイスは、請求項１乃至１０の何れか一項に記載の顔再構築方法を実施する、コンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium storing a computer program,
A computer-readable storage medium, wherein the computer device implements the face reconstruction method according to any one of claims 1 to 10 when the computer program is run on a computer device.
JP2022519295A 2020-11-25 2021-06-25 Face reconstruction method, apparatus, computer device, and storage medium Pending JP2023507862A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011342169.7 2020-11-25
CN202011342169.7A CN112419485B (en) 2020-11-25 2020-11-25 Face reconstruction method, device, computer equipment and storage medium
PCT/CN2021/102404 WO2022110790A1 (en) 2020-11-25 2021-06-25 Face reconstruction method and apparatus, computer device, and storage medium

Publications (1)

Publication Number Publication Date
JP2023507862A true JP2023507862A (en) 2023-02-28

Family

ID=74843538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022519295A Pending JP2023507862A (en) 2020-11-25 2021-06-25 Face reconstruction method, apparatus, computer device, and storage medium

Country Status (5)

Country Link
JP (1) JP2023507862A (en)
KR (1) KR20230110607A (en)
CN (1) CN112419485B (en)
TW (1) TWI778723B (en)
WO (1) WO2022110790A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419485B (en) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 Face reconstruction method, device, computer equipment and storage medium
CN112419454B (en) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 Face reconstruction method, device, computer equipment and storage medium
CN114078184B (en) * 2021-11-11 2022-10-21 北京百度网讯科技有限公司 Data processing method, device, electronic equipment and medium
CN114529640B (en) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 Moving picture generation method, moving picture generation device, computer equipment and storage medium
CN115187822B (en) * 2022-07-28 2023-06-30 广州方硅信息技术有限公司 Face image dataset analysis method, live face image processing method and live face image processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204089A1 (en) * 2013-01-18 2014-07-24 Electronics And Telecommunications Research Institute Method and apparatus for creating three-dimensional montage
JP2014211719A (en) * 2013-04-17 2014-11-13 キヤノン株式会社 Apparatus and method for information processing
CN110111417A (en) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 Generation method, device and the equipment of three-dimensional partial body's model
CN111695471A (en) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 Virtual image generation method, device, equipment and storage medium

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851123B (en) * 2014-02-13 2018-02-06 北京师范大学 A kind of three-dimensional face change modeling method
CN104157010B (en) * 2014-08-29 2017-04-12 厦门幻世网络科技有限公司 3D human face reconstruction method and device
US11127163B2 (en) * 2015-06-24 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Skinned multi-infant linear body model
CN110135226B (en) * 2018-02-09 2023-04-07 腾讯科技（深圳）有限公司 Expression animation data processing method and device, computer equipment and storage medium
CN109395390B (en) * 2018-10-26 2021-12-21 网易（杭州）网络有限公司 Method and device for processing face model of game character, processor and terminal
CN109978989B (en) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 Three-dimensional face model generation method, three-dimensional face model generation device, computer equipment and storage medium
CN110111247B (en) * 2019-05-15 2022-06-24 浙江商汤科技开发有限公司 Face deformation processing method, device and equipment
CN110400369A (en) * 2019-06-21 2019-11-01 苏州狗尾草智能科技有限公司 A kind of method of human face rebuilding, system platform and storage medium
CN110717977B (en) * 2019-10-23 2023-09-26 网易（杭州）网络有限公司 Method, device, computer equipment and storage medium for processing game character face
CN111710035B (en) * 2020-07-16 2023-11-07 腾讯科技（深圳）有限公司 Face reconstruction method, device, computer equipment and storage medium
CN112419485B (en) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 Face reconstruction method, device, computer equipment and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204089A1 (en) * 2013-01-18 2014-07-24 Electronics And Telecommunications Research Institute Method and apparatus for creating three-dimensional montage
JP2014211719A (en) * 2013-04-17 2014-11-13 キヤノン株式会社 Apparatus and method for information processing
CN110111417A (en) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 Generation method, device and the equipment of three-dimensional partial body's model
CN111695471A (en) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 Virtual image generation method, device, equipment and storage medium

Also Published As

Publication number Publication date
TW202221652A (en) 2022-06-01
TWI778723B (en) 2022-09-21
WO2022110790A1 (en) 2022-06-02
CN112419485A (en) 2021-02-26
KR20230110607A (en) 2023-07-24
CN112419485B (en) 2023-11-24

Similar Documents

Publication Publication Date Title
JP2023507862A (en) Face reconstruction method, apparatus, computer device, and storage medium
CN112419454B (en) Face reconstruction method, device, computer equipment and storage medium
Ichim et al. Dynamic 3D avatar creation from hand-held video input
EP3970123A1 (en) Animating avatars from headset cameras
Wechsler Reliable Face Recognition Methods: System Design, Impementation and Evaluation
US20180253895A1 (en) System and method for creating a full head 3d morphable model
CN111784821B (en) Three-dimensional model generation method and device, computer equipment and storage medium
CN108537881A (en) A kind of faceform's processing method and its equipment, storage medium
JP2013524357A (en) Method for real-time cropping of real entities recorded in a video sequence
WO2021253788A1 (en) Three-dimensional human body model construction method and apparatus
CN114757914A (en) Photo-based assessment of dental treatments and procedures
WO2022205762A1 (en) Three-dimensional human body reconstruction method and apparatus, device, and storage medium
Suetens et al. Statistically deformable face models for cranio-facial reconstruction
CN111950430B (en) Multi-scale dressing style difference measurement and migration method and system based on color textures
WO2021098143A1 (en) Image processing method and device, image processing apparatus, and storage medium
CN114333034A (en) Face pose estimation method and device, electronic equipment and readable storage medium
WO2024103890A1 (en) Model construction method and apparatus, reconstruction method and apparatus, and electronic device and non-volatile readable storage medium
CN108717730B (en) 3D character reconstruction method and terminal
JP2023551247A (en) Face reconstruction method, device, computer device and storage medium
CN114373044A (en) Method, device, computing equipment and storage medium for generating three-dimensional face model
CN114429518A (en) Face model reconstruction method, device, equipment and storage medium
CN113240811B (en) Three-dimensional face model creating method, system, equipment and storage medium
CN115393487A (en) Virtual character model processing method and device, electronic equipment and storage medium
CN114612614A (en) Human body model reconstruction method and device, computer equipment and storage medium
KR20200134623A (en) Apparatus and Method for providing facial motion retargeting of 3 dimensional virtual character

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A603 Late request for extension of time limit during examination

Free format text: JAPANESE INTERMEDIATE CODE: A603

Effective date: 20230922

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231205