JP7378642B2 - 生成的非線形人間形状モデル - Google Patents
生成的非線形人間形状モデル Download PDFInfo
- Publication number
- JP7378642B2 JP7378642B2 JP2022566221A JP2022566221A JP7378642B2 JP 7378642 B2 JP7378642 B2 JP 7378642B2 JP 2022566221 A JP2022566221 A JP 2022566221A JP 2022566221 A JP2022566221 A JP 2022566221A JP 7378642 B2 JP7378642 B2 JP 7378642B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- model
- pose
- training
- computing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 93
- 230000008921 facial expression Effects 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 57
- 230000003068 static effect Effects 0.000 claims description 43
- 230000037237 body shape Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 22
- 239000000203 mixture Substances 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000000284 resting effect Effects 0.000 claims description 4
- 210000002478 hand joint Anatomy 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 21
- 210000003128 head Anatomy 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 230000007935 neutral effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000012369 In process control Methods 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 210000004544 dc2 Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004190 ion pair chromatography Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 210000005067 joint tissue Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Description
一般に、本開示は、十分にトレーニング可能なモジュール式の深層学習フレームワーク内の、統計学的、多関節3D人間形状モデリングパイプラインを対象とする。詳細には、本開示の態様は、トレーニングデータのセット上でエンドツーエンドで一緒にトレーニングされる少なくとも顔および体の形状コンポーネントを有する機械学習済み3D人間形状モデルを対象とする。モデルコンポーネント(たとえば、顔のコンポーネントと体のコンポーネントの両方を含む)のジョイントトレーニングが、生成された顔形状と体形状との間の向上した整合性の合成を可能にする。
構造化されていないポイントクラウド
本開示の例示的な実装形態は、人間モデルを、J個の関節を有する骨格K、および関節の動きを明示的に符号化するように線形ブレンディングスキニング(LBS)で変形された皮膚によって指定される、多関節メッシュとして表すことができる。骨格の関節の動きに加えて、顔の表情を導出するために、非線形モデルが使用され得る。J個の関節を有するモデルXを、M(α=(θ,β),φ,γ,ω)として、詳細には、
この節では、スキニングウェイトωを最適化する例示的なエンドツーエンドのニューラルネットワークベースのパイプラインの説明を行い、静止形状埋込み
いくつかの例示的な実装形態では、複数の対象の形状スキャンは、静止またはニュートラルの「A」ポーズにおいて、Caesarデータセット(4,329対象)ならびにGHS3Dのキャプチャされたスキャンにモデルを登録することによって取得され得る。一例として、図3は、頭部および顔のスキャンのクローズアップを示す。いくつかの例示的な実装形態は、ボディスキャンならびにクローズアップの手および頭部スキャンを融合することによって、ニュートラルのAポーズで全身形状を推定する。単一のボディスキャンからの体形推定と比較して、これらの例示的な実装形態は、追加の頭部および手の形状の詳細を利用することができる。
変分体形オートエンコーダは、顔の形状の分散を含む、様々な体形を表すことができる。(単なる人体計測の頭部および顔の静止変形とは対照的に)複雑な顔の表情をさらにサポートするために、任意選択で追加の顔のモデリングを導入することができる。たとえば、モデルは、GHS3Dの数千の顔の表情の動きシーケンススキャンから構築することができる。3-DOFの関節顎、2つの2-DOFのまぶた、および2つの2-DOFの眼球に加えて、スキニングウェイトおよびポーズ空間変形を含む、頭部の関節接合部(articulated joint)のパラメータは、パイプラインの残りとともに更新することができる。
非線形形状および顔の表情モデルを適用した後、最適なスキニング関数が、複数の対象および複数のポーズのメッシュデータから統計学的に推定され得る。具体的には、(4)の場合と同じデータ用語が使用され得るが、ここで最適化変数は、関節中心推定器のパラメータ
この節では、本明細書で説明するシステムおよび方法の例示的な実装形態で行われる例示的な実験を説明する。
図11Aは、本開示の例示的実施形態による例示的コンピューティングシステム100のブロック図を示す。システム100は、ネットワーク180を介して通信可能に結合されている、ユーザコンピューティングデバイス102、サーバコンピューティングシステム130、およびトレーニング用コンピューティングシステム150を含む。
本明細書で説明した技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、ならびに行われるアクションおよびそのようなシステムとの間で送られる情報を参照する。コンピュータベースのシステムの固有の柔軟性は、構成要素の間でのタスクおよび機能の多種多様な可能な構成、組合せ、および分割を可能にする。たとえば、本明細書で説明されるプロセスは、単一のデバイスもしくは構成要素または組合せて働く複数のデバイスもしくは構成要素を使用して実装され得る。データベースおよびアプリケーションは、単一のシステム上で実装されるか、または複数のシステムに分散されてよい。分散構成要素は、順次、または並行して動作することができる。
100 コンピューティングシステム
102 ユーザコンピューティングデバイス
112 プロセッサ
114 メモリ
116 データ
118 命令
120 機械学習済みモデル
122 ユーザ入力構成要素
130 サーバコンピューティングシステム
132 プロセッサ
134 メモリ
136 データw
138 命令
140 機械学習済みモデル
150 トレーニング用コンピューティングシステム
152 プロセッサ
154 メモリ
156 データ
158 命令
160 モデル訓練器
162 トレーニングデータ
180 ネットワーク
Claims (20)
- 機械学習済み3次元人間形状モデルをエンドツーエンドのパイプラインにおいて共同でトレーニングするコンピュータ実装方法であって、1つまたは複数のトレーニング反復について、
1つまたは複数のコンピューティングデバイスを含むコンピューティングシステムによって、トレーニングボディの1つまたは複数のグランドトゥルース登録の形状スキャンを取得するステップであり、前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、任意のポーズを有する少なくともグランドトゥルース登録の全身スキャンと、グランドトゥルース登録の顔詳細スキャンとを含む、取得するステップと、
前記コンピューティングシステムによって、形状エンコーダモデルを使用して、前記トレーニングボディに関連する静止形状埋込みを取得するために、静止しているポーズとともに推定登録全身スキャンを符号化するステップと、
前記トレーニングボディについての識別ベースの静止形状データを取得するために、前記コンピューティングシステムによって、形状デコーダモデルを使用して、前記静止形状埋込みを復号するステップと、
前記トレーニングボディに関連する顔表情埋込みを取得するために、前記コンピューティングシステムによって、顔エンコーダモデルを使用して、前記グランドトゥルース登録の顔詳細スキャンから導出されたデータを符号化するステップと、
前記トレーニングボディについての顔表情データを取得するために、前記コンピューティングシステムによって、顔デコーダモデルを使用して、前記顔表情埋込みを復号するステップと、
前記コンピューティングシステムによって、前記識別ベースの静止形状データ、前記顔表情データ、および前記任意のポーズに対応するポーズパラメータのセットに少なくとも部分的に基づいて、前記トレーニングボディのトレーニングポーズメッシュを生成するステップと、
前記トレーニングボディについて生成された前記トレーニングポーズメッシュを、前記任意のポーズを有する前記グランドトゥルース登録の全身スキャンおよび前記グランドトゥルース登録の顔詳細スキャンと比較する再構成損失関数を評価するステップと、
前記形状エンコーダモデルと、前記形状デコーダモデルと、前記顔エンコーダモデルと、前記顔デコーダモデルとを、前記再構成損失関数に少なくとも部分的に基づいて、共同でトレーニングするステップと、
少なくとも前記形状デコーダモデルと、前記顔デコーダモデルとを含む前記機械学習済み3次元人間形状モデルを提供するステップと
を含む、コンピュータ実装方法。 - 前記コンピューティングシステムによって、前記トレーニングボディの前記トレーニングポーズメッシュを生成するステップが、前記コンピューティングシステムによって、ポーズ空間変形モデルを使用して、前記トレーニングボディについてのポーズによる形状調整を生成するためにポーズパラメータの前記セットを処理するステップを含み、
前記ポーズ空間変形モデルが、前記再構成損失関数に少なくとも部分的に基づいて、前記形状エンコーダモデル、前記形状デコーダモデル、前記顔エンコーダモデル、および前記顔デコーダモデルとともに共同でトレーニングされる、
請求項1に記載のコンピュータ実装方法。 - 前記コンピューティングシステムによって、前記トレーニングボディの前記トレーニングポーズメッシュを生成するステップが、
前記トレーニングボディの骨格表現の複数の関節について複数の予測関節中心を生成するために、前記コンピューティングシステムによって、関節中心予測モデルを使用して、前記識別ベースの静止形状データを処理するステップと、
前記トレーニングボディの前記トレーニングポーズメッシュを生成するために、前記コンピューティングシステムによって、ブレンドスキニングモデルを使用して、前記顔表情データ、前記ポーズによる形状調整、前記識別ベースの静止形状データ、および前記1つまたは複数の予測関節中心を処理するステップと
を含み、
前記関節中心予測モデルおよび前記ブレンドスキニングモデルが、前記再構成損失関数に少なくとも部分的に基づいて、前記形状エンコーダモデル、前記形状デコーダモデル、前記顔エンコーダモデル、前記顔デコーダモデル、および前記ポーズ空間変形モデルとともに共同でトレーニングされる、
請求項2に記載のコンピュータ実装方法。 - 前記ブレンドスキニングモデルが、前記複数の関節に対してそれぞれ複数の学習済みの重みを有する線形ブレンドスキニングモデルを含む、請求項3に記載のコンピュータ実装方法。
- 前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、グランドトゥルース登録の手の詳細スキャンさらに含み、前記再構成損失関数が、前記トレーニングポーズメッシュと前記グランドトゥルース登録の手の詳細スキャンとの間の差を評価する、請求項1から4のいずれか一項に記載のコンピュータ実装方法。
- 前記共同でトレーニングするステップが、(1)ポーズパラメータの前記セットを推定することと、(2)ポーズパラメータの前記セットを固定して、前記形状エンコーダモデル、前記形状デコーダモデル、前記顔エンコーダモデル、および前記顔デコーダモデルのパラメータを更新することとを交互に行うステップを含む、請求項1から5のいずれか一項に記載のコンピュータ実装方法。
- 前記再構成損失関数が、前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンの中の1対1対応およびフィルタリングで、頂点ごとのユークリッド距離誤差を評価する、請求項1から6のいずれか一項に記載のコンピュータ実装方法。
- エンドツーエンドのパイプラインにおいて共同でトレーニングされた少なくとも顔および体の形状コンポーネントを有する機械学習済み3次元人間形状モデルを特徴として備えるコンピューティングシステムであって、
1つまたは複数のプロセッサと、
機械学習済み3次元人間形状モデルをまとめて記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記機械学習済み3次元人間形状モデルが、
人体についての顔表情データを生成するために、前記人体に関連する顔表情埋込みを処理するようにトレーニングされた機械学習済み顔表情デコーダモデルと、
前記人体についてのポーズによる形状調整を生成するために、ポーズパラメータのセットを処理するようにトレーニングされた機械学習済みポーズ空間変形モデルと、
前記人体についての識別ベースの静止形状データを生成するために、前記人体に関連する静止形状埋込みを処理するようにトレーニングされた機械学習済み形状デコーダモデルと
を含む、1つまたは複数の非一時的コンピュータ可読媒体と
を備え、
前記機械学習済み3次元人間形状モデルが、前記顔表情データ、前記ポーズによる形状調整、および前記識別ベースの静止形状データに少なくとも部分的に基づいて、前記人体のポーズメッシュを生成するようにトレーニングされており、
前記機械学習済み顔表情デコーダモデル、前記機械学習済みポーズ空間変形モデル、および前記機械学習済み形状デコーダモデルのすべてが、トレーニングボディについて前記機械学習済み3次元人間形状モデルによって生成されたトレーニングポーズメッシュを、前記トレーニングボディの1つまたは複数のグランドトゥルース登録の形状スキャンと比較する再構成損失関数に少なくとも部分的に基づいて、エンドツーエンドで共同でトレーニングされている、コンピューティングシステム。 - 前記機械学習済み3次元人間形状モデルが、
前記人体の骨格表現の複数の関節について複数の予測関節中心を生成するために、前記識別ベースの静止形状データを処理するようにトレーニングされた機械学習済み関節中心予測モデルと、
前記人体の前記ポーズメッシュを生成するために、前記顔表情データ、前記ポーズによる形状調整、前記識別ベースの静止形状データ、および前記1つまたは複数の予測関節中心を処理するようにトレーニングされた機械学習済みブレンドスキニングモデルと
をさらに含み、
前記機械学習済み関節中心予測モデルおよび前記機械学習済みブレンドスキニングモデルが、前記再構成損失関数に少なくとも部分的に基づいて、前記機械学習済み顔表情デコーダモデル、前記機械学習済みポーズ空間変形モデル、および前記機械学習済み形状デコーダモデルとともに、エンドツーエンドで共同でトレーニングされている、請求項8に記載のコンピューティングシステム。 - 前記機械学習済みブレンドスキニングモデルが、前記複数の関節に対してそれぞれ複数の学習済みの重みを有する線形ブレンドスキニングモデルを含む、請求項9に記載のコンピューティングシステム。
- 前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、グランドトゥルース登録の全身スキャンと、前記グランドトゥルース登録の全身スキャンとは別個であるグランドトゥルース登録の顔詳細スキャンとを含む、請求項8から10のいずれか一項に記載のコンピューティングシステム。
- 前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、前記グランドトゥルース登録の全身スキャンおよび前記グランドトゥルース登録の顔詳細スキャンとは別個であるグランドトゥルース登録の手の詳細スキャンをさらに含む、請求項11に記載のコンピューティングシステム。
- 前記機械学習済み顔表情デコーダモデルが、トレーニング頭部メッシュを受け取り、前記顔表情埋込みを生成するために前記トレーニング頭部メッシュを符号化し、前記人体についての前記顔表情データを生成するために前記顔表情埋込みを処理するようにトレーニングされた、顔表情変分オートエンコーダの一部分としてトレーニングされた、請求項8から12のいずれか一項に記載のコンピューティングシステム。
- 前記機械学習済み形状デコーダモデルが、トレーニングボディ静止形状メッシュを受け取り、前記静止形状埋込みを生成するために前記トレーニングボディ静止形状メッシュを符号化し、前記人体についての前記識別ベースの静止形状データを生成するために前記静止形状埋込みを処理するようにトレーニングされた、形状変分オートエンコーダの一部分としてトレーニングされた、請求項8から13のいずれか一項に記載のコンピューティングシステム。
- ポーズパラメータの前記セットが、それぞれ頭部、体、左手、および右手の関節に対する4つの特徴ベクトルを含み、前記機械学習済みポーズ空間変形モデルが、前記4つの特徴ベクトルを一緒に受け取り、出力の単一のセットを出力するように構成された修正線形ユニットレイヤを含む、請求項8から14のいずれか一項に記載のコンピューティングシステム。
- 前記機械学習済み3次元人間形状モデルが、複数のトレーニング例の各々について、(1)ポーズパラメータの前記セットを推定することと、(2)ポーズパラメータの前記セットを固定して、前記機械学習済み3次元人間形状モデルの他のパラメータを更新することとを交互に行うことによってトレーニングされた、請求項8から15のいずれか一項に記載のコンピューティングシステム。
- 前記再構成損失関数が、前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンの中の1対1対応およびフィルタリングで、頂点ごとのユークリッド距離誤差を評価する、請求項8から16のいずれか一項に記載のコンピューティングシステム。
- 前記1つまたは複数の非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに動作を実行させる命令をさらに記憶し、前記動作が、
新しい人体に関連する新しい顔表情埋込み、ポーズパラメータの新しいセット、および新しい静止形状埋込みを取得することと、
前記新しい顔表情埋込み、ポーズパラメータの前記新しいセット、および前記新しい静止形状埋込みに少なくとも部分的に基づいて、前記新しい人体の新しいポーズメッシュを生成することと
を含む、請求項8から17のいずれか一項に記載のコンピューティングシステム。 - 前記新しい顔表情埋込み、ポーズパラメータの前記新しいセット、および前記新しい静止形状埋込みを取得することが、
前記新しい人体を示す単眼画像から、前記新しい顔表情埋込み、ポーズパラメータの前記新しいセット、および前記新しい静止形状埋込みを生成すること
を含む、請求項18に記載のコンピューティングシステム。 - 機械学習済み3次元人間形状モデルをまとめて記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記機械学習済み3次元人間形状モデルが、
人体についての顔表情データを生成するために、前記人体に関連する顔表情埋込みを処理するようにトレーニングされた機械学習済み顔表情デコーダモデルと、
前記人体についての識別ベースの形状データを生成するために、前記人体に関連する形状埋込みを処理するようにトレーニングされた機械学習済み形状デコーダモデルと
を含み、
前記機械学習済み3次元人間形状モデルが、前記顔表情データ、ポーズパラメータのセット、前記識別ベースの形状データに少なくとも部分的に基づいて、前記人体のポーズメッシュを生成するようにトレーニングされ、
前記機械学習済み顔表情デコーダモデルおよび前記機械学習済み形状デコーダモデルが、トレーニングボディについての前記機械学習済み3次元人間形状モデルによって生成されたトレーニングポーズメッシュを、前記トレーニングボディの1つまたは複数のグランドトゥルース登録の形状スキャンと比較する再構成損失関数に少なくとも部分的に基づいて、エンドツーエンドで共同でトレーニングされている、1つまたは複数の非一時的コンピュータ可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2020/030712 WO2021221657A1 (en) | 2020-04-30 | 2020-04-30 | Generative nonlinear human shape models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023524252A JP2023524252A (ja) | 2023-06-09 |
JP7378642B2 true JP7378642B2 (ja) | 2023-11-13 |
Family
ID=70802929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022566221A Active JP7378642B2 (ja) | 2020-04-30 | 2020-04-30 | 生成的非線形人間形状モデル |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230169727A1 (ja) |
EP (1) | EP4128168A1 (ja) |
JP (1) | JP7378642B2 (ja) |
KR (1) | KR20230004837A (ja) |
CN (1) | CN115461785A (ja) |
WO (1) | WO2021221657A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260774B (zh) * | 2020-01-20 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成3d关节点回归模型的方法和装置 |
CN114333069B (zh) * | 2022-03-03 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 对象的姿态处理方法、装置、设备及存储介质 |
CN117409161A (zh) * | 2022-07-06 | 2024-01-16 | 戴尔产品有限公司 | 点云处理方法和电子设备 |
CN116434347B (zh) * | 2023-06-12 | 2023-10-13 | 中山大学 | 一种基于掩码图自编码器的骨架序列识别方法及*** |
CN116452755B (zh) * | 2023-06-15 | 2023-09-22 | 成就医学科技(天津)有限公司 | 一种骨骼模型构建方法、***、介质及设备 |
CN116740820B (zh) * | 2023-08-16 | 2023-10-31 | 南京理工大学 | 基于自动增广的单视角点云三维人体姿态与形状估计方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018139203A1 (ja) | 2017-01-26 | 2018-08-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018124666A (ja) | 2017-01-30 | 2018-08-09 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
WO2019160100A1 (ja) | 2018-02-16 | 2019-08-22 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
-
2020
- 2020-04-30 CN CN202080100318.0A patent/CN115461785A/zh active Pending
- 2020-04-30 US US17/922,160 patent/US20230169727A1/en active Pending
- 2020-04-30 KR KR1020227041960A patent/KR20230004837A/ko not_active Application Discontinuation
- 2020-04-30 JP JP2022566221A patent/JP7378642B2/ja active Active
- 2020-04-30 EP EP20727760.9A patent/EP4128168A1/en active Pending
- 2020-04-30 WO PCT/US2020/030712 patent/WO2021221657A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018139203A1 (ja) | 2017-01-26 | 2018-08-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018124666A (ja) | 2017-01-30 | 2018-08-09 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
WO2019160100A1 (ja) | 2018-02-16 | 2019-08-22 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
Aliaksandr Siarohin,First Order Motion Model for Image Animation,33nd Conference on Neural Information Processing Systems (NeurIPS 2019),カナダ,arXiv,2020年02月29日,arXiv:2003.00196v1 (29 Feb 2020),P.1-20 |
Also Published As
Publication number | Publication date |
---|---|
CN115461785A (zh) | 2022-12-09 |
EP4128168A1 (en) | 2023-02-08 |
WO2021221657A1 (en) | 2021-11-04 |
KR20230004837A (ko) | 2023-01-06 |
JP2023524252A (ja) | 2023-06-09 |
US20230169727A1 (en) | 2023-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7378642B2 (ja) | 生成的非線形人間形状モデル | |
JP7198332B2 (ja) | 画像正則化及びリターゲティングシステム | |
Patel et al. | Tailornet: Predicting clothing in 3d as a function of human pose, shape and garment style | |
Tiwari et al. | Pose-ndf: Modeling human pose manifolds with neural distance fields | |
US11875458B2 (en) | Fast and deep facial deformations | |
Gall et al. | Optimization and filtering for human motion capture: A multi-layer framework | |
US20130147788A1 (en) | Method for facial animation | |
US20080204457A1 (en) | Rig Baking | |
WO2023129190A1 (en) | Generative modeling of three dimensional scenes and applications to inverse problems | |
CN110176063B (zh) | 一种基于人体拉普拉斯变形的服装变形方法 | |
Schröder et al. | Design and evaluation of reduced marker layouts for hand motion capture | |
Taylor et al. | VR props: an end-to-end pipeline for transporting real objects into virtual and augmented environments | |
Madadi et al. | Deep unsupervised 3D human body reconstruction from a sparse set of landmarks | |
US20210110001A1 (en) | Machine learning for animatronic development and optimization | |
Garcia-D’Urso et al. | Accurate estimation of parametric models of the human body from 3D point clouds | |
CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
CA3177593A1 (en) | Transformer-based shape models | |
Gan et al. | Fine-grained multi-view hand reconstruction using inverse rendering | |
Huang et al. | Detail-preserving controllable deformation from sparse examples | |
EP4150577A1 (en) | Learning articulated shape reconstruction from imagery | |
Wu et al. | Video driven adaptive grasp planning of virtual hand using deep reinforcement learning | |
EP4220557A1 (en) | Method and computer program product for determining a pose of a body model in 3d space | |
Kitamura et al. | A Two-Step Approach for Interactive Animatable Avatars | |
Dhibi et al. | Multiresolution analysis relying on Beta wavelet transform and multi-mother wavelet network for a novel 3D mesh alignment and deformation technique | |
WO2022164995A1 (en) | Direct clothing modeling for a drivable full-body animatable human avatar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7378642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |