JP5773323B2 - 画像に基づくマルチビュー３ｄ顔生成 - Google Patents

画像に基づくマルチビュー３ｄ顔生成 Download PDF

Info

Publication number
JP5773323B2
JP5773323B2 JP2014524234A JP2014524234A JP5773323B2 JP 5773323 B2 JP5773323 B2 JP 5773323B2 JP 2014524234 A JP2014524234 A JP 2014524234A JP 2014524234 A JP2014524234 A JP 2014524234A JP 5773323 B2 JP5773323 B2 JP 5773323B2
Authority
JP
Japan
Prior art keywords
face
mesh
morphable
model
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014524234A
Other languages
English (en)
Other versions
JP2014525108A (ja
Inventor
トーン、シァオフェン
リ、ジャングオ
フー、ウェイ
ドゥ、ヤンチョウ
ジャン、イミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2014525108A publication Critical patent/JP2014525108A/ja
Application granted granted Critical
Publication of JP5773323B2 publication Critical patent/JP5773323B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Description

人間の顔の特徴を３Ｄモデル化することは、３Ｄで写実的に人々を表現するために広く用いられている。例えば、アバター等の人間の仮想表現は大抵、このような３Ｄモデルを利用している。３Ｄで顔を生成するための従来の用途では、特徴点を手作業で分類する必要がある。このような技術はモーフィング可能モデルフィッティングを利用するが、自動顔特徴検出が可能になること、および、マルチビューステレオ（ＭＶＳ）技術を利用することが望ましい。
本明細書で説明する内容は、添付図面において一例として挙げているものであり、限定を目的としたものではない。図示を簡潔かつ明瞭にするべく、図面に図示する構成要素は必ずしも実寸に即したものではない。例えば、一部の構成要素の寸法は、他の構成要素に比べて、分かり易いように、強調されていることもある。さらに、適切と見なされる場合には、参照符号は複数の図面にわたって繰り返し用いて、対応する構成要素または同様の構成要素を示す。図面は以下の通りである。
システムの一例を示す図である。 ３Ｄ顔モデル生成プロセスの一例を示す図である。 バウンディングボックスおよび特定された顔特徴の一例を示す図である。 複数の復元されたカメラおよび対応する高密度アバターメッシュの一例を示す図である。 再構成されたモーフィング可能顔メッシュを高密度アバターメッシュに融合させる例を示す図である。 モーフィング可能顔メッシュの三角形の一例を示す図である。 角度重み付けされたテクスチャ合成方法の一例を示す図である。 テクスチャ画像と、対応するスムージングされた３Ｄ顔モデルとを組み合わせて、最終３Ｄ顔モデルを生成する例を示す図である。 本開示の少なくとも一部の実施形態に応じて全ての構成要素が配置されているシステムの一例を示す図である。
添付した図面を参照しつつ１以上の実施形態または実施例を以下で説明する。具体的な構成および配置を説明したが、これは例示を目的としたものに過ぎないと理解されたい。当業者であれば、以下の説明の意図および範囲から逸脱することなく、他の構成および配置を利用し得ると認めるであろう。当業者には、本明細書で説明する技術および／または構成はさらに、本明細書で説明する以外の多岐にわたる他のシステムおよび用途でも採用し得ることが明らかである。
以下に記載する説明は、例えばシステムオンチップ（ＳｏＣ）アーキテクチャ等のアーキテクチャで見られるさまざまな実施形態についてであるが、本明細書で説明する技術および／または構成の実施形態は特定のアーキテクチャおよび／またはコンピューティングシステムに限定されず、同様の目的を実現するべく任意のアーキテクチャおよび／またはコンピューティングシステムによって実現され得る。例えば、複数の集積回路（ＩＣ）チップおよび／またはパッケージ、および／または、さまざまなコンピューティングデバイスおよび／または、セットトップボックス、スマートフォン等の消費者向け電子（ＣＥ）機器を利用するさまざまなアーキテクチャが、本明細書で説明する技術および／または構成を実現するとしてよい。さらに、以下の説明は、論理実装、システムコンポーネントの種類および相関関係、論理上のパーティション化／統合の選択肢等、具体的且つ詳細な内容を数多く記載しているが、請求の対象となる主題はこのような具体的且つ詳細な内容を利用することなく実施するとしてもよい。また、例えば、制御構造および完全ソフトウェア命令シーケンス等の一部の開示内容は、本明細書の開示内容をあいまいにしないよう、詳細な説明を省略するとしてよい。
本明細書の開示内容は、ハードウェア、ファームウェア、ソフトウェアまたはこれらの任意の組み合わせで実現されるとしてよい。本明細書の開示内容はさらに、１以上のプロセッサによって読み出して実行される、機械可読媒体に格納される命令として実現するとしてもよい。機械可読媒体は、機械（例えば、コンピューティングデバイス）が読出可能な形式で情報を格納または送信する任意の媒体および／またはメカニズムを含むとしてよい。例えば、機械可読媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス、電流、光、音波またはその他の形態の伝搬信号（例えば、搬送波、赤外信号、デジタル信号等）等を含むとしてよい。
本明細書において「一実施形態」、「実施形態」、「実施形態例」等の表現は、当該実施形態が特定の特徴、構造または特性を含み得るが、全ての実施形態が必ずしもその特定の特徴、構造または特性を含むものではないことを意味する。さらに、このようなフレーズは必ずしも同じ実施形態を意味するものではない。さらに、ある実施形態に関連付けて特定の特徴、構造または特性を説明する場合、本明細書で明示的に説明しているか否かに関わらず、当該特徴、構造または特性を他の実施形態と組み合わせて実施することは当業者の想到の範囲内であると考えられる。
図１は、本開示に係るシステム１００の一例を示す図である。さまざまな実施形態によると、システム１００は、撮像モジュール１０２、および、本明細書で説明するように顔テクスチャを含む３Ｄ顔モデルを生成することができる３Ｄ顔シミュレーションモジュール１１０を備えるとしてよい。さまざまな実施形態によると、システム１００は、キャラクターのモデル化および作成、コンピュータグラフィクス、ビデオカンファレンス、オンラインゲーム、バーチャルリアリティ用途等に利用し得る。さらに、システム１００は、知覚コンピューティング、デジタルホームエンターテインメント、消費者向け電子機器等の用途に適切であるとしてよい。
撮像モジュール１０２は、１以上の撮像デバイス１０４、例えば、スチールカメラまたはビデオカメラを有する。一部の実施形態によると、一のカメラ１０４を、被写体の顔１０８を中心として、円弧またはトラック１０６に沿って移動させて、顔１０８の一連の画像を生成するとしてよい。以下でより詳細に説明するが、顔１０８に対する各画像の視点は異なる。他の実施形態によると、複数の撮像デバイス１０４を利用して、顔１０８に対してさまざまな角度に配置するとしてよい。一般的に、撮像モジュール１０２には、画像シーケンスを生成するべく任意の数の公知の撮像システムおよび／または撮像技術を用いてもよい（例えば、「Ｓｅｉｔｚ ｅｔ ａｌ．，"Ａ Ｃｏｍｐａｒｉｓｏｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ，" Ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００６」（以下では「Ｓｅｉｔｚ ｅｔ ａｌ．」と引用する）を参照のこと）。
撮像モジュール１０２は、シミュレーションモジュール１１０に画像シーケンスを供給するとしてよい。シミュレーションモジュール１１０は、少なくとも、顔検出モジュール１１２、マルチビューステレオ（ＭＶＳ）モジュール１１４、３Ｄモーフィング可能顔モジュール１１６、アラインメントモジュール１１８、および、テクスチャモジュール１２０を有する。これらの構成要素の機能はより詳細に後述する。一般的に、より詳細に後述するが、シミュレーションモジュール１１０は、撮像モジュール１０２が供給する画像から画像を選択して、選択された画像に対して顔検出を実行して顔バウンディングボックスおよび顔特徴を取得して、カメラパラメータを復元し、疎な重要点を取得し、マルチビューステレオ技術を実行して高密度アバターメッシュを生成し、当該メッシュをモーフィング可能３Ｄ顔モデルにフィッティングさせ、アラインメントおよびスムージングによって３Ｄ顔モデルを改善し、当該顔モデル用のテクスチャ画像を合成するべく用いられるとしてよい。
さまざまな実施形態によると、撮像モジュール１０２およびシミュレーションモジュール１１０は、互いに隣接しているか、または、互いに近接しているとしてよい。例えば、撮像モジュール１０２は、撮像デバイス１０４としてビデオカメラを利用するとしてよく、シミュレーションモジュール１１０は、直接デバイス１０４から画像シーケンスを受信して、画像を処理して３Ｄ顔モデルおよびテクスチャ画像を生成するコンピューティングシステムによって実現されるとしてよい。他の実施形態によると、撮像モジュール１０２およびシミュレーションモジュール１１０は、互いから離れているとしてもよい。例えば、撮像モジュール１０２から離れた位置にある１以上のサーバーコンピュータがシミュレーションモジュール１１０を実現し、シミュレーションモジュール１１０は、例えば、インターネットを介して、モジュール１０２から画像シーケンスを受信するとしてよい。さらに、さまざまな実施形態によると、シミュレーションモジュール１１０は、複数の異なるコンピューティングシステムに分散して設けられているか、または、分散させていないソフトウェア、ファームウェアおよび／またはハードウェアを任意に組み合わせることで提供されるとしてよい。
図２は、本開示のさまざまな実施形態に応じた、３Ｄ顔モデルを生成するためのプロセス２００の例を説明するためのフローチャートである。プロセス２００は、図２のブロック２０２、２０４、２０６、２０８、２１０、２１２、２１４および２１６のうち１以上で説明する１以上の処理、機能または動作を含むとしてよい。プロセス２００は、これらに限定されることなく一例として挙げるが、図１のシステムの例に基づいて本明細書で説明する。プロセス２００は、ブロック２０２で開始されるとしてよい。
ブロック２０２において、顔の複数の２Ｄ画像を撮像するとしてよく、これらの画像のうちさまざまな画像をさらなる処理のために選択するとしてよい。さまざまな実施形態によると、ブロック２０２は、複数の異なる視点から人間の顔のビデオ画像を録画するべく、一般的な商業用カメラを利用することを含むとしてよい。例えば、ビデオは、約１０秒間にわたって人間の頭部の前面を中心として約１８０度にわたる複数の異なる向きで、顔は静止させたまま、淡々とした表情を維持しながら、録画されるとしてよい。この結果、約３００枚もの２Ｄ画像が撮像されるとしてよい（標準的なビデオフレームレートである毎秒当たり３０フレームを仮定する）。結果として得られるビデオはこの後、デコードされて、約３０枚程度の顔画像を含むサブ群を、手作業で、または、自動選択方法（例えば、「Ｒ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎ，"Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，"Ｃｈａｐｔｅｒ １２，Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ，Ｓｅｃｏｎｄ Ｖｅｒｓｉｏｎ（２００３）」を参照のこと）を用いて選択するとしてよい。一部の実施形態によると、選択された画像のうち隣接する画像同士の間の角度（撮像されている被写体に対して測定される）は、１０度以下であるとしてよい。
この後、ブロック２０４において、選択された画像に対して顔検出および顔特徴特定を実行して、対応する顔バウンディングボックスおよび当該顔バウンディングボックス内の特定された特徴を生成するとしてよい。さまざまな実施形態によると、ブロック２０４は、公知の自動マルチビュー顔検出技術（例えば、Ｋｉｍ ｅｔ ａｌ．，"Ｆａｃｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ Ｖｉｓｕａｌ Ｃｏｎｓｔｒａｉｎｔｓ ｉｎ Ｒｅａｌ− Ｗｏｒｌｄ Ｖｉｄｅｏｓ"，Ｉｎ ＩＥＥＥ Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （２００８）を参照のこと）を適用して、特徴を特定する領域を限定するべく、そして、外部のバックグラウンド画像コンテンツを削除するべく、顔バウンディングボックスを利用して、各画像における顔輪郭および顔特徴を概略的に示すことを含むとしてよい。例えば、図３は、人間の顔３０８の２Ｄ画像３０６に対するバウンディングボックス３０２および特定された顔特徴３０４の例を示す図であるが、これに限定されない。
ブロック２０６において、カメラパラメータを画像毎に決定するとしてよい。さまざまな実施形態によると、ブロック２０６は、画像毎に、安定した重要点を抽出して、公知の自動カメラパラメータ復元技術、例えば、Ｓｅｉｔｚ ｅｔ ａｌ．に記載されている技術を利用して、カメラ射影マトリクスを含むカメラパラメータおよび特徴点の疎な集合を取得することを含むとしてよい。一部の例によると、システム１００の顔検出モジュール１１２は、ブロック２０４および／またはブロック２０６を実行するとしてよい。
ブロック２０８において、マルチビューステレオ（ＭＶＳ）技術を適用して、特徴点の疎な集合およびカメラパラメータから高密度アバターメッシュを生成するとしてよい。さまざまな実施形態によると、ブロック２０８は、顔画像の複数の対について、公知のステレオホモグラフィーおよびマルチビューアラインメントおよびインテグレーション技術を実行することを含むとしてよい。例えば、国際公開公報第２０１０１３３００７号（Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｒａｐｉｄ Ｓｔｅｒｅｏ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅｓ）に記載されているように、一対の画像について、ホモグラフィーフィッティングによって取得された画像点の対は、最適化された後、既知のカメラパラメータで三角法を用いて、高密度アバターメッシュにおける３次元点を生成するとしてよい。例えば、図４は、これに限定するものではないが、ブロック２０６で取得する複数の復元されたカメラ４０２（例えば、復元したカメラパラメータが特定するもの）、および、ブロック２０８で取得する、対応する高密度アバターメッシュ４０４の例を示す図である。一部の例では、システム１００のＭＶＳモジュール１１４がブロック２０８を実行するとしてよい。
図２の説明に戻ると、ブロック２０８で取得する高密度アバターメッシュは、ブロック２１０において３Ｄモーフィング可能モデルにフィッティングさせて、再構成された３Ｄモーフィング可能顔メッシュを生成するとしてよい。高密度アバターメッシュはこの後、ブロック２１２において再構成されたモーフィング可能顔メッシュにアラインメントされて改善され、スムージングされた３Ｄ顔モデルを生成する。一部の例では、システム１００の３Ｄモーフィング可能モデルモジュール１１６およびアラインメントモジュール１１８はそれぞれ、ブロック２１０および２１２を実行するとしてよい。
さまざまな実施形態によると、ブロック２１０は、モーフィング可能顔モデルを顔データセットから学習することを含むとしてよい。例えば、顔データセットは、形状データ（例えば、デカルト座標系における（ｘ、ｙ、ｚ）メッシュ座標）、および、高密度アバターメッシュにおける各点または頂点を特定するテクスチャデータ（赤色、緑色および青色の強度値）を含むとしてよい。形状およびテクスチャは、対応する列ベクトルで表すとしてよい。（ｘ１，ｙ１，ｚ１，ｘ２，ｙ２，ｚ２，・・・，ｘｎ，ｙｎ，ｚｎ)ｔおよび（Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２，・・・Ｒｎ，Ｇｎ，Ｚｎ）ｔ（尚、ｎは、顔における特徴点または頂点の数）を示す。
一般的な顔は、以下の式を用いて３Ｄモーフィング可能顔モデルとして表されるとしてよい。
Figure 0005773323
 式中、Ｘ０は平均列ベクトルであり、λｉはｉ番目の固有値であり、Ｕｉはｉ番目の固有ベクトルであり、αｉは、ｉ番目の固有値の、再構成されたメトリック係数である。数１で表されるモデルは、係数群｛α｝ｎを調整することでさまざまな形状にモーフィングされるとしてよい。
高密度アバターメッシュを数１の３Ｄモーフィング可能顔モデルにフィッティングすることは、モーフィング可能モデルの頂点Ｓｍｏｄを数２として解析的に定義することを含むとしてよい。
Figure 0005773323
 式中、
Figure 0005773323
 は、モーフィング可能モデルの頂点の全てを含む一群Ｋから、特徴点に対応するｎ個の頂点を選択する射影である。数２において、ｎ個の特徴点を用いて再構成されたエラーを測定する。
フィッティングにおいて、事前モデルを適用すると、以下のコスト関数が得られるとしてよい。
Figure 0005773323
 数４は、適切な形状を表す確率は、ノルムに直接的に左右されると仮定する。αの値が大きくなると、再構成された顔と平均的な顔との差分が大きくなることを意味する。パラメータ「η」は、数４の事前確率およびフィッティング品質との間でトレードオフの関係にあり、以下のコスト関数を最小限に抑えることによって繰り返し決定するとしてよい。
Figure 0005773323
 式中、
Figure 0005773323
 が成り立つ。特異値分解をＡに適用すると、以下のようになる
Figure 0005773323
 式中、ｗｉはＡの特異値である。
数５は、以下の条件が満たされる場合に最小化されるとしてよい。
Figure 0005773323
 数８を利用して、αはα＝α＋δαとして繰り返し更新されるとしてよい。また、一部の実施形態によると、ηは繰り返し調整するとしてよい。尚、ηは最初、
Figure 0005773323
 （例えば、最大特異値）に設定されるとしてよく、より小さい特異値の二乗値へと低減するとしてよい。
さまざまな実施形態によると、ブロック２１０において再構成されたモーフィング可能顔メッシュとして提供される再構成された３Ｄ点を考えると、ブロック２１２におけるアラインメントは、顔のポージング、および、再構成された３Ｄ点からモーフィング可能顔メッシュまでの距離を最小にするために必要なメトリック係数の両方を検索することを含むとしてよい。顔のポージングは、中立顔モデルの座標フレームから高密度アバターメッシュの座標フレームへの変換Ｔによって提供されるとしてよい。尚、Ｒは３×３の回転行列であり、ｔは並進であり、ｓはグローバルスケールである。変換Ｔは以下の数１０で表される。
Figure 0005773323
 どの３Ｄベクトルｐについても、Ｔ（ｐ）＝ｓＲｐ＋ｔを利用するとしてよい。
カメラフレーム内の顔メッシュの頂点座標は、メトリック係数および顔のポージングの両方の関数である。メトリック係数｛α１，α２，・・・，αｎ｝およびポージングＴの場合、カメラフレーム内の顔形状は以下の数１１で表されるとしてよい。
Figure 0005773323
顔メッシュが三角メッシュである例では、三角形上の任意の点は、重心座標で測定される３個の三角形の頂点の一次結合として表現されるとしてよい。このように、三角形上の任意の点は、Ｔおよびメトリック係数の関数として表現されるとしてよい。さらに、Ｔが一定の場合、本明細書で説明するメトリック係数の一次関数として表現されるとしてよい。
この後、ポージングＴおよびメトリック係数｛α１，α２，・・・，αｎ｝は、以下の数１２を最小化することによって得られるとしてよい。
Figure 0005773323
 式中、（ｐ１，ｐ２，・・・，ｐｎ）は、再構成された顔メッシュの点を表しており、ｄ（ｐｉ，Ｓ）は、点ｐｉから顔メッシュＳまでの距離を表す。数１２は、イテレーションクローズドポイント（ＩＣＰ）方式を利用して解を求めるとしてよい。例えば、イテレーションの度に、Ｔは一定であるとしてよく、点ｐｉ毎に、現在の顔メッシュＳ上の最も近い点ｇｉを特定するとしてよい。エラーＥは最小化されるとしてよく（数１２）、再構成されたメトリック係数は、数１、数２、数４、数５および数８を用いて得られる。そして、顔のポージングＴは、メトリック係数｛α１，α２，・・・，αｎ｝を固定することによって、得られるとしてよい。さまざまな実施形態によると、これは、高密度アバターメッシュの点についてｋｄ木を構築すること、高密度点におけるクローズド点においてモーフィング可能顔モデルを検索すること、および、最小二乗法を用いてポージング変換Ｔを得ることを含むとしてよい。ＩＣＰは継続して行われ、エラーＥが収束して、再構成されたメトリック係数およびポージングＴが安定化するまで、さらにイテレーションが行われるとしてよい。
高密度アバターメッシュ（ブロック２０８におけるＭＶＳ処理で得られたもの）と再構成されたモーフィング可能顔メッシュ（ブロック２１０で得られたもの）とをアラインメントさせ、高密度アバターメッシュを再構成されたモーフィング可能顔メッシュに融合することによって結果を改善またはスムージングするとしてよい。例えば、図５は、再構成されたモーフィング可能顔メッシュ５０２を高密度アバターメッシュ５０４に融合してスムージングされた３Ｄ顔モデル５０６を得る例を、これに限定しないが、説明する図である。
さまざまな実施形態によると、３Ｄ顔モデルをスムージングすることは、顔メッシュの周囲に円筒平面を作成すること、および、モーフィング可能顔モデルおよび高密度アバターメッシュの両方を当該平面にアンラップすることを含むとしてよい。高密度アバターメッシュの頂点毎に、当該頂点を含む、モーフィング可能顔メッシュの三角形を特定するとしてよい。そして、当該三角形内の当該頂点の重心座標を求めるとしてよい。そして、高密度点と、モーフィング可能顔メッシュ内の対応する点とを重み付け結合した結果として、改善された点を生成するとしてよい。高密度アバターメッシュ内の点ｐｉの改善は、以下の数１３によって行われるとしてよい。
Figure 0005773323
 式中、αおよびβは重みであり、（ｑ１，ｑ２，ｑ３）は、点ｐｉを含むモーフィング可能顔メッシュの三角形の３つの頂点であり、（ｃ１，ｃ２，ｃ３）は、図６に図示されているように３個のサブ三角形の面積を正規化したものである。さまざまな実施形態によると、ブロック２１２の少なくとも一部分は、システム１００のアラインメントモジュール１１８によって実行されるとしてよい。
ブロック２１２においてスムージングされた３Ｄ顔メッシュを生成した後、ブロック２１４において、カメラ射影マトリクスを用いて、マルチビューテクスチャ合成を適用することによって対応する顔テクスチャを合成するとしてよい。さまざまな実施形態によると、ブロック２１４は、角度重み付けテクスチャ合成方法を利用して最終顔テクスチャ（例えば、テクスチャ画像）を決定することを含むとしてよい。ブロック２１４では、高密度アバターメッシュにおける各点または各三角形について、対応する射影マトリクスを用いてさまざまな２Ｄ顔画像における投影点または投影三角形を取得するとしてよい。
図７は、本開示に応じた、ブロック２１４で適用され得る角度重み付けテクスチャ合成方法７００の一例を示す図である。さまざまな実施形態によると、ブロック２１４は、高密度アバターメッシュの各三角形について、一連の顔画像から得られた投影三角形の全てのテクスチャデータの重み付け結合を求めることを含むとしてよい。図７の例に示すように、３Ｄ点Ｐは、高密度アバターメッシュ７０２内の三角形に対応付けられており、点Ｐにおいてメッシュ７０２に正接している平面７０４の表面に対して定義される法線Ｎを持つ。当該３Ｄ点Ｐが、一例である２つのカメラＣ１およびＣ２（カメラ中心Ｏ１およびＯ２）に向かって投影されると、カメラＣ１およびＣ２が撮像する顔画像７０６および７０８において２Ｄ投影点Ｐ１およびＰ２が得られるとしてよい。
そして、点Ｐ１およびＰ２のテクスチャ値は、法線Ｎと、各カメラの主軸との間の角度のコサイン値によって重み付けするとしてよい。例えば、点Ｐ１のテクスチャ値は、法線ＮとカメラＣ１の主軸Ｚ１との間に形成されている角度７１０のコサイン値で重み付けするとしてよい。同様に、図７には分かり易いように図示していないが、点Ｐ２のテクスチャ値は、法線ＮとカメラＣ２の主軸Ｚ２との間に形成されている角度のコサイン値で重み付けするとしてよい。画像シーケンス中の全てのカメラについて同様の処理を行って、重み付けされたテクスチャ値の結合結果を用いて点Ｐおよび対応する三角形のテクスチャ値を生成するとしてよい。ブロック２１４は、高密度アバターメッシュ内の全ての点について同様の処理を実行して、ブロック２１２で生成されたスムージングされた３Ｄ顔モデルに対応するテクスチャ画像を生成することを含むとしてよい。さまざまな実施形態によると、ブロック２１４はシステム１００のテクスチャモジュール１２０によって実行されるとしてよい。
プロセス２００は、スムージングされた３Ｄ顔モデルおよび対応するテクスチャ画像を公知の技術を利用して結合して最終３Ｄ顔モデルを生成するブロック２１６において終了するとしてよい。例えば、図８は、テクスチャ画像８０２と、対応するスムージングされた３Ｄ顔モデル８０４とを結合させて、最終３Ｄ顔モデル８０６を生成する例を示す図である。さまざまな実施形態によると、最終顔モデルは任意の標準的な３Ｄデータ形式（例えば、．ｐｌｙ、．ｏｂｊ等）で提供されるとしてよい。
図２に図示している一例であるプロセス２００の実施形態は図示した順序で図示した全てのブロックを実行することを含むが、本開示はこれに限定されず、さまざまな例によると、プロセス２００の実施形態は、図示した全ブロックのうち一部のみを実行すること、および／または、図示した以外の順序で実行することを含むとしてよい。また、図２に図示したブロックのうち１以上は、１以上のコンピュータプログラム製品によって提供される命令に応じて実行するとしてよい。このようなプログラム製品は、例えば、１以上のプロセッサコアによって実行されると本明細書で説明している機能を実現する命令を提供する信号保持媒体を含むとしてよい。コンピュータプログラム製品は、任意の形式のコンピュータ可読媒体で提供するとしてよい。このように、例えば、１以上のプロセッサコアを含むプロセッサは、コンピュータ可読媒体によってプロセッサに提供される命令に応じて、図２に示すブロックのうち１以上を実行するか、または、実行するように構成されているとしてよい。
図９は、本開示に応じたシステム９００の例を示す図である。システム９００は、本明細書で説明するさまざまな機能のうち一部または全てを実行するべく利用されるとしてよく、本開示のさまざまな実施形態に応じた画像に基づくマルチビュー３Ｄ顔生成を実行可能な任意のデバイスまたはデバイス群を含むとしてよい。例えば、システム９００は、本開示はこれに限定されないが、デスクトップコンピュータ、モバイルコンピュータまたはタブレットコンピュータ等のコンピューティングプラットフォームまたはコンピューティングデバイス、スマートフォン、セットトップボックス等のうち選択されたコンポーネントを備えるとしてよい。一部の実施形態によると、システム９００は、ＣＥデバイス用のＩｎｔｅｌ（登録商標）アーキテクチャ（ＩＡ）に基づくコンピューティングプラットフォームまたはＳｏＣであってよい。当業者であれば、本明細書で説明する実施形態は、本開示の範囲から逸脱することなく、他の処理システムでも利用し得ることに容易に想到するであろう。
システム９００は、１以上のプロセッサコア９０４を含むプロセッサ９０２を備える。プロセッサコア９０４は、少なくとも一部分が、ソフトウェアを実行し、および／または、データ信号を処理することが可能な任意の種類のプロセッサロジックであってよい。さまざまな例によると、プロセッサコア９０４は、ＣＩＳＣプロセッサコア、ＲＩＳＣマイクロプロセッサコア、ＶＬＩＷマイクロプロセッサコア、および／または、命令セットを任意に組み合わせて実装している任意の数のプロセッサコア、または、デジタルシグナルプロセッサまたはマイクロコントローラ等の任意のその他のプロセッサデバイスを含むとしてよい。
プロセッサ９０２はさらに、例えば、表示プロセッサ９０８および／またはグラフィクスプロセッサ９１０が受信した命令を、制御信号および／またはマイクロコードエントリポイントにデコードするために用いられるデコーダ９０６を備える。システム９００ではコア９０４とは別個のコンポーネントとして図示されているが、当業者であれば、コア９０４のうち１以上がデコーダ９０６、表示プロセッサ９０８、および／または、グラフィクスプロセッサ９１０を実現し得るものと認めるであろう。一部の実施形態によると、プロセッサ９０２は、図２を参照しつつ説明したプロセスの例を含む、本明細書で説明したプロセスのいずれかを実行するように構成されているとしてよい。さらに、制御信号および／またはマイクロコードエントリポイントに応じて、デコーダ９０６、表示プロセッサ９０８、および／または、グラフィクスプロセッサ９１０は、対応する処理を実行するとしてよい。
プロセッサコア９０４、デコーダ９０６、表示プロセッサ９０８および／またはグラフィクスプロセッサ９１０は、システムインターコネクト９１６を介して、互いに、および／または、さまざまな他のシステムデバイスと通信可能および／または動作可能に結合されているとしてよい。さまざまな他のシステムデバイスは、これらに限定されないが、例えば、メモリコントローラ９１４、オーディオコントローラ９１８および／または周辺機器９２０を含むとしてよい。周辺機器９２０は、例えば、ユニファイドシリアルバス（ＵＳＢ）ホストポート、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスポート、シリアルペリフェラルインターフェース（ＳＰＩ）インターフェース、拡張バス、および／または、その他の周辺機器を含むとしてよい。図９ではインターコネクト９１６によってデコーダ９０６およびプロセッサ９０８および９１０に結合されているものとしてメモリコントローラ９１４を図示しているが、さまざまな実施形態によると、メモリコントローラ９１４は、デコーダ９０６、表示プロセッサ９０８、および／または、グラフィクスプロセッサ９１０に直接結合されているとしてよい。
一部の実施形態によると、システム９００は、図９に図示していないさまざまなＩ／Ｏデバイスとの間でＩ／Ｏバス（これも不図示）を介して通信を行うとしてよい。このようなＩ／Ｏデバイスは、これらに限定されないが、例えば、ユニバーサルアシンクロナス受信機／送信機（ＵＡＲＴ）デバイス、ＵＳＢデバイス、Ｉ／Ｏ拡張インターフェースまたはその他のＩ／Ｏデバイスを含むとしてよい。さまざまな実施形態によると、システム９００は、モバイル通信、ネットワーク通信および／または無線通信を実行するシステムの少なくとも一部分を表しているとしてよい。
システム９００はさらに、メモリ９１２を備えるとしてよい。メモリ９１２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリデバイスまたはその他のメモリデバイス等の１以上の個別のメモリコンポーネントであってよい。図９はメモリ９１２がプロセッサ９０２の外部にあるものとして図示しているが、さまざまな実施形態によると、メモリ９１２はプロセッサ９０２の内部にあるとしてもよい。メモリ９１２は、図２を参照しつつ説明したプロセスの一例を含む本明細書に記載のプロセスのいずれかを実行する際にプロセッサ９０２が実行するデータ信号によって表現される命令および／またはデータを格納するとしてよい。例えば、メモリ９１２は、本明細書で説明したカメラパラメータ、２Ｄ顔画像、高密度アバターメッシュ、３Ｄ顔モデル等を表すデータを格納するとしてよい。一部の実施形態によると、メモリ９１２は、システムメモリ部分およびディスプレイメモリ部分を含むとしてよい。
本明細書で説明するデバイスおよび／またはシステム、例えば、一例として挙げたシステム１００は、本開示に応じた多くの可能なデバイス構成、アーキテクチャまたはシステムのうちいくつかを表している。一例として挙げたシステム１００の変形例等、システムの数多くの変形例を本開示に応じて実現することが可能である。
上述したシステム、および、本明細書で説明したように上記のシステムが実行する処理は、ハードウェア、ファームウェアもしくはソフトウェア、または、これらの任意の組み合わせで実現されるとしてよい。また、本明細書で開示した任意の１以上の特徴は、ハードウェア、ソフトウェア、ファームウェアおよびこれらの組み合わせ、例えば、個別および集積化した回路ロジック、特定用途向け集積回路（ＡＳＩＣ）ロジックおよびマイクロコントローラで実現するとしてよく、ドメイン固有集積回路パッケージの一部として、または、集積化回路パッケージの組み合わせとして実現されるとしてよい。本明細書で用いる場合、「ソフトウェア」という用語は、本明細書に開示した１以上の特徴および／または特徴の組み合わせをコンピュータシステムに実行させるためのコンピュータプログラムロジックを格納しているコンピュータ可読媒体を含むコンピュータプログラム製品を意味する。
さまざまな実施形態に基づき特定の特徴を本明細書で記載しているが、本明細書は限定的に解釈されるべきものではない。このため、本明細書に説明する実施形態のさまざまな変形例、ならびに、他の実施形態は、本開示内容が関する技術分野の当業者には明らかであり、本開示の意図および範囲内にあるとする。
［項目１］
３Ｄ顔モデル化の方法であって、
複数の２Ｄ顔画像を受信する段階と、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元する段階と、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用する段階と、
３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングする段階と、
前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用する段階と
を備える方法。
［項目２］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階をさらに備える項目１に記載の方法。
［項目３］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階は、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する段階を有する項目２に記載の方法。
［項目４］
前記３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングする段階は、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングする段階と、
前記３Ｄ顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントする段階と
を有する項目１から３の何れか１項に記載の方法。
［項目５］
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングする段階は、イテレーションクローズドポイント技術を適用する段階を含む項目４に記載の方法。
［項目６］
スムージングされた３Ｄ顔モデルを生成するべく、前記３Ｄ顔モデルを改善する段階をさらに備える項目４または５に記載の方法。
［項目７］
最終３Ｄ顔モデルを生成するべく、前記スムージングされた３Ｄ顔モデルと前記テクスチャ画像とを組み合わせる段階をさらに備える項目６に記載の方法。
［項目８］
前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用する段階は、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成する段階と、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定する段階と、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する段階と
を有する項目１から７の何れか１項に記載の方法。
［項目９］
プロセッサと、
前記プロセッサに結合されているメモリと
を備え、
前記メモリ内の命令は、
複数の２Ｄ顔画像を受信し、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用し、
３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングし、
前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用するように
前記プロセッサを設定するシステム。
［項目１０］
前記メモリ内の命令はさらに、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行するように前記プロセッサを設定する項目９に記載のシステム。
［項目１１］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することは、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定することを有する
項目１０に記載のシステム。
［項目１２］
前記３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングすることは、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることと、
前記３Ｄ顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントすることと
を有する項目９から１１の何れか１項に記載のシステム。
［項目１３］
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることは、イテレーションクローズドポイント技術を適用することを含む項目１２に記載のシステム。
［項目１４］
前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用することは、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成することと、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定することと、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成することと
を有する項目９から１３の何れか１項に記載のシステム。
［項目１５］
複数の２Ｄ顔画像を受信し、
前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用し、
３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングし、
前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用する
処理手段を備えるデバイス。
［項目１６］
前記処理手段は、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する項目１５に記載のデバイス。
［項目１７］
前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することを目的として、前記複数の２Ｄ顔画像のそれぞれについて、前記処理手段は、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する項目１６に記載のデバイス。
［項目１８］
前記３Ｄ顔モデルを生成するべく前記高密度アバターメッシュをフィッティングすることを目的として、前記処理手段は、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングし、
前記３Ｄ顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントする項目１５から１７の何れか１項に記載のデバイス。
［項目１９］
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることを目的として、前記処理手段は、イテレーションクローズドポイント技術を適用する項目１８に記載のデバイス。
［項目２０］
前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用することを目的として、前記処理手段は、
前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成し、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する
項目１５から１９の何れか１項に記載のデバイス。

Claims (14)

  1. ３Ｄ顔モデル化の方法であって、
    複数の２Ｄ顔画像を受信する段階と、
    前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元する段階と、
    前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成する段階と、
    前記高密度アバターメッシュを３Ｄモーフィング可能顔モデルにフィッティングして再構成された３Ｄモーフィング可能顔メッシュを生成する段階と、
    前記高密度アバターメッシュを前記再構成された３Ｄモーフィング可能顔メッシュにアラインメントして３Ｄ顔モデルを構成する段階と
    を備え、
    前記高密度アバターメッシュを前記３Ｄモーフィング可能顔モデルにフィッティングして前記再構成された３Ｄモーフィング可能顔メッシュを生成する段階は、
    前記３Ｄモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義する段階と、
    前記３Ｄモーフィング可能顔モデルのための前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成する段階と
    を有し、
    前記高密度アバターメッシュを前記再構成された３Ｄモーフィング可能顔メッシュにアラインメントして前記３Ｄ顔モデルを構成する段階は、
    エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行する段階
    を有する、
    方法。
  2. 前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階をさらに備える請求項１に記載の方法。
  3. 前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する段階は、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する段階を有する請求項２に記載の方法。
  4. 前記３Ｄ顔モデルをスムージングする段階をさらに備える請求項１から３の何れか１項に記載の方法。
  5. 前記３Ｄ顔モデルに対応付けられるテクスチャ画像を生成する段階と、
    最終３Ｄ顔モデルを生成するべく、前記スムージングされた３Ｄ顔モデルと前記テクスチャ画像とを組み合わせる段階とをさらに備える請求項４に記載の方法。
  6. 前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、
    前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成する段階と、
    前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定する段階と、
    前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する段階と
    をさらに備える、請求項１から５の何れか１項に記載の方法。
  7. プロセッサと、
    前記プロセッサに結合されているメモリと
    を備え、
    前記メモリ内の命令は、
    複数の２Ｄ顔画像を受信し、
    前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
    前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成し、
    前記高密度アバターメッシュを３Ｄモーフィング可能顔モデルにフィッティングして再構成された３Ｄモーフィング可能顔メッシュを生成し、
    前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして３Ｄ顔モデルを構成するように
    前記プロセッサを設定し、
    前記高密度アバターメッシュを前記３Ｄモーフィング可能顔モデルにフィッティングして前記再構成された３Ｄモーフィング可能顔メッシュを生成することは、
    前記３Ｄモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義することと、
    前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成することと
    を有し、
    前記高密度アバターメッシュを前記再構成された３Ｄモーフィング可能顔メッシュにアラインメントして前記３Ｄ顔モデルを構成することは、
    エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行することと
    を有する、
    システム。
  8. 前記メモリ内の命令はさらに、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行するように前記プロセッサを設定する請求項７に記載のシステム。
  9. 前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することは、前記複数の２Ｄ顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定することを有する
    請求項８に記載のシステム。
  10. 前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記メモリ内の命令は、
    前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成し、
    前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
    前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成するように
    前記プロセッサを設定する、請求項７から９の何れか１項に記載のシステム。
  11. 複数の２Ｄ顔画像を受信し、
    前記複数の２Ｄ顔画像からカメラパラメータおよび疎な重要点を復元し、
    前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成し、
    前記高密度アバターメッシュを３Ｄモーフィング可能顔モデルにフィッティングして再構成された３Ｄモーフィング可能顔メッシュを生成し、
    前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして３Ｄ顔モデルを構成する
    処理手段を備え、
    前記高密度アバターメッシュを前記３Ｄモーフィング可能顔モデルにフィッティングして前記再構成された３Ｄモーフィング可能顔メッシュを生成することは、
    前記３Ｄモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義することと、
    前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成することと
    を有し、
    前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして前記３Ｄ顔モデルを構成することは、
    エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行することと
    を有する、
    デバイス。
  12. 前記処理手段は、前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行する請求項１１に記載のデバイス。
  13. 前記複数の２Ｄ顔画像のそれぞれに対して顔検出を実行することを目的として、前記複数の２Ｄ顔画像のそれぞれについて、前記処理手段は、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する請求項１２に記載のデバイス。
  14. 前記カメラパラメータの復元は、前記複数の２Ｄ顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、
    前記処理手段は、
    前記高密度アバターメッシュ内の点について、前記複数の２Ｄ顔画像のそれぞれにおいて投影点を生成し、
    前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
    前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する
    請求項１１から１３の何れか１項に記載のデバイス。
JP2014524234A 2011-08-09 2011-08-09 画像に基づくマルチビュー３ｄ顔生成 Expired - Fee Related JP5773323B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/001306 WO2013020248A1 (en) 2011-08-09 2011-08-09 Image-based multi-view 3d face generation

Publications (2)

Publication Number Publication Date
JP2014525108A JP2014525108A (ja) 2014-09-25
JP5773323B2 true JP5773323B2 (ja) 2015-09-02

Family

ID=47667838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014524234A Expired - Fee Related JP5773323B2 (ja) 2011-08-09 2011-08-09 画像に基づくマルチビュー３ｄ顔生成

Country Status (6)

Country Link
US (1) US20130201187A1 (ja)
EP (1) EP2754130A4 (ja)
JP (1) JP5773323B2 (ja)
KR (1) KR101608253B1 (ja)
CN (1) CN103765479A (ja)
WO (1) WO2013020248A1 (ja)

Families Citing this family (213)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US9123144B2 (en) * 2011-11-11 2015-09-01 Microsoft Technology Licensing, Llc Computing 3D shape parameters for face animation
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
FR2998402B1 (fr) * 2012-11-20 2014-11-14 Morpho Procede de generation d'un modele de visage en trois dimensions
WO2014139118A1 (en) 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
US9704296B2 (en) 2013-07-22 2017-07-11 Trupik, Inc. Image morphing processing using confidence levels based on captured images
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US10438631B2 (en) 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106462995B (zh) 2014-06-20 2020-04-28 英特尔公司 3d面部模型重建装置和方法
US9734631B2 (en) * 2014-07-22 2017-08-15 Trupik, Inc. Systems and methods for image generation and modeling of complex three-dimensional objects
KR101997500B1 (ko) 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
US10360469B2 (en) 2015-01-15 2019-07-23 Samsung Electronics Co., Ltd. Registration method and apparatus for 3D image data
US9111164B1 (en) 2015-01-19 2015-08-18 Snapchat, Inc. Custom functional patterns for optical barcodes
TW201629907A (zh) * 2015-02-13 2016-08-16 啟雲科技股份有限公司 三維頭像產生系統及其裝置、產生方法
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US9646411B2 (en) * 2015-04-02 2017-05-09 Hedronx Inc. Virtual three-dimensional model generation based on virtual hexahedron models
CN104966316B (zh) * 2015-05-22 2019-03-15 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
KR20170019779A (ko) * 2015-08-12 2017-02-22 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR102285376B1 (ko) * 2015-12-01 2021-08-03 삼성전자주식회사 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
US9911073B1 (en) * 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
US10818064B2 (en) 2016-09-21 2020-10-27 Intel Corporation Estimating accurate face shape and texture from an image
KR20180036156A (ko) * 2016-09-30 2018-04-09 주식회사 레드로버 증강현실을 이용한 게임 제공장치 및 그 방법
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
CN110168608B (zh) 2016-11-22 2023-08-29 乐高公司 用于获取物理对象的3维数字表示的***
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US10198858B2 (en) 2017-03-27 2019-02-05 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
WO2018195485A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
EP4064169A1 (en) 2017-04-27 2022-09-28 Snap Inc. Map based graphical user interface indicating geospatial activity metrics
CN108876879B (zh) * 2017-05-12 2022-06-14 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
CN109241810B (zh) * 2017-07-10 2022-01-28 腾讯科技（深圳）有限公司 虚拟角色图像的构建方法及装置、存储介质
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
KR102517427B1 (ko) 2017-11-29 2023-04-03 스냅 인코포레이티드 전자 메시징 애플리케이션들을 위한 그래픽 렌더링
KR102390183B1 (ko) 2017-11-29 2022-04-26 스냅 인코포레이티드 전자 메시징 애플리케이션에서의 그룹 스토리들
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
CN108470151A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种生物特征模型合成方法及装置
CN108492330B (zh) * 2018-02-14 2019-04-05 天目爱视（北京）科技有限公司 一种多目视觉深度计算方法及装置
CN108470150A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征四维数据采集方法及装置
CN108446597B (zh) * 2018-02-14 2019-06-25 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征3d数据采集方法及装置
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
CN108520230A (zh) * 2018-04-04 2018-09-11 北京天目智联科技有限公司 一种3d四维手部图像数据识别方法及设备
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
CN112041891A (zh) 2018-04-18 2020-12-04 斯纳普公司 增强表情***
US11769309B2 (en) * 2018-04-30 2023-09-26 Mathew Powers Method and system of rendering a 3D image for automated facial morphing with a learned generic head model
US11854156B2 (en) * 2018-04-30 2023-12-26 Mathew Powers Method and system of multi-pass iterative closest point (ICP) registration in automated facial reconstruction
JP7090178B2 (ja) 2018-05-07 2022-06-23 グーグル エルエルシー 顔面表情による遠隔アバターの操縦
JP7271099B2 (ja) * 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
US10753736B2 (en) * 2018-07-26 2020-08-25 Cisco Technology, Inc. Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
JP2021182175A (ja) 2018-08-10 2021-11-25 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
CN109360166B (zh) * 2018-09-30 2021-06-22 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
SG11202102961YA (en) 2018-10-26 2021-04-29 Soul Machines Ltd Digital character blending and generation system and method
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
GB2583774B (en) * 2019-05-10 2022-05-11 Robok Ltd Stereo image processing
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10891789B2 (en) * 2019-05-30 2021-01-12 Itseez3D, Inc. Method to produce 3D model from one or several images
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
KR102241153B1 (ko) * 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
CN110728746B (zh) * 2019-09-23 2021-09-21 清华大学 动态纹理的建模方法及***
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
KR102104889B1 (ko) * 2019-09-30 2020-04-27 이명학 가상 입체면 모델에 기초한 3차원 모델 데이터 생성 구현 방법 및 시스템
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
CN110826501B (zh) * 2019-11-08 2022-04-05 杭州小影创新科技股份有限公司 一种基于稀疏关键点校准的人脸关键点检测方法与***
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
CN110807836B (zh) * 2020-01-08 2020-05-12 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
WO2021155249A1 (en) 2020-01-30 2021-08-05 Snap Inc. System for generating media content items on demand
CN111288970A (zh) * 2020-02-26 2020-06-16 国网上海市电力公司 一种便携式带电距离测量装置
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
CN115699130A (zh) 2020-03-31 2023-02-03 斯纳普公司 增强现实美容产品教程
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11423652B2 (en) 2020-06-10 2022-08-23 Snap Inc. Adding beauty products to augmented reality tutorials
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
CN111652974B (zh) * 2020-06-15 2023-08-25 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11810397B2 (en) 2020-08-18 2023-11-07 Samsung Electronics Co., Ltd. Method and apparatus with facial image generating
CN114170640B (zh) * 2020-08-19 2024-02-02 腾讯科技（深圳）有限公司 人脸图像的处理方法、装置、计算机可读介质及设备
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
KR102479120B1 (ko) 2020-12-18 2022-12-16 한국공학대학교산학협력단 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
KR102501719B1 (ko) * 2021-03-03 2023-02-21 (주)자이언트스텝 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US12034680B2 (en) 2021-03-31 2024-07-09 Snap Inc. User presence indication data management
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
CN113643412B (zh) * 2021-07-14 2022-07-22 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
KR102537149B1 (ko) * 2021-11-12 2023-05-26 주식회사 네비웍스 그래픽 처리장치 및 그 동작 방법
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device
US12047337B1 (en) 2023-07-03 2024-07-23 Snap Inc. Generating media content items during user interaction

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
CN100483462C (zh) * 2002-10-18 2009-04-29 清华大学 融合多视角、多线索二维信息的人脸三维模型的建立方法
JP2006520055A (ja) * 2003-03-06 2006-08-31 アニメトリックス，インク． ２次元画像からの３次元オブジェクトの不変視点検出および識別
DE602004008282T2 (de) * 2003-06-30 2008-05-15 Honda Motor Co., Ltd. System und verfahren zur gesichtserkennung
US7239321B2 (en) * 2003-08-26 2007-07-03 Speech Graphics, Inc. Static and dynamic 3-D human face reconstruction
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US7415152B2 (en) * 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
EP1887511A1 (en) * 2005-06-03 2008-02-13 NEC Corporation Image processing system, 3-dimensional shape estimation system, object position posture estimation system, and image generation system
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US7755619B2 (en) * 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video
CN100373395C (zh) * 2005-12-15 2008-03-05 复旦大学 一种基于人脸统计知识的人脸识别方法
US7567251B2 (en) * 2006-01-10 2009-07-28 Sony Corporation Techniques for creating facial animation using a face mesh
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US7814441B2 (en) * 2006-05-09 2010-10-12 Inus Technology, Inc. System and method for identifying original design intents using 3D scan data
US8591225B2 (en) * 2008-12-12 2013-11-26 Align Technology, Inc. Tooth movement measurement by automatic impression matching
US8155399B2 (en) * 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
US20090091085A1 (en) * 2007-10-08 2009-04-09 Seiff Stanley P Card game
US20110227923A1 (en) * 2008-04-14 2011-09-22 Xid Technologies Pte Ltd Image synthesis method
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
TWI382354B (zh) * 2008-12-02 2013-01-11 Nat Univ Tsing Hua 臉部辨識方法
US8208717B2 (en) * 2009-02-25 2012-06-26 Seiko Epson Corporation Combining subcomponent models for object image modeling
US8260039B2 (en) * 2009-02-25 2012-09-04 Seiko Epson Corporation Object model fitting using manifold constraints
US8204301B2 (en) * 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
ES2400277B1 (es) * 2009-05-21 2014-04-24 Intel Corporation Técnicas para reconstrucción estéreo rápida a partir de imágenes
US20100315424A1 (en) * 2009-06-15 2010-12-16 Tao Cai Computer graphic generation and display method and system
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems
JP2011039869A (ja) * 2009-08-13 2011-02-24 Nippon Hoso Kyokai <Nhk> 顔画像処理装置およびコンピュータプログラム
CN101739719B (zh) * 2009-12-24 2012-05-30 四川大学 二维正面人脸图像的三维网格化方法

Also Published As

Publication number Publication date
WO2013020248A1 (en) 2013-02-14
US20130201187A1 (en) 2013-08-08
CN103765479A (zh) 2014-04-30
KR101608253B1 (ko) 2016-04-01
KR20140043945A (ko) 2014-04-11
EP2754130A4 (en) 2016-01-06
EP2754130A1 (en) 2014-07-16
JP2014525108A (ja) 2014-09-25

Similar Documents

Publication Publication Date Title
JP5773323B2 (ja) 画像に基づくマルチビュー３ｄ顔生成
Tewari et al. State of the art on neural rendering
Liu et al. Neural rendering and reenactment of human actor videos
Lun et al. 3d shape reconstruction from sketches via multi-view convolutional networks
Bao et al. High-fidelity 3d digital human head creation from rgb-d selfies
WO2022205760A1 (zh) 三维人体重建方法、装置、设备及存储介质
US20120306874A1 (en) Method and system for single view image 3 d face synthesis
WO2020247174A1 (en) Single image-based real-time body animation
US20220222897A1 (en) Portrait editing and synthesis
WO2021252145A1 (en) Image augmentation for analytics
EP2689396A1 (en) Method of augmented makeover with 3d face modeling and landmark alignment
da Silveira et al. 3d scene geometry estimation from 360 imagery: A survey
Wang et al. Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes
Alexiadis et al. Fast deformable model-based human performance capture and FVV using consumer-grade RGB-D sensors
Wu et al. Recent advances in 3d gaussian splatting
JP2024510230A (ja) 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測
Lin et al. Visual saliency and quality evaluation for 3D point clouds and meshes: An overview
Maxim et al. A survey on the current state of the art on deep learning 3D reconstruction
Nguyen et al. High resolution 3d content creation using unconstrained and uncalibrated cameras
Salvador et al. Multi-view video representation based on fast Monte Carlo surface reconstruction
Diao et al. 3D Face Reconstruction Based on a Single Image: A Review
Huynh et al. A framework for cost-effective communication system for 3D data streaming and real-time 3D reconstruction
US12051168B2 (en) Avatar generation based on driving views
Huang et al. Marching cubes algorithm for fast 3D modeling of human face by incremental data fusion
Morin 3D Models for...

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150619

R150 Certificate of patent or registration of utility model

Ref document number: 5773323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees