JP5773323B2 - 画像に基づくマルチビュー3d顔生成 - Google Patents
画像に基づくマルチビュー3d顔生成 Download PDFInfo
- Publication number
- JP5773323B2 JP5773323B2 JP2014524234A JP2014524234A JP5773323B2 JP 5773323 B2 JP5773323 B2 JP 5773323B2 JP 2014524234 A JP2014524234 A JP 2014524234A JP 2014524234 A JP2014524234 A JP 2014524234A JP 5773323 B2 JP5773323 B2 JP 5773323B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- mesh
- morphable
- model
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Description
[項目1]
3D顔モデル化の方法であって、
複数の2D顔画像を受信する段階と、
前記複数の2D顔画像からカメラパラメータおよび疎な重要点を復元する段階と、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用する段階と、
3D顔モデルを生成するべく前記高密度アバターメッシュをフィッティングする段階と、
前記3D顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用する段階と
を備える方法。
[項目2]
前記複数の2D顔画像のそれぞれに対して顔検出を実行する段階をさらに備える項目1に記載の方法。
[項目3]
前記複数の2D顔画像のそれぞれに対して顔検出を実行する段階は、前記複数の2D顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する段階を有する項目2に記載の方法。
[項目4]
前記3D顔モデルを生成するべく前記高密度アバターメッシュをフィッティングする段階は、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングする段階と、
前記3D顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントする段階と
を有する項目1から3の何れか1項に記載の方法。
[項目5]
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングする段階は、イテレーションクローズドポイント技術を適用する段階を含む項目4に記載の方法。
[項目6]
スムージングされた3D顔モデルを生成するべく、前記3D顔モデルを改善する段階をさらに備える項目4または5に記載の方法。
[項目7]
最終3D顔モデルを生成するべく、前記スムージングされた3D顔モデルと前記テクスチャ画像とを組み合わせる段階をさらに備える項目6に記載の方法。
[項目8]
前記カメラパラメータの復元は、前記複数の2D顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用する段階は、
前記高密度アバターメッシュ内の点について、前記複数の2D顔画像のそれぞれにおいて投影点を生成する段階と、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定する段階と、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する段階と
を有する項目1から7の何れか1項に記載の方法。
[項目9]
プロセッサと、
前記プロセッサに結合されているメモリと
を備え、
前記メモリ内の命令は、
複数の2D顔画像を受信し、
前記複数の2D顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用し、
3D顔モデルを生成するべく前記高密度アバターメッシュをフィッティングし、
前記3D顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用するように
前記プロセッサを設定するシステム。
[項目10]
前記メモリ内の命令はさらに、前記複数の2D顔画像のそれぞれに対して顔検出を実行するように前記プロセッサを設定する項目9に記載のシステム。
[項目11]
前記複数の2D顔画像のそれぞれに対して顔検出を実行することは、前記複数の2D顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定することを有する
項目10に記載のシステム。
[項目12]
前記3D顔モデルを生成するべく前記高密度アバターメッシュをフィッティングすることは、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることと、
前記3D顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントすることと
を有する項目9から11の何れか1項に記載のシステム。
[項目13]
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることは、イテレーションクローズドポイント技術を適用することを含む項目12に記載のシステム。
[項目14]
前記カメラパラメータの復元は、前記複数の2D顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用することは、
前記高密度アバターメッシュ内の点について、前記複数の2D顔画像のそれぞれにおいて投影点を生成することと、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定することと、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成することと
を有する項目9から13の何れか1項に記載のシステム。
[項目15]
複数の2D顔画像を受信し、
前記複数の2D顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成するべく、マルチビューステレオプロセスを適用し、
3D顔モデルを生成するべく前記高密度アバターメッシュをフィッティングし、
前記3D顔モデルに対応付けられるテクスチャ画像を生成するべく、マルチビューテクスチャ合成を適用する
処理手段を備えるデバイス。
[項目16]
前記処理手段は、前記複数の2D顔画像のそれぞれに対して顔検出を実行する項目15に記載のデバイス。
[項目17]
前記複数の2D顔画像のそれぞれに対して顔検出を実行することを目的として、前記複数の2D顔画像のそれぞれについて、前記処理手段は、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する項目16に記載のデバイス。
[項目18]
前記3D顔モデルを生成するべく前記高密度アバターメッシュをフィッティングすることを目的として、前記処理手段は、
再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングし、
前記3D顔モデルを生成するべく、前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントする項目15から17の何れか1項に記載のデバイス。
[項目19]
前記再構成されたモーフィング可能顔メッシュを生成するべく前記高密度アバターメッシュをフィッティングすることを目的として、前記処理手段は、イテレーションクローズドポイント技術を適用する項目18に記載のデバイス。
[項目20]
前記カメラパラメータの復元は、前記複数の2D顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記マルチビューテクスチャ合成を適用することを目的として、前記処理手段は、
前記高密度アバターメッシュ内の点について、前記複数の2D顔画像のそれぞれにおいて投影点を生成し、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する
項目15から19の何れか1項に記載のデバイス。
Claims (14)
- 3D顔モデル化の方法であって、
複数の2D顔画像を受信する段階と、
前記複数の2D顔画像からカメラパラメータおよび疎な重要点を復元する段階と、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成する段階と、
前記高密度アバターメッシュを3Dモーフィング可能顔モデルにフィッティングして再構成された3Dモーフィング可能顔メッシュを生成する段階と、
前記高密度アバターメッシュを前記再構成された3Dモーフィング可能顔メッシュにアラインメントして3D顔モデルを構成する段階と
を備え、
前記高密度アバターメッシュを前記3Dモーフィング可能顔モデルにフィッティングして前記再構成された3Dモーフィング可能顔メッシュを生成する段階は、
前記3Dモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義する段階と、
前記3Dモーフィング可能顔モデルのための前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成する段階と
を有し、
前記高密度アバターメッシュを前記再構成された3Dモーフィング可能顔メッシュにアラインメントして前記3D顔モデルを構成する段階は、
エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行する段階
を有する、
方法。 - 前記複数の2D顔画像のそれぞれに対して顔検出を実行する段階をさらに備える請求項1に記載の方法。
- 前記複数の2D顔画像のそれぞれに対して顔検出を実行する段階は、前記複数の2D顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する段階を有する請求項2に記載の方法。
- 前記3D顔モデルをスムージングする段階をさらに備える請求項1から3の何れか1項に記載の方法。
- 前記3D顔モデルに対応付けられるテクスチャ画像を生成する段階と、
最終3D顔モデルを生成するべく、前記スムージングされた3D顔モデルと前記テクスチャ画像とを組み合わせる段階とをさらに備える請求項4に記載の方法。 - 前記カメラパラメータの復元は、前記複数の2D顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、
前記高密度アバターメッシュ内の点について、前記複数の2D顔画像のそれぞれにおいて投影点を生成する段階と、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定する段階と、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する段階と
をさらに備える、請求項1から5の何れか1項に記載の方法。 - プロセッサと、
前記プロセッサに結合されているメモリと
を備え、
前記メモリ内の命令は、
複数の2D顔画像を受信し、
前記複数の2D顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成し、
前記高密度アバターメッシュを3Dモーフィング可能顔モデルにフィッティングして再構成された3Dモーフィング可能顔メッシュを生成し、
前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして3D顔モデルを構成するように
前記プロセッサを設定し、
前記高密度アバターメッシュを前記3Dモーフィング可能顔モデルにフィッティングして前記再構成された3Dモーフィング可能顔メッシュを生成することは、
前記3Dモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義することと、
前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成することと
を有し、
前記高密度アバターメッシュを前記再構成された3Dモーフィング可能顔メッシュにアラインメントして前記3D顔モデルを構成することは、
エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行することと
を有する、
システム。 - 前記メモリ内の命令はさらに、前記複数の2D顔画像のそれぞれに対して顔検出を実行するように前記プロセッサを設定する請求項7に記載のシステム。
- 前記複数の2D顔画像のそれぞれに対して顔検出を実行することは、前記複数の2D顔画像のそれぞれについて、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定することを有する
請求項8に記載のシステム。 - 前記カメラパラメータの復元は、前記複数の2D顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、前記メモリ内の命令は、
前記高密度アバターメッシュ内の点について、前記複数の2D顔画像のそれぞれにおいて投影点を生成し、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成するように
前記プロセッサを設定する、請求項7から9の何れか1項に記載のシステム。 - 複数の2D顔画像を受信し、
前記複数の2D顔画像からカメラパラメータおよび疎な重要点を復元し、
前記カメラパラメータおよび前記疎な重要点に応じて、高密度アバターメッシュを生成し、
前記高密度アバターメッシュを3Dモーフィング可能顔モデルにフィッティングして再構成された3Dモーフィング可能顔メッシュを生成し、
前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして3D顔モデルを構成する
処理手段を備え、
前記高密度アバターメッシュを前記3Dモーフィング可能顔モデルにフィッティングして前記再構成された3Dモーフィング可能顔メッシュを生成することは、
前記3Dモーフィング可能顔モデルのためのモーフィング可能モデルの複数の頂点であって、それぞれが再構成されたメトリック係数を含むモーフィング可能モデルの複数の頂点を定義することと、
前記モーフィング可能モデルの複数の頂点と、事前確率およびフィッティング品質との間でのトレードオフの関係にあるパラメータとを使用するコスト関数を最小化するべく、再構成されたメトリック係数を繰り返し生成することと
を有し、
前記高密度アバターメッシュを前記再構成されたモーフィング可能顔メッシュにアラインメントして前記3D顔モデルを構成することは、
エラーが収束して、顔のポージングおよび前記再構成されたメトリック係数が安定化するまで、前記ポージングを一定として前記高密度アバターメッシュをフィッティングする処理を繰り返すことにより前記メトリック係数を決定すること及び前記メトリック係数を固定することによって前記ポージングを決定することを繰り返す反復アプローチを実行することと
を有する、
デバイス。 - 前記処理手段は、前記複数の2D顔画像のそれぞれに対して顔検出を実行する請求項11に記載のデバイス。
- 前記複数の2D顔画像のそれぞれに対して顔検出を実行することを目的として、前記複数の2D顔画像のそれぞれについて、前記処理手段は、顔バウンディングボックスを自動的に生成し、顔特徴を自動的に特定する請求項12に記載のデバイス。
- 前記カメラパラメータの復元は、前記複数の2D顔画像のそれぞれに対応付けられているカメラ位置の復元を含み、それぞれの前記カメラ位置は主軸を含み、
前記処理手段は、
前記高密度アバターメッシュ内の点について、前記複数の2D顔画像のそれぞれにおいて投影点を生成し、
前記高密度アバターメッシュ内の前記点の法線と、それぞれの前記カメラ位置の前記主軸との間の角度のコサイン値を決定し、
前記高密度アバターメッシュ内の前記点について、対応する前記コサイン値で重み付けされた前記投影点のテクスチャ値の関数として、テクスチャ値を生成する
請求項11から13の何れか1項に記載のデバイス。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2011/001306 WO2013020248A1 (en) | 2011-08-09 | 2011-08-09 | Image-based multi-view 3d face generation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014525108A JP2014525108A (ja) | 2014-09-25 |
JP5773323B2 true JP5773323B2 (ja) | 2015-09-02 |
Family
ID=47667838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014524234A Expired - Fee Related JP5773323B2 (ja) | 2011-08-09 | 2011-08-09 | 画像に基づくマルチビュー3d顔生成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20130201187A1 (ja) |
EP (1) | EP2754130A4 (ja) |
JP (1) | JP5773323B2 (ja) |
KR (1) | KR101608253B1 (ja) |
CN (1) | CN103765479A (ja) |
WO (1) | WO2013020248A1 (ja) |
Families Citing this family (213)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9105014B2 (en) | 2009-02-03 | 2015-08-11 | International Business Machines Corporation | Interactive avatar in messaging environment |
US9123144B2 (en) * | 2011-11-11 | 2015-09-01 | Microsoft Technology Licensing, Llc | Computing 3D shape parameters for face animation |
WO2013086137A1 (en) | 2011-12-06 | 2013-06-13 | 1-800 Contacts, Inc. | Systems and methods for obtaining a pupillary distance measurement using a mobile computing device |
US10155168B2 (en) | 2012-05-08 | 2018-12-18 | Snap Inc. | System and method for adaptable avatars |
US9483853B2 (en) | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
US9378584B2 (en) | 2012-05-23 | 2016-06-28 | Glasses.Com Inc. | Systems and methods for rendering virtual try-on products |
US9286715B2 (en) | 2012-05-23 | 2016-03-15 | Glasses.Com Inc. | Systems and methods for adjusting a virtual try-on |
FR2998402B1 (fr) * | 2012-11-20 | 2014-11-14 | Morpho | Procede de generation d'un modele de visage en trois dimensions |
WO2014139118A1 (en) | 2013-03-14 | 2014-09-18 | Intel Corporation | Adaptive facial expression calibration |
US10044849B2 (en) | 2013-03-15 | 2018-08-07 | Intel Corporation | Scalable avatar messaging |
US9704296B2 (en) | 2013-07-22 | 2017-07-11 | Trupik, Inc. | Image morphing processing using confidence levels based on captured images |
US9524582B2 (en) | 2014-01-28 | 2016-12-20 | Siemens Healthcare Gmbh | Method and system for constructing personalized avatars using a parameterized deformable mesh |
US10438631B2 (en) | 2014-02-05 | 2019-10-08 | Snap Inc. | Method for real-time video processing involving retouching of an object in the video |
US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN106462995B (zh) | 2014-06-20 | 2020-04-28 | 英特尔公司 | 3d面部模型重建装置和方法 |
US9734631B2 (en) * | 2014-07-22 | 2017-08-15 | Trupik, Inc. | Systems and methods for image generation and modeling of complex three-dimensional objects |
KR101997500B1 (ko) | 2014-11-25 | 2019-07-08 | 삼성전자주식회사 | 개인화된 3d 얼굴 모델 생성 방법 및 장치 |
US10360469B2 (en) | 2015-01-15 | 2019-07-23 | Samsung Electronics Co., Ltd. | Registration method and apparatus for 3D image data |
US9111164B1 (en) | 2015-01-19 | 2015-08-18 | Snapchat, Inc. | Custom functional patterns for optical barcodes |
TW201629907A (zh) * | 2015-02-13 | 2016-08-16 | 啟雲科技股份有限公司 | 三維頭像產生系統及其裝置、產生方法 |
US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
US9646411B2 (en) * | 2015-04-02 | 2017-05-09 | Hedronx Inc. | Virtual three-dimensional model generation based on virtual hexahedron models |
CN104966316B (zh) * | 2015-05-22 | 2019-03-15 | 腾讯科技(深圳)有限公司 | 一种3d人脸重建方法、装置及服务器 |
KR20170019779A (ko) * | 2015-08-12 | 2017-02-22 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
KR102285376B1 (ko) * | 2015-12-01 | 2021-08-03 | 삼성전자주식회사 | 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 |
US9911073B1 (en) * | 2016-03-18 | 2018-03-06 | Snap Inc. | Facial patterns for optical barcodes |
US10339365B2 (en) | 2016-03-31 | 2019-07-02 | Snap Inc. | Automated avatar generation |
US10474353B2 (en) | 2016-05-31 | 2019-11-12 | Snap Inc. | Application control using a gesture based trigger |
US10360708B2 (en) | 2016-06-30 | 2019-07-23 | Snap Inc. | Avatar based ideogram generation |
US10348662B2 (en) | 2016-07-19 | 2019-07-09 | Snap Inc. | Generating customized electronic messaging graphics |
US10818064B2 (en) | 2016-09-21 | 2020-10-27 | Intel Corporation | Estimating accurate face shape and texture from an image |
KR20180036156A (ko) * | 2016-09-30 | 2018-04-09 | 주식회사 레드로버 | 증강현실을 이용한 게임 제공장치 및 그 방법 |
US10609036B1 (en) | 2016-10-10 | 2020-03-31 | Snap Inc. | Social media post subscribe requests for buffer user accounts |
US10198626B2 (en) | 2016-10-19 | 2019-02-05 | Snap Inc. | Neural networks for facial modeling |
US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
US10432559B2 (en) | 2016-10-24 | 2019-10-01 | Snap Inc. | Generating and displaying customized avatars in electronic messages |
CN110168608B (zh) | 2016-11-22 | 2023-08-29 | 乐高公司 | 用于获取物理对象的3维数字表示的*** |
US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
US11616745B2 (en) | 2017-01-09 | 2023-03-28 | Snap Inc. | Contextual generation and selection of customized media content |
US10242477B1 (en) | 2017-01-16 | 2019-03-26 | Snap Inc. | Coded vision system |
US10951562B2 (en) | 2017-01-18 | 2021-03-16 | Snap. Inc. | Customized contextual media content item generation |
US10454857B1 (en) | 2017-01-23 | 2019-10-22 | Snap Inc. | Customized digital avatar accessories |
US10198858B2 (en) | 2017-03-27 | 2019-02-05 | 3Dflow Srl | Method for 3D modelling based on structure from motion processing of sparse 2D images |
US11069103B1 (en) | 2017-04-20 | 2021-07-20 | Snap Inc. | Customized user interface for electronic communications |
WO2018195485A1 (en) * | 2017-04-21 | 2018-10-25 | Mug Life, LLC | Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image |
US11893647B2 (en) | 2017-04-27 | 2024-02-06 | Snap Inc. | Location-based virtual avatars |
US10212541B1 (en) | 2017-04-27 | 2019-02-19 | Snap Inc. | Selective location-based identity communication |
EP4064169A1 (en) | 2017-04-27 | 2022-09-28 | Snap Inc. | Map based graphical user interface indicating geospatial activity metrics |
CN108876879B (zh) * | 2017-05-12 | 2022-06-14 | 腾讯科技(深圳)有限公司 | 人脸动画实现的方法、装置、计算机设备及存储介质 |
US10679428B1 (en) | 2017-05-26 | 2020-06-09 | Snap Inc. | Neural network-based image stream modification |
CN109241810B (zh) * | 2017-07-10 | 2022-01-28 | 腾讯科技(深圳)有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
US11122094B2 (en) | 2017-07-28 | 2021-09-14 | Snap Inc. | Software application manager for messaging applications |
US10586368B2 (en) | 2017-10-26 | 2020-03-10 | Snap Inc. | Joint audio-video facial animation system |
US10657695B2 (en) | 2017-10-30 | 2020-05-19 | Snap Inc. | Animated chat presence |
US11460974B1 (en) | 2017-11-28 | 2022-10-04 | Snap Inc. | Content discovery refresh |
KR102517427B1 (ko) | 2017-11-29 | 2023-04-03 | 스냅 인코포레이티드 | 전자 메시징 애플리케이션들을 위한 그래픽 렌더링 |
KR102390183B1 (ko) | 2017-11-29 | 2022-04-26 | 스냅 인코포레이티드 | 전자 메시징 애플리케이션에서의 그룹 스토리들 |
US10949648B1 (en) | 2018-01-23 | 2021-03-16 | Snap Inc. | Region-based stabilized face tracking |
CN108470151A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种生物特征模型合成方法及装置 |
CN108492330B (zh) * | 2018-02-14 | 2019-04-05 | 天目爱视(北京)科技有限公司 | 一种多目视觉深度计算方法及装置 |
CN108470150A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征四维数据采集方法及装置 |
CN108446597B (zh) * | 2018-02-14 | 2019-06-25 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征3d数据采集方法及装置 |
US10726603B1 (en) | 2018-02-28 | 2020-07-28 | Snap Inc. | Animated expressive icon |
US10979752B1 (en) | 2018-02-28 | 2021-04-13 | Snap Inc. | Generating media content items based on location information |
CN108520230A (zh) * | 2018-04-04 | 2018-09-11 | 北京天目智联科技有限公司 | 一种3d四维手部图像数据识别方法及设备 |
US11310176B2 (en) | 2018-04-13 | 2022-04-19 | Snap Inc. | Content suggestion system |
CN112041891A (zh) | 2018-04-18 | 2020-12-04 | 斯纳普公司 | 增强表情*** |
US11769309B2 (en) * | 2018-04-30 | 2023-09-26 | Mathew Powers | Method and system of rendering a 3D image for automated facial morphing with a learned generic head model |
US11854156B2 (en) * | 2018-04-30 | 2023-12-26 | Mathew Powers | Method and system of multi-pass iterative closest point (ICP) registration in automated facial reconstruction |
JP7090178B2 (ja) | 2018-05-07 | 2022-06-23 | グーグル エルエルシー | 顔面表情による遠隔アバターの操縦 |
JP7271099B2 (ja) * | 2018-07-19 | 2023-05-11 | キヤノン株式会社 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
US10753736B2 (en) * | 2018-07-26 | 2020-08-25 | Cisco Technology, Inc. | Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching |
US11074675B2 (en) | 2018-07-31 | 2021-07-27 | Snap Inc. | Eye texture inpainting |
JP2021182175A (ja) | 2018-08-10 | 2021-11-25 | ソニーグループ株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
US10896534B1 (en) | 2018-09-19 | 2021-01-19 | Snap Inc. | Avatar style transformation using neural networks |
US10895964B1 (en) | 2018-09-25 | 2021-01-19 | Snap Inc. | Interface to display shared user groups |
US11189070B2 (en) | 2018-09-28 | 2021-11-30 | Snap Inc. | System and method of generating targeted user lists using customizable avatar characteristics |
US11245658B2 (en) | 2018-09-28 | 2022-02-08 | Snap Inc. | System and method of generating private notifications between users in a communication session |
US10698583B2 (en) | 2018-09-28 | 2020-06-30 | Snap Inc. | Collaborative achievement interface |
US10904181B2 (en) | 2018-09-28 | 2021-01-26 | Snap Inc. | Generating customized graphics having reactions to electronic message content |
CN109360166B (zh) * | 2018-09-30 | 2021-06-22 | 北京旷视科技有限公司 | 一种图像处理方法、装置、电子设备和计算机可读介质 |
SG11202102961YA (en) | 2018-10-26 | 2021-04-29 | Soul Machines Ltd | Digital character blending and generation system and method |
US11103795B1 (en) | 2018-10-31 | 2021-08-31 | Snap Inc. | Game drawer |
US10872451B2 (en) | 2018-10-31 | 2020-12-22 | Snap Inc. | 3D avatar rendering |
US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
US10902661B1 (en) | 2018-11-28 | 2021-01-26 | Snap Inc. | Dynamic composite user identifier |
US10861170B1 (en) | 2018-11-30 | 2020-12-08 | Snap Inc. | Efficient human pose tracking in videos |
US11199957B1 (en) | 2018-11-30 | 2021-12-14 | Snap Inc. | Generating customized avatars based on location information |
US11055514B1 (en) | 2018-12-14 | 2021-07-06 | Snap Inc. | Image face manipulation |
US11516173B1 (en) | 2018-12-26 | 2022-11-29 | Snap Inc. | Message composition interface |
US11032670B1 (en) | 2019-01-14 | 2021-06-08 | Snap Inc. | Destination sharing in location sharing system |
US10939246B1 (en) | 2019-01-16 | 2021-03-02 | Snap Inc. | Location-based context information sharing in a messaging system |
US11294936B1 (en) | 2019-01-30 | 2022-04-05 | Snap Inc. | Adaptive spatial density based clustering |
US10656797B1 (en) | 2019-02-06 | 2020-05-19 | Snap Inc. | Global event-based avatar |
US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
US10936066B1 (en) | 2019-02-13 | 2021-03-02 | Snap Inc. | Sleep detection in a location sharing system |
US10964082B2 (en) | 2019-02-26 | 2021-03-30 | Snap Inc. | Avatar based on weather |
US10852918B1 (en) | 2019-03-08 | 2020-12-01 | Snap Inc. | Contextual information in chat |
US11868414B1 (en) | 2019-03-14 | 2024-01-09 | Snap Inc. | Graph-based prediction for contact suggestion in a location sharing system |
US11852554B1 (en) | 2019-03-21 | 2023-12-26 | Snap Inc. | Barometer calibration in a location sharing system |
US10674311B1 (en) | 2019-03-28 | 2020-06-02 | Snap Inc. | Points of interest in a location sharing system |
US11166123B1 (en) | 2019-03-28 | 2021-11-02 | Snap Inc. | Grouped transmission of location data in a location sharing system |
US10992619B2 (en) | 2019-04-30 | 2021-04-27 | Snap Inc. | Messaging system with avatar generation |
GB2583774B (en) * | 2019-05-10 | 2022-05-11 | Robok Ltd | Stereo image processing |
USD916809S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
USD916872S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
USD916810S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
USD916811S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
USD916871S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
US10891789B2 (en) * | 2019-05-30 | 2021-01-12 | Itseez3D, Inc. | Method to produce 3D model from one or several images |
US10893385B1 (en) | 2019-06-07 | 2021-01-12 | Snap Inc. | Detection of a physical collision between two client devices in a location sharing system |
US11188190B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | Generating animation overlays in a communication session |
US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
US11676199B2 (en) | 2019-06-28 | 2023-06-13 | Snap Inc. | Generating customizable avatar outfits |
KR102241153B1 (ko) * | 2019-07-01 | 2021-04-19 | 주식회사 시어스랩 | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 |
US11307747B2 (en) | 2019-07-11 | 2022-04-19 | Snap Inc. | Edge gesture interface with smart interactions |
US11455081B2 (en) | 2019-08-05 | 2022-09-27 | Snap Inc. | Message thread prioritization interface |
US10911387B1 (en) | 2019-08-12 | 2021-02-02 | Snap Inc. | Message reminder interface |
US11320969B2 (en) | 2019-09-16 | 2022-05-03 | Snap Inc. | Messaging system with battery level sharing |
CN110728746B (zh) * | 2019-09-23 | 2021-09-21 | 清华大学 | 动态纹理的建模方法及*** |
US11425062B2 (en) | 2019-09-27 | 2022-08-23 | Snap Inc. | Recommended content viewed by friends |
KR102104889B1 (ko) * | 2019-09-30 | 2020-04-27 | 이명학 | 가상 입체면 모델에 기초한 3차원 모델 데이터 생성 구현 방법 및 시스템 |
US11080917B2 (en) | 2019-09-30 | 2021-08-03 | Snap Inc. | Dynamic parameterized user avatar stories |
US11218838B2 (en) | 2019-10-31 | 2022-01-04 | Snap Inc. | Focused map-based context information surfacing |
CN110826501B (zh) * | 2019-11-08 | 2022-04-05 | 杭州小影创新科技股份有限公司 | 一种基于稀疏关键点校准的人脸关键点检测方法与*** |
US11063891B2 (en) | 2019-12-03 | 2021-07-13 | Snap Inc. | Personalized avatar notification |
US11128586B2 (en) | 2019-12-09 | 2021-09-21 | Snap Inc. | Context sensitive avatar captions |
US11036989B1 (en) | 2019-12-11 | 2021-06-15 | Snap Inc. | Skeletal tracking using previous frames |
US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
US11140515B1 (en) | 2019-12-30 | 2021-10-05 | Snap Inc. | Interfaces for relative device positioning |
US11128715B1 (en) | 2019-12-30 | 2021-09-21 | Snap Inc. | Physical friend proximity in chat |
US11169658B2 (en) | 2019-12-31 | 2021-11-09 | Snap Inc. | Combined map icon with action indicator |
CN110807836B (zh) * | 2020-01-08 | 2020-05-12 | 腾讯科技(深圳)有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
US11991419B2 (en) | 2020-01-30 | 2024-05-21 | Snap Inc. | Selecting avatars to be included in the video being generated on demand |
US11036781B1 (en) | 2020-01-30 | 2021-06-15 | Snap Inc. | Video generation system to render frames on demand using a fleet of servers |
US11356720B2 (en) | 2020-01-30 | 2022-06-07 | Snap Inc. | Video generation system to render frames on demand |
US11284144B2 (en) | 2020-01-30 | 2022-03-22 | Snap Inc. | Video generation system to render frames on demand using a fleet of GPUs |
WO2021155249A1 (en) | 2020-01-30 | 2021-08-05 | Snap Inc. | System for generating media content items on demand |
CN111288970A (zh) * | 2020-02-26 | 2020-06-16 | 国网上海市电力公司 | 一种便携式带电距离测量装置 |
US11619501B2 (en) | 2020-03-11 | 2023-04-04 | Snap Inc. | Avatar based on trip |
US11217020B2 (en) | 2020-03-16 | 2022-01-04 | Snap Inc. | 3D cutout image modification |
US11818286B2 (en) | 2020-03-30 | 2023-11-14 | Snap Inc. | Avatar recommendation and reply |
US11625873B2 (en) | 2020-03-30 | 2023-04-11 | Snap Inc. | Personalized media overlay recommendation |
CN115699130A (zh) | 2020-03-31 | 2023-02-03 | 斯纳普公司 | 增强现实美容产品教程 |
US11956190B2 (en) | 2020-05-08 | 2024-04-09 | Snap Inc. | Messaging system with a carousel of related entities |
US11922010B2 (en) | 2020-06-08 | 2024-03-05 | Snap Inc. | Providing contextual information with keyboard interface for messaging system |
US11543939B2 (en) | 2020-06-08 | 2023-01-03 | Snap Inc. | Encoded image based messaging system |
US11423652B2 (en) | 2020-06-10 | 2022-08-23 | Snap Inc. | Adding beauty products to augmented reality tutorials |
US11356392B2 (en) | 2020-06-10 | 2022-06-07 | Snap Inc. | Messaging system including an external-resource dock and drawer |
CN111652974B (zh) * | 2020-06-15 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 三维人脸模型的构建方法、装置、设备及存储介质 |
US11580682B1 (en) | 2020-06-30 | 2023-02-14 | Snap Inc. | Messaging system with augmented reality makeup |
US11810397B2 (en) | 2020-08-18 | 2023-11-07 | Samsung Electronics Co., Ltd. | Method and apparatus with facial image generating |
CN114170640B (zh) * | 2020-08-19 | 2024-02-02 | 腾讯科技(深圳)有限公司 | 人脸图像的处理方法、装置、计算机可读介质及设备 |
US11863513B2 (en) | 2020-08-31 | 2024-01-02 | Snap Inc. | Media content playback and comments management |
US11360733B2 (en) | 2020-09-10 | 2022-06-14 | Snap Inc. | Colocated shared augmented reality without shared backend |
US11470025B2 (en) | 2020-09-21 | 2022-10-11 | Snap Inc. | Chats with micro sound clips |
US11452939B2 (en) | 2020-09-21 | 2022-09-27 | Snap Inc. | Graphical marker generation system for synchronizing users |
US11910269B2 (en) | 2020-09-25 | 2024-02-20 | Snap Inc. | Augmented reality content items including user avatar to share location |
US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
KR102479120B1 (ko) | 2020-12-18 | 2022-12-16 | 한국공학대학교산학협력단 | 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치 |
US12008811B2 (en) | 2020-12-30 | 2024-06-11 | Snap Inc. | Machine learning-based selection of a representative video frame within a messaging application |
US11790531B2 (en) | 2021-02-24 | 2023-10-17 | Snap Inc. | Whole body segmentation |
KR102501719B1 (ko) * | 2021-03-03 | 2023-02-21 | (주)자이언트스텝 | 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치 |
US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
US11978283B2 (en) | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
US11544885B2 (en) | 2021-03-19 | 2023-01-03 | Snap Inc. | Augmented reality experience based on physical items |
US11562548B2 (en) | 2021-03-22 | 2023-01-24 | Snap Inc. | True size eyewear in real time |
US12034680B2 (en) | 2021-03-31 | 2024-07-09 | Snap Inc. | User presence indication data management |
US11636654B2 (en) | 2021-05-19 | 2023-04-25 | Snap Inc. | AR-based connected portal shopping |
US11941227B2 (en) | 2021-06-30 | 2024-03-26 | Snap Inc. | Hybrid search system for customizable media |
CN113643412B (zh) * | 2021-07-14 | 2022-07-22 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
US11854069B2 (en) | 2021-07-16 | 2023-12-26 | Snap Inc. | Personalized try-on ads |
US11908083B2 (en) | 2021-08-31 | 2024-02-20 | Snap Inc. | Deforming custom mesh based on body mesh |
US11983462B2 (en) | 2021-08-31 | 2024-05-14 | Snap Inc. | Conversation guided augmented reality experience |
US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
US11663792B2 (en) | 2021-09-08 | 2023-05-30 | Snap Inc. | Body fitted accessory with physics simulation |
US11900506B2 (en) | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
US11798238B2 (en) | 2021-09-14 | 2023-10-24 | Snap Inc. | Blending body mesh into external mesh |
US11836866B2 (en) | 2021-09-20 | 2023-12-05 | Snap Inc. | Deforming real-world object using an external mesh |
US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
US11636662B2 (en) | 2021-09-30 | 2023-04-25 | Snap Inc. | Body normal network light and rendering control |
US11790614B2 (en) | 2021-10-11 | 2023-10-17 | Snap Inc. | Inferring intent from pose and speech input |
US11836862B2 (en) | 2021-10-11 | 2023-12-05 | Snap Inc. | External mesh with vertex attributes |
US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
US11763481B2 (en) | 2021-10-20 | 2023-09-19 | Snap Inc. | Mirror-based augmented reality experience |
US11996113B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Voice notes with changing effects |
US12020358B2 (en) | 2021-10-29 | 2024-06-25 | Snap Inc. | Animated custom sticker creation |
US11995757B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Customized animation from video |
KR102537149B1 (ko) * | 2021-11-12 | 2023-05-26 | 주식회사 네비웍스 | 그래픽 처리장치 및 그 동작 방법 |
US11748958B2 (en) | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
US11823346B2 (en) | 2022-01-17 | 2023-11-21 | Snap Inc. | AR body part tracking system |
US11954762B2 (en) | 2022-01-19 | 2024-04-09 | Snap Inc. | Object replacement system |
US12002146B2 (en) | 2022-03-28 | 2024-06-04 | Snap Inc. | 3D modeling based on neural light field |
US12020384B2 (en) | 2022-06-21 | 2024-06-25 | Snap Inc. | Integrating augmented reality experiences with other components |
US12020386B2 (en) | 2022-06-23 | 2024-06-25 | Snap Inc. | Applying pregenerated virtual experiences in new location |
US11870745B1 (en) | 2022-06-28 | 2024-01-09 | Snap Inc. | Media gallery sharing and management |
US11893166B1 (en) | 2022-11-08 | 2024-02-06 | Snap Inc. | User avatar movement control using an augmented reality eyewear device |
US12047337B1 (en) | 2023-07-03 | 2024-07-23 | Snap Inc. | Generating media content items during user interaction |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1039417B1 (en) * | 1999-03-19 | 2006-12-20 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for the processing of images based on morphable models |
US6807290B2 (en) * | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
US7221809B2 (en) * | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
CN100483462C (zh) * | 2002-10-18 | 2009-04-29 | 清华大学 | 融合多视角、多线索二维信息的人脸三维模型的建立方法 |
JP2006520055A (ja) * | 2003-03-06 | 2006-08-31 | アニメトリックス,インク. | 2次元画像からの3次元オブジェクトの不変視点検出および識別 |
DE602004008282T2 (de) * | 2003-06-30 | 2008-05-15 | Honda Motor Co., Ltd. | System und verfahren zur gesichtserkennung |
US7239321B2 (en) * | 2003-08-26 | 2007-07-03 | Speech Graphics, Inc. | Static and dynamic 3-D human face reconstruction |
KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
US7860301B2 (en) * | 2005-02-11 | 2010-12-28 | Macdonald Dettwiler And Associates Inc. | 3D imaging system |
US7415152B2 (en) * | 2005-04-29 | 2008-08-19 | Microsoft Corporation | Method and system for constructing a 3D representation of a face from a 2D representation |
EP1887511A1 (en) * | 2005-06-03 | 2008-02-13 | NEC Corporation | Image processing system, 3-dimensional shape estimation system, object position posture estimation system, and image generation system |
US7756325B2 (en) * | 2005-06-20 | 2010-07-13 | University Of Basel | Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object |
US7755619B2 (en) * | 2005-10-13 | 2010-07-13 | Microsoft Corporation | Automatic 3D face-modeling from video |
CN100373395C (zh) * | 2005-12-15 | 2008-03-05 | 复旦大学 | 一种基于人脸统计知识的人脸识别方法 |
US7567251B2 (en) * | 2006-01-10 | 2009-07-28 | Sony Corporation | Techniques for creating facial animation using a face mesh |
US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
US7814441B2 (en) * | 2006-05-09 | 2010-10-12 | Inus Technology, Inc. | System and method for identifying original design intents using 3D scan data |
US8591225B2 (en) * | 2008-12-12 | 2013-11-26 | Align Technology, Inc. | Tooth movement measurement by automatic impression matching |
US8155399B2 (en) * | 2007-06-12 | 2012-04-10 | Utc Fire & Security Corporation | Generic face alignment via boosting |
US20090091085A1 (en) * | 2007-10-08 | 2009-04-09 | Seiff Stanley P | Card game |
US20110227923A1 (en) * | 2008-04-14 | 2011-09-22 | Xid Technologies Pte Ltd | Image synthesis method |
TW201023092A (en) * | 2008-12-02 | 2010-06-16 | Nat Univ Tsing Hua | 3D face model construction method |
TWI382354B (zh) * | 2008-12-02 | 2013-01-11 | Nat Univ Tsing Hua | 臉部辨識方法 |
US8208717B2 (en) * | 2009-02-25 | 2012-06-26 | Seiko Epson Corporation | Combining subcomponent models for object image modeling |
US8260039B2 (en) * | 2009-02-25 | 2012-09-04 | Seiko Epson Corporation | Object model fitting using manifold constraints |
US8204301B2 (en) * | 2009-02-25 | 2012-06-19 | Seiko Epson Corporation | Iterative data reweighting for balanced model learning |
ES2400277B1 (es) * | 2009-05-21 | 2014-04-24 | Intel Corporation | Técnicas para reconstrucción estéreo rápida a partir de imágenes |
US20100315424A1 (en) * | 2009-06-15 | 2010-12-16 | Tao Cai | Computer graphic generation and display method and system |
US8553973B2 (en) * | 2009-07-07 | 2013-10-08 | University Of Basel | Modeling methods and systems |
JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
CN101739719B (zh) * | 2009-12-24 | 2012-05-30 | 四川大学 | 二维正面人脸图像的三维网格化方法 |
-
2011
- 2011-08-09 KR KR1020147005503A patent/KR101608253B1/ko active IP Right Grant
- 2011-08-09 EP EP11870513.6A patent/EP2754130A4/en not_active Withdrawn
- 2011-08-09 JP JP2014524234A patent/JP5773323B2/ja not_active Expired - Fee Related
- 2011-08-09 WO PCT/CN2011/001306 patent/WO2013020248A1/en active Application Filing
- 2011-08-09 US US13/522,783 patent/US20130201187A1/en not_active Abandoned
- 2011-08-09 CN CN201180073144.4A patent/CN103765479A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2013020248A1 (en) | 2013-02-14 |
US20130201187A1 (en) | 2013-08-08 |
CN103765479A (zh) | 2014-04-30 |
KR101608253B1 (ko) | 2016-04-01 |
KR20140043945A (ko) | 2014-04-11 |
EP2754130A4 (en) | 2016-01-06 |
EP2754130A1 (en) | 2014-07-16 |
JP2014525108A (ja) | 2014-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5773323B2 (ja) | 画像に基づくマルチビュー3d顔生成 | |
Tewari et al. | State of the art on neural rendering | |
Liu et al. | Neural rendering and reenactment of human actor videos | |
Lun et al. | 3d shape reconstruction from sketches via multi-view convolutional networks | |
Bao et al. | High-fidelity 3d digital human head creation from rgb-d selfies | |
WO2022205760A1 (zh) | 三维人体重建方法、装置、设备及存储介质 | |
US20120306874A1 (en) | Method and system for single view image 3 d face synthesis | |
WO2020247174A1 (en) | Single image-based real-time body animation | |
US20220222897A1 (en) | Portrait editing and synthesis | |
WO2021252145A1 (en) | Image augmentation for analytics | |
EP2689396A1 (en) | Method of augmented makeover with 3d face modeling and landmark alignment | |
da Silveira et al. | 3d scene geometry estimation from 360 imagery: A survey | |
Wang et al. | Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes | |
Alexiadis et al. | Fast deformable model-based human performance capture and FVV using consumer-grade RGB-D sensors | |
Wu et al. | Recent advances in 3d gaussian splatting | |
JP2024510230A (ja) | 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測 | |
Lin et al. | Visual saliency and quality evaluation for 3D point clouds and meshes: An overview | |
Maxim et al. | A survey on the current state of the art on deep learning 3D reconstruction | |
Nguyen et al. | High resolution 3d content creation using unconstrained and uncalibrated cameras | |
Salvador et al. | Multi-view video representation based on fast Monte Carlo surface reconstruction | |
Diao et al. | 3D Face Reconstruction Based on a Single Image: A Review | |
Huynh et al. | A framework for cost-effective communication system for 3D data streaming and real-time 3D reconstruction | |
US12051168B2 (en) | Avatar generation based on driving views | |
Huang et al. | Marching cubes algorithm for fast 3D modeling of human face by incremental data fusion | |
Morin | 3D Models for... |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5773323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |