JP2002133446A - 顔画像処理方法およびシステム - Google Patents
顔画像処理方法およびシステムInfo
- Publication number
- JP2002133446A JP2002133446A JP2001261559A JP2001261559A JP2002133446A JP 2002133446 A JP2002133446 A JP 2002133446A JP 2001261559 A JP2001261559 A JP 2001261559A JP 2001261559 A JP2001261559 A JP 2001261559A JP 2002133446 A JP2002133446 A JP 2002133446A
- Authority
- JP
- Japan
- Prior art keywords
- face
- data
- light source
- light sources
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
Abstract
表情を変換するための方法およびシステムを提供する。 【解決手段】 レンジまたは奥行き等の構造データおよ
び顔の鏡面反射抑止反射率特性等の反射率特性を同時に
キャプチャするための複数の光源204,206がシス
テム208に提供される。キャプチャされた情報は顔の
種々のアニメーション処理、それらの中には表現認識、
表現変換などが含まれるが、これらの種々の処理で使用
される。
Description
メーション化するためのモデリングとレンダリングの方
法およびシステムに関する。具体的には、本発明は顔画
像処理のための方法およびシステムに関する。
は、さまざまなオブジェクトをレンダリングして、その
オブジェクトがユーザのためにコンピュータディスプレ
イから表示される。例えば、コンピュータゲームでは、
コンピュータオブジェクトを生成し、レンダリングして
コンピュータモニタやテレビジョンに表示するためのコ
ンピュータグラフィックスアプリケーションを含むこと
が代表的である。リアル感のある画像のモデリングとレ
ンダリングは、コンピュータグラフィックス分野に従事
するものにとっては、絶え間のない努力目標となってい
る。コンピュータグラフィックス分野で特に努力目標と
なっている分野は、リアル感のある顔画像をレンダリン
グすることである。1つの例として、ある特定のコンピ
ュータグラフィックスアプリケーションでは、会話に参
加している個人の表示をレンダリングすることが行われ
ている。よく見られることは、この個人の、最終的にレ
ンダリングされた画像はコンピュータでレンダリングさ
れた画像であり、現実の個人とはしばしば大幅に異なっ
ている。
表情をモデリングし、レンダリングすることは、特に2
つの理由で困難な作業となっている。1つは、人間の皮
膚が、現在利用可能である、種々のシェーディングモデ
ルでモデリングするのに不適切な反射率特性をもってい
るからである。例えば、周知のPhongモデルは、人間の
皮膚をモデリングするには不十分である。もう1つは、
顔表情をレンダリングするとき、「リアルな」顔の動き
として感知されるものと若干でもずれがあると、そのず
れは、無頓着な観察者でさえも、正しくないものとして
感知されるからである。現存の、顔の動き取り込み(キ
ャプチャ)システムを使用すると、かなり説得力のある
顔アニメーションを作成することができるが、取り込ま
れた動きは、別の顔に適用されたときは、その説得力が
はるかに低下し、非常に奇異になることがよく起こって
いる。例えば、ある人物からその顔の動きのサンプリン
グをとれば、個々の顔の動きをアニメーション化するこ
とは、その動きの元となった顔が同じ顔であることを考
慮すれば、困難ではない。その結果、ある表情と別の表
情の間で同じか、あるいは非常に類似している動きの特
徴が得られることになる。しかし、この人物の顔の動き
を別の人物の顔に変換することは、この2つの顔の間に
は固有の差異(例えば、顔のサイズと形状)があるた
め、説得力に欠けることがよく起こっている。
ャと反射率をモデリングするための改良システムと方法
を提供することを課題にしてなされたものである。ま
た、本発明は、ある人物の顔の動きを別人物の顔の動き
に変換することによって、顔の動きの取り込み(キャプ
チャ)データを再使用するためのシステムと方法を提供
することを課題にしてなされたものである。
いる実施形態では、3次元 (3-D) 顔つきを記述してい
るデータを取り込んで、顔の動きを、ある個人から別の
個人にリアルに変換し、皮膚の反射率をモデリングする
ための、新規な手法が提案されている。
被写体が用意され、被写体の顔を照射するために複数の
異なる光源が利用されている。複数の光源の中の1つ
は、被写体の顔の上にパターンを投影する構造化光源
(structured light source)である。この構造化光源に
より1つまたは2つ以上のカメラが、被写体の3−Dの
顔つきを記述しているデータを取り込むことが可能とな
る。他の光源がさらにもう1つ用意されているが、これ
は被写体の顔を照射するために使用されるものである。
この他の1つの光源により被写体の顔の種々反射率特性
(reflectance properties) を確認する。また、この他
方の光源は偏光フィルタ (polarizing filter) と併用
されて、顔の反射率の鏡面反射成分 (specular compone
nt) が除去される。すなわち、拡散反射成分 (diffuse
component) だけがカメラによって取り込まれる。複数
の異なる光源を使用すると、顔の構造特性と反射率特性
の両方を、同時に確認することが可能になる。光源の選
択を慎重に行うと、例えば、光源をナローバンドにし、
整合ナローバンドフィルタ (matching narrowband filt
er) をカメラで使用すると、周囲照明源の影響を除去す
ることが可能になる。
して、2つの有用なアイテムが得られる。すなわち、
(1) レンジマップ(またはデプスマップ(depth map))
と、(2)構造化光源のパターンがそこに投影されていな
い顔の画像である。3D面がレンジマップから導き出さ
れ、3D面に対する面法線 (surface normal) が計算され
る。3D面を定義するためにレンジマップを処理すると
き、その処理にオプションとしてのフィルタリングステ
ップを含めておくと、汎用顔テンプレート (genericfac
e template) がレンジマップと結合され、不要なノイズ
が拒絶されることになる。計算された面法線と顔の画像
は、アルベドマップ (albedo map) を導き出すために使
用される。アルベドマップは特殊タイプのテクスチャマ
ップ (texture map) であり、そこでは、各サンプル
は、面上の特定ポイント(点)における顔面の拡散反射
率を記述している。従って、プロセスのこの時点で、顔
の3D面(つまり、面法線)を記述している情報と、顔の
反射率(つまり、アルベドマップ)を記述している情報
は確認されていることになる。
た情報またはデータは、ある人物の顔の表情を、別人物
の顔の表情に変換するために使用される。この実施形態
では、コードブック (code book) の考え方が取り入れ
られ、使用されている。
数の汎用表情 (generic expressions) を記述している
データを収めている。1つの目標は、コードブックの表
情を取り出し、その表情を使用して別人物(人物B)の
表情を変換することである。これを行うために、本発明
による方法では、人物Bを使用してトレーニング 表情(t
raining expressions)の 集合を作成している。トレー
ニング表情は、コードブックに存在する表情の集合から
構成されている。トレーニング表情および各表情に対応
するコードブック表情を使用すると、変換関数 (transf
ormation function) が導き出される。この変換関数
は、人物Bの表情に合致しているはずの合成表情の集合
(a set of synthetic expressions) を導き出すために
使用される。すなわち、変換関数が導き出されると、こ
れはコードブック内の表情の各々に適用され、コードブ
ック表情が人物Bの表情に合致するようにされる。従っ
て、トレーニング集合の中に存在しない可能性のある、
新しい表情が、例えば、人物Bから受信されたときは、
合成コードブック表情をサーチすれば、人物Bの表情に
最も合致する表情を見付けることができる。
る顔から別の顔に変換するために使用できる共通顔構造
(common face structure) が定義されている。ここで
説明している実施形態では、共通顔構造は、粗メッシュ
構造 (coarse mesh structure) または「ベースメッシ
ュ(base mesh)」からなり、これは、ある人物の表情を
別の人物の表情に変換するときの基礎として使用される
細分面 (subdivision surface) を定義している。共通
ベースメッシュはすべての顔に対して使用され、2また
は3以上の顔が対応付けられるようにしている。従っ
て、これによって定義された構造を使用すると、顔の動
きをある人物から別人物に適応することが可能になる。
この実施形態によれば、細分面を被写体の顔モデルに適
応するための手法が用いられている。本発明による手法
では、細分面上の、いくつかのポイントは、顔モデル上
の対応するポイントに直接的にマッピングされるように
定義されている。このことは、起こり得る、あらゆる異
なる顔モデルについても同じである。この制約 (constr
aint) を加えると、ベースメッシュは、異なる顔モデル
を同じように適合させる、という特性をもつことにな
る。さらに、本発明によるアルゴリズムでは、ベースメ
ッシュと顔モデルとが確実に対応づけられるように最小
限にされた平滑化汎関数 (smoothing functional) が利
用されている。
を計量化する反射率処理手法が用意されている。反射率
を測定するために、本発明による手法では、反射率は拡
散反射成分 (diffuse component) と鏡面反射成分 (spe
cular component) に分離され、拡散反射成分の処理が
中心になっている。
マップ (albedo map) が最初に定義される。このアルベ
ドマップは、カメラと、複数の異なる光源によって照射
される被写体とを、最初に用意することによって定義さ
れる。光源は偏光フィルタ (polarizing filter) によ
ってフィルタリングされる。このフィルタリングは、偏
光フィルタがカメラの前に置かれた偏光フィルタと併用
されて、鏡面反射を抑止するか、あるいは鏡面反射が記
録されるのを防止することによって行われる。画像シー
ケンスは、被写体の頭を取り巻くように撮影される。各
々の個別画像は、その画像に対応する個別アルベドマッ
プが得られるように処理される。特定の被写体に対する
すべてのアルベドマップは、その被写体の顔全体に対し
て単一のアルベドマップが得られるように結合される。
施形態を詳細に説明する。
膚の反射率と顔の動きを非常に正確なモデルで表す必要
がある。以下では、ジオメトリ、動きおよび反射率に関
する測定データを使用して、顔をモデリングし、アニメ
ーション化し、レンダリングして特定人物の顔の外観と
顔表情をリアルに再現するための方法および手法が説明
されている。ジオメトリと双方向反射率を含んでいる完
全モデルが構築されるので、どのような照明条件と表示
条件においても、顔をレンダリングすることができる。
以下に説明するモデリングシステムと方法では、異なる
顔間が対応付けられた構造化顔モデル (structured fac
e model) が構築され、この顔モデルは、さまざまな顔
のアニメーション操作の基礎となっている。
ように、顔モデリングプロセスを構成する各部分と係わ
りをもっている。ジオメトリの表現を構造化し、統一化
することによって、そのジオメトリ表現を顔モデルの基
礎とし、多くの以後の顔モデリングとレンダリング操作
の基礎となるようにするために、本発明の実施形態で
は、従来の面適合手法 (surface fitting technique)
を拡張し、汎用の顔 (generic face) が異なる個人の顔
に合致させるようにしている。リアル感のある反射率モ
デルを構築するために、最初に、最近の皮膚反射率測定
が使用されるが、これは公知で実用化されている。さら
に、改良されたテクスチャ取り込みプロセス (texture
capture process) を使用して、新規に測定された拡散
テクスチャマップが付加されている。汎用メッシュ (ge
neric mesh) をアニメーション化するために、改良され
た手法が使用され、高品質レンダリングに適した面形状
が得られるようにしている。
で使用できるデスクトップコンピュータ130の例の概
要を示す。分散コンピューティング環境の状況下では、
図示のようなコンピュータはさまざまなものが使用可能
である。これらのコンピュータは、以下に記載されてい
る説明に従ってグラフィックスをレンダリングし、画像
(イメージ)を処理するために使用することができる。
上のプロセッサまたは処理ユニット132、システムメ
モリ134、およびバス136、すなわち、システムメ
モリ134を含む種々のシステムコンポーネントをプロ
セッサ132に結合しているバス136を含んでいる。
バス136は、数種タイプのバス構造のいずれか1つま
たは2つ以上で表されているが、この中には、さまざま
なバスアーキテクチャを採用したメモリバスまたはメモ
リコントローラ、ペリフェラルバス、高速グラフィック
スポート、およびプロセッサまたはローカルバスが含ま
れている。システムメモリ134としては、リードオン
リメモリ (read only memory - ROM) 138とランダム
アクセスメモリ (random access memory - RAM) 140
がある。基本入出力システム (basic input/output sys
tem - BIOS) 142は、スタートアップ時のときのよう
に、コンピュータ内のエレメント間の情報転送を支援す
る基本ルーチンで構成され、ROM 138に格納されてい
る。
ィスク(図示せず)との間で読み書きするハードディス
クドライブ144、取り外し可能ディスク148との間
で読み書きする磁気ディスクドライブ146、CD-ROMや
他の光媒体のような、取り外し可能光ディスク152と
の間で読み書きする光ディスクドライブ150を装備し
ている。ハードディスクドライブ144、磁気ディスク
ドライブ146、および光ディスクドライブ150は、
SCSIインタフェース154または他の、ある種の該当ペ
リフェラルインタフェースを通してバス136に接続さ
れている。これらのドライブおよびその関連コンピュー
タ読取可能媒体は不揮発性ストレージとして、コンピュ
ータ読取可能命令、データ構造、プログラムモジュール
および他のデータを、コンピュータ130のために格納
している。ここで説明している例示環境では、ハードデ
ィスク、取り外し可能磁気ディスク148および取り外
し可能光ディスク152が採用されているが、当業者な
らば理解されるように、磁気カセット、フラッシュメモ
リカード、デジタルビデオディスク、ランダムアクセス
メモリ (RAM)、リードオンリメモリ (ROM)などのよう
に、コンピュータがアクセスできるデータを格納してお
くことができる、他のタイプのコンピュータ読取可能媒
体を、例示の動作環境で使用することも可能である。
ドディスク144、磁気ディスク148、光ディスク1
52、ROM 138またはRAM 140に格納しておくこと
が可能であり、その中には、オペレーティングシステム
158、1または2以上のアプリケーションプログラム
160、他のプログラムモジュール162、およびプロ
グラムデータ164が含まれている。ユーザは、キーボ
ード166やポインティングデバイス168などの入力
デバイスを通して、コマンドや情報をコンピュータ13
0に入力することができる。他の入力デバイス(図示せ
ず)として可能なものとして、マイクロホン、ジョイス
ティック、ゲームパッド、サテライトディッシュ、スキ
ャナ、1つまたは2つ以上のカメラなどがある。上記お
よび他の入力デバイスは、バス136に結合されたイン
タフェース170を通して処理ユニット132に接続さ
れている。モニタ172または他のタイプのディスプレ
イデバイスも、ビデオアダプタ174などのインタフェ
ースを介してバス136に接続されている。モニタのほ
かに、パーソナルコンピュータは、スピーカやプリンタ
のような、他の周辺出力デバイス(図示せず)を装備し
ているのが代表的である。
ータ176のような、1つまたは2つ以上のリモートコ
ンピュータとの論理コネクションを使用するネットワー
キング環境で動作するのが通常である。リモートコンピ
ュータ176としては、別のパーソナルコンピュータ、
サーバ、ルータ、ネットワークPC、ピアデバイスまたは
他の共通ネットワークノードにすることが可能であり、
図1にはメモリストレージデバイス178だけが示され
ているが、コンピュータ130に関連して上述したエレ
メントの多くまたはすべてを装備しているのが代表的で
ある。図1に示す論理コネクションとしては、ローカル
エリアネットワーク (local area network - LAN) 18
0と広域ネットワーク (wide area network - WAN) 1
82がある。この種のネットワーキング環境は、オフィ
ス、企業内コンピュータネットワーク、イントラネッ
ト、およびインターネット (the Internet) ではありふ
れた存在になっている。
きは、コンピュータ130は、ネットワークインタフェ
ースまたはアダプタ184を通してローカルネットワー
ク180に接続されている。WANネットワーキング環境
で使用されるときは、コンピュータ130は、インター
ネットのような、広域ネットワーク182上のコミュニ
ケーションを確立するために、モデム186またはネッ
トワークインタフェースのような他の手段を装備してい
るのが代表的である。モデム186は内蔵型と外付け型
があり、どちらも、シリアルポートインタフェース15
6を介してバス136に接続されている。ネットワーキ
ング環境では、パーソナルコンピュータ130に関連し
て上述したプログラムモジュールまたはその一部は、リ
モートメモリストレージデバイスに置いておくことが可
能である。当然に理解されるように、図示のネットワー
クコネクションは例示であり、コンピュータ間の通信リ
ンクを確立する他の手段を使用することも可能である。
ロセッサは、コンピュータの種々コンピュータ読取可能
媒体に、それぞれ時間を異にして格納されている命令に
よってプログラムされている。プログラムとオペレーテ
ィングシステムは、例えば、フロッピディスクやCD-ROM
上に分散化されているのが代表的である。プログラムと
オペレーティングシステムは、フロッピディスクやCD-R
OMからコンピュータの二次メモリにインストールまたは
ロードされる。実行時には、プログラムとオペレーティ
ングシステムは、少なくともその一部が、コンピュータ
の一次エレクトロニックメモリにロードされる。ここで
説明している本発明によれば、マイクロプロセッサまた
は他のデータプロセッサに関連して以下に説明されてい
るステップを実現するための命令またはプログラムは、
上述したタイプまたは他の種々タイプのコンピュータ読
取可能記憶媒体に格納されている。また、本発明によれ
ば、コンピュータ自体は、以下に説明されている方法お
よび手法に従ってプログラムされている。
のように、プログラムや他の実行可能プログラムコンポ
ーネントは、ここでは離散的ブロックとして示されてい
るが、当然に理解されるように、これらのプログラムと
コンポーネントは、時期を異にしてコンピュータの異種
ストレージコンポーネントに置かれていて、コンピュー
タのデータプロセッサによって実行される。
ステム 従来は、取り込みシステム (capturing system) は、顔
全体の顔構造と反射率特性の両方を、相互から独立して
同時に取り込むことができなかった。例えば、構造化光
(structured light) を使用して顔の構造を取り込むシ
ステムが存在しているが、これらのシステムは、反射率
(reflectance) のような、顔の特性を取り込んでいな
い。同様に、顔の反射率を取り込むシステムが存在して
いるが、これらのシステムは、顔の構造を取り込んでい
ない。顔の構造と反射率を、相互に独立して同時に取り
込むことができると、収集したデータに別の操作を加
え、さまざまな顔レンダリングとアニメーション化操作
に役立てることが可能になる。以下では、例示レンダリ
ング操作の一具体例が説明されているが、当然に理解さ
れるように、下述しているシステムと方法の結果として
得られる情報またはデータは、他のさまざまな分野で利
用することが可能である。例えば、アプリケーション分
野としては、セキュリティやパーソナルユーザ間のやり
とり、などを目的とした顔の認識、ゲーム、ムービ(映
画、動画)などのアニメーションを目的としたリアル感
のある顔モデルの構築、およびユーザが自分の顔を容易
に取り込んで、インタラクティブエンターテイメントや
ビジネスコミュニケーションで使用できるようにするこ
と、などがある。
を同時に取り込む上で、使用するのに適している例示シ
ステム200を示す。この例示システムは、1つまたは
2つ以上のカメラの形体をしたデータ取り込みシステム
を装備し、その1つがカメラ202として例示されてい
る。カメラ202は、CCD画像センサと関連回路を装備
し、CCDアレイを動作させ、CCDアレイから画像を読み取
り、画像をデジタル形体に変換し、その画像をコンピュ
ータに通知することを可能にしている。また、システム
は、複数の光源またはプロジェクタの形体をした顔照明
システム (facial illumination system) も装備してい
る。複数のカメラが使用される場合には、これらのカメ
ラは、時間的に同時取り込みを可能にするようにジェン
ロック (genlock) されている。図示の例では、2つの
光源204、206が利用されている。光源204は、
望ましくは、被写体の顔の上に投影される構造化パター
ン(structured pattern) を出力する。光源204は、
適当なロケーションであれば、どこにでも置くことが可
能になっている。このパターンは、被写体の顔の3D形状
に関する構造情報またはデータを、カメラ202で取り
込むことを可能にしている。赤外線領域の光で構成され
たパターンを採用すると有利であるが、適当な光源であ
れば、どの光源でも使用可能である。光源206は、望
ましくは、顔の反射率特性の拡散反射成分をカメラ20
2で取り込めるようにする光を出力する。光源206
は、例えば、ビームスプリット (beam splitting) 手法
でカメラのレンズ202aと同列に置いておくと有利で
あるが、適当なロケーションであれば、どこにでも置く
ことが可能である。この光源は、カメラのレンズを取り
囲むように適応させることも可能である。また、この光
源は、反射率の鏡面反射成分 (specular component) が
抑止または除去されるように選択されている。図示の例
では、線形偏光フィルタ (linear polarizing filter)
は偏光照明を得るために採用され、別の偏光フィルタは
前記線形偏光フィルタに直交する向きになっていて、レ
ンズ202aの前に置かれているため、顔からの鏡面反
射がカメラによって記録されないようにしている。上述
した照明システムは、異なる周波数の光源、例えば、カ
メラの赤と緑チャネルに対応する光源を使用してシミュ
レートされている。なお、これらのチャネルは、どちら
も赤外線領域にすることが可能である。さらに、光源が
ナローバンド(例えば、780-880 nm)になるように選択
すると、周囲光の影響を除去することができる。この特
性が達成されるのは、カメラもナローバンドになるよう
にフィルタリングされるときだけである。光源からの照
明はナローバンドの波長に集中されるのに対し、周囲光
はブロードレンジの波長にわたって拡散されるので、光
源からの光は、上記のような波長のときの周囲光よりも
強力になる。カメラは、光源から放出された波長だけを
記録するようにフィルタリングされるので、周囲光によ
る影響を受けることはほとんどない。その結果、カメラ
は、選択された光源が被写体に及ぼす影響だけを検出す
ることになる。
は、赤外線光源を偏光光源(これも赤外線光源にするこ
とが可能である)と併用すると、カメラは、顔に関する
構造情報またはデータ(光源204からの)と顔に関す
る反射率情報またはデータ(光源206からの)を、相
互に独立して同時に取り込むことが可能になる。構造情
報は顔の3次元様相を記述しているのに対し、反射率情
報は顔の拡散反射率特性を記述している。この情報は、
コンピュータ208などの、コンピュータ化画像プロセ
ッサによって処理されると、以後の顔アニメーション操
作で使用できる情報またはデータが得られることにな
る。以下で説明する例では、この情報は3次元データ(3
Dデータ)とアルベドマップ (albedo map) を含んでい
る。
法のステップを記載しているフローチャートである。こ
こで説明する方法によれば、顔の構造と反射率特性に関
する情報またはデータは、同時に収集し、処理すること
が可能になっている。ステップ300で、被写体の顔は
複数の異なる光源で照射される。このステップを実現す
る例示システムは図2に示されている。なお、図示の例
では、2つの例示光源が利用されているが、当然に理解
されるように、他の複数の光源を使用することも可能で
ある。ステップ302で、ステップ300の照射からレ
ンジマップデータ(デプスマップデータ)と画像データ
が測定される。すなわち、ステップ300の照射によ
り、カメラは光反射率を検出することが可能になり、こ
の光反射率は、レンジマップデータと、そこに構造光源
パターンを含んでいない画像データ(つまり、反射率)
の両方を得るために利用されることになる。レンジマッ
プデータと画像データはコンピュータ208(図2)に
渡され、そこで処理される。この時点で、ステップ30
4で、汎用顔テンプレート (generic face template)を
レンジマップデータに適用すると、レンジマップデータ
に関連して生じている種々のノイズを除去することがで
きるが、これはオプションである。汎用顔テンプレート
は、レンジマップデータに含まれるノイズを除去する3D
フィルタと考えることができる。汎用顔テンプレート
は、この分野の精通者に自明のものである。
使用され、3D面が導き出され、あるいは計算される。適
当なアルゴリズムであれば、どのアルゴリズムでも使用
可能であり、これは、この分野の精通者に自明のもので
ある。アルゴリズムの例としては、次の論文に記載され
ているものがある。すなわち、Turk & Levoy著「レンジ
画像からのジッパドポリゴンメッシュ(Zippered Polygo
n Meshes)」(SIGGRAPH94)、およびF. Bernardini、J. M
ittleman、H. Rushmeier、C. Silva、G. Taubin共著
「面再構築のためのボールビボッティングアルゴリズム
(The Ball-Pivoting Algorithm)」(Trans. Vis. Comp.
Graph. 5:4 (1999)) である。ステップ308で、ステ
ップ306の3D面に対する面法線ベクトル(「面法
線」)が、公知のアルゴリズムを使用して計算される。
このタスクを実行する1つの方法は、三角形に対する法
線を計算し、各頂点周りの三角形法線の平均をとって、
頂点法線を作り、頂点法線を各三角形の内部を横切るよ
うに補間することである。当然のことであるが、他の方
法を利用することも可能である。次に、ステップ310
で、ステップ308で計算された面法線とステップ30
2の画像データが使用されて、アルベドマップが導き出
される。アルベドとは、特殊タイプのテクスチャマップ
であり、そこでは、各サンプルは、顔面上の特定ポイン
トでの顔面の拡散反射率を記述している。アルベドマッ
プの導出は、上記に示した情報が与えられていれば、こ
の分野の精通者には自明のものである。例示のアルゴリ
ズムは、Marschner著「コンピュータグラフィックスの
逆レンダリング(Inverse Rendering for Computer Grap
hics)」(PhD thesis, Cornel University, August 199
8) に記載されている。
の結果として、被写体の顔の構造特徴を記述している3D
データと、画面の拡散反射率を記述しているアルベドマ
ップデータとが得られている。
出するために使用できるので、抽出した情報は適当な目
的のために使用することができる。特に利点のある実施
形態では、抽出された情報は、被写体の表情を抽出し、
認識するために利用されている。この情報は、表情変換
のために使用できる。すぐあとで説明されている、本発
明による実施形態では、ある人物の表情は、別人物の表
情を、リアル感をもって変換するために使用することが
できる。
の考え方が取り入れられ、以下に説明されている表情
変換操作で利用されている。図4は、ある人物から取り
込まれた多数の、異なる表情を収めているコードブック
400の例を示す。これらの表情は、汎用表情 (generi
c expressions)、つまり、特定の個人からではなく、汎
用的人物からの表情と考えることができる。この例で
は、表情は、表情1から表情Nまでの範囲を有する。表
情1は、例えば、「スマイル」であり、表情2は「しか
め面」にであり、表情3は「怒り」の表情である。以
下、同様である。コードブック400に収められている
表情は、数学的には、それらのジオメトリの形で記述さ
れており、すぐ上で説明したプロセスのような、適当な
方法で取り込むことが可能である。
0内の表情の一部を使用して、変換関数 (transformati
on function) が最初に導き出される。変換関数を導き
出すために、トレーニング表情集合 (training set of
expressions) 402という考え方が取り入れられてい
る。表情トレーニング集合402は、その表情がコード
ブック400に記述されている個人とは別の個人から得
られる表情の集合で構成されている。トレーニング集合
402のトレーニング表情は、コードブック表情のサブ
セット(部分集合)になっている。つまり、トレーニン
グ集合の中の各表情は、コードブック400の中の表情
に対応している。例えば、トレーニング集合402は、
3つの表情、すなわち、表情1、表情2、および表情3
で構成することが可能であり、そこでは、表情は、それ
ぞれ「スマイル」、「しかめ面」および「怒り」になっ
ている。変換関数の目標は、トレーニング集合の表情に
関連付けられたジオメトリック変形を受け取り、そのジ
オメトリック変形をコードブック400の表情のすべて
に適用して、コードブック表情がリアル感のある表情表
現となるようにすることである。すなわち、各人物の顔
は、どの任意の表情についても、ジオメトリが異なった
変形の仕方をするものと考えられる。ある表情のとき
の、ある人物のジオメトリックな顔の変形が、表情をレ
ンダリングする目的で別人物の顔に単純に適用される
と、その変形が適用された顔は、非常にゆがんだように
見えることになる。このようなことが起こるのは、顔の
ジオメトリが異なるだけでなく、顔と顔の間のように顔
の変形が異なるためである。従って、ある表情集合から
別の表情集合への最良変換が得られるような変換関数が
導き出されている。
変換プロセッサ406が示されている。この変換プロセ
ッサ406は、適当なハードウェア、ソフトウェア、フ
ァームウェア、あるいはこれらの組み合わせで実現する
ことが可能である。図示の例では、線形変換プロセッサ
406はソフトウェアで実現されている。線形変換プロ
セッサはトレーニング表情集合402と、対応するコー
ドブック表情404とを入力として受け取る。変換プロ
セッサはこれらの入力を処理して、変換関数408を導
き出す。この変換関数408を、コードブック400内
の表情のすべてに適用すると、合成表情集合 (synthesi
zed set of expressions) が得られる。この合成表情集
合は、トレーニング表情集合が得られた人物の表情に関
連するジオメトリック変形によって操作された、コード
ブックの表情を表している。
2つの理由で異なる人物では同じになっていない。その
1つは、動き取り込みサンプルポイント(この具体例で
は、この特定アルゴリズムによると、顔の動きがどのよ
うに表現できるかを示している)は、位置に誤差がある
と、正確に一致しないからである。もう1つは、頭の形
状とサイズは人物と人物の間で変化するからである。
み変位データを、汎用メッシュ上の一定位置集合で再サ
ンプリングすることによって解消することができる。こ
れについては、以下の「顔モデルを構築するための例示
システムと方法」の個所に詳しく説明されている。そこ
では、一定位置集合は「標準サンプル位置(standardsam
ple positions)」と呼ばれている。再サンプリング関数
はメッシュ変形関数(mesh deformation function) であ
る。標準サンプル位置は、一度細分化された汎用メッシ
ュの頂点に対応する、顔メッシュの頂点である。
位データを変換し、顔のサイズと形状の変化を補償する
必要がある。図示の例では、これは、2つのデータセッ
トについて対応する表情の小さなトレーニング集合を見
付けたあと、一方から他方への最良線形変換を見付ける
ことによって行われる。1つの例として、次の場合を考
えてみる。すなわち、実験的環境では、感情を表す表情
は、複数の表情のさまざまな強さを含む、49個の対応
する表情に対して手作業でラベルが付けられていた。音
声の動きについては、10,000フレームは、時間歪
曲 (time warping) 手法を用いて自動的にアライメント
されていた。
y, z変位のすべてを含んでいる3mベクトルgによって表
されている。変換される顔のn個の表情ベクトル集合をg
a1..nとし、ターゲット顔の対応するベクトル集合をg
b1...nとすると、線形予測子 (linear predictors) 集
合ajは、下に示す3m線形最小二乗システムの解を求める
ことによって、gnの座標ごとに1つずつ計算される。
サブセットだけが使用されている。具体的には、標準サ
ンプルポイントとエッジを共有するポイントだけが考慮
の対象になっている。使用されたメッシュでは、平均価
(average valence) は約6であるので、代表的なgajは1
8要素になっている。その結果のシステムは大体n x 18
である。
い場合があり、その場合には、線形予測子ajは良好に概
念化されない。特異値 (singular value) の拡散は、擬
似逆関数 (pseudoinverse) を計算して、ajの解を求め
るとき制御されるので、概念化が大幅に改善される。α
σ1未満の特異値はすべてゼロにされる。ただし、σ1は
マトリックスの最大特異値であり、α = 0.2,...0.1で
ある。
る表情変換方法のステップを記載しているフローチャー
トである。ステップ500で、表情のコードブックが用
意される。この種のコードブックの例は上に示されてい
る。ステップ502で、トレーニング表情集合が用意さ
れる。代表例として、このトレーニング集合は、コード
ブック表情が得られた人物とは異なる人物からの表情の
集合になっている。トレーニング表情集合は、適切であ
れば、どの方法によっても取り込むことができる。1つ
の例として、表情は、図2に示すようなシステムを使用
して取り込むことができる。トレーニング表情集合が用
意されたあと、ステップ504で、トレーニング集合と
コードブックを使用して変換関数が導き出される。この
作業を行う1つの方法例は、上述した通りである。当然
のことであるが、本発明の精神と範囲を逸脱しない限
り、他の方法を使用することも可能である。例えば、ニ
ューラルネットワーク (neural network) などの、種々
の非線形変換を使用することも、基礎表情 (basis expr
essions) の加重和を使用することも可能である。変換
関数が導き出されると、これはコードブック内の表情の
すべてに適用され、以後の顔アニメーション操作の基礎
として利用できる合成表情集合が得られ、あるいは定義
される。
変換プロセスをどのように採り入れるかが、1つの例で
示されている。システム600は送信側コンピューティ
ングシステム、つまり、トランスミッタ602と、受信
側コンピューティングシステム、つまり、レシーバ60
4とを含み、これらは、インターネット(the Internet)
などのネットワーク603を介して通信するように接
続されている。トランスミッタ602は照明システム2
00(図2)を含み、これは、図2を参照して上述した
ように、ある人物の表情を取り込むように構成されてい
る。さらに、トランスミッタ602は、図4を参照して
上述したものと同じような、コードブック400を含ん
でいる。なお、ここでは、コードブックは、上述したよ
うに合成表情集合に合成されているものとする。すなわ
ち、照明システム200が取り込んだ表情をもつ人物か
ら得られたトレーニング表情集合を使用して、コードブ
ックが処理され、合成表情集合が得られている。
を含み、これは、トランスミッタ602から受信したデ
ータから顔画像を再構築するように構成されている。ま
た、レシーバ604は、トランスミッタ602側のそれ
と同じコードブック400を含んでいる。ここでは、ト
ランスミッタ602側にいる人物が、レシーバ604側
にいる人物と通信しようとしている。トランスミッタ6
02側にいる人物が通信のために顔を動かすと、その顔
表情と動きはトランスミッタ602によって取り込ま
れ、処理される。この処理には、顔表情を取り込み、合
成コードブックをサーチして、コードブックの中で最も
近似している合致表情を見付けることを含めることが可
能である。合致する表情が合成コードブックの中で見つ
かると、その表情のインデックスがレシーバ604に送
られ、アニメーション化された顔が再構築モジュール6
06を使用して再構築される。
いくつかの効果を示す図である。1行目の絵(A)は、
第1人物(人物A)の合成顔を構成しており、そこには
3つの異なる表情が示されている。これらの絵は、人物
Aの取り込まれた顔の動きの結果である。第2人物(人
物B)の顔の動きは、すでに取り込まれている。人物Bの
取り込まれた顔の動きは3行目(C)に示されている。
ここでは、3D動きデータは、いくつかのカラードットを
人物の顔の上に置き、人物の顔が変形されたときドット
の動きを測定することによって取り込まれているが、こ
のことは、この分野の精通者ならば当然に理解されるも
のである。なお、顔の動きは、上述したシステムと方法
によって取り込むことができる。人物Bの取り込まれた
動きは、上述したように使用されて、人物Aの表情が変
換されている。この操作の結果は、2行目に示されてい
る。これら3セットの絵の表情は、すべて相互に一致し
ている。同図に示すように、1行目(A)と2行目
(B)の表情は、非常に異なる2人物から導き出された
としても、非常に類似しているのに対し、第2人物(3
行目(C))のオリジナル表情は、1行目(A)と2行
目(B)の表情とは全体的に類似していない。
方法 リアル感のある画像を作るために必要とされる顔のモデ
ルは、2つの部分からなっている。モデルの第1部分
は、顔のジオメトリ(つまり、顔面の形状)に関係して
いる。他方、モデルの第2部分は、顔の反射率(つま
り、顔のカラーと反射特性)に関係している。このセク
ションでは、このモデルの第1部分、つまり、顔のジオ
メトリについて説明する。
の面を加えたものから構成されている。この例では、皮
膚面は、頭をレーザレンジでスキャンすることによって
導き出され、変位マップをもつ細分面で表されている。
目は別モデルであり、これは皮膚面と位置合わせされ、
マージされて、高品質レンダリングに適した完全顔モデ
ルが得られている。
キャナで測定されたジオメトリに密接に近似する細分面
が作成される。図示の例では、細分面は、Loopの細分ル
ールを使用して粗三角メッシュから定義されている。Lo
opの細分ルールは、Charles Loop著「三角形に基づく平
滑細分面(Smooth Subdivision SurfacesBased on Trian
gles)」(PhD thesis, University of Utah, August 198
7) に詳しく説明されている。さらに、細分面は、Hoppe
他著「区分平滑面再構築(Piecewise smooth surface re
construction)」(Computer Graphics (SIGGRAPH '94 Pr
oceedings) pp. 295-302, July 1994) に記載されてい
るものと類似のシャープエッジを追加して定義されてい
る。なお、不規則なクリーズマスク (crease mask)は使
用されていない。さらに、ダーツ(dart) とクリーズ頂
点(crease vertex)の間のエッジを細分化するとき、ク
リーズ頂点に隣接する新エッジだけがシャープエッジと
してマークされている。
グルベースメッシュを使用して定義され、頂点位置だけ
が、各々の異なる顔の形状に適応するように変化してい
る。図示の例では、227個の頂点と416個の三角形
をもつベースメッシュは、顔の全体形状をもち、目と唇
付近が詳細化されるように定義されており、そこでは、
最も複雑なジオメトリと動きが現れている。口の開きは
メッシュの境界になっており、上唇と下唇上の対応する
頂点の位置を1つに結ぶことによって、適合プロセス期
間は、閉じたままになっている。このベースメッシュに
は、シャープな細分ルール用にマークされた少数のエッ
ジがあり、これらは、口の開きの両側にコーナを作成
し、鼻の両側を折り重ねるときの場所を得るのに役立っ
ている。修正された細分ルールでは、少なくとも3つの
シャープエッジのチェインに対してだけクリーズが取り
入れられているので、このモデルは表面にクリーズがな
い。孤立頂点 (isolated vertex) だけは、明確に定義
された限界法線 (limit normal) をもつことができない
からである。
メッシュ(中央の図)の例を示す。図8は、この粗メッ
シュをどのように使用して、同じ細分制御(粗)メッシ
ュを各々の顔の変位細分面にマッピングすると、ある顔
と別の顔との間に自然な対応関係が得られるかを示した
ものである。この側面は、以下に詳しく説明されてい
る。
るプロセスは、Hoppe他著「区分平滑面再構築(Piecewis
e smooth surface reconstruction)」(Computer Graphi
cs(SIGGRAPH '94 Proceedings) pp. 295-302, July 199
4)に記載されているアルゴリズムに基づいている。Hopp
eの面適合法は、基本的には、3つのフェーズからなる
ものと言うことができる。すなわち、トポロジ型推定
(フェーズ1)、メッシュ最適化(フェーズ2)、およ
び区分平滑面最適化(フェーズ3)である。
未組織のポイント集合が与えられている、相対的に多数
の三角形からなる三角メッシュが構築される。このフェ
ーズでは、面のトポロジ型が判断され、ジオメトリの初
期推定が得られる。フェーズ2は、フェーズ1の出力か
ら始まり、三角形の数を減らし、データへの適合を改善
する。このアプローチでは、表現の簡潔化と適合の良好
化という、相互に競合する目標間のトレードオフを明示
的にモデル化するエネルギ関数を最適化することを課題
としている。この最適化手順における自由変数として
は、メッシュ内の頂点の数、その接続性 (connectivit
y)、およびその位置がある。フェーズ3は、フェーズ2
で得られた最適化メッシュ(区分線形面)から出発し、
この場合も、簡潔性とデータへの適合性をトレードオフ
するエネルギ関数を最適化することによって、正確で、
簡潔な区分平滑細分面を適合させる。フェーズ3で最適
化が行われると、制御メッシュ内の頂点の数、その接続
性、その位置、およびシャープな特徴の数とロケーショ
ンが変化する。面におけるシャープな特徴の自動検出と
回復は、このフェーズの不可欠な部分となっている。
他に記載されているアプローチとは、2つの点で異なっ
ている。第1は、制御メッシュの接続性を変更する必要
がないので、連続的最適化は、頂点位置に対してだけ行
われることである。さらに、特徴の制約が、平滑化項と
共に追加されていることである。
を最小化する。
クトル、pはレンジスキャナからの全データポイントの
ベクトルである。3つの項の下付き文字は、距離、形
状、および制約を表している。距離関数Edは、レンジス
キャナポイントから細分面までの和二乗距離 (sum-squa
red distance) を測定する。
ト、Π(v, pi) は、頂点位置vで定義された細分面上の
レンジポイントの投影である。重みaiは、piにおけるス
キャナの視点方向がΠ(v, pi) における面法線と一致し
ていないポイントを無視させるブール項である。さら
に、面からある距離以上に離れているポイントは拒否さ
れる。
るスキャナの視点に向かう方向、n(x) はポイントxにお
ける外側に面する面法線である。
平坦化させるものである。この関数は、各頂点から隣接
頂点の平均までの距離を測定する。
ら対応するターゲット位置集合までの和二乗距離であ
る。
位置を、制御メッシュからとらえて定義し、頂点ciの限
界位置が3Dポイントdiに付加されるようにする線形関数
である。制約は、最適化変数の再パラメータ化によって
厳格に適用することも可能であるが、この制約をソフト
にすると、繰り返しが望ましいローカル最小限まで円滑
に行われることが判明している。制約は、汎用メッシュ
の顔特徴を、適合される特定の顔上の、対応する特徴に
合致させるためにユーザによって選択される。この例で
は、約25乃至30の制約が使用され、目、鼻、および
口に集中している。図9は、900での細分制御メッシ
ュ(A)の制約と、顔モデル(B)上の対応するポイン
トを示す。
線形関数でないので、非線形最小二乗問題である。しか
し、aiを一定に保ち、Π(v,pi) を一定の線形的制御頂
点の組み合わせによって近似化すると、これを線形問題
にすることができる。従って、適合プロセスは、線形最
小二乗問題のシーケンスとして進められ、a1および面上
のpiの投影は、各繰り返しの前に再計算されることにな
る。細分限界面は、これらの計算を行うために、特定の
細分レベルにあるメッシュによって近似化される。顔を
適合することは、少数の繰り返しで行われ(30未
満)、制約は、繰り返しの進行と共に、単純なスケジュ
ールに従って更新されて行く。その更新は高λと低μか
ら始まって、最適化を非常にスムーズな顔の近似化に導
いて行き、低λと高μまで進んで行き、最終的解によ
り、データと制約は密接に適合することになる。実際の
計算時間は、Π(v,pi)の計算時間によって決まる。
に、面は望ましいレベルまで細分化され、顔の形状にス
ムーズに近似しているメッシュが得られる。変位は、各
々の頂点ごとに、その頂点での面に対するライン法線
を、オリジナルスキャンで定義された三角面と交差させ
ることによって計算される。これについては、Lee他著
「変位細分面(Displaced Subdivision Surfaces)」(SIG
GRAPH '00 Proceedings,July 2000)に説明されている。
その結果の面は、オリジナルスキャンの目立った特徴を
すべて、若干三角形が少なくなっているメッシュに再現
しているが、これは、ベースメッシュは顔の重要な領域
の三角形が多くなっているためである。この細分ベース
の表現によると、面をパラメータ化したものと、そのパ
ラメータ化で定義された組み込み多重解像基底関数集合
(built-in set of multiresolution basis functions)
とが得られることになり、さらに、特徴制約が適合時
使用されるため、この方法を使用して適合されるすべて
の顔にわたって自然の対応関係が得られることになる。
この構造は、顔のアニメーションで利用すると、多くの
面で便利である。
従って顔モデルを構築するための方法のステップを記載
しているフローチャートである。この方法は、適当なハ
ードウェア、ソフトウェア、ファームウェアまたはこれ
らの組み合わせで実現することが可能である。この例で
は、方法はソフトウェアで実現されている。
の顔の3Dデータが測定され、対応する顔モデルが得られ
る。上記の例では、3Dデータは、顔をレーザレンジでス
キャンすることによって得られていた。当然に理解され
るように、3Dデータは他の方法で得ることも可能であ
る。ステップ1002で、1つまたは2つ以上の顔モデ
ルに適合するために使用される汎用顔モデルが定義され
る。当然に理解されるように、汎用顔モデルは、多数の
異なる顔に適合するように利用できるという利点があ
る。従って、このことは、そのようなことが行われてい
なかった従来の方法に比べて、改良点となっている。上
述した例では、汎用顔モデルは、粗三角メッシュ (coar
se triangle mesh) の形体をしたメッシュ構造になって
いる。この三角メッシュは、顔のジオメトリに密接に近
似している細分面を定義している。図示の例では、顔モ
デルのすべてについての細分面は、シングルベースメッ
シュを使用して定義されている。ステップ1004で、
汎用顔モデル上の個々のポイントまたは制約が選択され
る。これらの個々のポイントまたは制約は、顔モデル上
にマークされた、対応するポイントに直接にマッピング
される。これら個々のポイントのマッピングは、起こり
得る多数の、異なる顔モデルの各々について、同じよう
に行われる。ステップ1006で、汎用顔モデルは1つ
または2つ以上の顔モデルに適合される。このステップ
は、各々の異なる顔の形状に適応するように、頂点の位
置だけを操作することによって行われる。適合プロセス
期間には、頂点位置だけにわたって連続的最適化が行わ
れるので、メッシュの連続性が変更されることはない。
さらに、この適合プロセスでは、個々のポイントまたは
制約が直接に顔モデルにマッピングされる。さらに、平
滑項 (smoothing term) が追加され、これは、制御メッ
シュがローカルに平坦化されるように最小化されてい
る。
よく表している。しかし、リアル感のある顔を得るため
に望ましいとされる特徴が、他にもいくつかある。その
中で最も重要な特徴が目である。レーザレンジスキャナ
は目に関する適切な情報を取り込まないので、メッシュ
は、別々にモデル化された目を追加することによって、
レンダリングのために補強されている。顔モデルの他の
部分と異なり、目とその動きは、特定の人物から測定さ
れないので、リアルな目の外観を再現するとは限らない
ようになっている。しかし、目の存在と動きは、顔モデ
ルの全体的外観にとって非常に重要である。
使用して目をモデル化することができる。図示の例で
は、2部分からなるモデルを構築するために、市販のモ
デリングパッケージが使用されている。第1部分は眼球
のモデルであり、第2部分は目回りの皮膚面のモデルで
あり、その中には、まぶた、眼窩、および周囲顔面部分
が含まれている(この第2部分は「眼窩面(orbit surfa
ce)」と呼ぶことにする)。目を全体顔モデルの一部に
するためには、眼窩面を、モデル化しようとする個人の
顔に適合させる必要があり、2つの面を縫い合わせる必
要がある。これは2ステップで行われる。最初に、2つ
のメッシュは、眼窩面上に定義された重み付け関数に従
ってゆがみが付けられ、顔と眼窩が重なり合った個所で
同時に現れるようにする。次に、2つ面はペアの同心楕
円面でカットされ、1つのメッシュになるように縫い合
わされる。
特徴の1つは、これらの実施形態によると、ある人物の
表情を別の人物の表情に変換するために使用できる構造
またはフレームワークが得られることである。汎用顔モ
デルを各個人の顔に適合することは、汎用モデルのどの
部分も、各人物の顔上の同じ特徴に常にマッピングされ
るように制約されている。例えば、汎用モデル中の口の
左隅は、どの人物の顔でも、その口の左隅に常にマッピ
ングされる。適合顔モデルの集合を利用すると、どの顔
においても、ある特定の顔にある特定のポイントに対応
するポイントを判断することができる。例えば、人物A
の顔上の口の左隅の動きが測定されたとする。顔Aへの
汎用モデルの適合を使用すると、汎用モデルのどのポイ
ントが測定ポイントに対応しているかを判断することが
でき、次に、顔Bへの汎用モデルの適合を使用すると、B
の顔のどのポイントが汎用モデル上の、計算されたポイ
ントに対応しているか、従って、顔Aの測定ポイントに
対応しているかも判断することができる。測定した顔上
のポイント集合から動きを再現するために新しい顔のど
の部分を移動させる必要があるかを知っている必要があ
るため、この情報は、動きをある顔から別の顔に変換す
る上で不可欠である。
共に変化する3D位置によって指定される。顔が動き取り
込みデータによって制御されるとき、これらのポイント
は、動き取り込みシステムによってトラッキングされ
る、顔上のマーカになっている。これらのポイントの動
きは、顔面の領域にスムーズに影響する制御ポイントの
集合によって顔面を制御するために使用される。顔の動
きデータの取り込みは、この分野の精通者ならば理解さ
れるように、いずれかの適当な方法で行うことができ
る。1つの具体例では、顔の動きは、Guenter他著「顔
の作成(Making Faces)」(Proceedings of SIGGRAPH 199
8, pp. 55-67, 1998) に記載されている手法を使用して
取り込まれていた。
従って、三角メッシュの各頂点wiをその静止位置から変
位することによってアニメーション化されている。これ
らの制御ポイントは、動きを記述しているサンプル点pj
と1対1で対応している。各制御ポイントが頂点に及ぼ
す影響は、対応するサンプルポイントからの距離と共に
低下していき、複数の制御ポイントが頂点に影響する場
合には、それらの重みは総和が1になるように正規化さ
れる。
トによって影響される場合、βi =Σk αik であり、そ
うでなければ1である。これらの重みは、サンプルポイ
ントと顔メッシュの静止位置を使用して一回計算される
ので、フレームごとのメッシュの動きはスパースマトリ
ックス乗算 (sparse matrix multiplication) になって
いる。重み付け関数については、次式が使用されてい
た。
には、これらの重み付けルールには2つタイプの例外が
設けられている。目と口の付近の頂点と制御ポイント
は、「上」および「下」のタグが付けられ、例えば、口
の上にある制御ポイントは口の下にある頂点の動きには
影響しない。また、目の周囲の領域におけるスカラテク
スチャマップ (scalar texture map) は、目がスムーズ
なテ−パ状になって、まぶたの個所でゼロになるように
動きに重み付けするために使用されている。サンプルポ
イント集合に従って顔メッシュを動かすには、制御ポイ
ント位置を計算して、顔面がそれなりに変形されるよう
にしなければならない。上述したのと同じ重み付け関数
を使用すると、サンプルポイントが制御ポイントに応じ
てどのような動きをするかを計算することができる。そ
の結果は線形変換p = Aqである。従って、時刻tに、サ
ンプル位置ptを求めるには、制御ポイントqt = A-1ptを
使用することができる。しかし、マトリックスAは条件
付けが十分でないことがあるので、制御ポイントの動き
が非常に大きいために起こる、望ましくない面形状を回
避するために、SVD(Singular Value Decomposition−
特異値分解)を使用してA-1が計算され、A-1の特異値は
限界Mでクランプされる。図示の例では、M = 1.5が使用
されている。SVDを論じている参考文献としては、Golub
およびVan Loan著「マトリックス計算(Matrix Computat
ions)」第3版、Johns Hopkins press,1996がある。
成された動きが目に加えられ、別々に取り込まれた剛体
運動が頭全体に加えられる。眼球は、ランダムな固定方
向のシーケンスに従って回転され、一方の眼球から次の
眼球に向かってスムーズに移動して行く。まぶたは、眼
球の中心を通る軸周りにまぶたを定義している頂点を回
転し、まぶたメッシュ上に定義された重みを使用して変
形がスムーズに行われるようにすることでアニメーショ
ン化される。
取り込まれ、これは、その人物が特殊なマシン認知可能
ターゲットでマークされた帽子を着用している間にその
動きをフィルムに写すことによって行われる(帽子は、
Marschner他著「人間の皮膚を含む画像ベースBRDF測定
(Image-based BRDF measurements including human ski
n)」、Rendering Techniques '99 (Proceedings of the
Eurographics Workshop on Rendering), pp. 131-144,
June 1999で使用されているものに近似するようにパタ
ーン化されている)。これらのターゲットをビデオシー
ケンスでトラッキングすることにより、頭の剛体運動が
計算され、そのあと、これは頭モデルをレンダリングす
るために適用される。このセットアップによると、ビデ
オカメラだけで済むので、望みのアクションを実演しな
がら頭の動きを作っていくことができる。
ムと方法 リアル感のある顔画像をレンダリングするためには、ジ
オメトリが正確であるだけでなく、皮膚からの光の反射
の計算が正確であることが要求される。図示の例では、
顔をレンダリングするために、物理ベースのMonte Carl
o光線トレーサが使用されている。手法の例としては、C
ook他著「分布光線トレーシング(Distribution Ray Tra
cing)」、Computer Graphics (SIGGRAPH '84 Proceedin
gs), pp. 165-174, July 1984およびShirley他著「直接
照明計算のためのMonte Carlo手法(Monte Carlo techni
ques for direct lighting calculations)」、Transact
ions on Graphics, 15(1):1-36, 1996に記載されている
ものがある。この方法によると、任意のBRDF(bi-direc
tional reflectance distribution functions:双方向
反射率分布関数)を使用して、単純なシェーディングモ
デルでは近似化が困難であった、皮膚の外観を正確にシ
ミュレートすることができる。さらに、拡張光源が使用
されているが、これは、ポートレート写真のようにレン
ダリングするとき、見苦しくない画像を得るために必要
になるものである。物理的光移動は、計算効率の必要
上、次の2点でずれるようにしている。すなわち、拡散
相互反射 (diffuse interreflection) は無視され、目
は屈折なしで瞳を通るように照明されている。
際の人間の顔の測定に基づいている。手法の例として
は、Marschner他著「人間の皮膚を含む画像ベースBRDF
測定(Image-based BRDF measurements including human
skin)」、Rendering Techniques '99 (Proceedings of
the Eurographics Workshop on Rendering), pp. 131-
144, June 1999に記載されているものがある。これらの
測定は、いくつかの被写体の額の平均BRDFを記述してお
り、Lafortune他著「反射率関数の非線形近似化(Non-li
near approximation of reflectance functions)」、Co
mputer Graphics(SIGGRAPH '97 Proceedings), pp. 117
-126, August 1997に記載されているBRDFモデルの適合
パラメータを含んでいる。従って、これらの測定は、リ
アル感のある顔をレンダリングするときの、すぐれた出
発点となっている。しかし、これらの測定は、実際の顔
で観察される空間的変化の一部を含むように補強する必
要がある。これは、その皮膚がレンダリングした皮膚と
類似している被写体の測定BRDFへの適合から始め、それ
を拡散反射成分と鏡面反射成分に分離することによって
行われる。そのあと、各々をモジュレートするためにテ
クスチャマップが取り入れられている。
り、「アルベドマップ(albedo map)」は、以下で説明す
るように、被写体の実際の顔から取られた測定に従っ
て、拡散反射率をモジュレートする。鏡面反射成分は、
スカラテクスチャマップ (scalartexture map) によっ
てモジュレートされ、皮膚反射率でレンダリングしては
ならない個所(まゆやまつ毛など)から鏡面反射が除去
され、顔の下部の鏡面反射が低減され、顔の皮膚の特徴
に近似するようにされる。その結果は、空間的に変化す
るBRDFであり、これは、Lafortune他著「反射率関数の
非線形近似化(Non-linear approximation of reflectan
ce functions)」、Computer Graphics (SIGGRAPH '97 P
roceedings), pp. 117-126, August 1997の概念化コサ
インローブ (generalized cosine lobes) の和によって
各ポイントに記述されている。
る、空間的に変化する反射率を記述していることが要求
されるアルベドマップは、制御された照明の下で撮影さ
れた顔のデジタル写真シーケンスを使用して測定されて
いた。
込むために使用された例示システムを示している。図示
のシステムでは、デジタルカメラ1100が装備され、
複数の光源を含んでいる。そのいつくかの例は110
2、1104で示されている。垂直ポラライザ110
6、1108、および1110の形体をした偏光フィル
タが装備され、光源とカメラレンズを被覆しているた
め、鏡面反射が抑止され、拡散反射成分だけが画像に残
るようにしている。この例では、被写体は、マシン認識
可能ターゲットがプリントされた帽子1112を着用
し、頭のポーズをトラッキングするようにしている。カ
メラ1110は、被写体が回転している間静止したまま
になっている。唯一の照明は、カメラ付近の測定個所に
置かれた光源1102、1104から得ている。漏れた
光からの間接的反射を減らすため、黒のバックドロップ
(背景幕)が使用されている。
るので、面法線、放射照度 (irradiance)、視点方向、
およびテクスチャ空間内の対応する座標は、各画像のピ
クセルごとに標準的光線トレーシング手法を使用して計
算することができる。理想的なランベルト (Lambertia
n) 反射が観察されるとの想定の下では、ランベルト反
射率は、テクスチャ空間内の特定のポイントについてこ
の情報から計算することができる。この計算は、1つの
写真に含まれるピクセルごとに繰り返され、その総和が
得られると、画像がテクスチャ空間内に投影され、光源
に起因する計算された放射照度で除すると、面を横切る
拡散反射率のマップが得られる。図12に示すように、
2つの写真(A),(B)がテクスチャ空間内に投影さ
れ、照明が補正されている。実際には、この投影は、外
側ループがテクスチャマップ内のすべてのピクセルを通
るように繰り返される逆マッピング (reverse mapping)
によって行われ、特定のテクスチャピクセルに投影さ
れる画像エリア全体の平均をとるために、確率的ス−パ
サンプリング (stochastic supersampling) が使用され
ている。
一部だけをカバーしており、その結果は、グレージング
(grazing) 角度が小さいとき最良になっている。従っ
て、顔全体のシングルアルベドマップを作成するため
に、すべての個別マップの加重平均が計算されている。
重み付け関数は、そのビジュアル例が図13(A),
(B)に示されているが、面に対してほぼ法線をなして
いる方向から表示および/または照射されるピクセルに
は高い重みが与えられるように選択され、表示か照射の
どちらかが極度にグレージングする前にゼロに降下する
ようになっている。図示の例では、次の関数が使用され
ている。(cosθi cosθe - c)p、ただし、c= 0.2, p =
4。
算する前に、ピクセルが可視であり、適当に照射されて
いることが確かめられる。複数の光線は、そのピクセル
上のポイントから光源上のポイントまでとカメラポイン
トまでトレースされ、そのピクセルには、可視性と照明
がゼロでるか、部分的であるか、完全であるかのマーク
が付けられる。光源のサイズを見積もるとき、重大なエ
ラーを避けるのが賢明である。完全に可視であり、少な
くとも1つの光源によって完全に照射され、どの光源に
よっても部分的に照射されないピクセルのアルベドだけ
が計算される。このようにすると、部分的に隠されたピ
クセルおよび全影または半影領域にあるピクセルは使用
されることがない。
若干の較正が必要である。カメラの転写曲線は、Debeve
c他著「写真からの高ダイナミックレンジ放射輝度マッ
プの回復(Recovering high dynamic range radiance ma
ps from photographs)」、Computer Graphics (SIGGRAP
H '97 Proceedings), pp. 369-378, August 1997に記載
されている方法を使用して較正されている。光/カメラ
システムのフラットフィールド応答は、大きなホワイト
カードの写真を使用して較正されている。レンズのフォ
ーカルレングスとひずみは、Zhang著「カメラ較正のた
めのフレキシブルな新手法(A flexible new technique
for camera calibration)」、TechnicalReport MSR-TR-
98-71, Microsoft Research, 1998に記載されている手
法を用いて較正されている。全体スケールファクタは、
既知反射率の参照サンプルを使用してセットされてい
る。光源強度の画像間の変化が考慮の対象となっている
ときは、すべての画像に参照サンプルを組み込むことに
よって制御が行われている。
プは、顔全体にわたる詳細なカラー変化を自動的に取り
込む上で良好な働きをしている。さらに、較正帽子を定
位置に保持するために使用されるストラップは可視にな
っている。これらの問題は、画像編集ツールを使用し、
ブランクエリアに近傍テクスチャまたは均一カラーを埋
め込むことによって解消されている。
(B)は、編集前のアルベドマップと編集後のアルベド
マップを、比較目的で示したものである。アルベドマッ
プから妥当な結果が得られない個所がどこであるかは、
面が十分に観察されない個所(例えば、あごの下)であ
るか、あるいは面が余りに複雑な形状をしているため画
像と共に正しくスキャンし、記録できない個所(例え
ば、耳)であることは明らかである。これらの個所は、
どちらも、リアル感のある外観を得るためにアルベドマ
ップからのテクスチャを必要としていない。第1の個所
は視覚的に目立たないからであり、第2の個所は、ジオ
メトリがビジュアル的に詳細になっているからである。
そのため、これらの個所を編集しても、最終的レンダリ
ングの外観はほとんど影響されない。
静止フレームを使用した顔モデルのいくつかの、異なる
様相を示す図である。1行目(図16の(A),
(B),(C))には、いくつかの角度からの顔が示さ
れている。そこには、アルベドマップと測定されたBRDF
が、任意の角度から見た顔全体にわたる皮膚の外観とそ
のカラー変化をどのように取り込むかが示されている。
2行目(図17の(A),(B),(C))は、グレー
ジング角度での強い鏡面反射を含む、リムとサイドの照
明の効果を示している。なお、光源は、この行の3画像
のいずれも、同じ強度であり、顔から同じ距離に置かれ
ている。反射率の方向変化は、親しみのある照明効果が
レンダリングに現れることに貢献している。3行目(図
18の(A),(B),(C))では、表情の変形が顔
に加えられても、顔は通常の表情の動きでは自然のよう
に見えることを示している。
従ってアルベドマップを作成するための方法のステップ
を記載しているフローチャートである。この方法は、適
切なハードウェア、ソフトウェア、ファームウェアまた
はこれらの組み合わせで実現することが可能である。こ
こで説明している実施形態では、この方法は、図11を
参照して説明してきたシステムと同じシステムで使用さ
れるものとして、ソフトウェアで実現されている。
めに使用できる1つまたは2つ以上の偏光光源が準備さ
れる。光源の例は上述した通りである。ここで説明して
いる実施形態では、光源は、被写体の顔反射率の鏡面反
射成分が抑止または除去されるように選択されている。
ステップ1702で、被写体の顔は光源で照射される。
ステップ1704で、被写体を回転させ、その間に一連
のデジタル写真または画像が取り込まれる。ステップ1
706で、テクスチャマップ内のピクセルごとに、面法
線、放射照度、視点方向およびテクスチャ空間内の座標
が計算される。この計算は公知のアルゴリズムを使用し
て行われる。ステップ1708で、画像のテクスチャ空
間内の特定ピクセルに対するランベルト反射率が計算さ
れる。これにより、ピクセルのアルベドが得られる。ス
テップ1712で、追加のピクセルがアルベドマップに
残っているかどうかが判断される。残っていれば、ステ
ップ1712で次のピクセルが得られ、ステップ170
8に戻る。追加のピクセルがアルベドマップに残ってい
なければ、ステップ1714で、追加のデジタル画像が
残っているかどうかが確かめられる。追加のデジタル画
像が残っていれば、ステップ1716で次のデジタル画
像が得られ、ステップ1706に戻る。追加のデジタル
画像が残っていなければ、ステップ1718で、各画像
の個別アルベドマップの加重平均が計算され、顔全体の
シングルアルベドマップが作成される。この加重平均処
理がどのように行われるかの具体例は、Marschner著
「コンピュータグラフィックスの逆レンダリング(Inver
se Rendering for Computer Graphics)」、PhD thesis,
Cornell University, August 1998に記載されている。
計算する方法のステップを記載しているフローチャート
である。この方法は、適切なハードウェア、ソフトウェ
ア、ファームウェアまたはこれらの組み合わせで実現す
ることが可能である。ここで説明している実施形態で
は、この方法はソフトウェアで実現されている。ステッ
プ1800で、あるピクセルが与えられているとき、そ
のピクセルが完全に可視であるかどうかが判断される。
ピクセルが完全に可視でなければ、ピクセルのアルベド
は計算されない(ステップ1804)。ピクセルが完全
に可視であれば、ステップ1802で、ピクセルが少な
くとも1つの光源で完全に照射されているかどうかが判
断される。ピクセルが少なくとも1つの光源で完全に照
射されていなければ、ピクセルのアルベドは計算されな
い(ステップ1804)。ピクセルが少なくとも1つの
光源で完全に照射されていれば、ステップ1806で、
ピクセルがいずれかの光源で部分的に照射されているか
どうかが判断される。そうであれば、そのピクセルにつ
いては、アルベドは計算されない。ピクセルがいずれか
の光源で部分的に照射されていなければ、ステップ18
08で、そのピクセルのアルベドと重みが計算される。
この重みは、あとで個別マップをまとめて、その平均を
とるとき使用される。従って、上述したように、アルベ
ドが計算されるのは、完全に可視であり、少なくとも1
つの光源で完全に照射され、いずれかの光源で部分的に
照射されていないピクセルについてだけである。このよ
うにすると、部分的に隠されているピクセルと全影また
は半影領域にあるピクセルは使用されることがない。
化する方法および表情変換のための方法を実現するため
のアプリケーションプログラムは当業者であれば、本明
細書の説明に基づいて、当業者であれば作成することが
可能であろう。
行可能な読取り実行可能な命令で作成すればよい。ま
た、上記アプリケーションプログラムを記憶しておく記
録媒体は、メモリ、ハードディスク、周知の携帯用記録
媒体に記憶すればよく、これらの記録媒体は1つまたは
2つ以上でもよい。たとえば、アプリケーションで使用
するデータ、たとえば、コードブックやトレーニング表
情を定義したデータ等はCDROMに記憶しておき、こ
れらのデータを使用するアプリケーションプログラムは
ハードディスクに記憶しておくというように異なる記録
媒体にアプリケーションプログラムとデータとを記憶さ
せてもよい。また、同一の記録媒体に記録させてもよい
こと勿論である。
するコンピュータは1台でもよいしアプリケーションプ
ログラムで規定した処理を複数台のコンピュータで分散
処理してもよい。また、アプリケーションプログラム
は、コンピュータ化されたCPUで実行してもよいし、
画像処理目的の単体プロセッサで実行してもよい。
にモデリングし、レンダリングするという高い基準を満
たしてから、人間の顔と同じように親しみのある画像が
信頼できる形で表示できるようにするという難題を解決
するシステムと方法が提供されている。このアプローチ
の考え方は、顔モデルが実際に現実の顔に似るように、
可能な限り測定を利用することにある。顔のジオメトリ
は、異なる顔に共通して統一した接続性と対応性をも
つ、変位でマッピングされた細分面で表されている。反
射率は、従来による人間の皮膚のBRDF測定から得られ、
その測定が新規な測定と併用されて、複数の視点(ビュ
ー)が拡散反射率を表す、単一の照明補正テクスチャマ
ップになるように結合されている。動きは、上述した動
き取り込み手法によって得られ、その動きが、改良され
た変形方法を使用して顔モデルに適用されることによっ
て、シェーディング面に適した動きが得られるようにし
ている。レンダリングのリアル感は、現実の顔のジオメ
トリ、動きおよび反射率を物理ベースのレンダラ (phys
ically-based renderer) で使用することによって大幅
に向上されている。
テップからとらえて本発明を説明してきたが、以上の説
明から理解されるように、請求項に明確化されている本
発明は、上述した具体的特徴または方法ステップに必ず
しも限定されるものではない。むしろ、具体的特徴およ
び方法ステップは、請求項に記載の発明を実現する、好
ましい実施形態として開示されたものである。
適している汎用コンピュータを示すブロック図である。
取り込むために利用できるシステムを示す構成図であ
る。
報を取り込むための例示方法を記載しているフローチャ
ートである。
換関数を示す説明図である。
すフローチャートである。
ある例示システムを示すブロック図である。
表情変換を示す例示カラープレートのコレクションを示
す図である。
位された細分面にマッピングするプロセスを示す図であ
る。
づけを行うために利用される例示制約を示す図である。
プを記載しているフローチャートである。
プを作るために採用できる例示システムを示す構成図で
ある。
影され、照明が補正された2つの写真の例示アルベドマ
ップを示す図である。
応する例示重み付け関数を示す図である。
ットに対する2つの完全アルベドマップを示す図であ
る。
のアルベドマップを示す図である。
る向きにレンダリングされた顔モデルのコレクションを
示す図である。
る向きにレンダリングされた顔モデルのコレクションを
示す図である。
る向きにレンダリングされた顔モデルのコレクションを
示す図である。
作成するための方法のステップを記載しているフローチ
ャートである。
のアルベドを計算するための方法のステップを記載して
いるフローチャートである。
Claims (46)
- 【請求項1】 顔画像処理方法であって、 照明で顔を照射し、 顔の構造を記述している構造データと、照明からの顔の
反射率特性を記述している反射率データとを同時に取り
込むことを特徴とする顔画像処理方法。 - 【請求項2】 請求項1に記載の方法において、前記照
射するステップでは複数の光源を使用することを含むこ
とを特徴とする方法。 - 【請求項3】 請求項2に記載の方法において、前記複
数の光源の1つは顔上にパターンを投影し、そのパター
ンから構造データを確認可能とすることを特徴とする方
法。 - 【請求項4】 請求項2に記載の方法において、前記複
数の光源の1つは赤外線光源であることを特徴とする方
法。 - 【請求項5】 請求項2に記載の方法において、前記複
数の光源のすべては赤外線光源であることを特徴とする
方法。 - 【請求項6】 請求項1に記載の方法において、前記照
射するステップでは複数の偏光光源を使用することを含
むことを特徴とする方法。 - 【請求項7】 請求項1に記載の方法において、前記照
射するステップでは、異なる周波数の光源で顔を照射す
ることを特徴とする方法。 - 【請求項8】 請求項1に記載の方法において、前記取
り込むステップでは、鏡面反射による反射光を抑止して
拡散成分反射データを取り込むポラライザを備えたカメ
ラを使用することを特徴とする方法。 - 【請求項9】 請求項8に記載の方法において、前記複
数の光源の1つは顔の上にパターンを投影し、そのパタ
ーンから構造データが確認可能としたことを特徴とする
方法。 - 【請求項10】 請求項9に記載の方法において、前記
1つの光源は赤外線光源であることを特徴とする方法。 - 【請求項11】 請求項1に記載の方法において、前記
照射するステップでは、複数のナローバンド光源で顔を
照射することを特徴とする方法。 - 【請求項12】 顔の鏡面反射抑止反射率特性が確認で
きるように選択された第1偏光光源で顔を照射し、 前記第1偏光光源で顔を照射している間に、その照射と
同時に、顔上にパターンを投影する第2構造化光源で顔
を照射し、 前記同時照射から鏡面反射抑止反射データと構造データ
の両方を取り込む、ことを特徴とする顔画像処理方法。 - 【請求項13】 請求項12に記載の方法において、前
記第1偏光光源および前記第2構造化光源は異なる周波
数の光を出力することを特徴とする方法。 - 【請求項14】 請求項12に記載の方法において、前
記第1偏光光源および前記第2構造化光源は赤外線光を
出力することを特徴とする方法。 - 【請求項15】 請求項12に記載の方法において、さ
らに、取り込まれたデータを処理し、(a) 顔の次元様相
を記述しているデータと、(b) 顔の拡散反射率特性を記
述しているデータの両方を得ることを特徴とする方法。 - 【請求項16】 請求項15に記載の方法において、顔
の拡散反射率特性を記述しているデータは、アルベドマ
ップ (albedo map) を構成していることを特徴とする方
法。 - 【請求項17】 複数の異なる光源で顔を照射し、 前記照射からレンジマップデータを測定し、 該照射から画像データを測定し、 前記レンジマップデータから3次元面を導き出し、 前記3次元面に対する面法線を計算し、 前記面法線と前記画像データを処理してアルベドマップ
を導き出すことを特徴とする顔画像処理方法。 - 【請求項18】 請求項17に記載の方法において、複
数の前記光源の少なくとも1つは偏光されることを特徴
とする方法。 - 【請求項19】 請求項17に記載の方法において、複
数の前記光源のすべては偏光されることを特徴とする方
法。 - 【請求項20】 請求項17に記載の方法において、前
記レンジマップデータの測定のあとで、汎用顔テンプレ
ートを該レンジマップデータに適用し、レンジマップデ
ータに関連するノイズを除去することを特徴とする方
法。 - 【請求項21】 請求項17に記載の方法において、前
記3次元面を導き出すことに先立って、前記レンジマッ
プデータをフィルタリングすることを特徴とする方法。 - 【請求項22】 顔を同時に照射することによって生成
されたレンジマップデータと画像データを受信し、 前記レンジマップデータから3次元面を導き出し、 前記3次元面に対する面法線を計算し、 前記面法線と画像データを処理してアルベドマップを導
き出すことを特徴とする顔画像処理方法。 - 【請求項23】 コンピュータによって実行されたと
き、請求項22に記載の方法を実現するコンピュータ読
取可能命令を格納したことを特徴とする1つまたは2つ
以上のコンピュータ読取可能媒体。 - 【請求項24】 被写体の顔を照射するために、同時に
複数の異なる光源を提供する顔照明システムと、 該顔照明システムによって照射されたとき被写体の顔か
ら構造データと反射率データの両方を取り込むデータ取
り込みシステムと、 を備えたことを特徴とする顔画像処理システム。 - 【請求項25】 請求項24に記載のシステムにおい
て、前記照明システムは少なくとも1つの偏光光源を含
むことを特徴とするシステム。 - 【請求項26】 請求項24に記載の方法において、前
記照明システムは複数の偏光光源を含むことを特徴とす
るシステム。 - 【請求項27】 請求項24に記載のシステムにおい
て、前記照明システムは、被写体の顔上にパターンを投
影するパターン化光源を含むことを特徴とするシステ
ム。 - 【請求項28】 請求項27に記載のシステムにおい
て、前記パターン化光源は赤外線光源を含むことを特徴
とするシステム。 - 【請求項29】 請求項24に記載の方法において、前
記複数の異なる光源はすべてが赤外線光源であることを
特徴とするシステム。 - 【請求項30】 請求項24に記載のシステムにおい
て、前記複数の異なる光源は少なくとも1つが赤外線光
源であることを特徴とするシステム。 - 【請求項31】 請求項24に記載のシステムにおい
て、前記複数の異なる光源は、ナローバンド光源を含む
ように選択されることを特徴とするシステム。 - 【請求項32】 その1つは、被写体の顔上に投影可能
である構造化光を出力し、他の1つは、被写体の顔から
の鏡面反射抑止の、拡散反射率データを確認することを
可能にする光を出力する複数の異なる光源と、 当該複数の異なる光源で被写体の顔を照射することよっ
て構造データと反射データを取り込むカメラと、 前記構造化データと反射データを処理し、被写体の顔の
鏡面反射抑止拡散反射率特性を記述しているアルベドマ
ップと、被写体の顔の次元様相を記述している次元デー
タを出力するコンピュータ化画像プロセッサとを備えた
ことを特徴とする顔画像処理システム。 - 【請求項33】 請求項32に記載のシステムにおい
て、前記コンピュータ化画像プロセッサは、 レンジマップデータを測定し、 前記レンジマップデータから3次元面を計算し、 前記3次元面に対する面法線を計算し、 面法線と反射率データからアルベドマップを導き出すこ
とを特徴とするシステム。 - 【請求項34】 請求項33に記載のシステムおいて、
前記コンピュータ化画像プロセッサは、前記3次元面を
導き出すことに先立って前記レンジマップデータをフィ
ルタリングすることを特徴とするシステム。 - 【請求項35】 請求項34に記載のシステムにおい
て、前記コンピュータ化画像プロセッサは、汎用顔テン
プレートをデータに適用することによって前記レンジマ
ップデータをフィルタリングすることを特徴とするシス
テム。 - 【請求項36】 鏡面反射を抑止するように選択された
1つまたは2つ以上の光源で被写体の頭部を照射し、 被写体の頭部が照射されている間に、被写体頭部周りの
複数の位置からデジタル画像を取り込み、 前記デジタル画像の各々についてアルベドマップを計算
し、 前記デジタル画像についての、計算されたアルベドマッ
プの1つまたは2つ以上を結合して、被写体頭部のシン
グルアルベドマップを得ることを特徴とする顔画像処理
方法。 - 【請求項37】 請求項36に記載の顔画像処理方法に
おいて、前記光源は偏光された光を出力することを特徴
とする顔画像処理方法。 - 【請求項38】 請求項37に記載の顔画像処理方法に
おいて、前記取り込みのステップでは、鏡面反射を除去
するポラライザを備えたカメラを使用することを特徴と
する顔画像処理方法。 - 【請求項39】 請求項36に記載の顔画像処理方法に
おいて、前記取り込みのステップでは、個別アルベドマ
ップの重み付け平均を計算することを特徴とする顔画像
処理方法。 - 【請求項40】 請求項39に記載の顔画像処理方法に
おいて、前記重み付け平均の計算は、被写体の面に対し
てほぼ法線をなしている方向から表示および/または照
射されるピクセルに対して、より高い重みを付ける重み
付け関数を使用することを特徴とする顔画像処理方法。 - 【請求項41】 請求項36に記載の顔画像処理方法に
おいて、前記計算するステップでは、 テクスチャマップ内の各々のピクセルについて、 面法線を計算し、 放射照度を計算し、 視点方向を計算し、 画像空間内の座標を計算し、 ピクセルの1つまたは2つ以上についての、ランベルト
反射率 (Lambertian reflectance) を計算することを特
徴とする顔画像処理方法。 - 【請求項42】 請求項36に記載の顔画像処理方法に
おいて、前記計算するステップでは、特定ピクセルにつ
いてのアルベドの計算に先立って、そのピクセルが可視
であり、適切に照射されていることを確認することを特
徴とする顔画像処理方法。 - 【請求項43】 請求項42に記載の顔画像処理方法に
おいて、各ピクセルを異なる可視度と照明度をもつもの
として指定し、あるピクセルが完全に可視であって、少
なくとも1つの光源によって完全に照射され、どの光源
によっても部分的に照射されていない場合にだけ、その
ピクセルについてアルベドを計算することを特徴とする
顔画像処理方法。 - 【請求項44】 カメラと、 該カメラによって見られる被写体頭部の鏡面反射を抑止
するように選択された光を出力する複数の光源と、 前記カメラによって出力される被写体頭部の複数のデジ
タル画像を受信し、各画像についてアルベドを計算し、
画像のすべてについてアルベドマップを計算して、被写
体頭部のシングルアルベドマップを得る画像プロセッサ
とを備えたことを特徴とする顔画像処理システム。 - 【請求項45】 請求項44に記載の顔画像処理におい
て、前記画像プロセッサは、個別アルベドマップの重み
付け平均を計算することによってアルベドマップを結合
することを特徴とする顔画像処理システム。 - 【請求項46】 請求項45に記載の顔画像処理システ
ムにおいて、前記画像プロセッサは、被写体の面に対し
てほぼ法線をなしている方向から表示および/または照
射されるピクセルに対して、より高い重みを付ける重み
付け関数を使用することによって、個別アルベドマップ
の重み付け平均を計算することを特徴とする顔画像処理
方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/652,600 US6850872B1 (en) | 2000-08-30 | 2000-08-30 | Facial image processing methods and systems |
US09/652600 | 2000-08-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011126136A Division JP4932951B2 (ja) | 2000-08-30 | 2011-06-06 | 顔画像処理方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002133446A true JP2002133446A (ja) | 2002-05-10 |
JP2002133446A5 JP2002133446A5 (ja) | 2008-10-16 |
Family
ID=24617418
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001261559A Pending JP2002133446A (ja) | 2000-08-30 | 2001-08-30 | 顔画像処理方法およびシステム |
JP2011126136A Expired - Lifetime JP4932951B2 (ja) | 2000-08-30 | 2011-06-06 | 顔画像処理方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011126136A Expired - Lifetime JP4932951B2 (ja) | 2000-08-30 | 2011-06-06 | 顔画像処理方法およびシステム |
Country Status (2)
Country | Link |
---|---|
US (7) | US6850872B1 (ja) |
JP (2) | JP2002133446A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277748A (ja) * | 2005-03-29 | 2006-10-12 | Mitsubishi Electric Research Laboratories Inc | コンピュータにより実施される、顔の皮膚反射モデルを生成する方法 |
JP2009523288A (ja) * | 2006-01-10 | 2009-06-18 | ソニー株式会社 | 顔メッシュを使用して顔アニメーションを作成する技術 |
US7688363B2 (en) | 2006-05-29 | 2010-03-30 | Panasonic Corporation | Super-resolution device, super-resolution method, super-resolution program, and super-resolution system |
CN101923646A (zh) * | 2010-07-07 | 2010-12-22 | 周曦 | 一种基于分层矢量化的图像信息表达体系 |
EP2498204A1 (en) | 2011-03-08 | 2012-09-12 | Fujitsu Limited | Biometric-information processing device, method of processing biometric information, and computer-readable recording medium storing biometric-information processing program |
KR101250919B1 (ko) * | 2011-04-04 | 2013-04-04 | 주식회사 매크로그래프 | 얼굴 표면의 반사 속성 추정 방법 및 데이터 처리 장치 |
WO2013175595A1 (ja) * | 2012-05-23 | 2013-11-28 | パイオニア株式会社 | 三次元顔計測装置、制御方法、プログラム、及び記憶媒体 |
US9858490B2 (en) | 2011-12-15 | 2018-01-02 | Fujitsu Limited | Vein authentication method, image processing method, and vein authentication device |
JP2018036734A (ja) * | 2016-08-29 | 2018-03-08 | 日本放送協会 | 表情変化検出装置及びプログラム |
WO2019117001A1 (ja) * | 2017-12-11 | 2019-06-20 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN111340917A (zh) * | 2020-02-11 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 三维动画生成方法、装置、存储介质和计算机设备 |
Families Citing this family (187)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6941274B1 (en) | 1997-11-28 | 2005-09-06 | Diebold, Incorporated | Automated transaction machine |
US6850872B1 (en) * | 2000-08-30 | 2005-02-01 | Microsoft Corporation | Facial image processing methods and systems |
US9400921B2 (en) * | 2001-05-09 | 2016-07-26 | Intel Corporation | Method and system using a data-driven model for monocular face tracking |
EP1258837A1 (en) * | 2001-05-14 | 2002-11-20 | Thomson Licensing S.A. | Method to generate mutual photometric effects |
US20040070565A1 (en) * | 2001-12-05 | 2004-04-15 | Nayar Shree K | Method and apparatus for displaying images |
JP2003208601A (ja) * | 2002-01-15 | 2003-07-25 | Nec Corp | 3次元物体撮影装置、3次元形状モデル生成装置、3次元形状モデル生成方法、3次元形状モデル生成プログラム |
JP3829729B2 (ja) * | 2002-02-14 | 2006-10-04 | オムロン株式会社 | 個人認証装置 |
US10469831B2 (en) * | 2002-06-07 | 2019-11-05 | University Of Southern California | Near-instant capture of high-resolution facial geometry and reflectance |
US8264490B2 (en) * | 2008-01-31 | 2012-09-11 | University Of Southern California | Practical modeling and acquisition of layered facial reflectance |
JP2004239886A (ja) * | 2002-12-11 | 2004-08-26 | Fuji Xerox Co Ltd | 三次元画像撮像装置および方法 |
US7227977B1 (en) * | 2003-01-10 | 2007-06-05 | L-I Identity Solutions, Inc. | Lighting correction for the outdoor environment with extension to the self adjusting algorithm for general lighting conditions |
US7663640B2 (en) * | 2003-07-02 | 2010-02-16 | The Trustees Of Columbia University In The City Of New York | Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties |
US7218774B2 (en) * | 2003-08-08 | 2007-05-15 | Microsoft Corp. | System and method for modeling three dimensional objects from a single image |
US7871610B2 (en) * | 2003-08-12 | 2011-01-18 | Dyax Corp. | Antibodies to Tie1 ectodomain |
US7440877B2 (en) * | 2004-03-12 | 2008-10-21 | General Motors Corporation | System and method for morphable model design space definition |
US9819403B2 (en) | 2004-04-02 | 2017-11-14 | Rearden, Llc | System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client |
US9826537B2 (en) | 2004-04-02 | 2017-11-21 | Rearden, Llc | System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters |
US10277290B2 (en) | 2004-04-02 | 2019-04-30 | Rearden, Llc | Systems and methods to exploit areas of coherence in wireless systems |
US8654815B1 (en) | 2004-04-02 | 2014-02-18 | Rearden, Llc | System and method for distributed antenna wireless communications |
US10425134B2 (en) | 2004-04-02 | 2019-09-24 | Rearden, Llc | System and methods for planned evolution and obsolescence of multiuser spectrum |
WO2006031731A2 (en) * | 2004-09-15 | 2006-03-23 | Rearden, Inc. | Apparatus and method for capturing the expression of a performer |
US20060055706A1 (en) * | 2004-09-15 | 2006-03-16 | Perlman Stephen G | Apparatus and method for capturing the motion of a performer |
US8194093B2 (en) * | 2004-09-15 | 2012-06-05 | Onlive, Inc. | Apparatus and method for capturing the expression of a performer |
WO2006047488A2 (en) * | 2004-10-25 | 2006-05-04 | The Trustees Of Columbia University In The City Of New York | Systems and methods for displaying three-dimensional images |
US20060088225A1 (en) * | 2004-10-26 | 2006-04-27 | The Secretary Of State For The Home Department | Comparison |
US8050512B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US8050511B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
KR100603603B1 (ko) * | 2004-12-07 | 2006-07-24 | 한국전자통신연구원 | 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법 |
US7633521B2 (en) * | 2005-02-25 | 2009-12-15 | Onlive, Inc. | Apparatus and method improving marker identification within a motion capture system |
US7605861B2 (en) * | 2005-03-10 | 2009-10-20 | Onlive, Inc. | Apparatus and method for performing motion capture using shutter synchronization |
GB2438783B8 (en) | 2005-03-16 | 2011-12-28 | Lucasfilm Entertainment Co Ltd | Three-dimensional motion capture |
WO2007029446A1 (ja) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置及び画像処理プログラム |
US7599527B2 (en) * | 2005-09-28 | 2009-10-06 | Facedouble, Inc. | Digital image search system and method |
US8600174B2 (en) * | 2005-09-28 | 2013-12-03 | Facedouble, Inc. | Method and system for attaching a metatag to a digital image |
US8369570B2 (en) | 2005-09-28 | 2013-02-05 | Facedouble, Inc. | Method and system for tagging an image of an individual in a plurality of photos |
US8311294B2 (en) | 2009-09-08 | 2012-11-13 | Facedouble, Inc. | Image classification and information retrieval over wireless digital networks and the internet |
US7587070B2 (en) * | 2005-09-28 | 2009-09-08 | Facedouble, Inc. | Image classification and information retrieval over wireless digital networks and the internet |
US7450740B2 (en) | 2005-09-28 | 2008-11-11 | Facedouble, Inc. | Image classification and information retrieval over wireless digital networks and the internet |
US8659668B2 (en) * | 2005-10-07 | 2014-02-25 | Rearden, Llc | Apparatus and method for performing motion capture using a random pattern on capture surfaces |
US7755619B2 (en) * | 2005-10-13 | 2010-07-13 | Microsoft Corporation | Automatic 3D face-modeling from video |
GB0608841D0 (en) | 2006-05-04 | 2006-06-14 | Isis Innovation | Scanner system and method for scanning |
US7667767B2 (en) * | 2006-06-07 | 2010-02-23 | Onlive, Inc. | System and method for three dimensional capture of stop-motion animated characters |
US7567293B2 (en) * | 2006-06-07 | 2009-07-28 | Onlive, Inc. | System and method for performing motion capture by strobing a fluorescent lamp |
US7548272B2 (en) * | 2006-06-07 | 2009-06-16 | Onlive, Inc. | System and method for performing motion capture using phosphor application techniques |
EP2050075A4 (en) * | 2006-07-18 | 2011-07-20 | Univ Pennsylvania | METHOD FOR SEPARATING AND INCREASING CONTRASTS OF OVERLAPPED SHADOW COMPONENTS AND METHOD FOR DETECTING TARGETS IN THE SHADOW USING POLARIZATION |
US20100231692A1 (en) * | 2006-07-31 | 2010-09-16 | Onlive, Inc. | System and method for performing motion capture and image reconstruction with transparent makeup |
US20080213253A1 (en) * | 2007-01-12 | 2008-09-04 | Dyax Corp. | Combination therapy for the treatment of cancer |
US8542236B2 (en) * | 2007-01-16 | 2013-09-24 | Lucasfilm Entertainment Company Ltd. | Generating animation libraries |
US8199152B2 (en) * | 2007-01-16 | 2012-06-12 | Lucasfilm Entertainment Company Ltd. | Combining multiple session content for animation libraries |
US8130225B2 (en) | 2007-01-16 | 2012-03-06 | Lucasfilm Entertainment Company Ltd. | Using animation libraries for object identification |
WO2008130907A1 (en) * | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to identify individuals |
US20080270425A1 (en) * | 2007-04-27 | 2008-10-30 | James Cotgreave | System and method for connecting individuals in a social networking environment based on facial recognition software |
GB2452944B8 (en) * | 2007-09-19 | 2016-09-14 | Toshiba Res Europ Ltd | An imaging system and method |
US8064724B2 (en) * | 2007-10-25 | 2011-11-22 | Hewlett-Packard Development Company, L.P. | Apparatus, and associated method, for displaying data using data painting of an asymmetrical facial image |
US8144153B1 (en) | 2007-11-20 | 2012-03-27 | Lucasfilm Entertainment Company Ltd. | Model production for animation libraries |
JP2009136551A (ja) * | 2007-12-07 | 2009-06-25 | Denso Corp | 車両用顔特徴量検出装置及び顔特徴量検出方法 |
KR100940862B1 (ko) * | 2007-12-17 | 2010-02-09 | 한국전자통신연구원 | 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법 |
US20090233649A1 (en) * | 2008-03-12 | 2009-09-17 | Sony Ericsson Mobile Communications Ab | Three-dimensional user interface and a method for controlling it |
US8180167B2 (en) * | 2008-07-16 | 2012-05-15 | Seiko Epson Corporation | Model-based error resilience in data communication |
US8131063B2 (en) * | 2008-07-16 | 2012-03-06 | Seiko Epson Corporation | Model-based object image processing |
US9189886B2 (en) | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
US8704832B2 (en) | 2008-09-20 | 2014-04-22 | Mixamo, Inc. | Interactive design, synthesis and delivery of 3D character motion data through the web |
GB2464453B8 (en) * | 2008-10-10 | 2016-09-14 | Toshiba Res Europ Ltd | An imaging system and method |
GB0819069D0 (en) | 2008-10-17 | 2008-11-26 | Forensic Science Service Ltd | Improvements in and relating to methods and apparatus for comparison |
KR101527408B1 (ko) * | 2008-11-04 | 2015-06-17 | 삼성전자주식회사 | 얼굴 표정 검출 방법 및 시스템 |
US8982122B2 (en) | 2008-11-24 | 2015-03-17 | Mixamo, Inc. | Real time concurrent design of shape, texture, and motion for 3D character animation |
US8659596B2 (en) | 2008-11-24 | 2014-02-25 | Mixamo, Inc. | Real time generation of animation-ready 3D character models |
US8581911B2 (en) * | 2008-12-04 | 2013-11-12 | Intific, Inc. | Training system and methods for dynamically injecting expression information into an animated facial mesh |
US8194097B2 (en) * | 2008-12-12 | 2012-06-05 | Seiko Epson Corporation | Virtual masking using rigid parametric modeling |
US9142024B2 (en) | 2008-12-31 | 2015-09-22 | Lucasfilm Entertainment Company Ltd. | Visual and physical motion sensing for three-dimensional motion capture |
KR20100084718A (ko) * | 2009-01-19 | 2010-07-28 | 삼성전자주식회사 | 3차원 이미지를 생성하는 휴대 단말기 |
US20100259547A1 (en) | 2009-02-12 | 2010-10-14 | Mixamo, Inc. | Web platform for interactive design, synthesis and delivery of 3d character motion data |
US8204301B2 (en) * | 2009-02-25 | 2012-06-19 | Seiko Epson Corporation | Iterative data reweighting for balanced model learning |
US8208717B2 (en) * | 2009-02-25 | 2012-06-26 | Seiko Epson Corporation | Combining subcomponent models for object image modeling |
US8260039B2 (en) * | 2009-02-25 | 2012-09-04 | Seiko Epson Corporation | Object model fitting using manifold constraints |
US8260038B2 (en) * | 2009-02-25 | 2012-09-04 | Seiko Epson Corporation | Subdivision weighting for robust object model fitting |
US8294713B1 (en) * | 2009-03-23 | 2012-10-23 | Adobe Systems Incorporated | Method and apparatus for illuminating objects in 3-D computer graphics |
US8803950B2 (en) * | 2009-08-24 | 2014-08-12 | Samsung Electronics Co., Ltd. | Three-dimensional face capturing apparatus and method and computer-readable medium thereof |
CN101996416B (zh) * | 2009-08-24 | 2015-05-20 | 三星电子株式会社 | 3d人脸捕获方法和设备 |
US8315461B2 (en) * | 2010-01-25 | 2012-11-20 | Apple Inc. | Light source detection from synthesized objects |
US20120028707A1 (en) * | 2010-02-24 | 2012-02-02 | Valve Corporation | Game animations with multi-dimensional video game data |
US8928672B2 (en) | 2010-04-28 | 2015-01-06 | Mixamo, Inc. | Real-time automatic concatenation of 3D animation sequences |
US8665286B2 (en) * | 2010-08-12 | 2014-03-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Composition of digital images for perceptibility thereof |
KR101681538B1 (ko) * | 2010-10-20 | 2016-12-01 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US9082222B2 (en) * | 2011-01-18 | 2015-07-14 | Disney Enterprises, Inc. | Physical face cloning |
US9536312B2 (en) * | 2011-05-16 | 2017-01-03 | Microsoft Corporation | Depth reconstruction using plural depth capture units |
US9710788B2 (en) | 2011-07-05 | 2017-07-18 | Saudi Arabian Oil Company | Computer mouse system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
US9492120B2 (en) | 2011-07-05 | 2016-11-15 | Saudi Arabian Oil Company | Workstation for monitoring and improving health and productivity of employees |
CA2957705C (en) | 2011-07-05 | 2020-11-10 | Saudi Arabian Oil Company | Floor mat system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
US10307104B2 (en) | 2011-07-05 | 2019-06-04 | Saudi Arabian Oil Company | Chair pad system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
US9844344B2 (en) | 2011-07-05 | 2017-12-19 | Saudi Arabian Oil Company | Systems and method to monitor health of employee when positioned in association with a workstation |
US10108783B2 (en) | 2011-07-05 | 2018-10-23 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices |
US9615746B2 (en) | 2011-07-05 | 2017-04-11 | Saudi Arabian Oil Company | Floor mat system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
US10049482B2 (en) | 2011-07-22 | 2018-08-14 | Adobe Systems Incorporated | Systems and methods for animation recommendations |
US9574444B2 (en) | 2011-09-30 | 2017-02-21 | Tesman Inc. | Systems and methods for motion capture in an underground environment |
US9123144B2 (en) * | 2011-11-11 | 2015-09-01 | Microsoft Technology Licensing, Llc | Computing 3D shape parameters for face animation |
US10748325B2 (en) | 2011-11-17 | 2020-08-18 | Adobe Inc. | System and method for automatic rigging of three dimensional characters for facial animation |
WO2013074926A1 (en) | 2011-11-18 | 2013-05-23 | Lucasfilm Entertainment Company Ltd. | Path and speed based character control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US20130215113A1 (en) * | 2012-02-21 | 2013-08-22 | Mixamo, Inc. | Systems and methods for animating the faces of 3d characters using images of human faces |
US9747495B2 (en) | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
US9141868B2 (en) * | 2012-06-26 | 2015-09-22 | Xerox Corporation | Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources |
US20140028861A1 (en) * | 2012-07-26 | 2014-01-30 | David Holz | Object detection and tracking |
US9531961B2 (en) | 2015-05-01 | 2016-12-27 | Duelight Llc | Systems and methods for generating a digital image using separate color and intensity data |
US9918017B2 (en) | 2012-09-04 | 2018-03-13 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
EP2904584B1 (en) * | 2012-10-05 | 2017-08-09 | Universidade De Coimbra | Method for aligning and tracking point regions in images with radial distortion that outputs motion model parameters, distortion calibration, and variation in zoom |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
US11189917B2 (en) | 2014-04-16 | 2021-11-30 | Rearden, Llc | Systems and methods for distributing radioheads |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
US9819849B1 (en) | 2016-07-01 | 2017-11-14 | Duelight Llc | Systems and methods for capturing digital images |
US9807322B2 (en) | 2013-03-15 | 2017-10-31 | Duelight Llc | Systems and methods for a digital image sensor |
US9923657B2 (en) | 2013-03-12 | 2018-03-20 | Rearden, Llc | Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology |
US9973246B2 (en) | 2013-03-12 | 2018-05-15 | Rearden, Llc | Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology |
US10488535B2 (en) | 2013-03-12 | 2019-11-26 | Rearden, Llc | Apparatus and method for capturing still images and video using diffraction coded imaging techniques |
RU2767777C2 (ru) | 2013-03-15 | 2022-03-21 | Риарден, Ллк | Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом |
US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
US20140307055A1 (en) | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US8958608B2 (en) | 2013-06-04 | 2015-02-17 | Ut-Battelle, Llc | Frontal view reconstruction for iris recognition |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US10098545B2 (en) * | 2013-10-23 | 2018-10-16 | Maxell Holdings, Ltd. | Lens information management system for surface condition measurement and analysis and information management method for surface condition measurement and analysis |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
KR101502143B1 (ko) * | 2013-11-04 | 2015-03-12 | 주식회사 에스원 | 이미지 변환 방법 및 그 장치 |
US9722472B2 (en) | 2013-12-11 | 2017-08-01 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for harvesting human energy in the workplace |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
US10417824B2 (en) | 2014-03-25 | 2019-09-17 | Apple Inc. | Method and system for representing a virtual object in a view of a real environment |
KR102276711B1 (ko) * | 2014-03-31 | 2021-07-13 | 가부시키가이샤 유야마 세이사쿠쇼 | 약제 촬영 장치 |
CN110363840A (zh) | 2014-05-13 | 2019-10-22 | 河谷控股Ip有限责任公司 | 通过反照率模型、***和方法的增强现实内容渲染 |
US9269159B2 (en) * | 2014-06-05 | 2016-02-23 | Promethean Limited | Systems and methods for tracking object association over time |
US9524418B2 (en) | 2014-06-05 | 2016-12-20 | Promethean Limited | Systems and methods for detecting, identifying and tracking objects and events over time |
CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
DE102014019671B4 (de) * | 2014-12-30 | 2017-09-14 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mittels 2D-Kamera |
US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
CN111982023B (zh) * | 2014-12-15 | 2022-06-14 | 索尼公司 | 图像捕捉装置组件、三维形状测量装置和运动检测装置 |
US9958383B2 (en) * | 2014-12-18 | 2018-05-01 | Microsoft Technology Licensing, Llc. | Range camera |
US10521649B2 (en) * | 2015-02-16 | 2019-12-31 | University Of Surrey | Three dimensional modelling |
US9953428B2 (en) | 2015-03-03 | 2018-04-24 | Microsoft Technology Licensing, Llc | Digital camera unit with simultaneous structured and unstructured illumination |
US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
WO2016154557A1 (en) | 2015-03-26 | 2016-09-29 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
US10504239B2 (en) | 2015-04-13 | 2019-12-10 | Universidade De Coimbra | Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination |
US9811729B2 (en) | 2015-05-12 | 2017-11-07 | Ut-Battelle, Llc | Iris recognition via plenoptic imaging |
US9945948B2 (en) * | 2015-06-18 | 2018-04-17 | Nokia Technologies Oy | Method and apparatus for providing time-of-flight calculations using distributed light sources |
US10642955B2 (en) | 2015-12-04 | 2020-05-05 | Saudi Arabian Oil Company | Devices, methods, and computer medium to provide real time 3D visualization bio-feedback |
US10475351B2 (en) | 2015-12-04 | 2019-11-12 | Saudi Arabian Oil Company | Systems, computer medium and methods for management training systems |
US9889311B2 (en) | 2015-12-04 | 2018-02-13 | Saudi Arabian Oil Company | Systems, protective casings for smartphones, and associated methods to enhance use of an automated external defibrillator (AED) device |
US10628770B2 (en) | 2015-12-14 | 2020-04-21 | Saudi Arabian Oil Company | Systems and methods for acquiring and employing resiliency data for leadership development |
CN109643152B (zh) * | 2016-06-03 | 2020-03-13 | 脸谱科技有限责任公司 | 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画 |
EP3475920A4 (en) | 2016-06-23 | 2020-01-15 | Loomai, Inc. | SYSTEMS AND METHODS FOR GENERATING HUMAN HEAD COMPUTER-BASED ANIMATION MODELS FROM CAPTURED DATA IMAGES |
US10559111B2 (en) | 2016-06-23 | 2020-02-11 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
CN109792478B (zh) | 2016-09-01 | 2021-11-12 | 迪尤莱特公司 | 基于焦点目标信息调整焦点的装置和方法 |
US10771768B2 (en) | 2016-12-15 | 2020-09-08 | Qualcomm Incorporated | Systems and methods for improved depth sensing |
WO2018170181A1 (en) | 2017-03-14 | 2018-09-20 | Universidade De Coimbra | Systems and methods for 3d registration of curves and surfaces using local differential information |
US9814297B1 (en) | 2017-04-06 | 2017-11-14 | Newtonoid Technologies, L.L.C. | Cosmetic applicator |
US20190053608A1 (en) * | 2017-04-06 | 2019-02-21 | Newtonoid Technologies, L.L.C. | Cosmetic applicator |
US10535151B2 (en) | 2017-08-22 | 2020-01-14 | Microsoft Technology Licensing, Llc | Depth map with structured and flood light |
US20190068853A1 (en) * | 2017-08-22 | 2019-02-28 | Microsoft Technology Licensing, Llc | Structured light and flood fill light illuminator |
CN107730445B (zh) * | 2017-10-31 | 2022-02-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
US10824132B2 (en) | 2017-12-07 | 2020-11-03 | Saudi Arabian Oil Company | Intelligent personal protective equipment |
CN108272533B (zh) * | 2017-12-26 | 2019-12-17 | 中国科学院苏州生物医学工程技术研究所 | 皮肤创面区域的皮肤建模方法 |
ES2943138T3 (es) * | 2018-05-18 | 2023-06-09 | Dental Imaging Technologies Corp | Escáner 3D dental con coincidencia de tonos basada en angulares |
US10789784B2 (en) * | 2018-05-23 | 2020-09-29 | Asustek Computer Inc. | Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation |
US10785422B2 (en) | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
US10198845B1 (en) | 2018-05-29 | 2019-02-05 | LoomAi, Inc. | Methods and systems for animating facial expressions |
EP3824621A4 (en) | 2018-07-19 | 2022-04-27 | Activ Surgical, Inc. | SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS |
RU2697627C1 (ru) | 2018-08-01 | 2019-08-15 | Самсунг Электроникс Ко., Лтд. | Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ |
US11245875B2 (en) | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
CN109919876B (zh) * | 2019-03-11 | 2020-09-01 | 四川川大智胜软件股份有限公司 | 一种三维真脸建模方法及三维真脸照相*** |
KR20220021920A (ko) | 2019-04-08 | 2022-02-22 | 액티브 서지컬, 인크. | 의료 이미징을 위한 시스템 및 방법 |
CN112235635B (zh) * | 2019-07-15 | 2023-03-21 | 腾讯科技(北京)有限公司 | 动画显示方法、装置、电子设备及存储介质 |
US11551393B2 (en) | 2019-07-23 | 2023-01-10 | LoomAi, Inc. | Systems and methods for animation generation |
WO2021035094A1 (en) | 2019-08-21 | 2021-02-25 | Activ Surgical, Inc. | Systems and methods for medical imaging |
CN111583355B (zh) | 2020-05-09 | 2024-01-23 | 维沃移动通信有限公司 | 面部形象生成方法、装置、电子设备及可读存储介质 |
KR102180576B1 (ko) | 2020-05-18 | 2020-11-18 | 주식회사 일루니 | 사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치 |
US11450077B2 (en) | 2020-11-20 | 2022-09-20 | Nvidia Corporation | Appearance-driven automatic three-dimensional modeling |
US20240029331A1 (en) * | 2022-07-22 | 2024-01-25 | Meta Platforms Technologies, Llc | Expression transfer to stylized avatars |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63284683A (ja) * | 1987-04-30 | 1988-11-21 | エルビーピー、パートナーシツプ | 三次元表面形状を表現するためのデータ形成装置 |
JPH05223547A (ja) * | 1992-02-13 | 1993-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 三次元物体データの姿勢制御装置 |
JPH0791929A (ja) * | 1993-09-20 | 1995-04-07 | Mitsubishi Heavy Ind Ltd | テレビカメラによる3次元形状計測装置 |
JPH07306023A (ja) * | 1994-05-10 | 1995-11-21 | Shigeki Kobayashi | 形状計測装置、検査装置及び製品製造方法 |
JPH10124680A (ja) * | 1996-10-16 | 1998-05-15 | Atr Ningen Joho Tsushin Kenkyusho:Kk | イメージ生成装置およびイメージ生成方法 |
JPH11326057A (ja) * | 1998-05-20 | 1999-11-26 | Kao Corp | 三次元物体の計測方法及び装置 |
JP2000090233A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | 画像処理装置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3438689A (en) * | 1967-01-24 | 1969-04-15 | Eastman Kodak Co | Zoom telescopic finder |
JPS5297543U (ja) * | 1976-01-20 | 1977-07-22 | ||
US4634236A (en) * | 1980-06-12 | 1987-01-06 | Minolta Camera Kabushiki Kaisha | Compact zoom lens system of a relatively high zoom ratio capable of providing a wide field angle |
US5003166A (en) | 1989-11-07 | 1991-03-26 | Massachusetts Institute Of Technology | Multidimensional range mapping with pattern projection and cross correlation |
US4965442A (en) | 1989-11-07 | 1990-10-23 | Massachusetts Institute Of Technology | System for ascertaining direction of blur in a range-from-defocus camera |
US5576892A (en) * | 1989-12-29 | 1996-11-19 | Asahi Kogaku Kogyo Kabushiki Kaisha | Variable power optical system |
CA2133825C (en) * | 1992-04-13 | 2002-12-31 | Alan Benn | Image analysis for meat |
TW259846B (ja) * | 1992-09-11 | 1995-10-11 | Canon Kk | |
US6847740B1 (en) * | 1993-11-10 | 2005-01-25 | Gebhard Birkle | Method for the optical detection of objects, whose surfaces can reflect or scatter light and which have self-affine, or self-similar, or fractal patterns or structures |
ATE192275T1 (de) * | 1993-12-03 | 2000-05-15 | Terumo Corp | Stereoskopisches bildanzeigesystem |
US5631976A (en) * | 1994-04-29 | 1997-05-20 | International Business Machines Corporation | Object imaging system |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US6400835B1 (en) | 1996-05-15 | 2002-06-04 | Jerome H. Lemelson | Taillight mounted vehicle security system employing facial recognition using a reflected image |
US6173068B1 (en) | 1996-07-29 | 2001-01-09 | Mikos, Ltd. | Method and apparatus for recognizing and classifying individuals based on minutiae |
GB9626825D0 (en) | 1996-12-24 | 1997-02-12 | Crampton Stephen J | Avatar kiosk |
DE29704462U1 (de) * | 1997-03-12 | 1997-05-07 | Hensoldt AG, 35576 Wetzlar | Pankratisches System |
US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
CA2259900A1 (en) * | 1999-01-22 | 2000-07-22 | Art Aerospace Research Technologies Inc. | Depth discrimination |
US7015950B1 (en) | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
US6341878B1 (en) * | 1999-08-31 | 2002-01-29 | Cognex Corporation | Method and apparatus for providing uniform diffuse illumination to a surface |
US6775397B1 (en) | 2000-02-24 | 2004-08-10 | Nokia Corporation | Method and apparatus for user recognition using CCD cameras |
US6593925B1 (en) * | 2000-06-22 | 2003-07-15 | Microsoft Corporation | Parameterized animation compression methods and arrangements |
US7110570B1 (en) | 2000-07-21 | 2006-09-19 | Trw Inc. | Application of human facial features recognition to automobile security and convenience |
US6850872B1 (en) * | 2000-08-30 | 2005-02-01 | Microsoft Corporation | Facial image processing methods and systems |
JP3927866B2 (ja) * | 2002-06-04 | 2007-06-13 | キヤノン株式会社 | ズームレンズおよび撮影装置 |
-
2000
- 2000-08-30 US US09/652,600 patent/US6850872B1/en not_active Expired - Lifetime
-
2001
- 2001-08-30 JP JP2001261559A patent/JP2002133446A/ja active Pending
-
2004
- 2004-04-30 US US10/837,424 patent/US7124066B2/en not_active Expired - Lifetime
- 2004-04-30 US US10/836,281 patent/US7356447B2/en not_active Expired - Lifetime
- 2004-05-14 US US10/846,308 patent/US7492927B2/en not_active Expired - Lifetime
- 2004-11-02 US US10/980,073 patent/US7363201B2/en not_active Expired - Lifetime
-
2005
- 2005-09-01 US US11/217,540 patent/US7152024B2/en not_active Expired - Lifetime
- 2005-09-01 US US11/218,164 patent/US7433807B2/en not_active Expired - Lifetime
-
2011
- 2011-06-06 JP JP2011126136A patent/JP4932951B2/ja not_active Expired - Lifetime
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63284683A (ja) * | 1987-04-30 | 1988-11-21 | エルビーピー、パートナーシツプ | 三次元表面形状を表現するためのデータ形成装置 |
JPH05223547A (ja) * | 1992-02-13 | 1993-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 三次元物体データの姿勢制御装置 |
JPH0791929A (ja) * | 1993-09-20 | 1995-04-07 | Mitsubishi Heavy Ind Ltd | テレビカメラによる3次元形状計測装置 |
JPH07306023A (ja) * | 1994-05-10 | 1995-11-21 | Shigeki Kobayashi | 形状計測装置、検査装置及び製品製造方法 |
JPH10124680A (ja) * | 1996-10-16 | 1998-05-15 | Atr Ningen Joho Tsushin Kenkyusho:Kk | イメージ生成装置およびイメージ生成方法 |
JPH11326057A (ja) * | 1998-05-20 | 1999-11-26 | Kao Corp | 三次元物体の計測方法及び装置 |
JP2000090233A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | 画像処理装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277748A (ja) * | 2005-03-29 | 2006-10-12 | Mitsubishi Electric Research Laboratories Inc | コンピュータにより実施される、顔の皮膚反射モデルを生成する方法 |
JP2009523288A (ja) * | 2006-01-10 | 2009-06-18 | ソニー株式会社 | 顔メッシュを使用して顔アニメーションを作成する技術 |
JP4872135B2 (ja) * | 2006-01-10 | 2012-02-08 | ソニー株式会社 | 顔メッシュを使用して顔アニメーションを作成する技術 |
US7688363B2 (en) | 2006-05-29 | 2010-03-30 | Panasonic Corporation | Super-resolution device, super-resolution method, super-resolution program, and super-resolution system |
CN101923646A (zh) * | 2010-07-07 | 2010-12-22 | 周曦 | 一种基于分层矢量化的图像信息表达体系 |
US8787624B2 (en) | 2011-03-08 | 2014-07-22 | Fujitsu Limited | Biometric-information processing device, method of processing biometric information, and computer-readable recording medium storing biometric-information processing program |
EP2498204A1 (en) | 2011-03-08 | 2012-09-12 | Fujitsu Limited | Biometric-information processing device, method of processing biometric information, and computer-readable recording medium storing biometric-information processing program |
KR101250919B1 (ko) * | 2011-04-04 | 2013-04-04 | 주식회사 매크로그래프 | 얼굴 표면의 반사 속성 추정 방법 및 데이터 처리 장치 |
US9858490B2 (en) | 2011-12-15 | 2018-01-02 | Fujitsu Limited | Vein authentication method, image processing method, and vein authentication device |
WO2013175595A1 (ja) * | 2012-05-23 | 2013-11-28 | パイオニア株式会社 | 三次元顔計測装置、制御方法、プログラム、及び記憶媒体 |
JP2018036734A (ja) * | 2016-08-29 | 2018-03-08 | 日本放送協会 | 表情変化検出装置及びプログラム |
WO2019117001A1 (ja) * | 2017-12-11 | 2019-06-20 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP2019105908A (ja) * | 2017-12-11 | 2019-06-27 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN111340917A (zh) * | 2020-02-11 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 三维动画生成方法、装置、存储介质和计算机设备 |
CN111340917B (zh) * | 2020-02-11 | 2023-02-28 | 腾讯科技(深圳)有限公司 | 三维动画生成方法、装置、存储介质和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
US7492927B2 (en) | 2009-02-17 |
US7124066B2 (en) | 2006-10-17 |
US7433807B2 (en) | 2008-10-07 |
US20060013449A1 (en) | 2006-01-19 |
US7152024B2 (en) | 2006-12-19 |
US20040201586A1 (en) | 2004-10-14 |
US20040204927A1 (en) | 2004-10-14 |
US20060015308A1 (en) | 2006-01-19 |
US7356447B2 (en) | 2008-04-08 |
JP2011170891A (ja) | 2011-09-01 |
US20050089199A1 (en) | 2005-04-28 |
JP4932951B2 (ja) | 2012-05-16 |
US7363201B2 (en) | 2008-04-22 |
US6850872B1 (en) | 2005-02-01 |
US20040210427A1 (en) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4733318B2 (ja) | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム | |
JP4932951B2 (ja) | 顔画像処理方法およびシステム | |
US11694392B2 (en) | Environment synthesis for lighting an object | |
JP6246757B2 (ja) | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム | |
US9552668B2 (en) | Generation of a three-dimensional representation of a user | |
US7200281B2 (en) | System and method for image-based surface detail transfer | |
Pighin et al. | Modeling and animating realistic faces from images | |
Marschner et al. | Modeling and rendering for realistic facial animation | |
Seitz et al. | Plenoptic image editing | |
CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
Fechteler et al. | Markerless multiview motion capture with 3D shape model adaptation | |
Hülsken et al. | Modeling and animating virtual humans for real-time applications | |
Kang | A structure from motion approach using constrained deformable models and appearance prediction | |
Lewis | Siggraph 2005 course notes-Digital Face Cloning Audience Perception of Clone Realism | |
Ahmed | High quality dynamic reflectance and surface reconstruction from video | |
Sousa et al. | An Advanced Color Representation for Lossy | |
Duce et al. | A Formal Specification of a Graphics System in the | |
Wu | From dense photometric stereo to interactive three-dimensional markup | |
Fei | Expressive textures: synthetic and video avatars |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080901 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080901 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090901 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110606 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110614 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20110708 |