JP5468047B2 - デジタル顔モデルのアニメーション化のためのシステム及び方法 - Google Patents

Description

〔関連出願〕
本出願は、米国特許法第１１９条（ｅ）項に基づき、２００３年３月１３日に出願された、米国仮特許出願番号６０／４５４，８７１号、発明の名称「表情処理システム(Performance Facial System）」に対する優先権を主張する。

本発明は、３次元図形及びアニメーションに関し、詳しくは、人体解剖学から得られた生体力学的な制約条件に基づいてデジタル顔モデルをアニメーション化するシステム及び方法に関する。

映画及びテレビゲームの制作現場では、シーン内の登場人物（キャラクタ）のデジタル表現を作成するために、コンピュータグラフィクス（computer graphics：以下、ＣＧという。）アニメーションが多く用いられている。一般的なＣＧアニメーションシステムでは、コンピュータソフトウェアツールを用いて、仮想オブジェクトを作成し、レンダリングしている。オブジェクトを変更し、一連の個々のフレームを作成し、これらを映画又はビデオファイルの形式で連続的に表示することによって、オブジェクトが動いているように見せることができる。オブジェクトが１つの形式から他の形式に遷移するＣＧアニメーションを作成する際、グラフィクスアーチストは、通常、全てのフレームについてオブジェクトを変更するわけではない。これに代えて、グラフィクスアーチストは、キーフレーム技術として知られる処理を用いて、その間にオブジェクトのサイズ、方向、形状又は他の性質が変化する重要なフレーム（すなわち、キーフレーム）だけを作成し、コンピュータソフトウェアが、選択されたキーフレームの間で補間を行うことによって、遷移を形成する中間フレームを生成する。キーフレーミング技術は、ＣＧアニメーションの作成に必要ない時間を大幅に短縮できるという利点を有する。

キーフレーミング技術の短所は、中間フレームが、歪んで見えることが多いという点である。アニメーション化されたキャラクタが人間ではない場合（例えば、ロボット又はアニメのキャラクタである場合）、視聴者は、そのオブジェクトがどのように見え又はどのように動くかに関して先入観を有さないため、上述のような歪みは、通常、殆ど目立たない。一方、アニメーション化されたキャラクタが人間を表現している場合、視聴者は、中間フレームの歪みを不自然に感じやすい。これは、キーフレーミング技術を用いて、例えば、１つの表情から他の表情（例えば、微笑している表情から不機嫌な表情）等、キャラクタの顔の遷移をアニメーション化する場合に特に顕著である。視聴者にとって、人間の表情は、非常に馴染み深いので、視聴者は、アニメーションの僅かな欠陥にも気付き、違和感を感じてしまう。コンピュータグラフィクスアニメーションの目的は、現実感のある視覚的効果を生成することであり、したがって、中間フレームの歪みは、最小化することが望ましい。

他のコンピュータグラフィクス技術として、モーションキャプチャ（motion capture）技術が知られており、ここでは、現実のオブジェクトの動きをコンピュータによって生成されたオブジェクトにマッピングする。モーションキャプチャシステムにおいては、演技者は、様々な部位に取り付けられたマーカ（例えば、胴体及び手足に取り付けられた小さい反射マーカ）を有するスーツを着用し、デジタルカメラは、マーカを照射しながら、異なる角度から演技者の動きを記録する。そして、システムは、画像を分析し、各フレームにおける演技者のスーツ上のマーカの位置（例えば、空間座標）及び向きを判定する。システムは、マーカの位置を追跡することによって、時間の経過に応じたマーカの空間表現を作成し、演技をしている演技者のデジタル表現を構築する。そして、動きをデジタル的に表現し、テクスチャリング及びレンダリングすることによって、演技者及び／又は演技の完全なＣＧ表現を作成することができる。特殊効果担当者は、この技術を用いて、多くの有名な映画において、驚異的に現実感があるアニメーションを作成している。

また、モーションキャプチャシステムは、演技者の顔の要素の動きを追跡し、演技者の顔の動きと表情の表現（例えば、笑い、泣き、微笑み）を生成するためにも用いられる。この場合、身体モーションキャプチャと同様、マーカは、演技者の顔に取り付けられ、カメラは、演技者の表情を記録する。顔の動きは、身体の動きに関係するより大きな筋肉に比べて、比較的小さい筋肉に関係するので、顔マーカは、通常、対応する身体マーカより遙かに小さく、カメラは、通常、身体の動きの捕捉のために用いられるカメラより高い解像度を有する。カメラは、通常、カメラが演技者の顔への焦点を維持するために、演技者の物理的な動きと共通の平面に揃えられる。顔用のモーションキャプチャシステムは、ヘルメット又は物理的に演技者に取り付けられる他の物体に組み入れてもよく、これにより、顔マーカを一様に照射し、カメラと顔の間の相対的な動きを最小化することができる。このため、多くの場合、顔の動きと身体の動きは別個のステップで捕捉される。そして、後続するアニメーション処理の一部として、捕捉された顔の動きデータは、後に、捕捉された身体の動きデータに結合される。

キーフレーム技術等の古くから用いられているアニメーション技術に対するモーションキャプチャシステムの利点は、実時間で視覚化が行えるという点である。制作チームは、実時間又は略々実時間で、演技者の動きの空間的表現を見直すことができ、演技者は、最適なデータを捕捉するように身体的な演技を変更することができる。

更に、モーションキャプチャシステムは、他のアニメーション技術を用いては容易に再生することできない物理的な動きの微妙なニュアンスを検出し、これにより、自然な動きをより正確に反映するデータを生成することができる。この結果、モーションキャプチャシステムを用いて収集されたソースマテリアルに基づいて作成されたアニメーションは、実写により近い現実感を実現できる。

モーションキャプチャシステムのこれらの利点にもかかわらず、顔及び身体の動きを別個に捕捉することにより、アニメーションデータの現実感が損なわれることも多い。顔の動きと身体の動きには高い関連性があり、表情は、対応する身体の動きによって強調されることが多い。例えば、演技者は、感情を表現するために、ある種の身体の動き（すなわち、ボディランゲージ）を用いて、対応する表情を強調することができ、例えば、興奮して話しながら腕を振ったり、顔をしかめながら肩をすくめたりする。動きを別個に捕捉した場合、顔の動きと身体の動きの間のこの関係は失われ、これらの別個に捕捉された動きを同期させることは困難である。したがって、顔の動きと身体の動きを結合した場合、これにより得られるアニメーションは、目立って不自然に見えることも多い。このように、顔及び身体の動きを別個に捕捉することは、従来のモーションキャプチャシステムの重要な問題点であった。

そこで、本発明の目的は、従来の技術のこれらの及びこの他の問題を解決するコンピュータグラフィクスアニメーションシステムを提供することである。詳しくは、本発明の目的は、高度に現実感があるデジタル顔モデルのアニメーションを実現できるコンピュータグラフィクスアニメーションシステムを提供することである。

本発明は、人体解剖学から得られた生体力学的制約条件に基づいてデジタル顔モデルをアニメーション化するシステム及び方法を提供する。これにより得られるアニメーションは、非常に現実感があり、生きているように見える。

具体的には、顔の動きをアニメーション化するための顔動きアニメーション化システムは、３次元的なグラフィクス画像を生成するアニメーションプロセッサと、アニメーションプロセッサと協働して、演技者の顔の３次元的なデジタルモデルを生成し、仮想筋肉構造をデジタルモデルに重ねる表情処理システムとを備える。仮想筋肉構造は、それぞれ複数の頂点を定義する実際の顔面筋に対応する方向でデジタルモデルの表面に沿い、複数の筋肉ベクトルを含む。表情処理装置は、複数の筋肉ベクトルの少なくとも１つの選択的な動きを反映する入力に応じて、複数の頂点のうち対応する頂点の位置を変更し、顔の動きをシミュレートするようにデジタルモデルを再構築する。複数の筋肉ベクトルは、筋肉ベクトルの、実際の頭蓋組織に対応する基底構造との固定の接続点を定義する起始点と、筋肉ベクトルの、実際の皮膚に対応する重なる表面との接続点を定義する停止点と、複数の筋肉ベクトルのうちの他の筋肉ベクトルとの少なくとも１つの相互接続点とを含む。

複数の筋肉の少なくとも１つの選択的な動きを反映する入力は、幾つかの形式を取ることができる。一具体例においては、入力は、ユーザが選択した、複数の筋肉ベクトルの少なくとも１つ及び複数の筋肉ベクトルの選択された１つに適用する収縮値を示す情報を含む。これにより、ユーザは、単一の筋肉ベクトルを動かし、顔モデルに対するその動きの影響を観察することができる。他の具体例においては、入力は、ユーザが選択した、複数の筋肉ベクトルのうちの複数個の筋肉ベクトルを含むポーズと、複数の筋肉ベクトルの選択された複数個の筋肉ベクトル１つに適用する少なくとも１つの関連する収縮値との組み合わせを示す情報を含む。これにより、ユーザは、例えば、幸福な表情、悲しい表情、心配な表情、考えている表情、怒った表情を始めとする様々な表情を表現するために筋肉群を制御することができる。他の例示的な手法においては、顔の性能処理システムは、モーションキャプチャプロセッサと通信し、演技者の顔の動きを反映するモーションキャプチャデータを受信する。これにより、モーションキャプチャデータは、顔モデルの筋肉ベクトルの動きを直接制御する。また、モーションキャプチャデータは、異なるデジタルモデルに再ターゲットすることができる。これにより、大人の演技者のモーションキャプチャデータを子供の顔モデルの筋肉ベクトルの動きを制御するために、子供の顔モデルに再ターゲットすることができる。

本発明の他の実施形態においては、表情処理装置は、更に、複数の頂点に対応する顔マーカ位置を定義する。更に、表情処理装置は、演技者の顔に位置をマークするために用いられる、定義された顔マーカ位置に対応する孔を有するテンプレートを生成してもよい。

以下の好適な実施形態の詳細な説明により、デジタル顔モデルをアニメーション化するためのシステム及び方法の詳細、並びにその更なる利点及び目的が当業者にとって明らかとなる。

本発明の実施形態に基づく表情制御システムを備える例示的なアニメーションシステムのブロック図である。 表情制御システム２０の初期化ユーティリティ１１０による処理の手順を示すフローチャートである。 顔の筋肉構造に対応する、指定されたモーションキャプチャマーカ位置を含む顔モデルを図式的に示す図である。 口及び顎の動きに対応する所定の筋肉ベクトルを含む顔モデルを図式的に示す図である。 目の動きに対応する所定の筋肉ベクトルを含む顔モデルを図式的に示す図である。 表情制御システムによって実行される筋肉制御モジュールにおける処理の手順を示すフローチャートである。 表情制御システムによって実行されるポーズ制御モジュールにおける処理の手順を示すフローチャートである。 表情制御システムによって実行されるモーションキャプチャ制御モジュールにおける処理の手順を示すフローチャートである。 表情制御システムによって実行されるモーションキャプチャ較正ユーティリティにおける処理の手順を示すフローチャートである。 表情制御システムによって実行されるモーションキャプチャ再ターゲットユーティリティにおける処理の手順を示すフローチャートである。 新たな顔モデルに再ターゲットされるモーションキャプチャデータを示す図である。 表情制御システムによって実行されるまぶたユーティリティにおける処理の手順を示すフローチャートである。

以下に説明するように、本発明は、高度に現実感があるデジタル顔モデルのアニメーションを実現できるコンピュータグラフィクスアニメーションシステムを提供する。以下の説明では、１つ以上の図面において、同様の要素には、同じ参照符号を付している。

図１は、本発明の実施形態に基づく表情制御システム２０を備える例示的なアニメーションシステム１０のブロック図である。アニメーションシステム１０は、グラフィクスアーチストがコンピュータグラフィクスアニメーションを作成するために用いるコンピュータワークステーション１４に接続されたアニメーションプロセッサ１２を備える。更に、アニメーションプロセッサ１２は、例えば、Ａｌｉａｓ｜Ｗａｖｅｆｒｏｎｔ（商標）社から市販されているＭａｙａ（商標）ソフトウェアプロダクトライン等、娯楽用の３Ｄグラフィクス及びアニメーションを作成するための商用ソフトウェアパッケージを実行するプログラム式コンピュータを備える。更に、アニメーションシステム１０は、アニメーションプロセッサ１２と共に動作し、後に詳細に説明するように、高度な顔のアニメーションを提供する表情制御システム２０を備える。なお、表情制御システム２０は、アニメーションプロセッサ１２から完全に独立したコンピュータハードウェア及びソフトウェアシステムを備えていてもよく、これに代えて、共通のハードウェア及びソフトウェアシステムの一部として（例えば、「プラグイン」として）アニメーションプロセッサ１２に組み込まれていてもよい。

表情制御システム２０は、人間の顔面筋構造が表情を形成する仕組みを真似る。具体的には、表情制御システム２０は、筋肉収縮の物理的な効果及び他の相互接続された筋肉に対する影響を反映するように実際の人間の顔の各筋肉をモデル化する。例えば、第１の筋肉にある動きがあると、１つ以上の他の筋肉がつられて動き、又は第１の筋肉の動きによって、１つ以上の他の筋肉の動きが影響される。更に、皮下の筋肉が動くと、その皮膚も動くように筋肉上の皮膚もモデル化する。筋肉と皮膚との間の相互関係の制約条件は、人体解剖学から得られた生体力学モデルに基づいている。

表情制御システム２０は、筋肉制御モジュール２２、ポーズ制御モジュール２４、モーションキャプチャ制御モジュール２６及びユーティリティモジュール２８を含む別個の機能を提供する複数のソフトウェアモジュールから構成される。筋肉制御モジュール２２により、グラフィクスアーチストは、デジタルモデルの個々の筋肉を操り、表情を変更することができる。表情制御システム２０は、筋肉定義ファイル３２、ポーズ定義ファイル３４及びディフォルトポーズファイル３６を含む様々なソフトウェアモジュールの動作により、複数のデータファイルを作成及び使用する。筋肉定義ファイル３２は、それぞれ、顔の個々の筋肉群の特定の動作を決定する所定のパラメータを定義する。ポーズ定義ファイル３４は、それぞれ、相互作用する筋肉群のパラメータを定義し、例えば、幸福、悲しみ等の所定のポーズを定義する。ディフォルトポーズファイル３６は、それぞれ、特定の演技者の顔に関する、予め定義されたポーズ又はディフォルトポーズにおけるマーカの物理的構成を定義する。データファイルは、当分野で一般的なように、持続的な又は不揮発性メモリに保存してもよい。これらのソフトウェアモジュール及び定義ファイルについては、後に更に詳細に説明する。

アニメーションシステム１０は、表情制御システム２０と通信するモーションキャプチャプロセッサ４２を備える。モーションキャプチャプロセッサは、複数のモーションキャプチャカメラ４４₁−４４_Nと通信する。モーションキャプチャプロセッサ４２は、更に、プログラム式コンピュータを含んでいてもよい。モーションキャプチャカメラ４４₁−４４_Nは、モーションキャプチャ空間に関して、モーションキャプチャ空間内で、１人以上の演技者の演技における顔の動きを捕捉するように構成されている。各演技者の顔及び身体は、マーカでマークされ、これらのマーカは、モーションキャプチャ空間内における演技者の演技の間に、モーションキャプチャカメラ４４₁−４４_Nによって検出される。マーカは、反射性を有するマーカ又は発光するマーカであってもよい。具体的には、複数の反射マーカを、頭、脚、腕及び胴等の様々な身体部位に配置することにより各演技者の身体にマークを付すことができる。演技者は、マーカが取り付けられ、非反射性材料から作製されたボディスーツを着用してもよい。また、演技者の顔も複数のマーカによってマークが付される。顔マーカは、通常、身体マーカより小さく、使用される顔マーカの数は、身体マーカの数より多い。十分な解像度で顔の動きを捕捉するためには、多数の（例えば、１００個を超える）顔マーカを用いることが望ましい。一具体例では、１５２個の小さい顔のマーカと、６４個のより大きい身体マーカとを演技者に取り付ける。身体マーカは、５〜９ミリメートルの範囲の幅又は直径を有していてもよく、顔マーカは、１〜３ミリメートルの範囲の幅又は直径を有していてもよい。

モーションキャプチャプロセッサ４２は、モーションキャプチャカメラ４４₁−４４_Nから受信した２次元画像を処理し、捕捉された動きの３次元のデジタル表現を生成する。具体的には、モーションキャプチャプロセッサ４２は、各カメラから２次元データを受信し、受信したデータを複数のデータファイルの形式で保存する。２次元データファイルは、個々のマーカの動きを表す軌道ファイル（trajectory file）の形式で、３次元座標の単一の組に統合される。各マーカの位置は、１つ以上のカメラからの画像を用いて判定される。例えば、マーカは、モーションキャプチャ空間における演技者の顔の要素又は身体部位によって遮蔽されるために、カメラのサブセットのみからしか見えない場合がある。この場合、モーションキャプチャプロセッサ４２は、遮蔽されずにそのマーカを捕らえることができた他のカメラからの画像を用いて、空間におけるマーカの位置を判定する。モーションキャプチャプロセッサ４２は、例えば、Ｖｉｃｏｎ Ｍｏｔｉｏｎ Ｓｙｓｔｅｍｓ社又はＭｏｔｉｏｎ Ａｎａｌｙｓｉｓ Ｃｏｒｐ社から市販されている、上述の及びこの他のデータ処理機能を備える商用ソフトウェアパッケージを使用してもよい。

図２は、表情制御システム２０の初期化ユーティリティ１１０による処理の手順を示すフローチャートである。初期化ユーティリティ１１０は、システムを初期化し、特定の演技者の顔をモデル化するために用いられる。ステップ１１２において、演技者の顔のデジタルモデルを生成する。デジタルモデルは、様々な角度から演技者を撮影することによって得られた複数のデジタル写真を統合し、３次元（３Ｄ）画像ファイル又はデジタルモデルを生成することによって得られる。３次元画像ファイルを生成するソフトウェアツールは、上述したように、当分野において既知である。図３は、デジタルモデルの具体例を示し、ここでは、それぞれ顔構造の表面の部分を定義する複数のスプライン曲面から３Ｄ顔構造５０が形成されている。スプライン曲面は、ここでは集合的に「ワイヤーフレーム」と呼ぶ個々の線分５２から構成されている。顔構造５０は、また、皮膚表面の下に横たわる「マグ（mug）」と呼ばれるサブ顔構造（sub-facie structure）も表している。後続するアニメーション処理の一部としてマグには、所望のテクスチャ及び色を有する外側表面組織が適用され、これにより、アニメーション化されたキャラクタが作成される。なお、顔構造５０の形状は、アニメーション化されたキャラクタの表情を制御する。

一旦、デジタルモデルが作成されると、ステップ１１４において、仮想顔面筋構造を顔構造５０のデジタルモデルに重ねる。人間の顔面筋構造は、医学文献に詳しく開示されており、これに基づき、個々の筋肉の位置及び内部接続をデジタルモデルに容易にマッピングすることができる。表情を形成する筋肉は、起始点となる各点と、頭蓋骨又は筋膜（facia）における皮膚への停止点（付着点）となる点とを有する皮下の随意筋を含む。幾つかの筋肉は、他の筋肉に接続される。したがって、各筋肉は、起始点（すなわち、骨又は筋膜への接続位置）及び停止点（すなわち、皮膚への接続の位置）を含む複数の頂点を有する曲線を用いて定義することができる。これらのパラメータは、筋肉定義ファイル３２の形式で保存される。

医学分野で知られているように、上側の顔面筋によって、眉、額及び上下のまぶたが動かされる。顔の上部の前頭筋は、頭蓋上の静的な停止点に向かって等張性収縮し、これにより、表面組織（すなわち、皮膚）は、筋肉に垂直な方向に束ねられ、皺を作る。下側の顔面筋は、唇から頬骨に向かって斜め方向に収縮する大頬骨筋、生来的に円形又は楕円形であり、目の周りに伸びる眼輪筋、口の周りに伸びる口輪筋、耳に向かって水平に収縮する頬筋及び他の様々な動作を制御する筋肉等を含む幾つかの別個のグループから構成される。口の筋肉は、特に複雑な相互作用を有する。口輪筋は、骨に接続されていない括約筋である。主要な筋肉すなわち、上唇鼻翼挙筋は、上方から接続され、頬筋は、***に接続され、水平に収縮する。口角挙筋、下唇下制筋及びオトガイ筋は、それぞれ斜め及び垂直に収縮する。表情は、これらの上下の顔面筋の複雑に組み合わされた動きによって形成される。

図４及び図５は、仮想顔面筋の、顔構造５０のデジタルモデルへの部分的なマッピングを示している。図４は、顎の動きに対応するある筋肉ベクトルを含む顔構造５０を図式的に示しており、図５は、眼球の動きに対応するある筋肉ベクトルを含む顔構造５０を図式的に示している。筋肉ベクトルは、個々の顔面筋のトポロジに従い、ワイヤーフレームを形成する線分５２と交差する曲線として示される。各曲線は、顔モデルの表面に一致する曲線の長さ方向に沿って、停止点及び起始点を始めとする複数の頂点とを有する。筋肉ベクトルは、対応する筋肉定義ファイル３２に記述されている。後に更に詳細に説明するように、筋肉の動きは、デジタルモデルにおいて、選択された筋肉ベクトル又は筋肉ベクトルのグループを収縮させ、対応する複数の頂点の位置を変更し、これによりデジタルモデルの表面を再構成することによって実現される。筋肉定義ファイル３２においては、筋肉ベクトルの皮膚への停止点を定義しているので、筋肉の動きによる皮膚への影響も推定でき、これをアニメーション化することができる。

顔面筋をデジタルモデルにマッピングした後、図２のステップ１１６において、通常、筋肉ベクトルの頂点に対応する複数のマーカ位置を指定する。図３では、これらのマーカ位置を＋記号で示している（図１１も同様）。そして、ステップ１１８において、初期化ユーティリティは、ステップ１１７で定義されたマーカ位置に身体マーカを配置するために使用にされるテンプレートを生成する。このテンプレートを用いて、例えば、プラスチック又は他の材料から、対応する立体的なマスクを成形することができる。このマスクは、演技者の顔に合うように成形でき、所定のマーカ位置には、孔を穿設する。そして、この孔の位置から、適切なペンを用いて、演技者の顔に直接マークを付すことができる。この後、演技者の顔のマークが付された位置に、顔マーカを直接付すことができる。演技者の顔には、演劇分野で知られている化粧用接着剤（make-up glue）等、適切な材料を用いて顔マーカを付すことができる。これにより、長期間（例えば、数ヶ月）に亘って、モーションキャプチャ制作を行う場合、マーカを日毎に付けたり消したりしても、演技者について、合理的な一貫性を有する動きデータを得ることができる。

図６は、表情制御システム２０によって実行される筋肉制御モジュール１２０における処理の手順を示すフローチャートである。ステップ１２２において、ユーザは、動かす筋肉群を選択する。例えば、グラフィカルユーザインタフェースとして、ユーザが複数の選択肢から特定の筋肉群を選択するためのツールバー又はメニューを提供してもよい。一旦、筋肉群が選択されると、ステップ１２４において、ユーザは、選択された筋肉群に適用する収縮値を選択する。収縮値は、選択された筋肉群に適用される収縮の量を決定する。例えば、グラフィカルユーザインタフェースは、マウス等のポインティング装置を用いてコンピュータ画面上で移動させることができるスライドバー又は他のツールを提供してもよい。これに代えて、ユーザは、希望する収縮値に対応する数値を適切なフィールドに入力してもよい。或いは、他の実施形態として、ユーザは、筋肉ベクトルをクリックアンドドラッグし、これにより、筋肉群の選択と、収縮値の選択とを単一のステップで実行してもよい。

そして、筋肉制御モジュール１２０は、ステップ１２６において、メモリから選択された筋肉群の筋肉定義ファイル３２を検索する。上述したように、筋肉定義ファイル３２は、起始点及び停止点、筋肉ベクトル及び関連する頂点の座標（例えば、デカルト座標により表現される）及び他の筋肉群との相互作用を含む選択された筋肉群のパラメータを定義する。そして、ステップ１２８において、筋肉制御モジュール１２０は、選択された収縮値及び筋肉定義ファイル３２において定義されている他のパラメータに基づいて、選択された筋肉群及び他の影響を受ける筋肉群の座標を再計算する。そして、ステップ１３０において、筋肉制御モジュール１２０は、再計算された座標を反映する顔構造５０を再構築する。なお、これらのステップは、ユーザには、リアルタイムで実行されているように見え、これによりユーザは、画面上で、収縮値の変化に応じた顔構造５０の物理的変化を確認することができる。ユーザは、様々な筋肉群を選択し、異なる収縮値を適用することによって、希望の表情が実現されるまで、試行錯誤することができる。

図７は、表情制御システム２０によって実行されるポーズ制御モジュール１４０における処理の手順を示すフローチャートである。ユーザは、ステップ１４２において、動きのポーズを選択する。ポーズは、例えば、幸福な表情、悲しい表情、悩んでいる表情、考えている表情、怒った表情、怯えた表情等、幾つかの筋肉群の複雑な相互作用によって形成される表情を含む。これらの表情は、それぞれ、複数の個々の筋肉グループに関係する。例えば、幸福な表情は、上唇の隅を持ち上げることによって微笑を形成する下側の顔面筋に関係するとともに、眉を寄せ及び／又は目を細める点で、上側の顔面筋に関係する。上述したように、グラフィカルユーザインタフェースは、ユーザが複数の選択肢から特定のポーズを選択するためのツールバー又はメニューを提供する。一旦、ポーズが選択されると、ユーザは、ステップ１４４において、選択されたポーズに適用する収縮値を選択する。収縮値は、ポーズに関連する各筋肉群に適用される収縮の量を決定する。なお、各筋肉群に適用される収縮値は一定ではない。すなわち、個々の筋肉グループに適用される収縮値は、実質的にポーズの収縮範囲に亘って変化させることができる。例えば、幸福なポーズのための収縮範囲の一端（例えば、穏やかな幸福）では、頬筋のみを収縮させ、この範囲の他端（例えば、非常に幸福）では、多くの筋肉群を収縮させてもよい。

そして、筋肉制御モジュール１２０は、メモリから、ステップ１４６において選択されたポーズのポーズ定義ファイル３４を検索する。上述したように、ポーズ定義ファイル３４は、筋肉群の識別及び各筋肉群の収縮値の範囲を含むポーズのパラメータを定義する。そして、ステップ１４８において、ポーズ制御モジュール１４０は、選択された収縮値及びポーズ定義ファイル３４において定義されている他のパラメータに基づいて、各ポーズの筋肉群の座標を再計算する。そして、ステップ１５０において、ポーズ制御モジュール１４０は、再計算された座標を反映する顔構造５０を再構築する。筋肉制御モジュール１２０の場合と同様に、これらのステップは、ユーザには、リアルタイムで実行されているように見え、これによりユーザは、画面上で、収縮値の変化に応じた顔構造５０の物理的変化を確認することができる。更に、ユーザは、収縮値を制御して、１つのポーズ（例えば、悲しみ）から他のポーズ（例えば、幸福）への円滑な遷移を実現することができる。なお、この手法により、自然で現実感がある中間的表現が実現できる。

図８は、表情制御システム２０によって実行されるモーションキャプチャ制御モジュール１６０における処理の手順を示すフローチャートである。本発明のこの側面では、モーションキャプチャプロセッサ４２は、表情制御システム２０の動作を制御する入力装置として用いることができる。モーションキャプチャ制御モジュール１６０は、ステップ１６２において、モーションキャプチャプロセッサ４２からモーションキャプチャデータを受信する。上述のように、モーションキャプチャプロセッサ４２は、モーションキャプチャ空間内の演技者の演技を反映する顔の動きデータを捕捉するように構成されている。顔の動きデータは、再定義された筋肉ベクトルの頂点に対応する顔マーカの相対的な物理的な動きを含む。これらの捕捉された物理的な動きを用いて、各筋肉ベクトルに適用される対応する収縮値を算出することができる。そして、モーションキャプチャ制御モジュール１６０は、ステップ１６４において、メモリから、動きがある頂点に対応する筋肉群の筋肉定義ファイル３２を検索する。そして、モーションキャプチャ制御モジュール１６０は、ステップ１６６において、計算された収縮値及び筋肉定義ファイル３２で定義されている他のパラメータに基づいて、選択された筋肉群及び他の影響を受ける筋肉群の座標を再計算する。この処理では、既存の筋肉アニメーション値をモーションキャプチャデータから算出された筋肉アニメーション値に加算する。そして、モーションキャプチャ制御モジュール１６０は、ステップ１６８において、再計算された座標を反映した顔構造５０を再構築する。なお、これらのステップは、ユーザには、リアルタイムで実行されているように見え、これによりユーザは、画面上で、モーションキャプチャ空間内の演技者の演技に応じた顔構造５０の物理的変化を確認することができる。

モーションキャプチャ制御モジュール１６０を用いて顔構造５０のアニメーションを制御する前に、モーションキャプチャデータを較正する必要がある場合もある。図９は、表情制御システム２０によって実行されるモーションキャプチャ較正ユーティリティ１７０における処理の手順を示すフローチャートである。モーションキャプチャ較正ユーティリティ１７０は、ステップ１７２において、選択された演技者のディフォルトポーズファイル３６を検索する。ディフォルトポーズとは、演技者がモーションキャプチャ空間内で作る基準となる表情である。ディフォルトポーズでは、演技者は、モーションキャプチャ空間内で目を閉じて、無表情な状態で静止し、これによりモーションキャプチャプロセッサ４２を用いて、演技者の画像ファイルが作成される。演技者のディフォルトポーズファイル３６は、演技者が最初にディフォルトポーズを演じた際に作成される。そして、演技者は、ディフォルトポーズを周期的に、例えば、顔マーカが適用される都度繰り返し、これにより現在の画像ファイルをディフォルトポーズファイル３６と比較することができる。なお、ディフォルトポーズファイル３６は、各演技者について、それぞれ１つだけ作成される。

後続するディフォルトポーズの演技の間、モーションキャプチャ較正ユーティリティ１７０は、ステップ１７４において、モーションキャプチャデータを受信する。そして、このモーションキャプチャデータを、演技者のディフォルトポーズファイル３６と比較する。なお、例えば、顔マーカを付す担当者が交代したり、顔マーカを付す際に演技者が動いてしまったり、及び他の要因によって、日が変わると、顔マーカの位置に矛盾が生じる場合がある。上述したディフォルトポーズファイル３６との比較によって、これらの矛盾を正確に定量化できる。ステップ１７６においては、この比較に基づいて、一組のマーカオフセット値を判定する。オフセット値は、方向及び／又は距離を表す値として、現在のマーカ位置とディフォルトポーズファイル３６において定義されている位置との間の関係を示すベクトルによって表してもよい。また、これに代わる測定方式を用いてオフセット値を算出してもよい。そして、演技者に関する後続するモーションキャプチャデータの処理において、例えば、上述したモーションキャプチャ制御モジュール１６０における処理において、オフセット値を用いることができる。これにより、異なる時刻において、ある演技者について取得されたモーションキャプチャデータが一貫性を有することが保証される。

本発明の一実施形態では、特定の演技者のモーションキャプチャデータを用いて、実質的に異なる顔の特徴を有する人物（キャラクタ）をアニメーション化することができる。例えば、大人の演技者のモーションキャプチャデータを用いて、子供キャラクタをアニメーション化するためのソースデータを生成することができる。大人の演技者は、子供の演技者に比べて、優れた演技力及び能力を有する場合が多く、子供の演技者が演技することが困難又は不可能な演技もあるため、このような処理は有用である。他の具体例として、演技者のモーションキャプチャデータを用いて、例えば犬又はロボット等の人間ではないキャラクタをアニメーション化するためのソースデータを生成することもできる。異なる顔モデルのアニメーションを制御するための、このソースデータの変換を、ここでは「再ターゲット」と呼ぶ。

図１０は、表情制御システム２０によって実行されるモーションキャプチャ再ターゲットユーティリティ１８０における処理の手順を示すフローチャートである。ステップ１８２において、モーションキャプチャ再ターゲットユーティリティ１８０は、選択された演技者のディフォルトポーズファイル３６を検索する。再ターゲットが望まれるシーンの処理では、モーションキャプチャ再ターゲットユーティリティ１８０は、ステップ１８４において、モーションキャプチャデータを受信する。そして、図９に関して上述したものと同様の手法によって、このモーションキャプチャデータを演技者のディフォルトポーズファイル３６と比較する。ステップ１８６においては、この比較に基づいて、各マーカ位置のオフセット値を判定し、ステップ１８８において、所定の換算係数を用いてオフセット値を換算する。そして、ステップ１９０において、換算されたオフセット値を用いて、新たな顔モデルを生成する。図１１は、新たな顔モデル（右図）に再ターゲットされるモーションキャプチャデータ（左図）を示している。

換算係数は、様々な手法で決定することができる。一手法においては、全てのマーカ位置について一様な換算係数を選択し、全てのオフセット値を一定の量だけ変更する。一様な換算係数は、何らかの任意の基準に基づいて選択された所定の数値であってもよい。一様な換算係数の精度を高めるために、この値を身体的測定に基づいて求めてもよい。例えば、大人の演技者のモーションキャプチャデータを子供に再ターゲットする場合、大人と子供の身体的特徴を比較してもよい。例えば、比較のための身体的特徴として、口の長さを用いてもよく、この場合、換算係数は、大人の口の長さと、子供の口長さとの間の比に基づいて決定してもよい。この手法は、簡単であるという利点があるが、これにより得られる換算されたオフセット値は、必ずしも望ましい結果をもたらさない。例えば、子供の顔は、必ずしも、全ての点で大人の顔に比例しているわけではなく、顔の幾つかの部分は、顔の他の部分より早く成長する。したがって、更に換算係数の精度を高めるために、複数の身体的な特徴を比較してもよい。例えば、大人と子供の間で目の長さを比べて顔の上部の換算係数を決定し、鼻の長さを比べて顔の中央部の換算係数を決定し、及び／又は口の長さを比べて顔の下側の換算係数を決定してもよい。なお、これより多くの換算係数を用いてもよい。

本発明の他の実施形態においては、人物の目を含むように顔モデルをアニメーション化する。演技者の目には、マーカを付すことができず、したがって、目の動きは、捕捉することができず、アニメーション化する必要がある。なお、モーションキャプチャデータには、目の動きを正確にアニメーション化するために用いることができる目の動きの指標となる十分な情報が含まれている。目の動きをアニメーション化するために用いられるまぶたユーティリティ２００における処理の手順を示すフローチャートを図１２に示す。まぶたユーティリティ２００は、ステップ２０２において、モーションキャプチャプロセッサ４２からモーションキャプチャデータを受信する。演技者の顔に付されたマーカの組は、まぶたに付された所定のマーカを含む。したがって、モーションキャプチャデータは、まぶたの動きを表すデータを含んでいる。ステップ２０４では、モーションキャプチャデータを分析し、視線の向きを判定する。まぶたは、眼球の表面に常に接触しているので、まぶたの動きを監視することにより、目の向きを検出できる。例えば、視線が下を向くと、まぶたは僅かに下方に動く。逆に、視線が上を向くと、まぶたは僅かに上方に動く。より洗練された手法として、眼球自体の形状を考慮してもよい。単純な眼球モデルは、球形であるが、より正確な眼球モデルは、虹彩に対応する膨らみを含む。したがって、まぶたの一部が僅かに突出することを検出することによって、モーションキャプチャデータからこの虹彩の膨らみ動きを検出できる。この突出に基づいて、目の向きをアニメーション化することができる。視線の方向が一旦決まると、ステップ２０６において、目の表面と同一平面上にまぶたを横たえることによって、顔モデル上に目を描くことができる。

以上の説明では、身体及び顔の動きを追跡するために、身体及び顔に付され、光学的に感知される身体マーカの使用を説明したが、また、これに代わる手法によって動きを追跡してもよいことは当業者にとって明らかである。例えば、人工的なマーカを付すことに代えて、演技者の身体的な特徴（例えば、鼻又は目の形状）を自然なマーカとして用いて動きを追跡することもできる。このような身体的な特徴に基づくモーションキャプチャシステムでは、各演技の前に演技者にマーカを付す必要がない。更に、光以外の媒体を用いて対応するマーカを検出してもよい。例えば、マーカは、モーションキャプチャ空間の周囲に配設された対応する受信機によって検出される超音波又は電磁派の放射源であってもよい。この点に関して、上述したカメラは、単に光学的センサであってもよいが、ここで、他の種類のセンサを用いてもよい。

以上、顔の動きをデジタル的にアニメーション化するためのシステム及び方法の好適な実施形態について説明したが、これにより本発明の利点が当業者にとって明らかとなった。また、本発明の範囲及び思想から逸脱することなく、上述の実施形態を様々に修正し、適応化し及び変形できることも明らかである。本発明は、添付の請求の範囲により定義される。

Claims (19)

1. 顔の動きをアニメーション化する顔動きアニメーション化方法において、
   アニメーション化される顔の３次元的なデジタルモデルを生成するステップと、
   実際の顔面筋に対応する方向で上記デジタルモデルの表面に沿い、それぞれが複数の頂点を定義する複数の筋肉ベクトルを含む、上記デジタルモデルのための仮想顔面筋構造を定義するステップと、
   顔の筋肉の起始点及び停止点、前記筋肉ベクトル及び関連する頂点の座標、及び、他の筋肉群との相互作用を含む、筋肉群のパラメータを定義する筋肉定義ファイルを生成するステップと、
   上記複数の頂点に対応する演技者の顔の顔マーカ位置を定義するステップと、
   前記顔マーカ位置に付されたマーカの動きに基づいて、演技者の顔の物理的な動きを反映するモーションキャプチャデータを受信するステップと、
   前記モーションキャプチャデータに基づいて各筋肉ベクトルに適用される対応する収縮値を計算するとともに、計算された前記収縮値及び前記筋肉定義ファイルで定義されている他のパラメータに基づいて、選択された筋肉群及び影響を受ける他の筋肉群の座標を再計算して、上記複数の頂点のうち対応する頂点の位置を変更する少なくとも１つの上記複数の筋肉ベクトルの動きを生成し、それによって演技者の顔の上記物理的な動きに対応した上記デジタルモデルの動きをシミュレートするステップと、を有し、
   さらに、上記演技者の顔に上記位置をマークするために用いられるマスクであって、演技者の顔に合うよう成形され、前記マーカ位置に、演技者の顔にマークを付すための孔が穿設された立体的なマスクを成形するステップを有する顔動きアニメーション化方法。
2. 上記複数の筋肉ベクトルの少なくとも１つは、上記筋肉ベクトルの、演技者の頭蓋骨に対応する点との接続位置を定義する起始点を含むことを特徴とする請求項１記載の顔動きアニメーション化方法。
3. 上記複数の筋肉ベクトルの少なくとも１つは、上記筋肉ベクトルの、実際の皮膚に対応する重なる表面との接続点を定義する停止点を含むことを特徴とする請求項１記載の顔動きアニメーション化方法。
4. 上記複数の筋肉ベクトルの少なくとも１つは、上記複数の筋肉ベクトルのうちの他の１つとの相互接続点を含むことを特徴とする請求項１記載の顔動きアニメーション化方法。
5. 前記モーションキャプチャデータに加えて上記動きを定義する入力信号を受信するステップを更に有する請求項１記載の顔動きアニメーション化方法。
6. 上記入力信号は、ユーザが選択した、上記複数の筋肉ベクトルの少なくとも１つ及び上記複数の筋肉ベクトルの該選択された１つに適用する収縮値を示す情報を含むことを特徴とする請求項５記載の顔動きアニメーション化方法。
7. 上記入力信号は、ユーザが選択した、上記複数の筋肉ベクトルのうちの複数個の筋肉ベクトルを含むポーズ及び上記複数の筋肉ベクトルの該選択された複数個の筋肉ベクトル１つに適用する収縮値を示す情報を含むことを特徴とする請求項５記載の顔動きアニメーション化方法。
8. ディフォルトデータセットを用いて上記モーションキャプチャデータを較正するステップを更に有する請求項１記載の顔動きアニメーション化方法。
9. 上記モーションキャプチャデータを異なるデジタルモデルに再ターゲットするステップを更に有する請求項１記載の顔動きアニメーション化方法。
10. 上記モーションキャプチャデータから演技者の視線の向きを判定するステップと、上記判定された視線の向きに一致するように上記デジタルモデルの目をアニメーション化するステップとを更に有する請求項１記載の顔動きアニメーション化方法。
11. ユーザインタフェースを有し、演技者の顔の３次元的なデジタルモデルを生成するアニメーションプロセッサと、
    演技者の顔の物理的な動きを反映するモーションキャプチャデータを生成するモーションキャプチャプロセッサと、
    上記アニメーションプロセッサ及び上記モーションキャプチャプロセッサと協働し、アニメーション化された顔の３次元的なデジタルモデルを生成し、実際の顔面筋に対応する方向で上記デジタルモデルの表面に沿い、それぞれが複数の頂点を定義する複数の筋肉ベクトルを含むデジタルモデルのための仮想顔面筋構造を与える表情処理装置であって、上記仮想顔面筋構造は、それぞれが複数の筋肉ベクトルの対応する筋肉ベクトルに関連づけられた少なくとも１つの収縮値を含む複数の筋肉定義ファイルを含み、上記複数の筋肉定義ファイルのうちの少なくとも１つの収縮値を変更することによって上記モーションキャプチャデータに応じて上記複数の筋肉ベクトルのうちの少なくとも１つの選択的な動きを生成し、それによって上記複数の頂点のうち対応する頂点の位置を変更し、演技者の顔の上記物理的な動きに対応する上記デジタルモデルの動きをシミュレートするように上記デジタルモデルを再構築する表情処理装置と、
    を備え、
    上記表情処理装置は、更に、上記複数の頂点に対応する顔マーカ位置を定義し、
    上記演技者の顔に上記位置をマークするために用いられるマスクであって、演技者の顔に合うよう成形され、前記顔マーカ位置に、演技者の顔にマークを付すための孔が穿設された立体的なマスクを有する顔動きアニメーション化システム。
12. 上記複数の筋肉ベクトルの少なくとも１つは、上記筋肉ベクトルの、演技者の頭蓋骨に対応する点との接続位置を定義する起始点を含むことを特徴とする請求項１１記載の顔動きアニメーション化システム。
13. 上記複数の筋肉ベクトルの少なくとも１つは、上記筋肉ベクトルの、実際の皮膚に対応する重なる表面との接続点を定義する少なくとも１つの停止点を含むことを特徴とする請求項１１記載の顔動きアニメーション化システム。
14. 上記複数の筋肉ベクトルの少なくとも１つは、上記複数の筋肉ベクトルのうちの他の筋肉ベクトルとの少なくとも１つの相互接続点を含むことを特徴とする請求項１１記載の顔動きアニメーション化システム。
15. 上記入力は、ユーザが選択した、上記複数の筋肉ベクトルの少なくとも１つ及び上記複数の筋肉ベクトルの該選択された１つに適用する収縮値を示す情報を含むことを特徴とする請求項１１記載の顔動きアニメーション化システム。
16. 上記入力は、ユーザが選択した、上記複数の筋肉ベクトルのうちの複数個の筋肉ベクトルを含むポーズと、上記複数の筋肉ベクトルの該選択された複数個の筋肉ベクトル１つに適用する少なくとも１つの関連する収縮値との組み合わせを示す情報を含むことを特徴とする請求項１１記載の顔動きアニメーション化システム。
17. 上記表情処理装置は、更に、ディフォルトデータセットを用いて上記モーションキャプチャデータを較正することを特徴とする請求項１１記載の顔動きアニメーション化システム。
18. 上記表情処理装置は、更に、上記モーションキャプチャデータを異なるデジタルモデルに再ターゲットすることを特徴とする請求項１１記載の顔動きアニメーション化システム。
19. 上記表情処理装置は、更に、上記モーションキャプチャデータから演技者の視線の向きを判定し、上記判定された視線の向きに一致するように上記デジタルモデルの目をアニメーション化することを特徴とする請求項１１記載の顔動きアニメーション化システム。

Images