JPH11509064A - 画像を表現し組み合わせる方法とシステム - Google Patents

Abstract

(57)【要約】 ある場面（１５）をモザイクに撮像し、その場面の新しい視点を選択し、その新しい視点（１１２）から見た場面のそのモザイクから合成画像を作成する画像処理システム（１０）である。第２の画像（１１４）およびその合成画像を結合して、第２の画像および場面の中にある物体をリアルに結合したものを包含する複合画像を発生する。本システムを使用すれば、プロダクション用のセットや他の場面は一度だけ作り、その後で本システムによって撮像するだけでよい。そうすれば、画像処理によって、その場面のいかなる図形でも、別の撮像された演出者や他の物体と合成したり結合したりして、複合画像を発生できる。このようにして、プロダクションのセットや他の場面を、物理的な場面を再作成することなく繰り返し再使用できる。

Description

【発明の詳細な説明】 画像を表現し組み合わせる方法とシステム 本発明は、画像処理システムに関し、より特定的には、モザイク画像から１場 面の合成画像を取り出すと共に、別個に発生された第２の画像と合成画像を結合 し合成画像内に現れる第２の画像の対象物を有するリアルな複合画像を形成する 、画像処理システムおよび付随する方法に関する。 映画やテレビジョンのプログラムを制作するために、娯楽産業は反復するセッ トの設置およびセットの解体を含む「セット」の作成に制作費の５０％も費やす 。典型的なテレビジョンのプログラムの製作に関して、極端な量の時間及び努力 が、セットを繰り返し設置し解体するために費やされている。プロダクションの セットを使用すると共に制作するために必要とされる膨大な時間が、このような セットの有用性を限定し、結果として脚本家およびプロデューサの創造性および 柔軟性を限定する。さらに、複雑なおよび／または大きなセットの利用は、プロ グラムの制作費を増大させる。 セットの利用に関連するコストを削減するために、コンピュータ・グラフィッ クスを使用して対象物や場面を合成的に発生する試みがなされてきた。しかしな がら、細部がコンピュータ発生の画像に加えられるに連れて、処理時間とコスト が劇的に上昇するので、これらのグラフィック技法は一般に細部に欠ける画像を 生成する。そのようなものとして、現在のところ３次元の対象物および場面を粗 雑に（crude）描写するものにコンピュータ・グラフィックスを分類する（releg ate）。さらに、画像詳細の欠如すると、画像をリアルでないまたは合成的な見 かけにする。 今までは、セットを物理的に一度制作し次いで電子的に再使用することを可能 にしセットの様々な視点を表現する（render）と共に、プロダクション・セット を記録する、ことが可能な画像処理システムは存在しなかった。その上、場面を 記録し、場面のいかなる眺望も合成画像として表現し、それから合成画像内に第 ２の画像の対象物をリアルに含む複合画像が形成されるように第２の画像と合成 画像を結合する、ことが可能なステムは存在しなかった。 従って、プロダクション・セットをその後の反復使用のために電子的に画像化 し保存することによって、プロダクション・セットを反復して制作し、設置し、 解体することに関する必要を除く最新のシステムの必要性が、その分野に存在す る。さらに、プロダクション・セットといった場面を画像化し、その場面を電子 的に保存し、動く視点を含むいかなる視点からも画像化された場面をリアルに見 ることを許容し、新視点を表す合成化された画像を他の画像と結合することこと を許容するシステムに対する必要性が、存在する。 本発明は、３次元の場面（例えばプロダクション・セット）を画像化しその場 面の複数の画像を発生すると共に、その複数の画像を画像処理を行うためのシス テムである。画像処理は、複数の画像をメモリから、または直接に画像源から取 り出すこと、画像をモザイクに組み合わせること、場面の新しい視点を選択する こと、その新視点から場面の合成画像を表現することを含む。ついで、この合成 画像は、第２の画像と組み合わされる。第２の画像と合成画像との組み合わせは 、２個の画像のリアルな組み合わせを含む複合画像を発生する。 さらに、第２の画像を生成して行くにつれて、カメラの視点の指標を生成する ために、システムはカメラの姿勢、すなわちカメラの回転、変換およびズームを 監視する。システムは、合成画像内に示される場面の眺望が第２の画像を発生す るために使われるカメラの姿勢をリアルタイムに追跡するように、この姿勢情報 を使用し場面の眺望を更新する。このようなものとして、第２の画像が合成画像 と結合されると、複合画像は場面内の第２の画像の対象物をリアルに示す。例え ば、場面がプロダクション・セットであり第２の画像が一人またはそれ以上の演 技者による演技であるとすると、複合画像はプロダクション・セット内での演技 である。このシステムを用いて、演技が画像化される間にカメラ動作によりカメ ラの姿勢が変化するにつれて、プロダクション・セットの眺望は第２画像カメラ の動作と一致するように表現される。このため、複合画像の観察者には、演技が プロダクション・セットでリアルに起こっているように見える。 本発明の教示は、添付する図面とともに詳細な説明に考慮することによって容 易に理解され、その図面は、 図１は、本発明に従った画像処理システムの高水準のブロック図を示し、 図２は、本発明に従ったプロダクション・セットの画像化する際に有用なハー ドウェア配置の概略図を示し、 図３は、画像のモザイクに基づく表現を示し、 図４は、カメラ追跡処理を実行するために使われる、本発明に従ったハードウ ェアを示し、 図５は、カメラ・パラメータ測定および追跡処理のフローチャートを示し、 図６は、画像組み立て処理のブロック図を示す。 理解を容易にするため、図に共通な同一成分を示すのに、出来る限り同一の参 照符号を用いる。 本発明は、プロダクション・セットといった３次元の場面を記録すると共に、 引き続いてその場面の眺望をいかなる視点からでも再生成するための、画像処理 システムおよび付随する方法である。次いで、このシステムは、再生成された眺 望（合成画像）と、場面から個別的に画像化された、例えば「現実の」演技者の 第２の画像とを組み合わせ、複合画像を形成する。システムは、第２の画像を作 るために使用されたカメラの視点からのその場面の合成画像と第２の画像を組み 合わせる。このようなものとして、場面の「合成的な」眺望は、第２の画像を形 成するために使用されるカメラの動作を追跡する。このため、複合画像は、その 場面環境内での第２の画像内の対象物、例えばプロダクション・セット内で演技 する演技者をリアルに描写する。一般に、場面の画像と第２の画像とはビデオ画 像、すなわち、画像フレームの連続であり、おのおのは画素のアレイを含む。こ のようなものとして、複合画像は、ビデオを形成する一連の画像である。広範な 意味では、本発明は、静止写真といった個々の画像、または映画画像およびビデ オといった動画、またはアニメーション画、またはそれらのいかなる組み合わせ も含む画像の任意のディジタル表示の処理しまた組み合わせるために使用され得 る。 図１は、本発明に従った画像処理システム１０の高水準ブロック図である。特 に、図１は、システムを実現するハードウェアと、システムハードウェアにより 実行されシステムの機能を達成する処理ステップとの組み合わせを示す。 システム１０は、コンピュータシステム３０、場面画像化カメラ１５、第２の 画像化カメラ２０、カメラの方位センサ５５および／またはカメラ位置配置シス テム６０といった少なくとも一つのカメラ・パラメータセンサ、ビデオ録画装置 ２５、コンピュータ・システムに対する一つまたはそれ以上の入力および出力装 置を備える。コンピュータ・システムは、メモリ５０（例えば、ランダムアクセ スメモリ、フロッピ・ディスク、ハード・ディスク等）内に存在し一つまたはそ れ以上のプログラムによって実行することによってプログラムされる中央処理ユ ニット（ＣＰＵ）３５を有する汎用コンピュータ・システムであってもよい。Ｃ ＰＵは、読み出し専用メモリ、電源、コプロセッサ等といったよく知られた支援 回路４０と一緒に機能する。コンピュータシステムは、従来の入力装置によって 制御され、従来の出力装置を経由して情報を表示する。ビデオ録画装置は、ＣＰ Ｕがリアルタイムでビデオを処理できるかどうか、または場面画像化カメラ１５ および／または第２画像カメラからのビデオが処理前に録画されることを必要と するかどうかに依存して使用される随意の（オプションの、optional）システム である。また、ビデオ録画装置は、システムによって発生される出力画像１１６ を保存するために使用される。ビデオ録画装置は、ビデオテープ、半導体メモリ 、ディスク・ドライブ・メモリ、フロッピ・メモリ（floptical memory）等を含 む任意のタイプのビデオ録画媒体を使用してもよい。 このシステムは３つの主要処理、すなわち、セットの様々な画像を容易に処理 しモザイク画像を作るというような様式で３次元の場面を記録する画像描写（re ndering）処理１００、第２の画像を生成しその画像を生成するために使用され るカメラ２０のカメラ位置を追跡する追跡処理１０２、および場面のモザイク画 像から得られる（derived）合成画像と第２画像を組み合わせる複合処理１０４ を実施する。簡単のために、３つの主要処理は単独のコンピュータ３０によって 実施されるものとして示されているが、これらの処理は別個のコンピュータ・シ ステム上で実施され得ることを理解すべきである。このようなものとして、３つ の処理の各々は、異なる場所においてまた異なる時間に実施されることが出来る 。さらに、３つの主要処理は単独のコンピュータで実施されてもよく、異なった 時間に実施されてもよい。 より明確に言えば、ステップ１０６において、画像描写処理は、位置、方向お よびズームといった様々なカメラ・パラメータを用いて動作するカメラ１５を使 用してプロダクションセットの各種眺望を記録する。これらの画像（典型的には ビデオ画像）は、ビデオ記憶装置２５を用いて保存され、またはコンピュータの メモリ内に保存される。ステップ１０８では、セットの様々な画像眺望は、セッ トの画像モザイク表現内に組み合わされる。好ましくは、モザイク表現は、モザ イクがリアルな３次元の画像、つまりモザイクはいわゆる３次元モザイクであり 、この画像を引き続いて再現するための十分な情報を含むように、視差情報と画 像の２次元描写とを含む。 以下の開示から明らかになるように、第２の画像は多くの像（imagery）源に よって供給され得るが、例証として、システムは、第２の画像を形成するために 追跡システム１０２とカメラ２０を使用する。ステップ１１０において、第２の 画像が生成されるとき、システムはカメラ視点の指標も記録する。この指標は、 典型的には、カメラの方位センサ５５および／または位置選定システム６０の少 なくとも１つを使用して測られる位置（ｘ、ｙ、ｚ）、方向（θ、φ、ψ）およ びズーム（Ｍ）といったカメラ・パラメータの少なくとも一つである。これらの パラメータは、複合化処理（composite）１０４によって引き続いて使用される 。 複合化処理１０４は、第２の画像を場面の合成された画像と組み合わせる。特 に、カメラ・パラメータは、合成画像を生成するためにその場面を見るべき視点 を決定するために使用される。ステップ１１２において、システムは、モザイク 表現をカメラ・パラメータと組み合わせ、第２の画像を記録するために使用され るカメラ位置から見られる場面の合成画像を得る（または合成する）。次いで、 ステップ１１４において、システムはこの合成された画像をステップ１１０にお いて生成された第２の画像と組み合わせる。最終画像が、ステップ１１６におい て表示され、そこではこの画像（典型的には画像のビデオシーケンス）は場面内 の第２の画像の対象物を含む。重要なことは、第２画像カメラ眺望は変化する、 すなわちカメラが左右［上下］に動き（パンし、pan）および傾斜する、ときに 、場面の合成画像が変化しカメラの動作に一致する。その結果、第２の画像の対 象物は、あたかも３次元場面と同時に画像化されているように現れる。このよう な ものとして、もし場面がプロダクション・セットであり、また第２の画像が演技 者を含んでいると、複合画像はプロダクション・セット上で演技をしている演技 者を含む。 以下に、画像処理システムを構成する処理の各々を個別に詳細に論じる。 図２は、場面のモザイク表現を発生するために画像描写処理によって使用され る、３次元場面、例証的にはスタジオまたはプロダクションのセット２００内の カメラのハードウェア配置を示す。モザイクは、１９９４年１１月１４日に出願 の譲渡された「モザイクに基づく画像処理システム」と題する米国特許出願番号 ０８／３３９，４９１号に開示され、ここに参照して取り入れた２次元モザイク ・システム、または１９９５年６月２２日に出願された「視差依存法を用いた画 像結合のための方法およびシステム」と題する米国特許出願番号 、代理人 明細書番号１１７８９に開示され、ここに参照して取り入れた３次元モザイク・ システムといったモザイク発生システム（図示せず）によって発生される。これ らのモザイク作成システムの各々は、有用なモザイクを描写するために十分に機 能するであろう。しかしながら、最良の結果を得るためには、３次元モザイク作 成技法が好ましい。 代理人明細書１１７８９出願内に記載されているように、モザイクに関する新 しい視点の３次元の場面および姿勢（回転、変換およびズーム）を表す既存の３ Ｄモザイクが与えられると、システムは場面の合成画像を得ることができる。こ のようなものとして、場面の異なった視点を有する異なるカメラを用いて場面を 捉えることによって、カメラの視点以外の視点からの場面の眺望である画像を合 成できる。勿論、単独のカメラが異なる位置からの場面を画像化する（撮影する ）ために使用され得、これらの画像からモザイクを発生できる。 図２は、スタジオの３Ｄモザイク表現を作成してまたそのモザイクから場面の 合成画像を得るために使われる３次元スタジオ２００（またはプロダクション・ セット）内のカメラのハードウェア配置を示す。スタジオは、システムによって 記録される３次元場面の単なる１タイプを例証するにすぎない。勿論、それは歴 史的事件、スポーツ・イベント等のフィルム場面を含む任意の３次元場面と置き 換えできる。３Ｄモザイク発生処理は、場面を表す１つまたはそれ以上のモザイ クを生成するために場面の複数の画像を用いる。モザイク内の穴やモザイク内の 他の異常を避けるために、モザイクはあらゆる一連の重複する画像から発生され ることができるが、カメラの位置に関する２次元のグリッド（格子）を用いて場 面を慎重に画像化することが最良である。このようなものとして、２次元グリッ ド２０２、複数の１フィート×１フィート平方を規定するものが、セットに近い 領域内にカメラ位置を規定するために用いられる。一般的に、グリッド平方の特 定サイズ、すなわちカメラ位置の数は、場面の複雑性によって変わる。また、グ リッドの形状は、例えばスポーツ・イベントといった記録される場面のタイプが 、グリッドにより制限される可能性があることに依存して変わる。 モザイクに対する画像を生成するために、カメラ２０４はグリッド平方の各々 から画像（または一連の画像、例えばビデオ）を記録する。画像は典型的には、 各グリッド平方について種々のカメラのパン（カメラの左右［上下］への移動、 pan）、傾斜、回転およびズームの位置において記録され、複数の視点から複数 の画像を発生する。画像描写処理は、各カメラ位置において記録された種々の画 像から３Ｄモザイクを発生する。同様に、３Ｄモザイクは、グリッド点の各々に おいて他のカメラ位置について発生される。例えば、（モザイク画像部分のみが 描写される）３Ｄモザイク２０６、２０８、２１０は、グリッド位置２１２，２ １４、および２１６から記録されるような場面を表す。これらの３Ｄモザイクは 、例えば位置２２０から見たような場面を表す合成画像２１８を作るために合体 される（マージされる、merge）。合成の視点において発生される画像は、「実 際の」カメラ視点ではないが、むしろ各種のモザイク内に含まれる情報から合成 される。 モザイクを発生し３次元の場面を正確に表すために、その描写処理は、各カメ ラ位置において記録された画像を登録する。登録処理は、典型的には、階層的な 直接登録技法を使用し、画像をワープして整列させるために使用できる変換パラ メータを決める。一旦整列されると、その画像は場面のモザイクを形成するため に互いにマージ（または融合）させることができる。１９９４年１１月１４日に 出願された米国特許出願番号０８／３３９４９１号は、階層的な直接登録を用い てモザイクを生成するための例証的技法を開示する。さらに、一旦モザイクが発 生されると、従来の画像マージおよび融合技法を用いて追加の画像をモザイクに 追加できる。 より特定的には、図３に示すように、各カメラ位置においてで記録される各種 画像は、複数のモザイク、つまり各グリッド点に対して一つのモザイク３００に 結合される。モザイクの各々を形成するために、カメラは各グリッド点において パンされ、傾斜され、回転され、そしてズームされる。このようなものとして、 各グリッド点に対して、システムは４つのカメラパラメータに関する画像情報を 含むモザイクを発生する。各モザイクは特定の３次元位置に関係付けられている ので、モザイクはアドレス指定可能な３次元配列を形成する。各モザイクは、パ ラメータ変換３０２および動作移動フィールド３０４によってそれの近辺のモザ イクに関係付けされている。画像化されたプロダクション・セットは典型的には 静止状態なので、動作移動フィールドは画像内の対象物の視差、すなわち場面の ３次元構造を表す。この視差運動は、また場面の「形状」とも呼ばれる。換言す れば、カメラがある位置から位置へと移動するにつれて、視差は場面内の対象物 を背景に対して移動させる、例えばカメラがパンするにつれて、前面の椅子は背 景の壁に対して移動するように思われる。あるモザイクを次のモザイクに関係づ けるパラメータ変換だけでなくモザイクも、例えばカメラが物理的に動くときの 背景の動きと、例えば場面の３次元の幾何学的配置を表す視差情報のような動作 移動フィールド情報とを、保存することにより、全体の場面が任意の視点から再 生され、また３次元幾何学的配置は失われない。このため、所与の３次元モザイ クは、場面のパノラマ眺望を表す画像モザイクと場面の３次元幾何学的配置を表 す形状モザイクとを備える。 場面の合成画像眺望を発生するために用いられる処理は、「画像トウィーニン グ（tweening）」として知られる。この処理は、個別モザイク（例えばモザイク ２０６、２０８および２１０）の各々を合成の視点（例えば位置２２０）にワー プする。このため、各３Ｄモザイクが各グリッド点について発生されると、その ３Ｄモザイクはグリッド点に関係するメモリ（モザイク蓄積装置２２２）内に保 存される。新しい視点位置が与えられるとモザイクがメモリから呼び出され新し い視点から場面を表す合成画像を発生する。画像化される場面の複雑性に依存し て、システムはメモリ内の３Ｄモザイクの各々、またはそれらモザイクのある小 さな一組（subset）を再呼出しことができ、例えば新視点に最も近いそれらのモ ザイクのみを再呼出しする。画像トウィーニング処理２２４を用いて、再呼出し された各３Ｄモザイクは新視点（例えば位置２２０）にワープされ（warp）、ま たモザイクは新しい眺望画像２１８を形成すためにマージされる。画像合体（画 像融合としても知られる）は、典型的には合成画像を形成するために使われる様 々なモザイクの画素（ピクセル、pixel）を平均化することによって達成される 。しかしながら、画像マージの他の形式が当業者に知られ、これら３Ｄモザイク に適用され得る。画像融合技法の例については、付与された米国特許番号５，３ ２５，４４９および米国特許出願番号０８／０５９，６１６を見られたい、また ここに参照することのよって取り入れる。画像トウィーニング処理によって発生 された結果は、場面２００の新視点を表す合成画像（例えば画像２１８）である 。合成画像はリアルタイムで作られるので、下記に論ずるように、合成画像は第 ２の画像のリアルタイム作成物と組み合わせられる。 勿論、この描画処理は、プロダクション・セットのグラフィック画像を発生す るコンピュータ支援デザイン（ＣＡＤ）処理に置き換えたり補強することができ る。コンピュータの処理力がより高価でなくなるので、ＣＡＤ処理が手頃なコス トでプロダクション・セットのリアルな画像を発生し得るであろうことは予見さ れる。典型的には、グラフィック的に発生される画像は、「リアルな」画像を模 擬する生地（texture）を用いて「塗られた」複数の相互に連結された多角形（ ポリゴン）を構成する。生地は、多角形により表される表面上に写される各種の 前もって計算されまたは捕捉された画素パターンを含む。改良された計算によれ ば、多角形およびそれに関連する生地が写実性を達成できる。 このようなグラフィック的に発生された場面は、場面の異なる眺望を表す複数 のモザイクを構成することができる。大量の時間が、場面のグラフィック画像を 発生するために費やされる可能性がある。これらのモザイクは表現され、上記の ごとく、場面の任意の視点をリアルタイムで合成することを可能にする。このよ うなものとして、グラフィック的に発生される場面は、上記で論じたモザイクと 同様な方法で用いられ、合成視点からの合成画像を発生される。結果的に、時間 と費用は、グラフィック的に発生される場面の画像を発生するために費やされ得 るが、一旦それらが発生されると、本発明のシステムは場面の新眺望をリアルタ イムで表現できる。 カメラは第２の画像を発生するために用いられるが、カメラの追跡処理はハー ドウェアとソフトウェアの組み合わせを用いカメラに関する視点の各種の指標を 追跡し記録する。図４は、第２の画像の一人またはそれ以上の演技者の演技（図 示せず）および／またはある他の対象物を画像化するためのカメラ２０と、視点 の指標を保存し補正するためのコンピュータシステム３０とを含むサウンドステ ージ４０２を示す。この例証的例に関しては、視点の指標は少なくとも一つのカ メラパラメータであり、また典型的にはコンピュータシステムによって補正され る一組のカメラパラメータである。補正された一組のカメラパラメータを用いて 、第２の画像が引き続いて合成画像と組み合わされ複合画像を発生される。 典型的には、画像複合処理中にクロマ・キー（chroma-key）技法の使用を容易 にするために、第２の画像の対象物は青い（または時には緑の）スクリーンの前 に置かれる。例証の部屋４０２では、壁４０４は青に塗られている。カメラ位置 の追跡を助けるために、壁は部屋４０２の上部の周りに配置される一連の指標４ ０８、例えば画像化されている場面の外側にある青い壁上の青いＸを含む。勿論 、指標はスタジオ内の床上または任意の他の位置にあっても良い。これらの指標 は、互いに同じであるかまたは特有であってもよい。さらに、青い壁上に青い指 標を使用することによって、指標は容易に第２の画像から抽出され、合成画像と 組み合わせるための第２の画像の対象物のみを残す。 好ましくは、これらの指標４０８は、第２画像カメラ２０の頂上に位置する一 つまたはそれ以上の「追跡」カメラ４０６（その一つを表示）によって連続的に 画像化される。それとは別に、詳細を下記に論ずるように、第２画像カメラが第 ２の画像を生成するときに、指標は第２画像カメラによって直接画像化されても よい。いずれの場合も、一旦処理され合成画像と組み合わされると、指標はもし 少しでも現れると、画像複合処理によって第２の画像から抽出されるように設計 されているので、指標は第２の画像の部分とはならない。 追跡カメラに加えて、第２画像カメラがズームセンサ４１０および各種のカメ ラ方位センサ４１２とともに用意される（outfit）。高速コンピュータシステム ３０が、カメラのパラメータだけでなく追跡カメラからの出力ビデオを保存する 。別法として、追跡カメラのビデオ信号は、別に、ビデオテープのようなビデオ 信号記録媒体に保存されてもよい。同じように、第２画像カメラからのビデオ信 号（今後、演技画像または第２の画像と称する）は、合成画像とリアルタイムに 組み合わせるために直接に複合化処理に送られるか、その代わりに、ビデオ信号 はビデオテープといった記録媒体に記録されてもよい。 カメラ位置の決定は、２つのステップを用いて達成される、すなわち、ステッ プ１では、システムはカメラ位置を粗く見積もりをするためにカメラパラメータ を直接測定し、そしてステップ２では、ステップ１のカメラパラメータを改善（ 訂正）するために追跡カメラによる指標画像（以後「参照画像」と呼ぶ）を用い る。第２の画像を生成する間にカメラが移動するに連れて、コンピュータ３０は パラメータメモリ４１４内に７つのカメラパラメータ、すなわち、位置（ｘ，ｙ ，ｚ）、回転（θ）、パン（φ）、傾斜（ψ）およびズーム（Ｍ）を記録する。 位置パラメータを発生するために、位置配置システム６０は、例えば部屋の隅で あるように任意に選択された原点に相対してｘ，ｙ，ｚ位置を測定する。他のカ メラパラメータを発生するために、システムは、カメラのパン、傾斜、回転、お よびズームを追跡するための商業的に利用できるセンサシステム、例えばカリフ ォルニア州のアルティメット コーポレーション オブ チャッツワース製のメ モリヘッドを用いる。 カメラ位置パラメータ（ｘ，ｙ，ｚ）は、超音波、赤外線、または広域スペク トル技術に基づいた位置配置システムを用いて達成される。例えば、典型的な商 業的に利用できる超音波距離測定器は、１．５パーセントの精度を有する。典型 的なスタジオでは、３次元の位置を決定するために３つの超音波距離測定器を用 いて、そのような精度はカメラ位置の誤差が３インチ未満となる。カメラパラメ ータにおけるこのような精度は、カメラ位置を見積もるためには十分であるが、 演技画像を合成画像と組み合わせることによってリアルな画像を発生するために 十分な精度まで位置を見積もりを一段と高める（refine）ために、さらなる情報 が追跡カメラから必要になるであろう。パラメータ補正は、処理４１６で達成さ れる。補正されたカメラパラメータは、第２の画像と合成画像とを組み合わるた めに複合化処理によって用いられる。 あるスタジオでは、カメラ位置、もし一つを越えるカメラが使われるならば複 数のカメラ位置が固定される。これらの配置では、位置原点に相対的なカメラ位 置が、固定され、また一度だけ決めるられる必要がある。その後は、カメラの動 作は、パン、傾斜、回転、およびズームの商業的に利用できるセンサによって専 ら測られる。これらのセンサは、直接に測定したパラメータのさらなる高精度化 （refinement）や補正なしに、カメラパラメータを決めるために十分な精度であ る。従って、追跡カメラおよびスタジオの指標は必要ないでしょう。 図５は、カメラ視点の指標を生成するカメラパラメータ測定および補正処理５ ００の詳細フローチャートを示す。この処理は、カメラ視点の指標を作るために 利用可能な多くの技法のうちの２例を含む。本発明は、さらなる高精度化なしに カメラの位置と方向を単に正確に測定することを含むこれらの技法のいずれを含 めてもよい。 本発明のシステムは、例証的に２つのカメラパラメータの高精度化する方法の １つを用いる。カメラパラメータは、一緒にすると、カメラの動作を規定する。 第１の方法５１０はスタジオのシンボリック表現を用い、第２の方法５１２はス タジオの画像表現を用いる。 スタジオのシンボリック表現のためには、各ランドマーク（目印）の位置は、 ステップ５１４で、例えばスタジオの隅に座標システムの原点を有する、固定さ れた座標システムを参照した絶対値（absolute terms）で予め測定される。ステ ップ５２４において提供される追跡カメラ画像を用いて、本方法はカメラの姿勢 、すなわち、参照座標システムに相対するカメラの回転、変換およびズームパラ メータを決定する。カメラの姿勢は、ステップ５１６において先ず測定されたカ メラパラメータを用いて動作を見積もり、次いでその値を姿勢算定処理を用いて 見積もりを高精度化（補正）することによって計算される。場面の方位指標を用 いてカメラ姿勢の決定および見積もりは、よく知られた技法である。例えば、ク マー（Ｋｕｍａｒ）らの「姿勢見積もりの粗い方法および感度解析」、ＣＶＧＩ Ｐ、イメージ・アンダースタンディング、６０巻、３号、１１月、３１３頁〜３ ４２頁（１９９４年）を参照しなさい。この技法を用い、また画像における指標 間の 対応が与えられると、本技法は、参照または「世界」座標システムを「カメラ座 標システム」へ写像する（map）回転および変換マトリックスを決定する。この 論文に記載されている技法は、センサによって先ず見積もられたカメラ姿勢が高 精度化され正確なカメラパラメータを計算するように、スタジオの壁の指標に適 用される。本システムは、十分な精度が得られるまで、参照画像の画像ピラミッ ド表現の水準を通してカメラ姿勢を繰り返す。ステップ５２０で、本システムは 補正されたカメラ姿勢を出力する。 スタジオの画像表現については、ステップ５０２において、スタジオ全体が室 内の種々の既知の位置（例えば、グリッドパタンを用いて）から画像化され、ま た追跡カメラからのビデオ信号は一連の参照画像として保存される。ステップ５ ０４では、指標のこれらの参照画像は、カメラ位置配置システムと方位センサに よって測られるようなカメラ位置の配列を参照して保存される。配列は、グリッ トパターンを持つ各グリット位置において測られものとしてカメラ位置を各参照 画像内の指標の特定の眺望に写像する（map）。このような方法で、ステップ５ ０６において、カメラ動作（例えば、既知の参照座標システムに関連するカメラ の回転、変換およびズームを表す一組のカメラパラメータ）が与えられると、シ ステムは、ステップ５０８において、指標の特定の眺望を呼び戻す、すなわちシ ステムは特定の参照画像を呼び戻す。典型的には、画像を用いて素早い計算を可 能にするために、各参照画像は画像ピラミッドとして保存される。画像ピラミッ ドは、各水準が前の水準より低い解像度を有する一連の水準として単一の画像を 表す際に使われることは、当業者によく知られていることである。一般に、画像 ピラミッドは、より低い解像度を持つ水準を作るために、各ピラミッド水準内に ラプラシアンまたはグアシアン・フィルタ画素によって形成される。画像処理法 分野において画像ピラミッドを使用する２例がアンダーソンらの米国特許番号４ ，６９２，８０６号および、ファン・デル・ワルの米国特許番号４，７０３，５ １４号に開示されている。画像表現を用いて、参照画像自身が、測定されたカメ ラパラメータと参照整列情報との間の相対的整列を計算するオフセット・パラメ ータを計算するために用いられる。 カメラパラメータが各参照画像と関連づけられるので、これらのカメラパラメ ータは各参照画像を発生するためのカメラの姿勢である。本カメラパラメータは 、測定されたカメラパラメータによって同定される本カメラ位置に向かって最も 近いグリッド位置から撮られた画像を表現する参照画像をメモリから選ぶために 用いられる。その後、本システムは、ステップ５２２で、ステップ５２４で提供 される演技画像と関連づけられた指標の画像（以後「ランドマーク画像」と呼ぶ ）を用いて参照画像をワープさせ（warp）整列させる。反復処理を施すために、 ランドマーク画像は、典型的にはフィルタされ画像ピラミッドを形成する。画像 をワープすること（warping）は,ステップ５２６を通じて、参照画像がランドマ ーク画像と正確に整列されるまで、参照画像とランドマーク画像との画像ピラミ ッドにわたって反復して行われる。参照画像とランドマーク画像を整列するため に必要な変換は、ステップ５２８において、各種センサ、特に位置配置システム によって報告されるものとしてカメラパラメータの不正確さを示す一組のオフセ ットパラメータを生成する。これらのオフセットパラメータは、次いでステップ ５３０において、測定されたカメラパラメータを補正し部屋の原点に相対するか なり正確なカメラ位置を達成するために用いられる。ステップ５３２で出力され る補正されたパラメータは、参照座標システムに相対する実際のカメラ位置を示 す。このような画像調整法は、Ｋ．Ｊ．ハンナの「エゴ運動と運動からの構造と の直接的な多重解像評価」、可視運動の関するＩＥＥＥワークショップの議事録 、ニュージャージー州プリンストン、１９９１年１０月７−９日、１５６〜１６ ２頁、および参照としてここに取り入れた、ハンナの付与された米国特許番号５ ，２５９，０４０によって開示されている。加えて、付与された米国特許出願番 号 ，代理人明細書番号１１７８９，「視差依存技法を用いる画像組み合 わせのための方法とシステム」という発明の名称である、１９９５年６月２２日 に出願され、またここに参照として取り入れたものが、画像整列法を開示してい る。 別に、本システムは、追跡カメラを用いすことなく、第２画像カメラを用いて 指標を画像化することによってカメラ位置を追跡する。このようなものとして、 指標画像は、本質的に、第２の画像内に埋め込まれ、そして参照画像は第２画像 カメラを用いて予め記録される。この別法では、第２画像カメラの視野は、第２ の画像の対象物だけでなく指標も画像化するために十分なほど広い。オフセット パラメータを計算するために用いられる処理は、上記と同じままであり、例えば 、参照画像がワープされ（warp）ランドマーク画像（ここでは第２画像の一部） と整列され、参照および指標の画像を整列するために使用される画像ワープ（im age warping）の程度に基づいてオフセットパラメータを計算する。引き続いて 、画像の構成中に、指標は最終画像から隠す（mask）ことができる。カメラ方位 指標の追跡および利用に関する各種技法は、１９９４年３月３１日出願の譲渡さ れた米国特許出願番号０８／２２２，２０７号、１９９５年１月３０日出願の出 願番号０８／３８０，４８４号，および１９９５年５月３１日出願の出願番号０ ８／４５６，０２０号に論じられている。これら各特許出願の開示は、ここに参 照することによって取り入れる。 さらに、パラメータのいくつかは、他のパラメータほど正確に決める必要がな い。このようなものとして、絶対的なカメラ位置の計算は単純化される。単純化 は、ズーム、パン、傾斜、および回転といったカメラパラメータのいくつかの平 滑化（スムージング、smoothing）を含み、一方、位置パラメータ（ｘ，ｙ，ｚ ）といった他のパラメータは上記のランドマーク画像化技法の一つを用いて補正 される。このような方法で、指標画像化技法は、３つの変数に唯一に適用する必 要があり、４つの他の変数は測定されたパラメータの平均化または内挿を用いて 数学的に計算される。 前節は、場面（例えば、プロダクション・セット、背景の画像等）の３次元の モザイクを発生することと、第２の画像に関連づけられる視点の指標だけでなく 第２の画像もまた発生することとについて論じた。前節の論議は追跡処理を用い て第２の画像を作成することに焦点を当てたが、第２の画像はコンピュータグラ フィックス、アニメーション技法、第２の３Ｄモザイクから表現される第２の合 成される画像、歴史的フィルム、写真等を含むあらゆる数のソースによっても発 生されることができる。本節では、本発明のシステムが第２の画像を場面の３次 元モザイクから抽出した合成画像と組み合わせる処理について記述した。その結 果は、場面内に第２の画像の対象物を示すリアルな複合画像である。 図６は、画像複合化処理１０４のブロック図を示す。上記のように、画像描写 処理１００は、経路６０６上において、場面の複数の画像６０２および６０４か らの合成画像を提供する。トウィーニング処理は、カメラ追跡処理１０２中に、 経路６１２上に、生成された補正カメラパラメータを用いて合成画像を発生する 。７つの補正カメラパラメータは、画像描写処理１００内でトウィーニング処理 への入力を形成する。これらの７つのパラメータから、トウィーニング処理は、 場面が第２画像カメラの位置から見られるように場面（例えばプロダクション・ セット背景場面等）の眺望を表す合成画像を画像モザイクから発生する。 従来のクロマ・キー画像構成技法を用いて、経路６１４上における第２の画像 が、経路６０６上における合成された画像と組み合わされる。一般的に言えば、 クロマ・キー技法は、青の画素検出器６０８を用いて、青色を有する画素のため の第２の画像を監視する（モニタする、monitor）。検出された各青の画素は、 画素位置を基本に画素位置上において、合成された画像からの画素と置換される 。この置換処理は、スイッチ６１０により例証される。複合あるいは最終の画像 １１６は、合成された画像と第２の画像との継ぎ目のない組み合わせである。本 システムは、出力画像が典型的なビデオ信号であるような、ビデオの各フレーム に関する複合化処理を実行する。加えて、第２の画像を生成するカメラが参照シ ステムに関連して動くと、場面がカメラ位置とともに変化するような更新され合 成された画像を生成するために、新しいカメラパラメータがトウィーニング処理 に送られる。このようなものとして、本システムは、場面内の第２の画像の対象 物のビデオ画像を生成する。第２の画像の対象物が演技でありまた場面がプロダ クションセットであるならば、セットは高価な設置や分解の費用なしに再使用で きる。このようなシステムは、ほとんどいかなるプロダクションにとっても、制 作費と制作時間を節約させる。 クロマ・キー技法を使用しない画像組み合わせへの別のアプローチが利用可能 である。一つのこのようなアプローチは、譲渡された米国特許出願番号０８／０ ５９，６１０号、代理人明細書番号１１０２３ 出願の名称「画像融合の 方法およびその装置」、および付与された米国特許番号５，３２５，４４９号に 開示され、ともに参照することによってここに取り入れる。本発明は、第２の画 像からの指標だけでなく背景（またはその一部）も隠しまたは除くことができ、 除かれたり隠されたりした部分を合成された画像の適当な部分と置換できる任意 の画像複合化技法を使用できる。 時には、合成された画像は、演技を記録する中に使用される照明効果にふさわ しくない照明効果を含むことがある。本システムは、処理に合う各種の照明を用 いて、この問題に適応できる。 具体的には、複合画像を生成する際にさまざまな光のレベルを調節するために 、モザイクに関する個別の画像を発生させる間中３つの異なる光レベルを使用す る。事実、各グリット点に関して３つのモザイクが生成され、１つのモザイクが １つの光レベルに関して発生される。画像合成中には、合成された画像は、合成 された画像内の各画素に対する３つのモザイクの画素照度を内挿することによっ て生成される。内挿で用いられる荷重はユーザが定義するので、システム・オペ レータは演出画像において照明に適合する照明レベルを達成するために、３つの モザイクの内の１つの包含の程度や排除の程度を調節できる。 先の照度補償処理に加えて、本システムはある数の画像フィルタ技法や画像強 調技法を使用し、画像の特定の部分（portion(s)）の照度レベルを調節してもよ い。例えば、第２の画像の物体を照射するために使用される光の方向に直角な表 面を有する合成された画像内の物体を強調し、照射もされているように見えるよ うにできる。このような方法で、場面の合成された画像は、第２の画像と同時に 記録されたごとく見える。 具体的には、照射が場面上に投影されると、照明と直角な構造体は通常はコン トラストを有する。新しい照明方向を合成する１つのアプローチは、さまざまな 配向において画像を構造に分解し、その構造をおのおのの配向において修正し、 次にその画像を再組み合わせして変更された出力画像を生成することである。例 えば、１つの画像は、配向されたラプラス・ピラミッドを用いて勾配のある配向 およびスケール（scale）のいくつかのバンドに分解できる。このピラミッドは 、変更されていないすべてのバンドを合計すると最初の画像になるという特性を 有する。画像上に異なる照明角度の効果を合成するために、望ましい合成照明角 度に直角な配向バンドは増幅され、望ましい照明角度に並行な配向バンドは減衰 される。図示するために、配向されたラプラス・ピラミッドは、さまざまなスケ ールにおけるフィルタされた一組の４画像になる入力画像から計算されることが で きる。次に、フィルタされた各画像を生成したフィルタ配向と望ましい合成照明 との間が成す角度のコサインが計算される。次に、フィルタされた画像にこの利 得を乗算する。これは、各スケールにおける各配向について実行される。次に、 画像は再組み合わせされ出力画像を生成する。調節することによって、オペレー タが望ましい照明が得られるまでさまざまな照明設定を反復することを可能とす る。 その上、フィルタされた各画像に関する単一利得よりはむしろ画像構造に依存 して適応的に、配向フィルタ出力に対する利得を調節できる。このことは、より 正確な照明合成を考慮している。なぜなら、特定の画像特徴を他の特徴と異なっ て処理できるからである。例えば、明暗のはっきりとした（hard）影エッジを明 暗のはっきりとした物理的エッジと区別でき、操作可能なフィルタ等は、基礎の フィルタの小さいセットだけを用いて任意の配向においてフィルタをかけること を考慮できる。これは、画像表示がより豊かになるので、より正確な照明合成を 考慮することができる。 本発明によるシステムは、引き続いて繰り返し使用するためのプロダクション ・セットを撮像する例示の応用以外にも多くの実用的な用途がある。他の応用分 野にはビデオ・ゲームの製作があり、逐次的な合成画像がゲームが進行するにつ れて発生されるように「リアルな」場面を表現することができる場合である。第 ２の画像は、コンピュータで発生されたアニメーションのキャラクタでもよい。 このキャラクタは、例えば、システムに接続されたジョイ・スティックなどの入 力装置を操作するユーザによって指示されるように場面を動き回るであろう。各 ユーザ・コマンドに対して、新しい合成場面画像が場面モザイクから表現される 。このようなものとして、ユーザは描写処理に用いられた視点指標を制御して、 またアニメーション化されたキャラクタはその視点の後に続くであろう。さらに 、キャラクタは、キャラクタが現在の視点に従って第２のモザイクから作成され るように第２のモザイクから合成されることができる。その上、多分コンピュー タ・ケームの他のプレーヤを表す他のキャラクタを同様な方法で場面に追加でき る。その結果、仮想現実が生成され、各ユーザ視点に従って位置と外見を変える 場面内のさまざまな物体やキャラクタを表す。 本発明の教示を包含するさまざまな実施態様を詳細に記述されると共に示され たが、これらの教示を包含したまま他の多くの変更例を工夫することが当業者に は可能であろう。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 バーゲン，ジェイムズ，アール. アメリカ合衆国 ニュージャージー州 ホ ープウェル イースト プロスペクト ス トリート 57 (72)発明者 ハンナ，キース，ジェイムズ アメリカ合衆国 ニュージャージー州 プ リンストン ジョン ストリート 212 (72)発明者 ウィリアムズ，ケヴィン アメリカ合衆国 ペンシルヴァニア州 ヤ ードリー マディソン ドライヴ 1213 (72)発明者 ティンカー，マイク アメリカ合衆国 ペンシルヴァニア州 ヤ ードリー ハイランド ドライヴ 35

Claims (1)

1. 【特許請求の範囲】 １．場面の複数の第１の画像を含むモザイクを発生するステップと、 第２の画像を発生するステップと、 前記第２の画像を発生すると同時に視点の指標を生成するステップと、 視点の前記指標に応じて、前記モザイクから合成画像を表現するステップと、 前記合成画像を前記第２の画像と合成し、複合画像を生成するステップと、 を備える画像処理の方法。 ２．前記モザイクは複数のモザイクである、請求項１に記載の方法。 ３．前記第２の画像を発生する前記ステップは、第２のモザイクから前記第２の 画像を表現するステップを含む、請求項１に記載の方法。 ４．視点の前記指標は少なくとも１つのカメラ・パラメータである、請求項１に 記載の方法。 ５．第２の画像を発生する前記ステップは、クロマ・キー技法を使用して該第２ の画像から除去できる色を有する背景の前で演技を画像化するステップを更に備 える請求項１に記載の方法。 ６．視点の指標を生成する前記ステップは、３次元位置、パン、傾斜、回転およ びズームであるカメラ・パラメータの群から選択された少なくとも１つのカメラ ・パラメータを記録するステップを更に備える請求項１に記載の方法。 ７．視点の指標を生成する前記ステップは、 前記第２の画像として演技が画像化される場所に近くの複数の指標を提供する ステップと、 前記第２の画像を発生すると同時に前記複数の指標を参照画像として画像化す るステップと、 を更に備える請求項１に記載の方法。 ８．前記ランドマーク画像化ステップは、カメラを使用して前記第２の画像を発 生するステップを更に備える請求項７に記載の方法。 ９．前記第２の画像を発生するために使用されたカメラとは別個の追跡カメラを 用いて前記ランドマーク画像化ステップが遂行される請求項７に記載の方法。 １０．複数の視点から見られた前記指標を表す複数の参照画像を画像化するステ ップを更に備える請求項７に記載の方法。 １１．前記複数の参照画像を用いて視点の前記指標を補正するステップを更に備 える請求項１０に記載の方法。 １２．視点の前記指標によって示される視点を最も良く表す視点を表す参照画像 を選択するステップと、 前記選択された参照画像をワープさせ、視点の前記指標によって表される前記 視点から発生されたランドマーク画像と整列させるステップと、 前記整列に応じて、視点の前記指標を補正するためのオフセットパラメータを 計算するステップと、 前記補正された視点の指標に応じて、前記合成された画像を発生するステップ と、 を更に備える請求項１１に記載の方法。 １３．指標の絶対位置を測定するステップと、 前記指標の絶対位置と視点の前記指標によって表されるカメラ位置の測定値と に応じてカメラ位置を計算するステップと、 を更に備える特徴とする請求項１１に記載の方法。 １４．前記モザイクは、場面のパノラマ的眺望を表す画像モザイクと場面の３次 元幾何学的配置形状を表す形状モザイクとを含む３次元モザイクである、請求項 １に記載の方法。 １５．前記合成画像は前記３次元モザイクから表現される、請求項１４に記載の 方法。 １６．前記モザイク発生ステップが、 複数のグリット点から場面を画像化するステップと、 前記グリット点の各々においてモザイクを発生するステップと、 特定のグリット点を基準にして前記モザイクの各々を保存するステップと、 を更に備える請求項１５に記載の方法。 １７．前記グリット点の各々においてモザイクを発生する前記ステップは、 グリット点の各々において複数のモザイクを発生するステップであって、この グリット点では前記モザイクの各々が場面の異なる照明レベルにおいて発生され 、 前記合成された画像と前記第２の画像との照明レベルを一致させることによっ て前記合成された画像を作成するステップと、 を更に備える請求項１６に記載の方法。 １８．視点の指標はユーザ制御の入力装置によって生成される、請求項１に記載 の方法。 １９．場面を表す第１の画像のモザイクを発生するためのモザイク発生手段と、 第２の画像のために視点の指標を発生するための視点指標手段と、 前記モザイク発生手段および前記視点指標手段に接続され、視点の指標に対応 する場面の眺望を表す前記モザイクから導かれる合成画像を生成するための描写 手段と、 前記表現手段および前記視点指標手段に接続され、前記合成された画像と前記 第２の画像とを組み合わせ複合画像を形成するための合成手段と、 を備える画像処理システム。 ２０．前記モザイク発生手段は、 複数のモザイクを発生するための手段であって、前記複数のモザイク内の各モ ザイクは固有の位置からの場面のパノラマ的眺望を表すための手段を、更に備え る請求項１９に記載のシステム。 ２１．前記視点指標手段は、 前記カメラが前記第２の画像を生成するにつれて前記カメラの位置を追跡する ための手段と、 前記追跡手段に接続され、前記カメラ姿勢を視点の指標として発生するための 手段と、 を更に備える請求項１９に記載のシステム。 ２２．前記視点指標手段は、ユーザ・コマンドに応じて、視点の前記指標を生成 するための手段を、更に備える請求項１９に記載のシステム。 ２３．前記合成手段は、クロマ・キー処理を用いて前記合成された画像と前記第 ２の画像と組み合わせるための手段を、更に備える請求項１９に記載のシステム 。 ２４．前記カメラ姿勢は、３次元位置、パン、傾斜、回転およびズームであるカ メラ・パラメータの群から選択された視点の指標を含む、請求項２１に記載のシ ステム。 ２５．第２の場面を表す画像の第２のモザイクを発生するための第２のモザイク 発生手段と、 前記視点指標手段および前記第２のモザイク発生手段に接続され、前記第２の 画像を生成するための第２の作成手段と、 を更に備える請求項１９に記載のシステム。