JP4242495B2 - 画像記録装置並びにその位置及び向きの決定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像ベースでレンダリング（描画）する装置及び方法に関する。特に本発明は、後で３次元構造又は環境を再構成するためのデータを提供するために、光フィールドを用いてカメラの動きをトラッキングする装置及び方法に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
コンピュータグラフィック業界は、多数収集した２次元画像を用いて３次元のオブジェクト又は環境を表現する方法に、ますます関心を持つようになってきた。この方法は、画像ベースレンダリングと呼ばれる。オブジェクト又は環境を表現する１つの方法は、光フィールドを用いる方法である。
【０００３】
光フィールドとは、３次元自由空間Ｒ³ の入射ラインの集合上に誘導された放射輝度による３次元シーンのあらゆる表現である。光フィールドには、２次元画像を収集したものとしてこの放射輝度をサンプリングし記憶する表現、及び３次元自由空間Ｒ³ のラインを表現するデータ構造にこの放射輝度をサンプリングし記憶する表現が含まれるが、これらの表現に限定されるわけではない。
【０００４】
例えば、２次元画像のオブジェクト又は環境をカメラ位置の２次元集合Ｐにおいて高密度にサンプリングすると、Ｐを通過する全てのライン沿いに見られる放射輝度がサンプリングされている。これらの放射輝度は、例えば、各要素が３次元自由空間Ｒ³ の１ラインに対応する４次元アレイに記憶することができる。３次元集合の位置から捕獲したオブジェクトのあらゆる画像は、このアレイから適切なラインを収集することにより再構成することができる。このような表現を光フィールドと呼ぶ。
【０００５】
図１及び下記の説明を参照すれば、光フィールドを最も良く理解できるであろう。図１は光フィールドの光スラブ表現を示している。３次元自由空間Ｒ³ の２つの平行な平面Ｐ₁ 及びＰ₂ を通過するラインの集合を考えてみよう。平面Ｐ₁ の点ｐ₁ 及び平面Ｐ₂ の点ｐ₂ の各対は、唯一のラインを画定する。Ｐ₁ 及びＰ₂ に平行なラインを除く各ラインは、点ｐ₁ 及びｐ₂ の唯一の対を画定する。従って３次元自由空間Ｒ³ の全てのラインの集合は４次元空間であり、この４次元空間は、点ｐ₁ 及びｐ₂ を指定するのに必要な４つの座標(u,v,s,t) によりパラメータ化されることができる。
【０００６】
Ｒ³ の指定の点ｐを通るラインは２次元の部分集合を形成し、この２次元の部分集合はこのパラメータ化に基づく平面である。画像は、ｐを焦点としたこの「ラインの平面」の矩形の部分集合である。
【０００７】
これらのような光フィールドは、オブジェクトの多数の画像を含む４次元空間のラインの部分集合を収集することにより画像を再構成するのに用いることができる。４次元空間のラインの部分集合は、画像記録デバイスをオブジェクトに向け、２次元の矩形を横切るように画像記録デバイスを物理的に走査することによって、収集される。ラインの２次元の集合は、それぞれの画像記録デバイスの位置で収集される。全ての画像のラインは、２つの平行な平面（一方は動いているカメラを含み、他方はオブジェクトの前にある）を用いてパラメータ化され、４次元アレイとして記憶される。４次元アレイの各ライン沿いに見られる放射輝度は、ライン座標によりアドレスされる。２つの平面付近の３次元のどこかに焦点を有するオブジェクトの画像は、このアレイからそのラインそれぞれの放射輝度を収集することにより、抽出することができる。このようにして、画像はリアルタイムで再構成することができる。
【０００８】
これらの光フィールドは、適当な大きさに圧縮することができ、ハイエンド(high-end)装置においてリアルタイムでレンダリングできるほどに速くアクセスすることができる。しかし、これらの光フィールドを捕獲する方法は、コンピュータ制御されたカメラのガントリーのようなデバイスを用いて、２次元の平面を横切るようにカメラを機械的に走査する方法に限られてきた。このようなデバイスについては、レボイ(Levoy) らの“Light Field Rendering ”(Computer Graphics Proceedings, SIGGRAPH '96, P.528, 531-542) に開示されている。これらのデバイスにおいて、コンピュータは、光フィールドを捕獲するプロセスの各フレームでカメラの位置をトラッキングし続ける。このようなデバイスは通常高価であり、扱うことのできるオブジェクトの大きさが指定の領域及び範囲に限られており、製造し使用するのに多くの時間と金を投資する必要がある。
【０００９】
光フィールドを捕獲するもう１つ別の方法は、基準点、つまり３次元自由空間Ｒ³ にあり何らかの座標フレームでその正確な位置がわかる点を用いる方法である。ゴートラー(Gortler) らの“The Lumigraph ”(Computer Graphics Proceedings, SIGGRAPH '96, P.528, 543-554) は、基準点を用いて３次元環境の画像を得る１つの方法を開示している。しかし、この方法では、環境内に多数の基準点を設け、画像フィールドのこれらの基準点を各画像を捕獲する間維持する必要がある。従って、カメラの動ける範囲が、多数の基準点のある領域に限られてしまう。
【００１０】
従って、手持ちカメラを用いて、特定の可動領域、即ち基準点を含む領域に制限されることなく、３次元環境の画像を捕獲することができれば、有益でありより実用的であろう。しかし、手持ちのデバイスを用いる際に根本的に困難な点は、画像を捕獲するプロセスの各フレームにおけるカメラの位置及び向きをトラッキングする点である。
【００１１】
カメラトラッキングという問題は、コンピュータビジョンに頻繁に起こる。カメラトラッキングの１つの技法は、１つの画像フレームから次の画像フレームへの光のフローを測定することである。この技法において、各ピクセルは最も良くマッチングするカラーを有する隣接したピクセルに一致すると仮定される。ピクセルの動きの全体の組み合わせが、カメラの動きと解釈される。この方法は、２つの連続した画像フレーム間の動きをトラッキングする場合に用いると、良い結果を得ることができる。しかし、環境を捕獲するのに必要とされるような多数のフレームに対しては、カメラ位置に関するエラーが急速に増加する。
【００１２】
カメラトラッキングのもう１つ別の技法は点対応方法であり、（例えばオブジェクトの角のような）外面的特徴で区別できる点を画像から抽出し、この点を１つの画像フレームから次の画像フレームへとトラッキングする。これらの点は、カメラトラッキングの間基準点の役割を果たす。この方法は光のフローを測定する方法よりは良い結果を得ることができるが、同じ３次元の点を画像フレームから画像フレームへとトラッキングするのは困難であり、この方法自体かなり時間がかかり厄介である。
【００１３】
さらに、カメラトラッキングし３次元環境の画像を捕獲し後でその環境を再構成する際の問題は、任意の映像のシーケンスからデータを捕獲する際の問題とは異なる。カメラのオペレータは、自分がその環境のデータを捕獲しようとしており、そのために特定の方法でカメラを動かそうとしていることを知っている。従って、対話式データ収集システムはカメラのオペレータにフィードバックすることができ、しっかりとカメラトラッキングを続けて所望のデータを得るための指示をオペレータに与える。
【００１４】
【課題を解決するための手段】
本発明は、画像記録デバイスの動きをトラッキングする方法及び装置を提供する。この方法及び装置においては、手持ちの画像記録デバイスを用いることができる。
【００１５】
本発明はまた、光フィールドを用いて画像記録デバイスの動きをトラッキングする簡単な方法及び装置も提供する。
【００１６】
本発明はさらに、オペレータにフィードバックして、光フィールドを十分に含む連続フレームを捕獲する、対話式システムを提供する。
【００１７】
本発明はさらに、オペレータにフィードバックして、３次元構造を再構成するための十分なデータを提供する、対話式システムを提供する。
【００１８】
本発明の方法及び装置は、フレームのラインに沿った放射輝度及び前のフレームの対応するラインに沿った放射輝度をチェックすることにより、各フレームにおける画像記録デバイスの位置及び向きを検出する。従って、画像記録デバイスの位置をトラッキングし続ける別個のデバイスを必要としない。
【００１９】
本発明の方法及び装置は、前のフレームで捕獲されたライン沿いに見られる放射輝度をチェックすることにより、各フレームにおける画像記録デバイスの位置及び向きを非常に正確に検出する。
【００２０】
本発明の請求項１の態様は、周囲環境の画像を得る画像ピックアップデバイスであり、該画像が連続フレームである画像ピックアップデバイスを有し、該画像ピックアップデバイスにより得られた連続フレームを記憶するフレーム記憶装置を有し、連続フレームに基づいて該画像ピックアップデバイスの位置及び向きを決定するプロセッサを有する、画像記録装置であって、フレームが複数のラインを含み、該プロセッサが、現在のフレームにある複数のラインのうちの少なくとも１つに沿った放射輝度を、連続フレーム内の少なくとも１つの前のフレームにある複数のラインのうちの対応するラインに沿った放射輝度と相関させることにより、該画像ピックアップデバイスの位置を決定する。
【００２１】
本発明の請求項１５の態様は、画像記録装置の位置及び向きの決定方法であって、連続画像フレームを記録するステップと、連続フレームの各フレーム毎に画像記録装置の位置及び向きを決定するステップと、新しい画像フレームを記録するステップと、連続画像フレームのフレームに対する画像記録装置の位置及び向きに基づいて、新しい画像フレームに対する画像記録装置の位置及び向きを決定するステップと、を備える。
【００２２】
本発明のこれらの及びその他の特徴並びに利点は、下記の好適な実施の形態の詳細な説明に述べられており、またこの詳細な説明から明らかである。
【００２３】
【発明の実施の形態】
本発明の好適な実施の形態を図面を参照しながら詳細に記載する。
図２は画像ピックアップデバイス１１０、プロセッサ１２０、フレーム記憶装置１３０、メモリ１４０、出力コントローラ１５０、及び出力デバイス１６０を含む画像記録装置１００を示す。画像ピックアップデバイス１１０は、画像ピックアップデバイス１１０が動作している環境の画像を検知する。記録されると、この画像はフレームである。画像ピックアップデバイス１１０としてはビデオカメラ、静止写真カメラ、デジタルカメラ、電子カメラ、画像編集機などが挙げられる。本発明の１つの好適な実施の形態では、画像ピックアップデバイス１１０は手持ちのカメラである。記録された各フレームはプロセッサ１２０へ入力され、プロセッサ１２０はフレーム記憶装置１３０中にこれらのフレームを記録する。フレーム記憶装置１３０はビデオテープ、写真フィルム、ＣＤ−ＲＯＭ、磁気媒体、ＲＡＭ、ハードドライブ、フロッピーディスク及びディスクドライブ、フラッシュメモリなどを含む。その後フレームＩ’はプロセッサ１２０へ伝送される。
【００２４】
プロセッサ１２０は画像ピックアップデバイス１１０から得られた連続するｍ個のフレームの各フレーム毎に、画像ピックアップデバイス１１０の位置を決定する。これは、画像フレーム中で分かっている点の位置を画像ピックアップデバイス１１０の相対位置を決定するのに用いる方法であれば、あらゆる方法を用いて行うことができる。次いでプロセッサ１２０は、各フレーム中の、画像ピックアップデバイス１１０の位置を通るラインの部分集合を決定する。
【００２５】
次に画像ピックアップデバイス１１０は新しいフレームの画像データを捕獲し、これをプロセッサ１２０に伝送する。新しいフレームＩ中の画像ピックアップデバイス１１０の位置及び向きは、以下の略述に従って決定される。
【００２６】
画像ピックアップデバイス１１０の位置及び向きの決定はリアルタイムで行われるため、画像記録デバイスのオペレータに出力デバイス１６０を介してフィードバックが行われる。例えば、オペレータはカメラを緩やかに、又は円滑に動かすことができず、位置合わせを維持できないことがある。位置合わせとは前の画像と現在の画像とをマッチングすることである。図３に示すように、位置合わせが失われると、画像記録装置１００はオペレータに基準点に戻るよう指示を与えることができる。基準点とは、その正確な位置が論理に基づいて分かっている点を指す。この指示は視覚によるものでも聴覚によるものでも、又その両方であってもよい。例えば、画像記録装置１００は図３に示すようにディスプレイ１６０上に「基準点に戻れ("Return to Fiducial Points") 」というメッセージを表示してもよく、及び／又はスピーカ１７０を通じてメッセージを告知してもよい。
【００２７】
同様に、オペレータがトラバースした現在の経路の視覚的なフィードバックを得ることは、オペレータにとって有用なことである。従って、図４に示すように、本発明の１つの実施の形態において、プロセッサ１２０はディスプレイ１６０に、予め計算された画像記録デバイスの位置を表す視覚的な表示であるドット１６２、トラバースした経路を表す曲線、などを出力してもよい。
【００２８】
更に、図５に示すように、画像記録装置１００はディスプレイ１６０上でオペレータに動作についての指示を与えることもできる。これらの動作の指示は、光フィールドの疎らにサンプリングされた部分のデータを供給する位置に移動するよう、オペレータに指示を行う。更に画像記録装置１００は、オペレータに前のフレームデータがその時点では位置合わせが行われていない領域から離れるよう指示することもできる。
【００２９】
画像記録装置１００の構成要素は、図４に示すように全ての要素が１つのハウジング１８０中に収容されるように１つのユニットの一部分であってもよく、又図３のように分離していてもよい。例えば画像記録装置１００は、手持ちの単一の画像記録装置１００であってもよく、その中に画像ピックアップデバイス１１０、プロセッサ１２０、フレーム記憶装置１３０、及び出力デバイス１６０及びスピーカ１７０が収容されている。或いは、画像ピックアップデバイス１１０は、プロセッサ１２０、メモリ１３０及び１４０、出力デバイス１６０及び１７０を収容するコンピュータ又はパーソナルデジタル補助手段などのデバイスにケーブルを介して接続されたビデオ記録デバイスであってもよい。当業者には容易に明らかとなるであろうが、本発明を実行するのに他の組合せを用いてもよい。
【００３０】
図６は本発明に従う好適な画像記録方法を概略で示したフローチャートである。図６に示すように、この方法はステップＳ１００で開始される。次いで、ステップＳ２００で画像記録デバイスが連続するｍ個のフレームを捕獲し、それらを画素ラインの集合としてフレーム記憶装置１３０中に記憶する。次にステップＳ３００で、それぞれ向き”ｏ”及び”ｏ’”を有する焦点”ｐ”及び”ｐ’”として定義されるカメラ位置が決定される。前述したように一連の、正確に位置合わせされたフレーム（このフレームから開始する）を生成する簡単な方法は、基準点を用いた方法である。
【００３１】
基準点を得るには、種々の方法が用いられ得る。本発明の好適な実施の形態では、基準点は直角に結合した３本の別個の矢線などの物理的座標のフレームを形成することにより得られてもよい。３つの矢線の点（即ち、基準点）は画像中に容易に見出される。基準点から、座標フレームに対するカメラの相対的な位置及び向きが決定される。その後画像記録デバイスが基準点の周りをゆっくりと動いて所望の画像を捕獲することができる。このようにして、最初の光フィールドが捕獲される。最初の光フィールドの捕獲後は、画像ピックアップデバイス１１０の視野内に基準点を維持することはもはや必要ではない。
【００３２】
次いでステップＳ４００で、これらのフレーム毎に光フィールドに記憶された画素ラインの集合の部分集合を用いて画像が識別される。焦点のシーケンスは三次元の自由空間Ｒ³ において曲線”Ｃ”に沿って”ｍ”個のポイントのシーケンス”Ｐ”を形成する。曲線”Ｃ”はその環境におけるカメラの動きを表している。
【００３３】
次にステップＳ５００で、画像ピックアップデバイス１１０は新しいフレームＩ、即ちある新たな、未知の焦点ｐを通るラインの新しい部分集合を得る。この目的は光フィールドにおいて新しいフレームを前のフレームと相関させることによりｐ及びｏを決定することである。
【００３４】
図８に示すように、集合”Ｐ”中のｐ及び他のあらゆる点ｐ’を通るライン”ｌ”はｐ’に対応する前のフレームＩ’によりすでに捕獲され、光フィールドに記憶されていると考えられる点に注目することは重要である。特に、画像記録デバイスが前のフレームＩ’の画像平面上へのｐの投射が前のフレームＩ’の中に入るようにｐ’で向いている場合、又、逆に、画像記録デバイスが新しいフレームＩの画像平面上のｐ’の投射が新しいフレームＩの中に入るようにｐで向いている場合、ｌはフレームＩ及びＩ’の両方において捕獲される。従って、画像記録デバイスの正しいｐ及びｏがわかると、Ｉ中のｌに割り当てられる放射輝度はＩ’中のｌに割り当てられる放射輝度と等しくなるはずである。ｐ及びｏの値は、Ｉ中のラインＬ＝｛ｌ₁ ，．．．，ｌ_m ｝の位置及びこれらの位置における放射輝度の予測と一致する。ｍが大きい場合には、これによりｐ及びｏの正しい値の非常に正確な検証がなされる。
【００３５】
次いでステップＳ６００で、新しいフレームのために画像記録デバイスの位置ｐ及び向きｏが決定される。ステップＳ７００では、制御ルーチンが新しい画像フレームのために動作を反復するか否かを決定する。これは、画像ピックアップデバイス１１０が記録をまだ続けているか否か、又画像ピックアップデバイス１１０が移動したか否か、などを決定することにより行われてもよい。動作を繰り返す場合には、制御はステップＳ５００に戻る。そうでない場合には制御はステップＳ８００に進み、ここで制御ルーチンは終了する。
【００３６】
図７は位置及び向き決定ステップＳ６００をより詳細に示したものである。詳細には、制御ルーチンはステップＳ６００で開始されステップＳ６１０に続く。ステップＳ６１０では空間”Ｓ”中で画像ピックアップデバイス１１０を含みそうな小さい容量”ｖ”を識別することにより位置ｐ及び向きｏの推定値”ｅ”が決定される。空間Ｓは画像ピックアップデバイス１１０がとり得る位置の六次元空間である。
【００３７】
ステップＳ６１０では、画像記録デバイスの位置及び向きの推定値ｅを得るために画像ピックアップデバイス１１０の動作に関するいくつかの仮定がなされる。画像ピックアップデバイス１１０の動作が速すぎない場合には、位置ｐと前の位置ｐ’との相違はあまり大きくない。画像ピックアップデバイス１１０がその並進及び回転の軌道を突然に変化させることがなければ、新しい位置ｐは前の位置ｐ’のある数を大まかに外挿するのがよい。オペレータがその環境を後で再現するために画像を捕獲しようとしていることを自分で理解し、それに従って画像ピックアップデバイス１１０を操作すると考えられるため、これらの仮定は正しいと考えられる。
【００３８】
新しいフレームＩ中の位置ｐの大まかな推定値を得るために、従来の方法を用いることも可能である。例えば、前のフレームＩ’と現在のフレームＩとの間の光フロー（２つの画像間の差異を一定の放射輝度の点の集合の動きとして解釈する）の計算は高価ではなく、又画像ピックアップデバイス１１０の動作の推定値を得ることもできる。同様に、画像ピックアップデバイスの位置の大まかな推定値を得るのに点を対応させる方法も用いることができる。
【００３９】
次いでステップＳ６２０で、画像への精密なマッチングを見出すため容量ｖが稠密にサンプリングされる。ステップＳ６２０では空間Ｓ中で大まかな推定値ｅが与えられると、光フィールド中に記憶されたラインに対応するＩ中の１つもしくはそれ以上のラインに最もよくマッチングする点即ち画素を見出すためにＳの小さな周囲の容量がサンプリングされる。次にステップＳ６３０でマッチングの誤差が空間Ｓの点の関数”Ｆ”として決定される。空間Ｓ中の点”ｓ”におけるＦの値は、Ｉがｓにあると仮定した場合にＩにオーバーラップしている部分Ｌの予測放射輝度と、対応する点Ｉの観測値との差である。これらの差は孤立値の存在を見込んでのものであり、ランダム画像ノイズを補償するものであるが、量子化誤差によってのみ影響をうけるべき非孤立値のかなり正確なマッチングを要するものである。
【００４０】
最後にステップＳ６４０で、厳密な当てはめのために得られた値を最適化する。ステップＳ６４０では、最も厳密な対応を得る目的で誤差を最小化するため、マッチングが最適化される。ステップＳ６５０で制御はステップＳ７００に戻る。
【００４１】
従って本発明では、画像記録デバイスの位置は、新たに捕獲したフレーム中の放射輝度ラインを前に獲得された光フィールドにある放射輝度ラインに相関させることにより正確にトラッキングされることができる。
【００４２】
これらの相関されたフレームはこの後、光フィールドを拡大するために、既存の光フィールドに加えられてもよい。これらのフレームの光フィールドへの追加は、フレームが捕獲されている際に動的に行われてもよく、又はオフラインで行われてもよい。このようにして、光フィールドは更なるカメラトラッキング及び画像記録で使用する前にオフラインで前処理されてもよい。
【００４３】
更に、フレームを最初の光フィールドに追加するこの工程は、より大きい光フィールドを得るために繰返し行われてもよい。このように、後に再現するために全環境が捕獲されることができる。
【００４４】
本発明のトラッキングの使用にあたっては、一旦最初の光フィールドが獲得されると、画像フレーム中に基準点を維持することは必要でない。最初の光フィールドの獲得後は、トラッキングは新しいフレーム中の放射輝度ラインを光フィールド中の放射輝度ラインと相関させることにより達成される。これにより画像記録装置はずっと大きい環境で使用することが可能となる。
【００４５】
図４に示すように、画像記録装置１００はプログラムされた汎用コンピュータを用いて実行されることが好ましい。しかしながら、この画像記録装置１００は専用コンピュータ、プログラミングされたマイクロプロセッサ又はマイクロコントローラ、及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、離散素子回路などのハードウェア電子又は論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ又はＰＡＬなどのプログラマブル論理デバイス、などを用いて実行することも可能である。一般に、有限状態の機械が図６及び図７に示したフローチャートを実行することができるものであれば、本発明の画像記録を実行するためにあらゆるデバイスが使用可能である。
【００４６】
本発明は最初の光フィールドを獲得するのに基準点を用いるものとして記載したが、本発明はこのような構成に限定されるものではない。当業者には、最初の光フィールドがガントリー型デバイス、点対応方法、又は他のあらゆる方法により獲得できることが容易に明らかとなるであろう。
【００４７】
本発明は特定の実施形態を用いて詳述したが多くの代替物、変更、変形が存在し得ることは当業者には明白であろう。従って、本明細書中に記載した本発明の好適な実施形態はあくまでも本発明の主旨の明確化を意図するものであり、本発明は前記した実施形態に限定されるものではない。前記請求項に示す本発明の精神と範囲から離れることなく種々の変更形態が存在し得る。
【図面の簡単な説明】
【図１】光フィールドの光スラブ表現を示す図である。
【図２】本発明の装置のブロック図である。
【図３】オペレータへのメッセージが表示される及び／又は告知される、本発明の１つの実施の形態の図である。
【図４】画像ピックアップデバイスのパスが表示される、本発明の１つの実施の形態の図である。
【図５】オペレータへの動作指示が表示される、本発明の１つの実施の形態の図である。
【図６】本発明の方法の１つの実施の形態を略述したフローチャートである。
【図７】図６の新しいフレームの位置及び向きを決定するステップをより詳細に示した、フローチャートである。
【図８】画像記録装置の動きのカーブに沿った２つのフレームを示す図である。
【符号の説明】
１１０ 画像ピックアップデバイス
１６０ ディスプレイ
１７０ スピーカー
１８０ ハウジング

Claims (12)

1. 周囲環境の画像を得る画像ピックアップデバイスであり、
   該画像が連続フレームである画像ピックアップデバイスを有し、
   該画像ピックアップデバイスにより得られた連続フレームを記憶するフレーム記憶装置を有し、
   連続フレームに基づいて該画像ピックアップデバイスの位置及び向きを決定するプロセッサを有する、画像記録装置であって、
   フレームが複数のラインを含み、
   該プロセッサが、現在のフレームにある複数のラインのうちの少なくとも１つに沿った放射輝度を、連続フレーム内の少なくとも１つの前のフレームにある複数のラインのうちの対応するラインに沿った放射輝度と相関させることにより、該画像ピックアップデバイスの位置を決定する、
   画像記録装置であって、
   前記プロセッサが、前記フレーム記憶装置に記憶された連続フレームから最初の光フィールドを決定し、
   前記プロセッサが、現在のフレームにある複数のラインのうちの少なくとも１つに沿った放射輝度を、最初の光フィールドにある複数のラインのうちの対応するラインに沿った放射輝度と相関させて、前記画像ピックアップデバイスの位置及び向きを決定し、
   前記ラインは、２つの平行な平面を通過するラインであり、該２つの平行な平面上の２次元座標を用いてパラメータ化され、４次元アレイとして記憶され、
   前記２つの平行な平面の一方は前記画像ピックアップデバイスを含み、他方は該画像ピックアップデバイスによって撮影されるオブジェクトの前にある、
   画像記録装置。
2. 前記画像ピックアップデバイスが手持ちカメラである、請求項１に記載の画像記録装置。
3. 前記画像ピックアップデバイスを介して現在のフレームを表示し、指示及び情報を前記画像記録装置のオペレータに与える対話式ディスプレイをさらに有する、請求項１に記載の画像記録装置。
4. 前記対話式ディスプレイが、前記画像ピックアップデバイスを位置決めするための指示を与える、請求項３に記載の画像記録装置。
5. 前記対話式ディスプレイが、オペレータにより現在トラバースされているパスに関する情報を与える、請求項３に記載の画像記録装置。
6. 前記画像ピックアップデバイス、前記フレーム記憶装置、前記プロセッサ、及び前記対話式ディスプレイが、１つのハウジングに含まれる、請求項３に記載の画像記録装置。
7. 前記画像ピックアップデバイス、前記フレーム記憶装置、前記プロセッサ、及び前記対話式ディスプレイが、分散コンピュータシステムの部分である、請求項３に記載の画像記録装置。
8. オペレータにより現在トラバースされているパスを指定する音声情報を出力する音声出力デバイスをさらに有する、請求項１に記載の画像記録装置。
9. 前記画像ピックアップデバイスを位置決めするための音声指示を出力する音声出力デバイスをさらに有する、請求項１に記載の画像記録装置。
10. 音声指示及び情報を前記画像記録装置のオペレータに出力する音声出力デバイスをさらに有する、請求項１に記載の画像記録装置。
11. 画像記録装置の位置及び向きの決定方法であって、
    プロセッサが、
    連続画像フレームを記録するステップと、
    連続フレームの各フレーム毎に画像記録装置の位置及び向きを決定するステップと、
    新しい画像フレームを記録するステップと、
    連続画像フレームのフレームに対する画像記録装置の位置及び向きに基づいて、新しい画像フレームに対する画像記録装置の位置及び向きを決定するステップと、
    を備え、
    連続画像フレームからの最初の光フィールドの決定をさらに含み、
    新しい画像フレームに対する画像記録装置の位置及び向きを決定するステップが、新しい画像フレームにある少なくとも１つのラインに沿った放射輝度を、最初の光フィールドにある対応するラインに沿った放射輝度と相関させることを含み、
    前記ラインは、２つの平行な平面を通過するラインであり、該２つの平行な平面上の２次元座標を用いてパラメータ化され、４次元アレイとして記憶され、
    前記２つの平行な平面の一方は前記画像ピックアップデバイスを含み、他方は該画像ピックアップデバイスによって撮影されるオブジェクトの前にある、
    画像記録装置の位置及び向きの決定方法。
12. 連続フレームの各フレーム毎に画像記録装置の位置及び向きを決定するステップが、基準点に関する画像記録装置の位置及び向きを決定するステップを含む、請求項１１に記載の方法。

Images