JP4242495B2 - 画像記録装置並びにその位置及び向きの決定方法 - Google Patents
画像記録装置並びにその位置及び向きの決定方法 Download PDFInfo
- Publication number
- JP4242495B2 JP4242495B2 JP00927499A JP927499A JP4242495B2 JP 4242495 B2 JP4242495 B2 JP 4242495B2 JP 00927499 A JP00927499 A JP 00927499A JP 927499 A JP927499 A JP 927499A JP 4242495 B2 JP4242495 B2 JP 4242495B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- image recording
- pickup device
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像ベースでレンダリング(描画)する装置及び方法に関する。特に本発明は、後で3次元構造又は環境を再構成するためのデータを提供するために、光フィールドを用いてカメラの動きをトラッキングする装置及び方法に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
コンピュータグラフィック業界は、多数収集した2次元画像を用いて3次元のオブジェクト又は環境を表現する方法に、ますます関心を持つようになってきた。この方法は、画像ベースレンダリングと呼ばれる。オブジェクト又は環境を表現する1つの方法は、光フィールドを用いる方法である。
【0003】
光フィールドとは、3次元自由空間R3 の入射ラインの集合上に誘導された放射輝度による3次元シーンのあらゆる表現である。光フィールドには、2次元画像を収集したものとしてこの放射輝度をサンプリングし記憶する表現、及び3次元自由空間R3 のラインを表現するデータ構造にこの放射輝度をサンプリングし記憶する表現が含まれるが、これらの表現に限定されるわけではない。
【0004】
例えば、2次元画像のオブジェクト又は環境をカメラ位置の2次元集合Pにおいて高密度にサンプリングすると、Pを通過する全てのライン沿いに見られる放射輝度がサンプリングされている。これらの放射輝度は、例えば、各要素が3次元自由空間R3 の1ラインに対応する4次元アレイに記憶することができる。3次元集合の位置から捕獲したオブジェクトのあらゆる画像は、このアレイから適切なラインを収集することにより再構成することができる。このような表現を光フィールドと呼ぶ。
【0005】
図1及び下記の説明を参照すれば、光フィールドを最も良く理解できるであろう。図1は光フィールドの光スラブ表現を示している。3次元自由空間R3 の2つの平行な平面P1 及びP2 を通過するラインの集合を考えてみよう。平面P1 の点p1 及び平面P2 の点p2 の各対は、唯一のラインを画定する。P1 及びP2 に平行なラインを除く各ラインは、点p1 及びp2 の唯一の対を画定する。従って3次元自由空間R3 の全てのラインの集合は4次元空間であり、この4次元空間は、点p1 及びp2 を指定するのに必要な4つの座標(u,v,s,t) によりパラメータ化されることができる。
【0006】
R3 の指定の点pを通るラインは2次元の部分集合を形成し、この2次元の部分集合はこのパラメータ化に基づく平面である。画像は、pを焦点としたこの「ラインの平面」の矩形の部分集合である。
【0007】
これらのような光フィールドは、オブジェクトの多数の画像を含む4次元空間のラインの部分集合を収集することにより画像を再構成するのに用いることができる。4次元空間のラインの部分集合は、画像記録デバイスをオブジェクトに向け、2次元の矩形を横切るように画像記録デバイスを物理的に走査することによって、収集される。ラインの2次元の集合は、それぞれの画像記録デバイスの位置で収集される。全ての画像のラインは、2つの平行な平面(一方は動いているカメラを含み、他方はオブジェクトの前にある)を用いてパラメータ化され、4次元アレイとして記憶される。4次元アレイの各ライン沿いに見られる放射輝度は、ライン座標によりアドレスされる。2つの平面付近の3次元のどこかに焦点を有するオブジェクトの画像は、このアレイからそのラインそれぞれの放射輝度を収集することにより、抽出することができる。このようにして、画像はリアルタイムで再構成することができる。
【0008】
これらの光フィールドは、適当な大きさに圧縮することができ、ハイエンド(high-end)装置においてリアルタイムでレンダリングできるほどに速くアクセスすることができる。しかし、これらの光フィールドを捕獲する方法は、コンピュータ制御されたカメラのガントリーのようなデバイスを用いて、2次元の平面を横切るようにカメラを機械的に走査する方法に限られてきた。このようなデバイスについては、レボイ(Levoy) らの“Light Field Rendering ”(Computer Graphics Proceedings, SIGGRAPH '96, P.528, 531-542) に開示されている。これらのデバイスにおいて、コンピュータは、光フィールドを捕獲するプロセスの各フレームでカメラの位置をトラッキングし続ける。このようなデバイスは通常高価であり、扱うことのできるオブジェクトの大きさが指定の領域及び範囲に限られており、製造し使用するのに多くの時間と金を投資する必要がある。
【0009】
光フィールドを捕獲するもう1つ別の方法は、基準点、つまり3次元自由空間R3 にあり何らかの座標フレームでその正確な位置がわかる点を用いる方法である。ゴートラー(Gortler) らの“The Lumigraph ”(Computer Graphics Proceedings, SIGGRAPH '96, P.528, 543-554) は、基準点を用いて3次元環境の画像を得る1つの方法を開示している。しかし、この方法では、環境内に多数の基準点を設け、画像フィールドのこれらの基準点を各画像を捕獲する間維持する必要がある。従って、カメラの動ける範囲が、多数の基準点のある領域に限られてしまう。
【0010】
従って、手持ちカメラを用いて、特定の可動領域、即ち基準点を含む領域に制限されることなく、3次元環境の画像を捕獲することができれば、有益でありより実用的であろう。しかし、手持ちのデバイスを用いる際に根本的に困難な点は、画像を捕獲するプロセスの各フレームにおけるカメラの位置及び向きをトラッキングする点である。
【0011】
カメラトラッキングという問題は、コンピュータビジョンに頻繁に起こる。カメラトラッキングの1つの技法は、1つの画像フレームから次の画像フレームへの光のフローを測定することである。この技法において、各ピクセルは最も良くマッチングするカラーを有する隣接したピクセルに一致すると仮定される。ピクセルの動きの全体の組み合わせが、カメラの動きと解釈される。この方法は、2つの連続した画像フレーム間の動きをトラッキングする場合に用いると、良い結果を得ることができる。しかし、環境を捕獲するのに必要とされるような多数のフレームに対しては、カメラ位置に関するエラーが急速に増加する。
【0012】
カメラトラッキングのもう1つ別の技法は点対応方法であり、(例えばオブジェクトの角のような)外面的特徴で区別できる点を画像から抽出し、この点を1つの画像フレームから次の画像フレームへとトラッキングする。これらの点は、カメラトラッキングの間基準点の役割を果たす。この方法は光のフローを測定する方法よりは良い結果を得ることができるが、同じ3次元の点を画像フレームから画像フレームへとトラッキングするのは困難であり、この方法自体かなり時間がかかり厄介である。
【0013】
さらに、カメラトラッキングし3次元環境の画像を捕獲し後でその環境を再構成する際の問題は、任意の映像のシーケンスからデータを捕獲する際の問題とは異なる。カメラのオペレータは、自分がその環境のデータを捕獲しようとしており、そのために特定の方法でカメラを動かそうとしていることを知っている。従って、対話式データ収集システムはカメラのオペレータにフィードバックすることができ、しっかりとカメラトラッキングを続けて所望のデータを得るための指示をオペレータに与える。
【0014】
【課題を解決するための手段】
本発明は、画像記録デバイスの動きをトラッキングする方法及び装置を提供する。この方法及び装置においては、手持ちの画像記録デバイスを用いることができる。
【0015】
本発明はまた、光フィールドを用いて画像記録デバイスの動きをトラッキングする簡単な方法及び装置も提供する。
【0016】
本発明はさらに、オペレータにフィードバックして、光フィールドを十分に含む連続フレームを捕獲する、対話式システムを提供する。
【0017】
本発明はさらに、オペレータにフィードバックして、3次元構造を再構成するための十分なデータを提供する、対話式システムを提供する。
【0018】
本発明の方法及び装置は、フレームのラインに沿った放射輝度及び前のフレームの対応するラインに沿った放射輝度をチェックすることにより、各フレームにおける画像記録デバイスの位置及び向きを検出する。従って、画像記録デバイスの位置をトラッキングし続ける別個のデバイスを必要としない。
【0019】
本発明の方法及び装置は、前のフレームで捕獲されたライン沿いに見られる放射輝度をチェックすることにより、各フレームにおける画像記録デバイスの位置及び向きを非常に正確に検出する。
【0020】
本発明の請求項1の態様は、周囲環境の画像を得る画像ピックアップデバイスであり、該画像が連続フレームである画像ピックアップデバイスを有し、該画像ピックアップデバイスにより得られた連続フレームを記憶するフレーム記憶装置を有し、連続フレームに基づいて該画像ピックアップデバイスの位置及び向きを決定するプロセッサを有する、画像記録装置であって、フレームが複数のラインを含み、該プロセッサが、現在のフレームにある複数のラインのうちの少なくとも1つに沿った放射輝度を、連続フレーム内の少なくとも1つの前のフレームにある複数のラインのうちの対応するラインに沿った放射輝度と相関させることにより、該画像ピックアップデバイスの位置を決定する。
【0021】
本発明の請求項15の態様は、画像記録装置の位置及び向きの決定方法であって、連続画像フレームを記録するステップと、連続フレームの各フレーム毎に画像記録装置の位置及び向きを決定するステップと、新しい画像フレームを記録するステップと、連続画像フレームのフレームに対する画像記録装置の位置及び向きに基づいて、新しい画像フレームに対する画像記録装置の位置及び向きを決定するステップと、を備える。
【0022】
本発明のこれらの及びその他の特徴並びに利点は、下記の好適な実施の形態の詳細な説明に述べられており、またこの詳細な説明から明らかである。
【0023】
【発明の実施の形態】
本発明の好適な実施の形態を図面を参照しながら詳細に記載する。
図2は画像ピックアップデバイス110、プロセッサ120、フレーム記憶装置130、メモリ140、出力コントローラ150、及び出力デバイス160を含む画像記録装置100を示す。画像ピックアップデバイス110は、画像ピックアップデバイス110が動作している環境の画像を検知する。記録されると、この画像はフレームである。画像ピックアップデバイス110としてはビデオカメラ、静止写真カメラ、デジタルカメラ、電子カメラ、画像編集機などが挙げられる。本発明の1つの好適な実施の形態では、画像ピックアップデバイス110は手持ちのカメラである。記録された各フレームはプロセッサ120へ入力され、プロセッサ120はフレーム記憶装置130中にこれらのフレームを記録する。フレーム記憶装置130はビデオテープ、写真フィルム、CD−ROM、磁気媒体、RAM、ハードドライブ、フロッピーディスク及びディスクドライブ、フラッシュメモリなどを含む。その後フレームI’はプロセッサ120へ伝送される。
【0024】
プロセッサ120は画像ピックアップデバイス110から得られた連続するm個のフレームの各フレーム毎に、画像ピックアップデバイス110の位置を決定する。これは、画像フレーム中で分かっている点の位置を画像ピックアップデバイス110の相対位置を決定するのに用いる方法であれば、あらゆる方法を用いて行うことができる。次いでプロセッサ120は、各フレーム中の、画像ピックアップデバイス110の位置を通るラインの部分集合を決定する。
【0025】
次に画像ピックアップデバイス110は新しいフレームの画像データを捕獲し、これをプロセッサ120に伝送する。新しいフレームI中の画像ピックアップデバイス110の位置及び向きは、以下の略述に従って決定される。
【0026】
画像ピックアップデバイス110の位置及び向きの決定はリアルタイムで行われるため、画像記録デバイスのオペレータに出力デバイス160を介してフィードバックが行われる。例えば、オペレータはカメラを緩やかに、又は円滑に動かすことができず、位置合わせを維持できないことがある。位置合わせとは前の画像と現在の画像とをマッチングすることである。図3に示すように、位置合わせが失われると、画像記録装置100はオペレータに基準点に戻るよう指示を与えることができる。基準点とは、その正確な位置が論理に基づいて分かっている点を指す。この指示は視覚によるものでも聴覚によるものでも、又その両方であってもよい。例えば、画像記録装置100は図3に示すようにディスプレイ160上に「基準点に戻れ("Return to Fiducial Points") 」というメッセージを表示してもよく、及び/又はスピーカ170を通じてメッセージを告知してもよい。
【0027】
同様に、オペレータがトラバースした現在の経路の視覚的なフィードバックを得ることは、オペレータにとって有用なことである。従って、図4に示すように、本発明の1つの実施の形態において、プロセッサ120はディスプレイ160に、予め計算された画像記録デバイスの位置を表す視覚的な表示であるドット162、トラバースした経路を表す曲線、などを出力してもよい。
【0028】
更に、図5に示すように、画像記録装置100はディスプレイ160上でオペレータに動作についての指示を与えることもできる。これらの動作の指示は、光フィールドの疎らにサンプリングされた部分のデータを供給する位置に移動するよう、オペレータに指示を行う。更に画像記録装置100は、オペレータに前のフレームデータがその時点では位置合わせが行われていない領域から離れるよう指示することもできる。
【0029】
画像記録装置100の構成要素は、図4に示すように全ての要素が1つのハウジング180中に収容されるように1つのユニットの一部分であってもよく、又図3のように分離していてもよい。例えば画像記録装置100は、手持ちの単一の画像記録装置100であってもよく、その中に画像ピックアップデバイス110、プロセッサ120、フレーム記憶装置130、及び出力デバイス160及びスピーカ170が収容されている。或いは、画像ピックアップデバイス110は、プロセッサ120、メモリ130及び140、出力デバイス160及び170を収容するコンピュータ又はパーソナルデジタル補助手段などのデバイスにケーブルを介して接続されたビデオ記録デバイスであってもよい。当業者には容易に明らかとなるであろうが、本発明を実行するのに他の組合せを用いてもよい。
【0030】
図6は本発明に従う好適な画像記録方法を概略で示したフローチャートである。図6に示すように、この方法はステップS100で開始される。次いで、ステップS200で画像記録デバイスが連続するm個のフレームを捕獲し、それらを画素ラインの集合としてフレーム記憶装置130中に記憶する。次にステップS300で、それぞれ向き”o”及び”o’”を有する焦点”p”及び”p’”として定義されるカメラ位置が決定される。前述したように一連の、正確に位置合わせされたフレーム(このフレームから開始する)を生成する簡単な方法は、基準点を用いた方法である。
【0031】
基準点を得るには、種々の方法が用いられ得る。本発明の好適な実施の形態では、基準点は直角に結合した3本の別個の矢線などの物理的座標のフレームを形成することにより得られてもよい。3つの矢線の点(即ち、基準点)は画像中に容易に見出される。基準点から、座標フレームに対するカメラの相対的な位置及び向きが決定される。その後画像記録デバイスが基準点の周りをゆっくりと動いて所望の画像を捕獲することができる。このようにして、最初の光フィールドが捕獲される。最初の光フィールドの捕獲後は、画像ピックアップデバイス110の視野内に基準点を維持することはもはや必要ではない。
【0032】
次いでステップS400で、これらのフレーム毎に光フィールドに記憶された画素ラインの集合の部分集合を用いて画像が識別される。焦点のシーケンスは三次元の自由空間R3 において曲線”C”に沿って”m”個のポイントのシーケンス”P”を形成する。曲線”C”はその環境におけるカメラの動きを表している。
【0033】
次にステップS500で、画像ピックアップデバイス110は新しいフレームI、即ちある新たな、未知の焦点pを通るラインの新しい部分集合を得る。この目的は光フィールドにおいて新しいフレームを前のフレームと相関させることによりp及びoを決定することである。
【0034】
図8に示すように、集合”P”中のp及び他のあらゆる点p’を通るライン”l”はp’に対応する前のフレームI’によりすでに捕獲され、光フィールドに記憶されていると考えられる点に注目することは重要である。特に、画像記録デバイスが前のフレームI’の画像平面上へのpの投射が前のフレームI’の中に入るようにp’で向いている場合、又、逆に、画像記録デバイスが新しいフレームIの画像平面上のp’の投射が新しいフレームIの中に入るようにpで向いている場合、lはフレームI及びI’の両方において捕獲される。従って、画像記録デバイスの正しいp及びoがわかると、I中のlに割り当てられる放射輝度はI’中のlに割り当てられる放射輝度と等しくなるはずである。p及びoの値は、I中のラインL={l1 ,...,lm }の位置及びこれらの位置における放射輝度の予測と一致する。mが大きい場合には、これによりp及びoの正しい値の非常に正確な検証がなされる。
【0035】
次いでステップS600で、新しいフレームのために画像記録デバイスの位置p及び向きoが決定される。ステップS700では、制御ルーチンが新しい画像フレームのために動作を反復するか否かを決定する。これは、画像ピックアップデバイス110が記録をまだ続けているか否か、又画像ピックアップデバイス110が移動したか否か、などを決定することにより行われてもよい。動作を繰り返す場合には、制御はステップS500に戻る。そうでない場合には制御はステップS800に進み、ここで制御ルーチンは終了する。
【0036】
図7は位置及び向き決定ステップS600をより詳細に示したものである。詳細には、制御ルーチンはステップS600で開始されステップS610に続く。ステップS610では空間”S”中で画像ピックアップデバイス110を含みそうな小さい容量”v”を識別することにより位置p及び向きoの推定値”e”が決定される。空間Sは画像ピックアップデバイス110がとり得る位置の六次元空間である。
【0037】
ステップS610では、画像記録デバイスの位置及び向きの推定値eを得るために画像ピックアップデバイス110の動作に関するいくつかの仮定がなされる。画像ピックアップデバイス110の動作が速すぎない場合には、位置pと前の位置p’との相違はあまり大きくない。画像ピックアップデバイス110がその並進及び回転の軌道を突然に変化させることがなければ、新しい位置pは前の位置p’のある数を大まかに外挿するのがよい。オペレータがその環境を後で再現するために画像を捕獲しようとしていることを自分で理解し、それに従って画像ピックアップデバイス110を操作すると考えられるため、これらの仮定は正しいと考えられる。
【0038】
新しいフレームI中の位置pの大まかな推定値を得るために、従来の方法を用いることも可能である。例えば、前のフレームI’と現在のフレームIとの間の光フロー(2つの画像間の差異を一定の放射輝度の点の集合の動きとして解釈する)の計算は高価ではなく、又画像ピックアップデバイス110の動作の推定値を得ることもできる。同様に、画像ピックアップデバイスの位置の大まかな推定値を得るのに点を対応させる方法も用いることができる。
【0039】
次いでステップS620で、画像への精密なマッチングを見出すため容量vが稠密にサンプリングされる。ステップS620では空間S中で大まかな推定値eが与えられると、光フィールド中に記憶されたラインに対応するI中の1つもしくはそれ以上のラインに最もよくマッチングする点即ち画素を見出すためにSの小さな周囲の容量がサンプリングされる。次にステップS630でマッチングの誤差が空間Sの点の関数”F”として決定される。空間S中の点”s”におけるFの値は、Iがsにあると仮定した場合にIにオーバーラップしている部分Lの予測放射輝度と、対応する点Iの観測値との差である。これらの差は孤立値の存在を見込んでのものであり、ランダム画像ノイズを補償するものであるが、量子化誤差によってのみ影響をうけるべき非孤立値のかなり正確なマッチングを要するものである。
【0040】
最後にステップS640で、厳密な当てはめのために得られた値を最適化する。ステップS640では、最も厳密な対応を得る目的で誤差を最小化するため、マッチングが最適化される。ステップS650で制御はステップS700に戻る。
【0041】
従って本発明では、画像記録デバイスの位置は、新たに捕獲したフレーム中の放射輝度ラインを前に獲得された光フィールドにある放射輝度ラインに相関させることにより正確にトラッキングされることができる。
【0042】
これらの相関されたフレームはこの後、光フィールドを拡大するために、既存の光フィールドに加えられてもよい。これらのフレームの光フィールドへの追加は、フレームが捕獲されている際に動的に行われてもよく、又はオフラインで行われてもよい。このようにして、光フィールドは更なるカメラトラッキング及び画像記録で使用する前にオフラインで前処理されてもよい。
【0043】
更に、フレームを最初の光フィールドに追加するこの工程は、より大きい光フィールドを得るために繰返し行われてもよい。このように、後に再現するために全環境が捕獲されることができる。
【0044】
本発明のトラッキングの使用にあたっては、一旦最初の光フィールドが獲得されると、画像フレーム中に基準点を維持することは必要でない。最初の光フィールドの獲得後は、トラッキングは新しいフレーム中の放射輝度ラインを光フィールド中の放射輝度ラインと相関させることにより達成される。これにより画像記録装置はずっと大きい環境で使用することが可能となる。
【0045】
図4に示すように、画像記録装置100はプログラムされた汎用コンピュータを用いて実行されることが好ましい。しかしながら、この画像記録装置100は専用コンピュータ、プログラミングされたマイクロプロセッサ又はマイクロコントローラ、及び周辺集積回路素子、ASIC又は他の集積回路、離散素子回路などのハードウェア電子又は論理回路、PLD、PLA、FPGA又はPALなどのプログラマブル論理デバイス、などを用いて実行することも可能である。一般に、有限状態の機械が図6及び図7に示したフローチャートを実行することができるものであれば、本発明の画像記録を実行するためにあらゆるデバイスが使用可能である。
【0046】
本発明は最初の光フィールドを獲得するのに基準点を用いるものとして記載したが、本発明はこのような構成に限定されるものではない。当業者には、最初の光フィールドがガントリー型デバイス、点対応方法、又は他のあらゆる方法により獲得できることが容易に明らかとなるであろう。
【0047】
本発明は特定の実施形態を用いて詳述したが多くの代替物、変更、変形が存在し得ることは当業者には明白であろう。従って、本明細書中に記載した本発明の好適な実施形態はあくまでも本発明の主旨の明確化を意図するものであり、本発明は前記した実施形態に限定されるものではない。前記請求項に示す本発明の精神と範囲から離れることなく種々の変更形態が存在し得る。
【図面の簡単な説明】
【図1】光フィールドの光スラブ表現を示す図である。
【図2】本発明の装置のブロック図である。
【図3】オペレータへのメッセージが表示される及び/又は告知される、本発明の1つの実施の形態の図である。
【図4】画像ピックアップデバイスのパスが表示される、本発明の1つの実施の形態の図である。
【図5】オペレータへの動作指示が表示される、本発明の1つの実施の形態の図である。
【図6】本発明の方法の1つの実施の形態を略述したフローチャートである。
【図7】図6の新しいフレームの位置及び向きを決定するステップをより詳細に示した、フローチャートである。
【図8】画像記録装置の動きのカーブに沿った2つのフレームを示す図である。
【符号の説明】
110 画像ピックアップデバイス
160 ディスプレイ
170 スピーカー
180 ハウジング
Claims (12)
- 周囲環境の画像を得る画像ピックアップデバイスであり、
該画像が連続フレームである画像ピックアップデバイスを有し、
該画像ピックアップデバイスにより得られた連続フレームを記憶するフレーム記憶装置を有し、
連続フレームに基づいて該画像ピックアップデバイスの位置及び向きを決定するプロセッサを有する、画像記録装置であって、
フレームが複数のラインを含み、
該プロセッサが、現在のフレームにある複数のラインのうちの少なくとも1つに沿った放射輝度を、連続フレーム内の少なくとも1つの前のフレームにある複数のラインのうちの対応するラインに沿った放射輝度と相関させることにより、該画像ピックアップデバイスの位置を決定する、
画像記録装置であって、
前記プロセッサが、前記フレーム記憶装置に記憶された連続フレームから最初の光フィールドを決定し、
前記プロセッサが、現在のフレームにある複数のラインのうちの少なくとも1つに沿った放射輝度を、最初の光フィールドにある複数のラインのうちの対応するラインに沿った放射輝度と相関させて、前記画像ピックアップデバイスの位置及び向きを決定し、
前記ラインは、2つの平行な平面を通過するラインであり、該2つの平行な平面上の2次元座標を用いてパラメータ化され、4次元アレイとして記憶され、
前記2つの平行な平面の一方は前記画像ピックアップデバイスを含み、他方は該画像ピックアップデバイスによって撮影されるオブジェクトの前にある、
画像記録装置。 - 前記画像ピックアップデバイスが手持ちカメラである、請求項1に記載の画像記録装置。
- 前記画像ピックアップデバイスを介して現在のフレームを表示し、指示及び情報を前記画像記録装置のオペレータに与える対話式ディスプレイをさらに有する、請求項1に記載の画像記録装置。
- 前記対話式ディスプレイが、前記画像ピックアップデバイスを位置決めするための指示を与える、請求項3に記載の画像記録装置。
- 前記対話式ディスプレイが、オペレータにより現在トラバースされているパスに関する情報を与える、請求項3に記載の画像記録装置。
- 前記画像ピックアップデバイス、前記フレーム記憶装置、前記プロセッサ、及び前記対話式ディスプレイが、1つのハウジングに含まれる、請求項3に記載の画像記録装置。
- 前記画像ピックアップデバイス、前記フレーム記憶装置、前記プロセッサ、及び前記対話式ディスプレイが、分散コンピュータシステムの部分である、請求項3に記載の画像記録装置。
- オペレータにより現在トラバースされているパスを指定する音声情報を出力する音声出力デバイスをさらに有する、請求項1に記載の画像記録装置。
- 前記画像ピックアップデバイスを位置決めするための音声指示を出力する音声出力デバイスをさらに有する、請求項1に記載の画像記録装置。
- 音声指示及び情報を前記画像記録装置のオペレータに出力する音声出力デバイスをさらに有する、請求項1に記載の画像記録装置。
- 画像記録装置の位置及び向きの決定方法であって、
プロセッサが、
連続画像フレームを記録するステップと、
連続フレームの各フレーム毎に画像記録装置の位置及び向きを決定するステップと、
新しい画像フレームを記録するステップと、
連続画像フレームのフレームに対する画像記録装置の位置及び向きに基づいて、新しい画像フレームに対する画像記録装置の位置及び向きを決定するステップと、
を備え、
連続画像フレームからの最初の光フィールドの決定をさらに含み、
新しい画像フレームに対する画像記録装置の位置及び向きを決定するステップが、新しい画像フレームにある少なくとも1つのラインに沿った放射輝度を、最初の光フィールドにある対応するラインに沿った放射輝度と相関させることを含み、
前記ラインは、2つの平行な平面を通過するラインであり、該2つの平行な平面上の2次元座標を用いてパラメータ化され、4次元アレイとして記憶され、
前記2つの平行な平面の一方は前記画像ピックアップデバイスを含み、他方は該画像ピックアップデバイスによって撮影されるオブジェクトの前にある、
画像記録装置の位置及び向きの決定方法。 - 連続フレームの各フレーム毎に画像記録装置の位置及び向きを決定するステップが、基準点に関する画像記録装置の位置及び向きを決定するステップを含む、請求項11に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US007776 | 1987-01-28 | ||
US09/007,776 US6342917B1 (en) | 1998-01-16 | 1998-01-16 | Image recording apparatus and method using light fields to track position and orientation |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11259688A JPH11259688A (ja) | 1999-09-24 |
JP4242495B2 true JP4242495B2 (ja) | 2009-03-25 |
Family
ID=21728091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00927499A Expired - Fee Related JP4242495B2 (ja) | 1998-01-16 | 1999-01-18 | 画像記録装置並びにその位置及び向きの決定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6342917B1 (ja) |
EP (1) | EP0930583A1 (ja) |
JP (1) | JP4242495B2 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9513744B2 (en) * | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6750848B1 (en) | 1998-11-09 | 2004-06-15 | Timothy R. Pryor | More useful man machine interfaces and applications |
US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
US7015950B1 (en) | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
US6766036B1 (en) * | 1999-07-08 | 2004-07-20 | Timothy R. Pryor | Camera based man machine interfaces |
EP1232479B1 (en) * | 1999-11-23 | 2010-05-05 | Canon Kabushiki Kaisha | Image processing apparatus |
GB9927678D0 (en) | 1999-11-23 | 2000-01-19 | Canon Kk | Image processing apparatus |
AU2090701A (en) * | 1999-12-13 | 2001-06-18 | Princeton Video Image, Inc. | 2-d/3-d recognition and tracking algorithm for soccer application |
JP2001290820A (ja) * | 2000-01-31 | 2001-10-19 | Mitsubishi Electric Corp | 映像収集装置、映像検索装置および映像収集検索システム |
US7328119B1 (en) * | 2000-03-07 | 2008-02-05 | Pryor Timothy R | Diet and exercise planning and motivation including apparel purchases based on future appearance |
JP3747737B2 (ja) * | 2000-05-10 | 2006-02-22 | 日本電気株式会社 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
GB0023681D0 (en) | 2000-09-27 | 2000-11-08 | Canon Kk | Image processing apparatus |
GB2370737B (en) | 2000-10-06 | 2005-03-16 | Canon Kk | Image processing apparatus |
US20080024463A1 (en) * | 2001-02-22 | 2008-01-31 | Timothy Pryor | Reconfigurable tactile control display applications |
US8306635B2 (en) | 2001-03-07 | 2012-11-06 | Motion Games, Llc | Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction |
US20040056953A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for controlling service delivery |
US20040059752A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for wirelessly viewing restricted data |
US20040056954A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for monitoring within a vehicle |
US20040056957A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for capturing images based upon subject orientation |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US20100231506A1 (en) * | 2004-09-07 | 2010-09-16 | Timothy Pryor | Control of appliances, kitchen and home |
US7379566B2 (en) * | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
US7912257B2 (en) * | 2006-01-20 | 2011-03-22 | 3M Innovative Properties Company | Real time display of acquired 3D dental data |
US7698014B2 (en) * | 2006-01-20 | 2010-04-13 | 3M Innovative Properties Company | Local enforcement of accuracy in fabricated models |
ES2325698B1 (es) * | 2006-01-20 | 2010-10-19 | Universidad De La Laguna | Camara de fase para la medida de distancias y de aberraciones de frente de onda en diversos entornos mediante slice de fourier. |
US20080005418A1 (en) * | 2006-05-09 | 2008-01-03 | Jorge Julian | Interactive interface for electronic devices |
EP3144879A1 (en) | 2015-09-17 | 2017-03-22 | Thomson Licensing | A method and an apparatus for generating data representative of a light field |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5259037A (en) * | 1991-02-07 | 1993-11-02 | Hughes Training, Inc. | Automated video imagery database generation using photogrammetry |
GB9121646D0 (en) | 1991-10-11 | 1991-11-27 | Marconi Gec Ltd | Camera systems |
JPH05108827A (ja) * | 1991-10-18 | 1993-04-30 | Olympus Optical Co Ltd | 画像相関演算装置 |
US5311305A (en) * | 1992-06-30 | 1994-05-10 | At&T Bell Laboratories | Technique for edge/corner detection/tracking in image frames |
JP3274290B2 (ja) * | 1994-09-19 | 2002-04-15 | 三菱電機株式会社 | 映像表示装置及び映像表示システム |
EP0807352A1 (en) * | 1995-01-31 | 1997-11-19 | Transcenic, Inc | Spatial referenced photography |
JP2947113B2 (ja) * | 1995-03-09 | 1999-09-13 | 日本電気株式会社 | 画像通信端末用ユーザインタフェース装置 |
JPH08336069A (ja) * | 1995-04-13 | 1996-12-17 | Eastman Kodak Co | 電子スチルカメラ |
JPH08294025A (ja) * | 1995-04-24 | 1996-11-05 | Olympus Optical Co Ltd | カメラ |
JPH0934916A (ja) * | 1995-07-25 | 1997-02-07 | Yokogawa Electric Corp | 無線データ収集装置 |
KR0163922B1 (ko) * | 1995-09-19 | 1999-01-15 | 김광호 | 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 |
US6011585A (en) * | 1996-01-19 | 2000-01-04 | Apple Computer, Inc. | Apparatus and method for rotating the display orientation of a captured image |
US6192145B1 (en) * | 1996-02-12 | 2001-02-20 | Sarnoff Corporation | Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points |
-
1998
- 1998-01-16 US US09/007,776 patent/US6342917B1/en not_active Expired - Lifetime
-
1999
- 1999-01-11 EP EP99300153A patent/EP0930583A1/en not_active Withdrawn
- 1999-01-18 JP JP00927499A patent/JP4242495B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11259688A (ja) | 1999-09-24 |
EP0930583A1 (en) | 1999-07-21 |
US6342917B1 (en) | 2002-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4242495B2 (ja) | 画像記録装置並びにその位置及び向きの決定方法 | |
EP2089853B1 (en) | Method and system for modeling light | |
US20030202120A1 (en) | Virtual lighting system | |
KR0184245B1 (ko) | 전자식 카메라와 그 재생장치 | |
JP2874710B2 (ja) | 三次元位置計測装置 | |
EP1556736A1 (en) | Image capture and and display and method for generating a synthesized image | |
EP0414882A1 (en) | Electronic method and apparatus for stereoscopic photography | |
JP2000512410A (ja) | 参照モデルを用いて画像情報を索引付けをする方法 | |
CN100403768C (zh) | 图像生成法、物体检测法、物体检测装置及图像生成程序 | |
WO1999059100A1 (en) | Euclidean reconstruction of 3d scene from 2d images following a non-rigid transformation | |
JP2001091232A (ja) | 3次元形状計測装置および方法、並びに記録媒体 | |
JP2001159506A (ja) | 3次元形状計測装置および方法、並びに記録媒体 | |
JPH08242469A (ja) | 撮像カメラ装置 | |
JPH11164325A (ja) | パノラマ画像生成方法及びそのプログラムを記録した記録媒体 | |
JPH10320558A (ja) | キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに3次元位置情報検出方法及び装置並びに記録媒体 | |
JP2005038021A (ja) | 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム | |
JP3837882B2 (ja) | 撮影画像管理装置およびそのプログラム記録媒体 | |
JP4578653B2 (ja) | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2005050034A (ja) | 画像処理方法および装置 | |
JP2001183133A (ja) | 3次元形状計測装置および方法、並びに記録媒体 | |
JP4899733B2 (ja) | 画像生成方法及び画像生成システム | |
JP2005050033A (ja) | 画像処理方法および画像生成装置 | |
JPH1139506A (ja) | 任意視点画像生成装置 | |
JP2002216163A (ja) | 任意視点によるパノラマ画像の生成方法、コンピュータプログラム及び記録媒体 | |
JP3426997B2 (ja) | 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |