JP2008506283A - カメラ・ポーズを決定する方法および装置 - Google Patents

Abstract

（例えばコンピュータ・ビジョン・システムで使用される）６つの自由度で特徴付けられるカメラ・ポーズを決定する方法および装置が開示される。一実施形態では、カメラでキャプチャされたイメージが受領され、潜在的ポーズに関する少なくとも２つの制約が、カメラに対するイメージの既知の関係に従って実施され、それによって潜在的ポーズが、残りの２つの自由度に制限される。次いで、少なくとも１つの潜在的ポーズが、その残りの２つの自由度に従って決定される。

Description

関連出願への相互参照
本願は、参照により本明細書にその全体が組み込まれる２００４年６月２２日出願の米国仮特許出願第６０／５８１，８６８号の特典を主張するものである。

政府資金援助への参照
本発明は、米国陸軍によって与えられた交付番号ＤＡＡＤ１９−０１−２−００１２の下で政府援助を伴ってなされたものである。政府は、本発明における一定の権利を有する。

様々な応用例におけるコンピュータ・ビジョン・システムの有用性が広く認められている。コンピュータ・ビジョン・システムでの基本的な課題は、ワールド内の既知の地点の１つまたは複数のイメージが与えられたとして、イメージ取込み装置（例えばビデオカメラ）のポーズを決定することである。

ポーズ推定の例示的応用例は車両位置確認である。車載カメラからの環境的特徴を追跡することにより、車両位置の変化を推定し、ナビゲーション、追跡、またはその他の目的でこの情報を使用することが可能である。しかし、周知のポーズ推定アルゴリズムに基づくカメラ・ベースの車両位置確認のための現在の技法は、車両上にある複数のカメラを最適に使用していない。ポーズ推定のための既存の方法は単一パースペクティブ・カメラ・モデルを想定しているからである。この制限の結果として、その場しのぎのポーズ推定方法が使用される。例えば、各車載カメラについて別個にポーズが推定され、その後で別々のポーズ推定が組み合わせされることがある。したがって、そのような方法は一般に、利用可能な情報を最良に使用していない。

別の例として、較正パースペクティブ・カメラのポーズを決定する周知の一方法は、カメラの可能なポーズを最大４対の解に制限するために（ただし、各対からの有効な解はせいぜい１つである）、ワールド内の３つの既知の地点のイメージを実装する。これらの解は通常、周知の「３点パースペクティブ・ポーズ問題」に従って生成される。この手法を多くの状況で首尾よく適用することができるが、現状では、その有用性は、特定のカメラ幾何形状および視点に限定される。したがって、この手法は、コンピュータ・ビジョン・システムでますます一般的なツールとなっている、より一般化された幾何形状（例えば、中央パースペクティブ・モデルに準拠せず、または単一視点に対応しない幾何形状）を有するカメラモデルにはあまり適用可能ではない。
Ｂｏｏｋ ＩＩＩ ｏｆ Ｅｕｃｌｉｄ’ｓ Ｅｌｅｍｅｎｔｓ Ｄ．Ｎｉｓｔｅｒ、Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ Ｆｉｖｅ−Ｐｏｉｎｔ Ｒｅｌａｔｉｖｅ Ｐｏｓｅ Ｐｒｏｂｌｅｍ、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｖｏｌｕｍｅ ２、ｐｐ．１９５−２０２、２００３

したがって、実質的にモデルに無関係なカメラ・ポーズを決定する方法および装置が当技術分野で求められている。

（例えばコンピュータ・ビジョン・システムで使用される）６つの自由度で特徴付けられるカメラ・ポーズを決定する方法および装置が開示される。一実施形態では、カメラでキャプチャされたイメージが受領され、潜在的ポーズに関する少なくとも２つの制約が、カメラに対するイメージの既知の関係に従って実施され、それによって潜在的ポーズが、残りの２つの自由度に制限される。次いで、少なくとも１つの潜在的ポーズが、その残りの２つの自由度に従って決定される。

上述の本発明の特徴を詳細に理解できる方式の結果、添付の図面にその一部が図示される実施形態を参照することにより、上記で簡潔に要約される本発明のより具体的な説明を得ることができる。しかし、添付の図面は本発明の典型的な実施形態を示すに過ぎず、したがって、本発明は同様に効果的な他の実施形態を認めることができるので、添付の図面を本発明の範囲の制限と見なすべきでないことに留意されたい。

本発明は、（例えばコンピュータ・ビジョン・システムのための）カメラ・ポーズを決定する方法および装置を開示する。カメラモデルまたはイメージ・キャプチャ幾何形状に関する仮定に依拠する、ポーズを決定する従来の方法とは異なり、本発明の方法および装置は、カメラモデルまたは幾何形状の如何に関わらず機能し、したがって実質上任意の種類のカメラのポーズを決定するように実装することができる。例えば、曲面ミラー（例えばカタディオプトリック系またはジオプトリック系）と共に動作するカメラ、マルチカメラ・リグ（例えばステレオ・カメラヘッド）、または互いにしっかりと取り付けられた複数の個々の検出素子を備える複合カメラはすべて、本発明の適用から利益を受けることのできる潜在的な構成である。さらに、ある時間から別の時間にカメラ位置を関係付けるポーズ変換が既知である限り、経時的に移動する１つまたは複数の従来型カメラを単一の一般化カメラとして扱うことができる。それぞれの場合に、本明細書で説明される方法および装置によって課される唯一の要件は、イメージ位置に対応する光線間の空間的関係が既知であることである。言い換えれば、本発明は、分類されない特殊ケースとして較正カメラ構成を含む較正一般化カメラに対処する。

図１は、本発明による、カメラ・ポーズを決定する方法１００の一実施形態を示す流れ図である。方法１００は、実質上任意のカメラまたはイメージ取込み装置のポーズを決定するように実装することができる。本発明の一実施形態では、決定されるポーズは、６つの自由度、すなわち回転についての３つの自由度と並進に関する３つの自由度を有すると理解される。

方法１００はステップ１０２で初期化され、ステップ１０４に進み、ステップ１０４では、方法１００は、少なくとも３つの既知のワールド・ポイントを含むイメージ（例えば、一続きのシーンイメージの個々のフレーム）を受け取る。一実施形態では、イメージが、何らかの任意ではあるが周知の方式でライト・フィールドまたはプレノプティック関数をサンプリングする一般化カメラから受領される。例えば、曲面ミラー（例えばカタディオプトリック系またはジオプトリック系）と共に動作するカメラ、マルチカメラ・リグ、または互いにしっかりと取り付けられた複数の個々の検出素子を備える複合カメラのうちの少なくとも１つからイメージを受け取ることができる。ワールド・ポイントは、受領されたイメージ内にキャプチャされ、現実世界での３次元位置が既知である現実世界の任意の地点を含む。

ステップ１０６では、方法１００は、既知のワールド・ポイントのうちの３つに投射される、イメージ取込み装置の座標系内の地点の光線を識別する。一実施形態では、これらの光線を直ちに導出することができるようにイメージ取込み装置が較正される。

図２は、３つの既知のワールド・ポイント２０４_１〜２０４_３（以後「ワールド・ポイント２０４」と総称する）のイメージ２０２_１〜２０２_３（以後「イメージ２０２」と総称する）を含む例示的イメージ２００を示す略図である。図示するように、既知のワールド・ポイント２０４の各イメージ２０２および対応するワールド・ポイント２０４自体は、共通光線２０６_１〜２０６_３（以後「光線２０６」と総称する）沿いにある。一般に、イメージ２００をキャプチャしたイメージ取込み装置のポーズは、すべての光線２０６がそれらの対応するワールド・ポイント２０４と出会うように３つの光線２０６の固定変換を求めることによって推定することができる。この固定変換を求める方法の一実施形態を以下でより詳細に説明する。

図１に戻ると、３つの光線（例えば光線２０６）を識別した後、方法１００はステップ１０８に進み、３つの光線のうちの２つ（例えば第１光線および第２光線）によって与えられる制約を実施する。単一光線の制約（すなわち、光線が既知のワールド・ポイントを通過すべきであることを規定する制約）の実施により、カメラのポーズの２つの自由度が除かれる。したがって、２つの光線の制約を実施することにより、イメージ取込み装置のポーズが、６つの自由度から２つの自由度に制限される。したがって、ワールドに対する３つの光線の組全体のポーズは、ずっと狭い１組の可能性に制限される。

次いで、方法１００はステップ１１０に進み、実施された制約がこれら残りの２つの自由度に対して有する効果を求める。これら残りの２つの自由度のうちの一方は、第３光線に対応する既知のワールド・ポイントの変換の点から考慮することができる。残りの２つの自由度の２番目は、第３光線の可能な位置の点から考慮することができる。

ステップ１１２では、方法１００は、残りの２つの自由度の知識を使用して、ワールド・ポイントの座標系と光線の座標系との間の可能な変換を求める。これらの変換は、イメージ取込み装置のポーズに関する可能な解を表す。次いで方法１００はステップ１１４で終了する。

図３は、例示的な１対の光線（例えば、第１光線３００_１および第２光線３００_２。以後「光線３００」と総称する）と、光線の制約の実施が残りの２つの自由度のうちの１番目（したがって、その１対の光線３００を含む１組の３つの光線の潜在的ポーズ）に対して有する効果を示す略図である。３つのワールド・ポイント、すなわち第１ワールド・ポイント３０２_１、第２ワールド・ポイント３０２_２、および第３ワールド・ポイント３０２_３（以後「ワールド・ポイント３０２」と総称する）が既知である。第１および第２光線３００は、それぞれ第１および第２ワールド・ポイント３０２_１、３０２_２と出会う。

第１および第２ワールド・ポイント３０２_１、３０２_２は、第１ワールド・ポイントと第２ワールド・ポイントの両方を通過する、空間内の固有軸３０４を定義する。したがって、ワールド・ポイント３０２の構成は、第１および第２光線３００によって与えられる制約に違反することなく、軸３０４の周りに回転することができる（実際、これは、図１に関連して上記で議論した残りの２つの自由度の１番目を示す）。そのような回転は、第３ワールド・ポイント３０２_３が、軸３０４に対してほぼ垂直な平面内の円３０６をトレースすることを可能にする。一実施形態では、円３０６の中心点Ｃは軸３０４沿いにある。したがって、ワールド座標系が第１および第２ワールド・ポイント３０２_１、３０２_２、および円３０６を含むと見なすことができる。したがって、（上記で議論した）第１の残りの自由度は、第３ワールド・ポイント３０２_３がイメージ取込み装置に対する円をトレースすることを可能にする。

図４は、第１および第２光線の制約の実施が光線３００の対を含む１組の３つの光線の潜在的ポーズに対して有する効果をさらに示す略図である。具体的には、図４は、第１および第２光線３００によって与えられる制約の実施が図１に関連して上記で議論した残りの２つの自由度の２番目に対して有する効果を示す。

図４に示すように、与えられたイメージから投射される光線はすべてが平行ではないと仮定する。したがって、別個の方向を有する２つの光線を、その後でその制約が実施される第１および第２光線３００として選ぶことができる。第１および第２光線３００は、固有の共通垂直方向と、両方の光線３００と交わる共通垂直方向の固有垂直軸４００とを有する。

第１および第２光線３００によって課された制約を満たしながら、円筒（円筒の端部が円４０４_１および４０４_２で画定される。以後、円４０４_１および４０４_２を「円４００」と呼ぶ）の周りに垂直軸４００を回転させる剛体運動が存在する。垂直軸４００に加えて、円４００で画定された円筒は、それぞれの円４００の円周上にある第１および第２ワールド・ポイント３０２_１、３０２_２も含む。垂直軸４００の回転運動は、垂直軸４００に垂直なすべての平面に同様に影響を及ぼす。したがって、垂直軸に沿った正射影を考慮する場合（射影方向を矢印４０２で示す）、円筒の断面を図５に示すように表すことができる。

図５は、図４の垂直軸４００に沿った正射影を示す図である（例えば円筒５００の断面図）。図示するように、第１および第２光線３００の相対位置が、その間の弧５０４を画定する。弧５０４を張り、第１および第２光線３００で画定される角度（上述の垂直軸４００が通過する円筒５００上の地点５０２と接する角度）は、サイズθを有する。Ｂｏｏｋ ＩＩＩ ｏｆ Ｅｕｃｌｉｄ’ｓ Ｅｌｅｍｅｎｔｓで述べられているように、円内の同一の弧（例えば弧５０４）を張るすべての内接角は等しい。したがって、弧５０４を張り、円筒５００の円形断面で内接するすべての角はサイズθを有する。

図４に戻ると、第３光線（図示せず）に対する垂直軸４００の回転運動の効果を代数表現を使用して求めることができる。一実施形態では、既知のワールド・ポイント３０２を垂直軸４００の円運動でトレースされる有効な位置のうちの１つにそれぞれ写像する変換のファミリが求められる。したがって、変換は、既知のワールド・ポイント３０２を光線３００の座標系に写像する。以下でより詳細に議論するように、第３光線上に写像することのできるワールド・ポイントは、垂直軸４００が回転するときに第３光線によってトレースされる線織４次曲面上にある。

図６は、既知のワールド・ポイントをそれ自体の座標系から対応する光線の座標系に写像する方法６００の一実施形態を示す流れ図である。方法６００はステップ６０２で初期化され、ステップ６０４に進み、ステップ６０４では、方法６００は、第１および第２光線３００および既知のワールド・ポイント３０２を開始位置に変換する。これにより、後続の解析が単純になる。

図７Ａおよび７Ｂは、第１および第２光線３００ならびに既知のワールド・ポイント３０２の変換の正射図を示すグラフである。図７Ａおよび７Ｂでは、第１光線３００_１がｙ軸と一致し、垂直軸４００がｚ軸と一致する。したがって、原点７００は、第１光線３００_１が垂直軸４００と交わる位置である。

次いで、第１および第２ワールド・ポイント３０２_１、３０２_２が特定の位置に配置されるように既知のワールド・ポイント３０２が変換される。一実施形態では、第１ワールド・ポイント３０２_１は原点源７００と一致する。第１ワールド・ポイント３０２_１の周りの回転の結果、第２ワールド・ポイント３０２_２が第２光線３００_２のｘｚ平面とｚ平面の間の交線上にある。通常、第２ワールド・ポイント３０２_２について、そのような可能な位置が２つある。一実施形態では、ｘ≧０となるように第２ワールド・ポイント３０２_２についての位置が選ばれる。これにより、第１および第２ワールド・ポイント３０２_１、３０２_２によって画定される軸の周りの回転に対するワールド・ポイント３０２についての座標系が決定される。一実施形態では、この回転は任意に選ばれる。

図６に戻ると、第１および第２光線３００および既知のワールド・ポイント３０２が、その開始位置（例えば図７Ａおよび７Ｂに示すもの）に変換された後、方法６００はステップ６０６に進み、第１および第２ワールド・ポイント３０２をその対応する光線３００上に変換する。一実施形態では、この変換はｘｙ平面内で行われ、光線３００を固定したままでワールド・ポイント３０２に適用される。

図８は、例えば方法６００のステップ６０６に従って、対応する光線（例えば光線３００）上に変換された後の、ワールド・ポイント（例えばワールド・ポイント３０２）の構成の一実施形態を示す略図である。図示する構成は、第１および第２ワールド・ポイント３０２_１、３０２_２をそれぞれ第１および第２光線３００_１および３００_２上に配置するｘｙ平面内の並進および回転の結果として得られる１つの可能な構成である。このとき、上記で議論した図４の円４０４で画定される円筒の周りの垂直軸（例えば垂直軸４００）の回転運動は、確立された一致を維持する。この位置合せを達成するために、第２光線３００_２の投射が、以下の直線方程式を有するように求められる。

ｙ＝ｓｘ （式１）
ただしｓは投射の傾きである。
一実施形態では、変換は第１ワールド・ポイント３０２_１をｙ軸上に維持しなければならない。したがって、第１ワールド・ポイント３０２_１の位置はｙ＝ｍであると求められる。さらに、投射８００の直線方程式が以下のようになるように、第１および第２ワールド・ポイント３０２_１、３０２_２を通る軸の投射線８００が配置される。

ｙ＝ｋｘ＋ｍ （式２）
ただしｋは投射８００の傾きである。
さらに、変換は、第２ワールド・ポイント３０２_２を第２光線３００_２上に維持する。したがって、第２光線３００_２の投射と投射８００とは第２ワールド・ポイント３０２_２の投射（ｂ，ｃ）で交わり、投射（ｂ，ｃ）は、以下のようなｘ座標ｂを有する。

ｍ＝（ｓ−ｋ）ｂ （式３）
図８から明らかなように、有効な変換は、以下の式に従ってワールド・ポイント３０２のｘｙ座標（ｘ，ｙ）をｘｙ座標（ｘ’，ｙ’）に写像する。

ただしＤは、第１および第２ワールド・ポイント３０２_１、３０２_２間の投射距離である。
ｕ≡Ｄ／ｂ （式５）
のようにスカラｕを定義し、ピタゴラスの定理により、（ｋ_２＋１）ｂ_２＝Ｄ_２であることに注目することによって式４を書き直すことができる。
ｕ^２＝１＋ｋ^２ （式６）
したがって、式２、３、および５により、式４の変換を以下のように書き直すことができる。

したがって、有効な変換の１次元ファミリは、式６の制約下でｕおよびｋによってパラメータ表示される。
図６に戻ると、第１および第２ワールド・ポイント３０２_１、３０２_２が対応する光線３００上に適切に変換された後、方法６００はステップ６０８に進み、図４の円４０４で画定される円筒の周りの垂直軸（例えば垂直軸４００）の回転運動によって第３光線上に写像されたワールド・ポイントのファミリを求める。方法６００はステップ６１０で終了する。
一実施形態では、式７の変換を、ワールド・ポイントの均質座標Ｘ＝［ｘ ｙ ｚ １］^Ｔを新しい均質座標Ｘ’に写像する完全３次元変換として解釈することにより、第３光線上に写像されるワールド・ポイントのファミリを求めることができ、以下が得られる。

変換後の点Ｘ’は、Ｌ^ＴＸ’＝０、すなわち
ａ_１＋ｋａ_２＋ｕａ_３＝０ （式９）
である場合にのみ、平面Ｌ＝［ｌ_１ ｌ_２ ｌ_３ ｌ_４］^Ｔ上にある。
ただし、
ａ_１≡ｘｌ_１＋ｙｌ_２＋ｓＤＩ_２ （式１０）
ａ_２≡ｘｌ_２−ｙｌ_１−ＤＩ_２ （式１１）
ａ_３≡ｚｌ_３＋ｌ_４ （式１２）
第３光線は、２つの平面ＬおよびＬ’で表すことができ、Ｌ’を用いて同様にａ_１’、ａ_２’、ａ_３’を定義した場合、以下を得る。
ａ_１＋ｋａ_２＋ｕａ_３＝０ （式９）
ａ_１’＋ｋａ_２’＋ｕａ_３’＝０ （式１３）
ｋおよびｕをそれぞれ取り除くと、
ｕ（ａ_２’ａ_３−ａ_２ａ_３’）＝（ａ_２ａ_１’−ａ_２’ａ_１） （式１４）
−ｋ（ａ_２’ａ_３−ａ_２ａ_３’）＝（ａ_３ａ_１’−ａ_３’ａ_１） （式１５）
式１５および１６を式６に挿入すると、
（ａ_２ａ_１’−ａ_２’ａ_１）^２＝（ａ_２’ａ_３−ａ_２ａ_３’）^２＋（ａ_３ａ_１’−ａ_３’ａ_１）^２ （式１６）

これは、次数により、４次曲面の定義であることが容易にわかる。４次曲面は直線の集合であるので、線織４次曲面である。

図９は、第２の残りの自由度に関連する回転運動によって第３光線でトレースすることのできる例示的線織４次曲面９００を示すグラフである。一実施形態では、ｘｙ平面に平行である線織４次曲面９００のすべての区間がリマソンであり、リマソンの頂点が、ねじれた立方体を形成し、その一部が線織４次曲面９００についての自己交差の曲線である。

ここで、円（例えば図３の円３０６）を含む平面についての式を挿入して、その平面内の４次曲線を得ることができる。円は、４次曲線と最大８個の交点を有し、これらの交点は、第３光線沿いにあるワールド・ポイントのファミリに対応する。

図１１Ａ〜１１Ｂは、例えば上記で議論した第１および第２光線の制約を実施することによって得られる、円１１０２（例えば図３に従って議論したときに導出されたもの）と線織４次曲面１１０４（例えば図９に従って議論したときに導出されたもの）との交差を示すグラフである。図示するように、複数の交差１１０６_１〜１１０６_８（以後「交差１１０６」と総称する）が、円１１０２と線織４次曲面１１０４との間に存在する。具体的には、図１１Ａは、頂面１１０８でのそのような４つの交差１１０６を示し、図１１Ｂは底面１１１０でのそのような４つの交差１１０６を示す。以下でさらに詳細に議論するように、円１１０２と線織４次曲面１１０４との間の合計最大８個の交差１１０６は、ワールド・ポイントの座標系と対応する光線の座標系との間の変換に関する最大８個の可能な解を表す。これらの各変換は、ワールド・ポイントに対するイメージ取込み装置に関するポーズを確立する。

図１０は、以下でさらに議論する、ワールド・ポイントの座標系と対応する光線の座標系との間で変換する方法１０００の一実施形態を示す流れ図である。方法１０００はステップ１００２で初期化され、ステップ１００４に進み、ステップ１００４では、方法１０００は３つの光線（例えば光線３００）をその正準位置に整列させる。

一実施形態では、光線が、光線上の点ｐ_１、ｐ_２、およびｐ_３と、単位方向ベクトルｄ_１、ｄ_２、およびｄ_３によって表される。ｄ_１はｙ軸に平行にされる。第１および第２光線の共通垂直方向は、
ｄ_４≡（ｄ_１×ｄ_２）／｜ｄ_１×ｄ_２｜ （式１７）
これはｚ軸に平行となるべき方向である。
次いで、ｘ軸に平行となる方向は、以下のように定義される。
ｄ_５≡ｄ_１×ｄ_４ （式１８）
式１７および式１８の条件は、光線が以下の回転で回転する場合に満たされる。
Ｒ_１≡［ｄ_５ ｄ_１ ｄ_４］^Ｔ （式１９）
式１で定義される第２光線の傾きｓは、
ｓ≡（ｄ_１Ｔｄ_２）／（ｄ_５Ｔｄ_２） （式２０）
さらに、第１光線が垂直軸と交わる点が原点に配置され、それによってその点が以下のように与えられる。

Ｐ_４≡Ｐ_１＋αｄ_１ （式２１）
ただし、α≡（ｄ_１−ｓｄ_５）^Ｔ（ｐ_２−ｐ_１） （式２２）
したがって、光線をその開始位置に移動させる変換は、

ただし、この変換が光線に対して常に適用されたと仮定することができる。
ステップ１００６では、方法１０００は、ワールド・ポイント（例えばワールド・ポイント３０２）をその正準位置に整列させる。一実施形態では、ワールド・ポイントはｑ_１、ｑ_２、およびｑ_３として与えられる。ワールド・ポイントをその開始位置に移動させるために、まず、第２光線がそのときにｚ座標ｅがｚ座標ｐ_２であるｚ平面内に完全にあることを観察することができる。
さらに、以下を観察することができる。

やはり、
ｄ_６≡［Ｄ ０ ｅ］^Ｔ／｜ｑ_１−ｑ_２｜ （式２５）
は、原点から、第２ワールド・ポイントを配置すべき位置に向かう方向の単位ベクトルである。変換前は、この方向は、
ｄ_７≡（ｑ_１−ｑ_２）／｜ｑ_１−ｑ_２｜ （式２６）
ｄ_８≡［０ １ ０］^Ｔ （式２７）
および
ｄ_９≡（ｄ_７×（ｑ_３−ｑ_１））／｜ｄ_７×（ｑ_３−ｑ_１）｜ （式２８）
も定義される。ただしｄ_８およびｄ_９は、それぞれｄ_６およびｄ_７に対して垂直な単位ベクトルである。したがって、所望の回転は、
Ｒ_２≡［ｄ_６ ｄ_８ （ｄ_６×ｄ_８）］［ｄ_７ ｄ_９ ｄ_７×ｄ_９］^Ｔ （式２９）
となり、点に適用される変換は、

ただし、一実施形態では、変換Ｈ_２が既に点に適用されていると仮定する。

ステップ１００８では、方法１０００は、第３光線を表す２つの平面方程式の係数ＬおよびＬ’を計算する。一実施形態では、係数ＬおよびＬ’は、ｄ_３に対して垂直な２つの別個の法線ベクトルｎおよびｎ’を見つけることによって計算される。一実施形態では、ｎは、２つのベクトル積ｄ_３×［１ ０ ０］およびｄ_３×［０ １ ０］^Ｔの最大の大きさのベクトルとして選ばれる。次いで、ｎ’は、ｎ’≡ｄ_３×ｎとなるように選ばれ、平面ベクトルは、
Ｌ≡［ｎ^Ｔ−ｎ^Ｔｐ_３］^Ｔ （式３１）
および
Ｌ≡［ｎ’^Ｔ−ｎ’^Ｔｐ_３］^Ｔ （式３２）
となる。

次いで、方法１０００はステップ１０１０に進み、その根が円と線織４次曲面の交差に対応する８次多項式の係数を計算する。一実施形態では、ｚの８次多項式は、式１６の４次表現からｘおよびｙを取り除くことによって導出される。ワールド・ポイントがステップ１００６に従って整列された後、円は、以下によって定義される平面内に位置する。
［ｘ ｙ ｚ］ｄ_６＝ｑ_３ ^Ｔｄ_６ （式３３）
これにより、
ｘ＝ｋ_１ （式３４）
が得られる。ただし、

さらに、円は、平面と球
ｘ^２＋ｙ^２＋ｚ^２＝｜ｑ_３｜^２ （式３６）
の間の交差である。
式３４を式３６に代入した場合、以下が得られる。
ｙ^２＝ｋ_２ （式３７）
ただし、ｋ_２＝｜ｑ_３｜^２−ｚ^２−ｋ_１ ^２ （式３８）
式３４を式１０および１１に次々に代入することにより、以下が得られる。
ａ_１＝ｙｋ_３＋ｋ_４ （式３９）
ａ_２＝ｙｋ_５＋ｋ_６ （式４０）
ａ_３＝ｋ_７ （式４１）
ａ_１’＝ｙｋ_８＋ｋ_９ （式４２）
ａ_２’＝ｙｋ_１０＋ｋ_１１ （式４３）
ａ_３’＝ｋ_１２ （式４４）
ただし、
ｋ_３≡ｌ_２ （式４５）
ｋ_４≡ｌ_１ｋ_１＋ｓＤｌ_２ （式４６）
ｋ_５≡−ｌ_１ （式４７）
ｋ_６≡ｌ_２ｋ_１−Ｄｌ_２ （式４８）
ｋ_７≡ｚｌ_３＋ｌ_４ （式４９）
ｋ_８≡ｌ’_２ （式５０）
ｋ_９≡ｌ’_１ｋ_１＋ｓＤｌ’_２ （式５１）
ｋ_１０≡−ｌ’_１ （式５２）
ｋ_１１≡ｌ’_２ｋ_１−Ｄｌ’_２ （式５３）
ｋ_１２≡ｚｌ’_３＋ｌ’_４ （式５４）
式３９から４４および式３８を適用すると、式１７の表現は以下のように拡張される。
ａ_２ａ’_１−ａ’_２ａ_１＝ｋ_１３ｙ＋ｋ_１４ （式５５）
ａ’_２ａ_３−ａ_２ａ’_３＝ｋ_１５ｙ＋ｋ_１６ （式５６）
ａ_３ａ’_１−ａ’_３ａ’_１＝ｋ_１７ｙ＋ｋ_１８ （式５７）
ただし、
ｋ_１３≡ｋ_５ｋ_９＋ｋ_６ｋ_８−ｋ_３ｋ_１１−ｋ_４ｋ_１０ （式５８）
ｋ_１４≡ｋ_６ｋ_９−ｋ_４ｋ_１１＋ｋ_２（ｋ_５ｋ_８−ｋ_３ｋ_１０） （式５９）
ｋ_１５≡ｋ_７ｋ_１０−ｋ_５ｋ_１２ （式６０）
ｋ_１６≡ｋ_７ｋ_１１−ｋ_６ｋ_１２ （式６１）
ｋ_１７≡ｋ_７ｋ_８−ｋ_３ｋ_１２ （式６２）
ｋ_１８≡ｋ_７ｋ_９−ｋ_４ｋ_１２ （式６３）
式５５〜５７の右辺を２乗し、式１６に代入し、再び式３８を適用すると、
ｋ_１９＝ｋ_２０ｙ （式６４）
ただし
ｋ_１９≡ｋ_２（ｋ_１３ ^２−ｋ_１５ ^２−ｋ_１７ ^２）＋ｋ_１４ ^２−ｋ_１６ ^２−ｋ_１８ ^２ （式６５）
ｋ_２０≡２（ｋ_１５ｋ_１６＋ｋ_１７ｋ_１８−ｋ_１３ｋ_１４ （式６６）
式６４を２乗し、再び式３８を適用すると、以下が得られる。
ｋ_２１＝０ （式６７）
ただし、
ｋ_２１≡ｋ_１９ ^２−ｋ_２ｋ_２０ ^２ （式６８）

これは、その根が最大８個の解に対応するｚの８次多項式である。
ステップ１０１０で８次多項式が確立された後、方法１０００はステップ１０１２に進み、８次多項式の根を抽出する。一実施形態では、根は、随伴行列を固有値分解することによって抽出される。
一実施形態では、８次多項式がまず正規化され、その結果以下のように書くことができる。
ｚ^８＋β_７ｚ^７＋β_６ｚ^６＋．．．＋β_０ （式６９）
次いで、根が８×８随伴行列の固有値として見つけられる。

代替実施形態では、例えばＤ．ＮｉｓｔｅｒがＡｎ Ｅｆｆｉｃｉｅｎｔ Ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ Ｆｉｖｅ−Ｐｏｉｎｔ Ｒｅｌａｔｉｖｅ Ｐｏｓｅ Ｐｒｏｂｌｅｍ、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｖｏｌｕｍｅ ２、ｐｐ．１９５−２０２、２００３で論じているように、８次多項式の根をステュルム列として見つけることができる。

８次多項式の根が抽出された後、方法１０００はステップ１０１４に進み、８次多項式の各根で後退置換し、ワールド・ポイント座標系と光線座標系との間の変換のための解を得る。一実施形態では、これは、ｚ、ｘについての各解を式３４で計算し、ｙについての各解を式６４で計算することによって実施される。次いで、ＥＱＮ１４および１５をそれぞれ使用して、ｕおよびｋを計算することができる。次いで、式７で定義される変換が一意的に求められ、それにＨ_３と符号を付ける。各解について、円上の正しい点の周りに第３ワールド・ポイントｑ_３を回転させる変換Ｈ_４も見つかる。

一実施形態では、ｄ_１０が以下のように定義される。
ｄ_１０＝（ｄ_６×［ｘ ｙ ｚ］^Ｔ）／｜ｄ_６×［ｘ ｙ ｚ］^Ｔ｜ （式７１）
次いで、所望の回転は、
Ｒ_４≡［ｄ_６ ｄ_１０ （ｄ_６×ｄ_１０）］［ｄ_６ ｄ_８ （ｄ_６×ｄ_８）］^Ｔ （式７２）
また、ワールド・ポイントに適用される変換は、

次いで、ワールド・ポイントの座標系から光線の座標系への全変換は、
Ｈ＝Ｈ_１ ^−１Ｈ_３Ｈ_４Ｈ_２ （式７４）

式７４で実施される変換が、８次多項式の各根について求められ、それによって最大８個の変換が得られる。これらの８個の変換は、ワールド・ポイントの座標系から光線の座標系への変換についての潜在的解を表す。したがって、潜在的解を、イメージ取込み装置のポーズを求める仮定−試験アーキテクチャ内で試験するための仮定として扱うことができる。

次いで方法１０００はステップ１０１６で終了する。
図１２は、汎用コンピューティング装置１２００を使用して実装されるカメラ・ポーズ推定方法の高レベルブロック図である。一実施形態では、汎用コンピューティング装置１２００はプロセッサ１２０２、メモリ１２０４、カメラ・ポーズ推定モジュール１２０５、およびディスプレイ、キーボード、マウス、モデムなどの様々な入出力（Ｉ／Ｏ）装置１２０６を備えることができる。一実施形態では、少なくとも１つのＩ／Ｏ装置は記憶装置（例えばディスク・ドライブ、光ディスク・ドライブ、フロッピィ・ディスク・ドライブ）である。通信チャネルを介してプロセッサに結合された物理的装置またはサブシステムとしてカメラ・ポーズ推定モジュール１２０５を実装できることを理解されたい。

あるいは、カメラ・ポーズ推定モジュール１２０５は、１つまたは複数のソフトウェア・アプリケーション（さらには、ソフトウェアと、例えば特定用途向け集積回路（ＡＳＩＣ）を用いたハードウェアとの組合せ）で表すことができる。その場合ソフトウェアは、記憶媒体（例えばＩ／Ｏ装置１２０６）からロードされ、汎用コンピューティング装置１２００のメモリ１２０４内でプロセッサ１２０２によって操作される。したがって、一実施形態では、上記の図を参照しながら本明細書で説明したカメラまたは他のイメージ取込み装置のポーズを求めるカメラ・ポーズ推定モジュール１２０５を、コンピュータ可読媒体またはキャリア（例えばＲＡＭ、磁気または光ドライブまたはディスケットなど）上に格納することができる。

したがって、本発明は、コンピュータ・ビジョン・システムの分野での著しい進歩を表す。イメージ取込み装置およびイメージ取込み装置でキャプチャされたイメージについて知られている限られた量の情報に基づいて、イメージ取込み装置のポーズを仮定することを可能にする方法および装置が提供される。この方法および装置は、イメージ取込み装置のモデルまたは幾何形状とは無関係に機能し、したがって実質上任意の種類のイメージ取込み装置のポーズを決定するように実装することができる。

上記は本発明の実施形態を対象とするものであるが、本発明の基本的範囲から逸脱することなく、本発明の別の実施形態を考案することができ、本発明の範囲は、添付の特許請求の範囲によって決定される。

本発明による、カメラ・ポーズを決定する方法の一実施形態を示す流れ図である。 ３つの既知のワールド・ポイントのイメージを含む例示的イメージを示す略図である。 例示的な１対の光線（および光線の制約の実施が残りの２つの自由度の１番目に対して有する効果）を示す略図である。 第１および第２光線の制約の実施が光線の対を含む１組の３つの光線の潜在的ポーズに対して有する効果をさらに示す略図である。 図４の垂直軸に沿った正射影を示す図である。 既知のワールド・ポイントをそれ自体の座標系から対応する光線の座標系に写像する方法の一実施形態を示す流れ図である。 第１および第２光線ならびに既知のワールド・ポイントの変換の正射図を示すグラフである。 対応する光線上に変換された後のワールド・ポイントの構成の一実施形態を示す略図である。 第２の残りの自由度に関連する回転運動によって第３光線でトレースすることのできる例示的線織４次曲面を示すグラフである。 上記でさらに詳細に議論した、ワールド・ポイントの座標系と対応する光線の座標系との間で変換する方法の一実施形態を示す流れ図である。 例えば第１および第２光線の制約を実施することによって得られる、円と線織４次曲面との交差を示すグラフである。 汎用コンピューティング装置を使用して実装されるカメラ・ポーズ推定方法の高レベルブロック図である。

Claims (10)

1. イメージ取込み装置の潜在的ポーズを決定する方法において、前記潜在的ポーズが６つの自由度を有する方法であって、
   前記イメージ取込み装置で取り込んだイメージを受け取るステップであって、前記イメージが少なくとも第１の既知のワールド・ポイント、第２の既知のワールド・ポイント、および第３の既知のワールド・ポイントのイメージを含み、および
   前記イメージ取込み装置に対する前記イメージの既知の関係に従って前記潜在的ポーズに対して制約を実施するステップと、
   第１光線、第２光線、および第３光線によって与えられる制約を実施するステップであって、前記第１光線、前記第２光線、および前記第３光線がそれぞれ、前記イメージ取込み装置から、それぞれ前記第１の既知のワールド・ポイント、前記第２の既知のワールド・ポイント、および前記第３の既知のワールド・ポイントに投射し、および
   前記制約に従って少なくとも１つの潜在的ポーズを決定するステップと
   を含むこと
   を含む方法。
2. 前記実施するステップが、
   前記潜在的ポーズが残りの２つの自由度に制限されるように前記第１光線および前記第２光線で与えられる制約をまず実施するステップ、および
   前記第３ポイント、前記第３光線、および前記残りの２つの自由度に従って前記潜在的ポーズをさらに制限するステップと
   を含む請求項１に記載の方法。
3. 前記残りの２つの自由度が、
   前記第３の既知のワールド・ポイントの変換を表す第１自由度と、
   前記イメージ取込み装置を前記第３既知のワールド・ポイントに投射する第３光線の少なくとも１つの可能な位置を表す第２自由度と
   を含む請求項２に記載の方法。
4. 前記第１自由度が、前記イメージ取込み装置に対する前記第３の既知のワールド・ポイントの位置を円で画定されるエリア内に制限し、前記第２自由度が、前記イメージ取込み装置に対する前記第３光線の位置を線織４次曲面で画定されるエリア内に制限し、前記円と前記線織４次曲面が複数の交点を有する請求項３に記載の方法。
5. 前記複数の交点のそれぞれが、前記第１ワールド・ポイント、前記第２ワールド・ポイント、および前記第３ワールド・ポイントに対する前記イメージ取込み装置の潜在的ポーズを特定する請求項４に記載の方法。
6. 前記イメージ取込み装置が非中心投射イメージ形成モデルに準拠する請求項１に記載の方法。
7. 前記イメージ取込み装置が、マルチカメラ・リグ、カタディオプトリック・カメラ、ジオプトリック・カメラ、またはマルチレンズ・カメラのうちの少なくとも１つを含む請求項６に記載の方法。
8. 前記イメージ取込み装置が、異なる位置に配置された複数のカメラを含み、前記複数のカメラの相対的向きが既知である請求項６に記載の方法。
9. 複数の命令が格納されたコンピュータ可読媒体であって、前記複数の命令が、プロセッサで実行されたときに、イメージ取込み装置の潜在的ポーズを決定する方法の工程をプロセッサに実行させる命令を含み、前記潜在的ポーズが６つの自由度を有し、前記方法が、
   前記イメージ取込み装置で取り込んだイメージを受け取るステップであって、前記イメージが少なくとも第１の既知のワールド・ポイント、第２の既知のワールド・ポイント、および第３の既知のワールド・ポイントのイメージを含み、および
   前記イメージ取込み装置に対する前記イメージの既知の関係に従って前記潜在的ポーズに対して制約を実施することであって、
   第１光線、第２光線、および第３光線によって与えられる制約を実施するステップであって、前記第１光線、前記第２光線、および前記第３光線がそれぞれ、前記イメージ取込み装置から、それぞれ前記第１の既知のワールド・ポイント、前記第２の既知のワールド・ポイント、および前記第３の既知のワールド・ポイントに投射し、および
   前記制約に従って少なくとも１つの潜在的ポーズを決定するステップと
   を含む
   コンピュータ可読媒体。
10. イメージ取込み装置の潜在的ポーズを決定する装置において、前記潜在的ポーズが６つの自由度を有し、
    前記イメージ取込み装置で取り込んだイメージを受け取る手段であって、前記イメージが少なくとも第１の既知のワールド・ポイント、第２の既知のワールド・ポイント、および第３の既知のワールド・ポイントのイメージを含む手段と、
    前記イメージ取込み装置に対する前記イメージの既知の関係に従って前記潜在的ポーズに対して制約を実施する手段であって、
    第１光線、第２光線、および第３光線によって与えられる制約を実施する手段であって、前記第１光線、前記第２光線、および前記第３光線がそれぞれ、前記イメージ取込み装置から、それぞれ前記第１の既知のワールド・ポイント、前記第２の既知のワールド・ポイント、および前記第３の既知のワールド・ポイントに投射する手段と、
    前記制約に従って少なくとも１つの潜在的ポーズを決定する手段と
    を含む
    装置。

Images