JP4685313B2 - 任意の局面の受動的な体積画像の処理方法 - Google Patents

Description

【０００１】
（発明の背景）
本発明は、記録された画像からの測量に関し、具体的には、偽ステレオ画像または合成ステレオ画像の受動的な体積測量に関する。画像コンテンツへのジオメトリック効果の影響の包括的な理解、正確な測定、および簡潔なパラメータ表示により、簡単な組の式を用いて、画像相関の問題から画像のジオメトリの複雑性を分離することが可能になり、したがって、従来の共面ステレオ画像の場合のように、相当効率的な自動画像相関への道を開くことが可能である。次いで、これにより、斜めの画像によって提供された複数の任意の視点から見られ得るように、実世界の詳細な三次元の仮想モデルを効率的に生成することが可能になる。
【０００２】
測量は、画像内、例えば、映像画像内に現れる点またはオブジェクトの地理的位置を決定する工程を含む。測量の際に用いられる画像は、種々の方法のうちのいずれか一つで取得され得る。例としては、ヘリコプターから取られる画像および移動車両から取られる画像を含む。移動車両から映像画像データを取得する方法は、同一の譲受人に譲渡された「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＲＡＴＵＳ ＦＯＲ ＣＯＬＬＥＣＴＩＮＧ ＡＮＤ ＰＲＯＣＥＳＳＩＮＧ ＶＩＳＵＡＬ ＡＮＤ ＳＰＡＴＩＡＬ ＰＯＳＩＴＩＯＮ ＩＮＦＯＲＭＡＴＩＯＮ ＦＲＯＭ Ａ ＭＯＶＩＮＧ ＰＬＡＴＦＯＲＭ」という名称の米国特許第５，６３３，９４６号（’９４６特許）に開示される。同文献を本明細書において参考として援用する。’９４６特許は、複数のビデオカメラが異なる方向で車両上に取り付けられた車両を開示する。車両は道路に沿って運転され、そしてビデオカメラそれぞれからの映像画像は記録される。各画像フレームは、各画像フレームと関連付けられた時間コードを有する。正確な空間位置データも、関連付けられた時間コードと共に、取得され、かつ記録される。空間位置データは、衛星航法システム（ＧＰＳ）および慣性航法システム（ＩＮＳ）から取得される。ＧＰＳシステムは、車両内にＧＰＳ受信機、および公知の位置に設けられたＧＰＳベースの受信機を含む。ＧＰＳ衛星情報内に導入された誤差は、車両内のＧＰＳ受信機およびＧＰＳベース受信機によって集められたＧＰＳデータの差分処理によって排除される。ＩＮＳは、一組の回転センサおよび加速センサを含み、そして、車両が緯度に沿って、経度に沿って、上昇するように、上下に（ｐｉｔｃｈ）、回転して、および左右（ｙａｗ）移動するごとに、継続的に回転の変化および速度の変化を測定する。したがって、ＩＮＳは、正確な位置読み取りがＧＰＳシステムによって行われる位置と位置との間の六つの自由度を備えた生の異なる空間位置データを提供する。
【０００３】
上述のナビゲーションデータの後処理において、Ｋａｌｍａｎのフィルタリング技術が用いられて、バンの六つの自由度の軌跡を時間関数として計算する。この結果生じた軌跡は、すべてのナビゲーションデータの中で最も適した軌跡である。車両の六次元の空間位置データを時間コードでインデックス付けすることによって、このデータをそれぞれの記録された映像画像（これも時間コードによってインデックス付けされる）に相関させることが可能である。
【０００４】
各カメラに関して、カメラの較正データも、生成され、そして測量処理において後に用いられるように格納される。カメラの較正データは、車両内のカメラの内部光ジオメトリおよびカメラ外部の六次元的位置の両方を十分に示すように意図される。内部アスペクトは、画像ピクセルとカメラ座標内で関連付けられた光線とを関連付ける。外部アスペクトは、カメラ座標内に規定された光線とグローバル座標内の光線とを関連付ける。これらの局面は両方、双方向に動作する。車両のナビゲーションデータの後処理およびカメラの較正の両方が完了した後、六次元のグローバル位置が各映像フレームに割り当てられ得る。空間データとカメラの較正データとの組み合わせを、本明細書において各フレームの画像パラメータと呼ぶ。画像パラメータが決定された後、画像は測量用に用いられる準備が整う。異なる位置から同じ対象のオブジェクト（単数または複数）を見る二つ以上のこのような画像を用いて測量を達成する。
【０００５】
従来、空中測量は、ステレオ写真測量アプローチを用いて行われた。従来のステレオ写真技術の数学的計算は、ソース画像が共面の仮定から得られる画像位置の小さな偏差の修正項を用いてほぼ同じジオメトリック平面で撮られたという仮定に基づく。このようなアプローチは、解像度が高い（高い解像度は異常に大量のデータが格納されることを必要とする）デジタルカメラを用いることによって二つのカメラ間の比較的短いベース線を補償する必要がある。さらに、ステレオの写真測量アプローチにおいてしばしば行われる必要があるように、カメラから非常に遠い点またはオブジェクトの位置を計算する場合、オブジェクトの位置を計算する際に誤差が生じる可能性が非常に増加する。
【０００６】
’９４６特許の一目的は、一般化された測量アプローチを用いて二つ以上の画像内に見られるオブジェクトの位置を決定することである。このアプローチにおいて、画像内のオブジェクトの位置は、画像内のジオメトリに関係なく、重複した場面を有する任意の二つ以上の画像から決定される。画像間のジオメトリに関係なく、全画像の重複ピクセルにこの概念を組織的に適用することが望ましい。しかし、複数の非共面画像によって生じる難しさは、画像が容易に相関されないことである。相関アルゴリズムは、画像データの大部分を検索して、第一の画像内のピクセルの中で、第二の画像内のピクセルに対応するピクセルを見つける必要がある。相関はステレオペアの画像上でより効率的に動作するように処理することが一般的に公知である。例えば、人間に見えるステレオペアにおいて、左の画像および右の画像における同じオブジェクト点は、両方の画像内の同じ水平線上にある。水平線に沿った横方向の位置ずれの差異は、画像の共面からオブジェクト点の距離によって変化する。
【０００７】
（発明の簡単な要旨）
ステレオペアの人間の視野が質的である一方、ステレオペアで示唆される情報の深さに関する決定的な定量知識を有することも望ましい。さらに、人間の生理機能によって制約されない自動アルゴリズムはこのようなステレオペアのより広いクラスで動作し得る。このより広いクラスの変換された画像を定量円柱球面のステレオペア（ＱＣＳＰ）と呼ぶ。ＱＣＳＰは対応するピクセルの線登録を保存する。
【０００８】
本発明において、重複場面を有する記録された画像は、ジオメトリックな変換を用いてＱＣＳＰに変換される。上記ＱＣＳＰは複数の異なるフォーマット、例えば、従来の人間の視野内のステレオペア、半径のステレオペアおよび一般的な場合の定量円柱球面のステレオペアをとり得る。上記ＱＣＳＰは、種々の三次元の画像化処理、例えば、受動的な体積測量および三次元の視覚化の生成に用いられ得る。
【０００９】
（詳細な説明）
（１．定量円柱球面（ｃｙｌｉｓｐｈｅｒｉｃ）ステレオペア（ＱＣＳＰ）の生成）
測量プロセスの第一の工程は、画像データ、空間位置データおよびカメラの較正データを収集することである。このデータを収集した後、重複場面を有する二つの画像が識別される。二つの識別された画像は、異なるカメラからの画像であったり、または異なる時間点における同じカメラからの画像であり得る。二つの画像は共面である必要はない。二つの識別されたソース画像のそれぞれは、変換された画像または目標画像に変換される。この変換を「円柱球面」変換と呼ぶ。これは、円柱形の数学的構造および球形の数学的構造の両方を用いて画像を変換させるからである。二つの変換された画像はＱＣＳＰを含み、これにより、特定の点が両方のソース画像において見られる場合、点が変換された画像両方の同じ線上にある。円柱球面変換およびこの一般的な場合の出力をまず記述する。定量な半径のおよび従来のステレオペアは、円柱球面変換の別の出力フォーマットである。
【００１０】
円柱球面変換は、正確な画像パラメータが存在する場合に最も有用である。画像パラメータ内の誤差により、オブジェクト点と関連付けられたピクセルが、不正確な水平および／または垂直のオフセットを有するようになり、このオフセットにおいて、ピクセルは変換された画像内に置かれる。したがって、誤差は相関ウィンドウを拡大させようとする傾向にあり、したがって、計算時間を浪費する。画像パラメータが正確であればあるほど、画像間で対応するピクセルの検索が狭くなる。すなわち、非常に正確な画像パラメータを用いると、対応するピクセルは、変換された画像の同じ線に見られる。位置情報の正確さが下がると、対応するピクセルは数本以上の線内に見られる。
【００１１】
続いて、「カメラ位置」は、特定の画像が撮られた場合の六次元空間でのカメラの位置を示す。各画像の「画像パラメータ」はこの情報を含む。
【００１２】
図１Ａは、円柱球面変換で用いられる数学的構造をグラフィカルに示す。二つのカメラ位置（第一のカメラ位置１４Ａおよび第二のカメラ位置１４Ｂ）を図１に示す。カメラ１の方向は軸２０Ａによって示され、カメラ２の方向は軸２０Ｂによって示される。カメラ２は、実際には、カメラ１と同じであってもよいが、カメラを用いる位置および時間を異なって用いてもよい。カメラ位置１４Ａおよび１４Ｂを通る軸１２を有する円筒１０は、平面１８の３６０度のファン（ｆａｎ）を規定する。平面１８それぞれは、円筒１０の軸１２と交差する。角度「ベータ」は、基準面１８Ａに対して平面１８それぞれの角回転を割り当てる。平面１８の全部でないにしてもいくつかは、二つのソース画像それぞれの視野を通る。平面が視野にある場合、平面がその端部（ｅｄｇｅ−ｏｎ）から見られるため、この平面は線に見える。ある画像と別の画像との間の対応するピクセルは同じ線に沿って生じる。これらの線は出力画像の水平線（すなわち、行）を規定する。
【００１３】
第一の球体２２Ａは第一のカメラ位置１４Ａを中心とし、第二の球体２２Ｂは第二のカメラ位置１４Ｂを中心とする。円筒軸１２と球体２２の原点から始まる任意のベクトルとの間の角度を「アルファ」と呼ぶ。図１Ａにおいて、第一のベクトル２４は第一のカメラ位置１４Ａから空間内の点２８まで引き伸ばされ、第二のベクトル２６は第二のカメラ位置１４Ｂから同じ点２８まで引き伸ばされる。アルファ１（α_１）は第一のベクトル２４のアルファ値を示し、アルファ２（α_２）は第二のベクトル２６のアルファ値を示す。空間内の任意の点は二つのアルファ値および一つのベータ値を有する。不変のアルファ線はＱＣＳＰ画像の垂直線（すなわち、列）を規定する。
【００１４】
（アルファ、ベータ）の座標の対と関連付けられた明示的な長さはない。したがって、図１Ａの球体２２Ａおよび２２Ｂは、図１Ｂに示すような、無限の半径および一つの（アルファ、ベータ）座標システムを有する共通の球体であるとも考えられ得る。
【００１５】
円柱球面変換の最終的な結果は、各カメラ位置１４Ａおよび１４Ｂが、（１）円筒軸と位置が合わされた極軸、（２）出力画像の行に対応した経度線、および（３）出力画像の列に対応した緯度線によって、球のようなグリッドで囲まれる。このグリッド上へのソース画像の投影は、画像が出力画像にプロットされる図を示す。円柱球面変換は、回転動作以外のいずれの変換動作にも関与しない。円柱球面変換は二つのカメラ位置間の偏差ベクトルに固定される。したがって、視差の誤差は変換によって導入されない。
【００１６】
図２は、本発明の円柱球面変換のフロー図を示す。プロセスの第一の工程は、円筒軸１２を規定することである（ブロック５０）。ベクトルは、第二のカメラ位置１４Ｂから第一のカメラ位置１４Ａまでの線である。カメラ位置１４は、格納された画像パラメータデータから決定される。格納された画像パラメータデータは、各画像に対して、ＩＴＲＦ地球中心、地球固定（ｅａｒｔｈ−ｃｅｎｔｅｒｅｄ，ｅａｒｔｈ−ｆｉｘｅｄ）（ＥＣＥＦ）グローバル座標の変換データ、標準的な航空機の座標フォーマットの回転データ（回転、上下および左右）（図６参照）、および回転データに基づいて計算された３×３のオイラーマトリクス（すなわち、方向コサインマトリクス）（図７参照）を含む。
【００１７】
円筒軸のベクトルは正規化されてユニットベクトルを生成する。次いで、円筒軸のユニットベクトルは、３×３の回転変換マトリクスの第三の列に割り当てられる（ブロック５２）。
【００１８】
変換の次の工程は、平均的なカメラのビュー方向を規定することである（ブロック５４）。平均的なカメラのビュー方向は、第一の画像と関連付けられた方向（これは、大体、第一のカメラの外方への光軸の方向）コサインマトリクスの第一の列と、第二の画像と関連付けられた方向（これは、大体、第二のカメラの外方への光軸の方向）コサインマトリクスの第一の列とを合計して、そして結果生じるベクトルを正規化することによって計算される。
【００１９】
次に、ベクトルは回転変換マトリクスの第二の列に割り当て（ブロック５６）、このベクトルは円筒軸および平均ビュー方向の両方に垂直である。回転変換マトリクスの第三の列に割り当てられたベクトルは、正規化された円筒軸のベクトルと正規化された平均ビュー方向ベクトルとのクロス乗積から生じたベクトルである。結果生じたベクトルは、回転変換マトリクスの第三の列に割り当てられる前に正規化される。
【００２０】
平均ビュー方向が円筒軸の近位にある場合、平均ビュー方向の代わりに「上」または「下」のベクトルを用いることが好適であり得る。さらに、円筒軸が垂直である場合、平均ビュー方向の代わりに「北」ベクトルを用いることが好適であり得る。
【００２１】
回転変換マトリクスは、このマトリクスの第一の列にベクトルを割り当てることによって完成する（ブロック５８）。マトリクスの第一の列に割り当てられたベクトルは、マトリクスの第二の列とマトリクスの第三の列とのクロス乗積から生じるベクトルである。完成した回転変換マトリクスは、グローバルＥＣＥＦ座標で示されたベクトルを回転させて、局所的な円柱球面のＸ座標、Ｙ座標およびＺ座標にする際に用いられる。次いで、アルファ値およびベータ値は、円柱球面のＸ座標、Ｙ座標およびＺ座標から計算され得る。
【００２２】
以下のパラグラフにおいて、「光線」は、特定の点から始まるベクトルであり、そして、一方向にのみ延びる（すなわち、光線は方向付けられた線セグメントである）。
回転変換マトリクスが完成した後、変換された画像の視野が決定される（ブロック６０）。視野の決定は、アルファ値およびベータ値の最小値および最大値を識別する工程を含む。アルファ値およびベータ値の最小値および最大値を識別する好適な方法は、各ソース画像のピクセルのサブセットを選択することである。画像のエッジを含む１１×１１のピクセルのグリッドは、良好であることが分かっている（したがって、１２１のピクセルがテストされた）。各ピクセルに対して、カメラ位置から外方に延びる対応する光線が生成される。光線はグローバルＥＣＥＦ座標で示される。アルファ値およびベータ値は各光線に対して計算される。光線に対応するアルファ値およびベータ値を計算する際、光線のグローバル座標は、回転変換マトリクスを用いて、円柱球面のＸ座標、Ｙ座標およびＺ座標に変換される。次いで、アルファ値およびベータ値は、円柱球面のＸ座標、Ｙ座標およびＺ座標から決定される。アルファ値およびベータ値は相互に比較されて、最小値および最大値を識別する。
【００２３】
アルファ中央値およびベータ中央値は、アルファ値およびベータ値の最小値および最大値から計算される（ブロック６２）。アルファ中央値はアルファ値の最小値と最大値とを加算して、この結果を２で除算することによって計算される。同様に、ベータ中央値はベータ値の最小値と最大値とを加算して、この結果を２で除算することによって計算される。アルファ中央値およびベータ中央値は、変換された画像（これは入力画像の視野全体をカバーする）の中央にある。
【００２４】
アルファ値および／またはベータ値の範囲をテストして、従来の出力フォーマットまたは半径の出力フォーマットでの有用性を見ることが望ましい場合がある。例えば、アルファ値の範囲が正でも負でもない場合、対数目盛の半径のステレオ画像は出力され得ない。ベータ値の範囲が１８０度以上である場合、従来のステレオ画像は出力され得ない（これはブロック６４において行われる）。
【００２５】
アルファ値およびベータ値の最小値および最大値を、両方の画像の視野全体のサブセットにさらに制限することが望ましい場合がある。例えば、二つの画像の重複を制限することによって境界決めされた領域を用いてもよい。これはブロック６６において行われる。
【００２６】
ＱＣＳＰの変換された画像の両方は同じ方向コサインマトリクスを有する。
【００２７】
各出力画像に用いられるピクセル数は規定される（ブロック６８）。選択されるピクセル数は、所望の水平出力解像度および垂直出力解像度に依存する。
【００２８】
アルファおよびベータに対するステップ値（すなわち、増加値）が決定される（ブロック７０）。ベータのステップ値は、出力画像の行数および出力画像の計算されたベータ値の範囲（すなわち、ベータ値の最大値からベータ値の最小値を減算した値）に基づくため、出力画像の各行は対応するベータ値を有する。同様に、アルファのステップ値は、出力画像の列数および出力画像の計算されたアルファ値の範囲（すなわち、アルファ値の最大値からアルファ値の最小値を減算した値）に基づくため、出力画像の各列は対応するアルファ値を有する。
【００２９】
アルファ値およびベータ値のそれぞれの対に関して、対応する光線は円柱球面のＸ座標、Ｙ座標およびＺ座標で生成される（ブロック７２）。次いで、光線は、回転変換を用いてグローバル座標に変換される。生成されたそれぞれの光線に対して、ソース画像それぞれを有する光線の交差点が決定される（ブロック７４）。光線が交差したソース画像それぞれのピクセルは、光線を生成するために用いられたアルファ値およびベータ値の対応する目標画像にコピーされる。
【００３０】
ソース画像の所与のピクセルと交差する光線を識別する場合や、または所与の光線が交差したピクセルを識別する場合、カメラの較正データが考慮される。ソース画像内の所与のピクセルと交差する光線を生成するには、入力ピクセルがカメラの座標システム内のベクトルに変換される。カメラの座標システムにおいて、Ｘ軸はレンズの中心から外を向き、Ｙ軸は右を向き、そしてＺ軸は下を向く。カメラ座標内のベクトルのＸ成分は１に設定される。Ｙ成分は、正規化された水平ピクセル位置に水平の目盛係数を乗算して、次いで水平０点オフセットを加算することによって規定される。同様に、Ｚ成分は、正規化された垂直ピクセル位置に垂直の目盛係数を乗算して、次いで垂直０点オフセットを加算することによって規定される。目盛係数および０点オフセットは測定されたカメラの較正パラメータに基づく。生成されたベクトルは歪みのない画像内の点を示す。半径の歪みはまず画像の中央から半径距離の点を計算することによって考慮される。半径距離は、生成されたベクトルのＹ成分およびＺ成分を二乗し、これらの成分を加算し、そしてこの合計の二乗根を計算することによって計算される。半径距離は３次多項式の歪み修正アルゴリズムに入力される。３次多項式の歪み修正アルゴリズムは、歪みが修正された半径距離を出力する。好適な実施形態において、歪みが修正された半径距離は、入力半径距離を三乗し、この三乗した入力半径距離をカメラ特定の目盛歪み係数（ｓｃａｌａｒ ｄｉｓｔｏｒｔｉｏｎ ｆａｃｔｏｒ）で乗算し、そして入力半径距離を加算することによって計算される。カメラ特定の歪み係数はカメラごとに異なり、カメラレンズによって生成された歪みの量に主に依存する。カメラの画像平面は、ピクセルレベルにおいて、比較的ほとんど歪みを有さない傾向にある。実験から、光軸からの半径距離に基づいた歪みの修正が良好に終了されることが分かっている。係数が一つのアプローチにより、カメラの較正に必要なデータ収集の複雑性およびサイズが減少する。次いで、歪みが無いベクトルは、ベクトルのＹ成分およびＺ成分に、歪みが修正された半径距離と元々計算された半径距離との比を乗算することによって歪みが調整される。歪みが調整されたベクトルは、焦点面上の真の点を識別する。歪みが調整されたベクトルには、画像の方向コサインマトリクスが乗算されて、ベクトルをカメラ座標からグローバル座標に変換し、この結果、グローバル光線が生じる。
【００３１】
カメラの較正データが考慮される別の状況は、所与の光線によって交差されるソース画像内のピクセルを識別する場合である。プロセスは、実質的に、上述のプロセスの逆（すなわち、所与のピクセルと交差する光線を生成するプロセス）である。しかし、重要な差異が一つある。ピクセルから開始する場合、このピクセルと交差する光線は常に生成され得る。逆に、光線から開始する場合、この光線はピクセルを交差する場合も交差しない場合もある。ピクセルが交差されない場合、適切な「失敗」フラグが設定されて、ピクセルが交差していないことを示す。
【００３２】
所与の光線によって交差されるピクセルを識別する際の第一の工程は、正規化された光線に逆方向の画像のコサインマトリクスを乗算して、この光線をグローバル座標からＸカメラ座標、Ｙカメラ座標およびＺカメラ座標に変換することである。入力光線のＹ成分およびＺ成分はそれぞれ、入力光線のＸ成分で除算されて、画像平面にあるベクトルを生成し、そして焦点面内の真の点を識別する。ベクトルのＹ成分およびＺ成分は用いられて、画像中央からの半径距離の真の点を計算する。半径距離は、Ｙ成分およびＺ成分を二乗し、これらの成分を加算し、そしてこの合計の二乗根を計算することによって計算される。半径距離およびカメラ特定の歪み係数は、３次多項式の解を得るアルゴリズムに入力されて、一つの真の根に対する３次式の解を得る。３次式の解を得る技術は、Ｓｃｈａｕｍ’ｓ Ｍａｔｈ Ｈａｎｄｂｏｏｋなどの数学の教科書に記載される。アルゴリズムの解を得る３次多項式は歪みが修正された半径距離を出力する。正規化された水平ピクセル位置は、画像平面ベクトルのＹ成分に、歪みが修正された半径距離と元の半径距離との比を乗算し、次いで水平０点オフセットと水平目盛係数との比を減算することによって計算される。正規化された垂直のピクセル位置は、画像平面ベクトルのＺ成分に、歪みが修正された半径距離と元の半径距離との比を乗算し、次いで垂直０点オフセットと垂直目盛係数との比を減算することによって計算される。
【００３３】
円柱球面変換は三つの異なるモードで動作する。第三の最も一般的なモードの計算を上述してきた。モード１およびモード２は、有用な方法で水平ピクセル位置を調整する。モード１は、方向コサインマトリクスで用いられる角度を変更させ、出力画像の水平線間の空間における非線形的な増加を用いる。第一のモードにおいて、変換は、普通の人間の知覚を用いて見られ得そして解釈され得る「従来の」ステレオペアを生成する。第一のモードは、画像位置間のベクトルを概して横向きに見る画像に対してうまく機能する。第一のモードは、進行方向と位置が合わされた（すなわち、進行方向を指す）画像に対してはうまく機能しないが、第二のモードはこのような画像に対してうまく機能する。第二のモードにおいて、変換は「半径の」ステレオペアを生成する。第二のモードは、画像が進行方向と位置が合わされていない場合、うまく機能しない。第三のモードは、概して、共通の場面を共有する任意の対の画像に適用可能である。第三のモードにおいて、変換は「通常の場合の円柱球面」ステレオペアを生成する。モードの選択は入力画像の方向および所望の出力特徴に依存する。各種類のＱＣＳＰの実施例を以下の段落において説明する。
【００３４】
（Ａ． 従来のステレオペア）
図３Ａおよび図３Ｂは、カメラを一つ備えたヘリコプターから撮られた画像を示し、カメラがヘリコプターのやや前方の地面の方を見下ろしている画像を示す。図３Ｃおよび図３Ｄはそれぞれ、図３Ａおよび図３Ｂに示すソース画像から生成されたＱＣＳＰを示す。カメラはヘリコプターにボルト留めされ、ヘリコプターはその飛行経路に沿って、左右に移動、上下に移動、および回転するため、元の画像のフットプリントは位置が合わせられず、ステレオペアではない。カメラがヘリコプターのやや前方に向けられたため、元の画像のフットプリントは形状が長方形ではなく台形であった。ＱＣＳＰの下位画像が長方形の重複領域をクロッピングしたことに留意されたい。このようなクロッピングは、特定の対象範囲（境界線上の任意のピクセルペアの範囲）を示唆する。
【００３５】
モード１のＱＣＳＰを以下の方法で一般の場合から変更する。
【００３６】
１．ＱＣＳＰのベータ＝０（すなわち、左右移動の角度）の選択が、任意でないにしてもやや柔軟であることに留意されたい。
【００３７】
２．画像座標フレーム（ＩＣＦ）をＱＣＳＰ座標フレームに対して＋９０度回転する。（＋Ｘは前、＋Ｙは右、＋Ｚは下に回転する）。
【００３８】
３．従来のステレオペアをＩＣＦの＋Ｘ軸に垂直の二つの共面平面上に投影する。
【００３９】
４．ＩＣＦ内の距離ｘ＝＋Ｄにおける投影平面に関して、画像平面点（Ｄ、Ｙ、Ｚ）は以下によってアルファおよびベータに関連する。
ＩＣＦを−９０度回転する場合：
ベータ＝アークタンジェント（Ｚ／Ｄ）
アルファ＝アークタンジェント（Ｙ^＊コサイン（ベータ）／Ｄ）
ＩＣＦを＋９０度回転する場合：
ベータ＝アークタンジェント（Ｚ／Ｄ）
アルファ＝アークタンジェント（Ｙ^＊コサイン（ベータ）／Ｄ）
５．典型的な入力画像の台形のフットプリント、およびカメラが円筒軸に対して垂直に見ない場合があるという点により、ソース画像の中央軸も出力画像の座標の中央軸も中心としない画像の重複エリアが生じる。したがって、モード１のＱＣＳＰのパラメータは、ステレオペアの座標フレームの原点から保存された合成画像のペアの中心への二次元のオフセット移動を含む。結果生じた利益により、人間の視野を損なうことなく、実際の画像サイズが減少し、そしてコンピュータ記憶装置が節約される。
【００４０】
（Ｂ． 半径のステレオペア）
図４Ａおよび図４Ｂは、車両の前方を向いたカメラを一つ備えた移動車両から撮られた二つのソース画像、および二つのソース画像の変換を示す。左上の角に示すソース画像（図４Ａ）は、右上の角に示すソース画像（図４Ｂ）より後の時間に撮られた。各画像の変換をソース画像の下に示す。
【００４１】
進行方向の周囲で水平の目盛（ｓｃａｌｉｎｇ）を、特に上手に、特に有用に選択することが用いられた。中心からの偏差の対数（すなわち、（９０度−ＡＢＳ（アルファ））のタンジェントの対数）を計算することによって、カメラの偏差の方向に垂直である標識などの平坦なオブジェクトは同じサイズを有する。ほとんどの高速道路の標識が車両の進行方向にほぼ垂直であるため、広く有用なクラスのステレオ相関が簡略化される。この機能を図４Ｃおよび図４Ｄに示す。進行方向に垂直のオブジェクトは両方の画像において同じサイズであり、これにより、変換された画像内で自動的に測量するために用いられる画像認識アルゴリズムの複雑性を減少させることが可能になる。例えば、図４Ｃおよび図４Ｄの変換された画像に示すように、道路を越えて延びた道路の標識は両方の画像において同じサイズである。アルファ＝０の場合、対数は無限大になり、したがって、円筒軸の直接上の小さなエリアは変換から排除されることに留意されたい。排除されたエリアは、一つのピクセルのフラクションと同程度に小さく選択されたり、またはいくつかのピクセルと同程度に大きく選択され得る。範囲情報は進行軸の近位で品質が下がる。モード２およびモード３の合成ステレオペアは、人間の知覚には馴染みのないものであるが、モード１のステレオペアとのこれらの差異は自動画像相関アルゴリズムには分からない。
【００４２】
（Ｃ．円柱球面ステレオペア）
図５Ａおよび図５Ｂは、車両の右前方を向いたカメラを一つ備えた移動車両から撮られた二つのソース画像を示し、図５Ｃおよび図５Ｄは二つのソース画像の変換を示す。各画像（図５Ｃ、図５Ｄ）の変換をソース画像（図５Ａ、図５Ｂ）の下に示す。図５Ｃおよび図５Ｄに示す円柱球面ステレオペアは内斜視のビュー用に設定される。
【００４３】
（ＩＩ． ＱＣＳＰの相関および受動的な範囲の決定）
ＱＣＳＰが生成された後、相関アルゴリズムがステレオペア上で動作し、画像間の対応したピクセルを識別する。共面から離れた画像を相関させることは困難である。例えば、人がオブジェクトに近づく方向に移動すると、オブジェクトは大きくなる。オブジェクトのサイズが画像ごとに変化するため、対応するピクセルの検索がより困難になる。上述したように非共面画像をＱＣＳＰにすることによって、検索が著しく簡略化される。本発明のＱＣＳＰにおいて、画像間の対応するピクセルは、同じ線上にあるかまたは互いの数本の線内にある。これにより、対応するピクセルの検索が狭い線形空間に限定されるため、相関プロセスの効率が顕著に増加する。従来のステレオペアと協働するアルゴリズムのような既存の相関アルゴリズムも、本発明のＱＣＳＰと共に用いられ得る。このようなアルゴリズムは、エッジ検出、パターン認識および他の技術によって対応するピクセルを識別する。
【００４４】
対応するピクセルが識別された後、これらのピクセルの範囲が決定される。各ピクセルと関連付けられたアルファ値およびベータ値を用いて、円柱球面空間における二つの交差光線が計算される。光線の最も近いアプローチの交差点または点は、この点の円柱球面のＸ座標、Ｙ座標およびＺ座標である。次いで、この点は、回転されて、ユーザ定義の座標システム内に変換され得る。したがって、ピクセルの範囲が三角測量によって決定され得る。範囲決定プロセスによって、各ピクセルと関連付けられたＸ円柱球面座標、Ｙ円柱球面座標およびＺ円柱球面座標が生じる。好適な実施形態において、ＩＴＲＦ地球中心、地球固定（ＥＣＥＦ）座標が、Ｘ座標、Ｙ座標およびＺ座標に対して用いられる。ピクセルのＸ位置、Ｙ位置およびＺ位置が決定された後、ピクセルが体積エンティティになる。好適な実施形態において、コンピュータはＱＣＳＰ内のピクセルに自動的に相関させ、そして三次元の視覚化モデルを生成する。
【００４５】
（ＩＩＩ．ＱＣＳＰ用のデータ構造）
ＱＣＳＰ画像は、好適には、十分なパラメトリック情報を含んで、場面における要素の三次元の定量的空間位置を識別し、そして仮想（例えば、三次元）オブジェクトを場面内に挿入することを可能にするために、画像を有用なツールにするデータ構造として保存される。仮想オブジェクトの挿入はモード１において特に有用であるため、提案された変更が行われた後、自然な方法で、人は既存の場面のコンテキストにおいて「物はどのように見るか」を見ることが可能である。ＱＣＳＰのデータ構造により、三次元における定量情報のリアルタイムの抽出および挿入が可能になる。通常、合成の定量的なステレオペアの合成の間、ソース画像におけるモデル化された歪みが排除され、これにより、出力画像ジオメトリを記載するために歪みパラメータが必要でなくなる。
【００４６】
好適な実施形態において、ＱＣＳＰは標準的な２４ビット／ピクセルのビットマップ画像（．ＢＭＰ）として保存される。ＱＣＳＰは、５４バイトのヘッダを含み、この直後には、ピクセルデータ（ピクセルあたり３バイトでエンコードされる−−青／緑／赤）の継続的なストリームが続く。各画像の左下の角で開始して、ピクセルデータはそれぞれの水平行の画像に対して左から右に書き込まれ、行の最後は０バイトで埋められて、最も近い４バイトの境界線に切り上げられる。次の上の行がすぐに続く。ＱＣＳＰにおいて、画像の低部における黒色のピクセルの一つ以上の余分な線は定量ヘッダデータを提供する。定量ヘッダデータはすぐに、標準的なビットマップヘッダに続く。定量ヘッダデータは、対応するピクセルの正確な三次元の地理的な位置決めを可能にする一組の式によって用いられる数の係数を含む。係数は、三次元の地理的な位置からピクセルペアの座標への逆変換にも用いられる。定量ヘッダ内の最後の入力は、テストのピクセルペアであり、提供された係数を用いて計算された、関連付けられたＥＣＥＦ座標である。
【００４７】
合成ステレオ画像は、二つの右手側のユークリッドの座標システムを用いる。これらの座標システムは、（１）ステレオペア内部の座標システム、および（２）ステレオペア外部の座標システムである。ステレオペア外部の座標システムはＥＣＥＦ座標を用いる。回転変換は用いられて、ステレオペアの内部座標システムと外部のＥＣＥＦ座標との間で変換される。
【００４８】
本発明を好適な実施形態に関して説明したが、当業者であれば、本発明の意図および範囲から逸脱することなく、形態および詳細の変更が行われ得ることを理解する。
【図面の簡単な説明】
【図１Ａ】 図１Ａは、本発明の円柱球面変換において用いられる数学的構造をグラフィカルに示す。
【図１Ｂ】 図１Ｂは、図１Ａの二つの球体が、無限の半径および一つの座標システムを有する共通の球体としていかに示され得るかを示す。
【図２】 図２は、本発明の円柱球面変換のフロー図を示す。
【図３】 図３Ａは、カメラを一つ備えたヘリコプターから撮られた画像を示し、ヘリコプターのやや前方の地面の方を見下ろしている画像を示す。
図３Ｂは、カメラを一つ備えたヘリコプターから撮られた画像を示し、ヘリコプターのやや前方の地面の方を見下ろしている画像を示す。
図３Ｃは、図３Ａおよび図３Ｂに示すソース画像から生成されたＱＣＳＰ（これは人間に見えるステレオペアの画像である）を示す。
図３Ｄは、図３Ａおよび図３Ｂに示すソース画像から生成されたＱＣＳＰ（これは人間に見えるステレオペアの画像である）を示す。
【図４】 図４Ａは、車両の前方に向けられたカメラを一つ備えた移動車両から撮られた二つのソース画像を示す。
図４Ｂは、車両の前方を向いたカメラを一つ備えた移動車両から撮られた二つのソース画像を示す。
図４Ｃは、水平軸上に対数目盛を用いて二つのソース画像を正確な半径のステレオペアにする変換を示す。
図４Ｄは、水平軸上に対数目盛を用いて二つのソース画像を正確な半径のステレオペアにする変換を示す。
【図５】 図５Ａは、車両の右前方に向けられたカメラを一つ備えた移動車両から撮られた二つのソース画像を示す。
図５Ｂは、車両の右前方に向けられたカメラを一つ備えた移動車両から撮られた二つのソース画像を示す。
図５Ｃは、円柱球面画像目盛を用いた、二つのソース画像の変換を示す。
図５Ｄは、円柱球面画像目盛を用いた、二つのソース画像の変換を示す。
【図６】 図６は、飛行シミュレーションの座標を示す図である。
【図７】 図７は、オイラー変換を示す。

Claims (23)

1. 記録画像を処理する方法であって、
   カメラの光学中心およびカメラの方向に関連付けられた記録画像であって、重複場面を表すピクセルを有する一対の記録画像を選択する工程Ａ１と、
   前記一対の記録画像を変換する工程であって、変換後の前記一対の記録画像である一対の変換後画像内において、共通の場面のオブジェクト点に対応するピクセルが、対応する水平線内に配置されるように、前記一対の記録画像を変換する工程Ａ２と、
   前記工程Ａ２による前記一対の変換後画像を用いて画像相関を実行する工程Ａ３と、
   を含み、
   前記工程Ａ２は、
   前記一対の記録画像に共通の球面座標系であって、前記一対の記録画像に対応するカメラの光学中心を通る線に平行な極軸を有する球面座標系を定める工程Ａ２１と、
   前記一対の記録画像が有するピクセルを、前記共通の球面座標系を用いて変換し、前記ピクセルの各行が、経度β一定のラインに示され、前記ピクセルの各列が、緯度α一定のラインに示される前記一対の変換後画像を生成する工程Ａ２２と、
   を含むこと
   を特徴とする方法。
2. 各記録画像は、自己に関連付けられたデータとして、この画像を生成したカメラの空間位置および方向を識別するためのデータを有し、
   前記一対の記録画像を変換する工程Ａ２は、前記関連付けられたデータに基づくものであることを特徴とする請求項１に記載の方法。
3. 前記一対の記録画像を変換する工程Ａ２は、前記関連付けられたデータおよび前記カメラの較正パラメータに基づいてジオメトリックな変換を用いるものであることを特徴とする請求項２に記載の方法。
4. 前記画像相関によって識別された前記一対の変換後画像内の対応するピクセルの範囲を決定する工程をさらに含むことを特徴とする請求項１に記載の方法。
5. 前記範囲に基づいて、各ピクセルのグローバル位置を決定する工程をさらに含むことを特徴とする請求項４に記載の方法。
6. 前記画像相関に基づいて、三次元の視覚化モデルを生成する工程をさらに含むことを特徴とする請求項１に記載の方法。
7. 前記工程Ａ２２は、
   グローバル座標系と前記共通する球面座標系との間の変換則を規定する工程と、
   前記一対の変換後画像のピクセルを規定する前記共通の球面座標系において、第一の組の光線および第二の組の光線を生成する工程と、
   前記第一の組の光線および前記第二の組の光線を、個別のカメラの座標系に変換する工程と、
   前記カメラの座標系において前記第一の組の光線および前記第二の組の光線が交差した前記一対の記録画像のピクセルで、前記一対の変換後画像を生成する工程と、
   を含むことを特徴とする請求項１に記載の方法。
8. 各光線は、前記共通の球面座標系ならびに角度αおよび角度βによって規定され、
   前記角度αは、前記極軸に対する前記光線の角度であり、
   前記角度βは、前記極軸を通る基準面に対する前記光線および前記極軸によって規定された平面の角度であることを特徴とする請求項７に記載の方法。
9. 画像データを処理する方法であって、
   第一の画像データおよび第一のカメラ位置のデータを保存する工程Ｂ１と、
   第二の画像データおよび第二のカメラ位置のデータを保存する工程Ｂ２と、
   前記第一のカメラ位置のデータおよび前記第二のカメラ位置のデータに基づいて、前記第一の画像データおよび前記第二の画像データをジオメトリックに変換し、それぞれの変換後の画像データである第一の変換後画像データおよび第二の変換後画像データを生成する工程Ｂ３と、
   前記第一の変換後画像データおよび前記第二の変換後画像データを用いて画像相関を実行する工程Ｂ４と
   を含み、
   前記工程Ｂ３は、
   前記第一のカメラ位置のデータおよび前記第二のカメラ位置のデータに基づいて、共通の球面座標系における極軸を定める工程Ｂ３１と、
   前記極軸および前記共通の球面座標系に基づいて、グローバル座標系と前記共通の球面座標系との間の変換に用いる回転変換行列を規定する工程Ｂ３２と、
   前記共通の球面座標系において、前記第一の変換後画像データのピクセルを規定する第一の組の光線および前記第二の変換後画像データのピクセルを規定する第二の組の光線を生成する工程Ｂ３３と、
   前記第一の組の光線および前記第二の組の光線を、前記第一の画像データおよび前記第二の画像データに関連する座標系に変換する工程Ｂ３４と、
   前記第一の組の光線および前記第二の組の光線が交差する前記第一の画像データおよび前記第二の画像データ内のピクセルに基づいて、前記第一の変換後画像データおよび前記第二の変換後画像データを生成する工程Ｂ３５と、
   を含むことを特徴とする方法。
10. 前記共通の球面座標系は、前記極軸上の点を中心とする第一の球体および前記極軸上の点を中心とする第二の球体に対応する半径無限の座標系であり、
    前記第一の球体は、前記第一のカメラ位置を中心とすることを特徴とする請求項９に記載の方法。
11. 前記第二の球体は、前記第二のカメラ位置を中心とすることを特徴とする請求項１０に記載の方法。
12. 各光線は、角度αおよび角度βによって規定され、
    前記角度αは、前記極軸に対する前記光線の角度であり、
    前記角度βは、前記極軸を通る基準面に対する前記光線および前記極軸によって規定された平面の角度であることを特徴とする請求項９に記載の方法。
13. 前記画像相関によって識別された前記第一の変換後画像データおよび前記第二の変換後画像データ内の対応するピクセルの範囲を決定する工程をさらに含むことを特徴とする請求項９に記載の方法。
14. 前記範囲に基づいて、各ピクセルのグローバル位置を決定する工程をさらに含むことを特徴とする請求項１３に記載の方法。
15. 前記画像相関に基づいて、三次元の視覚化モデルを生成する工程をさらに含むことを特徴とする請求項９に記載の方法。
16. 記録された画像を処理する方法であって、
    重複場面を有する第一の記録画像および第二の記録画像を選択する工程と、
    前記第一の記録画像に関連付けられた第一のカメラ位置と前記第二の記録画像に関連付けられた第二のカメラ位置とを結ぶ線に平行な極軸を有する共通の球面座標系を定める工程と、
    前記第一のカメラ位置から始まる第一の組の光線および前記第二のカメラ位置から始まる第二の組の光線のそれぞれを生成する工程であって、各光線を、前記極軸に対する前記光線の緯度である角度α、ならびに、前記極軸を通る基準面に対する前記光線および前記極軸によって規定された平面の経度である角度βで規定する工程と、
    前記第一の記録画像および前記第二の記録画像に関するグローバル座標系と、前記共通の球面座標系との間の変換則を規定する工程と、
    前記第一の組の光線および前記第二の組の光線を、前記共通の球面座標系から個別のカメラの座標系に変換する工程と、
    前記第一の組の光線に交差する第一の記録画像のピクセルで、第一の変換後画像を生成する工程と、
    前記第二の組の光線に交差する第二の記録画像のピクセルで、第二の変換後画像を生成する工程と、
    を含み、
    前記第一の変換後画像および前記第二の変換後画像の夫々において、前記ピクセルの各行は、前記経度β一定のラインに示され、前記ピクセルの各列は、前記緯度α一定のラインに示されることを特徴とする方法。
17. 前記第一の変換後画像および前記第二の変換後画像を用いて画像相関を実行する工程をさらに含むことを特徴とする請求項１６に記載の方法。
18. 前記画像相関を用いて、前記第一の変換後画像および前記第二の変換後画像内の対応するピクセルの位置を決定する工程をさらに含むことを特徴とする請求項１７に記載の方法。
19. 前記第一の変換後画像および前記第二の変換後画像を用いて、三次元のモデルを生成する工程をさらに含むことを特徴とする請求項１６に記載の方法。
20. 前記第一の組の光線および前記第二の組の光線に対する光線方向の刻みを決定する工程をさらに含むことを特徴とする請求項１６に記載の方法。
21. 前記光線方向の刻みは、一定距離刻みのアークタンジェントによるものであることを特徴とする請求項２０に記載の方法。
22. 前記光線方向の刻みは、角度αのタンジェントの対数によるものであることを特徴とする請求項２０に記載の方法。
23. 前記光線方向の刻みは、一定角度刻みによるものであることを特徴とする請求項２０に記載の方法。

Images