JP2004234660A - 多層実時間ステレオマッチング方法及びシステム - Google Patents

Abstract

【課題】精密な調整装置がなくても、カメラの位置及び方向の誤調整やカメラレンズの歪にもあまり影響を受けずに、観測空間の３次元距離情報及び形態情報を測定できる多層実時間ステレオマッチング方法及びシステムを提供することにある。
【解決手段】左側及び右側デジタル映像のうち１つのデジタル映像内にある１つのスキャンラインを他のデジタル映像内にある複数のスキャンラインと実時間で比較し、前記スキャンライン内にある各ピクセルを前記複数のスキャンライン内にある他のピクセルとマッチングさせることにより、精密な調整装置がなくてもカメラの位置や方向の誤調整やカメラレンズの歪の影響もあまり受けないようになる。従って、製作費用が減少されるだけではなく、システムの大きさが小さくなり、種々の応用部分に適用することができる。
【選択図】 図１

Description

本発明は、実時間ステレオマッチング方法及びシステムに関し、更に詳しくは、１つのデジタル映像の１つのスキャンラインにある１つのピクセルに対する他のデジタル映像の複数のスキャンラインにある他のピクセルを実時間でマッチングして空間上の物体の位置及び形態を見付けることにより、カメラの位置及び方向の誤調整やカメラレンズの歪みにあまり影響されない多層実時間ステレオマッチング方法及びシステムに関する。

一般に、実時間ステレオマッチングシステムは、ステレオマッチング（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）が実現できるプロセッサを用いる。ステレオマッチングは、一対の２次元イメージから３次元空間情報を得る過程である。実時間ステレオマッチングシステムでは、左右側カメラの光軸が平行である二つの映像のスキャンラインとエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）が一致すれば、左右側カメラから映像ラインの左右側ライン上の３次元空間上の一点に対応する一対のピクセルを見付ける方法を用いる。

ステレオマッチングの基礎となる通常のプロセッサが、Uemsh R. Dhond and J.K.Aggarwal, Structure from Stereo - a review. IEEE Transactions on Systems, Man, and Cybernetics, 19(6), 553-572, nov/dec 1989に開示されている。また、前記プロセッサを具現したステレオマッチング技術が、Jeong et al.の米国特許出願公開第US2002/0025075 A1号（発明の名称：system for matching stereo image in real time）に開示されている。

前記米国特許出願公開第US2002/0025075 A1号に開示されている通常の実時間ステレオマッチングシステムは、同じ光学的特性を有する一対のカメラを含む。一対のカメラが同じ空間領域を観察すれば、一対のカメラのそれぞれの水平イメージスキャンラインで類似した空間領域が選択される。従って、１つのデジタルイメージの１つのピクセルを他のイメージの他のピクセルにマッチングして対を形成することにより、ピクセル対が３次元空間の点に対応される。

上記のピクセル対に関する情報及び簡単な幾何学的特性に基づき、一対のカメラから３次元空間内の１点までのそれぞれの距離を計算することができる。ここで、１つのカメラによって選択された１つのデジタルイメージでの１つのピクセルのインデックスと、他のカメラによって選択された他のデジタルイメージでの対応するピクセルとの間の差異をディスパリティー（Ｄｉｓｐａｒｉｔｙ）と呼び、ディスパリティーから計算された幾何学的距離を奥行（ｄｅｐｔｈ）と呼ぶ。即ち、ディスパリティーが距離情報を含む。従って、実時間で二つのデジタル映像から３次元値を計算すれば、観測空間の３次元距離情報及び形態情報を測定することができる。

即ち、同じ光学的特性を有した一対のカメラが同じ空間領域を観察する場合、左右側カメラのそれぞれの水平イメージスキャンラインが類似した空間ラインに対応する。従って、１つのデジタルイメージでの１つのピクセルが他のデジタルイメージでの他のピクセルにマッチングされ、一対のピクセルが３次元空間内の一点に対応するので、二つのカメラから３次元空間内の一点までの各々の距離はデジタルイメージ内のピクセルの幾何学的特性を用いて計算することができる。

一方のデジタルイメージでの１つのピクセルの位置と、他方のデジタルイメージの対応するピクセルの位置との間の距離をディスパリティーと呼び、計算された幾何学的特性を奥行と呼ぶ。即ち、ディスパリティーが距離情報を示すことができる。
しかし、前述のステレオマッチング工程を行うためには、カメラの内部因子、例えば焦点距離が一致する必要があり、二つのカメラのカメラレンズの歪が小さい必要がある。また、精密な光デバイスを用いることにより、二つのカメラを所望の位置に正確に固定させる必要がある。このためには、精密な調整が必要な装備が備えられた精密なカメラが必要であるので、装置製作費用が増加するという問題がある。

一方、このような実時間ステレオマッチングシステムは、産業分野及び家電分野でロボットの視覚装置として機能をするように用いることができ、無人自動車に道路を認識させる時に用いることができる。
しかし、従来技術のステレオマッチングシステムは、精密なカメラ及び微細調整が必要な精密な制御装置を必要とするので、製作費用が増加し、システムの大きさも大きくなるという問題点がある。

本発明は、このような従来の問題点を解決するために提案されたものであり、精密な調整装置がなくても、カメラの位置及び方向の誤調整やカメラレンズの歪にもあまり影響を受けずに、観測空間の３次元距離情報及び形態情報を測定できる多層実時間ステレオマッチング方法及びシステムを提供することを目的とする。

このような目的を実現するための本発明の一見地として、多層実時間ステレオマッチングシステムは、互いに異なる方向から空間領域の左側及び右側映像を得るための左側及び右側映像取得手段と、前記左側及び右側映像を左側及び右側デジタル映像に変換する映像処理手段と、前記左側及び右側デジタル映像のうち１つのデジタル映像にある１つのスキャンラインを前記左側及び右側デジタル映像のうち他のデジタル映像にある複数のスキャンラインと実時間で比較し、前記１つのスキャンラインにある各ピクセルを前記他のデジタル映像にある前記複数のスキャンラインにあるさらに他のピクセルとマッチングさせる多層イメージマッチング手段とを含む。

本発明の異なる見地として、多層実時間ステレオマッチング方法は、空間領域の左側及び右側デジタル映像を得る映像取得ステップと、前記左側及び右側デジタル映像のうち１つのデジタル映像内にある１つのスキャンラインを他のデジタル映像内にある複数のスキャンラインと実時間で比較し、前記１つのスキャンライン内にある各ピクセルを前記複数のスキャンライン内にある１つのピクセルとマッチングさせる比較ステップとを含む。

本発明は、観測空間の３次元距離情報及び形態情報が測定できる多層実時間ステレオマッチング方法及びシステムを提供する。前記システムは、カメラの位置及び方向の誤調整やカメラレンズの歪の影響もほぼ受けないので、製作費用が減少するだけではなく、システムの大きさが小さくなり、小型装置として多様な応用分野に適用することができる。

さらに、１つのデジタル映像の１つのスキャンラインの一点が、他のデジタル映像の複数のスキャンラインの他の点に実時間で対応される。従って、実際のデジタル映像でエピポーラ線がスキャンライン上に正確に位置しなくても、その近くにいれば、他のデジタル映像内で対応点を見付けることができる。また、二つのカメラレンズのエラー率の不一致や二つのカメラの間の内部パラメータの不一致によって、単に１つのスキャンライン上で対応点が存在しない問題も解決することができる。

本発明による多数の好適な実施の形態を、添付の図面を参照しながら、詳細に説明する。このような実施の形態を通じて本発明の目的、特徴及び利点を容易に理解することができる。
本発明によるシストリックアレイを用いた多層実時間ステレオマッチングシステムは、一対のカメラから出力される映像を高速並列処理し、３次元空間上の全ての物体の位置を計算する。本発明による前記システムは、ＡＳＩＣベースのチップ開発技術に基づいて、チップの最適化されたアルゴリズムを開発することにより、低電力低価格の小型装置を実現するために、ワンチップ（ｏｎｅ−ｃｈｉｐ）技術を提供している。その結果、本発明による多層実時間ステレオマッチングシステムは、認識装置として重要な役割をすることができる。

また、ミスキャリブレーションによって生じる問題を解決する実時間プロセスをチップ内部で実行できる新しいアーキテクチャ及びアルゴリズムを提供している。換言すれば、精密な調整装置がなくても、カメラ位置及び方向の誤調整やカメラレンズの歪による影響もあまり受けないようになる。従って、製作費用が減少するだけではなく、システムの大きさが小さくなり、種々の応用分野に適用することができる。

従来のステレオマッチング方法は、左右側デジタル映像のそれぞれのスキャンラインで対応するピクセル対を捜すために用いられたが、本発明によるステレオマッチング方法は、１つの映像の１つのスキャンラインを他の映像の複数のスキャンラインと実時間で比較して対応点を捜す機能を有する。従って、エピポーラ線が実際映像内にあるスキャンライン上に正確に位置せず、単に隣接している場合は、対応点を正確に見付けることができる。また、カメラレンズのエラー率やカメラの間の内部パラメータの不一致によって、単に１つのスキャンライン上に対応点が存在しないという問題を解決することができる。１つの映像の１つのスキャンラインに対応する点を捜すために、他の映像のスキャンラインの数だけの多くのレイヤが必要となる。前記レイヤは複数のプロセッシングエレメントを含む。また、スキャンラインの間で最適の対応点を捜すために、隣接したレイヤの間で信号を交換する。

図１は、本発明によるシストリックアレイを用いた多層実時間ステレオマッチングシステムを示す。多層実時間ステレオマッチングシステムは、左側及び右側の映像を獲得するための左側カメラ１０００及び右側カメラ２０００と、左側及び右側映像をそれぞれ左側及び右側デジタル映像信号に変換する映像処理部３０００と、左側及び右側デジタル映像信号からディスパリティーを計算するための多層ステレオマッチングチップ（Ｍｕｌｔｉｌａｙｅｒｅｄ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ Ｃｈｉｐ）４０００と、前記ディスパリティーによる映像をディスプレイするユーザーシステム５０００とから構成される。

図２は、図１に示す多層ステレオマッチングチップ４０００の詳細図である。多層ステレオマッチングチップ４０００は、多数のレイヤ４１００／ｋ−１、４１００／ｋ、４１００／ｋ＋１と、各々のレイヤ４１００／ｋ−１、４１００／ｋ、４１００／ｋ＋１から出力されたデータを累積してディスパリティーを出力する累算器４２００とから構成される。左右側デジタル映像信号の内１つのデジタル映像信号から各レイヤ４１００／ｋ−１、４１００／ｋ、４１００／ｋ＋１の上端及び下端の内一端に１つのスキャンラインが入力される。同時に、他のデジタル映像信号からの多数のスキャンラインは、上端及び下端の内他端に順次に入力される。従って、１つのスキャンラインの１つのピクセルに対応するピクセルを捜すために、他のデジタル映像の多数のスキャンラインの中で調査する場合、他のデジタル映像内で調査されるスキャンラインの数は、レイヤ４１００／ｋ−１、４１００／ｋ、４１００／ｋ＋１の数によって変わる。レイヤ（４１００／ｋ−１、４１００／ｋ、４１００／ｋ＋１）のうち隣接した二つのレイヤの間には、コスト値Ｕとアクティブ信号ａを交換する。累算器４２００は、各々のレイヤ４１００／ｋ−１、４１００／ｋ、４１００／ｋ＋１から出力されたデータを累算し、最終的にディスパリティーを出力する。

図３は、図２に示すｋ番目レイヤ（４１００／ｋ）の詳細図である。ｋ番目レイヤ（４１００／ｋ）は、ｎ／２個の左側映像レジスタ４１１０／ｎ及び４１１０／ｎ＋１と、ｎ／２個の右側映像レジスタ４１２０／ｎ及び４１２０／ｎ＋１と、ｎ個の前方プロセッサ４１３０／ｊ−１、４１３０／ｊ、４１３０／ｊ＋１及び４１３０／ｊ＋２と、ｎ個のスタック４１４０／ｊ−１、４１４０／ｊ、４１４０／ｊ＋１及び４１４０／ｊ＋２と、ｎ個の後方プロセッサ（ｂａｃｋｗａｒｄ ｐｒｏｃｅｓｓｏｒ）４１５０／ｊ−１、４１５０／ｊ、４１５０／ｊ＋１及び４１５０／ｊ＋２とを含む。１つの前方プロセッサ、それに対応するスタック及びそれに対応する後方プロセッサは、１つのプロセッシングエレメントを形成する。左側映像レジスタ４１１０／ｎ、４１１０／ｎ＋１及び右側映像レジスタ４１２０／ｎ、４１２０／ｎ＋１は、各々映像処理部３０００から供給された左側及び右側デジタル映像信号を記憶する。前方プロセッサ４１３０／ｊ−１、４１３０／ｊ、４１３０／ｊ＋１及び４１３０／ｊ＋２、スタック４１４０／ｊ−１、４１４０／ｊ、４１４０／ｊ＋１及び４１４０／ｊ＋２、後方プロセッサ４１５０／ｊ−１、４１５０／ｊ、４１５０／ｊ＋１及び４１５０／ｊ＋２は、クロック信号に応じて左側及び右側映像レジスタ４１１０／ｎ、４１１０／ｎ＋１、４１２０／ｎ、４１２０／ｎ＋１のピクセル値に対する決定値を計算し、ディスパリティーを出力する。

図４は、図３に示すｋ番目レイヤ（４１００／ｋ）のｊ番目前方プロセッサ４１３０／ｊの詳細図である。ｊ番目前方プロセッサ４１３０／ｊは、第１マルチプレクサ（Ｍｕｘ１）４１３１、第１コストレジスト（Ｄ１）４１３２、絶対値計算機４１３３、第１加算器４１３４、第２マルチプレクサ（Ｍｕｘ２）４１３５、第２コストレジスタ（Ｄ２）４１３６及び第２加算器４１３７を含む。第１マルチプレクサ４１３１は、第２コストレジスタ４１３６から再帰された出力、（ｋ−１）番目レイヤ４１００／ｋ−１からのコスト（Ｕ_{ｊ，ｋ−１}）、（ｋ＋１）番目レイヤ４１００／ｋ＋１からのコスト（Ｕ_{ｊ，ｋ＋１}）を受信し、再帰された出力と二つのコストＵ_{ｊ，ｋ−１}及びＵ_{ｊ，ｋ＋１}とのうちの最小コストを第１コストに決定する。第１コストレジスタ４１３２は第１コストを記憶する。絶対値計算機４１３３は、ｋ番目レイヤ４１００／ｋのｎ番目左側映像レジスタ４１１０／ｎの１ピクセルｌ_ｉｎとｋ番目レイヤ４１００／ｋのｎ番目右側映像レジスタ４１２０／ｎの他のピクセルｒ_ｉｎとの間の絶対値差異をマッチングコストとして計算する。第１加算器４１３４は、マッチングコストを第１コストに加算する。第２マルチプレクサ４１３５は、第１加算器４１３４の出力、ｋ番目レイヤの（ｊ−１）番目前方プロセッサ４１３０／ｊ−１からのコスト（Ｕ_{ｊ−１，ｋ}＋γ）、及びｋ番目レイヤの（ｊ＋１）番目前方プロセッサ４１３０／ｊ＋１からのコスト（Ｕ_{ｊ＋１，ｋ}＋γ）を受信し、第１加算器４１３４の出力及び二つのコストＵ_{ｊ−１，ｋ}＋γ、Ｕ_{ｊ＋１，ｋ}＋γの中の最小コストを第２コストＵ_ｊ，ｋに選択する。γはオクルージョン（ｏｃｃｌｕｓｉｏｎ）情報である。第２コストレジスタ４１３６は第２コストＵ_ｊ，ｋを記憶する。第２コストは、第１マルチプレクサ４１３１に再帰的に提供される。第２加算器４１３７は、第２コストＵ_ｊ，ｋを常数γに加算し、加算されたコストＵ_ｊ，ｋ＋γは、ｋ番目レイヤのｊ番目前方プロセッサ４１３０／ｊに隣接した二つの前方プロセッサ４１３０／ｊ−１及び４１３０／ｊ＋１に提供される。

図５は、図３に示すｋ番目レイヤ４１００／ｋのｊ番目後方プロセッサ４１５０／ｊの詳細図である。ｊ番目後方プロセッサ４１５０／ｊは、ＯＲゲート４１５１、１ビット活性レジスタ（Ｄ３）４１５２、ディマルチプレクサ（ｄｅｍｕｌｔｉｐｌｅｘｏｒ）４１５３及びトライステートバッファ４１５４を含む。ＯＲゲート４１５１は、五つの活性化信号を受信して五つの活性化信号に対するＯＲ動作を行うが、五つの活性信号は、（ｋ−１）番目及び（ｋ＋１）番目レイヤ４１００／ｋ−１及び４１００／ｋ＋１の二つのｊ−１番目後方プロセッサ（図示せず）から提供された二つの活性化信号ａ_{ｊ，ｋ−１}及びａ_{ｊ，ｋ＋１}と、ｋ番目レイヤ４１００／ｋの（ｊ＋１）番目及び（ｊ−１）番目後方プロセッサ４１５０／ｊ＋１及び４１５０／ｊ−１から提供された活性化信号ａ_{ｊ−１，ｋ}及びａ_{ｊ＋１，ｋ}と、ｋ番目レイヤ４１００／ｋのｊ番目後方プロセッサ４１５０／ｊのディマルチプレクサ４１５３から提供された再帰された活性化信号ａ_ｊ，ｋである。１ビット活性化レジスタ４１５２は、ＯＲゲート４１５１の出力値を記憶する。ディマルチプレクサ４１５３は、１ビット活性レジスタ４１５２の出力を二つの決定値Ｖ_１，ｊ及びＶ_２，ｊに応じて変換し、変換された出力ａ_ｊ，ｋを生成する。ディマルチプレクサ４１５３の変換された出力（ａ_ｊ，ｋ）は、ｋ番目レイヤ４１００／ｋの下部及び上部後方プロセッサ、即ち（ｊ−１）番目及び（ｊ＋１）番目後方プロセッサ４１５０／ｊ−１及び４１５０／ｊ＋１、並びに下部及び上部レイヤ、即ち（ｋ−１）番目及び（ｋ＋１）番目レイヤの二つのｊ番目後方プロセッサに提供される。変換された出力ａ_ｊ，ｋは、さらにＯＲゲート４１５１に再帰的に帰還される。トライステートレジスタ４１５４は、活性化レジスタ４１５２の出力値ａ_ｊ，ｋに基づいて決定値Ｖ_１，ｋ及びＶ_２，ｋを出力する。トライステートレジスタ４１５４が入力値「１」を受信すれば、入力値をそのまま出力し、そうでなければトライステートレジスタ４１５４がハイインピーダンス状態になり、いずれも出力しないようになる。

本発明によるシストリックアレイを用いた多層実時間ステレオマッチングシステムによる実時間ステレオマッチング方法を、図１〜図５を参照しながら、詳細に説明する。
まず、左側カメラ１０００及び右側カメラ２０００から物体の映像が得られると、映像処理部３０００が左右側アナログ映像をそれぞれ左右側デジタル映像に変換し、左右側デジタル映像を多層ステレオマッチングチップ４０００に出力する。

多層ステレオマッチングチップ４０００は、左右側デジタル映像のうち一方のデジタル映像の１つのスキャンラインのピクセルデータ及び他方のデジタル映像の複数のスキャンラインのピクセルデータを順次に受信し、ディスパリティーを計算するための動作を実行してユーザーシステム５０００にディスパリティーを出力する。ディスパリティーを出力するための過程を左右側デジタル映像の全てのスキャンラインに対して繰り返して行う。

以下、多層ステレオマッチングチップ４０００が左右側デジタル映像の全てのスキャンラインを処理する過程について詳細に説明する。
映像レジスタ４１１０／ｎ、４１２０／ｎは、映像処理部３０００から左右側デジタル映像の全てのスキャンラインのピクセルデータを同時に受信し、前方プロセッサ４１３０／ｊにピクセルデータを提供する。

前方プロセッサ４１３０／ｊは、二つの映像レジスタ４１１０／ｎ、４１２０／ｎから左側及び右側デジタル映像を順次に受信する。
前方プロセッサ４１３０／ｊ、スタック４１４０／ｊ及び後方プロセッサ４１５０／ｊをプロセッシングエレメントと呼ぶ。

Ｋ番目アレイで、多数の同じプロセッシングエレメントが線形アレイ内に配列できるが、プロセッシングエレメントの数は予め定められた最大ディスパリティーによって決められる。各々のプロセッシングエレメントは、隣接する二つのプロセッシングエレメント、即ち下部及び上部プロセッシングエレメントと情報を交換することができる。プロセッシングエレメントが前述のように配置されると、プロセッシングエレメントの数によらず、プロセッシングエレメントが最大速度で動作できるようにする。

映像レジスタ４１１０／ｎ，４１２０／ｎ及びプロセッシングエレメントは、内部クロック（ＣＬＫＥ）（ＣＬＫＯ）によって除去される。内部クロック（ＣＬＫＥ）（ＣＬＫＯ）は、システムクロックを二等分して生成される。内部クロック（ＣＬＫＥ）は、偶数番目のシステムクロックサイクルによってトグルされ、内部に右側デジタル映像を記憶するための映像レジスタ４１２０／ｎに供給される。内部クロック（ＣＬＫＯ）は奇数番目のシステムクロックサイクルによってトグルされ、内部に左側映像を記憶するための映像レジスタ４１１０／ｎに供給される。

また、各々のプロセッシングエレメントも内部クロックによって同期される。
各システムクロックで、映像レジスタ４１１０／ｎ，４１２０／ｎは、左側及び右側デジタル映像データをそれぞれ順次に記憶する。各システムクロックで、プロセッシングエレメントの前方プロセッサ４１３０／ｊが活性化されて左側及び右側デジタル映像から決定値を計算する。

プロセッシングエレメントの後方プロセッサ４１５０／ｊは、スタック４１４０／ｊから提供された決定値に基づいてディスパリティーを決め、各々のディスパリティーに対応するレイヤ情報を計算し、ディスパリティー及びレイヤ情報がユーザーシステム５０００に提供される。各々のディスパリティーに対応するレイヤ情報は、活性化されたプロセッシングエレメントを有するレイヤ４１００／ｋを意味する。レイヤ情報及びディスパリティーを用いて、左側及び右側デジタル映像で互いに対応するピクセル対を探す。ディスパリティーは、「−１」、「０」、「＋１」のように増加、変化なし、減少のうち１つで表現される。

０番目プロセッシングエレメントにおいて、前方プロセッサ４１３０／ｊの第１コストレジスタ４１３２が「０」に初期化される一方、後方プロセッサ４１５０／ｊの活性レジスタ４１５２は「１」に初期化される。
逆に、ｋ番目プロセッシングエレメント（ｋは０ではない）において、前方プロセッサ４１３０／ｊのコストレジスタ４１３２は最大値に初期化される一方、後方プロセッサ４１５０／ｊの活性レジスタ４１５２は「０」に初期化される。

前方プロセッサ４１３０／ｊは、クロック（ＣＬＫＥ）（ＣＬＫＯ）に基づいて左／右デジタル映像の一対のスキャンライン、即ち二つのスキャンラインを処理し、決定値（Ｖ_１ｊ，Ｖ_２ｊ）を計算する。決定値（Ｖ_１ｊ，Ｖ_２ｊ）はスタック４１４０／ｊに記憶される。

後方プロセッサ４１５０／ｊは、スタック４１４０／ｊから提供された決定値に基づいてディスパリティーを計算し、そのディスパリティーをクロックに基づいて出力する。
前方プロセッサ４１３０／ｊの絶対値計算機４１３３は、右側映像レジスタ４１２０／ｎのピクセルｒ_ｉｎと、左側映像レジスタ４１１０／ｎのピクセルｌ_ｉｎとの差の絶対値からマッチングコストを計算する。第１マルチプレクサ４１３１は、図２に示すように、二つの隣接したレイヤ４１００／ｋ−１及び４１００／ｋ＋１から各々提供されたデータＵ_{ｊ，ｋ−１}及びＵ_{ｊ，ｋ＋１}、及び前方プロセッサ４１３０／ｊの第２コストレジスタ４１３６から帰還提供されたデータＵ_{ｊ，ｋ−１}の中で最小コストを決定する。第１コストレジスタ４１３２は、最小コストを記憶する。第１加算器４１３４では、第１コストレジスタ４１３２内に記憶された最小コストが絶対値計算機４１３３のデータに加算される。第２マルチプレクサ４１３５は、同じレイヤ、即ちｋ番目レイヤ４１００／ｋ内の二つの隣接したプロセッシングエレメントから各々提供されたデータＵ_{ｊ−１，ｋ}＋γ及びＵ_{ｊ＋１，ｋ}＋γ及び第１加算器４１３４から提供されたデータの中で最小コストを決定する。

また、後方プロセッサ４１５０／ｊは、スタック４１４０／ｊから提供された決定値Ｖ_１ｊ、Ｖ_２ｊに基づいて最適のディスパリティーを計算する。
後方プロセッサ４１５０／ｊのＯＲゲート４１５１は、五つの活性ビット経路に対する論理和演算、即ちＯＲ演算を行う。五つの活性ビット経路は、ｋ番目レイヤ内の二つの隣接したプロセッシングエレメントの二つの隣接した後方プロセッサ４１５０／ｊ−１及び４１５０／ｊ＋１からそれぞれ入力される二つの活性ビット経路ａ_{ｊ＋１，ｋ}及びａ_{ｊ−１，ｋ}と、二つの隣接したレイヤから入力される二つの活性ビット経路ａ_{ｊ，ｋ＋１}及びａ_{ｊ，ｋ−１}と、フィードバックされた活性ビット経路ａ_ｊ−ｋである。

スタック４１４０／ｊから提供された決定値Ｖ_１ｊ、Ｖ_２ｊに基づき、多数の信号がディマルチプレクサ４１５３の出力として選択される。また、選択された信号の値が活性ビットの値と同じである。
活性レジスタ４１５２の活性ビットがハイであれば、トライステートバッファ４１５４が決定値Ｖ_１ｊ及びＶ_２ｊをそのまま出力する。逆に、活性レジスタ４１５２の活性ビットがロウであれば、トライステートバッファ４１５４の出力信号はハイインピーダンス状態にあり、二つの隣接したプロセッシングエレメントの二つの隣接した後方プロセッサ４１５０／ｊ−１及び４１５０／ｊ＋１の出力を妨げないようになる。また、累算器を用いて決定値の代わりにディスパリティー値を出力することができる。

以下、各ピクセルのマッチング過程を説明する。左側デジタル映像のｍ番目スキャンラインを右側デジタル映像の複数のスキャンラインと比較し、複数のスキャンラインで対応点を捜し、ディスパリティーを計算する。
Ｕ_ｊ，ｋ（ｔ）：ｔ番目クロックでｋ番目レイヤ４１００／ｋのｊ番目プロセッシングエレメントのｊ番目前方プロセッサ４１３０／ｊのコストレジスタ値である。

ｌ_ｎ，ｋ（ｔ）及びｒ_ｎ，ｋ（ｔ）：ｔ番目クロックでｋ番目レイヤ４１００／ｋの左側及び右側映像レジスタ４１１０／ｎ，４１２０／ｎ値である。
Ｖ_{１，ｊ，ｋ，ｔ}及びＶ_{２，ｊ，ｋ，ｔ}：ｔ番目クロックでｋ番目レイヤ４１００／ｋのｊ番目プロセッシングエレメントのｊ番目前方プロセッサ４１３０／ｊからスタック４１４０／ｊに記憶される決定値である。

Ｇ^ｌ _ｎ，ｍ及びＧ^ｒ _ｎ，ｍ：各々左右デジタル映像で同じ水平ライン、即ちｍ番目ラインのｎ番目ピクセル値を示す。
１．前方プロセッシングの初期化動作を説明すれば、次のようである。

まず、初期化時には、０番目コストレジスタを除いた全てのコストレジスタの全てのコストを最大値に設定する。

各々のレイヤに対して全ての左側映像レジスタｒ_ｎ，ｋ（ｔ）に映像データを以下のように入力する。Ｋは全てのスキャンラインに対して適切に設定されたオフセットを示す。

２．前方プロセッシング動作を説明すれば、次のようである。
各ステップｉに対して、各々のプロセッシングエレメントは、二つの隣接したプロセッシングエレメントの出力を用いて最も低いコストを有する経路を決め、その後、決定された経路の値をスタックに出力する。

Ｌ_ＭＡＸ：レイヤの総数を示す。

ここで、ガンマ（γ）はオクルージョンコスト（Ｏｃｃｌｕｓｉｏｎ Ｃｏｓｔ）であり、オクルージョンコストは１つのデジタルイメージで任意のピクセルが他のデジタルイメージ内に対応されるピクセルを有しない場合のコストを意味し、パラメータによって定められる。

３．後方プロセッシングの初期化動作を説明すれば、次のようである。
後方プロセッシングにおいて、最適のディスパリティー値は活性化されたプロセッシングエレメントインデックスを意味する。

このアルゴリズムの特性及び具現方法により、前方及び後方プロセッシングは、全てのプロセッシングエレメントで並列的に処理される。
一方、ピクセルのマッチング過程のためのアルゴリズムを説明すれば、次のようである。
Ｕ_ｊ，ｋ（ｉ）：Ｉ番目クロックでｋ番目レイヤのｊ番目プロセッシングエレメントの前方プロセッサに記憶されたコストメモリ値である。

Ｖ_{１，ｊ，ｋ，ｉ}及びＶ_{２，ｊ，ｋ，ｉ}：Ｉ番目クロックでｋ番目レイヤのｊ番目プロセッシングエレメントの前方プロセッサからスタックに記憶された決定値である。
Ｇ^ｌ _ｎ，ｍ、Ｇ^ｒ _ｎ，ｍ：それぞれ左右デジタル映像で同じ水平ライン、例えばｍ番目ラインのｎ番目ピクセルのピクセル値を示す。

１．前方プロセッシングの初期化動作を説明すれば、次のようである。
まず、初期化時には、０番目コストレジスタを除いた全てのコストレジスタが無限大に初期化される。

２．前方プロセッシング動作を説明すれば、次のようである。
各ステップｉに対して、二つの隣接したプロセッシングエレメントに基づいてそれぞれのプロセッシングエレメントで最も低いコストを有する経路を決め、その経路の決定値をスタックに出力する。

上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。

本発明によるシストリックアレイを用いた多層実時間ステレオマッチングシステムのブロック図。 図１に示す多層ステレオマッチングチップの詳細図。 図２に示すレイヤの詳細図。 図３に示す前方プロセッサの詳細図。 図３に示す後方プロセッサの詳細図。

符号の説明

４１００／ｋ−１、４１００／ｋ、４１００／ｋ＋１…レイヤ ４１１０／ｎ、４１１０／ｎ＋１…左側映像レジスタ タ４１２０／ｎ、４１２０／ｎ＋１…右側映像レジス ４１３０／ｊ…前方プロセッサ ４１５０／ｊ…後方プロセッサ ４１３１、４１３６…コストレジスタ ４１５２…１ビット活性レジスタ ４１５４…トライステートレジスタ

Claims (15)

1. 空間領域に対して互いに異なる方向で左側及び右側の映像を取得する左側及び右側映像取得手段と、
   前記左側及び右側映像を左側及び右側デジタル映像に変換する映像処理手段と、
   前記左側及び右側デジタル映像のうち１つのデジタル映像にある１つのスキャンラインを前記左側及び右側デジタル映像のうち他のデジタル映像にある種々のスキャンラインと実時間で比較し、前記１つのスキャンラインにある各ピクセルを前記他のデジタル映像にある前記複数のスキャンラインにある更に異なるピクセルと整合させる多層映像整合手段とを含む多層実時間ステレオマッチングシステム。
2. 前記多層イメージマッチング手段が前記１つのデジタル映像にある前記１つのスキャンラインのピクセルを順次に受信すると共に、前記他のデジタル映像にある前記複数のスキャンラインのピクセルを受信し、前記１つのスキャンラインにある１つのピクセルと前記複数のスキャンラインにある前記更に異なるピクセルの間の差異を計算する請求項１に記載の多層実時間ステレオマッチングシステム。
3. 前記多層イメージマッチング手段が、
   前記１つのデジタル映像にある前記１つのスキャンラインを受信し、前記異なるデジタル映像にある前記複数のスキャンラインを順次に受信し、二つの隣接したレイヤがコストとアクティブ信号を受け渡す多数のレイヤと、
   前記レイヤから供給されたデータを累積して前記差異を出力する累算器とを含む請求項２に記載の実時間ステレオマッチングシステム。
4. 前記各レイヤは、
   前記左側デジタル映像のピクセルを記憶する第１記憶手段と、
   前記右側デジタル映像のピクセルを記憶する第２記憶手段と、
   クロック信号に基づいて前記左側及び右側デジタル映像から得られた決定値及び前記差異を生成する多数の前方プロセッサ、スタック、後方プロセッサを含む請求項３に記載の実時間ステレオマッチングシステム。
5. 前記各々のレイヤの前記前方プロセッサはそれぞれ、
   前記各々の前方プロセッサ内で再帰されるコストと、前記各々のレイヤの上部及び下部レイヤから供給された二つのコスト値の内、最小コストを決める第１マルチプレクサと、
   前記最小コストを記憶する第１コストレジスタと、
   前記第１映像記憶手段の前記ピクセルのうち１ピクセルと前記第２映像記憶手段の前記ピクセルのうち更に異なるピクセルとの間のマッチングコストとして計算する絶対値計算機と、
   前記マッチングコストを前記最小コストに換算し、第１の加算されたコストを生成する第１加算器と、
   前記第１の加算されたコストと前記それぞれのレイヤにある上部及び下部前方プロセッサから供給された二つのコストとのうち最小コストを決める第２マルチプレクサと、
   前記第２マルチプレクサで出力される最小コストを記憶し、前記最小コストが前記第１コストマルチプレクサに前記再帰されるコストとして帰還され、前記上部及び下部レイヤに提供される第２コストレジスタと、
   前記第２コストレジスタに記憶された前記最小コストをオクルージョンコストに加算し、前記上部及び前記下部前方プロセッサに第２の加算されたコストを出力する第２加算器とを含む請求項４に記載の実時間ステレオマッチングシステム。
6. 前記各々のレイヤの前記後方プロセッサは、
   前記各々のレイヤにある上部及び下部後方プロセッサから入力された二つの活性ビット経路と、前記各々のレイヤの上部及び下部レイヤから入力された二つの活性ビット経路と、前記各々の後方プロセッサ内で再帰される活性ビット経路を論理和して五つの活性ビット経路に対する論理和を生成するＯＲゲートと、
   前記五つの活性ビット経路に対する論理和を記憶する活性レジスタと、
   前記スタックから供給された決定値に基づいて前記五つの活性ビット経路に対する論理和をディマルチプレクスするディマルチプレクサと、
   前記活性レジスタ内で前記五つの活性ビット経路に対する論理和がハイであれば、前記決定値を出力するトライステートバッファとを含む請求項４に記載の実時間ステレオマッチングシステム。
7. 前記レイヤはそれぞれ前記１つのデジタル映像の１つのスキャンラインのピクセルと前記異なるデジタル映像の複数のスキャンラインのピクセルが入力される請求項３に記載の実時間ステレオマッチングシステム。
8. 前記それぞれのレイヤ内の前記前方プロセッサの０番目コストレジスタを除いた全てのコストレジスタがそれぞれ最大コストに初期化され、前記第２映像記憶手段が前記右側映像データに初期化する請求項５に記載の実時間ステレオマッチングシステム。
9. 前記プロセッシングエレメント数と前方プロセッシングステップ数の和が偶数である場合は、前記各々の前方プロセッサが前記各々のレイヤ内にある前記上部及び下部前方プロセッサに供給された前記二つのコストにそれぞれ前記オクルージョンコストを足して生成された二つの加算されたコストと前記再帰されるコストのうちで最小コストを決め、前記最小コストを第１決定値としてスタックに出力し、前記和が奇数である場合は前記各々の前方プロセッサが前記第１決定値に前記左側及び右側デジタル映像のピクセル差の絶対値を加算したコストと前記上部及び下部レイヤの二つの前方プロセッサの二つのコスト値の中で更に異なる最小コストを決め、前記最小コストを第２決定値として前記スタックに提供する請求項５に記載の実時間ステレオマッチングシステム。
10. 前記０番目後方プロセッサが最小コストを有する全てのレイヤの活性レジスタが活性化状態に初期化され、他の後方プロセッサの全ての活性レジスタは非活性化状態に初期化される請求項６に記載の実時間ステレオマッチングシステム。
11. 前記後方プロセッサはステップ別に前記トライステートバッファに供給された前記決定値を累算して最適な差異値と最適なレイヤ数を生成する請求項６に記載の実時間ステレオマッチングシステム。
12. 前記後方プロセッサが前記レイヤ数を用いて前記１つのデジタル映像の１つのスキャンラインと対応される前記他の映像の複数のスキャンラインのうち１つのスキャンラインを調査し。前記最適な差異を用いて後方プロセッシングステップ別に前記左側及び右側デジタル映像内で後方プロセッシングステップに基づいて互いに対応する一対のピクセルを調査する請求項１１に記載の実時間ステレオマッチングシステム。
13. 前記後方プロセッサはレイヤに基づいて初期差異値を０にし、後方プロセッシングの間にステップに基づいて前記レイヤ数に対応する前記レイヤに位置し、前記差異値と同じプロセッシングエレメント数を有する後方プロセッサから供給された前記決定値を差異にステップに基づいて累算する請求項１１に記載の実時間ステレオマッチングシステム。
14. 空間領域に対して左側及び右側デジタル映像を獲得する映像獲得段階と、
    前記左側及び右側デジタル映像のうち１つのデジタル映像内にある１つのスキャンラインを残りのデジタル映像内にある複数のスキャンラインと実時間で比較して前記１つのスキャンライン内にある各ピクセルを前記複数のスキャンライン内にある１つのピクセルとマッチングさせる比較段階とを含む多層実時間ステレオマッチング方法。
15. 前記比較段階が、
    前記１つのスキャンラインのピクセルデータと前記複数のスキャンラインのピクセルデータに基づいて最小コストの経路を決定値として決める決定段階と、
    前記決定値から差異を計算する計算段階と、
    前記差異を用いて前記左側及び右側デジタル映像から一対のピクセルを見付け、前記差異から距離を計算するピクセル追跡段階とを含む請求項１４に記載の多層実時間ステレオマッチング方法。

Images