JP2004234423A - ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム - Google Patents

Abstract

【課題】ミスマッチングによる計測精度の低下を抑制するとともに、より密な計測結果を得ることができるようにする。
【解決手段】基準画像の対応点を求めたい点を基準にして一定領域の基準ウィンドウを設定し、参照画像中には基準ウィンドウと同一の大きさの参照ウィンドウを設定し、参照画像中のエピポーラ線に沿って走査しながら、基準ウィンドウと参照ウィンドウとの差異を評価し、差異の最も小さい参照ウィンドウの位置をステレオ対応点として決定し、基準ウィンドウの位置と、参照ウィンドウの位置の差から、視差を計測し、基準ウィンドウと参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第一の信頼度と、上記ピークの乱立状況に基づく第二の信頼度とにより、対応点（視差）の信頼度を計算し、視差の情報とともに視差の信頼度の値を出力する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラムに関し、特に、異なる視点から観測した複数の像から、複数のカメラの既知の配置関係を利用して、三角測量の原理により観測対象の三次元位置座標を求めるステレオ視において、２台の撮像装置から得られる２つの画像間で対応探索を行い、視差を計測するステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラムに関する。
【０００２】
【従来の技術】
対象物を異なる２つの視点から計測すると、対象物体上の一点は、それぞれの観測画像中の異なる位置に投影される。この画像間での計測位置の差を視差と呼ぶ。視差が分かると、三角測量の原理により点の３次元位置座標を計算することができる。
【０００３】
ステレオ画像間で対応探索を行って視差を検出する際、一方（左側）の画像中の小領域（ブロック）に注目し、このブロックと輝度分布が最も類似する（相関が最大になる）ブロックを他方（右側）の画像中から探索し、相関が最大になった両画像中のブロック間の相対位置関係をもって視差を検出するというブロックマッチングの手法がよく用いられている。
【０００４】
ブロックマッチングにおいては、ノイズなどの影響によって、真の対応位置とは異なる位置の相関が最も大きくなるケースもある。しかし、上記のように単純なブロックマッチングの手法では、ブロック探索範囲内の相関の分布が考慮されていないため、ミスマッチングとなることが多く、視差計測精度の信頼性が低くなるという問題がある。
【０００５】
このような問題に対処するため、信頼性を向上させるべく様々な方法が考案されている。例えば、ブロック探索範囲内での相関の分布を調べ、類似度の近いブロックが複数存在するような場合には視差を検出しないようにして、信頼性の高い部分のみを検出するようにしたものがある（例えば、特許文献１参照）。
【０００６】
また、相関の分布形状を調べ、ピークの鋭さを反映した照合度によって対応付けの信頼度を評価し、信頼度の低いところについては、周囲画素との視差の連続性に基づいて視差を補正することで、信頼性が高い密な計測結果を得るようにし、ノイズなどの影響により、計測視差が突発的に不連続になってしまうような場合に計測結果を有効に補正することができるものがある（例えば、特許文献２参照）。
【０００７】
また、サイズの異なる２つの大きさのパッチ（小パッチと大パッチ）を用意して、小パッチで対応点候補を複数抽出し、次に大パッチを用いて対応点候補の位置のみについて相関を求め、最も相関の強いものを対応点として検出を行い、これによって、パッチと類似するパターンが複数存在する場合の誤対応を減少させるようにしたものがある（例えば、特許文献３参照）。
【０００８】
また、処理時間の短縮を実現するため、低解像度の画像で対応探索領域を絞り込んでから、高解像度画像で精密に対応探索を行う段階的な対応点探索を行っているものもある（例えば、特許文献４参照）。
【０００９】
【特許文献１】
特開２００１−３５１２００号公報（図１）
【特許文献２】
特開２００１−１１６５１３号公報（図１）
【特許文献３】
特開２００１−１４１４２４号公報（図１）
【特許文献４】
特開平７−１０３７３４号公報（図１）
【００１０】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の方法では、計測データの分布が粗くなるという問題があった。
また、特許文献２に記載の方法では、周囲の視差の連続性に基づいて強制的に視差を補正しているので、表面的には信頼度の高い密な計測結果は得られるものの、部分的には計測結果の誤差が大きくなる可能性がある。また、規則的なパターンなど、非常に類似した相関値を持つ対応候補が複数存在するような場合には、真の対応位置とは異なる位置のブロックとの相関の方が、真の対応位置における相関よりも強くなってしまうという現象もありえるが、上記従来の手法では、実際の信頼性が不明解になってしまうという問題があった。
また、特許文献３に記載の方法では、対応探索結果の信頼性を向上させるために、マッチング結果に応じてブロックサイズを更に大きくしてマッチングを繰り返している例では、ブロックサイズ拡大によるブロック比較反復処理コストが増大するため、結果を得るまでの処理時間が長くなってしまうという問題があった。
また、特許文献４に記載の方法では、階層画像を用いて段階的に対応点探索を行う場合には、低解像度画像での対応検出結果が誤っていると、高解像度画像でいくら探索を行っても精度を上げることができない。つまり、精度は、低解像度画像における対応検出結果（高解像度画像における探索領域）に依存する。しかし、低解像度画像では詳細情報が失われているため、マッチングの信頼性を向上しにくいという問題があった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、処理時間が短く、かつ信頼性の高いステレオ対応探索を実現することができるようにするものである。
【００１２】
【課題を解決するための手段】
請求項に記載のステレオ画像処理方法は、第１の撮像装置によって撮像された基準画像と、第２の撮像装置によって撮像された参照画像間でステレオ対応探索を行い、視差を計測するステレオ画像処理方法であって、基準画像中の対応点を求めたい点を注目点とし、注目点を基準にして一定領域の基準ウィンドウを設定し、参照画像中には基準ウィンドウと同一の大きさの参照ウィンドウを設定し、注目点に対応する参照画像中のエピポーラ線に沿って参照ウィンドウを走査しながら、基準ウィンドウと参照ウィンドウとのパターンの差異を評価し、差異の最も小さい参照ウィンドウの位置をステレオ対応点として決定し、ステレオ対応点決定時の、基準ウィンドウの位置と、参照ウィンドウの位置の差から、視差を計測し、参照ウィンドウを走査して得られる、基準ウィンドウと参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第１の信頼度と、上記ピークの乱立状況に基づく第２の信頼度とにより、視差の信頼度を計算し、視差の値とともに視差の信頼度の値を出力することを特徴とするものである。これにより、ミスマッチングの可能性をより正確に把握することができるとともに、より密な計測結果を得ることができる。
また、基準画像において、直前に処理したフレームと現在のフレームとの間でフレーム間差分をとり、フレーム間で変化ありと検出された変化領域及び探索未処理領域のみについてステレオ対応探索を行い、変化がなく、かつ探索済みの領域については、直前までのステレオ対応探索結果を出力することができる。これにより、信頼性を確保しながら、処理時間の短縮化を行うことができる。
また、変化がなく、かつ探索済みの領域のうち、視差の信頼度が所定値よりも低い領域については、前回ステレオ対応探索時の基準ウィンドウ及び参照ウィンドウのサイズをそれぞれ拡大し、変化領域、および探索未処理領域のステレオ対応探索に引き続いて再度ステレオ対応探索を繰り返し、その結果、信頼度が向上すれば、該領域の視差及びその信頼度の情報を更新することができる。これにより、ミスマッチングによる計測精度の低下を低減することができる。また、必要な結果が得られるまでの時間が短くなり、信頼性を確保しながら、処理時間の短縮化を行うことができる。
また、基準画像中の各画素に対応する参照画像中の探索開始位置座標を、予め第１の撮像装置及び第２の撮像装置の光軸の傾き角に基づいてそれぞれ計算し、基準画像中の各画素の位置座標と、基準画像中の各画素に対応する参照画像中の探索開始位置座標の対応関係をテーブルとして保持し、ステレオ対応探索をテーブルを参照して得られる参照画像中の探索開始位置から行うことができる。これにより、無駄を排除して効率的に探索を行うことができ、マッチングの信頼性を向上させることができる。
請求項５に記載のステレオ画像処理装置は、第１の撮像装置によって撮像された基準画像と、第２の撮像装置によって撮像された参照画像間でステレオ対応探索を行い、視差を計測するステレオ画像処理装置であって、基準画像中の対応点を求めたい点を注目点とし、注目点を基準にして一定領域の基準ウィンドウを設定する第１の設定手段と、参照画像中には基準ウィンドウと同一の大きさの参照ウィンドウを設定する第２の設定手段と、注目点に対応する参照画像中のエピポーラ線に沿って参照ウィンドウを走査しながら、基準ウィンドウと参照ウィンドウとのパターンの差異を評価する評価手段と、差異の最も小さい参照ウィンドウの位置をステレオ対応点として決定する決定手段と、ステレオ対応点決定時の、基準ウィンドウの位置と、参照ウィンドウの位置の差から、視差を計測する計測手段と、参照ウィンドウを走査して得られる、基準ウィンドウと参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第１の信頼度と、上記ピークの乱立状況に基づく第２の信頼度とにより、視差の信頼度を計算する計算手段と、視差の値とともに視差の信頼度の値を出力する出力手段とを備えることを特徴とするものである。これにより、ミスマッチングの可能性をより正確に把握することができるとともに、より密な計測結果を得ることができる。
請求項６に記載のステレオ画像処理プログラムは、第１の撮像装置によって撮像された基準画像と、第２の撮像装置によって撮像された参照画像間でステレオ対応探索を行い、視差を計測するステレオ画像処理装置を制御するステレオ画像処理プログラムであって、基準画像中の対応点を求めたい点を注目点とし、注目点を基準にして一定領域の基準ウィンドウを設定するステップと、参照画像中には基準ウィンドウと同一の大きさの参照ウィンドウを設定するステップと、注目点に対応する参照画像中のエピポーラ線に沿って参照ウィンドウを走査しながら、基準ウィンドウと参照ウィンドウとのパターンの差異を評価するステップと、差異の最も小さい参照ウィンドウの位置をステレオ対応点として決定するステップと、ステレオ対応点決定時の、基準ウィンドウの位置と、参照ウィンドウの位置の差から、視差を計測する計測ステップと、参照ウィンドウを走査して得られる、基準ウィンドウと参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第１の信頼度と、上記ピークの乱立状況に基づく第２の信頼度とにより、視差の信頼度を計算する計算ステップと、視差の値とともに視差の信頼度の値を出力する出力ステップとをステレオ画像処理装置に実行させることを特徴とするものである。これにより、ミスマッチングの可能性をより正確に把握することができるとともに、より密な計測結果を得ることができる。
【００１３】
【発明の実施の形態】
図１は、本願ステレオ画像処理方法を実施するための装置構成の一例を示すブロック図である。以下、図１に基づいて、本発明のステレオ画像処理装置の一実施の形態の構成例について説明する。
【００１４】
図１において、１０１及び１０２は異なる視点から対象物を同時に撮像するためのステレオカメラである。カメラ１０１はステレオ対応探索を行う際の基準画像を撮像するカメラであり、カメラ１０２はカメラ１０１で撮像された基準画像中の点に対応する点を探索する参照画像を撮像するカメラである。１０３及び１０４は上記カメラ１０１，１０２から出力されるアナログ信号をそれぞれデジタル信号に変換するＡ／Ｄ変換手段である。なお、近年カメラ自体でＡ／Ｄ変換器を内蔵し、デジタル信号を出力するカメラも多いが、そのような場合には、上記Ａ／Ｄ変換手段１０３及び１０４は用いる必要はない。
【００１５】
フレームメモリ１０５及びフレームメモリ１０６は、上記基準画像、および参照画像をそれぞれ格納するフレームメモリである。フレームメモリ１０７は、現在の撮像フレームの一つ前に処理した撮像フレーム（直前のフレーム）におけるフレームメモリ１０５（基準画像）の内容を格納するフレームメモリである。フレーム間差分手段１０８は、フレームメモリ１０５の内容（濃淡画像）とフレームメモリ１０７の内容（濃淡画像）との差分を演算することによって、基準画像のフレーム間差分画像を出力する。
【００１６】
２値化手段１０９はフレーム間差分画像を所定のしきい値で２値化し、フレームメモリ１１０にはその２値化画像が格納される。フレームメモリ１１０の内容は、撮影状況や物体の運動などによって濃淡変動が生じた変化領域が値１、静止部分などの変化のない領域が値０になっている。ステレオ対応探索手段１１１は、上記基準画像（フレームメモリ１０５）中の注目点に対して、参照画像（フレームメモリ１０６）中でどの点が最も良く対応するのか探索を行う。
【００１７】
図２は、対応点探索の方法を示す図である。以下、図２を参照して、対応探索の方法について説明する。図２に示すように、基準画像中で対応点を求めたい点を注目点とし、注目点を中心にして一定領域のウィンドウ（基準ウィンドウ）を設定する。参照画像中に基準ウィンドウと同じ大きさのウィンドウ（参照ウィンドウ）を、参照ウィンドウの中心点が参照画像中での上述した探索開始位置に一致するように設定する。
【００１８】
次に、参照ウィンドウを、上記注目点に対応する参照画像中のエピポーラ線に沿って走査しながら、基準ウィンドウと参照ウィンドウとのパターンの差異を評価していく。そして、図３に示すように、最も差異が小さくなる参照画像中でのウィンドウの位置を対応点として決定する。ここでは、評価関数として、ウィンドウ内の画素毎の輝度差の絶対値和（ＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ）を用いる。図３は、上記エピポーラ線に沿ったＳＡＤ値の分布を表すグラフの一例であり、縦軸はＳＡＤ値を表し、横軸は参照画像のｘ座標（画像の水平方向の座標）を表している。評価関数としてはこの他、輝度差の２乗和などを適用することももちろん可能である。
【００１９】
ステレオ視は、複数のカメラの既知の配置関係を利用して、三角測量の原理により三次元位置座標を求める手法である。ここで、図４に示すように、空間中の点Ｐが、ステレオカメラの左側画像（例えば、カメラ１０１によって撮像された基準画像）中の点ＰＬとして検出された時、右側画像（例えば、カメラ１０２によって撮像された参照画像）中における、点ＰＬに対応する点ＰＲについては、以下のような拘束条件が存在する。
【００２０】
カメラ（例えば、カメラ１０１，１０２）の光学中心をそれぞれＣＬ、ＣＲとすると、点ＰＬ（点Ｐの左側画像への投影点）の右側画像中で対応する点ＰＲ（点Ｐの右側画像への投影点）は、ＣＬ−ＣＲ−ＰＬの３点で作られる平面（エピポーラ平面）と右側画像平面との交線上のどこかに必ず存在する。この拘束条件はエピポーラ拘束と呼ばれ、上記交線がエピポーラ線と呼ばれる。すなわち、対応探索はエピポーラ線上に対してのみ行えばよいことを示しているのが、エピポーラ拘束条件である。
【００２１】
図２はステレオ視の最も簡単な構成の例であり、焦点距離が等しいカメラ２台が、光軸が互いに平行で、かつ各画像面が同一平面上に乗るように配置され、左右のカメラの光学中心を結ぶ直線（基線）が画像水平軸に対して平行な場合を示している。このようなカメラ配置を平行光軸系と呼ぶことにすると、平行光軸系では、空間中の点の左右画像への投影点の垂直軸座標は等しくなる。よって、エピポーラ線は同一走査線上に存在することになり、対応点を探索する際は同一走査線上を探せばよい。
【００２２】
さらには、対応点を探索する際、エピポーラ線上の全ての画素を調べる必要は必ずしもなく、エピポーラ線上の限られた探索範囲を探せば十分である場合が存在する。
【００２３】
図５は、左右のカメラの光軸がそれぞれ角度αだけ内側に傾けられた状態（交差光軸系）の光学系を垂直上方から見た状態の平面模式図であり、交差光軸系におけるステレオ対応探索開始位置を示している。各カメラの焦点距離は全て同一（ｆ）である。今、空間中の点Ｐが左側画像中で投影点ＰＬとして検出されたとする。この時、点Ｐが無限遠にあると仮定すると、点Ｐの右側画像中への投影点は、左側光学中心ＣＬと点ＰＬとを結ぶ直線ＣＬ−ＰＬと平行で、かつ右側光学中心ＣＲを通る直線が、右側画像面と交わる点ＰＲとなる。よって、図５の場合においては、点ＰＲより左側の画像面に結像する空間中の点Ｐは存在しないことになり、右側画像で対応探索を行う際には、点ＰＲを探索開始点として、エピポーラ線上に沿って右側に向かって探索を行えばよいことになる。
【００２４】
図５の場合において、左側画像を基準画像とするとき、参照画像である右側画像中での探索開始位置は、次式（１）で求められる座標値ｘ２（ここでは水平軸座標）をもつエピポーラ線上の位置となる。
【００２５】
【数１】

ここで、
ｘ１：基準画像中のマッチングウィンドウのｘ座標。座標原点は光学中心位置とする。
ｘ２：参照画像中の探索開始値のｘ座標。座標原点は光学中心位置とし、ｘ２のとりうる値は参照画像枠の範囲内に制限される。
ｆ：カメラの焦点距離。ただし、基準カメラ、参照カメラとも焦点距離は等しいものとする。
α：光軸傾き角。
【００２６】
よって、カメラの光軸傾き角αから、基準画像の各画素に対応する探索開始位置ｘ２を予め求め、その対応関係を図６に示すような探索開始位置参照テーブル１１５（図１参照）として保持しておことにより、無駄を排除して効率的に探索することができる。また、マッチングの信頼性の向上にもより貢献することができる。
【００２７】
なお、２つのカメラ１０１，１０２の焦点距離が等しく、光軸が互いに平行で、各光学中心を結ぶ直線と画像面の水平軸とが平行であり、かつ各々の画像面が同一平面上に配置される平行光軸系の場合にはα＝０となるため、式（１）よりｘ２＝ｘ１となる。つまり、探索開始位置は基準画像中のマッチングウィンドウの位置と一致する。この場合は上記のような計算を特に行う必要はない。
【００２８】
このように、対応点の探索範囲を二次元空間からエピポーラ線上の一次元空間へ、一次元空間中でも探索範囲を更に限定することによって、効率的な対応点探索が実現される。
【００２９】
以上のようにして、ステレオ対応探索手段１１１により、基準画像中の注目点に対応する参照画像中の対応点が求められる。
【００３０】
上述したように、基準画像中の各注目点にそれぞれ対応する参照画像中のエピポーラ線に沿ってＳＡＤ値の分布を求め、最小のＳＡＤ値を持つ参照画像中のウィンドウの位置を対応点として検出する。このようなブロックマッチングによる比較を行う際には、濃度変化の少ない一様なパターンの場合、ＳＡＤ値分布には明確なパターンが現れない。また、図７に示すように、類似パターンが複数分布している場合には、図８に示すように、ＳＡＤ値分布には明確なピークが現れるものの、各ピークは類似した値をとるため、どのピーク（視差）を選択したらよいか判断が難しい。図７は、縞状規則的画像の例を示している。図８は、縞状規則的ステレオ画像におけるＳＡＤ値分布の例を示すグラフである。
【００３１】
本実施の形態では、信頼度算出手段１１２において、上記ステレオ対応探索手段１１１で求められた対応点の情報の信頼度を求める。ここでは、次に述べる二つの信頼度に基づいて視差の信頼度を求める。第一の信頼度はＳＡＤ値分布のピークの鋭さに基づく信頼度であり、ピークが鋭いほど信頼度の値は大きくなる。第一の信頼度Ｒ１は、例えば次式（２）から求めることができる。
【００３２】
【数２】

ここで、
ｄ（ｍｉｎ）： 最小ＳＡＤ値における微分絶対値
Ｔ１：しきい値
ｐ（ｍｉｎ）：ＳＡＤ値の最小値
ａ：定数
である。なお、Ｒ１の値が１より大きい場合には、Ｒ１の値は１とする。
【００３３】
第二の信頼度はピークの乱立状況に基づく信頼度であり、ピーク（最小ＳＡＤ値におけるピーク）が一つのみの場合、信頼度は１（１００パーセント（％））となり、最小ＳＡＤ値に近いピークの数が増えるにつれてＲ２の値は小さくなる。第二の信頼度Ｒ２は、例えば次式（３）から求めることができる。
【００３４】
【数３】

ここで、
ｐ（ｉ）：ｉ番目のピークにおけるＳＡＤ値
ｐ（ｍｉｎ）：ＳＡＤ値の最小値
ｎ：自然数
である。
【００３５】
そして最終的に、注目点の対応の信頼度Ｒは、次式（４）によって求めることができる。
【００３６】
Ｒ＝Ｒ１×Ｒ２ （０≦Ｒ≦１） ・・・式（４）
【００３７】
対応未探索領域検出手段１１３では、ステレオ対応探索手段１１１での対応点探索が終了した領域（画素）については値１、未探索の領域（画素）については値０を割り当て、フレームメモリ１１４にその内容を格納する。フレームメモリ１１４の内容は、対応探索進行状況に応じて随時更新される。
【００３８】
上記ステレオ対応探索手段１１１には、上記フレームメモリ１１０から変動領域の抽出情報が入力されると同時に、上記フレームメモリ１１４からステレオ対応がまだ探索されていない領域の情報が入力されており、変化のある領域もしくは対応未探索領域を優先して効率的に探索が行えるように構成されている。また、上記信頼度算出手段１１２から対応点の信頼度が入力されており、信頼度に応じて対応探索の際のウィンドウの大きさを変更して繰り返し対応探索を行うように構成されている。
【００３９】
次に、図９乃至図１１のフローチャートに基づいて、本実施の形態の動作について詳細に説明する。図９は、本実施の形態のメイン処理工程の一例を示すフローチャートである。まず、図９のステップＳ１０１において図１に示した各フレームメモリ（１０５、１０６、１０７、１１０、１１４）の内容を初期化する。
【００４０】
次にステップＳ１０２において、カメラ１０１、１０２から、フレームメモリ１０５、１０６に基準画像、参照画像をそれぞれ取り込む。その後、ステップＳ１０３において、フレーム間差分手段１０８でフレームメモリ１０７に格納されている基準画像の直前のフレームと、フレームメモリ１０５に格納されている基準画像の現在のフレームとの間でフレーム間差分処理を行う。この結果得られた差分画像を２値化手段１０９において２値化し（ステップＳ１０４）、２値化画像をフレームメモリ１１０に格納する。
【００４１】
その後、ステップＳ１０５でフレームメモリ１０５、つまり現在の基準画像の内容をフレームメモリ１０７に転送する。フレームメモリ１１０の２値化画像は、現在と直前のフレーム間で変化のあった領域のみが１となり、変化のない領域については０になっており、これより画像中の変化領域を抽出することができる。ステップＳ１０６では、ステレオ対応探索手段１１１においてフレームメモリ１１０と、後述するフレームメモリ１１４の内容を参照して、基準画像のうち、変化領域であるかまたは対応点がまだ探索されていない領域に含まれる画素数ＣＮをカウントする。
【００４２】
次に、ステップＳ１０７では本実施の形態の処理モードを判別する。フレームレート優先モードであれば、ステップＳ１０７からステップＳ１０８に移行し、フレームレート優先モードでなければ（探索処理の完了を優先するモード）、ステップＳ１０７からステップＳ１０９に移行する。
【００４３】
ステップＳ１０８では、次の画像フレームの入力タイミングが到来したかどうかを判別し、入力タイミングであれば、ステップＳ１０２に戻り、基準画像と参照画像を取り込む。入力タイミングでなければ、そのままステップＳ１０９に移行する。その後、ステップＳ１０９では、現在のフレームのステレオ対応探索が完了したかどうかを調べ、探索が完了していればステップＳ１０８に戻って次フレームの入力タイミング到来を待ち、探索が完了していなければ、ステップＳ１１０に移行する。
【００４４】
ステップＳ１１０では、基準画像中に対応点を探索する注目点ｐを設定する。装置起動直後であれば、点ｐの位置は、例えば基準画像の左上隅に設定され、その後の探索の繰り返しによってラスタ走査（移動）される。次に、ステップＳ１１２に移行し、ステレオ対応探索手段１１１において上記基準画像の注目点ｐに対応する参照画像中の対応点を探索する。
【００４５】
同時に、ステップＳ１１２では信頼度算出手段１１２において対応の信頼度を計算し、その値を出力するとともに、信頼度の低い領域については、探索のウィンドウサイズを変更して再度対応探索を繰り返す。ステップＳ１１２の詳細な内容については後述する。
【００４６】
その後、ステップＳ１１３に移行し、処理終了の指令があれば処理を終了し、処理継続であれば、ステップＳ１０７に戻り、ステップＳ１０７乃至ステップＳ１１３の処理を繰り返す。
【００４７】
次に、上記ステップＳ１１２のステレオ対応探索、信頼度計算処理の詳細について図１０のフローチャートに基づいて説明する。ステップＳ１１２が開始されると、まず図１０のステップＳ２０１において、上記基準画像中の注目点ｐが、変化のあった領域であるか、または対応点がまだ探索されていない領域であるかどうかを調べる。
【００４８】
ここでは上述したように、該領域におけるフレームメモリ１１０（図１）の値を調べることで、変化のあった領域かどうか判別することができる。また、フレームメモリ１１４（図１）はフレームメモリ１１０と同様の形態をしており、こちらには、対応点がまだ探索されていない領域（画素）には例えば１が、探索済みの領域には例えば０がセットされるようになっている。
【００４９】
よって、該領域におけるフレームメモリ１１４の値を調べることで、対応点が探索済みかどうかを判別することができる。ステップＳ２０１で、注目点ｐが変化領域であるか、または対応点未探索領域であると判別された場合には、ステップＳ２０２に移行し、注目点ｐに対する対応探索ウィンドウサイズＢＬＣＫ（ｐ）を所定値にリセットする。
【００５０】
次に、ステップＳ２０３に移行し、注目点ｐに対するステレオ対応探索を行う。ステレオ対応探索の方法については上述したので、ここでは説明を省略する。その後、ステップＳ２０４に移行し、注目点ｐをステレオ対応探索済みとして、ｐの位置のフレームメモリ１１４の値を更新する（値０にセット）。そしてステップＳ２０５に移行し、上記変化領域もしくは対応未探索領域画素数ＣＮの値をデクリメントする。
【００５１】
その後、ステップＳ２０６に移行し、注目点ｐに対する参照画像側の対応点、すなわち視差の信頼度Ｒ（ｐ）を計算する。信頼度Ｒの具体的な計算例については上述したので、ここでは説明を省略する。次に、ステップＳ２０７に移行し、注目点ｐにおける前回の対応探索結果の信頼度を格納しておくＲｐｒｅｖ（ｐ）にＲ（ｐ）の値を代入する。そしてステレオ対応点探索、信頼度計算工程（ステップＳ１１２）が終了する。
【００５２】
一方、ステップＳ２０１においてＮｏ、すなわち注目点ｐが変化領域でなく、かつ対応点探索済み領域であると判別された場合には、ステップＳ２０１からステップＳ２０８に移行する。ステップＳ２０８では上記変化領域もしくは対応未探索領域画素数ＣＮの値が０より大きければ、注目点ｐに対してのステレオ対応点探索、信頼度計算工程（ステップＳ１１２）を終了する。
【００５３】
一方、ＣＮの値が０である場合、つまり探索すべき領域がなくなった場合には、ステップＳ２０９に移行する。ステップＳ２０９では注目点ｐに対応する対応点の信頼度Ｒ（ｐ）の値を調べ、信頼度が小さければステップＳ２１０に移行し、信頼度が大きければ、ステレオ対応点探索、信頼度計算工程（ステップＳ１１２）を終了する。
【００５４】
ステップＳ２１０では、注目点ｐにおける対応探索のウィンドウサイズＢＬＣＫ（ｐ）の値をさらに拡大して、対応探索を再度行う（ステップＳ２１１）。なお、ＢＬＣＫは、図１のステレオ対応探索手段１１１において、基準画像の各画素に対応する形で保持されている。起動直後は各画素に対応するＢＬＣＫの値は全て所定値にリセットされる。その後ステップＳ２１２に移行する。ステップＳ２１２では、対応点再探索後の注目点ｐに対する対応点の信頼度Ｒｔｍｐを計算する。
【００５５】
次にステップＳ２１３に移行して、ステップＳ２１２で求めた信頼度Ｒｔｍｐを評価し、注目点ｐに対する信頼度Ｒ（ｐ）を決定する。そしてステレオ対応点探索、信頼度計算工程（ステップＳ１１２）が終了する。以上の処理によって、変化領域及び対応点未探索領域がまず優先的に処理され、その後、信頼度の小さい既探索領域の再探索が行われることになる。
【００５６】
次に、図１０のステップＳ２１３の信頼度の評価工程の詳細について、図１１のフローチャートに基づいて説明する。ステップＳ２１３の処理が開始されると、まず図１１のフローチャートのステップＳ３０１において、注目点ｐにおける前回の対応探索結果の信頼度Ｒｐｒｅｖ（ｐ）と、現在の対応探索結果の信頼度Ｒｔｍｐとの比較が行われる。なお、Ｒｐｒｅｖは図１の信頼度算出手段１１２において、基準画像の各画素に対応する形で保持されている。
【００５７】
起動直後は各画素に対応するＲｐｒｅｖの値は全て０にリセットされる。現在の信頼度Ｒｔｍｐの方が前回の信頼度Ｒｐｒｅｖ（ｐ）よりも大きい場合にはステップＳ３０１からステップＳ３０２に移行する。逆に、ＲｔｍｐがＲｐｒｅｖ（ｐ）より小さいか等しい場合には、そのまま処理を終了する。
【００５８】
次に、ステップＳ３０２では、前回までの対応探索で得られた注目点ｐに対する対応点ｐｐの位置と、現在の対応探索結果による対応点候補ｐｎの位置との比較が行われる。両者が異なる場合には、ステップＳ３０３に移行する。逆に両者が等しい場合にはステップＳ３０５に移行する。
【００５９】
ステップＳ３０３では、図１２に示すように、上記対応点候補ｐｎの位置における前回探索時のＳＡＤ値、ＳＡＤｐ（ｐｎ）が、上記対応点ｐｐの位置における前回のＳＡＤ値、ＳＡＤｐ（ｐｐ）よりも十分大きく、かつ上記ｐｐとｐｎの現在のＳＡＤ値、ＳＡＤｎ（ｐｐ）とＳＡＤｎ（ｐｎ）との差が小さい場合には、対応点の位置はｐｐのまま変わらないとして、そのまま信頼度の評価工程処理を終了する。そうでない場合には、ステップＳ３０４に移行し、対応点の位置をｐｐからｐｎに更新する。そしてステップＳ３０５に移行する。
【００６０】
ステップＳ３０５では、注目点ｐの対応信頼度Ｒ（ｐ）に上記Ｒｔｍｐを代入して、信頼度を決定する。また、前回信頼度Ｒｐｒｅｖ（ｐ）の値も現在信頼度Ｒｔｍｐで更新する。そして、信頼度の評価工程処理を終了する。
【００６１】
以上説明したように、本実施の形態においては、基準ウィンドウと参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第一の信頼度と、上記ピークの乱立状況に基づく第二の信頼度とから対応点、すなわち視差の信頼度を計算しているので、ミスマッチングの可能性をより正確に把握することができる。また、信頼度に応じて探索条件（ウィンドウサイズ）を変えて反復探索を行っているので、ミスマッチングによる計測精度の低下を低減するとともに、より密な計測結果を得ることができる。
【００６２】
また、対応点（視差）の信頼度を、対応点の情報（視差）とともに出力しているので、本実施の形態の出力を利用する画像認識処理装置などの上位装置においても、処理の優先順位付けを行うことができ、システムとして効率的な処理を行うことが可能になる。
【００６３】
また、画像中の変化領域及び対応点未探索領域がまず優先的に処理され、その後、信頼度の小さい既探索領域の再探索が行われるため、必要な結果が得られるまでの時間を短くすることができる。これにより、信頼性を確保しながら、処理時間の短縮化を行うことができる。
【００６４】
また、カメラの光軸傾き角から基準画像の各画素に対応する探索開始位置を予め求め、その対応関係を探索開始位置参照テーブルとして保持しておことで、無駄を排除して効率的に探索することができる。また、マッチングの信頼性の向上にもより貢献することができる。
【００６５】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【図面の簡単な説明】
【図１】本発明のステレオ画像処理装置の一実施の形態の構成例。
【図２】対応点探索の説明図。
【図３】ＳＡＤ値分布例。
【図４】ステレオ視におけるエピポーラ拘束条件の説明図。
【図５】交差光軸系におけるステレオ対応探索開始位置。
【図６】対応点探索開始位置参照テーブル。
【図７】縞状規則的画像の例。
【図８】縞状規則的ステレオ画像におけるＳＡＤ値分布例。
【図９】メイン処理を示すフローチャート。
【図１０】ステレオ対応探索、信頼度計算工程を示すフローチャート。
【図１１】信頼度評価、対応点決定工程を示すフローチャート。
【図１２】前回と現在の対応点および対応点候補の位置とＳＡＤ値。
【符号の説明】
１０１，１０２ カメラ、１０３，１０４ Ａ／Ｄ変換手段、１０５，１０６，１０７，１１０，１１４ フレームメモリ、１０８ フレーム間差分手段、１０９ ２値化手段、１１１ ステレオ対応探索手段、１１２ 信頼度算出手段、１１３ 対応未探索領域検出手段、１１５ 探索開始位置参照テーブル

Claims (6)

1. 第１の撮像装置によって撮像された基準画像と、第２の撮像装置によって撮像された参照画像間でステレオ対応探索を行い、視差を計測するステレオ画像処理方法であって、
   前記基準画像中の対応点を求めたい点を注目点とし、前記注目点を基準にして一定領域の基準ウィンドウを設定し、
   前記参照画像中には前記基準ウィンドウと同一の大きさの参照ウィンドウを設定し、
   前記注目点に対応する前記参照画像中のエピポーラ線に沿って前記参照ウィンドウを走査しながら、前記基準ウィンドウと前記参照ウィンドウとのパターンの差異を評価し、
   前記差異の最も小さい参照ウィンドウの位置をステレオ対応点として決定し、
   ステレオ対応点決定時の、前記基準ウィンドウの位置と、前記参照ウィンドウの位置の差から、視差を計測し、
   前記参照ウィンドウを走査して得られる、前記基準ウィンドウと前記参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第１の信頼度と、上記ピークの乱立状況に基づく第２の信頼度とにより、視差の信頼度を計算し、
   前記視差の値とともに前記視差の信頼度の値を出力する
   ことを特徴とするステレオ画像処理方法。
2. 前記基準画像において、直前に処理したフレームと現在のフレームとの間でフレーム間差分をとり、フレーム間で変化ありと検出された変化領域、及び探索未処理領域のみについてステレオ対応探索を行い、変化がなく、かつ探索済みの領域については、直前までのステレオ対応探索結果を出力する
   ことを特徴とする請求項１に記載のステレオ画像処理方法。
3. 前記変化がなく、かつ探索済みの領域のうち、前記視差の信頼度が所定値よりも低い領域については、前回ステレオ対応探索時の前記基準ウィンドウ及び参照ウィンドウのサイズをそれぞれ拡大し、前記変化領域、および前記探索未処理領域のステレオ対応探索に引き続いて再度ステレオ対応探索を繰り返し、その結果、信頼度が向上すれば、該領域の視差及びその信頼度の情報を更新する
   ことを特徴とする請求項１または２に記載のステレオ画像処理方法。
4. 前記基準画像中の各画素に対応する前記参照画像中の探索開始位置座標を、予め前記第１の撮像装置及び第２の撮像装置の光軸の傾き角に基づいてそれぞれ計算し、前記基準画像中の各画素の位置座標と、前記基準画像中の各画素に対応する前記参照画像中の探索開始位置座標の対応関係をテーブルとして保持し、ステレオ対応探索を前記テーブルを参照して得られる前記参照画像中の探索開始位置から行う
   ことを特徴とする請求項１乃至３のいずれかに記載のステレオ画像処理方法。
5. 第１の撮像装置によって撮像された基準画像と、第２の撮像装置によって撮像された参照画像間でステレオ対応探索を行い、視差を計測するステレオ画像処理装置であって、
   前記基準画像中の対応点を求めたい点を注目点とし、前記注目点を基準にして一定領域の基準ウィンドウを設定する第１の設定手段と、
   前記参照画像中には前記基準ウィンドウと同一の大きさの参照ウィンドウを設定する第２の設定手段と、
   前記注目点に対応する前記参照画像中のエピポーラ線に沿って前記参照ウィンドウを走査しながら、前記基準ウィンドウと前記参照ウィンドウとのパターンの差異を評価する評価手段と、
   前記差異の最も小さい参照ウィンドウの位置をステレオ対応点として決定する決定手段と、
   ステレオ対応点決定時の、前記基準ウィンドウの位置と、前記参照ウィンドウの位置の差から、前記視差を計測する計測手段と、
   前記参照ウィンドウを走査して得られる、前記基準ウィンドウと前記参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第１の信頼度と、上記ピークの乱立状況に基づく第２の信頼度とにより、視差の信頼度を計算する計算手段と、
   前記視差の値とともに前記視差の信頼度の値を出力する出力手段と
   を備えることを特徴とするステレオ画像処理装置。
6. 第１の撮像装置によって撮像された基準画像と、第２の撮像装置によって撮像された参照画像間でステレオ対応探索を行い、視差を計測するステレオ画像処理装置を制御するステレオ画像処理プログラムであって、
   前記基準画像中の対応点を求めたい点を注目点とし、前記注目点を基準にして一定領域の基準ウィンドウを設定するステップと、
   前記参照画像中には前記基準ウィンドウと同一の大きさの参照ウィンドウを設定するステップと、
   前記注目点に対応する前記参照画像中のエピポーラ線に沿って前記参照ウィンドウを走査しながら、前記基準ウィンドウと前記参照ウィンドウとのパターンの差異を評価するステップと、
   前記差異の最も小さい参照ウィンドウの位置をステレオ対応点として決定するステップと、
   ステレオ対応点決定時の、前記基準ウィンドウの位置と、前記参照ウィンドウの位置の差から、前記視差を計測するステップと、
   前記参照ウィンドウを走査して得られる、前記基準ウィンドウと前記参照ウィンドウとのパターンの差異の評価値分布のピークの鋭さに基づく第１の信頼度と、上記ピークの乱立状況に基づく第２の信頼度とにより、視差の信頼度を計算するステップと、
   前記視差の値とともに前記視差の信頼度の値を出力する出力ステップと
   をステレオ画像処理装置に実行させることを特徴とするステレオ画像処理プログラム。

Images