JP5887974B2 - 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム - Google Patents

Description

本発明は、類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラムに関する。

従来では、３次元形状の認識を目的として、３次元画像を撮影する方法が研究されている。例えばカメラにより撮影された画像から３次元形状を取得する方法としては、ステレオカメラのように異なる視点から撮影した２つの画像を用いる方法が知られている。この方法では、２つの画像間において対応付けを行い、相互に対応する点から視差を求め、被写体までの距離情報を取得する。

なお、対応点の探索方法としては、例えば一方の基準画像上の注目点に対して、この注目点を含むブロックを設定し、他方の参照画像上に同サイズのブロックを画素（ピクセル）単位で複数設定する。このように設定した基準画像上のブロックと、参照画像上の各ブロックとの間で相関値を算出し、最も相関値が高い参照画像上のブロックを探索することで対応点を決定する。

上述した相関値を算出する関数としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：各ブロックの対応する画素値の差分の絶対値和）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ：各ブロックの対応する画素値の差分二乗和）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関法（各ブロックの対応画素値の積和の正規化））等が知られている。

ここで、例えば３次元画像における距離分解能を上げるためには、視差の分解能を上げれば良く、視差の分解能を上げるためには、画素（ピクセル）レベルよりも細かい精度（サブピクセルレベル）で対応付けを行えば良い。そこで、従来では、例えば画素レベルで求めた相関値をサブピクセル推定モデルに当てはめる処理（フィッティング処理）により、サブピクセルレベルの対応点を推定する方法が知られている。例えば、上述したＳＡＤには、等角直線モデルが適しており、上述したＳＳＤやＮＣＣには、二次曲線モデルが適していることが知られている。

なお、複数の画像間の対応をテンプレートマッチング法に基づいて求める対応点抽出方法において、２種類以上のテンプレートを用いて対応点を決定する方法が知られている（例えば、特許文献１参照）。

ところで、例えばレンズアレイを用いて、１つの画像センサで複数の視点の画像を取得し、取得した複数の画像から被写体までの距離情報を得る超小型ステレオカメラが研究されている。また、例えば２つの画像センサをシリコンウェハ上に隣接して形成し、レンズアレイを搭載して各センサから視点の異なる画像を得ることも研究されている。

上述した超小型ステレオカメラの場合には、従来のステレオカメラと異なり、基線長（レンズ間の距離）が非常に小さい。例えばカメラ２台を用いた従来のステレオカメラの基線長が１０ｃｍ前後の場合、超小型ステレオカメラでは、数ｍｍ程度となる。なお、測距原理として基線長が小さい場合には、検出可能な視差も小さくなる。

すなわち、所定の距離にある被写体を撮影したときに、例えば１０ｃｍ程度の基線長を持つステレオカメラの検出可能な視差が５０画素程度とすると、例えば２ｍｍ程度の基線長を持つステレオカメラの場合、検出可能な視差は１画素程度となってしまう（焦点距離が変わらないと仮定した場合）。これは、サブピクセルレベルの視差の距離測定精度に与える度合いが、前者のカメラの場合には１％程度であるのに対し、後者のカメラの場合にはほぼ１００％となる。すなわち、基線長の小さい超小型ステレオカメラでは、上述した距離測定精度が、サブピクセルレベルの視差検出（対応点付け）精度に大きく依存することとなる。

したがって、上述したサブピクセルレベルの視差検出精度は、従来の大きさのステレオカメラでは問題とならなかったのに対し、上述の超小型ステレオカメラでは重要な問題となってくる。なお、一般的には、サブピクセルレベルでの対応点は、上述したブロック単位（画素単位）の相関値（類似度）を算出して、最小値となる画素（α）を求め、α−１、α、α＋１の画素の相関値を用いて、等角直線フィッティングやパラボラフィッティングによりサブピクセル計算（−０．５≦β≦０．５）を行い、得られた結果（α＋β）を対応する画素とする。

ここで、図１は、従来のブロックマッチングによるサブピクセル演算の結果を示す図である。図１の例では、１次元画像（Ｘ軸方向のみ）を想定した参照画像と、基準画像を示している。また、基準画像の例えばＸ座標Ｘ１からの３画素と、参照画像の例えばＸ座標Ｘ１＋αからの３画素との類似度を、上述したＳＳＤにより評価した値を示している。なお、基準画像がＸ座標Ｘ１にあるものとし、参照画像がＸ１＋１にあるものとする。

図１（Ａ）は、参照画像内の基準画像に対応する画像の境界部分における輝度差が少ない例を示し、図１（Ｂ）は、参照画像内の基準画像に対応する画像の境界部分において大きな輝度差がある例を示している。

図１（Ａ）の例では、ＳＳＤ（Ｘ１，α）による評価値は以下の通りである。なお、α＝０が、参照画像内における基準画像が対応する画像に一致する位置を示し、α＝−１が、参照画像内における基準画像が対応する画像よりも左方向に１画素ずれた位置を示し、α＝１が、参照画像内における基準画像が対応する画像よりも右方向に１画素ずれた位置を示す。

ＳＳＤ（１，−１）＝（１−０）^２＋（２−１）^２＋（３−２）^２＝３
ＳＳＤ（１，０）＝（１−１）^２＋（２−２）^２＋（３−３）^２＝０
ＳＳＤ（１，１）＝（１−２）^２＋（２−３）^２＋（３−４）^２＝３
次に、上述した評価値を用いた等角直線フィッティングによるサブピクセル計算の結果は以下の通りである。

０．５×｛ＳＳＤ（１，−１）−ＳＳＤ（１，１）｝／｛ＳＳＤ（１，０）−ＳＳＤ（１，−１）｝＝０
また、パラボラフィッティングによるサブピクセル計算の結果は以下の通りである。

Ａ＝｛ＳＳＤ（１，−１）−ＳＳＤ（１，１）−２×ＳＳＤ（１，０）｝／２
Ｂ＝０．５×｛ＳＳＤ（１，０）−ＳＳＤ（１，１）｝
Ｖａｌ＝−Ｂ（２×Ａ）＝０（＝β）
上述したように、図１（Ａ）の例では、等角直線フィッティング、パラボラフィッティングによるサブピクセル演算の結果はいずれも「０」となる。

一方、図１（Ｂ）の例では、ＳＳＤ（Ｘ１，α）による評価値は以下の通りである。

ＳＳＤ（１，−１）＝（１−５）^２＋（２−１）^２＋（３−２）^２＝１８
ＳＳＤ（１，０）＝（１−１）^２＋（２−２）^２＋（３−３）^２＝０
ＳＳＤ（１，１）＝（１−２）^２＋（２−３）^２＋（３−４）^２＝３
また、上述した評価値を用いた等角直線フィッティングによるサブピクセル計算の結果は以下の通りである。

０．５×｛ＳＳＤ（１，−１）−ＳＳＤ（１，１）｝／｛ＳＳＤ（１，０）−ＳＳＤ（１，−１）｝＝−０．４２
また、パラボラフィッティングによるサブピクセル計算の結果は以下の通りである。

Ａ＝｛ＳＳＤ（１，−１）−ＳＳＤ（１，１）−２×ＳＳＤ（１，０）｝／２
Ｂ＝０．５×｛ＳＳＤ（１，０）−ＳＳＤ（１，１）｝
Ｖａｌ＝−Ｂ（２×Ａ）＝−０．３８
上述したように、図１（Ｂ）の例では、等角直線フィッティング、パラボラフィッティングによるサブピクセル演算の結果はそれぞれ、「−０．４２」、「−０．３８」となる。すなわち、図１（Ｂ）のサブピクセル演算の結果は、図１（Ａ）のサブピクセル演算の結果と異なっている。

図１（Ａ）及び図１（Ｂ）の例では、いずれも参照画像内の基準画像に対応する画像が参照画像内の同じ位置にあるにもかかわらず、参照画像内の基準画像に対応する画像に隣接する画素が異なると、上述したサブピクセル演算の結果が異なってしまう。これは、上述したＳＳＤの他、ＳＡＤ、ＮＣＣ等のブロックマッチングによる評価値を直接サブピクセル演算に用いることによる。すなわち、ブロックマッチングを行う領域の境界近傍にエッジが存在すると、ブロックマッチングの評価値がばらつき、サブピクセル演算の結果の精度が低下してしまう。

本発明は、上記の課題に鑑みてなされたものであり、高精度に類似画像領域を探索することを可能とする類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラムを提供することを目的とする。

上記目的を達成するために、本発明は、２つの画像の一方を基準画像、他方を参照画像として、前記基準画像内の基準となる基準ブロック領域と、前記基準ブロック領域と同一の大きさの領域を有する前記参照画像内の複数の第１探索範囲との画像の類似度を算出する類似度算出手段と、前記類似度算出手段により得られた画像の類似度のうち、最も類似度が高い前記第１探索範囲を第２探索範囲とし、前記参照画像内における前記第２探索範囲の境界に対する左右の画素の濃淡差と、前記基準画像内における前記基準ブロック領域の境界に対する左右の画素の濃淡差とに基づき、前記類似度算出手段により得られた画像の類似度を補正する類似度補正手段とを有する。

本発明によれば、高精度に類似画像領域を探索することを可能とする。

従来のブロックマッチングによるサブピクセル演算の結果を示す図である。 本実施形態に係るステレオカメラ装置の構成の一例を示す図である。 ステレオカメラ装置のハードウェア構成の一例を示す図である。 類似画像領域探索処理の流れを示すフローチャートである。 ２台のカメラでステレオ視した画像及び各画素の輝度値を示す図である。 ２台のラインセンサでステレオ視した各画像の輝度値を示す図である。 図６の例とは異なる各画像の輝度値を示す図である。 図６の例とは更に異なる各画像の輝度値を示す図である。

以下、本発明の実施の形態について詳細に説明する。

＜ステレオカメラ装置の構成＞
図２は、本実施形態に係るステレオカメラ装置の構成の一例を示す図である。図２に示すように、本実施形態に係るステレオカメラ装置１００は、例えば１台の超小型ステレオカメラであり、撮像手段１０と、画像処理装置１１とを有するように構成される。

撮像手段１０は、レンズＡ、レンズＢを備えるレンズアレイと、各レンズに対応する画像センサと、各レンズ間を遮光する遮光壁とを有するように構成される。上述した構成により、撮像手段１０は、例えば後述するような左右の視点が異なる画像を撮像する。

画像処理装置１１は、シェーディング補正手段２１と、歪み補正手段２２と、類似度算出手段２３と、類似度補正手段２４と、サブピクセル視差推定手段２５と、距離算出手段２６とを有するように構成される。

シェーディング補正手段２１は、撮像手段１０から取得した画像に対してシェーディング補正を実行する。例えば、シェーディング補正手段２１は、レンズＡ及びレンズＢにより撮影した画像の明るさの差や画像周辺の暗さ等を修正する。シェーディング補正手段２１は、例えば予め画素の輝度値に乗算すべき値を記憶したシェーディング補正用のテーブルを用意しておき、テーブルの値を輝度値に乗じて画素の明暗を補正する。

歪み補正手段２２は、シェーディング補正手段２１によりシェーディング補正された画像に対して歪み補正を実行する。歪み補正手段２２は、例えばレンズＡ及びレンズＢにより撮影された画像それぞれが持つ歪み、すなわちレンズの特性に由来する歪みを持って撮影された画像を、例えばピンホールカメラが撮影したような歪みのない画像に補正する。なお、歪み補正手段２２は、例えば公知の方法により、予め作成したルックアップテーブルを参照して歪み補正を行っても良く、予め設定された高次の多項式を用いて歪み状態を近似した補正多項式を用いて歪みを取り除いても良い。

類似度算出手段２３は、歪み補正手段２２により補正された画像を用いて、レンズＡ及びレンズＢにより得られた画像の類似度（相関値）を算出する。例えば、類似度算出手段２３は、レンズＡ及びレンズＢにより得られた２つの画像の一方を基準画像、他方を参照画像として、基準画像内の基準となる複数の画素を有する基準ブロック領域と、基準ブロック領域と同一の大きさの領域を有する参照画像内の複数の第１探索範囲との画像の類似度を算出する。

ここで、類似度算出手段２３は、基準ブロック領域と、複数の第１探索範囲との画像の類似度として、例えばＳＳＤ、ＳＡＤ、ＮＣＣ等のブロックマッチングにより得られる評価値を用いると良い。また、類似度算出手段２３は、画像の類似度が最も高い第１探索範囲から得られた視差値を画素レベルで算出する。なお、類似度算出手段２３による画像の類似度の具体的な算出方法については後述する。

類似度補正手段２４は、類似度算出手段２３により得られた画像の類似度のうち、最も類似度が高い第１探索範囲を第２探索範囲とする。また、類似度補正手段２４は、参照画像内における第２探索範囲の境界に対する左右の画素の濃淡差と、基準画像内における基準ブロック領域の境界に対する左右の画素の濃淡差とに基づき、類似度算出手段２３により得られた画像の類似度を補正する。

具体的には、類似度補正手段２４は、類似度算出手段２３により得られた画像の類似度のうち、例えば参照画像内で第２探索範囲を左方向に１画素ずらした第１隣接領域と基準ブロック領域との画像の類似度、又は参照画像内で第２探索範囲を右方向に１画素ずらした第２隣接領域と基準ブロック領域との画像の類似度を補正する。

なお、類似度補正手段２４は、例えば基準ブロック領域の境界のうち左側の境界を第１境界、右側の境界を第２境界として設定し、第２探索範囲の境界のうち左側の境界を第３境界、右側の境界を第４境界として設定する。

類似度補正手段２４は、第１境界に対する左右の画素の濃淡差と、第３境界に対する左右の画素の濃淡差とに基づいて、上述した第１隣接領域と基準ブロック領域との画像の類似度を補正する。また、類似度補正手段２４は、第２境界に対する左右の画素の濃淡差と、第４境界に対する左右の画素の濃淡差とに基づいて、上述した第２隣接領域と基準ブロック領域との画像の類似度を補正する。

上述した類似度補正手段２４の補正により、高精度に類似画像領域を探索することが可能となり、精度の高いサブピクセルレベルの対応点の推定が可能となる。なお、類似度補正手段２４による画像の類似度に対する具体的な補正方法については後述する。

サブピクセル視差推定手段２５は、類似度補正手段２４により得られた画像の類似度を用いて、サブピクセル視差を推定し、視差値（対応点のサブピクセル位置）を小数点以下まで求める。サブピクセル視差推定手段２５は、類似度算出手段２３の処理において、例えばＳＳＤやＮＣＣをブロックマッチングに用いた場合には、二次曲線フィッティングを用いて対応点のサブピクセル位置を推定すると良い。また、サブピクセル視差推定手段２５は、例えばＳＡＤをブロックマッチングに用いた場合には、等角直線フィッティングを用いて対応点のサブピクセル位置を推定すると良い。

距離算出手段２６は、サブピクセル視差推定手段２５により得られた視差値を被写体までの距離に変換する。このとき、距離算出手段２６は、例えば画像の焦点距離、２つの画像間の基線長（レンズＡ及びレンズＢ間の距離）等を用いて視差値から被写体までの距離を得る。

画像処理装置１１は、類似度算出手段２４から距離算出手段２６までの処理を基準画像の対象領域（対象画素）に対して繰り返すことで距離画像を得ることが可能となる。

なお、本実施形態では、上述した類似度算出手段２３及び類似度補正手段２４を有する類似度画像領域探索装置を構成しても良い。

＜ハードウェアの構成＞
次に、上述した類似画像領域探索装置３０を含むステレオカメラ装置１００のハードウェア構成について説明する。図３は、ステレオカメラ装置のハードウェア構成の一例を示す図である。

図３に示すように、ステレオカメラ装置１００は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行う演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ネットワーク接続装置３７と、記録媒体３８とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置３１は、ユーザが操作する操作ボタン等を有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置３２は、本発明における処理を行うのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、ステレオカメラ装置１００にインストールされる実行プログラムは、記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。

なお、記録媒体３８は、例えばＣＤ−ＲＯＭの他、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

補助記憶装置３４は、ハードディスク等のストレージ手段であり、例えば本発明の類似画像領域探索プログラムや、コンピュータに設けられた制御プログラム、各種データ等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５により格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して上述した各機能及び後述する類似画像領域探索処理を実現する。また、プログラムの実行中に必要な各種情報は、補助記憶装置３４から取得したり、補助記憶装置３４に格納したりする。

ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行して得られる実行結果又は本発明における実行プログラム自体を他の端末等に提供したりすることができる。

＜類似画像領域探索処理＞
次に、上述した類似画像領域探索装置により実行される類似画像領域探索処理の流れについて説明する。図４は、類似画像領域探索処理の流れを示すフローチャートである。なお、図４の例は、例えば撮像手段１０から得られた２つの画像を、画像処理装置１１のシェーディング補正手段２１及び歪み補正手段２２を介して取得した後の処理を示している。

図４に示すように、類似画像領域探索装置３０は、類似度算出手段２３により、取得した２つの画像の一方を基準画像、他方を参照画像として設定する（Ｓ１０）。

次に、類似度算出手段２３は、基準画像内に画素単位の基準となる基準ブロック領域を設定し、設定した基準ブロック領域と同一の大きさの領域を有する複数の第１探索範囲を参照画像内に設定する（Ｓ１１）。

次に、類似度算出手段２３は、基準画像内に設定した基準ブロック領域と、参照画像内に設定した複数の第１探索範囲との画像の類似度をそれぞれ算出する（Ｓ１２）。

次に、類似度補正手段２４は、類似度算出手段２３により得られた画像の類似度のうち、最も類似度が高い第１探索範囲を第２探索範囲として参照画像内に求める（Ｓ１３）。

次に、類似度補正手段２４は、例えば参照画像内の第２探索範囲を左方向に１画素ずらした領域を第１隣接領域として求め、例えば参照画像内の第２探索範囲を右方向に１画素ずらした領域を第２隣接領域として求める（Ｓ１４）。

次に、類似度補正手段２４は、Ｓ１２の処理で得られた画像の類似度のうち、基準ブロック領域と第１隣接領域との画像の類似度を補正し（Ｓ１５）、基準ブロック領域と第２隣接領域との画像の類似度を補正する（Ｓ１６）。

類似画像領域探索装置３０は、３つの領域の画像の類似度、すなわち、類似度算出手段２３により得られた基準ブロック領域と第２探索範囲との画像の類似度と、類似度補正手段２４により補正された基準ブロック領域と第１隣接領域との画像の類似度と、類似度補正手段２４により補正された基準ブロック領域と第２隣接領域との画像の類似度とを取得し（Ｓ１７）、処理を終了する。

＜第１実施形態：類似度算出手段２３＞
次に、第１実施形態の類似度算出手段２３について説明する。図５は、２台のカメラでステレオ視した画像及び各画素の輝度値を示す図である。図６は、２台のラインセンサでステレオ視した各画像の輝度値を示す図である。図７は、図６の例とは異なる各画像の輝度値を示す図である。図８は、図６の例とは更に異なる各画像の輝度値を示す図である。

なお、以下の説明では、二次元画像の例は基準画像の切り出し位置となる左上頂点（ｉ，ｊ）、１次元画像の例は基準画像の切り出し位置の最左頂点（ｉ）に限定して説明するものとする。

図５（Ａ）に示すように、例えば、類似度算出手段２３は、レンズＢで撮影された左側の画像を基準画像、レンズＡで撮影された右側の画像を参照画像として設定する。なお、図５（Ｂ）に示すように、基準画像及び参照画像はそれぞれ５×５の画素を含む画像であり、各画素には輝度値（画素値）が示されている。

類似度算出手段２３は、図５（Ｂ）の基準画像内の太枠に示すように、基準画像内の３×３の画素領域を切り出し、基準ブロック領域として設定する。なお、基準ブロック領域のサイズは、これに限定されず、例えば複数の画素単位で設定することができる。

図５（Ｂ）の例では、例えば基準画像の左上の座標を（０，０）、右下の座標を（４，４）とすると、基準画像内で設定される基準ブロック領域（各切り出し領域）の中心画素は、（１，１）から（３，３）までの９箇所となる。類似度算出手段２３は、基準画像内で基準ブロック領域が設定されると、参照画像内で、設定された基準ブロック領域と同一の大きさの領域を有する複数の第１探索範囲を設定し、参照画像内から、設定された基準ブロック領域に対応する領域を探索する。

第１実施形態では、類似度算出手段２３は、参照画像内で基準ブロック領域と一致する領域を探索する手順として、例えばＳＳＤを用いる。上述したようにＳＳＤとは、輝度値の差の２乗の合計を用いたテンプレートマッチング手法を示し、例えば式（１）で表される類似度評価手法を示す。

ここで、Ｍ（ｉ，ｊ，α，β）は、基準画像のうち、左上頂点（ｉ，ｊ）を切り出し位置とした３×３の画像領域（基準ブロック領域）と、参照画像のうち、左上頂点（ｉ＋α，ｊ＋β）を切り出し位置とした３×３の画像領域（複数の第１探索範囲）とのマッチング度合い（画像の類似度）をＳＳＤで評価した値を示す。なお、α、βを変更することによって、参照画像のうち類似度を算出するための複数の画像領域（第１探索範囲）が得られる。

類似度算出手段２３は、上述した式（１）に示すＳＳＤを用いて、基準ブロック領域となる（ｉ，ｊ）の組に対して、Ｍ（ｉ，ｊ，α，β）を最小化する（α，β）の組（すなわち基準ブロック領域と最も類似度が高い第１探索範囲である第２探索範囲）を決定し、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，ｊ，０）＝Ｍ（ｉ，ｊ，α，β）を算出する。

また、類似度算出手段２３は、第２探索範囲を左方向に１画素ずらした第１隣接領域と基準ブロック領域との画像の類似度Ｖ（ｉ，ｊ，−１）＝Ｍ（ｉ，ｊ，α−１，β）と、第２探索範囲を右方向に１画素ずらした第２隣接領域と基準ブロック領域との画像の類似度Ｖ（ｉ，ｊ，１）＝Ｍ（ｉ，ｊ，α＋１，β）を算出する。

なお、視差演算では、一般的に、基準画像と参照画像との基線長方向がＸ方向と一致するように補正するため、上述したように、Ｖ（ｉ，ｊ，−１），Ｖ（ｉ，ｊ，１）を算出したが、基線長方向がｊ方向となる場合には、Ｖ（ｉ，ｊ，−１）＝Ｍ（ｉ，ｊ，α，β−１），Ｖ（ｉ，ｊ，０）＝Ｍ（ｉ，ｊ，α，β）、Ｖ（ｉ，ｊ，１）＝Ｍ（ｉ，ｊ，α，β＋１）を算出すると良い。

図５の例では、基準画像における基準ブロック領域として「ｉ＝１，ｊ＝１」を切り出した場合、参照画像内においてＭ（１，１，α，β）を最小化する（α，β）の組（第２探索範囲）は、（α，β）＝（０，０）となる。このとき、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，ｊ，０）は、Ｍ（１，１，０，０）＝０であり、基準ブロック領域と第１隣接領域との画像の類似度Ｖ（ｉ，ｊ，−１）は、Ｍ（１，１，−１，０）＝１９となる。また、基準ブロック領域と第２隣接領域との画像の類似度Ｖ（ｉ，ｊ，１）は、Ｍ（１，１，１，０）＝２７となる。

次に、図６〜図８に示す２次元画像を縮退させた１次元画像で説明を行う。なお、図６〜図８の例は、例えば図５のｊ方向の画素を和算して、１次元画像に変換したものと考えても良い。図６〜図８に示す１次元画像の場合には、類似度算出手段２３は、例えば式（２）を用いてブロックマッチングを行う。

ここで、類似度算出手段２３は、基準画像での位置（ｉ）を切り出し位置とした３×１の画像領域（基準ブロック領域）と、参照画像のうち、最左頂点（ｉ＋α）を切り出し位置とした３×１の画像領域（複数の第１探索範囲）とのマッチング度合い（画像の類似度）をＳＳＤにより評価する。

具体的には、類似度算出手段２３は、基準ブロック領域となる切り出し位置（ｉ）に対して、Ｍ（ｉ，α）を最小化するα（第２探索範囲）を決定する。また、類似度算出手段２３は、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，０）＝Ｍ（ｉ，α）と、基準ブロック領域と第１隣接領域との画像の類似度Ｖ（ｉ，−１）＝Ｍ（ｉ，α−１）と、基準ブロック領域と第２隣接領域との画像の類似度Ｖ（ｉ，１）＝Ｍ（ｉ，α＋１）とを算出する。

図６の例では、類似度算出手段２３は、例えば、基準画像の座標位置Ｘ＝３に対して、Ｍ（３，α）を最小化するαの値を「−１」として決定する。また、類似度算出手段２３は、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，０）＝Ｍ（３，−１）＝０と、基準ブロック領域と第１隣接領域との画像の類似度Ｖ（ｉ，−１）＝Ｍ（３，−２）＝１１と、基準ブロック領域と第２隣接領域との画像の類似度Ｖ（ｉ，１）＝Ｍ（３，０）＝１０とを算出する。

図７の例では、類似度算出手段２３は、例えば、基準画像の座標位置Ｘ＝３に対して、Ｍ（３，α）を最小にするαの値を「−１」として決定する。また、類似度算出手段２３は、上述したようにそれぞれ、画像の類似度Ｖ（ｉ，０）＝Ｍ（３，−１）＝０、画像の類似度Ｖ（ｉ，−１）＝Ｍ（３，−２）＝１１、画像の類似度Ｖ（ｉ，１）＝Ｍ（３，０）＝２６を算出する。

図８の例では、類似度算出手段２３は、例えば、基準画像の座標位置Ｘ＝３に対して、Ｍ（３，α）を最小化するαの値を「−１」として決定する。また、類似度算出手段２３は、上述したようにそれぞれ、画像の類似度Ｖ（ｉ，０）＝Ｍ（３，−１）＝０．４５、画像の類似度Ｖ（ｉ，−１）＝Ｍ（３，−２）＝５５．２５、画像の類似度Ｖ（ｉ，１）＝Ｍ（３，０）＝３．７４を算出する。

＜第１実施形態：類似度補正手段２４＞
次に、第１実施形態の類似度補正手段２４について説明する。類似度補正手段２４は、例えば２次元画像の場合には、類似度算出手段２３により算出された画像の類似度のうち、Ｖ（ｉ，ｊ，−１）、Ｖ（ｉ，ｊ，０）、Ｖ（ｉ，ｊ，１）を取得し、以下に示す式（３）〜式（５）を用いて補正することにより、それぞれ補正値Ｆ（ｉ，ｊ，−１）、Ｆ（ｉ，ｊ，０）、Ｆ（ｉ，ｊ，１）を算出する。

なお、式（３）〜式（５）は、類似度算出手段２３によるブロックマッチングにＳＳＤを用いた場合の計算式であり、類似度補正手段２４は、具体的には補正値Ｆ（ｉ，ｊ，−１）、補正値Ｆ（ｉ，ｊ，１）を算出する。

ここで、類似度補正手段２４は、例えば、画像の類似度Ｖ（ｉ，ｊ，０）から、図５に示す参照画像内における第２探索範囲を求め、例えば、画像の類似度Ｖ（ｉ，ｊ，−１）、Ｖ（ｉ，ｊ，１）から、図５に示す参照画像内において第１隣接領域、第２隣接領域を求める。

また、類似度補正手段２４は、例えば図５に示す基準画像内の基準ブロック領域の境界のうち左側の境界を第１境界、右側の境界を第２境界として設定し、例えば図５に示す参照画像内の第２探索範囲の境界のうち左側の境界を第３境界、右側の境界を第４境界として設定しておく。

類似度補正手段２４は、上述した式（３）に示すように、基準ブロック領域の第１境界に対する左右の画素の差分の絶対値（濃淡差）と、第２探索範囲の第３境界に対する左右の画素の差分の絶対値（濃淡差）とを比較し、小さい方の二乗値を取る。また、上述の処理を第１境界及び第３境界の上端画素から下端画素まで繰り返してサメンションを取り、その値を類似度Ｖ（ｉ，ｊ，−１）から減算する。

また、類似度補正手段２４は、上述した式（５）に示すように、基準ブロック領域の第２境界に対する左右の画素の差分の絶対値（濃淡差）と、第２探索範囲の第４境界に対する左右の画素の差分の絶対値（濃淡差）とを比較し、小さい方の二乗値をとる。また、上述の処理を第２境界及び第４境界の上端画素から下端画素まで繰り返してサメンションを取り、その値を類似度Ｖ（ｉ，１）から減算したものである。なお、上述した式（５）に示す「ｋ」は、基準ブロック領域を構成するｋ×ｋの画素サイズを示す。

上述したように、基準ブロック領域及び第２探索範囲の対応する境界の濃淡差に応じて、画像の類似度Ｖ（ｉ，ｊ，−１）、Ｖ（ｉ，ｊ，１）を補正し、補正値Ｆ（ｉ，ｊ，−１）、Ｆ（ｉ，ｊ，１）を得る。

また、類似度補正手段２４は、例えば１次元画像の場合には、類似度算出手段２３により算出された画像の類似度のうち、画像の類似度Ｖ（ｉ，−１）、Ｖ（ｉ，０）、Ｖ（ｉ，１）を取得し、以下に示す式（６）〜式（８）を用いて補正することにより、それぞれ補正値Ｆ（ｉ，−１）、Ｆ（ｉ，０）、Ｆ（ｉ，１）を算出する。

図６の例では、類似度補正手段２４は、画像の類似度Ｖ（ｉ，−１）＝１１、Ｖ（ｉ，０）＝０、Ｖ（ｉ，１）＝１０に対して、補正値Ｆ（ｉ，−１）＝１０、Ｆ（ｉ，０）＝０、Ｆ（ｉ，１）＝１０を算出する。図７の例では、類似度補正手段２４は、画像の類似度Ｖ（ｉ，−１）＝１１、Ｖ（ｉ，０）＝０、Ｖ（ｉ，１）＝２６に対して、補正値Ｆ（ｉ，−１）＝１０、Ｆ（ｉ，０）＝０、Ｆ（ｉ，１）＝１０を算出する。図８の例では、類似度補正手段２４は、画像の類似度Ｖ（ｉ，−１）＝５５．２５、Ｖ（ｉ，０）＝０．４５、Ｖ（ｉ，１）＝３．７４に対して、Ｆ（ｉ，−１）＝１５．５６、Ｆ（ｉ，０）＝０．４５、Ｆ（ｉ，１）＝３．５８となる。

＜第１実施形態：サブピクセル視差推定手段２５＞
次に、第１実施形態のサブピクセル視差推定手段２５について説明する。サブピクセル視差推定手段２５は、類似度補正手段２４により得られた補正値を用いてサブピクセル視差を推定する。例えば、サブピクセル視差推定手段２５は、１次元画像の場合には、以下の式（９）〜（１１）を用いて、２次のパラボラフィッティングにより対応点のサブピクセル位置を推定する。

図６の例では、ｓｕｂ＝０となり、図７の例では、ｓｕｂ＝０となり、図８の例では、ｓｕｂ＝−０．３２８４となる。このように、類似度補正手段２４により補正した画像の類似度を用いてサブピクセル演算を行うことで、例えば図６及び図７の例に示すように、参照画像内の基準画像に対応する画像に隣接する画素の輝度値が異なるにもかかわらず、いずれもｓｕｂ＝０という値を得ることが可能となる。

なお、算出された結果と、類似度算出手段２３により得られた値を足し合わせることで視差量が算出される。

図６の例では、基準画像でのＸ座標Ｘ＝３に対して、Ｍ（ｉ，α）を最小にするサブピクセルレベルでの参照画像の対応位置は「Ｘ＝２．０」（β＝０）となる。また、図７の例では、Ｍ（ｉ，α）を最小にするサブピクセルレベルでの参照画像の対応位置は「Ｘ＝２．０」（β＝０）となる。また、図８の例では、Ｍ（ｉ，α）を最小にするサブピクセルレベルでの参照画像の対応位置は「Ｘ＝１．６７１６」（β＝−０．３２８４）となる。

上述したように、基準ブロック領域及び第２探索範囲の対応する境界の濃淡差に応じて、基準ブロック領域と第１隣接領域との画像の類似度、基準ブロック領域と第２隣接領域との画像の類似度を補正する。このように補正した画像の類似度を用いてサブピクセル演算を行うことで、高精度に類似画像領域を探索することが可能となり、より精度の高いサブピクセルレベルの対応点の推定を可能にする。

なお、第１実施形態では、サブピクセル演算の手法として、２次パラボラフィッティングを用いたが、等角直線フィッティングや、多次のパラボラフィッティング、ＥＥＣ（Ｅｓｔｉｍａｔｉｏｎ Ｅｒｒｏｒ Ｃａｎｃｅｌ ｍｅｔｈｏｄ 清水、奥富："画像のマッチングにおける高精度なサブピクセル推定手法"、電子情報通信学会論文誌、Ｊ８４−Ｄ−ＩＩ、７，ｐｐ．１４０９−１４１８（２００１））等を用いても良い。

距離算出手段２６は、上述したようにサブピクセル視差推定手段２５により得られた視差値（対応点のサブピクセル位置）、予め算出した焦点距離、基線長等を用いて、被写体までの距離を取得することで距離画像を作成する。

＜第２実施形態：類似度算出手段２３＞
次に、第２実施形態の類似度算出手段２３について説明する。第２実施形態の類似度算出手段２３は、参照画像内で基準ブロック領域と一致する領域を探索する手順として、例えばＳＡＤを用いる。上述したようにＳＡＤとは、各ブロックの対応する画素値の差分の絶対値和を用いたテンプレートマッチング手法を示し、例えば式（１２）で表される類似度評価手法を示す。

ここで、Ｍ（ｉ，ｊ，α，β）は、基準画像のうち、左上頂点（ｉ，ｊ）を切り出し位置とした３×３の画像領域（基準ブロック領域）と、参照画像のうち、左上頂点（ｉ＋α，ｊ＋β）を切り出し位置とした３×３の画像領域（複数の第１探索範囲）とのマッチング度合いをＳＡＤで評価した値を示す。

類似度算出手段２３は、上述した式（１２）に示すＳＡＤを用いて、基準ブロック領域となる（ｉ，ｊ）の組に対して、Ｍ（ｉ，ｊ，α，β）を最小化する（α，β）の組（すなわち第２探索範囲）を決定し、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，ｊ，０）＝Ｍ（ｉ，ｊ，α，β）を算出する。

次に、類似度算出手段２３は、第１隣接領域と基準ブロック領域との画像の類似度Ｖ（ｉ，ｊ，−１）＝Ｍ（ｉ，ｊ，α−１，β）と、第２隣接領域と基準ブロック領域との画像の類似度Ｖ（ｉ，ｊ，１）＝Ｍ（ｉ，ｊ，α＋１，β）を算出する。

例えば図５の例では、基準画像における基準ブロック領域として「ｉ＝１，ｊ＝１」を切り出した場合、参照画像内においてＭ（１，１，α，β）を最小化する（α，β）の組（第２探索範囲）は、（α，β）＝（０，０）となる。このとき、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，ｊ，０）は、Ｍ（１，１，０，０）＝０であり、基準ブロック領域と第１隣接領域との類似度Ｖ（ｉ，ｊ，−１）は、Ｍ（１，１，−１，０）＝９となる。また、基準ブロック領域と第２隣接領域との画像の類似度Ｖ（ｉ，ｊ，１）は、Ｍ（１，１，１，０）＝１１となる。

同様に、図６〜図８に示す１次元画像の場合には、類似度算出手段２３は、式（１３）を用いてブロックマッチングを行う。

ここで、類似度算出手段２３は、基準画像での位置（ｉ）を切り出し位置とした３×１の画像領域（基準ブロック領域）と、参照画像のうち、最左頂点（ｉ＋α）を切り出し位置とした３×１の画像領域（複数の第１探索範囲）とのマッチング度合いをＳＡＤにより算出する。

具体的には、類似度算出手段２３は、基準ブロック領域となる切り出し位置（ｉ）に対して、Ｍ（ｉ，α）を最小にするα（第２探索範囲）を決定する。また、類似度算出手段２３は、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，０）＝Ｍ（ｉ，α）と、基準ブロック領域と第１隣接領域との画像の類似度Ｖ（ｉ，−１）＝Ｍ（ｉ，α−１）と、基準ブロック領域と第２隣接領域との画像の類似度Ｖ（ｉ，１）＝Ｍ（ｉ，α＋１）を求める。

図６の例では、類似度算出手段２３は、例えば、基準画像の座標位置Ｘ＝３に対して、Ｍ（３，α）を最小化するαの値を「−１」として決定する。また、類似度算出手段２３は、基準ブロック領域と第２探索範囲との画像の類似度Ｖ（ｉ，０）＝Ｍ（３，−１）＝０と、基準ブロック領域と第１隣接領域との画像の類似度Ｖ（ｉ，−１）＝Ｍ（３，−２）＝４と、基準ブロック領域と第２隣接領域との画像の類似度Ｖ（ｉ，１）＝Ｍ（３，０）＝５とを算出する。

図７の例では、類似度算出手段２３は、例えば、基準画像での座標位置Ｘ＝３に対して、Ｍ（３，α）を最小にするαの値を「−１」として決定する。また、類似度算出手段２３は、上述したようにそれぞれ、画像の類似度Ｖ（ｉ，０）＝Ｍ（３，−１）＝０、画像の類似度Ｖ（ｉ，−１）＝Ｍ（３，−２）＝８、画像の類似度Ｖ（ｉ，１）＝Ｍ（３，０）＝５を算出する。

また、図８の例では、類似度算出手段２３は、例えば、基準画像の座標位置Ｘ＝３に対して、Ｍ（３，α）を最小化するαの値を「−１」として決定する。また、類似度算出手段２３は、上述したようにそれぞれ、画像の類似度Ｖ（ｉ，０）＝Ｍ（３，−１）＝０．９、画像の類似度Ｖ（ｉ，−１）＝Ｍ（３，−２）＝４．７、画像の類似度Ｖ（ｉ，１）＝Ｍ（３，０）＝３．０を算出する。

＜第２実施形態：類似度補正手段２４＞
次に、第２実施形態の類似度補正手段２４について説明する。第２実施形態の類似度補正手段２４は、例えば２次元画像の場合には、類似度算出手段２３により算出された画像の類似度のうち、Ｖ（ｉ，ｊ，−１）、Ｖ（ｉ，ｊ，０）、Ｖ（ｉ，ｊ，１）を取得し、以下に示す式（１４）〜式（１６）を用いて補正することにより、それぞれ補正値Ｆ（ｉ，ｊ，−１）、Ｆ（ｉ，ｊ，０）、Ｆ（ｉ，ｊ，１）を算出する。

なお、式（１４）〜式（１６）は、類似度算出手段２３によるブロックマッチングにＳＡＤを用いた場合の計算式であり、類似度補正手段２４は、具体的には補正値Ｆ（ｉ，ｊ，−１）、補正値Ｆ（ｉ，ｊ，１）を算出する。

また、類似度補正手段２４は、例えば１次元画像の場合には、類似度算出手段２３により算出された画像の類似度のうち、画像の類似度Ｖ（ｉ，−１）、Ｖ（ｉ，０）、Ｖ（ｉ，１）を取得し、以下に示す式（１７）〜式（１９）を用いて補正することにより、それぞれ補正値Ｆ（ｉ，−１）、Ｆ（ｉ，０）、Ｆ（ｉ，１）を算出する。

図６の例では、類似度補正手段２４は、画像の類似度Ｖ（ｉ，−１）＝４、Ｖ（ｉ，０）＝０、Ｖ（ｉ，１）＝５に対して、補正値Ｆ（ｉ，−１）＝４、Ｆ（ｉ，０）＝０、Ｆ（ｉ，１）＝４を算出する。図７の例では、類似度補正手段２４は、画像の類似度Ｖ（ｉ，−１）＝８、Ｖ（ｉ，０）＝０、Ｖ（ｉ，１）＝５に対して、補正値Ｆ（ｉ，−１）＝４、Ｆ（ｉ，０）＝０、Ｆ（ｉ，１）＝４を算出する。図８の例では、類似度補正手段２４は、画像の類似度Ｖ（ｉ，−１）＝４．７、Ｖ（ｉ，０）＝０．９、Ｖ（ｉ，１）＝３．０に対して、Ｆ（ｉ，−１）＝１．４、Ｆ（ｉ，０）＝０．９、Ｆ（ｉ，１）＝２．６となる。

第２実施形態では、第１実施形態と同様に、類似度補正手段２４により得られた補正値を用いてサブピクセル視差を推定するが、以下の処理については、第１実施形態と同様の処理のため説明を省略する。

上述したように、本発明の実施形態によれば、高精度に類似画像領域を探索することにより、精度の高いサブピクセルレベルの対応点の推定を可能にする。また、サブピクセルレベルの対応点の推定は、ステレオカメラを用いた測距装置や３次元形状認識装置等に用いられる。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 撮像手段
１１ 画像処理装置
２１ シェーディング補正手段
２２ 歪み補正手段
２３ 類似度算出手段
２４ 類似度補正手段
２５ サブピクセル視差推定手段
２６ 距離算出手段
３０ 類似画像領域探索装置
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ装置
３６ 演算処理装置
３７ ネットワーク接続装置
３８ 記録媒体
１００ ステレオカメラ装置

特開平１０−０２１４０３号公報

Claims (3)

1. ２つの画像の一方を基準画像、他方を参照画像として、前記基準画像内の基準となる基準ブロック領域と、前記基準ブロック領域と同一の大きさの領域を有する前記参照画像内の複数の第１探索範囲との画像の類似度を算出する類似度算出手段と、
   前記類似度算出手段により得られた画像の類似度のうち、最も類似度が高い前記第１探索範囲を第２探索範囲とし、前記参照画像内における前記第２探索範囲の境界に対する左右の画素の濃淡差と、前記基準画像内における前記基準ブロック領域の境界に対する左右の画素の濃淡差とに基づき、前記類似度算出手段により得られた画像の類似度を補正する類似度補正手段とを有し、
   前記類似度補正手段は、
   前記類似度算出手段により得られた画像の類似度のうち、前記参照画像内で前記第２探索範囲を左方向に１画素ずらした第１隣接領域と前記基準ブロック領域との画像の類似度、又は前記参照画像内で前記第２探索範囲を右方向に１画素ずらした第２隣接領域と前記基準ブロック領域との画像の類似度を補正し、
   前記類似度補正手段は、
   前記基準ブロック領域の境界のうち左側の境界を第１境界、右側の境界を第２境界として設定し、前記第２探索範囲の境界のうち左側の境界を第３境界、右側の境界を第４境界として設定し、
   前記第１境界に対する左右の画素の濃淡差と、前記第３境界に対する左右の画素の濃淡差とに基づいて、前記第１隣接領域と前記基準ブロック領域との画像の類似度を補正し、前記第２境界に対する左右の画素の濃淡差と、前記第４境界に対する左右の画素の濃淡差とに基づいて、前記第２隣接領域と前記基準ブロック領域との画像の類似度を補正し、
   前記第１境界乃至第４境界は、それぞれ垂直方向の複数の画素を含む類似画像領域探索装置。
2. ２つの画像の一方を基準画像、他方を参照画像として、前記基準画像内の基準となる基準ブロック領域と、前記基準ブロック領域と同一の大きさの領域を有する前記参照画像内の複数の第１探索範囲との画像の類似度を算出する類似度算出手順と、
   前記類似度算出手順により得られた画像の類似度のうち、最も類似度が高い前記第１探索範囲を第２探索範囲とし、前記参照画像内における前記第２探索範囲の境界に対する左右の画素の濃淡差と、前記基準画像内における前記基準ブロック領域の境界に対する左右の画素の濃淡差とに基づき、前記類似度算出手順により得られた画像の類似度を補正する類似度補正手順とを有し、
   前記類似度補正手順は、
   前記類似度算出手順により得られた画像の類似度のうち、前記参照画像内で前記第２探索範囲を左方向に１画素ずらした第１隣接領域と前記基準ブロック領域との画像の類似度、又は前記参照画像内で前記第２探索範囲を右方向に１画素ずらした第２隣接領域と前記基準ブロック領域との画像の類似度を補正し、
   前記類似度補正手順は、
   前記基準ブロック領域の境界のうち左側の境界を第１境界、右側の境界を第２境界として設定し、前記第２探索範囲の境界のうち左側の境界を第３境界、右側の境界を第４境界として設定し、
   前記第１境界に対する左右の画素の濃淡差と、前記第３境界に対する左右の画素の濃淡差とに基づいて、前記第１隣接領域と前記基準ブロック領域との画像の類似度を補正し、前記第２境界に対する左右の画素の濃淡差と、前記第４境界に対する左右の画素の濃淡差とに基づいて、前記第２隣接領域と前記基準ブロック領域との画像の類似度を補正し、
   前記第１境界乃至第４境界は、それぞれ垂直方向の複数の画素を含む類似画像領域探索方法。
3. コンピュータを、請求項１に記載の類似画像領域探索装置が有する各手段として機能させるための類似画像領域探索プログラム。

Images