JPH1021403A

JPH1021403A - 対応点抽出方法及び装置

Info

Publication number: JPH1021403A
Application number: JP8194103A
Authority: JP
Inventors: Katsuhiko Mori; 克彦森; Katsumi Iijima; 克己飯島; Kotaro Yano; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-07-05
Filing date: 1996-07-05
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】使用する画像中の被写体、背景の区別なく全
域で高精度の対応点抽出処理が行える対応点抽出方法及
び装置を提供する。【解決手段】テンプレート画像作成部１０６は、デー
タ保管部１０５に保管されたテンプレートサイズデー
タ、またはテンプレートサイズ変更部１０９からのテン
プレートサイズデータ、或いは基準画像メモリ１０２か
らの基準画像を受け取り、テンプレート画像を作成し、
評価関数演算部１０７は基準画像と探索される画像メモ
リ１０３に保管されている探索される画像との評価値を
演算し、対応点候補とその評価値を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体の距離情報
を求める際に用いる対応点抽出方法及び装置に関する。

【０００２】

【従来の技術】従来より、被写体の距離情報を画像を使
用して用いる手法として、図２４（ａ）に示すように２
台以上のカメラ２４ａ，２４ｂを使用して被写体２４ｃ
を撮影し、各カメラ２４ａ，２４ｂ間の視差を利用する
手法と、図２４（ｂ）に示すように１台のカメラ２４ｄ
が矢印方向に移動しながら被写体２４ｃを撮影し、得ら
れる時系列画像間の運動視差を利用する手法等が知られ
ている。

【０００３】上述した図２４（ａ），（ｂ）に示す両手
法において、距離を求める際に必要となる視差を求める
ために対応点抽出が行われる。この対応点抽出とは、図
２４（ａ）に示す手法では、同期をとって左側カメラ２
４ａで得られた画像と右側カメラ２４ｂで得られた画像
上の全ての点での対応点を求めることである。また、図
２４（ｂ）に示す手法では、ある位置で得られた画像と
移動後の位置で得られた画像上の全ての点で対応点を求
めることである。なお、画像中、全点で対応を求めるの
は、画像中のどこに被写体が写っているのかが分からな
いためである。

【０００４】この対応点抽出処理方法の代表的な手法の
１つとしてテンプレートマッチング法が知られている。
このテンプレートマッチング法とは、図２５（ａ）に示
すように基準となる画像２５ａ中の対応点をとりたい１
点Ｐを囲むテンプレート２５ｂを考え、そのテンプレー
ト２５ｂを探索される画像２５ｃ上全域に移動させ、各
点における類似度を計算することにより対応点を決定す
る方法である。

【０００５】類似度を求める評価関数としては、下記
（１）式のように輝度値の差分を使用する関数や下記
（２）式のように輝度値の相関値を使用する関数があ
る。

【０００６】

【数１】

【０００７】

【数２】上記（１），（２）式中でＦ（ｉ，ｊ）は、テンプレー
トを、Ａ（ｉ，ｊ）は探索される画像を表わしている。
つまり、上記（１），（２）式は、探索される画像上で
テンプレートの位置を（ｘ，ｙ）だけ移動させた時の類
似度を示す。なお、（１）式を用いると、Ｅ（ｘ，ｙ）
が最小となった点が対応点であり、理論上でＥ（ｘ，
ｙ）の最小値は０となる。また、（２）式を用いると、
σ（ｘ，ｙ）が最大となった点が対応点であり、理論上
σ（ｘ，ｙ）の最大値は１となる。

【０００８】また、別の評価関数として下記（３）式の
ようにテンプレート内全体で、テンプレート内の各画素
と探索される画像上の１画素との差分があるしきい値ε
以下の画素数を求めて、その画素数が最多の点を対応点
とする関数がある。

【０００９】

【数３】（３）式を用いると、Ｃ（ｘ，ｙ）が最大になった点が
対応点であり、理論上最大値はテンプレート内の全画素
数となる。

【００１０】従来は、上記のような対応点抽出法を用い
て、画像中の各点における視差量を求め、その視差量と
カメラの焦点距離及びカメラの位置情報を使用し、三角
測量則を用いて被写体の距離情報を画像より得ていた。

【００１１】

【発明が解決しようとする課題】しかしながら、上述し
た従来例で示したテンプレートマッチング法にあって
は、カメラから有限距離に存在する被写体を撮像した画
像間の対応点抽出処理を行うと、被写体のある部分で抽
出精度が大きく低下するという問題点があった。

【００１２】図２６はそのことを示す図である。同図は
図２４（ａ）で示した２台のカメラ２４ａ，２４ｂを有
する撮像系で、被写体２４ｃとして車を撮像した画像を
示すもので、図２６（ａ）は左のカメラ２４ａにより得
られた画像を、図２６（ｂ），（ｃ）は右のカメラ２４
ｂにより得られた画像をそれぞれ示す。なお、説明の便
宜上、車を被写体、家や木を背景とし、家や木は車から
距離が離れているものとする。

【００１３】ここで、図２６（ａ）の画像を基準とし、
テンプレートを切り出すことを考える。このときテンプ
レートのサイズには、ある程度の大きさが必要である。
なぜなら、図２６（ａ）の画像中のＡ点や車のドアＢ点
の辺りは画像の輝度値の変化が余りなく、目立った特徴
がある領域ではなく、周囲にも同じような領域が存在す
る。また、木の葉が重なっているＣ点の辺りでも周囲に
同じような輝度分布の領域が存在する。このような領域
でも正確な対応点抽出を行うために、テンプレートのサ
イズは、ある程度の大きさが必要となる。

【００１４】例えば、図２６（ａ）の画像中のＢ点から
図示する大きさにテンプレートのサイズを決定したとす
ると、ドアの他にもタイヤ等がテンプレート２６１に入
るので、対応点を正確に決定することができる。

【００１５】続いて図２６（ａ）の画像中の被写体であ
る車の端部のＤ点について考える。このＤ点でＢ点と同
様のテンプレートのサイズでテンプレート２６２を作成
すると、このテンプレート２６２には被写体である車の
他に背景である家が入る。このテンプレート２６２を用
いて対応点抽出を行うと、図２６（ｃ）に示すように正
しい対応点であるＥ点ではなく、誤っているＦ点を対応
点という誤対応が起きる。

【００１６】これは、Ｅ点で対応点の評価関数を求めた
際に、被写体である車の部分は良いが、背景の部分が異
なるため、その領域の評価関数の値が悪くなり、Ｅ点は
対応点ではないと判断してしまったためである。また、
Ｆ点で対応点の評価関数を求めた際には、背景の部分が
同じでその領域の評価関数の値が良く、また、被写体で
ある車の部分は異なるが、たまたま同じような輝度値の
領域が多かったために、その領域の評価関数の値が良く
なり、Ｆ点を対応点と認識してしまったために起こった
ことである。このような誤対応は、背景である家や木と
比較して、被写体である車の方が手前にあるため視差量
が異なることにより生じる現象で、このため有限距離に
存在する被写体を撮像したときには、被写体と背景の接
する近傍領域、また、被写体中にも距離が大きく変化す
る部分が存在するときにはその近傍領域で、対応点抽出
精度が劣化することになる。

【００１７】上述したように対応点抽出処理にテンプレ
ートマッチング法を用いると、使用するテンプレートの
サイズは、ある程度大きくしなければならず、また、有
限距離に存在する被写体を撮像した画像間の対応点抽出
処理をある程度の大きさのテンプレートを用いて行う
と、被写体と背景の接する近傍領域で対応点抽出精度が
劣化するという問題があった。

【００１８】また、上記（３）式で示した評価関数は、
上記のような被写体と背景の接する近傍領域で対応点抽
出精度が劣化するのを防ぐのにある程度有効である。し
かし、テンプレート内に背景が大部分入ったとき等は、
テンプレート内の画素で探索される画像上の１画素との
差分値があるしきい値εより小さい画素の数が、テンプ
レートの背景に引かれたときの方が多くなり、対応点抽
出精度が劣化するという問題があった。

【００１９】また、上記図２４（ａ），（ｂ）に示すよ
うな手法により得られた画像には対応点が存在しないオ
クルージョン領域と呼ばれる領域が存在し、その領域の
検出が困難であるという問題があった。

【００２０】例えば、図１２（ａ）の画像中のＩ点の対
応点は図１２（ｂ）の画像では被写体の車に隠されてし
まい、この画像中には存在しない。このような領域をオ
クルージョン領域というが、この領域内の点には対応点
が存在しないので、この領域の点の結果は対応点抽出結
果として使用してはいけない。この領域の検出方法とし
て、基準画像中の対応点候補が、探索される画像中で得
られたら、次にその点を中心に探索される画像中でテン
プレートを作成し、そのテンプレートを用いて基準画像
中でそのテンプレートで対応点を探索し、得られた基準
画像中の対応点候補と基のテンプレートの中心点が一致
していれば、探索される画像中の対応点候補は基準画像
中の点の対応点であり、一致していなければ対応点では
ないと判断する手法がある。

【００２１】しかし、この手法の考え方だけでは、図１
２（ａ）の画像中のＪ点の対応点候補が、背景の窓によ
って誤って図１２（ｂ）の画像中のＫ点であると抽出さ
れ、次にこのＫ点を中心としたテンプレートでの対応点
が再び誤って図１２（ａ）の画像中のＪ点であると抽出
されたとき、つまり２回誤抽出したときや、図１２
（ａ）の画像中のＬ点の対応点が正しく図１２（ｂ）の
画像中のＭ点であると抽出されたのに、そのＭ点の対応
点が図１２（ａ）の画像中のＮ点と背景の木や地面のた
めに誤抽出されたとき等、誤った判定を行うことが多々
あった。

【００２２】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、使用する画像中の被写体、背景の
区別なく全域で高精度の対応点抽出処理を行うことがで
きる対応点抽出方法及び装置を提供しようとするもので
ある。

【００２３】また、本発明の第２の目的とするところ
は、使用する画像中の被写体、背景の区別なく全域で高
精度の対応点抽出処理を行うことができると共に、その
処理時間を短縮することができる対応点抽出方法及び装
置を提供しようとするものである。

【００２４】また、本発明の第３の目的とするところ
は、使用する画像中のオクルージョン領域、距離の大き
く変化する領域を精度よく求めることができ、高精度の
対応点抽出処理を行うことができる対応点抽出方法及び
装置を提供しようとするものである。

【００２５】

【課題を解決するための手段】上記第１の目的を達成す
るために請求項１記載の対応点抽出方法は、複数の画像
間の対応をテンプレートマッチング法に基づいて求める
対応点抽出方法において、前記テンプレートマッチング
法は、ある特定の条件を満たす点において２種類以上の
テンプレートを用いて対応点を決定することを特徴とす
るものである。

【００２６】また、上記第１の目的を達成するために請
求項２記載の対応点抽出方法は、請求項１記載の対応点
抽出方法において、前記２種類以上のテンプレートは、
テンプレートの面積を変化させたテンプレートであるこ
とを特徴とするものである。

【００２７】また、上記第１の目的を達成するために請
求項３記載の対応点抽出方法は、請求項１記載の対応点
抽出方法において、前記２種類以上のテンプレートは、
テンプレート内のエッジによりテンプレートを変形させ
たテンプレートを含むことを特徴とするものである。

【００２８】また、上記第２の目的を達成するために請
求項４記載の対応点抽出方法は、請求項１記載の対応点
抽出方法において、前記２種類め以降のテンプレートに
よる演算は、それ以前の種類のテンプレートによる演算
で候補となった点に対して行うことを特徴とするもので
ある。

【００２９】また、上記第２の目的を達成するために請
求項５記載の対応点抽出方法は、請求項１記載の対応点
抽出方法において、１種類め以降のテンプレートによる
演算結果に基づき２種類めのテンプレートを用いるよう
にそれ以前のテンプレートによる演算結果を判断してか
ら次のテンプレートによる演算を行うことを特徴とする
ものである。

【００３０】また、上記第２の目的を達成するために請
求項６記載の対応点抽出方法は、請求項１記載の対応点
抽出方法において、同時に２種類以上のテンプレートに
よる演算を行い、その中から１つの演算結果を選択する
ことを特徴とするものである。

【００３１】また、上記第１の目的を達成するために請
求項７記載の対応点抽出方法は、請求項１記載の対応点
抽出方法において、前記ある特定の条件を満たす点と
は、複数画像間の視差の分布が急峻に変化する領域内の
点であることを特徴とするものである。

【００３２】また、上記第１の目的を達成するために請
求項８記載の対応点抽出方法は、請求項７記載の対応点
抽出方法において、前記複数画像間の視差の分布が急峻
に変化する領域内の点か否かの判断を、テンプレートマ
ッチングの評価値を用いて行うことを特徴とするもので
ある。

【００３３】また、上記第３の目的を達成するために請
求項９記載の対応点抽出方法は、請求項７記載の対応点
抽出方法において、前記複数画像間の視差の分布が急峻
に変化する領域内の点か否かの判断を、テンプレートマ
ッチングの評価値と、基準となる点と該点の対応点を候
補とが一致するか否かの判断結果とを用いて行うことを
特徴とするものである。

【００３４】また、上記第３の目的を達成するために請
求項１０記載の対応点抽出方法は、請求項７記載の対応
点抽出方法において、前記複数画像間の視差の分布が急
峻に変化する領域内の点か否かの判断を、前記複数画像
間の視差の分布が急峻に変化する領域内の点では以前の
テンプレートに含まれるテンプレートを使用し且つ類似
度の評価関数にテンプレート内の各要素の画素値と探索
される画像内の画素の画素値の差があるしきい値以下の
画素数を用いて行うことを特徴とするものである。

【００３５】また、上記第１の目的を達成するために請
求項１１記載の対応点抽出装置は、複数の画像間の対応
をテンプレートマッチング法に基づき明らかにする対応
点抽出装置において、前記テンプレートマッチング法
は、ある特定の条件を満たす点では２種類以上のテンプ
レートを用いて対応点を決定することを特徴とするもの
である。

【００３６】また、上記第１の目的を達成するために請
求項１２記載の対応点抽出装置は、請求項１１記載の対
応点抽出装置において、前記２種類以上のテンプレート
は、テンプレートの面積を変化させたテンプレートであ
ることを特徴とするものである。

【００３７】また、上記第１の目的を達成するために請
求項１３記載の対応点抽出装置は、請求項１１記載の対
応点抽出装置において、前記２種類以上のテンプレート
は、テンプレート内のエッジによりテンプレートを変形
させたテンプレートを含むことを特徴とするものであ
る。

【００３８】また、上記第２の目的を達成するために請
求項１４記載の対応点抽出装置は、請求項１１記載の対
応点抽出装置において、前記２種類め以降のテンプレー
トによる演算は、それ以前の種類のテンプレートによる
演算で候補となった点に対して行うことを特徴とするも
のである。

【００３９】また、上記第２の目的を達成するために請
求項１５記載の対応点抽出装置は、請求項１１記載の対
応点抽出装置において、１種類め以降のテンプレートに
よる演算結果に基づき２種類めのテンプレートを用いる
ようにそれ以前のテンプレートによる演算結果を判断し
てから次のテンプレートによる演算を行うことを特徴と
するものである。

【００４０】また、上記第２の目的を達成するために請
求項１６記載の対応点抽出装置は、請求項１１記載の対
応点抽出装置において、同時に２種類以上のテンプレー
トによる演算を行い、その中から１つの演算結果を選択
することを特徴とするものである。

【００４１】また、上記第１の目的を達成するために請
求項１７記載の対応点抽出装置は、請求項１１記載の対
応点抽出装置において、前記ある特定の条件を満たす点
とは、複数画像間の視差の分布が急峻に変化する領域内
の点であることを特徴とするものである。

【００４２】また、上記第１の目的を達成するために請
求項１８記載の対応点抽出装置は、請求項１７記載の対
応点抽出装置において、前記複数画像間の視差の分布が
急峻に変化する領域内の点か否かの判断を、テンプレー
トマッチングの評価値を用いて行うことを特徴とするも
のである。

【００４３】また、上記第３の目的を達成するために請
求項１９記載の対応点抽出装置は、請求項１７記載の対
応点抽出装置において、前記複数画像間の視差の分布が
急峻に変化する領域内の点か否かの判断を、テンプレー
トマッチングの評価値と、基準となる点と該点の対応点
を候補とが一致するか否かの判断結果とを用いて行うこ
とを特徴とするものである。

【００４４】また、上記第３の目的を達成するために請
求項２０記載の対応点抽出装置は、請求項１７記載の対
応点抽出装置において、前記複数画像間の視差の分布が
急峻に変化する領域内の点か否かの判断を、前記複数画
像間の視差の分布が急峻に変化する領域内の点では以前
のテンプレートに含まれるテンプレートを使用し且つ類
似度の評価関数にテンプレート内の各要素の画素値と探
索される画像内の画素の画素値の差があるしきい値以下
の画素数を用いて行うことを特徴とするものである。

【００４５】また、上記第１の目的を達成するために請
求項２１記載の対応点抽出方法は、入力された複数の画
像の中の１枚の画像から、最初に所定の判断基準に基づ
きテンプレートを作成し、該作成されたテンプレートの
各画素の画素値と前記入力された他の画像内の画素の画
素値を用いて類似度を求め、該求めた類似度からある特
定条件を判断し、該判断結果に基づき他のテンプレート
を作成することを特徴とするものである。

【００４６】また、上記第１の目的を達成するために請
求項２２記載の対応点抽出方法は、請求項２１記載の対
応点抽出方法において、テンプレートの面積を変化させ
たテンプレートを作成を作成することを特徴とするもの
である。

【００４７】また、上記第１の目的を達成するために請
求項２３記載の対応点抽出方法は、請求項２１記載の対
応点抽出方法において、ある特定条件の判断は、入力さ
れた類似度とあるしきい値とを比較して行うことを特徴
とするものである。

【００４８】また、上記第１の目的を達成するために請
求項２４記載の対応点抽出方法は、請求項２１記載の対
応点抽出方法において、ある特定条件の判断は、入力さ
れた複数の類似度の差があるしきい値より小さいときを
判断して行うことを特徴とするものである。

【００４９】また、上記第１の目的を達成するために請
求項２５記載の対応点抽出方法は、請求項２１記載の対
応点抽出方法において、ある特定条件の判断は、複数画
像間の視差の分布が急峻に変化する領域内の画素を判断
して行うことを特徴とするものである。

【００５０】また、上記第２の目的を達成するために請
求項２６記載の対応点抽出方法は、請求項２１記載の対
応点抽出方法において、最初のテンプレートを作成する
ための前記所定の判断基準とは、テンプレートの中心点
の近傍画素の点のテンプレートサイズであることを特徴
とするものである。

【００５１】また、上記第２の目的を達成するために請
求項２７記載の対応点抽出方法は、請求項２１記載の対
応点抽出方法において、最初のテンプレートを作成する
ための前記所定の判断基準とは、テンプレート中の強い
エッジの有無であることを特徴とするものである。

【００５２】また、上記第１の目的を達成するために請
求項２８記載の対応点抽出装置は、入力された複数の画
像の中の１枚の画像から最初に前記所定の判断基準に基
づきテンプレートを作成する第１のテンプレート作成手
段と、該テンプレート作成手段により作成されたテンプ
レートの各画素の画素値と前記入力された他の画像内の
画素の画素値を用いて類似度を求める類似度演算手段
と、該類似度演算手段により求めた類似度からある特定
条件を判断する特定条件判断手段と、該特定条件判断手
段の判断結果に基づき他のテンプレートを作成する第２
のテンプレート作成手段とを具備したことを特徴とする
ものである。

【００５３】また、上記第１の目的を達成するために請
求項２９記載の対応点抽出装置は、請求項２８記載の対
応点抽出装置において、前記第２のテンプレート作成手
段は、テンプレートの面積を変化させたテンプレートを
作成することを特徴とするものである。

【００５４】また、上記第１の目的を達成するために請
求項３０記載の対応点抽出装置は、請求項２８記載の対
応点抽出装置において、前記特定条件判断手段は、入力
された類似度とあるしきい値とを比較してある特定条件
を判断することを特徴とするものである。

【００５５】また、上記第１の目的を達成するため請求
項３１記載の対応点抽出装置は、請求項２８記載の対応
点抽出装置において、前記特定条件判断手段は、入力さ
れた複数の類似度の差があるしきい値より小さいときを
判断してある特定条件を判断することを特徴とするもの
である。

【００５６】また、上記第１の目的を達成するため請求
項３２記載の対応点抽出装置は、請求項２８記載の対応
点抽出装置において、前記特定条件判断手段は、複数画
像間の視差の分布が急峻に変化する領域内の画素を判断
してある特定条件を判断することを特徴とするものであ
る。

【００５７】また、上記第２の目的を達成するため請求
項３３記載の対応点抽出装置は、請求項２８記載の対応
点抽出装置において、最初のテンプレートを作成するた
めの前記所定の判断基準とは、テンプレートの中心点の
近傍画素の点のテンプレートサイズであることを特徴と
するものである。

【００５８】また、上記第２の目的を達成するため請求
項３４記載の対応点抽出装置は、請求項２８記載の対応
点抽出装置において、最初のテンプレートを作成するた
めの前記所定の判断基準とは、テンプレート中の強いエ
ッジの有無であることを特徴とするものである。

【００５９】また、上記第２の目的を達成するため請求
項３５記載の対応点抽出方法は、入力された複数の画像
の内の１枚の画像から直前に求めた点で使用したテンプ
レートサイズを使用してテンプレートを作成し、該作成
されたテンプレートの各画素の画素値と前記入力された
他の画像内の画素の画素値を用いて類似度を求め、該求
めた類似度から入力された類似度があるしきい値より小
さいときを判断し、該判断結果に基づきテンプレートの
面積を変化させたテンプレートを作成することを特徴と
するものである。

【００６０】また、上記第２の目的を達成するため請求
項３６記載の対応点抽出方法は、入力された複数の画像
の内の１枚の画像から直前に求めた点で使用したテンプ
レートサイズを使用してテンプレートを作成し、該作成
されたテンプレートの各画素の画素値と前記入力された
他の画像内の画素の画素値を用いて類似度を求め、該求
めた類似度から入力された複数の類似度の差があるしき
い値より小さいときを判断し、該判断結果に基づきテン
プレートの面積を変化させたテンプレートを作成するこ
とを特徴とするものである。

【００６１】また、上記第２の目的を達成するため請求
項３７記載の対応点抽出方法は、入力された複数の画像
の内の１枚の画像から直前に求めた点で使用したテンプ
レートサイズを使用してテンプレートを作成し、該作成
されたテンプレートの各画素の画素値と前記入力された
他の画像内の画素の画素値を用いて類似度を求め、該求
めた類似度から複数画像間の視差の分布が急峻に変化す
る領域内の画素を判断し、該判断結果に基づきテンプレ
ートの面積を変化させたテンプレートを作成することを
特徴とするものである。

【００６２】また、上記第２の目的を達成するため請求
項３８記載の対応点抽出装置は、入力された複数の画像
の内の１枚の画像から直前に求めた点で使用したテンプ
レートサイズを使用してテンプレートを作成する第１の
テンプレート作成手段と、該第１のテンプレート作成手
段により作成されたテンプレートの各画素の画素値と前
記入力された他の画像内の画素の画素値を用いて類似度
を求める類似度演算手段と、該類似度演算手段により求
めた類似度から入力された類似度があるしきい値より小
さいときを判断する判断手段と、該判断手段の判断結果
に基づきテンプレートの面積を変化させたテンプレート
を作成する第２のテンプレート作成手段とを具備したこ
とを特徴とするものである。

【００６３】また、上記第２の目的を達成するため請求
項３９記載の対応点抽出装置は、入力された複数の画像
の内の１枚の画像から直前に求めた点で使用したテンプ
レートサイズを使用してテンプレートを作成する第１の
テンプレート作成手段と、該第１のテンプレート作成手
段により作成されたテンプレートの各画素の画素値と前
記入力された他の画像内の画素の画素値を用いて類似度
を求める類似度演算手段と、該類似度演算手段により求
めた類似度から入力された複数の類似度の差があるしき
い値より小さいときを判断する判断手段と、該判断手段
の判断結果に基づきテンプレートの面積を変化させたテ
ンプレートを作成する第２のテンプレート作成手段とを
具備したことを特徴とするものである。

【００６４】また、上記第２の目的を達成するため請求
項４０記載の対応点抽出装置は、入力された複数の画像
の内の１枚の画像から直前に求めた点で使用したテンプ
レートサイズを使用してテンプレートを作成する第１の
テンプレート作成手段と、該第１のテンプレート作成手
段により作成されたテンプレートの各画素の画素値と前
記入力された他の画像内の画素の画素値を用いて類似度
を求める類似度演算手段と、該類似度演算手段により求
めた類似度から複数画像間の視差の分布が急峻に変化す
る領域内の画素を判断する判断手段と、該判断手段の判
断結果に基づきテンプレートの面積を変化させたテンプ
レートを作成する第２のテンプレート作成手段とを具備
したことを特徴とするものである。

【００６５】

【発明の実施の形態】以下、本発明の各実施の形態を図
１〜図２３に基づき説明する。

【００６６】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図４に基づき説明する。図１は、
本発明の第１の実施の形態に係る対応点抽出装置の構成
を示すブロック図であり、同図中、１０１は画像入力手
段で、例えば図２４（ａ）に示すような２台のカメラを
有している。１０２は基準画像メモリ、１０３は探索さ
れる画像メモリ、１０４はアドレス発生部、１０５はデ
ータ保管部、１０６はテンプレート画像作成部、１０７
は評価関数演算部、１０８は判断部、１０９はテンプレ
ートサイズ変更部である。

【００６７】図１において、画像入力手段１０１から画
像が入力され、その入力された画像が基準画像メモリ１
０２及び探索される画像メモリ１０３にそれぞれ保持さ
れる。アドレス発生部１０４からは、基準画像メモリ１
０２中の１点を示すアドレスが、また、データ保管部１
０５からは、最初のテンプレートサイズがテンプレート
画像作成部１０６に送られ、このテンプレート画像作成
部１０６において基準画像メモリ１０２を用いてそのア
ドレスが示す点を中心に、そのテンプレートサイズのテ
ンプレート画像が作成される。評価関数演算部１０７で
はテンプレート画像作成部１０６から入力されたテンプ
レート画像と、探索される画像メモリ１０３から入力さ
れる探索される画像との間で、従来技術で説明した
（１）式〜（３）式の内の１つの類似度の評価関数を用
いて評価値が演算され、対応点候補とその点の評価値が
出力される。判断部１０８では大きなテンプレートであ
るならば得られた評価値から、テンプレートの中心点が
画像中で距離が大きく変化する領域内の点か否かを判断
し、その領域内の点ならばテンプレートサイズ変更部１
０９に信号を送り、新しいテンプレートサイズがテンプ
レート画像作成部１０６に送られ、そこで作成される新
しいテンプレートを用いて評価関数演算部１０７で再び
評価関数を計算し、対応点を決定する。また、テンプレ
ートの中心点が画像中で距離が大きく変化する領域内の
点でないならば、その対応点結果を出力する。

【００６８】以上の構成において、アドレス発生部１０
４は基準画像メモリ１０２中の１点を示すアドレスを発
生させる動作を実行し、データ保管部１０５は１回目の
テンプレートマッチングのテンプレートサイズデータを
保管しておき、そのデータをテンプレート画像作成部１
０６へ送る動作を実行する。テンプレート画像作成部１
０６はアドレス発生部１０４からアドレス、データ保管
部１０５からテンプレートサイズデータまたはテンプレ
ートサイズ変更部１０９からのテンプレートサイズ、基
準画像メモリ１０２から基準画像を受け取り、テンプレ
ート画像を作成する動作を実行する。評価関数演算部１
０７ではテンプレート画像と探索される画像との評価値
を上記（１）式〜（３）式の内の１つに基づいて計算
し、対応点候補とその評価値を出力する動作を実行す
る。

【００６９】この評価関数演算部１０７の処理動作につ
いて、図２のフローチャートを用いて説明する。このフ
ローチャートでは、評価関数に上記（２）式の相関値σ
（ｘ，ｙ）を用いている。

【００７０】尚、対応点候補の座標値を（Ｘ，Ｙ）と
し、相関値をσ（ｘ，ｙ）とする。

【００７１】図２のステップＳ２０１でテンプレート画
像及び探索される画像をそれぞれ入力し、次のステップ
Ｓ２０２で評価値を初期化する（ここではσx,y＝
０）。次にステップＳ２０３で探索される画像から１点
を選択し、その点とテンプレートの中心を合わせ、次の
ステップＳ２０４で評価値を演算する。次にステップＳ
２０５で前記ステップＳ２０４において演算した評価値
が今までの評価値より（ここでは相関値なので）高いか
否かを判断し、高いと判断された場合は、次のステップ
Ｓ２０６で対応点候補として座標を保持し、今までの評
価値も入れ換えた後、次のステップＳ２０７へ進む。ま
た、前記ステップＳ２０５において演算した評価値が今
までの評価値より低いと判断された場合は、前記ステッ
プＳ２０６をスキップしてステップＳ２０７へ進む。

【００７２】このステップＳ２０７では探索される画像
中で全ての点に関して処理を行ったか否かを判断し、全
ての点に関して処理を行ったと判断された場合は、次の
ステップＳ２０８でそのとき保持している対応点候補の
座標値（Ｘ，Ｙ）と評価値（ここではσx,y）を出力し
た後、本処理動作を終了する。また、前記ステップＳ２
０７において全ての点に関して処理を行っていないと判
断された場合は、次の点に関して評価値を求めるために
前記ステップＳ２０３へ戻って再び探索される画像から
次の１点を選択して再び評価値の演算を行う。

【００７３】以上詳述したように評価関数演算部１０７
は動作する。

【００７４】判断部１０８ではテンプレートサイズが１
回目の大きさならば、得られた評価値からテンプレート
の中心点が距離の大きく変化する領域内の点か否かを判
断する動作を実行する。また、テンプレートサイズが２
回目の大きさならば、対応点候補を対応点として出力す
るように動作する。判断部１０８におけるテンプレート
の中心点が距離の大きく変化する領域内の点か否かの判
断の仕方は、評価値があるしきい値（ここではσthとす
る）より高いか否かを求めることである。なぜならば、
図３（ａ）中のＰ点を中心にテンプレート３１を作成
し、対応点を図３（ｂ）中で求めるとき、例えばライン
Ｌ上の点での評価値をプロットすると、図４（ａ）のよ
うになる。ここで評価値は、上記（２）式のσを使用し
たＰ点は、距離の大きく変化する領域内の点ではないた
め、図４（ａ）のように評価値σの高いピークが出て対
応点を決定できる。

【００７５】しかし、図３（ａ）中のＱ点を中心にテン
プレート３２を作成し、対応点を図３（ｂ）中で求める
とき、例えばラインＭ上の点での評価値をプロットする
と、図４（ｂ）のようになる。これは上述した問題点で
示したように、テンプレート内に距離の大きく異なる領
域があるためで、図３（ｃ）のようにテンプレート中の
領域Ｒにより評価値が向上した山が左側の山で、領域Ｓ
により評価値が向上した山が右側の山である。このよう
に、距離の大きく変化する領域内に存在する点の対応点
候補の評価値は、それ以外の領域の点の評価値と比較す
るとかなり低くなる（σを使用した場合）。このような
事実により、評価値があるしきい値σthより高いか低い
かでテンプレートの中心点が大きく変化する領域内の点
か否かの判断を行うことができる。この判断は評価値の
計算に上記（１）式を使用したならば、評価値Ε(x,y)
がしきい値σthより高ければその領域内の点となり、ま
た、上記（２）式を使用したならば、評価値σ(x,y)が
しきい値σthより低ければその領域内の点となり、更
に、上記（３）式を使用したならば、評価値Ｃ(x,y)が
しきい値Ｃthより低ければその領域内の点となる。

【００７６】テンプレートサイズ変更部１０９は判断部
１０８でテンプレートの中心点が距離の大きく変化する
領域内の点と判断されたときに、テンプレートサイズを
小さく変更してテンプレート画像作成部１０６へ出力す
るように動作する。

【００７７】以上詳述したように動作する各部を図１の
ように構成すると、精度の高い対応点抽出処理が可能と
なり、精度の高い被写体の距離分布を求めることができ
る。

【００７８】なお、本実施の形態においては、テンプレ
ートサイズは大小の２種類であったが、小さくしてもな
お対応点が分かりにくいときは更に小さくする等、いく
つもの種類のサイズのテンプレートを使用しても良い。

【００７９】（第２の実施の形態）次に、本発明の第２
の実施の形態を図５〜図７に基づき説明する。

【００８０】図５は本発明の第２の実施の形態に係る対
応点抽出装置の構成を示すブロック図であり、同図にお
いて上述した第１の実施の形態における図１と同一部分
には同一符号が付してある。図５において図１と異なる
点は、図１の構成からテンプレートサイズ変更部１０９
を削除して、エッジマスクテンプレート作成部１１０を
付加したことである。

【００８１】図５において、第１実施の形態と同様に、
画像入力手段１０１から画像が入力され、その入力され
た画像が基準画像メモリ１０２及び探索される画像メモ
リ１０３にそれぞれ保持される。アドレス発生部１０４
からは、基準画像メモリ１０２中の１点を示すアドレス
が、また、データ保管部１０５からは、最初のテンプレ
ートサイズがテンプレート画像作成部１０６に送られ、
このテンプレート画像作成部１０６において基準画像メ
モリ１０２を用いてそのアドレスが示す点を中心に、そ
のテンプレートサイズのテンプレート画像が作成され
る。評価関数演算部１０７ではテンプレート画像作成部
１０６から入力されたテンプレート画像と、探索される
画像メモリ１０３から入力される探索される画像との間
で、従来技術で説明した（１）式〜（３）式の内の１つ
の類似度の評価関数を用いて評価値が演算され、対応点
候補とその点の評価値が出力される。判断部１０８では
テンプレートが大きなテンプレートであるならば得られ
た評価値から、テンプレートの中心点が画像中で距離が
大きく変化する領域内の点か否かを判断し、その領域内
の点ならばエッジマスクテンプレート作成部１１０に信
号を送り、強いエッジの外側にマスクをかけるようにし
てテンプレート画像を変更し、新しいテンプレート画像
を用いて評価関数演算部１０７で再び評価関数を計算
し、対応点を決定する。また、テンプレートの中心点が
画像中で距離が大きく変化する領域内の点でないなら
ば、その対応点結果を出力する。

【００８２】以上の構成において第１実施の形態と異な
るのは、エッジマスクテンプレート作成部１１０であ
る。第１実施の形態ではテンプレートの中心点が画像中
で内の点であるときはテンプレートサイズを小さくした
が、本実施の形態では、強いエッジでテンプレートを分
けて中心点を含む方のテンプレートでマッチングを行
う。なぜならば、距離が大きく変化する領域ではテクス
チャが異なり、強いエッジが現れるためである。そこ
で、テンプレートを分けることによりテンプレート内の
距離の異なる部位の評価値の影響がなくなるからであ
る。

【００８３】次にエッジマスクテンプレート作成部１１
０の処理動作について、図６のフローチャートを用いて
説明する。本実施の形態ではテンプレートを分けるので
はなく、評価値演算に使用しないようにテンプレートに
マスクをするようにしたものである。

【００８４】図６のステップＳ６０１でテンプレート画
像が入力され、次のステップＳ６０２でソーベルフィル
タ等の手法でテンプレート画像のエッジ画像を作成す
る。次にステップＳ６０３であるしきい値より強いエッ
ジを、前記ステップＳ６０２において作成されたエッジ
より抽出する。次にステップＳ６０４で前記ステップＳ
６０３において得られた強エッジ画像の中からテンプレ
ート中心点に近い物を抽出する。次にステップＳ６０５
でテンプレートの中心からみてそのエッジの内側と外側
に分けて外側をマスクする。次にステップＳ６０６で前
記ステップＳ６０５においてマスクされたマスク画像と
テンプレート画像とを重ねてエッジマスクテンプレート
画像を作成した後、本処理動作を終了する。

【００８５】図７は以上の処理を模式的に示す図であ
り、同図（ａ）はテンプレート画像、（ｂ）はエッジ画
像、（ｃ）は強エッジ画像、（ｄ）は近エッジ画像、
（ｅ）はマスク画像、（ｆ）はエッジマスクテンプレー
ト画像である。

【００８６】エッジマスクテンプレート画像を用いて対
応点抽出を行うことにより、処理時間が余分にかかる
が、高精度な対応点抽出を行うことができ、精度の高い
被写体の距離分布を求めることが可能となる。

【００８７】なお、本実施の形態では、テンプレートに
近いエッジを選択したが、そのエッジが被写体と背景を
分離するエッジとは限らないので、中心から遠いエッジ
から順々にエッジマスクテンプレート画像を作成してい
き、何回も繰り返すことは有効である。

【００８８】（第３の実施の形態）次に、本発明の第３
の実施の形態を図８に基づき説明する。図８は本発明の
第３の実施の形態に係る対応点抽出装置における評価関
数演算部の処理動作を示すフローチャートである。

【００８９】上述した第１及び第２の実施の形態では、
テンプレートの中心点が、距離が大きく変化する領域内
の点であるときにはテンプレートサイズを小さくした
り、エッジマスクテンプレート画像で再度テンプレート
マッチングを、探索される画像中、全域に対して行って
いた。しかし、小さいテンプレートサイズやエッジマス
クテンプレート画像でテンプレートマッチングを行うと
言うことは、他の類似しているところにつかまり、誤対
応の原因になるばかりでなく、処理時間が多くかかるこ
とになる。

【００９０】そこで、本実施の形態では、最初に行った
テンプレートマッチングの結果を利用して最初の評価値
があるしきい値よりも高い点のみ２回目以降の評価値演
算を行うようにしたものである。

【００９１】図８のフローチャートでは、評価値演算に
上述した（２）式の相関値σ(x,y)を用い、また、対応
点候補の座標値を（Ｘ，Ｙ）、その点の評価値をσ(X,
Y)、１回目の評価値を保持する配列をＨ(x,y)とし、テ
ンプレートサイズの変更後、エッジマスクテンプレート
画像での評価値演算を行うか否かの判断に用いるしきい
値をＨthとする。

【００９２】図８のステップＳ８０１でテンプレート画
像及び探索される画像をそれぞれ入力し、次のステップ
Ｓ８０２で評価値を初期化する（ここではσx,y＝
０）。次にステップＳ８０３で探索される画像から１点
を選択し、次のステップＳ８０４でこの点の評価関数演
算が１回目か否かを判断する。そして、１回目の場合は
次のステップＳ８０５へ進み、また、１回目でない場合
はステップＳ８１１でその点の評価値Ｈ(x,y)がしきい
値Ｈthより高いか（良いか）否かを判断し（この場合は
相関値であるから大きい方が良い）、低い（悪い）場合
は前記ステップＳ８０３へ戻って探索される画像から次
の１点を選択し、高い（良い）場合は前記ステップＳ８
０５へ進む。

【００９３】このステップＳ８０５では評価値を演算
し、次のステップＳ８０６で前記ステップＳ８０５にお
いて演算した評価値（ここではσ(x,y)）をＨ(x,y)に書
き込む。次にステップＳ８０７で前記ステップＳ８０５
において演算した評価値が今までの評価値より高いか否
かを判断し、高いと判断された場合は、次のステップＳ
８０８で対応点候補として座標を保持し、今までの評価
値（ここではσX,Y）も入れ換えた後、次のステップＳ
８０９へ進む。また、前記ステップＳ８０７において演
算した評価値が今までの評価値より低いと判断された場
合は、前記ステップＳ８０８をスキップしてステップＳ
８０９へ進む。

【００９４】このステップＳ８０９では探索される画像
中で全ての点に関して処理を行ったか否かを判断し、全
ての点に関して処理を行ったと判断された場合は、次の
ステップＳ８１０でそのとき保持している対応点候補の
座標値（Ｘ，Ｙ）と評価値（ここではσx,y）を出力し
た後、本処理動作を終了する。また、前記ステップＳ８
０９において全ての点に関して処理を行っていないと判
断された場合は、次の点に関して評価値を求めるために
前記ステップＳ８０３へ戻って再び探索される画像から
次の１点を選択して再び評価値の演算を行う。

【００９５】以上詳述したように、異なるテンプレート
サイズのとき等の以前の評価値を利用して評価値演算を
行うしかないか否かを判断してから評価値演算を行うの
で、上述した第１及び第２の実施の形態と比較して対応
点抽出処理時間が短縮されると共に、誤抽出が発生する
恐れも少なく、対応点抽出精度が向上する。そして、精
度の高い被写体の距離分布を求めることができる。

【００９６】（第４の実施の形態）次に、本発明の第４
の実施の形態を図９〜図１１に基づき説明する。

【００９７】上述した第１〜第３の実施の形態では、テ
ンプレートの中心点が距離の大きく変化する領域内の点
である判断されると、テンプレートサイズの変更等を行
い、再び評価関数の演算行っていた。しかし、この方法
の場合テンプレートは、探索される画面全域を複数回移
動することになり、処理時間が長くなる。

【００９８】そこで、本実施の形態では図１１に示すよ
うにテンプレートをテンプレートＡとテンプレートＢに
分割し、同時にそれぞれの領域での評価値を求め、ある
領域の評価値を用いて、その点でどの評価値を使用する
のか判断するようにしたものである。

【００９９】図９は本実施の形態に係る対応点抽出装置
の構成を示すブロック図であり、同図において第１の実
施の形態の図１と同一部分には同一符号が付してある。
図９において図１と異なる点は、図１の構成からテンプ
レートサイズ変更部１０９を削除したことである。

【０１００】図９において、画像入力手段１０１から画
像が入力され、その入力された画像が基準画像メモリ１
０２及び探索される画像メモリ１０３にそれぞれ保持さ
れる。アドレス発生部１０４からは、基準画像メモリ１
０２中の１点を示すアドレスが、また、データ保管部１
０５からは、テンプレートサイズがテンプレート画像作
成部１０６に送られ、このテンプレート画像作成部１０
６において基準画像メモリ１０２を用いてそのアドレス
が示す点を中心に、そのテンプレートサイズのテンプレ
ート画像が作成される。評価関数演算部１０７ではテン
プレート画像作成部１０６から入力されたテンプレート
画像と、探索される画像メモリ１０３から入力される探
索される画像との間で、上記（１）式〜（３）式の内の
１つの類似度の評価関数を用いて評価値が演算され、対
応点候補とその点の評価値が出力される。また、同時に
データ保管部１０５から小さいテンプレートサイズが入
力され、その範囲内での評価値も演算され、対応点候補
とその評価値も出力される。判断部１０８ではテンプレ
ートＡでの評価値から、テンプレートの中心点が画像中
で距離が大きく変化する領域内の点か否かを判断し、そ
の領域内の点ならばテンプレートＢで求めた対応点候補
を対応点として出力する。また、テンプレートの中心点
が画像中で距離が大きく変化する領域内の点でないなら
ば、テンプレートＡで求めた対応点候補を対応点として
出力する。

【０１０１】図１０は本実施の形態に係る対応点抽出装
置における評価関数演算部１０７の処理動作を示すフロ
ーチャートである。

【０１０２】このフローチャートでは、評価値演算に上
記（２）式の相関値σ(x,y)を用い、また、テンプレー
トＡの対応点候補の座標値を（Ｘ1，Ｙ1）、その点の評
価値をσ1(X,Y)、テンプレートＢの対応点候補の座標値
を（Ｘ2，Ｙ2）、その点の評価値をσ2(X,Y)、また、テ
ンプレートＡでの評価値が良いか悪いかを判断するのに
用いるしきい値をＨthとする。

【０１０３】図１０のステップＳ１００１でテンプレー
ト画像及び探索される画像をそれぞれ入力し、次のステ
ップＳ１００２で評価値を初期化する（σ1X,Y＝σ2X,Y
０）。次にステップＳ１００３で探索される画像から１
点を選択し、次のステップＳ１００４でテンプレートＡ
とテンプレートＢの評価値を同時に演算する。

【０１０４】テンプレートＡの評価値は下記（４）式
で、テンプレートＢの評価値は下記（５）式でそれぞれ
求める。

【０１０５】

【数４】

【０１０６】

【数５】このとき図１１から分かるようにテンプレートＢは、テ
ンプレートＡより小さく、テンプレートＡの領域に含ま
れるので、テンプレートＡの評価値σ1(x,y)を求める演
算を行うときに同時にテンプレートＢの評価値σ2(x,y)
も求めることができる。

【０１０７】次のステップＳ１００５で前記ステップＳ
１００４において演算したテンプレートＡの評価値（こ
こではσ1(x,y)）が今までの評価値（σ1X,Y）より高い
か否かを判断し、高いと判断された場合は、次のステッ
プＳ１００６でテンプレートＡの対応点候補として座標
を保持し、今までの評価値も入れ換えた後、また、前記
ステップＳ１００５において演算した評価値が今までの
評価値より低いと判断された場合は、前記ステップＳ１
００６をスキップしてステップＳ１００７へ進む。

【０１０８】このステップＳ１００７では前記ステップ
Ｓ１００４において演算したテンプレートＡの評価値が
しきい値Ｈthより高く且つテンプレートＢの評価値（σ
2(x,y)）が今までの評価値より高いか否かを判断する。
そして、テンプレートＡの評価値がしきい値Ｈthより高
く且つテンプレートＢの評価値（σ2(x,y)）が今までの
評価値より高い場合は次のステップＳ１００８でテンプ
レートＢの対応点候補として座標を保持し、今までの評
価値も入れ換えた後、次のステップＳ１００９へ進む。
また、前記ステップＳ１００７においてテンプレートＡ
の評価値がしきい値Ｈthより高くなく且つテンプレート
Ｂの評価値（σ2(x,y)）が今までの評価値より低くない
と判断された場合は、前記ステップＳ１００８をスキッ
プしてステップＳ１００９へ進む。

【０１０９】ステップＳ１００９では探索される画像中
で全ての点に関して処理を行ったか否かを判断し、全て
の点に関して処理を行ったと判断された場合は、次のス
テップＳ１０１０でそのとき保持している対応点候補の
座標値（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）と評価値（σ1
x,y）を出力した後、本処理動作を終了する。また、前
記ステップＳ１００９において全ての点に関して処理を
行っていないと判断された場合は、次の点に関して評価
値を求めるために前記ステップＳ１００３へ戻って再び
探索される画像から次の１点を選択して再び評価値の演
算を行う。

【０１１０】次に判断部１０８において、評価値関数演
算部１０７で演算されたテンプレートＡの評価値（σ1
x,y）を用いてテンプレートの中心点が距離の大きく変
化する領域内の点であるか否かを判断し、その領域内の
点であればテンプレートＢで得られた対応点候補の座標
値（Ｘ２，Ｙ２）を対応点として出力し、その領域内の
点でなければテンプレートＡで得られた対応点候補の座
標値（Ｘ１，Ｙ１）を対応点として出力する。

【０１１１】以上詳述したように１つのテンプレートの
中に小領域を設けて、その領域内の評価値演算も同様に
行い、テンプレートの中心点が距離の大きく変化する領
域内の点であるときはテンプレート内の小領域の評価値
演算結果を用いることにより、従来例と比較して対応点
抽出処理時間の増加がほとんどなしで対応点抽出精度が
向上する。そして、精度の高い被写体の距離分布を求め
ることができる。

【０１１２】なお、本実施の形態では、テンプレート内
に１つの小さな領域を設けたが、この小さな領域の設定
個数は幾つでも良く、また、第２の実施の形態のように
エッジマスクをかけた評価値を同時に演算するようにし
ても同様の効果が得られる。

【０１１３】（第５の実施の形態）次に、本発明の第５
の実施の形態を図１２〜図１５に基づき説明する。例え
ば図２４（ａ），（ｂ）に示すような手段により得られ
た画像には対応点が存在しないオクルージョン領域と呼
ばれる領域が存在し、その領域の検出が困難であるとい
う問題点があった。

【０１１４】例えば図１４（ａ）のＩ点の対応点は同図
（ｂ）では被写体である車に隠されてしまい、この画像
中には存在しない。このような領域をオクルージョン領
域と呼ぶが、この領域内の点には対応点が存在しないの
で、この領域の点の結果は対応点抽出結果として使用し
てはいけない。この領域の検出手法として、基準画像中
の中心点候補が探索される画像中で得られたら、次にそ
の点を中心に探索される画像中でテンプレートを作成
し、それを用いて基準画像中でそのテンプレートで対応
点を探索し、得られた基準画像中の対応点候補と元のテ
ンプレートの中心点が一致していれば、探索される画像
中の対応点候補は基準画像中の点の対応点であり、一致
していなければ対応点ではないと判断する手法がある。
しかし、この考え方だけでは図１４（ａ）中のＪ点の対
応点候補が背景の窓によって誤って図１４（ｂ）中のＫ
点と抽出され、次にＫ点を中心としたテンプレートでの
対応点が再び誤って図１４（ａ）中のＪ点と抽出された
とき、つまり２回誤抽出したときや、図１４（ａ）中の
Ｌ点の対応点が正しく図１４（ｂ）中のＭ点と抽出され
たのに、そのＭ点の対応点が図１４（ａ）中のＮ点と背
景の木や地面のために誤抽出されたとき等、誤った判断
を行うことが多々あった。

【０１１５】このような問題点を解決するためには、距
離の大きく変化する領域内のＤ点では図１５（ａ）に示
すように他の領域で用いたのと同じ大きさのテンプレー
ト１５１と比較して小さいテンプレート１５２を用いる
か、同図（ｂ）に示すようにエッジで分割した領域１５
３だけを演算に使用すれば良い。

【０１１６】本実施の形態はこのようなオクルージョン
領域及び距離が大きく変化する領域を判断するようにし
たものであり、上述した問題点で示した探索される画像
中で対応点候補が得られたら、その対応点候補を中心に
テンプレートを作成し、基準画像中で対応点候補を求
め、その点と基準画像中の点が一致しているか否かを判
断するという手法に、評価値による判断を加え、距離が
大きく変化する領域及びオクルージョン領域の判断を行
う。

【０１１７】本実施の形態においては、評価置関数演算
部と判断部の処理内容が上述した第１〜第４の実施の形
態と異なるものである。

【０１１８】図１２は本実施の形態に係る対応点抽出装
置における評価値関数演算部の処理動作を示すフローチ
ャートである。このフローチャートでは、評価値演算に
上述した（２）式の相関値σ(x,y)を用い、また、探索
される画像中の対応点候補の座標値を（ＸL，ＹL）、そ
の点の評価値をσL(X,Y)、基準画像中の対応点候補の対
応点候補の座標値を（ＸR，ＹR）、その点の評価値をσ
R(X,Y)とする。

【０１１９】図１２のステップＳ１２０１でテンプレー
ト画像及び探索される画像をそれぞれ入力し、次のステ
ップＳ１２０２で評価値を初期化する（σRX,Y＝σLX,Y
＝０）。次にステップＳ１２０３で探索される画像から
１点を選択し、次のステップＳ１２０４で評価値を演算
する。次のステップＳ１２０５で前記ステップＳ１２０
４において演算した評価値（σL(x,y)）が今までの評価
値（σL(1X,Y））より高いか否かを判断し、高いと判断
された場合は、次のステップＳ１２０６で対応点候補と
して座標を保持し、今までの評価値σL(1X,Y）も入れ換
えた後、ステップＳ１２０７へ進む。また、前記ステッ
プＳ１２０５において演算した評価値が今までの評価値
より低いと判断された場合は、前記ステップＳ１２０６
をスキップしてステップＳ１２０７へ進む。

【０１２０】このステップＳ１２０７では探索される画
像中で全ての点に関して処理を行ったか否かを判断し、
全ての点に関して処理を行っていないと判断された場合
は、前記ステップＳ１２０３へ戻って探索される画像か
ら次の１点を選択して再び評価値演算を行う。また前記
ステップＳ１２０７において全ての点に関して処理を行
ったと判断された場合は、次のステップＳ１２０８で探
索される画像から対応点候補の座標を中心にしてテンプ
レートを作成する。次にステップＳ１２０９で基準画像
から１点を選択し、次のステップＳ１２１０で評価値を
演算する。次にステップＳ１２１１で前記ステップＳ１
２１０において演算された評価値（σR(x,y)）が今まで
の評価値（σR(X,Y)）よりも高いか否かを判断し、高け
れば次のステップＳ１２１２で対応点候補の対応点候補
として座標を保持し、今までの評価値（σR(X,Y)）も入
れ換えた後、ステップＳ１２１３へ進む。また、前記ス
テップＳ１２１１において評価値（σR(x,y)）が今まで
の評価値（σR(X,Y)）よりも高くないと判断された場合
は、前記ステップＳ１２１２をスキップしてステップＳ
１２１３へ進む。。

【０１２１】このステップＳ１２１３では探索される画
像中で全ての点に関して処理を行ったか否かを判断し、
全ての点に関して処理を行ったと判断された場合は、次
のステップＳ１２１４でそのとき保持している対応点候
補の座標値（ＸL，ＹL）、とその評価値（σL(X,Y)）
と、対応点候補の座標値（ＸR，ＹR）とその評価値（σ
R(x,y)）を出力した後、本処理動作を終了する。また、
前記ステップＳ１２１３において全ての点に関して処理
を行っていないと判断された場合は、次の点に関して評
価値を求めるために前記ステップＳ１２０９へ戻って再
び探索される画像から次の１点を選択して再び評価値の
演算を行う。

【０１２２】次に判断部１０８において、基準画像から
作成されたテンプレートの中心点と対応点候補の対応点
候補の座標値（ＸR，ＹR）とが一致しており且つ評価値
がそれぞれ評価値のしきい値より高ければ（この場合
は、しきい値をσthとするとσL(X,Y)＞σHth且つσR
(X,Y)＞σHthならば）、対応点候補は対応点であると判
断されて出力される。また、基準画像から作成されたテ
ンプレートの中心点と対応点候補の対応点候補の座標値
（ＸR，ＹR）が一致せずに且つ評価値が片方でも評価値
の２つ目のしきい値より低ければ（この場合は、しきい
値をσLthとするとσL(X,Y)＜σHthまたはσR(X,Y)＜σ
Hthならば）、テンプレートの中心点はオクルージョン
領域内の点と判断され、対応点は存在しないとされる。
それ以外のときは、テンプレートの中心点は距離の大き
く変化する領域内の点と判断され、テンプレートサイズ
が大きいときはテンプレートサイズを変更して再び評価
値演算を行い、テンプレートサイズが小さいときは対応
点不明の点として判断される。

【０１２３】以上の考え方をまとめたのが図１３の表で
ある。同図（ａ）はテンプレートサイズが大きくて基準
画像から作成されたテンプレートの中心点と対応点候補
の対応点候補の座標値（ＸR,ＹR）が一致したときを、
同図（ｂ）はテンプレートサイズが大きくて基準画像か
ら作成されたテンプレートの中心点と対応点候補の対応
点候補の座標値（ＸR,ＹR）が一致しないときを、同図
（ｃ）はテンプレートサイズが小さくて基準画像から作
成されたテンプレートの中心点と対応点候補の対応点候
補の座標値（ＸR,ＹR）が一致したときを、同図（ｄ）
はテンプレートサイズが小さくて基準画像から作成され
たテンプレートの中心点と対応点候補の対応点候補の座
標値（ＸR,ＹR）が一致しないときをそれぞれ示す。

【０１２４】また、図１３において、「対」は対応点と
することを、「オ」はオクルージョン領域とすること
を、「小」はテンプレートサイズを小さくして再び判断
処理を行うことを、「不」は対応点が不明であることを
それぞれ示す。

【０１２５】以上詳述したように、距離の大きく変化す
る領域及びオクルージョン領域の判断に評価値Ｅだけで
はなく、対応点候補の対応点候補を使用することによ
り、オクルージョン領域内の点による対応点の誤対応が
なくなり、対応点抽出精度が向上する。また、その他の
領域内の点においても対応点候補の信頼性が向上する。

【０１２６】なお、本実施の形態では、図１３（ｃ），
（ｄ）に示すように小さいテンプレートサイズで求めた
ときに不明とする点が存在するが、このとき更にテンプ
レートサイズを小さくしたり、エッジマスクテンプレー
ト画像を用いる等、他の手段を用いても良い。

【０１２７】また、上述した第１〜第５の実施の形態に
おいて示した距離が大きく変化する領域の他にも、移動
している被写体を撮像したときも、運動視差により視差
の分布が急峻に変化するような場合にも、これら各実施
の形態を適用することにより同様の効果を得ることがで
きる。更に、類似度を求める評価関数の一例に従来例で
示した（２）式の相関値を用いたが、（１）式〜（３）
式のどれを用いても同様の効果が得られる。但し、本発
明者らの実験によれば、（３）式のあるしきい値以下の
画素数を用いたときが最も対応点抽出精度が高かった。

【０１２８】（第６の実施の形態）まず、本発明の第６
の実施の形態を図１６〜図２０に基づき説明する。図１
６は、本発明の第６の実施の形態に係る対応点抽出装置
の構成を示すブロック図であり、同図において、上述し
た第１の実施の形態の図１と同一部分には同一符号が付
してある。図１６において図１と異なる点は、図１の構
成から評価関数演算部１０７を削除し、画素数演算部１
１１を付加したことである。

【０１２９】図１６において、例えば図２４（ａ）に示
すような２台のカメラを有する画像入力手段から画像が
入力され、その入力された画像が基準画像メモリ１０２
及び探索される画像メモリ１０３にそれぞれ保持され
る。アドレス発生部１０４からは、基準画像メモリ１０
２中の１点を示すアドレスがデータ保管部１０５に送ら
れ、その点の周囲の点のテンプレートサイズを参考にし
てテンプレートサイズを決定する。該決定されたテンプ
レートサイズは、データ保管部１０５からテンプレート
画像作成部１０６に送られ、このテンプレート画像作成
部１０６において基準画像メモリ１０２を用いてそのア
ドレスが示す点を中心に、そのテンプレートサイズのテ
ンプレート画像が作成される。画素数演算部１１１では
テンプレート画像作成部１０６から入力されたテンプレ
ート画像と、探索される画像メモリ１０３から入力され
る探索される画像との間で、従来技術で説明した（３）
式に基づいて、テンプレート画像全体でテンプレート内
の各画素と探索される画像上の１画素とのさ差分がある
しきい値ε以下の画素数を計算し、対応点候補とその点
の類似度が出力される。判断部１０８では計算が１回目
であれば、テンプレートが適したサイズであるか否かを
判断し、適していなければテンプレートサイズ変更部１
０９に信号を送り、その信号に基づいて変更された新し
いテンプレートサイズデータがデータ保管部１０５に送
られ、該データ保管部１０５から新しいテンプレートサ
イズがテンプレート画像作成部１０６に送られ、そこで
作成される新しいテンプレートを用いて画素数演算部１
１１で再び類似度を計算し、対応点を決定する。また、
計算が２回目ならば、その対応点抽出結果を出力する。

【０１３０】以上の構成において、アドレス発生部１０
４は基準画像メモリ１０２中の１点を示すアドレスを発
生させる動作を実行し、データ保管部１０５は得られた
アドレスが示す点の周囲の対応点抽出処理において使用
されたテンプレートサイズを基にその点でのテンプレー
トサイズを決定し、その決定されたテンプレートサイズ
をテンプレート画像作成部１０６へ送る動作を実行す
る。

【０１３１】このデータ保管部１０５の処理動作につい
て、図１７のフローチャートを用いて説明する。ここ
で、使用するテンプレートサイズをＳｔとし、該Ｓｔは
初期値としてｋに設定されているものとする（Ｓｔ＝
ｋ：ｋはある固定値）。また、テンプレートサイズ変更
部１０９から送られるテンプレートサイズはＳｎとし、
Ｓｎはテンプレートサイズ変更部１０９で定まっている
ものとする。

【０１３２】図１７のステップＳ１７０１で１回目の処
理に用いるテンプレートサイズを求めるのか、２回目の
処理に用いるテンプレートサイズを求めるのかを判断す
る。そして、１回目の処理に用いるテンプレートサイズ
を求める場合は、次のステップＳ１７０２でアドレス発
生部１０４からのアドレスが示す点の周囲近傍８個のの
点のテンプレートサイズを調査し、最も小さいテンプレ
ートサイズをＳｓとして求める。次にステップＳ１７０
３でその周囲８個のテンプレートサイズの中から小さい
テンプレートサイズＳｓとその点のテンプレートサイズ
Ｓｔとを比較し、Ｓｔの方がＳｓより大きければ次のス
テップＳ１７０４で周囲近傍８個の点の小さいテンプレ
ートサイズをその点のテンプレートサイズとし（Ｓｔ＝
Ｓｓ）、その後ステップＳ１７０５へ進む。

【０１３３】また、前記ステップＳ１７０１において２
回目の処理のテンプレートサイズを求める場合は、ステ
ップＳ１７０６でテンプレートサイズ変更部１０９から
のテンプレートサイズＳｎにその点のテンプレートサイ
ズＳｔを変更し（Ｓｔ＝Ｓｎ）、その後ステップＳ１７
０５へ進む。このステップＳ１７０５ではテンプレート
サイズＳｔをテンプレート画像作成部１０６へ送る。

【０１３４】このように、他点のテンプレートサイズを
参考にしてテンプレートサイズを決定することにより、
最適なテンプレートサイズが得られ、対応点抽出処理速
度が向上する。

【０１３５】その後、テンプレート画像作成部１０６は
アドレス発生部１０４からアドレス、データ保管部１０
５からテンプレートサイズ、基準画像メモリ１０２から
基準画像を受け取り、テンプレート画像を作成する動作
を実行し、画素数演算部１１１ではテンプレート画像と
探索される画像との類似度を上記（３）式に基づいて計
算し、対応点候補とその類似度を出力する動作を実行す
る。

【０１３６】図１８は画素数演算部１１１の処理動作を
示すフローチャートである。このフローチャートでは、
対応点候補の座標値を（Ｘ，Ｙ）とし、各点（ｘ，ｙ）
で上記（３）式で計算した類似度をＣ（ｘ，ｙ）、最大
類似度を保存する変数をＣｘｙ、２番目の類似度を保存
する変数をＣｘｙ２とする。

【０１３７】図１８のステップＳ１８０１でテンプレー
ト画像及び探索される画像をそれぞれ入力し、次のステ
ップＳ１８０２で変数Ｃｘｙ、Ｃｘｙ２を初期化する
（Ｃｘｙ＝０、Ｃｘｙ２＝０）。次にステップＳ１８０
３で探索される画像から１点（ｘ，ｙ）を選択し、その
点とテンプレートの中心を合わせ、次のステップＳ１８
０４で類似度Ｃ（ｘ，ｙ）を演算する。次にステップＳ
１８０５で前記ステップＳ１８０４において演算した類
似度Ｃ（ｘ，ｙ）が変数Ｃｘｙより大きいか否かを判断
し、類似度Ｃ（ｘ，ｙ）が変数Ｃｘｙより大きいと判断
された場合は、次のステップＳ１８０６で対応点候補と
して座標値（Ｘ，Ｙ）に（ｘ，ｙ）を大入し、変数Ｃｘ
ｙ２にＣｘｙを代入し、更に、変数Ｃｘｙに類似度Ｃ
（ｘ，ｙ）を代入した後、ステップＳ１８０７へ進む。

【０１３８】一方、前記ステップＳ１８０５において、
類似度Ｃ（ｘ，ｙ）が変数Ｃｘｙより大きくないと判断
された場合は、ステップＳ１８０９で類似度Ｃ（ｘ，
ｙ）が変数Ｃｘｙ２より大きいか否かを判断し、類似度
Ｃ（ｘ，ｙ）が変数Ｃｘｙ２より大きい場合は、ステッ
プＳ１８１０で変数Ｃｘｙ２に類似度Ｃ（ｘ，ｙ）を代
入した後、ステップＳ１８０７へ進む。また、前記ステ
ップＳ１８０９において類似度Ｃ（ｘ，ｙ）が変数Ｃｘ
ｙ２より大きくないと判断された場合は、前記ステップ
Ｓ１８１０をスキップしてステップＳ１８０７へ進む。

【０１３９】このステップＳ１８０７では探索される画
像中の全ての点に関して処理を行ったか否かを判断し、
全ての点に関して処理を行った場合は次のステップＳ１
８０８でそのとき保持している対応点候補の座標値
（Ｘ，Ｙ）を最大類似度Ｃｘｙと２番目の類似度Ｃｘｙ
２を出力した後、本処理動作を終了する。また、前記ス
テップＳ１８０７おいて全ての点に関して処理を行って
いないと判断された場合は前記ステップＳ１８０３へ戻
って次の点に関して類似度を求める。

【０１４０】以上詳述したように画素数演算部１１１が
動作する。

【０１４１】判断部１０８では計算が１回目で且つテン
プレートサイズが大きい方ならば、得られた類似度から
テンプレートの中心点が距離の大きく変化する領域内の
点か否かを判断する動作を実行する。また、テンプレー
トサイズが小さい方ならば、その結果が誤抽出でないか
否かを判断する動作を実行する。

【０１４２】判断部１０８におけるテンプレートの中心
点が距離の大きく変化する領域内の点か否かの判断の仕
方は、類似度Ｃｘｙとあるしきい値Ｃthとの大小を比較
して行う。なぜならば、図１９（ａ）中のＰ点を中心に
テンプレート１９１を作成し、対応点を図１９（ｂ）中
で求めるとき、例えばラインＬ上の点での類似度Ｃ
（ｘ，ｙ）をプロットすると、図２０（ａ）のようにな
る。Ｐ点は、距離の大きく変化する領域内の点ではない
ため、図２０（ａ）のように類似度Ｃ（ｘ，ｙ）の高い
ピークが出て対応点を決定できる。

【０１４３】しかし、図１９（ａ）中のＱ点を中心にテ
ンプレート１９２を作成し、対応点を図１９（ｂ）中で
求めるとき、例えばラインＭ上の点での類似度Ｃ（ｘ，
ｙ）をプロットすると、図２０（ｂ）のようになる。こ
れは従来技術の問題点で示したように、テンプレート内
に距離の大きく異なる領域があるためで、図１９（ｃ）
のようにテンプレート中の領域Ｒにより類似度Ｃ（ｘ，
ｙ）が大きくなったのが左側の山で、領域Ｓにより類似
度Ｃ（ｘ，ｙ）が大きくなったのが右側の山である。こ
のように、距離の大きく変化する領域内に存在する点の
対応点候補の類似度は、それ以外の領域の点の類似度と
比較するとかなり小さくなる。このような事実により、
類似度とあるしきい値Ｃthとの大小比較でテンプレート
の中心点が距離の大きく変化する領域内の点か否かの判
断を行うことができる。

【０１４４】また、テンプレートサイズが小さいときの
結果が誤抽出か否かの判断は、最大類似度Ｃｘｙと２番
目の類似度Ｃｘｙ２との差の絶対値を用いて行う。Ｃｘ
ｙとＣｘｙ２との差がかなり小さいときは、テンプレー
トが小さいことにより似たような点を誤抽出したと判断
する。これは従来例及び問題点で示したように、空等の
似たような領域が複数存在するときに、テンプレートが
小さいと同じような類似度が複数存在してしまう。それ
を判断するために同じような類似度が複数存在するか否
かについて調べている。そして、判断部１０８では、距
離の大きく変化する領域内の点でないとき及び誤抽出で
ないときは、その対応点抽出結果を出力する。また、計
算が２回目のときも、その対応点抽出結果を出力する。

【０１４５】テンプレートサイズ変更部１０９は、判断
部１０８でテンプレートの中心点が距離の大きく変化す
る領域内の点と判断されたとき及び誤抽出したと判断さ
れたときに、テンプレートサイズを変更して新しいテン
プレートサイズＳｎをデータ保管部１０５へ出力するよ
うに動作する。

【０１４６】以上詳述したように動作する各部を図１６
ように構成すると、画像中の領域に応じたテンプレート
を選択することができ、精度の高い対応点抽出処理が可
能となり、精度の高い被写体の距離分布を求めることが
できる。また、テンプレートの選択処理時間の短縮が図
れる。

【０１４７】なお、本実施の形態においては、テンプレ
ートサイズは大小の２種類であったが、小さくしてもま
だ背景の方が大きいとき等は、更にテンプレートを小さ
くしたり、多種類のテンプレートサイズを使用しても良
い。

【０１４８】また、本実施の形態では類似度を求めるの
に従来例で示した（３）式を用いたが、これに限られる
ものではなく、（１）式及び（２）式を用いても良く、
或いは、新たな類似度を使用しても良い。

【０１４９】また、本実施の形態では複数のテンプレー
トサイズを用いてテンプレートマッチング法を行うこと
及びそのテンプレートサイズを選択する判断法を示して
いる。

【０１５０】（第７の実施の形態）次に、本発明の第７
の実施の形態を図２１及び図２２に基づき説明する。

【０１５１】図２１は本発明の第７の実施の形態に係る
対応点抽出装置の構成を示すブロック図であり、同図に
おいて上述した第６の実施の形態における図１６と同一
部分には同一符号が付してある。図２１において図１６
と異なる点は、図１６の構成からデータ保管部１０５を
削除し、エッジ画像メモリ１１２及びテンプレートサイ
ズ決定部１１３を付加したことである。

【０１５２】図２１において、第６の実施の形態と同様
に、画像入力手段１０１から画像が入力され、その入力
された画像が基準画像メモリ１０２及び探索される画像
メモリ１０３にそれぞれ保持される。アドレス発生部１
０４からは、基準画像メモリ１０２中及びエッジ画像メ
モリ１１２中の１点を示すアドレスがエッジ画像メモリ
１１２に入力される。エッジ画像メモリ１１２では、基
準画像メモリ１０２から得られた画像をゾーベルフィル
タ等を用いてエッジ画像にして保管している。そして、
その点を中心としてある決定した大きさのエッジテンプ
レートが作成され、テンプレートサイズ決定部１１３へ
送られる。

【０１５３】このテンプレートサイズ決定部１１３で
は、得られたエッジテンプレート中に強いエッジがある
か否かを判断し、強いエッジがあればテンプレートサイ
ズを小さくし、強いエッジがなければテンプレートサイ
ズを大きくして、テンプレート画像作成部１０６へ送ら
れる。そして、テンプレート画像作成部１０６で基準画
像メモリ１０２を用いてそのアドレスが示す点を中心
に、そのテンプレートサイズのテンプレート画像が作成
される。

【０１５４】画素数演算部１１１ではテンプレート画像
作成部１０６から入力されたテンプレート画像と、探索
される画像メモリ１０３から入力される探索される画像
との間で、従来技術で説明した（３）式に基づきテンプ
レート画像全体でテンプレート内の各画素と探索される
画像上の１画素との差分があるしきい値ε以下の画素数
を計算し、対応点候補とその点の類似度が出力される。

【０１５５】判断部１０８では計算が１回目であればテ
ンプレートが適したサイズであるか否かを判断し、適し
ていなければテンプレートサイズ変更部１０９に信号を
送り、その信号に基づいてテンプレートサイズ決定部１
１３で新しいテンプレートサイズが決定され、その新し
いテンプレートサイズがテンプレート画像作成部１０６
へ送られ、そこで作成される新しいテンプレートを用い
て画素数演算部１１１で再び類似度を計算して対応点を
決定する。また、計算が２回目ならばその対応点抽出結
果を出力する。

【０１５６】以上の構成において、上述した第６の実施
の形態と異なるのは、エッジ画像メモリ１１２とテンプ
レートサイズ決定部１１３である。

【０１５７】以下、テンプレートサイズ決定部１１３に
ついて図２２のフローチャートに基づき説明する。

【０１５８】図２２のステップＳ２２０１でエッジテン
プレート画像が入力され、次のステップＳ２２０２で前
記入力されたエッジテンプレート画像中に強いエッジが
存在するか否かを判断する。その判断は、あるしきい値
より強いエッジがあるか否かである。もし、強いエッジ
が存在すれば次のステップＳ２２０３でテンプレートサ
イズを小さくした後、ステップＳ２２０４へ進む。ま
た、前記ステップＳ２２０２において強いエッジが存在
しなければステップＳ２２０５でテンプレートサイズを
大きくした後、ステップＳ２２０４へ進む。このステッ
プＳ２２０４では前記ステップＳ２２０３或いはステッ
プＳ２２０５において処理したテンプレートサイズを出
力した後、本処理動作を終了する。

【０１５９】上述したように本実施の形態によれば、距
離の大きく変化する領域には、強いエッジが存在するこ
とが多いので、このようにゾーベルフィルタ等を用いて
求めたエッジ中に強いエッジが存在するときは、使用す
るテンプレートサイズを小さくすることで対応点抽出処
理効率の向上が図れる。

【０１６０】また、テンプレートサイズの選択が誤った
ときでも、その後テンプレートサイズを変更することが
できるため、その選択の誤りによる精度の劣化は生じる
ことなく、逆に各領域に合わせて適したサイズのテンプ
レートを用いることができるので、対応点抽出処理の精
度向上が図れる。

【０１６１】（第８の実施の形態）次に、本発明の第８
の実施の形態を図２３に基づき説明する。図２３は本発
明の第８の実施の形態に係る対応点抽出装置の構成を示
すブロック図であり、同図において上述した第６の実施
の形態の図１６と同一部分には同一符号が付してある。
図２３において図１６と異なる点は、アドレス発生部１
０４をデータ保管部１５に接続したことである。

【０１６２】図２３において、図２４（ａ）に示すよう
な２台のカメラを有する画像入力手段１０１から画像が
入力され、その入力された画像が基準画像メモリ１０２
及び探索される画像メモリ１０３にそれぞれ保持され
る。アドレス発生部１０４からは、基準画像メモリ１０
２中の１点を示すアドレスが、また、データ保管部１０
５からは、テンプレートサイズがテンプレート画像作成
部１０６に送られ、このテンプレート画像作成部１０６
において基準画像メモリ１０２を用いてそのアドレスが
示す点を中心に、そのテンプレートサイズのテンプレー
ト画像が作成される。画素数演算部１１１ではテンプレ
ート画像作成部１０６から入力されたテンプレート画像
と、探索される画像メモリ１０３から入力される探索さ
れる画像との間で、従来技術で説明した（３）式に基づ
きテンプレート画像全体でテンプレート内の各画素と探
索される画像上の１画素との差分があるしきい値ε以下
の画素数を計算し、対応点候補とその類似度が出力され
る。

【０１６３】判断部１０８では計算が１回目であるなら
ば、テンプレートが適したサイズか否かを判断し、適し
ていなければテンプレートサイズ変更部１０９に信号が
送られ、その信号に基づいてテンプレートサイズ変更部
１０９でテンプレートサイズが変更され、その変更され
た新しいテンプレートサイズがテンプレート画像作成部
１０６に送られ、そこで作成された新しいテンプレート
を用いて画素数演算部１１１で再び類似度を計算して対
応点を決定する。また、計算が２回目ならば、その対応
点抽出結果を出力する。

【０１６４】図２３中で第６の実施の形態の図１６と異
なる点は、データ保管部１０５の動作であるから、以
下、それについて説明する。

【０１６５】データ保管部１０５にはテンプレートサイ
ズが１つ保管されており、判断部１０８でテンプレート
サイズが適していないと判断されたときにそのサイズを
変更する。そして、その変更されたテンプレートサイズ
は次でも有効になる。つまりテンプレートサイズは、そ
の点の１つ前の点が用いたサイズを使用することにな
る。

【０１６６】このように、テンプレートサイズを小さく
すべき距離エッジの領域は連続していることに基づき、
テンプレートサイズを以前の点のときと同じにすること
により、ごく簡単なアルゴリズムでテンプレートサイズ
は適した大きさになり、対応点抽出処理効率の向上が図
れる。また、そのテンプレートサイズが誤っていたとき
でも、その後テンプレートサイズを変更することができ
るので、精度の劣化は生じることなく、逆に各領域に合
わせて適したサイズのテンプレートを用いることができ
るので、対応点抽出処理精度の向上が図れる。

【０１６７】

【発明の効果】以上詳述したように本発明の請求項１〜
３の対応点抽出方法及び請求項１１〜１３の対応点抽出
装置によれば、使用する画像中の被写体および背景の区
別なく全域で精度の高い対応点抽出処理を行うことがで
きるという効果を奏する。

【０１６８】また、本発明の請求項４の対応点抽出方法
及び請求項１４の対応点抽出装置によれば、使用する画
像中、全域で誤対応が減ると共に、処理速度が向上する
という効果を奏する。

【０１６９】また、本発明の請求項５の対応点抽出方法
及び請求項１５の対応点抽出装置によれば、使用する画
像中の距離が大きく変化する領域で処理精度が向上する
と共に、その領域が少なければ２種類以上のテンプレー
トで同時に評価値を求めることにより、処理速度が向上
するという効果を奏する。

【０１７０】また、本発明の請求項６の対応点抽出方法
及び請求項１６の対応点抽出装置によれば、使用する画
像中の距離が大きく変化する領域で処理精度が向上する
と共に、その領域が多ければ順番に２種類以上のテンプ
レートで評価値を求めることにより、処理速度が向上す
るという効果を奏する。

【０１７１】また、本発明の請求項７，８の対応点抽出
方法及び請求項１７，１８の対応点抽出装置によれば、
使用する画像中の距離が大きく変化する領域で処理精度
が向上するという効果を奏する。

【０１７２】また、本発明の請求項９の対応点抽出方法
及び請求項１９の対応点抽出装置によれば、使用する画
像中の距離が大きく変化する領域で処理精度が向上する
と共に、オクルージョン領域の判別精度が向上するとい
う効果を奏する。

【０１７３】また、本発明の請求項１０の対応点抽出方
法及び請求項２０の対応点抽出装置によれば、使用する
画像中の距離が大きく変化する領域で処理精度が向上す
るという効果を奏する。

【０１７４】また、本発明の請求項２１，２２の対応点
抽出方法及び請求項２８，２９の対応点抽出装置によれ
ば、使用する画像の部分特徴に応じたテンプレートを使
用することができるので、画像中、全域に亘り高精度の
対応点抽出処理を行うことができるという効果を奏す
る。

【０１７５】また、本発明の請求項２３〜２５の対応点
抽出方法及び請求項３０〜３２の対応点抽出装置によれ
ば、画像中の被写体及び背景の区別なく全域で高精度の
対応点抽出処理を行うことができるという効果を奏す
る。

【０１７６】また、本発明の請求項２６，２７，３５〜
３７の対応点抽出方法及び請求項３３，３４，３８〜４
０の対応点抽出装置によれば、最初から適したサイズの
テンプレートを使用することができ、処理速度の向上が
図れると共に、その後テンプレートサイズを変更するこ
とができるので、高精度の対応点抽出処理を行うことが
できるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る対応点抽出処
理装置の構成を示すブロック図である。

【図２】同装置における評価関数演算部の処理動作を示
すフローチャートである。

【図３】同装置における距離一定の領域と、距離の大き
く変化する領域のテンプレートを説明する図である。

【図４】同装置における距離一定の領域の評価値と、距
離の大きく変化する領域の評価値を示す図である。

【図５】本発明の第２の実施の形態に係る対応点抽出処
理装置の構成を示すブロック図である。

【図６】同装置におけるエッジマスクテンプレート作成
部の処理動作を示すフローチャートである。

【図７】同装置におけるエッジマスクテンプレート作成
部を説明する図である。

【図８】本発明の第３の実施の形態に係る対応点抽出処
理装置における評価関数演算部の処理動作を示すフロー
チャートである。

【図９】本発明の第４の実施の形態に係る対応点抽出処
理装置の構成を示すブロック図である。

【図１０】同装置における評価関数演算部の処理動作を
示すフローチャートである。

【図１１】同装置におけるテンプレートを示す図であ
る。

【図１２】本発明の第５の実施の形態に係る対応点抽出
処理装置における評価関数演算部の処理動作を示すフロ
ーチャートである。

【図１３】同装置における判断部で使用する表を示す図
である。

【図１４】同装置における誤抽出を説明する図である。

【図１５】同装置における距離の大きく変化する領域で
のテンプレートを説明する図である。

【図１６】本発明の第６の実施の形態に係る対応点抽出
処理装置の構成を示すブロック図である。

【図１７】同装置におけるデータ保管部の処理動作を示
すフローチャートである。

【図１８】同装置における画素数演算部の処理動作を示
すフローチャートである。

【図１９】同装置における距離一定の領域と距離の大き
く変化する領域のテンプレートを説明する図である。

【図２０】同装置における距離一定の領域と距離の大き
く変化する領域の類似度を示す図である。

【図２１】本発明の第７の実施の形態に係る対応点抽出
処理装置の構成を示すブロック図である。

【図２２】同装置におけるテンプレートサイズ決定部の
処理動作を示すフローチャートである。

【図２３】本発明の第８の実施の形態に係る対応点抽出
処理装置の構成を示すブロック図である。

【図２４】一般的な画像入力手段の一例を示す図であ
る。

【図２５】一般的なテンプレートマッチング法を示す図
である。

【図２６】従来の対応点抽出処理装置における誤抽出を
説明する図である。

【符号の説明】

１０１画像入力手段１０２基準画像メモリ１０３探索される画像メモリ１０４アドレス発生部１０５データ保管部１０６テンプレート画像作成部１０７評価関数演算部１０８判断部１０９テンプレートサイズ変更部１１０エッジマスクテンプレート作成部１１１画素数演算部１１２エッジ画像メモリ１１３テンプレートサイズ決定部３１テンプレート３２テンプレート１５１テンプレート１５２テンプレート１５３エッジで分割した領域１９１テンプレート１９２テンプレート

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 // Ｇ０１Ｂ 11/00 Ｇ０６Ｆ 15/62 ４１５Ｈ０４Ｎ 1/40 Ｚ

Claims

【特許請求の範囲】

【請求項１】複数の画像間の対応をテンプレートマッ
チング法に基づいて求める対応点抽出方法において、前
記テンプレートマッチング法は、ある特定の条件を満た
す点において２種類以上のテンプレートを用いて対応点
を決定することを特徴とする対応点抽出方法。
【請求項２】前記２種類以上のテンプレートは、テン
プレートの面積を変化させたテンプレートであることを
特徴とする請求項１記載の対応点抽出方法。
【請求項３】前記２種類以上のテンプレートは、テン
プレート内のエッジによりテンプレートを変形させたテ
ンプレートを含むことを特徴とする請求項１記載の対応
点抽出方法。
【請求項４】前記２種類め以降のテンプレートによる
演算は、それ以前の種類のテンプレートによる演算で候
補となった点に対して行うことを特徴とする請求項１記
載の対応点抽出方法。
【請求項５】１種類め以降のテンプレートによる演算
結果に基づき２種類めのテンプレートを用いるようにそ
れ以前のテンプレートによる演算結果を判断してから次
のテンプレートによる演算を行うことを特徴とする請求
項１記載の対応点抽出方法。
【請求項６】同時に２種類以上のテンプレートによる
演算を行い、その中から１つの演算結果を選択すること
を特徴とする請求項１記載の対応点抽出方法。
【請求項７】前記ある特定の条件を満たす点とは、複
数画像間の視差の分布が急峻に変化する領域内の点であ
ることを特徴とする請求項１記載の対応点抽出方法。
【請求項８】前記複数画像間の視差の分布が急峻に変
化する領域内の点か否かの判断を、テンプレートマッチ
ングの評価値を用いて行うことを特徴とする請求項７記
載の対応点抽出方法。
【請求項９】前記複数画像間の視差の分布が急峻に変
化する領域内の点か否かの判断を、テンプレートマッチ
ングの評価値と、基準となる点と該点の対応点を候補と
が一致するか否かの判断結果とを用いて行うことを特徴
とする請求項７記載の対応点抽出方法。
【請求項１０】前記複数画像間の視差の分布が急峻に
変化する領域内の点か否かの判断を、前記複数画像間の
視差の分布が急峻に変化する領域内の点では以前のテン
プレートに含まれるテンプレートを使用し且つ類似度の
評価関数にテンプレート内の各要素の画素値と探索され
る画像内の画素の画素値の差があるしきい値以下の画素
数を用いて行うことを特徴とする請求項７記載の対応点
抽出方法。
【請求項１１】複数の画像間の対応をテンプレートマ
ッチング法に基づき明らかにする対応点抽出装置におい
て、前記テンプレートマッチング法は、ある特定の条件
を満たす点では２種類以上のテンプレートを用いて対応
点を決定することを特徴とする対応点抽出装置。
【請求項１２】前記２種類以上のテンプレートは、テ
ンプレートの面積を変化させたテンプレートであること
を特徴とする請求項１１記載の対応点抽出装置。
【請求項１３】前記２種類以上のテンプレートは、テ
ンプレート内のエッジによりテンプレートを変形させた
テンプレートを含むことを特徴とする請求項１１記載の
対応点抽出装置。
【請求項１４】前記２種類め以降のテンプレートによ
る演算は、それ以前の種類のテンプレートによる演算で
候補となった点に対して行うことを特徴とする請求項１
１記載の対応点抽出装置。
【請求項１５】１種類め以降のテンプレートによる演
算結果に基づき２種類めのテンプレートを用いるように
それ以前のテンプレートによる演算結果を判断してから
次のテンプレートによる演算を行うことを特徴とする請
求項１１記載の対応点抽出装置。
【請求項１６】同時に２種類以上のテンプレートによ
る演算を行い、その中から１つの演算結果を選択するこ
とを特徴とする請求項１１記載の対応点抽出装置。
【請求項１７】前記ある特定の条件を満たす点とは、
複数画像間の視差の分布が急峻に変化する領域内の点で
あることを特徴とする請求項１１記載の対応点抽出装
置。
【請求項１８】前記複数画像間の視差の分布が急峻に
変化する領域内の点か否かの判断を、テンプレートマッ
チングの評価値を用いて行うことを特徴とする請求項１
７記載の対応点抽出装置。
【請求項１９】前記複数画像間の視差の分布が急峻に
変化する領域内の点か否かの判断を、テンプレートマッ
チングの評価値と、基準となる点と該点の対応点を候補
とが一致するか否かの判断結果とを用いて行うことを特
徴とする請求項１７記載の対応点抽出装置。
【請求項２０】前記複数画像間の視差の分布が急峻に
変化する領域内の点か否かの判断を、前記複数画像間の
視差の分布が急峻に変化する領域内の点では以前のテン
プレートに含まれるテンプレートを使用し且つ類似度の
評価関数にテンプレート内の各要素の画素値と探索され
る画像内の画素の画素値の差があるしきい値以下の画素
数を用いて行うことを特徴とする請求項１７記載の対応
点抽出装置。
【請求項２１】入力された複数の画像の中の１枚の画
像から、最初に所定の判断基準に基づきテンプレートを
作成し、該作成されたテンプレートの各画素の画素値と
前記入力された他の画像内の画素の画素値を用いて類似
度を求め、該求めた類似度からある特定条件を判断し、
該判断結果に基づき他のテンプレートを作成することを
特徴とする対応点抽出方法。
【請求項２２】テンプレートの面積を変化させたテン
プレートを作成を作成することを特徴とする請求項２１
記載の対応点抽出方法。
【請求項２３】ある特定条件の判断は、入力された類
似度とあるしきい値とを比較して行うことを特徴とする
請求項２１記載の対応点抽出方法。
【請求項２４】ある特定条件の判断は、入力された複
数の類似度の差があるしきい値より小さいときを判断し
て行うことを特徴とする請求項２１記載の対応点抽出方
法。
【請求項２５】ある特定条件の判断は、複数画像間の
視差の分布が急峻に変化する領域内の画素を判断して行
うことを特徴とする請求項２１記載の対応点抽出方法。
【請求項２６】最初のテンプレートを作成するための
前記所定の判断基準とは、テンプレートの中心点の近傍
画素の点のテンプレートサイズであることを特徴とする
請求項２１記載の対応点抽出方法。
【請求項２７】最初のテンプレートを作成するための
前記所定の判断基準とは、テンプレート中の強いエッジ
の有無であることを特徴とする請求項２１記載の対応点
抽出方法。
【請求項２８】入力された複数の画像の中の１枚の画
像から最初に前記所定の判断基準に基づきテンプレート
を作成する第１のテンプレート作成手段と、該テンプレ
ート作成手段により作成されたテンプレートの各画素の
画素値と前記入力された他の画像内の画素の画素値を用
いて類似度を求める類似度演算手段と、該類似度演算手
段により求めた類似度からある特定条件を判断する特定
条件判断手段と、該特定条件判断手段の判断結果に基づ
き他のテンプレートを作成する第２のテンプレート作成
手段とを具備したことを特徴とする対応点抽出装置。
【請求項２９】前記第２のテンプレート作成手段は、
テンプレートの面積を変化させたテンプレートを作成す
ることを特徴とする請求項２８記載の対応点抽出装置。
【請求項３０】前記特定条件判断手段は、入力された
類似度とあるしきい値とを比較してある特定条件を判断
することを特徴とする請求項２８記載の対応点抽出装
置。
【請求項３１】前記特定条件判断手段は、入力された
複数の類似度の差があるしきい値より小さいときを判断
してある特定条件を判断することを特徴とする請求項２
８記載の対応点抽出装置。
【請求項３２】前記特定条件判断手段は、複数画像間
の視差の分布が急峻に変化する領域内の画素を判断して
ある特定条件を判断することを特徴とする請求項２８記
載の対応点抽出装置。
【請求項３３】最初のテンプレートを作成するための
前記所定の判断基準とは、テンプレートの中心点の近傍
画素の点のテンプレートサイズであることを特徴とする
請求項２８記載の対応点抽出装置。
【請求項３４】最初のテンプレートを作成するための
前記所定の判断基準とは、テンプレート中の強いエッジ
の有無であることを特徴とする請求項２８記載の対応点
抽出装置。
【請求項３５】入力された複数の画像の内の１枚の画
像から直前に求めた点で使用したテンプレートサイズを
使用してテンプレートを作成し、該作成されたテンプレ
ートの各画素の画素値と前記入力された他の画像内の画
素の画素値を用いて類似度を求め、該求めた類似度から
入力された類似度があるしきい値より小さいときを判断
し、該判断結果に基づきテンプレートの面積を変化させ
たテンプレートを作成することを特徴とする対応点抽出
方法。
【請求項３６】入力された複数の画像の内の１枚の画
像から直前に求めた点で使用したテンプレートサイズを
使用してテンプレートを作成し、該作成されたテンプレ
ートの各画素の画素値と前記入力された他の画像内の画
素の画素値を用いて類似度を求め、該求めた類似度から
入力された複数の類似度の差があるしきい値より小さい
ときを判断し、該判断結果に基づきテンプレートの面積
を変化させたテンプレートを作成することを特徴とする
対応点抽出方法。
【請求項３７】入力された複数の画像の内の１枚の画
像から直前に求めた点で使用したテンプレートサイズを
使用してテンプレートを作成し、該作成されたテンプレ
ートの各画素の画素値と前記入力された他の画像内の画
素の画素値を用いて類似度を求め、該求めた類似度から
複数画像間の視差の分布が急峻に変化する領域内の画素
を判断し、該判断結果に基づきテンプレートの面積を変
化させたテンプレートを作成することを特徴とする対応
点抽出方法。
【請求項３８】入力された複数の画像の内の１枚の画
像から直前に求めた点で使用したテンプレートサイズを
使用してテンプレートを作成する第１のテンプレート作
成手段と、該第１のテンプレート作成手段により作成さ
れたテンプレートの各画素の画素値と前記入力された他
の画像内の画素の画素値を用いて類似度を求める類似度
演算手段と、該類似度演算手段により求めた類似度から
入力された類似度があるしきい値より小さいときを判断
する判断手段と、該判断手段の判断結果に基づきテンプ
レートの面積を変化させたテンプレートを作成する第２
のテンプレート作成手段とを具備したことを特徴とする
対応点抽出装置。
【請求項３９】入力された複数の画像の内の１枚の画
像から直前に求めた点で使用したテンプレートサイズを
使用してテンプレートを作成する第１のテンプレート作
成手段と、該第１のテンプレート作成手段により作成さ
れたテンプレートの各画素の画素値と前記入力された他
の画像内の画素の画素値を用いて類似度を求める類似度
演算手段と、該類似度演算手段により求めた類似度から
入力された複数の類似度の差があるしきい値より小さい
ときを判断する判断手段と、該判断手段の判断結果に基
づきテンプレートの面積を変化させたテンプレートを作
成する第２のテンプレート作成手段とを具備したことを
特徴とする対応点抽出装置。
【請求項４０】入力された複数の画像の内の１枚の画
像から直前に求めた点で使用したテンプレートサイズを
使用してテンプレートを作成する第１のテンプレート作
成手段と、該第１のテンプレート作成手段により作成さ
れたテンプレートの各画素の画素値と前記入力された他
の画像内の画素の画素値を用いて類似度を求める類似度
演算手段と、該類似度演算手段により求めた類似度から
複数画像間の視差の分布が急峻に変化する領域内の画素
を判断する判断手段と、該判断手段の判断結果に基づき
テンプレートの面積を変化させたテンプレートを作成す
る第２のテンプレート作成手段とを具備したことを特徴
とする対応点抽出装置。