JP2000348175A

JP2000348175A - 対応点検出装置及び方法

Info

Publication number: JP2000348175A
Application number: JP11161267A
Authority: JP
Inventors: Yuji Ayatsuka; 祐二綾塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-06-08
Filing date: 1999-06-08
Publication date: 2000-12-15

Abstract

(57)【要約】【課題】正規化相関関数を用いて探索画像と被探索画
像との対応点を少ない計算コストで検出する。【解決手段】同一対象物を撮像した複数の画像間の相
関を検出し、相関に基づいて画像間の対応関係を探索し
て、一の画像と他の画像との対応位置を示す座標の組か
らなる対応点候補を複数検出する探索手段１１と、上記
探索手段で検出された各対応点候補についての相関に基
づく評価値を用いて、複数の対応点候補から所定範囲内
の評価値の対応点候補を選択する選択手段１２とを備え
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一の対象物を撮
像した画像を用い、複数の画像間の対応点を検出する対
応点検出装置及び方法に関する。

【０００２】

【従来の技術】３次元画像処理技術の発展、特に表示技
術の発展により、仮想現実感（Virtual Reality:VR）を
用いたアプリケーションが普及してきている。そして、
今後の更なる発展、普及のためには、ＶＲ等で用いられ
る実世界の物体の形状データの入力技術の高度化や簡易
化が非常に重要視されている。

【０００３】上記形状データは、それぞれが異なる位置
に配された複数の距離測定装置を用い、各距離測定装置
から物体表面までの距離を示す距離データを求め、各距
離測定装置で撮像した画像を貼り合わせて編集すること
により得ることができる。

【０００４】上記距離データを求めるときには、各距離
画像測定装置で撮像した探索画像について複数の画素か
らなるテンプレートを抽出し、当該テンプレートを対応
関係を求める被探索画像上で探索することにより、当該
テンプレートに対応する被探索画像上の対応点を求め、
当該対応点を用いることにより距離測定装置と物体表面
との距離を求める。

【０００５】このとき、各距離測定装置で撮像した探索
画像に含まれるテンプレートと被探索画像との間の相関
を正規化相関関数を用いて求めることにより、テンプレ
ートと被探索画像との間の対応関係を求める。この正規
化相関関数によれば、探索画像と被探索画像との輝度値
の線形変化を無視して、各探索画像と被探索画像間の対
応関係を求めることができる。そして、距離測定装置
は、正規化相関関数より得られる相関に応じて、評価値
を計算する。この評価値は、上記テンプレートと被探索
画像上の対応点との類似度を示し、相関が高い対応点で
あるときには高く、相関が低い対応点であるときには低
くなる。このように、距離測定装置は、評価値が最も高
い被探索画像上の点の座標とテンプレートの座標とが組
となされた対応点候補を生成し、探索画像全体について
の対応点候補を求めて距離データを生成する。

【０００６】

【発明が解決しようとする課題】しかし、対応点が探索
される被探索画像に回転や拡大縮小等の微小な変化を持
たせた場合、被探索画像内の対応点についての評価値が
急激に低くなることはないが、被探索画像が次第に変化
することに次第に低くなる。そのため、被検索画像であ
る画像内の対応点の輝度値と探索画像のテンプレートの
輝度値とが完全に同じでなければ、評価値の最も高いと
ころが必ずしも対象物の同一箇所を示す対応点とは限ら
れない。

【０００７】更に、上述した正規化相関関数とは異なる
他の相関関数等を用いても、評価値の高い対応点をその
まま対象物の同一箇所を示すとみなすことは困難であ
る。

【０００８】更にまた、確実に対応関係のみを抽出でき
るような相関関数では、計算コストが非常に大きくな
る。

【０００９】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、正規化相関関数を用いて
探索画像と被探索画像との対応点を少ない計算コストで
検出することができる対応点検出装置及び方法を提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】上述の課題を解決する本
発明に係る対応点検出装置は、同一対象物を撮像した複
数の画像間の相関を検出し、相関に基づいて画像間の対
応関係を探索して、一の画像と他の画像との対応位置を
示す座標の組からなる対応点候補を複数検出する探索手
段と、上記探索手段で検出された各対応点候補について
の相関に基づく評価値を用いて、複数の対応点候補から
所定範囲内の評価値の対応点候補を選択する選択手段と
を備えることを特徴とするものである。

【００１１】このような対応点検出装置は、探索手段に
より探索して得た対応点候補を、評価値に応じて選択手
段により選択することで、正確性の高い対応点候補を検
出する。この対応点検出装置１は、例えば探索画像の一
部をテンプレートとし、当該テンプレートが示す対象物
の一部と同じ箇所を示す対応点候補を検出する。

【００１２】また、本発明に係る対応点検出方法は、同
一対象物を撮像した複数の画像間の相関を検出し、相関
に基づいて画像間の対応関係を探索して、一の画像と他
の画像との対応位置を示す座標の組からなる対応点候補
を複数検出し、上記各対応点候補についての相関に基づ
く評価値を用いて、複数の対応点候補から所定範囲内の
評価値の対応点候補を選択することを特徴とする。

【００１３】このような対応点検出方法は、探索して得
た対応点候補を、評価値に応じて選択することで、正確
性の高い対応点候補を検出する。この対応点検出方法に
よれば、例えば探索画像の一部をテンプレートとし、当
該テンプレートが示す対象物の一部と同じ箇所を示す対
応点候補を検出する。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１５】本発明を適用した対応点検出装置は、例え
ば図１に示すように構成されている。

【００１６】この対応点検出装置１は、複数の画像を示
す画像データが入力される対応点検出部２と、対応点検
出部２で対応点候補を探索して選択するときに用いられ
る記憶部３とを備える。

【００１７】以下に説明する対応点検出装置１は、同一
の撮像対象物を異なる位置に配設された撮像装置により
撮像した画像データが示す画像Ａ、画像Ｂが入力される
ことに応じて対応点候補を検出するものである。このと
き、対応点検出装置１は、画像Ａ内に含まれる点をテン
プレートとし、当該テンプレートに対応する画像Ｂに含
まれる点を検出する。

【００１８】以下の説明では、対応点検出装置１に２枚
の画像のみならず、複数枚の画像が入力された場合であ
っても、一の画像と他の画像とを用いて対応点候補を検
出する処理を行うことができるが、例えば上記画像Ａと
画像Ｂとが入力されたときに対応点候補を探索して選択
する処理の一例について行う。

【００１９】対応点検出部２は、例えばＪＰＥＧ（Join
t Photographic coding Experts Group）方式やビット
マップ形式の画像データが示す画像Ａと画像Ｂとの間で
対象物の同一箇所を示す対応点の候補である対応点候補
を探索する探索部１１と、複数の対応点候補うちから不
正確な対応点候補等を削除して正確な対応点候補を選択
する選択部１２とを備える。

【００２０】探索部１１は、外部からの画像Ａ、画像Ｂ
に応じて、探索対象である画像Ａ内の部分画像であるテ
ンプレートと、当該テンプレートに対応する被探索対象
である画像Ｂ内の点を探索して対応点候補を生成する処
理を行って対応点候補を記憶部３を介して選択部１２に
出力する。ここで、探索部１１は、可能である限りの対
応点候補を探索する処理を行う。

【００２１】このとき、探索部１１は、画像Ａから例え
ば３２画素×３２画素からなるテンプレートを抽出する
処理を行う。

【００２２】次に、探索部１１は、上記テンプレート
と、画像Ｂ上の任意の点において、正規化相関関数を用
いることによりテンプレートと画像Ｂ上の任意の点との
相関を求める処理を行う。

【００２３】上記正規化相関関数とは、横方向の画素数
をｗ、縦方向の画素数をｈの大きさの画像Ａ、画像Ｂが
あるときに、Ａ（ｘ，ｙ）を画像Ａ上の座標（ｘ，ｙ）
での輝度値とし、Ｂ（ｘ，ｙ）を画像Ｂ上の座標（ｘ，
ｙ）での輝度値としたとき、以下の式で表現される相関
を求める関数である。

【００２４】

【数１】

【００２５】次に、探索部１１は、正規化相関関数を用
いて求めた相関に基づいて、テンプレートと画像Ｂ上の
任意の点との類似度を示す評価値を求め、当該評価値が
所定の閾値以上であるときに、テンプレートとして画像
Ａ上から切り出した座標と、画像Ｂ上の任意の点での座
標との組を対応点候補として記憶部３に一旦記憶する処
理を行う。

【００２６】そして、探索部１１は、テンプレートとの
相関を求める画像Ｂ上の点を順次ずらして正規化相関関
数を用いて相関を求める処理を繰り返すことにより、全
画面について相関を求める処理を行って、全画面につい
ての対応点候補を探索する処理を行う。

【００２７】この結果、探索部１１は、画像Ａとして図
２（ａ）に示すような画像が入力されるとともに、画像
Ｂとして図２（ｂ）に示すような画像が入力されたと
き、例えば図２（ａ）に示すような画像Ａについてテン
プレートａ、ｂ、ｃ、ｄを設定して探索を行うことによ
り、図２（ｂ）に示すように、各テンプレートａ、ｂ、
ｃ、ｄに対応する領域ａ’、ｂ’、ｃ’、ｄ’を探索す
ることができる。ここで、図２（ｂ）内の黒丸は、図２
（ａ）に示すテンプレートａ、ｂ、ｃ、ｄについての座
標を示す。

【００２８】なお、この探索部１１は、相関を求めると
きに、上記式で表現された正規化相関関数に限らず、正
規化相関関数を実行したときの計算コスト等を考慮し
て、他の相関関数を用いても良い。

【００２９】また、探索部１１は、上述した探索を行っ
た後において後述の選択処理を行った後に更に探索処理
を行っても良い。このとき、探索部１１は、例えば選択
部１２で選択処理がされた対応点候補の近傍のみを探索
する処理を行って、新たに対応点候補を検出する処理を
行うことにより、より正確な対応点候補を多く検出する
ことができる。

【００３０】更に、探索部１１は、相関を求めて対応点
候補を探索する範囲を全画面について行う場合のみなら
ず、処理量の低減、処理の効率化を図り、画像の一部に
ついてのみ相関を求めて対応点候補を探索する処理を行
っても良く、更には撮像対象物を表現している画像部分
についてのみ対応点候補を探索する処理を行っても良
い。

【００３１】更にまた、探索部１１は、画像Ａから切り
出すテンプレート、相関を計算する画像Ｂの輝度値の平
均が低いときや、画素値の分散が小さいときには正確な
相関を計算することができないので、輝度値の平均や分
散について閾値を設けて相関を計算するか否かを判定す
ることにより、処理量の削減、処理の効率化を図っても
良い。

【００３２】更にまた、探索部１１は、画像Ｂの絵柄に
応じた画素パターンにおいて隣接する画素の輝度値が微
小な位置では相関が大きく変化することがないので、絵
柄に応じて相関を求める回数を削減することにより、相
関を求める処理を間引き、処理量の削減、処理の効率化
を図っても良い。

【００３３】選択部１２は、記憶部３に格納され探索部
１１で探索された対応点候補について、相関に基づく評
価値を用いて複数の対応点候補から不正確な対応点候補
を篩い落とす処理を行う。ここで、上記不正確な対応点
候補とは、撮像対象物の同一箇所を示す画像でなく、対
応がとれていないにもかかわらず輝度値のみにより相関
を求めることにより、相関が高いと判定され評価値が高
くなってしまった対応点候補である。

【００３４】この選択部１２は、回帰性を用いた第１の
選択処理、安定性を用いた第２の選択処理、近接性を用
いた第３の選択処理、方向の均一性を用いた第４の選択
処理を行うことで、不正確な対応点候補を篩い落とす処
理を行う。

【００３５】上記回帰性を用いた第１の選択処理を行う
ときの選択部１２の処理について説明する。

【００３６】選択部１２は、上述の探索部１１で求めた
対応点候補の座標うち画像Ａ内のテンプレートの座標に
対応する画像Ｂ内での座標をテンプレートとし、画像Ｂ
内のテンプレートを用いて画像Ａ内を探索する。

【００３７】そして、選択部１２は、図３に示すように
画像Ｂ内のテンプレート２１を用いて探索した画像Ａ内
の領域２２が上述の探索部１１で求めた対応点候補にお
ける画像Ａのテンプレートの座標の領域２３と一致する
ときには、対応点候補の評価値を上げる処理を行う。

【００３８】一方、選択部１２は、図４に示すように画
像Ｂ内のテンプレート２１を用いて探索した画像Ａ内の
領域２２が上述の探索部１１で求めた対応点候補におけ
る画像Ａのテンプレート２３の座標と離れているときに
は、対応点候補の評価値を下げる処理を行う。

【００３９】そして、選択部１２は、第１の選択処理に
おいて、所定の第１の閾値を用いて、上述のように上下
させた評価値が上記所定の第１の閾値よりも高いときに
は対応点候補として残し、評価値が上記所定の第１の閾
値よりも低いときには対応点候補から削除する処理を行
う。

【００４０】次に、上記安定性を用いた第２の選択処理
を行うときの選択部１２の処理について説明する。

【００４１】選択部１２は、上述の探索部１１で行った
画像Ａからテンプレートを切り出し、画像Ｂ内で当該テ
ンプレートに対応する点を探索して対応点候補として探
索した点と、画像Ｂに変化を与えたときに探索して得た
画像Ｂ上の点とを比較して、探索部１１により探索した
対応点候補の点と、変化後の画像Ｂを用いたときの点と
が一致しているか否かを判定する。このとき、選択部１
２は、画像Ｂに変化を与えるとともに、画像Ａのテンプ
レートを用いて、画像Ｂ内を探索するときの探索箇所を
変化に応じて補正する処理を行う。

【００４２】図５は、画像Ａ内のテンプレート３１を用
いて、画像Ｂ内を探索するときの一例について示す図で
ある。この場合においては、テンプレート３１に対応す
る画像Ｂ内の領域は領域３２であるとする。

【００４３】一方、図６は、画像Ａ内のテンプレート３
１を用いて、例えば時計回りに僅かに回転させた画像Ｂ
内を探索するときの他の一例について示す図である。こ
の場合において、選択部１２は、テンプレート３１に対
応する画像Ｂ内の領域３２ａは回転させた位置となって
おり、探索部１１により探索した対応点候補の点と、変
化後の画像Ｂを用いたときの点とが一致していると判定
し、テンプレート３１に対応する画像Ｂ内の点として領
域３２ｂを探索したときには、探索部１１により探索し
た対応点候補の点と、変化後の画像Ｂを用いたときの領
域３２ｂとが一致していないと判定する。

【００４４】そして、選択部１２は、探索部１１により
探索した対応点候補によるテンプレートを用いて変化後
の画像Ｂ内を探索したときの点とが一致していると判定
したときには対応点候補の評価値を上げ、探索部１１に
より探索した対応点候補によるテンプレートを用いて変
化後の画像Ｂ内を探索したときの点とが一致していない
と判定したときには対応点候補の評価値を下げる処理を
行う。

【００４５】また、選択部１２は、上述した第２の選択
処理において、所定の第２の閾値を用いて、上述したよ
うに上下させた評価値が上記所定の第２の閾値よりも高
いときには対応点候補として残し、評価値が上記所定の
第２の閾値よりも低いときには対応点候補から削除する
処理を行う。

【００４６】なお、選択部１２は、上述したように画像
Ｂを回転させて探索を行う場合のみならず、画像Ｂを拡
大縮小させて探索を行って対応点候補を選択する処理を
行っても良い。

【００４７】次に、上記近接性を用いた第３の選択処理
を行うときの選択部１２の処理について説明する。

【００４８】選択部１２は、画像Ａに含まれる第１の領
域と画像Ａ内に含まれる第２の領域との位置関係と、第
１の領域とともに対応点候補として探索された画像Ｂに
含まれる点と第２の領域とともに対応点候補として探索
された画像Ｂに含まれる点との位置関係とを比較し、双
方が同じ位置関係であるか否かを判定する。

【００４９】選択部１２は、例えば図７に示すように、
対応点候補として画像Ａに含まれる領域４１ａと画像Ｂ
に含まれる領域４１ｂとが探索され、対応点候補として
画像Ａに含まれる領域４２ａと画像Ｂに含まれる領域４
２ｂとが探索されたとき、領域４１ａと領域４２ａとの
位置関係と、領域４１ｂと領域４２ｂとの位置関係とが
同じ位置関係であると判定する。

【００５０】一方、選択部１２は、図８に示すように、
領域４１ａと領域４２ａとの位置関係と、領域４１ａに
対応する領域４２ａと領域４２ａに対応する領域４２ｂ
との位置関係とは、異なる位置関係であると判定する。

【００５１】そして、選択部１２は、画像Ａに含まれる
テンプレートと画像Ａ内に含まれる領域との位置関係
と、テンプレートとともに対応点候補として探索された
画像Ｂに含まれる点と画像Ｂ内に含まれる点との位置関
係が同じ位置関係と判定したときには評価値を上げ、異
なる位置関係と判定したときには評価値を下げる処理を
行う。

【００５２】また、選択部１２は、上述した第３の選択
処理において、所定の第３の閾値を用いて、上述したよ
うに上下させた評価値が上記所定の第３の閾値よりも高
いときには対応点候補として残し、評価値が上記所定の
第３の閾値よりも低いときには対応点候補から削除する
処理を行う。

【００５３】次に、上記方向の均一性を用いた第４の選
択処理を行うときの選択部１２の処理について説明す
る。

【００５４】選択部１２は、外部から入力された画像Ａ
と画像Ｂとを撮像した２つの撮像装置が平行関係に配置
されたことにより画像Ａから画像Ｂとの対応関係が全て
ほぼ平行関係にあるという制約があるときにおいて、上
記方向の均一性を用いた第４の選択処理を行う。

【００５５】この選択部１２は、対応点候補として探索
された画像Ａに含まれた領域Ａと、画像Ｂに含まれ領域
Ａに対応する領域Ｂとが、画像Ａ及び画像Ｂを平行移動
するだけで重ね合わせられるときには平行移動したとき
の方向、制約によっては更に平行移動した長さを判定す
る。

【００５６】選択部１２は、例えば図９（ａ）に示すよ
うに、探索した対応点候補である画像Ａに含まれる点と
画像Ｂに含まれる点とを結んでベクトルとして表現した
とき、各ベクトルの方向及び長さを判定する。そして、
選択部１２は、図９（ｂ）中の太線で示すように各ベク
トルの方向及び制約によっては長さが同じである複数の
ベクトルを形成した対応点候補についての評価値を上げ
る処理を行い、図９（ｂ）中の細線で示すように各ベク
トルの方向及び長さが異なる複数のベクトルを形成した
対応点候補についての評価値を下げる処理を行う。

【００５７】また、選択部１２は、上述した第４の選択
処理において、所定の第４の閾値を用いて、上述したよ
うに上下させた評価値が上記所定の第４の閾値よりも高
いときには対応点候補として残し、評価値が上記所定の
第４の閾値よりも低いときには対応点候補から削除する
処理を行う。

【００５８】上述した第１〜第４の選択処理を行う選択
部１２は、探索部１１からの全ての対応点候補について
第１〜第４の全ての選択処理を行った後に残った対応点
候補を出力する処理を行う。このとき、選択部１２は、
第１〜第４の選択処理を行った後における対応点候補の
うち、所定の閾値以上の評価値を有する対応点候補を外
部に出力する。

【００５９】また、選択部１２は、上述したように各選
択処理の後に所定の閾値以下の評価値の対応点候補を削
除しても良く、第１〜第４の各選択処理の後ごとに所定
の閾値以下の評価値の対応点候補を削除する処理を行っ
ても良い。

【００６０】更に、選択部１２は、第１〜第４の選択処
理において対応点候補についての評価値を変動させる量
を、入力される画像の種類等に応じて変化させても良
い。これにより、選択部１２は、処理量の低減、処理の
効率化を図るとともに、正確な対応点候補を検出するこ
とができる。

【００６１】更にまた、選択部１２は、第１〜第４の選
択処理を行う順序、第１〜第４の選択処理において変動
させる評価値の範囲を、対応点候補を大きく絞り込むこ
とができる選択処理、正確な対応点候補が不正確な対応
点候補により評価値を下げられるおそれのない選択処理
を先の順序に行うことが望ましい。これにより、選択部
１２は、正確な対応点候補を効率良く検出することがで
きる。

【００６２】更にまた、この選択部１２は、上述の選択
処理を行って得た対応点候補を用いて、更に選択処理を
行っても良い。このとき、選択部１２は、例えば上述の
各選択処理における閾値、評価値を上下させる量等を変
化させて再度選択処理を行う。これにより、選択部１２
は、更に正確な対応点候補を検出することができる。

【００６３】更にまた、選択部１２は、対応点候補を外
部に出力するときに、対応点候補を画像Ａ及び画像Ｂ上
の座標の組を文字列で表現しても良く、画像上に対応関
係を描画することにより表現しても良い。これにより、
選択部１２は、例えば外部に接続される距離測定装置等
に応じた形式で対応点候補を示すデータを出力すること
ができる。

【００６４】つぎに、上述した対応点検出装置１により
対応点を検出するときの処理手順の一例を図１０のフロ
ーチャートを参照して説明する。

【００６５】このフローチャートによれば、先ず、ステ
ップＳ１０において、対応点検出装置１には、画像Ａを
示す画像データ及び画像Ｂを示す画像データが対応点検
出部２に入力されることに応じて、後段の対応点候補を
検出する処理を開始する。

【００６６】次のステップＳ２０において、対応点検出
部２は、選択部１２により、画像Ａに含まれるテンプレ
ートと画像Ｂに含まれテンプレートと対応する点との組
からなる対応点候補を探索する処理を行う。このとき、
選択部１２は、上述した正規化相関関数を用いて相関を
求めて、相関に基づいた評価値とともに対応点候補を求
める。このとき、選択部１２は、画像Ａ内の各テンプレ
ートと最も相関の高い画像Ｂ内の点を求め、各テンプレ
ートの座標と各テンプレートのついてに対応する画像Ｂ
内の点の座標とが組となった対応点候補を求める。この
結果、選択部１２は、画像Ａ内の全てのテンプレートに
ついて、当該テンプレートと最も相関の高い画像Ｂ内の
点の座標とが組になった対応点候補を得る。

【００６７】次のステップＳ３０において、選択部１２
は、複数の対応点候補うちから不正確な対応点候補等を
削除して正確な対応点候補を選択する処理を行う。

【００６８】すなわち、このステップＳ３０のステップ
Ｓ３１において、選択部１２は、上述の回帰性を用いた
第１の選択処理を行う。すなわち、選択部１２は、探索
部１１で求めた対応点候補の座標うち画像Ａ内の座標に
対応する画像Ｂ内での座標をテンプレートとし、画像Ｂ
内のテンプレートを用いて画像Ａ内を探索した結果に応
じて、各対応点候補についての評価値を変動させ、評価
値が上記所定の第１の閾値よりも高いときには対応点候
補として残し、評価値が上記所定の第１の閾値よりも低
いときには対応点候補から削除する処理を行う。

【００６９】次のステップＳ３２において、選択部１２
は、上述のステップＳ３１を行った後に残った対応点候
補を用いて、安定性を用いた第２の選択処理を行う。す
なわち、選択部１２は、対応点候補のテンプレートを用
いて変化後の画像Ｂ内を探索した結果に応じて、対応点
候補の評価値を変動させ、評価値が上記所定の第２の閾
値よりも高いときには対応点候補として残し、評価値が
上記所定の第２の閾値よりも低いときには対応点候補か
ら削除する処理を行う。

【００７０】次のステップＳ３３において、選択部１２
は、上述のステップＳ３２を行った後に残った対応点候
補を用いて、近接性を用いた第３の選択処理を行う。す
なわち、選択部１２は、画像Ａに含まれる第１の領域と
画像Ａ内に含まれる第２の領域との位置関係と、第１の
領域の対応点候補として探索された画像Ｂに含まれる第
１の点と第２の領域の対応点候補として探索された画像
Ｂ内に含まれる第２の点との位置関係とに応じて評価値
を変動させ、評価値が所定の第３の閾値よりも高いとき
には対応点候補として残し、評価値が上記所定の第３の
閾値よりも低いときには対応点候補から削除する処理を
行う。

【００７１】次のステップＳ３４において、選択部１２
は、上述のステップＳ１０で入力された画像Ａと画像Ｂ
との間に例えば平行移動である旨の方向についての制約
があるか否かを判定する。そして、選択部１２は、方向
についての制約があると判定したときにはステップＳ３
５に進み、方向についての制約がないと判定したときに
は選択部１２によるステップＳ３０を終了してステップ
Ｓ４０に進む。

【００７２】ステップＳ３５において、選択部１２は、
上述のステップＳ３３を行った後に残った対応点候補を
用いて、方向性を用いた第４の選択処理を行う。すなわ
ち、選択部１２は、撮像対象物の同一箇所を示す対応点
候補である画像Ａに含まれる点と画像Ｂに含まれる点と
を結んでベクトルとして表現したとき、各ベクトルの方
向及び長さに応じて評価値を変動させ、評価値が所定の
第４の閾値よりも高いときには対応点候補として残し、
評価値が所定の第４の閾値よりも低いときには対応点候
補から削除する処理を行う。

【００７３】ステップＳ４０において、選択部１２は、
例えばステップＳ３５又はステップＳ３３に示した処理
を行った後における対応点候補に基づいて、再び第１〜
第４の処理を行うか否かを判定する。そして、選択部１
２は、再び第１〜第４の処理を行うと判定したときには
ステップＳ３５又はステップＳ３３に示した処理を行っ
た後における対応点候補について再度ステップＳ３０の
処理を行うようにステップＳ３０に戻り、再び第１〜第
４の処理を行わないと判定したときにはステップＳ５０
に進む。

【００７４】ステップＳ５０において、探索部１１は、
上述のステップＳ３０の選択処理を行った後に更に探索
処理を行うか否かを判定する。そして、探索部１１は、
再度探索処理を行うと判定したときにはステップＳ２０
に戻って再びステップＳ２０〜ステップＳ５０間での処
理を繰り返し、再度の探索処理を行わないと判定したと
きには処理を終了する。

【００７５】上述した図１に示すような構成を有し、図
１０のフローチャートに示す処理を行う対応点検出装置
１は、探索部１１により画像Ａと画像Ｂとの相関に応じ
て対応点候補を探索し、選択部１２により第１〜第４の
選択処理を行うことで、画像Ａと画像Ｂとの相関が高
く、対応点として適当な対応点候補を検出することがで
きる。したがって、この対応点検出装置１は、探索部１
１で用いる正規化相関関数を複雑なものとして対応点候
補を探索する必要がなく、対応点を少ない計算コストで
検出することができる。

【００７６】したがって、この対応点検出装置１によれ
ば、探索部１１及び選択部１２により対応点候補を得る
ことにより、入力された画像Ａと画像Ｂとの空間内での
位置関係を得ることができ、この対応点候補を外部に出
力することで、撮像対象物の３次元物体データを生成さ
せることができる。

【００７７】また、対応点検出装置１は、第１の選択処
理、第２の選択処理、第３の選択処理の順序で対応点候
補を選択する処理を行うことにより、高い割合で不正確
な対応点候補が含まれていても良い選択処理から、順次
高い割合で不正確な対応点候補が含まれていることが好
ましくない選択処理を行うことができ、効率的により正
確な対応点候補を検出することができる。

【００７８】更に、対応点検出装置１は、上述の選択処
理を行って得た対応点候補を用いて再度選択処理を行う
とき、例えば上述の各選択処理における閾値、評価値を
上下させる量等を変化させることができるので、更に正
確な対応点候補を検出することができる。

【００７９】更にまた、対応点検出装置１は、選択部１
２により選択処理を行った後に、例えば選択部１２で選
択処理がされた対応点候補の近傍のみを探索する処理を
行って、新たに対応点候補を検出する処理を行うことが
でき、より正確な対応点候補を多く検出することができ
る。

【００８０】更にまた、対応点検出装置１は、図１０の
ように第１〜第４の選択処理を行う場合のみならず、処
理量の低減を図り、第１〜第４の選択処理のうちいずか
の選択処理を組み合わせて行っても良い。このとき、対
応点検出装置１は、選択部１２で行う各選択処理におけ
る閾値を調整することにより、より効率的に且つ正確な
対応点候補をより多く検出することができる。

【００８１】すなわち、上述した対応点検出装置１の説
明においては、第１、第２、第３、第４の選択処理の順
に処理を行う一例について説明したが、処理の効率化、
より正確な対応点候補を検出することを目的として、各
選択処理を省略したり、更に、方向性による選択処理を
加えても良い。

【００８２】更にまた、対応点検出装置１によれば、例
えば図１１（ａ）に示す画像Ａ及び画像Ａに対して平行
移動した状態で撮像された図１１（ｂ）に示す画像Ｂが
入力されたときには、画像Ａについて例えば４つのテン
プレートを設定し、対応点候補を探索することで、画像
Ｂ内の黒点（テンプレート位置）に対応する４つの領域
を探索して対応点候補を生成することで、画像Ａと画像
Ｂとの対応関係を設定することができる。これにより、
対応点検出装置１は、対応点候補を用いて、画像Ａと画
像Ｂとを継ぎ合わせることで図１２に示すようなパノラ
マ画像を生成することができる。

【００８３】

【発明の効果】以上詳細に説明したように、本発明に係
る対応点検出装置及び方法によれば、同一対象物を撮像
した複数の画像間の相関を検出し、相関に基づいて画像
間の対応関係を探索して、一の画像と他の画像との対応
位置を示す座標の組からなる対応点候補を複数検出し、
各対応点候補についての相関に基づく評価値を用いて、
複数の対応点候補から所定範囲内の評価値の対応点候補
を選択することで、正確性の高い対応点候補を検出する
ことができる。したがって、この対応点検出装置及び方
法によれば、複雑な正規化相関関数を用いて対応点候補
を探索する必要なく、正規化相関関数を用いて探索画像
と被探索画像との対応点を少ない計算コストで検出する
ことができる。

【図面の簡単な説明】

【図１】本発明を適用した対応点検出装置の構成を示す
ブロック図である。

【図２】（ａ）は本発明を適用した対応点検出装置に入
力される画像Ａについてテンプレートを設定した状態を
説明するための図であり、（ｂ）は本発明を適用した対
応点検出装置により探索される画像Ｂ内の対応する点を
示す図である。

【図３】本発明を適用した対応点検出装置により行う回
帰性を用いた選択処理の一例について説明するための図
である。

【図４】本発明を適用した対応点検出装置により行う回
帰性を用いた選択処理の他の一例について説明するため
の図である。

【図５】本発明を適用した対応点検出装置により行う安
定性を用いた選択処理の一例について説明するための図
である。

【図６】本発明を適用した対応点検出装置により行う安
定性を用いた選択処理の他の一例について説明するため
の図である。

【図７】本発明を適用した対応点検出装置により行う近
接性を用いた選択処理の一例について説明するための図
である。

【図８】本発明を適用した対応点検出装置により行う近
接性を用いた選択処理の他の一例について説明するため
の図である。

【図９】本発明を適用した対応点検出装置により行う方
向性を用いた選択処理の一例について説明するための図
である。

【図１０】本発明を適用した対応点検出装置により対応
点候補を検出するときの処理手順について説明するため
のフローチャートである。

【図１１】（ａ）は本発明を適用した対応点検出装置に
入力される画像Ａについてテンプレートを設定した状態
を説明するための図であり、（ｂ）は本発明を適用した
対応点検出装置により探索される画像Ｂ内の対応する点
を示す図である。

【図１２】図１１（ａ）及び図１１（ｂ）に示す画像Ａ
及び画像Ｂを用いて生成したパノラマ画像の一例を示す
図である。

【符号の説明】

１対応点検出装置、２対応点検出部、１１探索
部、１２選択部

Claims

【特許請求の範囲】

【請求項１】同一対象物を撮像した複数の画像間の相
関を検出し、相関に基づいて画像間の対応関係を探索し
て、一の画像と他の画像との対応位置を示す座標の組か
らなる対応点候補を複数検出する探索手段と、上記探索手段で検出された各対応点候補についての相関
に基づく評価値を用いて、複数の対応点候補から所定範
囲内の評価値の対応点候補を選択する選択手段とを備え
ることを特徴とする対応点検出装置。
【請求項２】上記選択手段は、第１の画像に含まれる
第１の対応点と当該第１の対応点に対応し第２の画像に
含まれる第２の対応点との組からなる対応点候補を探索
した上記探索手段からの第１の探索結果に基づいて、上
記第２の対応点を用いて当該第２の対応点に対応し第１
の画像に含まれる第１の対応点を探索した第２の探索結
果を求め、上記探索手段からの第１の探索結果及び上記
第２の探索結果に基づいて第１の対応点と第２の対応点
との組からなる対応点候補の評価値を変化させて、対応
点候補を選択することを特徴とする請求項１に記載の対
応点検出装置。
【請求項３】上記選択手段は、第１の画像に含まれる
第１の対応点と当該第１の対応点に対応し第２の画像に
含まれる第２の対応点との組からなる対応点候補を探索
した第１の探索結果及び変化を与えた第２の画像に含ま
れる第２の対応点を第１の対応点を用いて探索した第２
の探索結果を求め、上記第１の探索結果及び第２の探索
結果に基づいて、第１の対応点と第２の対応点との組か
らなる対応点候補の評価値を変化させて、対応点候補を
選択することを特徴とする請求項１に記載の対応点検出
装置。
【請求項４】上記選択手段は、第１の画像に含まれる
第１の対応点と第２の対応点との第１の位置関係と、当
該第１の対応点に対応する第２の画像の第３の対応点と
第２の対応点に対応する第２の画像の第４の対応点との
第２の位置関係とを求め、上記第１の位置関係及び第２
の位置関係に基づいて、第１の対応点と第３の対応点と
の組からなる対応点候補及び第２の対応点と第４の対応
点との組からなる対応点候補の評価値を変化させて、対
応点候補を選択することを特徴とする請求項１に記載の
対応点検出装置。
【請求項５】上記選択手段は、第１の画像に含まれる
複数の対応点と当該複数の対応点に対応する第２の画像
の複数の対応点との間の複数の対応関係を求め、複数の
対応関係の均一性に基づいて、複数の対応点候補の評価
値を変化させ、対応点候補を選択することを特徴とする
請求項１に記載の対応点検出装置。
【請求項６】上記選択手段は、第１の画像に含まれる
第１の対応点と当該第１の対応点に対応し第２の画像に
含まれる第２の対応点との組からなる対応点候補を探索
した上記探索手段からの第１の探索結果に基づいて、上
記第２の対応点を用いて当該第２の対応点に対応する第
１の画像に含まれる第１の対応点を探索した第２の探索
結果を求め、上記探索手段からの第１の探索結果及び上
記第２の探索結果に基づいて第１の対応点と第２の対応
点との組からなる対応点候補の評価値を変化させて、対
応点候補を選択する第１の選択処理、第１の画像に含ま
れる第１の対応点と当該第１の対応点に対応し第２の画
像に含まれる第２の対応点との組からなる対応点候補を
探索した第１の探索結果及び変化を与えた第２の画像に
含まれる第２の対応点を第１の対応点を用いて探索した
第２の探索結果を求め、上記第１の探索結果及び第２の
探索結果に基づいて、第１の対応点と第２の対応点との
組からなる対応点候補の評価値を変化させて、対応点候
補を選択する第２の選択処理、第１の画像に含まれる第
１の対応点と第２の対応点との第１の位置関係と、当該
第１の対応点に対応する第２の画像の第３の対応点と第
２の対応点に対応する第２の画像の第４の対応点との第
２の位置関係とを求め、上記第１の位置関係及び第２の
位置関係に基づいて、第１の対応点と第３の対応点との
組からなる対応点候補及び第２の対応点と第４の対応点
との組からなる対応点候補の評価値を変化させて、対応
点候補を選択する第３の選択処理のうち、少なくとも一
の選択処理を用いることを特徴とする請求項１に記載の
対応点検出装置。
【請求項７】上記選択手段は、第１の画像に含まれる第１の対応点と当該第１の対応点
に対応し第２の画像に含まれる第２の対応点との組から
なる対応点候補を探索した上記探索手段からの第１の探
索結果に基づいて、上記第２の対応点を用いて当該第２
の対応点に対応する第１の画像に含まれる第１の対応点
を探索した第２の探索結果を求め、上記探索手段からの
第１の探索結果及び上記第２の探索結果に基づいて第１
の対応点と第２の対応点との組からなる対応点候補の評
価値を変化させ、第１の画像に含まれる第１の対応点と当該第１の対応点
に対応し第２の画像に含まれる第２の対応点との組から
なる対応点候補を探索した第１の探索結果及び変化を与
えた第２の画像に含まれる第２の対応点を第１の対応点
を用いて探索した第２の探索結果を求め、上記第１の探
索結果及び第２の探索結果に基づいて、第１の対応点と
第２の対応点との組からなる対応点候補の評価値を変化
させ、第１の画像に含まれる第１の対応点と第２の対応点との
第１の位置関係と、当該第１の対応点に対応する第２の
画像の第３の対応点と第２の対応点に対応する第２の画
像の第４の対応点との第２の位置関係とを求め、上記第
１の位置関係及び第２の位置関係に基づいて、第１の対
応点と第３の対応点との組からなる対応点候補及び第２
の対応点と第４の対応点との組からなる対応点候補の評
価値を変化させて、対応点候補を選択することを特徴と
する請求項１に記載の対応点検出装置。
【請求項８】上記選択手段により選択された対応点候
補の周囲に近接して位置する一の画像内に含まれる点を
用いて、他の画像との相関を検出し、相関に基づいて画
像間の対応関係を示す対応点候補を探索する再探索手段
を備えることを特徴とする請求項１に記載の対応点検出
装置。
【請求項９】上記選択手段で選択された対応点候補を
用い、評価値の範囲を変化させて再び対応点候補を選択
する再選択手段を備えることを特徴とする請求項１に記
載の対応点検出装置。
【請求項１０】同一対象物を撮像した複数の画像間の
相関を検出し、相関に基づいて画像間の対応関係を探索
して、一の画像と他の画像との対応位置を示す座標の組
からなる対応点候補を複数検出し、上記各対応点候補についての相関に基づく評価値を用い
て、複数の対応点候補から所定範囲内の評価値の対応点
候補を選択することを特徴とする対応点検出方法。
【請求項１１】第１の画像に含まれる第１の対応点と
当該第１の対応点に対応し第２の画像に含まれる第２の
対応点との組からなる対応点候補を探索した第１の探索
結果に基づいて、上記第２の対応点を用いて当該第２の
対応点に対応する第１の画像に含まれる第１の対応点を
探索した第２の探索結果を求め、上記第１の探索結果及び上記第２の探索結果に基づいて
第１の対応点と第２の対応点との組からなる対応点候補
の評価値を変化させて、対応点候補を選択することを特
徴とする請求項１０に記載の対応点検出方法。
【請求項１２】第１の画像に含まれる第１の対応点と
当該第１の対応点に対応し第２の画像に含まれる第２の
対応点との組からなる対応点候補を探索した第１の探索
結果及び変化を与えた第２の画像に含まれる第２の対応
点を第１の対応点を用いて探索した第２の探索結果を求
め、上記第１の探索結果及び第２の探索結果に基づいて、第
１の対応点と第２の対応点との組からなる対応点候補の
評価値を変化させて、対応点候補を選択することを特徴
とする請求項１０に記載の対応点検出方法。
【請求項１３】第１の画像に含まれる第１の対応点と
第２の対応点との第１の位置関係と、当該第１の対応点
に対応する第２の画像の第３の対応点と第２の対応点に
対応する第２の画像の第４の対応点との第２の位置関係
とを求め、上記第１の位置関係及び第２の位置関係に基づいて、第
１の対応点と第３の対応点との組からなる対応点候補及
び第２の対応点と第４の対応点との組からなる対応点候
補の評価値を変化させて、対応点候補を選択することを
特徴とする請求項１０に記載の対応点検出方法。
【請求項１４】第１の画像に含まれる複数の対応点と
当該複数の対応点に対応する第２の画像の複数の対応点
候補との間の複数の対応関係を求め、複数の対応関係の均一性に基づいて、複数の対応点候補
の評価値を変化させ、対応点候補を選択することを特徴
とする請求項１０に記載の対応点検出方法。
【請求項１５】第１の画像に含まれる第１の対応点と
当該第１の対応点に対応し第２の画像に含まれる第２の
対応点との組からなる対応点候補を探索した第１の探索
結果に基づいて、上記第２の対応点を用いて当該第２の
対応点に対応する第１の画像に含まれる第１の対応点を
探索した第２の探索結果を求め、上記第１の探索結果及
び上記第２の探索結果に基づいて第１の対応点と第２の
対応点との組からなる対応点候補の評価値を変化させ
て、対応点候補を選択する第１の選択処理、第１の画像
に含まれる第１の対応点と当該第１の対応点に対応し第
２の画像に含まれる第２の対応点との組からなる対応点
候補を探索した第１の探索結果及び変化を与えた第２の
画像に含まれる第２の対応点を第１の対応点を用いて探
索した第２の探索結果を求め、上記第１の探索結果及び
第２の探索結果に基づいて、第１の対応点と第２の対応
点との組からなる対応点候補の評価値を変化させて、対
応点候補を選択する第２の選択処理、第１の画像に含ま
れる第１の対応点と第２の対応点との第１の位置関係
と、当該第１の対応点に対応する第２の画像の第３の対
応点と第２の対応点に対応する第２の画像の第４の対応
点との第２の位置関係とを求め、上記第１の位置関係及
び第２の位置関係に基づいて、第１の対応点と第３の対
応点との組からなる対応点候補及び第２の対応点と第４
の対応点との組からなる対応点候補の評価値を変化させ
て、対応点候補を選択する第３の選択処理のうち、少な
くとも一の選択処理を用いることを特徴とする請求項１
０に記載の対応点検出方法。
【請求項１６】第１の画像に含まれる第１の対応点と
当該第１の対応点に対応し第２の画像に含まれる第２の
対応点との組からなる対応点候補を探索した第１の探索
結果に基づいて、上記第２の対応点を用いて当該第２の
対応点に対応する第１の画像に含まれる第１の対応点を
探索した第２の探索結果を求め、上記第１の探索結果及
び上記第２の探索結果に基づいて第１の対応点と第２の
対応点との組からなる対応点候補の評価値を変化させ、第１の画像に含まれる第１の対応点と当該第１の対応点
に対応し第２の画像に含まれる第２の対応点との組から
なる対応点候補を探索した第１の探索結果及び変化を与
えた第２の画像に含まれる第２の対応点を第１の対応点
を用いて探索した第２の探索結果を求め、上記第１の探
索結果及び第２の探索結果に基づいて、第１の対応点と
第２の対応点との組からなる対応点候補の評価値を変化
させ、第１の画像に含まれる第１の対応点と第２の対応点との
第１の位置関係と、当該第１の対応点に対応する第２の
画像の第３の対応点と第２の対応点に対応する第２の画
像の第４の対応点との第２の位置関係とを求め、上記第
１の位置関係及び第２の位置関係に基づいて、第１の対
応点と第３の対応点との組からなる対応点候補及び第２
の対応点と第４の対応点との組からなる対応点候補の評
価値を変化させて、対応点を選択することを特徴とする
請求項１０に記載の対応点検出方法。
【請求項１７】選択した対応点候補の周囲に近接して
位置する一の画像内に含まれる点を用いて、他の画像と
の相関を検出し、相関に基づいて画像間の対応関係を示
す対応点候補を探索することを特徴とする請求項１０に
記載の対応点検出方法。
【請求項１８】選択された対応点候補を用い、評価値
の範囲を変化させて再び対応点候補を選択することを特
徴とする請求項１０に記載の対応点検出方法。