JP4181810B2

JP4181810B2 - Corresponding point search method of image, corresponding point search device, and corresponding point search program

Info

Publication number: JP4181810B2
Application number: JP2002212388A
Authority: JP
Inventors: 弘之大西
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2002-07-22
Filing date: 2002-07-22
Publication date: 2008-11-19
Anticipated expiration: 2022-07-22
Also published as: JP2004054681A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索方法、対応点探索装置および対応点探索プログラムに関し、特に、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる画像の対応点探索方法、対応点探索装置および対応点探索プログラムに関する。
【０００２】
【従来の技術】
従来、スキャナなどの画像入力装置から入力された入力画像とあらかじめ登録した参照画像とを照合する際に、両画像の対応点を探索して画像間の対応付けをおこなう技術が知られている。
【０００３】
たとえば、「T.Poggio，V.TorreandC.Koch，”Computational vision and regularization theory”，NATURE Vol.317，pp. 314-319，1985」（従来技術１）には、設定したエネルギー関数を変分法の枠組みにより最小化する標準正則化理論を適用した技術が開示されている。この従来技術１が採用する標準正則化理論は、局所的な情報のみを使った繰り返し計算によりエネルギーを最小化することによって対応点を計算するものであるので、並列分散処理をおこなうことができ、人間の脳情報処理に近い処理を実現できる可能性がある。
【０００４】
また、「内田誠一，迫江博昭，”動的計画法に基づく単調連続２次元ワープ法の検討”，信学論（D-II） Vol. J81-D-II no. 6，pp.1251-1258，June 1998」（従来技術２）には、ＤＰ（Dynamic Programming）を用いて効率的に最適解を探索する２次元ＤＰワープ法を採用した技術が開示されている。この従来技術２によれば、最適化問題を効率的に計算することができる。
【０００５】
ところが、上記従来技術１のものは、局所的な情報のみを使った繰り返し計算によってエネルギーを最小化して対応点を計算するため、初期値の影響が大きくなるという問題や、局所解（ローカルミニマム）に陥り易いことから最適な対応付け結果を得られ難いという問題がある。また、従来技術２のものは、ＤＰによって効率よく最適解を探索できるものの、その計算量が膨大なものになるという問題がある。具体的には、最適解を得るためには画像サイズの指数オーダーの計算時間が必要となる。
【０００６】
これらのことから、本願特許出願人は、特願２００２−０５６６６１号（従来技術３）において、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速に得ることができる画像の対応点探索装置、対応点探索方法およびその方法をコンピュータに実行させるプログラムを提案した。
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来技術３では、縦方向および横方向に格子状に整列した複数の類似度画像を作成した後に、各類似度画像について複数方向の累積加算をおこなっているので、文字部分の因子が存在しない類似度画像についても累積加算をおこなうことになり、結果的に処理遅延が生ずることになる。
【０００８】
もともと、格子状に整列した複数の類似度画像を作成したとしても、この類似度画像の中には、画像中の文字部分に寄与する因子が存在しないものがあるので、これら累積加算する必要のない類似度画像を作成する必要はなく、累積加算処理の対象とする必要もない。
【０００９】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる画像の対応点探索方法、対応点探索装置および対応点探索プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る画像の対応点探索方法は、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索方法であって、前記参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、前記入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ前記参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成する部分画像生成工程と、前記部分画像生成工程により生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成する類似度画像生成工程と、前記類似度画像生成工程により生成された各類似度画像に対して順序を割り振る順序付け工程と、前記類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返す累積加算工程と、前記累積加算工程により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定工程とを含んだことを特徴とする。
【００１１】
また、請求項２の発明に係る画像の対応点探索方法は、請求項１の発明において、前記部分画像生成工程は、入力画像および参照画像に含まれる文字部分を膨張処理する膨張処理工程と、前記膨張処理工程により膨張処理された文字部分のエッジを抽出するエッジ抽出工程とを含み、前記エッジ抽出工程により処理された入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成することを特徴とする。
【００１２】
また、請求項３の発明に係る画像の対応点探索方法は、請求項１または２の発明において、前記類似度画像生成工程は、一般化ハフ変換の投票値、正規化相関係数またはユークリッド距離を前記類似度としたことを特徴とする。
【００１３】
また、請求項４の発明に係る画像の対応点探索方法は、請求項１、２または３の発明において、前記順序付け工程は、前記類似度画像生成工程により生成された各類似度画像に対して複数パターンの順序を割り振り、前記累積加算工程は、前記順序付け工程により割り振られた順序のパターンを変えつつ、前記類似度画像生成工程により生成された各類似度画像を累積加算する処理を再帰的に繰り返すことを特徴とする。
【００１４】
また、請求項５の発明に係る画像の対応点探索方法は、請求項１〜４のいずれか一つの発明において、前記累積加算工程は、第１の類似度画像を形成する各画素の画素値を該第１の類似度画像に隣接する第２の類似度画像の画素の画素値に加算する際に、前記第１の類似度画像の注目画素の周辺画素のうちの最大値を持つ画素の画素値を該注目画素に対応する前記第２の類似度画像の画素の画素値に加算することを特徴とする。
【００１５】
また、請求項６の発明に係る画像の対応点探索装置は、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索装置であって、前記参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、前記入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ前記参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成する部分画像生成手段と、前記部分画像生成手段により生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成する類似度画像生成手段と、前記類似度画像生成手段により生成された各類似度画像に対して順序を割り振る順序付け手段と、前記類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返す累積加算手段と、前記累積加算手段により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定手段とを備えたことを特徴とする。
【００１６】
また、請求項７の発明に係る画像の対応点探索装置は、請求項６の発明において、前記部分画像生成手段は、入力画像および参照画像に含まれる文字部分を膨張処理する膨張処理手段と、前記膨張処理手段により膨張処理された文字部分のエッジを抽出するエッジ抽出手段とを備え、前記エッジ抽出手段により処理された入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成することを特徴とする。
【００１７】
また、請求項８の発明に係る画像の対応点探索プログラムは、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索プログラムであって、前記参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、前記入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ前記参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成する部分画像生成手順と、前記部分画像生成手順により生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成する類似度画像生成手順と、前記類似度画像生成手順により生成された各類似度画像に対して順序を割り振る順序付け手順と、前記類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返す累積加算手順と、前記累積加算手順により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定手順とをコンピュータに実行させることを特徴とする。
【００１８】
また、請求項９の発明に係る画像の対応点探索プログラムは、請求項８の発明において、前記部分画像生成手順は、入力画像および参照画像に含まれる文字部分を膨張処理する膨張処理手順と、前記膨張処理手順により膨張処理された文字部分のエッジを抽出するエッジ抽出手順とを含み、前記エッジ抽出手順により処理された入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成することを特徴とする。
【００１９】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像の対応点探索方法、対応点探索装置および対応点探索プログラムの実施の形態を詳細に説明する。
【００２０】
図１は、本実施の形態で用いる対応点探索装置１の構成を示す機能ブロック図である。同図に示す対応点探索装置１は、入力画像および参照画像から入力部分画像および参照部分画像を生成し、これらの間の類似度を示す類似度画像を生成し、各類似度画像に対して順序を割り振り、割り振った順序にしたがって各類似度画像を累積加算しつつ、入力画像と参照画像の対応点を決定するよう構成した装置である。なお、ここでは説明の便宜上、あらかじめ参照部分画像を参照部分画像一時記憶部１２に登録しておき、入力画像が入力された際に参照部分画像を参照部分画像一時記憶部１２から読み出すものとする。
【００２１】
同図に示すように、この対応点探索装置１は、画像入力部１０と、部分画像作成部１１と、参照部分画像一時記憶部１２と、類似度画像作成部１３と、順序付け処理部１４と、累積加算処理部１５と、対応点決定部１６とからなる。なお、請求項６の部分画像生成手段、類似度画像生成手段、順序付け手段、累積加算手段および対応点特定手段は、それぞれ部分画像作成部１１、類似度画像作成部１３、順序付け処理部１４、累積加算処理部１５および対応点決定部１６に対応する。また、この対応点探索装置１は、参照画像を登録する登録モードと、入力画像を読み込んで対応点を探索する対応点探索モードとを有する。このモード切替は図示しないボタンによる操作などでおこなう。
【００２２】
画像入力部１０は、縦横のサイズＩ，Ｊからなる参照画像Ｉ₀（ｉ，ｊ）および入力画像Ｉ₁（ｉ，ｊ）（０≦ｉ≦Ｉ−１，０≦ｊ≦Ｊ−１）を入力する入力部である。具体的には、光学的に原稿を読み取って画像を取得するスキャナや、ネットワークから画像を取得するインターフェース部や、二次記憶装置から画像を読み出す読み出し部が該当する。ここで、この入力画像は、歪みや変形を伴うものであっても良いが、参照画像は、入力画像の比較の対象となる画像であるため、歪みなどを伴わないものであることが望ましい。
【００２３】
図２（ａ）には参照画像２１の一例を示しており、同図（ｂ）には入力画像２２の一例を示しており、これらの参照画像２１および入力画像２２は、いずれも「国営太郎の署名（Kokuei Taro）」の文字画像である。なお、たとえば小切手の画像から署名領域を自動的に切り出す場合を想定して、図示したように、入力画像２２のサイズが参照画像２１のサイズよりも大きいこととしている。
【００２４】
部分画像作成部１１は、画像入力部１０により入力された入力画像または参照画像から入力部分画像または参照部分画像を作成する処理部である。この部分画像作成部１１では、単に入力画像または参照画像を複数の領域に分割して部分画像を作成するのではなく、これらの画像を平滑化処理して画像中に含まれる文字部分を膨張させた後に微分オペレータを適用してエッジ強調処理をおこない、かかるエッジの中からサンプリングした複数の点の近傍の画像領域をそれぞれ切り出して部分画像を作成する。
【００２５】
すなわち、参照画像２１から参照部分画像を作成する場合には、参照画像２１に対して平滑化処理およびエッジ強調処理をおこなって図３（ａ）に示す参照画像のエッジ画像３１を作成した後に、このエッジ画像３１からＮ個（同図では９個）のサンプリング点を取得し、各サンプリング点を中心とした小領域を切り出すことによって同図（ｂ）に示す参照部分画像を作成する。また、入力画像２２から入力部分画像を作成する場合には、入力画像２２に対して平滑化処理およびエッジ強調処理をおこなって図４（ａ）に示す入力画像のエッジ画像４１を作成した後に、このエッジ画像４１からＮ個（同図では９個）のサンプリング点を取得し、各サンプリング点を中心とした小領域を切り出すことによって同図（ｂ）に示す入力部分画像を作成する。
【００２６】
その後、かかる部分画像作成部１１は、参照画像を登録する登録モードの場合には、参照部分画像を参照部分画像一時記憶部１２に格納し、入力画像を読み込んで対応点を探索する対応点探索モードの場合には、入力部分画像を類似度画像作成部１３に出力する。
【００２７】
参照部分画像一時記憶部１２は、部分画像作成部１１で作成した各参照部分画像を一時記憶する記憶部であり、類似度画像作成部１３が類似度画像を作成する際に該当する参照部分画像が取り出される。
【００２８】
類似度画像作成部１３は、入力部分画像と参照部分画像の間の変形を考慮した類似度を算定して、該類似度を画素値として持つ類似度画像Ｃn（ｕ，ｖ）（０≦n≦N−１，０≦ｕ≦Ｕ−１，０≦ｖ≦Ｖ−１）を作成する処理部である。ただし、Ｕ，Ｖはそれぞれ類似度画像の縦横のサイズであるものとする。この類似度としては、一般化ハフ変換の投票値を用いることができる。すなわち、部分画像作成部１１でエッジ強調処理をおこなったのは、エッジ点を特徴量とした一般化ハフ変換の投票値を類似度として用いたためである。
【００２９】
具体的には、図５に示すように、図３（ｂ）の番号１の参照部分画像５２と図４（ｂ）の番号１の入力部分画像５１とについて一般化ハフ変換をおこない、その投票値が示す画像を類似度画像５３とする。同様にして、各番号ごとに参照部分画像と入力部分画像の間の類似度画像を求めると、図６に示すＮ個（ここでは９個）の類似度画像が得られる。なお、この一般化ハフ変換はマッチング処理において通常用いられる技術であるので、ここではその詳細な説明を省略する。
【００３０】
順序付け処理部１４は、各類似度画像に対して累積加算する順序を割り振る処理部であり、割り振られた順番にしたがって累積加算処理部１５が累積加算処理をおこなう。ただし、この順序付け処理部１４は、一通りの順序を割り振るだけではなく、複数通りの順序を割り振る。累積加算処理部１５は、様々な順序で後述する終了条件を満たすまで累積加算をおこなうからである。
【００３１】
累積加算処理部１５は、順序付け処理部１４によって割り当てられた順序にしたがって類似度画像を累積加算する処理部であり、たとえば図６に示した順序１が９つの類似度画像に割り当てられた場合には、図７に矢印で示すように、この順序１で各類似度画像を累積加算することになる。なお、各類似度画像が参照画像のエッジ画像のどの部分に対応するかを明確にするため、同図では各類似度画像を参照画像のエッジ画像上に配置している。
【００３２】
この累積加算をおこなう際には、ｎ＝１〜Ｎ−１の類似度画像について、
Ｃ_n（ｕ，ｖ）＝Ｃ_n（ｕ，ｖ）＋α・Ｍａｘ（Ｃ_n-1（ｐ，ｑ））
を順次再帰的に計算することになる。ただし、Ｍａｘ（）は最大値を示し、αは定数であり、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｎ≦Ｎ−１、ｕ−１≦ｐ≦ｕ＋１、ｖ−１≦ｑ≦ｖ＋１とする。
【００３３】
すなわち、図８に示すように、Ｃ_n-1（ｐ，ｑ）を中心とする３×３画素のうちの最大の画素値を求め、この最大の画素値をα倍してＣ_n（ｐ，ｑ）の画素値に加算する処理を再帰的に繰り返すことになる。
【００３４】
また、かかる順序で各類似度画像の累積加算を終えたならば、別の順序で累積加算をおこなう。たとえば、図６に示した順序２が９つの類似度画像に割り当てられた場合には、図９に矢印で示すように、この順序２で各類似度画像を累積加算することになる。
【００３５】
対応点決定部１６は、累積加算処理部１５と連携しながら累積加算後の類似度画像に基づいて対応点を決定する処理部である。具体的には、まず一連番号で全類似度画像について累積加算処理をおこなったならば、各類似度画像の最大値の位置を検出し、それらの位置と前回の累積加算処理時における最大値の位置との変化が所定の範囲内でなければ累積加算処理をフィードバックして繰り返し、所定の範囲内となった時点で繰り返しを終了し、そのときの各類似度画像の最大値の位置を対応点として決定する。
【００３６】
たとえば、累積加算処理の繰り返しによって図１０に示す各類似度画像が得られた場合には、各類似度画像の最大値の位置の変化分を調べ、その変化分が所定の範囲内となった場合には、各類似度画像の最大値の位置を求めてこれを対応点とする。その結果、図１１（ａ）に示す参照画像上の点に対応する同図（ｂ）に示す入力画像上の対応点が得られる。
【００３７】
次に、図１に示した対応点検索装置１の処理手順について説明する。なお、上記説明と一部重複するが、図２〜図１１を用いて処理の流れを例示しつつ処理手順について説明することとする。ただし、ここでは図２（ａ）に示した参照画像２１についての参照部分画像（図３（ｂ））がすでに参照部分画像一時記憶部１２に格納されているものとする。
【００３８】
図１２は、図１に示した対応点検索装置１の対応点探索モード時の処理手順を示すフローチャートである。同図に示すように、この対応点検出装置１が図２（ｂ）に示した入力画像２２を取得したならば、この入力画像２２から図４（ｂ）に示した入力部分画像を作成する（ステップＳ１０１）。
【００３９】
その後、参照部分画像一時記憶部１２に格納した参照部分画像を取り出し、この参照部分画像と入力部分画像の間の類似度画像を作成する（ステップＳ１０２）。たとえば、図５に示すようにして入力部分画像５１と参照部分画像５２の一般化ハフ変換の投票値からなる類似度を画素値とする類似度画像５３の作成を各入力部分画像ごとにおこなって、図６に示したような複数の類似度画像を作成する。
【００４０】
その後、図６に示したように、各類似度画像ごとに順序を設定し（ステップＳ１０３）、この順序にしたがって類似度画像の累積加算処理をおこない（ステップＳ１０４）、この累積加算結果を用いて類似度画像の最大値の位置を検出する（ステップＳ１０５）。具体的には、図８に示した加算処理を繰り返すことにより、図１０に示したような類似度画像を作成し、各類似度画像の最大値の位置を検出する。
【００４１】
そして、最大値の位置の変動が一定値以内であるか否かを調べ（ステップＳ１０６）、一定値以内でなければ（ステップＳ１０６否定）、ステップＳ１０３に移行して順序を変えて同様の処理を繰り返し、一定値以内であれば（ステップＳ１０６肯定）、この位置を対応点として処理を終了する。
【００４２】
次に、図１に示した累積加算処理部１５による累積加算処理手順について説明する。図１３は、図１に示した累積加算処理部１５による累積加算処理手順を示すフローチャートである。同図に示すように、まず変数ｕおよびｖを０にするとともに、変数ｎを１とする初期化をおこなう（ステップＳ２０１〜Ｓ２０３）。ここで、変数ｕ，ｖは探索範囲を示すｉ方向およびｊ方向の変数である。
【００４３】
そして、この初期化を終えたならば、
Ｃ_n（ｕ，ｖ）＝Ｃ_n（ｕ，ｖ）＋α・Ｍａｘ（Ｃ_n-1（ｐ，ｑ））
の算定式による計算をおこなう（ステップＳ２０４）。
【００４４】
その後、変数ｖをインクリメントし（ステップＳ２０５）、この変数ｖがＶよりも小さければ（ステップＳ２０６肯定）、ステップＳ２０４に移行して加算処理を繰り返す。つまり、探索範囲をｊ方向にずらすのである。
【００４５】
これに対して、変数ｖがＶ以上であれば（ステップＳ２０６否定）、変数ｕをインクリメントし（ステップＳ２０７）、この変数ｕがＵよりも小さければ（ステップＳ２０８肯定）、ステップＳ２０３に移行して加算処理を繰り返す。つまり、探索範囲をｉ方向にずらすことになる。
【００４６】
そして、変数ｕがＵ以上であれば（ステップＳ２０８否定）、ある画素についての計算を終了し、次の画素に移行する。具体的には、変数ｎをインクリメントして類似度画像を移行させた後に（ステップＳ２０９）、この変数ｎをＮ−１と比較し（ステップＳ２０９）、この変数ｎがＮ−１よりも小さければ（ステップＳ２１０肯定）、ステップＳ２０２に移行して加算処理を繰り返す。
【００４７】
これに対して、変数ｎがＮ−１以上であれば（ステップＳ２１０否定）、処理を終了する。上記一連の処理をおこなうことにより、各類似度画像の全画素についてｊ方向の累積加算結果が得られることになる。
【００４８】
ところで、上記図１３のフローチャートでは、変数ｕ，ｖのインクリメントをおこないながら最大値を算出していた。別の計算方法として、あらかじめＣ_n-1（ｕ，ｖ）に最大値フィルターをかけた最大値フィルター画像Ｃ’_n-1（ｕ，ｖ）を作成しておき、α倍してからＣ_n（ｕ，ｖ）と加算することもできる。
【００４９】
そこで、かかる最大値フィルターを用いる場合の処理手順を図１４および図１５を用いて説明する。図１４は、図１に示した累積加算処理部１５による最大値フィルターを用いた累積加算処理手順を示すフローチャートであり、図１５は、最大値フィルターの処理手順を示すフローチャートである。
【００５０】
図１４に示すように、変数ｎを１に初期化した後（ステップＳ３０１）、最大値フィルターＣ’_n-1（ｕ，ｖ）を算定する（ステップＳ３０２）。具体的には、図１５に示すように、変数ｕ，ｖを０に初期化した後に（ステップＳ４０１〜Ｓ４０２）、Ｃ’_n（ｐ，ｑ）＝Ｍａｘ［Ｃ_n（ｐ，ｑ）］を計算する（ステップＳ４０３）。ただし、ｕ−１≦ｐ≦ｕ＋１、ｖ−１≦ｑ≦ｖ＋１とする。そして、ｖをインクリメントして（ステップＳ４０４）、この変数ｖがＶよりも小さい場合には（ステップＳ４０５肯定）、ステップＳ４０３に移行して同様に計算をおこなう。また、変数ｖがＶ以上である場合には（ステップＳ４０５否定）、変数ｕをインクリメントして（ステップＳ４０６）、この変数ｕがＵよりも小さい場合には（ステップＳ４０６肯定）、ステップＳ４０２に移行して同様の処理を繰り返し、結果的に最大値を求める。
【００５１】
このようにして最大値フィルターを算定したならば、変数ｕおよびｖを０に初期化した後（ステップＳ３０３〜Ｓ３０４）、
Ｃ_n（ｕ，ｖ）＝Ｃ_n（ｕ，ｖ）＋α・Ｍａｘ（Ｃ’_n-1（ｐ，ｑ））
の算定式による計算をおこなう（ステップＳ３０５）。
【００５２】
その後、変数ｖをインクリメントし（ステップＳ３０６）、この変数ｖがＶよりも小さければ（ステップＳ３０７肯定）、ステップＳ３０５に移行して加算処理を繰り返す。つまり、探索範囲をｊ方向にずらすのである。
【００５３】
これに対して、変数ｖがＶ以上であれば（ステップＳ３０７否定）、変数ｕをインクリメントし（ステップＳ３０８）、この変数ｕがＵよりも小さければ（ステップＳ３０９肯定）、ステップＳ３０４に移行して加算処理を繰り返す。つまり、探索範囲をｉ方向にずらすことになる。
【００５４】
そして、変数ｕがＵ以上であれば（ステップＳ３０９否定）、ある画素についての計算を終了し、次の画素に移行する。具体的には、変数ｎをインクリメントして類似度画像を移行させた後に（ステップＳ３１０）、この変数ｎをＮ−１と比較し（ステップＳ３１１）、この変数ｎがＮ−１よりも小さければ（ステップＳ３１１肯定）、ステップＳ３０２に移行して加算処理を繰り返す。これに対して、変数ｎがＮ−１以上であれば（ステップＳ３１１否定）、処理を終了する。
【００５５】
上述してきたように、本実施の形態によれば、部分画像作成部１１により入力画像および参照画像から入力部分画像および参照部分画像を生成し、類似度画像作成部１３によりこれらの間の類似度を示す類似度画像を生成し、順序付け処理部１４により各類似度画像に対して順序を割り振り、累積加算処理部１５が割り振った順序にしたがって各類似度画像を累積加算しつつ、対応点決定部１６が入力画像と参照画像の対応点を決定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥ることなく安定した対応付け結果を高速かつ効率良く取得することができる。
【００５６】
なお、本実施の形態では、一般化ハフ変換の投票値を類似度とした場合を示したが、本発明はこれに限定されるものではなく、正規化相関係数（σ_fg／（σ_f・σ_g））やユークリッド距離などを類似度として用いることもでき、この場合には、部分画像作成部１１における平滑化処理やエッジ強調処理を省いて入力画像または参照画像そのものから類似度画像を作成することができる。
【００５７】
また、本実施の形態では、順序付け処理部１４が設定した順序にしたがって累積加算処理をおこない、その後も順序付け処理部１４が設定した別の順序で累積加算処理をおこなうこととしたが、本発明はこれに限定されるものではなく、順序付け処理部１４が設定した順序にしたがって累積加算処理をおこなった後に、その逆順で累積加算処理をおこなうよう構成することもできる。
【００５８】
【発明の効果】
以上説明したように、請求項１の発明によれば、参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成し、生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成し、生成された各類似度画像に対して順序を割り振り、類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返し、累積加算処理された各類似度画像の画素値が最大となる位置を参照画像に対応する入力画像の対応点として特定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することが可能な画像の対応点探索方法が得られるという効果を奏する。
【００５９】
また、請求項２の発明によれば、入力画像および参照画像に含まれる文字部分を膨張処理し、膨張処理した文字部分のエッジを抽出し、抽出した入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成するよう構成したので、効率良く一般化ハフ変換を類似度として適用することが可能な画像の対応点探索方法が得られるという効果を奏する。
【００６０】
また、請求項３の発明によれば、一般化ハフ変換の投票値、正規化相関係数またはユークリッド距離を類似度とするよう構成したので、効率良く類似度画像を取得することが可能な画像の対応点探索方法が得られるという効果を奏する。
【００６１】
また、請求項４の発明によれば、各類似度画像に対して複数パターンの順序を割り振り、割り振った順序のパターンを変えつつ、各類似度画像を累積加算する処理を再帰的に繰り返すよう構成したので、類似度画像に割り振った順序の影響を低減することが可能な画像の対応点探索方法が得られるという効果を奏する。
【００６２】
また、請求項５の発明によれば、第１の類似度画像を形成する各画素の画素値を該第１の類似度画像に隣接する第２の類似度画像の画素の画素値に加算する際に、第１の類似度画像の注目画素の周辺画素のうちの最大値を持つ画素の画素値を該注目画素に対応する第２の類似度画像の画素の画素値に加算するよう構成したので、無駄な累積加算を省いて効率良く変形を吸収することが可能な画像の対応点探索方法が得られるという効果を奏する。
【００６３】
また、請求項６の発明によれば、参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成し、生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成し、生成された各類似度画像に対して順序を割り振り、類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返し、累積加算処理された各類似度画像の画素値が最大となる位置を参照画像に対応する入力画像の対応点として特定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することが可能な画像の対応点探索装置が得られるという効果を奏する。
【００６４】
また、請求項７の発明によれば、入力画像および参照画像に含まれる文字部分を膨張処理し、膨張処理した文字部分のエッジを抽出し、抽出した入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成するよう構成したので、効率良く一般化ハフ変換を類似度として適用することが可能な画像の対応点探索装置が得られるという効果を奏する。
【００６５】
また、請求項８の発明によれば、参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成し、生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成し、生成された各類似度画像に対して順序を割り振り、類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返し、累積加算処理された各類似度画像の画素値が最大となる位置を参照画像に対応する入力画像の対応点として特定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することが可能な画像の対応点探索プログラムが得られるという効果を奏する。
【００６６】
また、請求項９の発明によれば、入力画像および参照画像に含まれる文字部分を膨張処理し、膨張処理した文字部分のエッジを抽出し、抽出した入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成するよう構成したので、効率良く一般化ハフ変換を類似度として適用することが可能な画像の対応点探索プログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る対応点探索装置の構成を示す機能ブロック図である。
【図２】本実施の形態で用いる参照画像および入力画像の一例を示す図である。
【図３】参照部分画像の一例を示す図である。
【図４】入力部分画像の一例を示す図である。
【図５】類似度画像の作成概念を説明するための説明図である。
【図６】図４に示した各入力部分画像に対応する類似度画像および割り振る順序の一例を示す図である。
【図７】累積加算処理を説明するための説明図である。
【図８】累積加算処理（最大値を加算）を説明するための説明図である。
【図９】別の順序での累積加算処理を説明するための説明図である。
【図１０】累積加算後の類似度画像を示す図である。
【図１１】入力画像と参照画像の対応点を示す図である。
【図１２】図１に示した対応点探索装置の処理手順を示すフローチャートである。
【図１３】累積加算処理手順の一例を示すフローチャートである。
【図１４】最大値フィルターを用いて累積加算処理をおこなう場合の処理手順の一例を示すフローチャートである。
【図１５】最大値フィルターの処理手順の一例を示すフローチャートである。
【符号の説明】
１対応点探索装置
１０画像入力部
１１部分画像作成部
１２参照部分画像一時記憶部
１３類似度画像作成部
１４順序付け処理部
１５累積加算処理部
１６対応点決定部
２１参照画像
２２入力画像
５１入力部分画像
５２参照部分画像
５３類似度画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image corresponding point search method, a corresponding point search device, and a corresponding point search program for searching for corresponding points that associate an input image with a reference image to be compared with the input image, and in particular, correspondence between images. The present invention relates to a corresponding point search method, a corresponding point search device, and a corresponding point search program for an image that can acquire a stable matching result that is difficult to fall into a local solution at high speed and efficiency.
[0002]
[Prior art]
Conventionally, when matching an input image input from an image input device such as a scanner with a reference image registered in advance, a technique for searching for corresponding points of both images and associating the images is known.
[0003]
For example, “T. Poggio, V. Torreand C. Koch,“ Computational vision and regularization theory ”, NATURE Vol. A technique that applies a standard regularization theory that is minimized by the above framework is disclosed. The standard regularization theory adopted by this prior art 1 is to calculate corresponding points by minimizing energy by iterative calculation using only local information, so that parallel distributed processing can be performed. There is a possibility that processing close to human brain information processing can be realized.
[0004]
Also, “Seiichi Uchida, Hiroaki Sakoe,“ Study of monotonic continuous two-dimensional warp method based on dynamic programming ”, Shingaku theory (D-II) Vol. J81-D-II no. 6, pp.1251- 1258, June 1998 "(Prior Art 2) discloses a technique that employs a two-dimensional DP warp method for efficiently searching for an optimal solution using DP (Dynamic Programming). According to this prior art 2, the optimization problem can be calculated efficiently.
[0005]
However, in the above prior art 1, since the corresponding points are calculated by minimizing energy by iterative calculation using only local information, there is a problem that the influence of the initial value becomes large, and a local solution (local minimum). There is a problem that it is difficult to obtain an optimum matching result because it is easy to fall into the process. Moreover, although the thing of the prior art 2 can search an optimal solution efficiently by DP, there exists a problem that the computational complexity becomes huge. Specifically, in order to obtain an optimal solution, calculation time in the exponent order of the image size is required.
[0006]
From these facts, the applicant of the present patent application can obtain a stable matching result that is difficult to fall into a local solution at a high speed when performing matching between images in Japanese Patent Application No. 2002-056661 (prior art 3). A corresponding point searching apparatus for an image, a corresponding point searching method, and a program for causing a computer to execute the method have been proposed.
[0007]
[Problems to be solved by the invention]
However, in this prior art 3, since a plurality of similarity images arranged in a grid pattern in the vertical direction and the horizontal direction are created and then cumulative addition is performed in a plurality of directions for each similarity image, the factor of the character part is Cumulative addition is also performed for non-existing similarity images, resulting in processing delay.
[0008]
Originally, even if a plurality of similarity images arranged in a grid pattern are created, some of the similarity images do not have a factor that contributes to the character portion in the image. There is no need to create an image with no similarity, and there is no need to make a cumulative addition process.
[0009]
The present invention has been made to solve the above-described problems caused by the prior art, and when performing association between images, it is possible to quickly and efficiently acquire a stable association result that does not easily fall into a local solution. An object of the present invention is to provide a corresponding point search method, a corresponding point search device, and a corresponding point search program.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, a corresponding point search method for an image according to the invention of claim 1 searches for a corresponding point that associates an input image with a reference image to be compared with the input image. A corresponding point search method for an image, which is sampled from an edge image of the reference image N The image area near the point While ordering Cut out Number 1 to number N A plurality of reference partial images are generated and sampled from an edge image of the input image N The image area near the point While ordering Cut out larger than the area of the reference partial image Number 1 to number N A partial image generation step of generating a plurality of input partial images, and each of the input partial images generated by the partial image generation step Of the number corresponding to the number A similarity image generation step for obtaining a similarity while shifting a reference partial image on the input partial image, and generating a plurality of similarity images having the obtained similarity as a pixel value, and the similarity image generation step An ordering step of assigning an order to each similarity image, and a similarity having an order obtained by adding 1 to the order of the similarity image, and the maximum pixel value of peripheral pixels located around each pixel of the similarity image The cumulative addition step of recursively repeating the process of cumulatively adding to the pixel value of the pixel located at the corresponding position on the image until the position change of the maximum value before and after the addition falls within a predetermined range, and the cumulative addition step And a corresponding point specifying step of specifying a position where the pixel value of each similarity image subjected to cumulative addition processing is maximum as a corresponding point of the input image corresponding to the reference image.
[0011]
According to a second aspect of the present invention, in the image corresponding point search method according to the first aspect, the partial image generation step includes a dilation processing step of dilating a character portion included in the input image and the reference image; An edge extraction step of extracting an edge of the character portion expanded by the expansion processing step, and an image in the vicinity of a plurality of points sampled from the input image processed by the edge extraction step and the edge image of the reference image Each region is cut out to generate an input partial image and a reference partial image.
[0012]
According to a third aspect of the present invention, in the image corresponding point search method according to the first or second aspect of the invention, the similarity image generation step includes a generalized Hough transform vote value, normalized correlation coefficient, or Euclidean distance. Is the similarity.
[0013]
According to a fourth aspect of the present invention, in the image corresponding point search method according to the first, second, or third aspect of the invention, the ordering step is performed on each similarity image generated by the similarity image generation step. The order of a plurality of patterns is allocated, and the cumulative addition step recursively performs a process of cumulatively adding each similarity image generated by the similarity image generation step while changing the pattern of the order allocated by the ordering step. It is characterized by repetition.
[0014]
According to a fifth aspect of the present invention, in the image corresponding point search method according to any one of the first to fourth aspects, the cumulative addition step includes: a pixel value of each pixel forming the first similarity image; Is added to the pixel value of the pixel of the second similarity image adjacent to the first similarity image, the pixel having the maximum value among the peripheral pixels of the target pixel of the first similarity image. A pixel value is added to a pixel value of a pixel of the second similarity image corresponding to the target pixel.
[0015]
An image corresponding point searching device according to the invention of claim 6 is an image corresponding point searching device for searching for a corresponding point for associating an input image with a reference image to be compared with the input image. Sampled from the edge image of the reference image N The image area near the point While ordering Cut out Number 1 to number N A plurality of reference partial images are generated and sampled from an edge image of the input image N The image area near the point While ordering Cut out larger than the area of the reference partial image Number 1 to number N Partial image generation means for generating a plurality of input partial images, and for each input partial image generated by the partial image generation means Of the number corresponding to the number A similarity image generation means for obtaining a similarity while shifting a reference partial image on the input partial image, and generating a plurality of similarity images having the obtained similarity as a pixel value, and the similarity image generation means An ordering means for assigning an order to each similarity image, and a similarity having an order obtained by adding 1 to the order of the similarity image and the maximum pixel value of the peripheral pixels located around each pixel of the similarity image A cumulative addition means that recursively repeats the process of cumulatively adding to the pixel value of the pixel located at the corresponding position on the image until the position change of the maximum value before and after the addition falls within a predetermined range, and the cumulative addition means Corresponding point specifying means for specifying, as a corresponding point of the input image corresponding to the reference image, a position where the pixel value of each similarity image subjected to cumulative addition processing is maximum is provided.
[0016]
According to a seventh aspect of the present invention, in the image corresponding point search device according to the sixth aspect of the present invention, the partial image generating means expands a character portion included in the input image and the reference image, and An edge extraction unit that extracts an edge of the character portion expanded by the expansion processing unit, and an image near a plurality of points sampled from the input image processed by the edge extraction unit and the edge image of the reference image Each region is cut out to generate an input partial image and a reference partial image.
[0017]
An image corresponding point search program according to the invention of claim 8 is an image corresponding point search program for searching for a corresponding point that associates an input image with a reference image to be compared with the input image, Sampled from the edge image of the reference image N The image area near the point While ordering Cut out Number 1 to number N A plurality of reference partial images are generated and sampled from an edge image of the input image N The image area near the point While ordering Cut out larger than the area of the reference partial image Number 1 to number N A partial image generation procedure for generating a plurality of input partial images, and each of the input partial images generated by the partial image generation procedure Of the number corresponding to the number A similarity image is generated by shifting a reference partial image while shifting the reference partial image on the input partial image, and generating a plurality of similarity images having the calculated similarity as a pixel value, and the similarity image generation procedure. An ordering procedure for assigning an order to each similarity image, and a similarity having an order in which 1 is added to the order of the similarity image with the maximum pixel value of the peripheral pixels located around each pixel of the similarity image The cumulative addition procedure that recursively repeats the process of cumulatively adding to the pixel value of the pixel located at the corresponding position on the image until the position change of the maximum value before and after the addition falls within a predetermined range, and the cumulative addition procedure The computer is caused to execute a corresponding point specifying procedure for specifying, as a corresponding point of the input image corresponding to the reference image, a position where the pixel value of each similarity image subjected to cumulative addition processing is maximized.
[0018]
Further, in the image corresponding point search program according to the invention of claim 9, in the invention of claim 8, the partial image generation procedure includes an expansion processing procedure for expanding the character portion included in the input image and the reference image, An edge extraction procedure for extracting an edge of the character portion expanded by the expansion processing procedure, and an image in the vicinity of a plurality of points sampled from the input image processed by the edge extraction procedure and the edge image of the reference image Each region is cut out to generate an input partial image and a reference partial image.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a corresponding point search method, a corresponding point search apparatus, and a corresponding point search program according to the present invention will be described below in detail with reference to the accompanying drawings.
[0020]
FIG. 1 is a functional block diagram showing the configuration of the corresponding point search apparatus 1 used in the present embodiment. Corresponding point search apparatus 1 shown in FIG. 1 generates an input partial image and a reference partial image from an input image and a reference image, generates a similarity image indicating the similarity between them, and applies each similarity image to each similarity image. The apparatus is configured to allocate the order and determine corresponding points between the input image and the reference image while accumulating the similarity images according to the allocated order. Here, for convenience of explanation, it is assumed that a reference partial image is registered in the reference partial image temporary storage unit 12 in advance and the reference partial image is read from the reference partial image temporary storage unit 12 when an input image is input. .
[0021]
As shown in the figure, the corresponding point search apparatus 1 includes an image input unit 10, a partial image creation unit 11, a reference partial image temporary storage unit 12, a similarity image creation unit 13, and an ordering processing unit 14. , The cumulative addition processing unit 15 and the corresponding point determination unit 16. The partial image generation means, similarity image generation means, ordering means, cumulative addition means, and corresponding point specifying means of claim 6 are respectively a partial image creation section 11, a similarity image creation section 13, an ordering processing section 14, and a cumulative processing section. This corresponds to the addition processing unit 15 and the corresponding point determination unit 16. Further, the corresponding point search device 1 has a registration mode for registering a reference image and a corresponding point search mode for reading an input image and searching for a corresponding point. This mode switching is performed by an operation using a button (not shown).
[0022]
The image input unit 10 includes a reference image I having vertical and horizontal sizes I and J. ₀ (I, j) and input image I ₁ (I, j) is an input unit for inputting (0 ≦ i ≦ I−1, 0 ≦ j ≦ J−1). Specifically, a scanner that optically reads a document to acquire an image, an interface unit that acquires an image from a network, and a reading unit that reads an image from a secondary storage device are applicable. Here, the input image may be accompanied by distortion or deformation. However, since the reference image is an image to be compared with the input image, it is desirable that the input image does not involve distortion.
[0023]
FIG. 2A shows an example of the reference image 21, and FIG. 2B shows an example of the input image 22. These reference image 21 and input image 22 are both “Taro National Government”. It is a character image of "signature of (Kokuei Taro)". For example, assuming that the signature area is automatically cut out from the check image, the size of the input image 22 is larger than the size of the reference image 21 as illustrated.
[0024]
The partial image creation unit 11 is a processing unit that creates an input partial image or a reference partial image from an input image or a reference image input by the image input unit 10. The partial image creation unit 11 does not simply divide the input image or reference image into a plurality of regions to create partial images, but smoothes these images to expand the character portion included in the image. After that, edge enhancement processing is performed by applying a differential operator, and image regions in the vicinity of a plurality of points sampled from the edges are cut out to create partial images.
[0025]
That is, when creating a reference partial image from the reference image 21, after performing smoothing processing and edge enhancement processing on the reference image 21 to create the edge image 31 of the reference image shown in FIG. N pieces of sampling points (9 pieces in the figure) are acquired from the edge image 31, and a reference partial image shown in FIG. 5B is created by cutting out a small region centered on each sampling point. Further, when creating an input partial image from the input image 22, smoothing processing and edge enhancement processing are performed on the input image 22 to create an edge image 41 of the input image shown in FIG. N sampling points (9 in the figure) are acquired from the edge image 41, and an input partial image shown in FIG. 5B is created by cutting out a small region centered on each sampling point.
[0026]
Thereafter, in the registration mode for registering the reference image, the partial image creation unit 11 stores the reference partial image in the reference partial image temporary storage unit 12, reads the input image, and searches for the corresponding point. In the mode, the input partial image is output to the similarity image creating unit 13.
[0027]
The reference partial image temporary storage unit 12 is a storage unit that temporarily stores each reference partial image created by the partial image creation unit 11, and a reference partial image corresponding when the similarity image creation unit 13 creates a similarity image. Is taken out.
[0028]
The similarity image creation unit 13 calculates a similarity considering the deformation between the input partial image and the reference partial image, and a similarity image Cn (u, v) (0 ≦ n) having the similarity as a pixel value. ≦ N−1, 0 ≦ u ≦ U−1, 0 ≦ v ≦ V−1). However, U and V are the vertical and horizontal sizes of the similarity image. As the similarity, a voting value of generalized Hough transform can be used. That is, the reason that the edge enhancement processing is performed in the partial image creation unit 11 is that the vote value of the generalized Hough transform using the edge point as the feature amount is used as the similarity.
[0029]
Specifically, as shown in FIG. 5, the generalized Hough transform is performed on the reference partial image 52 of number 1 in FIG. 3B and the input partial image 51 of number 1 in FIG. The image indicated by the value is set as a similarity image 53. Similarly, when the similarity image between the reference partial image and the input partial image is obtained for each number, N (here, 9) similarity images shown in FIG. 6 are obtained. Since this generalized Hough transform is a technique that is usually used in the matching process, a detailed description thereof is omitted here.
[0030]
The ordering processing unit 14 is a processing unit that allocates an order of cumulative addition to each similarity image, and the cumulative addition processing unit 15 performs cumulative addition processing according to the allocated order. However, the ordering processing unit 14 allocates not only one order but also a plurality of orders. This is because the cumulative addition processing unit 15 performs cumulative addition in various orders until an end condition described later is satisfied.
[0031]
The cumulative addition processing unit 15 is a processing unit that cumulatively adds similarity images according to the order assigned by the ordering processing unit 14. For example, when order 1 shown in FIG. 6 is assigned to nine similarity images. As shown by arrows in FIG. 7, the similarity images are cumulatively added in this order 1. In order to clarify which part of the edge image of the reference image corresponds to each similarity image, each similarity image is arranged on the edge image of the reference image in FIG.
[0032]
When performing this cumulative addition, for similarity images of n = 1 to N−1,
C _n (U, v) = C _n (U, v) + α · Max (C _n-1 (P, q))
Are sequentially recursively calculated. However, Max () indicates a maximum value, α is a constant, 0 ≦ u ≦ U−1, 0 ≦ v ≦ V−1, 0 ≦ n ≦ N−1, u−1 ≦ p ≦ u + 1, v −1 ≦ q ≦ v + 1.
[0033]
That is, as shown in FIG. _n-1 A maximum pixel value of 3 × 3 pixels centered at (p, q) is obtained, and the maximum pixel value is multiplied by α to obtain C _n The process of adding to the pixel value of (p, q) is recursively repeated.
[0034]
Further, when the cumulative addition of each similarity degree image is completed in this order, the cumulative addition is performed in another order. For example, when the order 2 shown in FIG. 6 is assigned to nine similarity images, the similarity images are cumulatively added in the order 2 as shown by arrows in FIG.
[0035]
The corresponding point determination unit 16 is a processing unit that determines a corresponding point based on the similarity image after cumulative addition in cooperation with the cumulative addition processing unit 15. Specifically, if cumulative addition processing is first performed for all similarity images with a serial number, the position of the maximum value of each similarity image is detected, and the position of the maximum value at the time of the previous cumulative addition processing is detected. If the change from the position is not within the predetermined range, the cumulative addition process is fed back and repeated. When the change is within the predetermined range, the repetition is terminated, and the position of the maximum value of each similarity image at that time is the corresponding point. Determine as.
[0036]
For example, when each similarity image shown in FIG. 10 is obtained by repeating the cumulative addition process, the change in the position of the maximum value of each similarity image is examined, and the change is within a predetermined range. In this case, the position of the maximum value of each similarity image is obtained and used as a corresponding point. As a result, corresponding points on the input image shown in FIG. 11B corresponding to the points on the reference image shown in FIG.
[0037]
Next, the processing procedure of the corresponding point search apparatus 1 shown in FIG. 1 will be described. Although partially overlapping with the above description, the processing procedure will be described while exemplifying the processing flow with reference to FIGS. However, here, it is assumed that the reference partial image (FIG. 3B) for the reference image 21 shown in FIG. 2A is already stored in the reference partial image temporary storage unit 12.
[0038]
FIG. 12 is a flowchart showing a processing procedure in the corresponding point search mode of the corresponding point search apparatus 1 shown in FIG. As shown in FIG. 4, when the corresponding point detection apparatus 1 acquires the input image 22 shown in FIG. 2B, the input partial image shown in FIG. 4B is created from the input image 22. (Step S101).
[0039]
Thereafter, the reference partial image stored in the reference partial image temporary storage unit 12 is taken out, and a similarity image between the reference partial image and the input partial image is created (step S102). For example, as shown in FIG. 5, a similarity image 53 is created for each input partial image with the similarity composed of the vote values of the generalized Hough transform between the input partial image 51 and the reference partial image 52 as pixel values. A plurality of similarity images as shown in FIG. 6 are created.
[0040]
Then, as shown in FIG. 6, the order is set for each similarity image (step S103), and the similarity image is cumulatively added according to this order (step S104), and the cumulative addition result is used. The position of the maximum value of the similarity image is detected (step S105). Specifically, by repeating the addition process shown in FIG. 8, a similarity image as shown in FIG. 10 is created, and the position of the maximum value of each similarity image is detected.
[0041]
Then, it is checked whether or not the variation in the position of the maximum value is within a certain value (step S106). If not within the certain value (No in step S106), the process proceeds to step S103 and the same process is performed by changing the order. Repeatedly, if it is within a certain value (Yes at Step S106), the process is terminated with this position as a corresponding point.
[0042]
Next, a cumulative addition processing procedure by the cumulative addition processing unit 15 shown in FIG. 1 will be described. FIG. 13 is a flowchart showing a cumulative addition processing procedure performed by the cumulative addition processing unit 15 shown in FIG. As shown in the figure, first, the variables u and v are set to 0, and the variable n is set to 1 (steps S201 to S203). Here, the variables u and v are i-direction and j-direction variables indicating the search range.
[0043]
And when this initialization is finished,
C _n (U, v) = C _n (U, v) + α · Max (C _n-1 (P, q))
The calculation is performed according to the calculation formula (step S204).
[0044]
Thereafter, the variable v is incremented (step S205). If the variable v is smaller than V (Yes in step S206), the process proceeds to step S204 and the addition process is repeated. That is, the search range is shifted in the j direction.
[0045]
On the other hand, if the variable v is equal to or greater than V (No at Step S206), the variable u is incremented (Step S207). If the variable u is smaller than U (Yes at Step S208), the process proceeds to Step S203. Repeat the addition process. That is, the search range is shifted in the i direction.
[0046]
If the variable u is greater than or equal to U (No at step S208), the calculation for a certain pixel is terminated and the process proceeds to the next pixel. Specifically, after the variable n is incremented and the similarity image is transferred (step S209), the variable n is compared with N-1 (step S209), and if the variable n is smaller than N−1. (Yes at step S210), the process proceeds to step S202 to repeat the addition process.
[0047]
On the other hand, if the variable n is N−1 or more (No at Step S210), the process is terminated. By performing the above-described series of processing, a cumulative addition result in the j direction is obtained for all the pixels of each similarity image.
[0048]
In the flowchart of FIG. 13, the maximum value is calculated while incrementing the variables u and v. As another calculation method, C _n-1 Maximum value filter image C ′ obtained by applying a maximum value filter to (u, v) _n-1 Create (u, v), multiply by α, then C _n It is also possible to add (u, v).
[0049]
Therefore, a processing procedure when using such a maximum value filter will be described with reference to FIGS. FIG. 14 is a flowchart showing the cumulative addition processing procedure using the maximum value filter by the cumulative addition processing unit 15 shown in FIG. 1, and FIG. 15 is a flowchart showing the processing procedure of the maximum value filter.
[0050]
As shown in FIG. 14, after the variable n is initialized to 1 (step S301), the maximum value filter C ′ _n-1 (U, v) is calculated (step S302). Specifically, as shown in FIG. 15, after the variables u and v are initialized to 0 (steps S401 to S402), C ′ _n (P, q) = Max [C _n (P, q)] is calculated (step S403). However, u−1 ≦ p ≦ u + 1 and v−1 ≦ q ≦ v + 1. Then, v is incremented (step S404), and when the variable v is smaller than V (Yes at step S405), the process proceeds to step S403 and the same calculation is performed. If the variable v is greater than or equal to V (No at Step S405), the variable u is incremented (Step S406). If the variable u is smaller than U (Yes at Step S406), the process proceeds to Step S402. The same processing is repeated, and the maximum value is obtained as a result.
[0051]
If the maximum value filter is calculated in this way, after the variables u and v are initialized to 0 (steps S303 to S304),
C _n (U, v) = C _n (U, v) + α · Max (C ′ _n-1 (P, q))
The calculation is performed according to the formula (step S305).
[0052]
Thereafter, the variable v is incremented (step S306). If the variable v is smaller than V (Yes at step S307), the process proceeds to step S305 and the addition process is repeated. That is, the search range is shifted in the j direction.
[0053]
On the other hand, if the variable v is greater than or equal to V (No at Step S307), the variable u is incremented (Step S308). If the variable u is smaller than U (Yes at Step S309), the process proceeds to Step S304. Repeat the addition process. That is, the search range is shifted in the i direction.
[0054]
If the variable u is greater than or equal to U (No at step S309), the calculation for a certain pixel is terminated and the process proceeds to the next pixel. Specifically, after shifting the similarity image by incrementing the variable n (step S310), the variable n is compared with N-1 (step S311). If the variable n is smaller than N-1, (Step S311 affirmation), it transfers to step S302 and repeats an addition process. On the other hand, if the variable n is N−1 or more (No at step S311), the process is terminated.
[0055]
As described above, according to the present embodiment, the partial image creation unit 11 generates the input partial image and the reference partial image from the input image and the reference image, and the similarity image creation unit 13 performs the similarity between them. Corresponding order determination unit 14 assigns an order to each similarity image by ordering processing unit 14 and cumulatively adds each similarity image according to the order assigned by cumulative addition processing unit 15. Since 16 is configured to determine corresponding points between the input image and the reference image, a stable association result can be acquired quickly and efficiently without falling into a local solution when the association between images is performed.
[0056]
In the present embodiment, the case where the vote value of the generalized Hough transform is used as the similarity is shown, but the present invention is not limited to this, and the normalized correlation coefficient (σ _fg / (Σ _f ・ Σ _g )) Or Euclidean distance can also be used as the similarity. In this case, the similarity image is created from the input image or the reference image itself without the smoothing process and the edge enhancement process in the partial image creation unit 11. Can do.
[0057]
In the present embodiment, the cumulative addition process is performed according to the order set by the ordering processing unit 14, and thereafter, the cumulative addition process is performed in another order set by the ordering processing unit 14. The present invention is not limited to this, and the cumulative addition process may be performed in the reverse order after the cumulative addition process is performed according to the order set by the ordering processing unit 14.
[0058]
【The invention's effect】
As described above, according to the first aspect of the present invention, sampling is performed from the edge image of the reference image. N The image area near the point While ordering Cut out Number 1 to number N Multiple reference partial images were generated and sampled from the edge image of the input image N The image area near the point While ordering Cut out larger than the area of the reference partial image Number 1 to number N Generate multiple input partial images, and generate each input partial image Of the number corresponding to the number The similarity is obtained while shifting the reference partial image on the input partial image, a plurality of similarity images having the obtained similarity as pixel values are generated, an order is assigned to each generated similarity image, and the similarity is determined. The maximum pixel value of peripheral pixels located around each pixel of the degree image is cumulatively added to the pixel value of the pixel located at the corresponding position on the similarity image having an order obtained by adding 1 to the order of the similarity image. The process is recursively repeated until the position change of the maximum value before and after the addition falls within a predetermined range, and the position where the pixel value of each similarity image subjected to the cumulative addition process becomes the maximum of the input image corresponding to the reference image Since it is configured to identify as a corresponding point, an image corresponding point search method capable of quickly and efficiently obtaining a stable matching result that is difficult to fall into a local solution when performing correlation between images can be obtained. Has the effect That.
[0059]
According to the second aspect of the present invention, the character portion included in the input image and the reference image is expanded, the edges of the expanded character portion are extracted, and the extracted input image and the edge image of the reference image are sampled. In addition, it is configured to generate an input partial image and a reference partial image by cutting out image regions in the vicinity of a plurality of points, so that it is possible to efficiently apply the generalized Hough transform as a similarity degree. The effect that is obtained.
[0060]
Further, according to the invention of claim 3, since the configuration is such that the vote value of the generalized Hough transform, the normalized correlation coefficient, or the Euclidean distance is set as the similarity, the image that can efficiently acquire the similarity image The corresponding point search method can be obtained.
[0061]
Further, according to the invention of claim 4, the order of plural patterns is assigned to each similarity image, and the process of accumulating each similarity image is recursively repeated while changing the pattern of the assigned order. Therefore, there is an effect that an image corresponding point search method capable of reducing the influence of the order assigned to similarity images is obtained.
[0062]
According to the invention of claim 5, the pixel value of each pixel forming the first similarity image is added to the pixel value of the pixel of the second similarity image adjacent to the first similarity image. In this case, the pixel value of the pixel having the maximum value among the peripheral pixels of the target pixel of the first similarity image is added to the pixel value of the pixel of the second similarity image corresponding to the target pixel. Therefore, it is possible to obtain an image corresponding point search method capable of efficiently absorbing deformation while omitting useless cumulative addition.
[0063]
Further, according to the invention of claim 6, it is sampled from the edge image of the reference image. N The image area near the point While ordering Cut out Number 1 to number N Multiple reference partial images were generated and sampled from the edge image of the input image N The image area near the point While ordering Cut out larger than the area of the reference partial image Number 1 to number N Generate multiple input partial images, and generate each input partial image Of the number corresponding to the number The similarity is obtained while shifting the reference partial image on the input partial image, a plurality of similarity images having the obtained similarity as pixel values are generated, an order is assigned to each generated similarity image, and the similarity is determined. The maximum pixel value of peripheral pixels located around each pixel of the degree image is cumulatively added to the pixel value of the pixel located at the corresponding position on the similarity image having an order obtained by adding 1 to the order of the similarity image. The process is recursively repeated until the position change of the maximum value before and after the addition falls within a predetermined range, and the position where the pixel value of each similarity image subjected to the cumulative addition process becomes the maximum of the input image corresponding to the reference image Since it is configured to identify as a corresponding point, an image corresponding point search device capable of obtaining a stable matching result that is difficult to fall into a local solution at high speed and efficiently when matching between images is obtained. Has the effect That.
[0064]
According to the seventh aspect of the present invention, the character portion included in the input image and the reference image is expanded, the edge of the expanded character portion is extracted, and the extracted input image and the edge image of the reference image are sampled. In addition, an image corresponding point search device capable of efficiently applying the generalized Hough transform as a similarity is configured to generate an input partial image and a reference partial image by cutting out image areas in the vicinity of a plurality of points. The effect that is obtained.
[0065]
According to the eighth aspect of the present invention, sampling is performed from the edge image of the reference image. N The image area near the point While ordering Cut out Number 1 to number N Multiple reference partial images were generated and sampled from the edge image of the input image N The image area near the point While ordering Cut out larger than the area of the reference partial image Number 1 to number N Generate multiple input partial images, and generate each input partial image Of the number corresponding to the number The similarity is obtained while shifting the reference partial image on the input partial image, a plurality of similarity images having the obtained similarity as pixel values are generated, an order is assigned to each generated similarity image, and the similarity is determined. The maximum pixel value of peripheral pixels located around each pixel of the degree image is cumulatively added to the pixel value of the pixel located at the corresponding position on the similarity image having an order obtained by adding 1 to the order of the similarity image. The process is recursively repeated until the position change of the maximum value before and after the addition falls within a predetermined range, and the position where the pixel value of each similarity image subjected to the cumulative addition process becomes the maximum of the input image corresponding to the reference image Since it is configured to identify as corresponding points, an image corresponding point search program can be obtained that can quickly and efficiently acquire a stable matching result that does not easily fall into a local solution when matching between images. Effect Achieve the.
[0066]
According to the ninth aspect of the present invention, the character portion included in the input image and the reference image is expanded, the edge of the expanded character portion is extracted, and the extracted input image and the edge image of the reference image are sampled. Since the input partial image and the reference partial image are generated by cutting out the image areas in the vicinity of the plurality of points, the corresponding point search program that can efficiently apply the generalized Hough transform as the similarity The effect that is obtained.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a configuration of a corresponding point search apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a reference image and an input image used in the present embodiment.
FIG. 3 is a diagram illustrating an example of a reference partial image.
FIG. 4 is a diagram illustrating an example of an input partial image.
FIG. 5 is an explanatory diagram for explaining a concept of creating a similarity image.
6 is a diagram illustrating an example of a similarity image corresponding to each input partial image illustrated in FIG. 4 and an allocation order. FIG.
FIG. 7 is an explanatory diagram for explaining cumulative addition processing;
FIG. 8 is an explanatory diagram for explaining cumulative addition processing (adding a maximum value);
FIG. 9 is an explanatory diagram for explaining cumulative addition processing in another order;
FIG. 10 is a diagram showing a similarity image after cumulative addition.
FIG. 11 is a diagram illustrating corresponding points between an input image and a reference image.
12 is a flowchart showing a processing procedure of the corresponding point search apparatus shown in FIG. 1;
FIG. 13 is a flowchart illustrating an example of a cumulative addition processing procedure.
FIG. 14 is a flowchart illustrating an example of a processing procedure when cumulative addition processing is performed using a maximum value filter.
FIG. 15 is a flowchart illustrating an example of a maximum value filter processing procedure;
[Explanation of symbols]
1 Corresponding point search device
10 Image input section
11 Partial image creation unit
12 Reference partial image temporary storage unit
13 Similarity Image Creation Unit
14 Ordering processing part
15 Cumulative addition processor
16 Corresponding point determination part
21 Reference image
22 Input image
51 Input partial image
52 Reference partial image
53 Similarity Image

Claims

入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索方法であって、
前記参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、前記入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ前記参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成する部分画像生成工程と、
前記部分画像生成工程により生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成する類似度画像生成工程と、
前記類似度画像生成工程により生成された各類似度画像に対して順序を割り振る順序付け工程と、
前記類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返す累積加算工程と、
前記累積加算工程により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定工程と
を含んだことを特徴とする画像の対応点探索方法。A corresponding point search method for an image for searching for a corresponding point that associates an input image with a reference image to be compared with the input image,
To generate a plurality of reference partial image number N with the number 1 is cut out while ordering the image region in the vicinity of the point of the N sampled from the edge image of the reference image, which is sampled from the edge image of the input image A partial image generation step of generating a plurality of input partial images numbered from 1 to N by cutting out larger than the reference partial image region while ordering image regions in the vicinity of N points;
The similarity is obtained by shifting the reference partial image having the number corresponding to the number of each input partial image generated by the partial image generation step on the input partial image, and the plurality of similarities having the obtained similarity as pixel values A similarity image generation step for generating an image;
An ordering step of assigning an order to each similarity image generated by the similarity image generation step;
The maximum pixel value of peripheral pixels located around each pixel of the similarity image is accumulated to the pixel value of the pixel located at the corresponding position on the similarity image having an order obtained by adding 1 to the order of the similarity image. A cumulative addition step that recursively repeats the addition process until the position change of the maximum value before and after the addition falls within a predetermined range;
A corresponding point specifying step of specifying a position where the pixel value of each similarity image that has been cumulatively added in the cumulative addition step is maximum as a corresponding point of the input image corresponding to the reference image. Corresponding point search method for images.

前記部分画像生成工程は、入力画像および参照画像に含まれる文字部分を膨張処理する膨張処理工程と、前記膨張処理工程により膨張処理された文字部分のエッジを抽出するエッジ抽出工程とを含み、前記エッジ抽出工程により処理された入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成することを特徴とする請求項１に記載の画像の対応点探索方法。 The partial image generation step includes an expansion processing step of expanding a character portion included in the input image and the reference image, and an edge extraction step of extracting an edge of the character portion expanded by the expansion processing step, The input partial image and the reference partial image are generated by cutting out image regions in the vicinity of a plurality of points sampled from the input image processed by the edge extraction step and the edge image of the reference image, respectively. Corresponding point search method of described image.

前記類似度画像生成工程は、一般化ハフ変換の投票値、正規化相関係数またはユークリッド距離を前記類似度としたことを特徴とする請求項１または２に記載の画像の対応点探索方法。 3. The corresponding point search method according to claim 1, wherein the similarity image generation step uses a vote value, a normalized correlation coefficient, or a Euclidean distance of a generalized Hough transform as the similarity.

前記順序付け工程は、前記類似度画像生成工程により生成された各類似度画像に対して複数パターンの順序を割り振り、前記累積加算工程は、前記順序付け工程により割り振られた順序のパターンを変えつつ、前記類似度画像生成工程により生成された各類似度画像を累積加算する処理を再帰的に繰り返すことを特徴とする請求項１、２または３に記載の画像の対応点探索方法。 The ordering step assigns the order of a plurality of patterns to each similarity image generated by the similarity image generation step, and the cumulative addition step changes the pattern of the order assigned by the ordering step, 4. The corresponding point search method for an image according to claim 1, 2, or 3, wherein the process of accumulating each similarity image generated by the similarity image generation step is recursively repeated.

前記累積加算工程は、第１の類似度画像を形成する各画素の画素値を該第１の類似度画像に隣接する第２の類似度画像の画素の画素値に加算する際に、前記第１の類似度画像の注目画素の周辺画素のうちの最大値を持つ画素の画素値を該注目画素に対応する前記第２の類似度画像の画素の画素値に加算することを特徴とする請求項１〜４のいずれか一つに記載の画像の対応点探索方法。 In the cumulative addition step, the pixel value of each pixel forming the first similarity image is added to the pixel value of the pixel of the second similarity image adjacent to the first similarity image. The pixel value of the pixel having the maximum value among the peripheral pixels of the target pixel of one similarity image is added to the pixel value of the pixel of the second similarity image corresponding to the target pixel. Item 5. The corresponding point search method for an image according to any one of Items 1 to 4.

入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索装置であって、
前記参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、前記入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ前記参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成する部分画像生成手段と、
前記部分画像生成手段により生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成する類似度画像生成手段と、
前記類似度画像生成手段により生成された各類似度画像に対して順序を割り振る順序付け手段と、
前記類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返す累積加算手段と、
前記累積加算手段により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定手段と
を備えたことを特徴とする画像の対応点探索装置。An image corresponding point search device that searches for corresponding points that associate an input image with a reference image to be compared with the input image,
To generate a plurality of reference partial image number N with the number 1 is cut out while ordering the image region in the vicinity of the point of the N sampled from the edge image of the reference image, which is sampled from the edge image of the input image Partial image generating means for generating a plurality of input partial images numbered from 1 to N by cutting out larger than the reference partial image region while ordering image regions in the vicinity of N points;
The similarity is obtained by shifting the reference partial image corresponding to the number of each input partial image generated by the partial image generating means while shifting the reference partial image on the input partial image, and the plurality of similarities having the obtained similarity as pixel values Similarity image generation means for generating an image;
Ordering means for assigning an order to each similarity image generated by the similarity image generation means;
The maximum pixel value of peripheral pixels located around each pixel of the similarity image is accumulated to the pixel value of the pixel located at the corresponding position on the similarity image having an order obtained by adding 1 to the order of the similarity image. Cumulative addition means for recursively repeating the addition process until the position change of the maximum value before and after addition falls within a predetermined range;
Corresponding point specifying means for specifying a position where the pixel value of each similarity image cumulatively added by the cumulative addition means is a maximum as a corresponding point of the input image corresponding to the reference image. Image corresponding point search device.

前記部分画像生成手段は、入力画像および参照画像に含まれる文字部分を膨張処理する膨張処理手段と、前記膨張処理手段により膨張処理された文字部分のエッジを抽出するエッジ抽出手段とを備え、前記エッジ抽出手段により処理された入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成することを特徴とする請求項６に記載の画像の対応点探索装置。 The partial image generation means includes expansion processing means for expanding a character part included in an input image and a reference image, and edge extraction means for extracting an edge of the character part expanded by the expansion processing means, 7. The input partial image and the reference partial image are generated by cutting out image areas near a plurality of points sampled from the input image processed by the edge extracting means and the edge image of the reference image, respectively. Corresponding point search device for described image.

入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索プログラムであって、
前記参照画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ切り出して番号１から番号Ｎの複数の参照部分画像を生成するとともに、前記入力画像のエッジ画像からサンプリングされたＮ個の点の近傍の画像領域を順序付けつつ前記参照部分画像の領域よりも大きく切り出して番号１から番号Ｎの複数の入力部分画像を生成する部分画像生成手順と、
前記部分画像生成手順により生成された各入力部分画像の番号に対応する番号の参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値として持つ複数の類似度画像を生成する類似度画像生成手順と、
前記類似度画像生成手順により生成された各類似度画像に対して順序を割り振る順序付け手順と、
前記類似度画像の各画素の周辺に所在する周辺画素の最大画素値を、該類似度画像の順序に１を加算した順序を持つ類似度画像上の対応位置に所在する画素の画素値に累積加算する処理を、加算前後の最大値の位置変化が所定の範囲内となるまで再帰的に繰り返す累積加算手順と、
前記累積加算手順により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定手順と
をコンピュータに実行させることを特徴とする画像の対応点探索プログラム。An image corresponding point search program for searching for corresponding points that associate an input image with a reference image to be compared with the input image,
To generate a plurality of reference partial image number N with the number 1 is cut out while ordering the image region in the vicinity of the point of the N sampled from the edge image of the reference image, which is sampled from the edge image of the input image A partial image generation procedure for generating a plurality of input partial images of number 1 to number N by cutting out larger than the region of the reference partial image while ordering image regions in the vicinity of N points;
The similarity is obtained by shifting the reference partial image having the number corresponding to the number of each input partial image generated by the partial image generation procedure on the input partial image, and the plurality of similarities having the obtained similarity as pixel values A similarity image generation procedure for generating an image;
An ordering procedure for assigning an order to each similarity image generated by the similarity image generation procedure;
The maximum pixel value of peripheral pixels located around each pixel of the similarity image is accumulated to the pixel value of the pixel located at the corresponding position on the similarity image having an order obtained by adding 1 to the order of the similarity image. A cumulative addition procedure for recursively repeating the addition process until the position change of the maximum value before and after the addition falls within a predetermined range;
Causing the computer to execute a corresponding point specifying procedure for specifying, as a corresponding point of the input image corresponding to the reference image, a position where the pixel value of each similarity image that has been cumulatively added by the cumulative addition procedure is maximum. Corresponding point search program for images.

前記部分画像生成手順は、入力画像および参照画像に含まれる文字部分を膨張処理する膨張処理手順と、前記膨張処理手順により膨張処理された文字部分のエッジを抽出するエッジ抽出手順とを含み、前記エッジ抽出手順により処理された入力画像および参照画像のエッジ画像からサンプリングされた複数の点の近傍の画像領域をそれぞれ切り出して入力部分画像および参照部分画像を生成することを特徴とする請求項８に記載の画像の対応点探索プログラム。 The partial image generation procedure includes an expansion processing procedure for expanding a character portion included in an input image and a reference image, and an edge extraction procedure for extracting an edge of the character portion expanded by the expansion processing procedure, 9. The input partial image and the reference partial image are generated by cutting out image regions in the vicinity of a plurality of points sampled from the input image processed by the edge extraction procedure and the edge image of the reference image, respectively. Corresponding point search program for described images.