JP3884468B2 - 高速画像探索方法 - Google Patents
高速画像探索方法 Download PDFInfo
- Publication number
- JP3884468B2 JP3884468B2 JP2006051801A JP2006051801A JP3884468B2 JP 3884468 B2 JP3884468 B2 JP 3884468B2 JP 2006051801 A JP2006051801 A JP 2006051801A JP 2006051801 A JP2006051801 A JP 2006051801A JP 3884468 B2 JP3884468 B2 JP 3884468B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- feature point
- predetermined
- point
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 124
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000009826 distribution Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
原パターンが特定のパターンであり被探索画像上のパターンが重なりがなく分離されているようなときによく使われるところの正規化相関法を使用したテンプレートマッチングによる方法があり、原パターンが任意図形で被探索画像上のパターンが部分隠れの図形が含まれていたり、連続する図形が途切れていたり、ノイズ成分が多く含まれているようなときには、一般化Hough変換の一般的理論を使用する方法、Geometric Hashingの一般的理論を使用する方法、および特表2000−502824(P2000−502824A)で開示されている方法等がある。
一般化Hough変換およびGeometric Hashingの一般的理論を使用する方法は、原パターンが任意形状の場合、被探索画像上のパターンが一部隠れあるいは原パターンに対し任意姿勢、相似あるいは同一サイズの場合のすべてに適用できるが、原パターンが複雑化した場合または大きなサイズとなった場合、または被探索画像が大きなサイズになった場合には、特徴点の数が増加し、その結果、計算回数が多くなり処理時間の長くかかる方法である。特に、Geometric Hashingの一般的理論を使用する方法においては、原パターンを正規化して基準座標系へ登録するとき、あるいは被探索画像の中のパターンを登録されている原パターンと比較するために正規化して基準座標系に展開するときの正規化の基準となる特徴点基底ペアの選択の組合せが、基本的に特徴点の数の2乗のオーダとなり、原パターンの複雑化、大サイズ化により、計算の回数が多くなり処理時間が長くなることは明白である。
特表2000−502824(P2000−502824A)で開示されている方法も、原パターンが任意形状の場合、被探索画像上のパターンが一部隠れあるいは原パターンに対し任意姿勢、相似あるいは同一サイズの場合のすべてに適用できるが、原パターンが複雑化した場合または大きなサイズとなった場合、または被探索画像が大きなサイズになった場合には処理時間の長くかかる方法である。
一方で、多くの画像探索業務において必要な性能として、原パターンが任意形状の場合、被探索画像上のパターンが一部隠れあるいは原パターンに対し任意姿勢、相似あるいは同一サイズの場合が扱える能力を持ちながら、原パターンが複雑な外形形状を持っている、あるいは、いろいろな図形あるいは文字が複合あるいは組合わされて大きなサイズとなった場合にも被探索画像の中から高速に探索したい、あるいは更に、被探索画像が非常に大きなサイズとなった場合も高速に探索したいとの要求が多い。
本発明においては、原パターンが任意形状の場合、被探索画像上のパターンが一部隠れおよび原パターンに対し任意姿勢、相似あるいは同一サイズのすべてのケースに相当する被探索図形に適用でき、短い処理時間で、探したいパターンを被探索画像の中から高速に探し出す方法を提供することである。
原パターン基底ペアの第1特徴点を始点とし第2特徴点を終点とするベクトル(以降、原パターン基底ベクトルともいう)を正規化し、正規化された原パターン基底ベクトルと所定の関係を保って配置される原パターン局部座標系上に原パターンの形状を代表する点群を原パターン基底ベクトルとの相対的な位置関係を保って原パターン局部座標点群として正規化して展開し、原パターン局部座標点群を基準座標系上に座標変換して原パターン基準座標点群とし、基準座標系の所定領域を小領域に分割し、分割された各々の小領域に対応する情報セルからなるハッシュテーブル上の、原パターン基準座標点群のどれかが存在する小領域に対応する情報セルに原パターン基底ペアの識別情報を書き込む手順を、必要な複数組の原パターン基底ペアに対して実行する原パターン特徴登録ステップとから
原パターンを登録する原パターン登録プロセスと、
被探索画像上のパターンの輪郭上に所定の方法1によって複数の特徴点を設定し、該複数の特徴点を使用して所定の方法2によって第1特徴点と第2特徴点からなる特徴点ペア(以降、パターン基底ペアともいう)を設定するパターン特徴点・ペア設定ステップと
パターン基底ペアの第1特徴点を始点とし第2特徴点を終点とするベクトル(以降、パターン基底ベクトルともいう)を正規化し、正規化されたパターン基底ベクトルに対して、登録プロセスにおける原パターン基底ベクトルと原パターン局部座標系との関係と同一の所定の関係を保って配置されるパターン局部座標系上に前記パターンの形状を代表する点群をパターン基底ベクトルとの相対的な位置関係を保ってパターン局部座標点群として正規化して展開し、パターン局部座標点群を基準座標系上に座標変換してパターン基準座標点群とし、前記小領域にパターン基準座標点群のどれかが存在する場合に当該小領域が対応するハッシュテーブルの情報セルに記述されている原パターン基底ペアの識別情報の各々に対応して設けられた投票箱(以下、基底ペア投票箱ともいう)に投票することを全ての前記小領域の各々について実施し、その結果、最も高い得票数且つ所定の閾値より高い得票数を獲得した投票箱に対応する原パターン基底ペアとそのときのパターン基底ペアとの相似・姿勢・位置関係を表す諸元である対象ポーズの計算を行う一連の手順を、必要な複数組のパターン基底ペアに対して実行することによって複数の対象ポーズを得る第1探索ステップと
得られた複数の対象ポーズの分布から最も正確らしい対象ポーズを所定の方法で1個以上選定し、選定された対象ポーズの計算対象となっているパターン基底ペアを基底ベクトルとして基準座標系上に展開されているパターンを原パターンと同一かまたは相似の可能性が高いパターンとして選び出す第2探索ステップとから
原パターンと同一かまたは相似の可能性の高い1個以上の被探索画像上のパターンを選び出すパターン探索プロセスとを
経ることにより被探索画像上のパターンを探索する方法をとる。
原パターン基底ベクトルと原パターン局部座標系の所定の関係として、原パターン基底ベクトルの中点に原パターン局部座標系の原点を置き、原パターン基底ベクトルと原パターン局部座標系のX軸またはY軸とを重ね合わせる関係を採ることは、処理の便宜を考慮した場合、好ましい方法のひとつである。当然、その他一義的に決まる関係であればどのような関係であってもよい。
上記特徴点設定の所定の間隔は、所定の方式で決まる特徴点の2点間の間隔であればよく、必ずしも一定間隔である必要はないが、基本的に一定間隔であることが好ましい。
ここに、パターン基底ペアを代表する所定位置については、パターン基底ペアの中点であることが処理の便宜上好ましい。
得られた対象ポーズの各々を基準対象ポーズとして、基準対象ポーズごとに当該基準対象ポーズとその他の対象ポーズとのポーズ間距離を求め、然る後に、基準対象ポーズごとに、当該基準対象ポーズとの違いが所定の範囲内にある全ての他の対象ポーズの各々とのポーズ間距離に対して、ポーズ間距離に依存し且つポーズ間距離の増加に対し減少する関係にある所定の関数の値を計算し、各計算結果の加算値を当該基準対象ポーズのスコアとして、該スコアが所定の数値以上であった当該基準対象ポーズを対象ポーズの小集合(以降、クラスタともいう)の核として認定する手順を全ての基準対象ポーズに対して実行し、認定された基準対象ポーズの中でスコアが最も高い基準対象ポーズを最も正確らしい対象ポーズとして選定する方法とすることが望ましい。
基準対象ポーズを(txo、tyo、θo、so)
他の対象ポーズを(tx、ty、θ、s)
としたとき、
(tx−txo)の絶対値が(所定最大許容範囲txmax)未満
(ty−tyo)の絶対値が(所定最大許容範囲tymax)未満
(θ−θo)の絶対値が(所定最大許容範囲θmax)未満
(s−so)の絶対値が(所定最大許容範囲somax)未満
を満たす(tx、ty、θ、s)の範囲とすることができる。
基準対象ポーズを(txo、tyo、θo、so)
他の対象ポーズを(tx、ty、θ、s)
基準対象ポーズと他の対象ポーズのポーズ間距離を
d((tx、ty、θ、s),(txo、tyo、θo、so))
としたとき、
1/{0.5+d((tx、ty、θ、s),(txo、tyo、θo、so))}
とすることができる。
上記その他の点を選択する所定の方法については、第1特徴点を基準に隣り合う第1特徴点との間で、輪郭上で直線距離か輪郭沿線距離かどちらかの点間距離を測りその他の点として選択する方法等がある。
通常、実際の画像探索においては、所定の探索条件において原パターンに合致する被探索画像上のパターンを最初の探索作業で探し出すことで十分な場合と、原パターンに概略合致すると思われる被探索画像上のパターンを第1番目の作業としてまず探し出し(この探索作業を祖サーチという場合が多い)、第2番目の作業として、探し出したパターンに対して正確に合致しているか否かのチェックと必要に応じて探し出したパターンの正確な姿勢を求める作業(この作業を精サーチと呼ぶ場合が多い)を行う場合の両方があるが、前者の場合または後者の場合の第1番目の祖サーチに相当する作業を本発明による手段で行うことによって探索時間が大幅に短縮できる効果がある。
<ステップS101>
被探索画像において探索したい図形パターンの元図形パターンである原パターンの輪郭上に2個の特徴点の組(第1の特徴点をPi1、第2の特徴点をPi2とする)からなる特徴点ペアを複数組(i=1、2、・・・、n)抽出・設定する。
特徴点抽出・設定の方法は、原パターンの輪郭を明確にするための前処理、エッジ抽出、細線化、追跡等の適切な処理により得られた原パターンの輪郭上全域にわたって、予め決められた間隔で第1の特徴点Pi1を設定する。つぎに、各第1の特徴点Pi1における輪郭の法線(以降、特徴点設定線ともいう)
を求め、該法線が輪郭と交差するPi1以外の点を第2の特徴点Pi2として抽出する。当然のことながら、同じ第1の特徴点Pi1に対して複数の第2の特徴点Pi2が抽出されることはあり得る。
ここで、第1の特徴点Pi1の設定における「予め決められた間隔」は、隣り合う2個の第1の特徴点間の直線距離が予め決められた画素数となるように決める方式を採る。他の方式として、上記方式において「直線距離」の代わりに「輪郭に沿って(輪郭が通過する)画素数」を採用することもできる。以上の「予め決められた間隔」を決める画素数は、原パターンの形状の複雑度、サイズ、画像探索の精度と探索に要する時間の制限等に依存して最適な画素数が選択される。また一般的には、上記間隔は固定の間隔である必要はなく、定数であることも包含する所定の関数に従って決められる間隔(所定の間隔)であってもよい。
<ステップS102>
任意の新たな特徴点ペア(Pi1、Pi2)を選択する。特徴点ペア(Pi1、Pi2)を原パターン基底ペアとも呼ぶ。
<ステップS103>
選択された特徴点ペアからなるベクトル(第1の特徴点Pi1を始点とし第2の特徴点Pi2を終点とする原パターン基底ベクトル)を正規化し、正規化された単位ベクトル上に局部座標系(xiyi座標系)のxi軸が存在し、局部座標系の原点が単位ベクトルの始点と終点の中点と一致するように局部座標系を定め、これを基準に当該特徴点ペア以外の特徴点についても特徴点ペアの正規化に対応する正規化を行い、これらの局部座標を計算し原パターンを局部座標系上に展開する。この展開のための計算を第1の特徴点Pi1だけからなる点群に限って行うか、第1の特徴点Pi1と第2の特徴点Pi2の両方を含んだ点群で行うかは、原パターンを局部座標系上で展開するときの精度と本発明の目的である高速探索のための計算時間短縮の比較バランスによって選択すればよい。
<ステップS104>
局部座標と同一座標目盛を持つ基準座標系上に局部座標系上に展開された正規化された原パターンを変換するために、局部座標系上に展開されている特徴点(一般的には、上述の点群)の座標(局部座標)を基準座標系上の座標に変換する。
<ステップS105>
基準座標系の所定の領域を所定の基準で細分化し、細分化された小領域に対応する情報セルをもつハッシュテーブル上の、計算された各特徴点(あるいは、上述の点群)が存在する小領域に対応する情報セルにそのとき選択されている特徴点ペアの識別情報を登録する。識別情報としては、特徴点ペアの番号iを使用することが便宜的である。基準座標系を細分化する基準は、特徴点Pi1の設定ピッチより細かいことが望ましい。
ステップ6において、登録するために設定されたn組の特徴点ペアの選択がすべて済んだかどうかを判定し、選択がすべて済んでいなければステップS102へジャンプし以降のステップを再度実行し、選択がすべて済んでいれば登録プロセス終了とする。
<ステップS201>
被探索画像上のパターンの輪郭上に2個の特徴点の組(第1の特徴点をOj1、第2の特徴点をOj2とする)からなる特徴点ペアを複数組(j=1、2、・・・、m)抽出・設定する。その方法は、図1のステップS101において2個の特徴点の組(第1の特徴点をPi1、第2の特徴点をPi2とする)からなる特徴点ペアを複数設定した方法と同様である。
ここで、一般的には、被探索画像は各種図形パターンが混在し、また重なって一部が隠れている等、原パターンとは様相が異なる複雑図形であることが多いことから、抽出・設定された特徴点ペアの数は原パターンの場合より多くなるのが通例である。
これに対し、特徴点ペアの数を更に減らして画像探索の高速化を計る手段として、後述するような、選択する特徴点ペア間距離を第1の所定の距離以下に限定する手段をとる。
<ステップS202>
被探索画像上のパターンの輪郭上の任意の新たな特徴点ペア(Oj1、Oj2)を選択し、新たな特徴点ペアに対するステップS203の作業のために基準座標系上の全てのデータを消去(リセット)する。特徴点ペア(Oj1、Oj2)を被探索画像上のパターン基底ペアとも呼ぶ。
<ステップS203>
選択された特徴点ペアからなるベクトル(特徴点Oj1を始点とし特徴点Oj2を終点とする被探索画像上のパターン基底ベクトル)を正規化し、正規化された単位ベクトル上に局部座標系(xjyj座標系)のxj軸が存在し、局部座標系の原点が単位ベクトルの始点と終点の中点と一致するように局部座標系を定め、これを基準に被探索画像上のパターンを局部座標系上に展開するために、当該特徴点ペア以外の特徴点についても当該特徴点ペアの正規化に対応する正規化を行い、これらの局部座標を計算する。然る後に、基準座標系上に局部座標系上に展開された正規化された対象パターンを変換するために、局部座標系上に展開されている特徴点の座標(局部座標)を基準座標系上の座標に変換する。
基準座標系については、一般には座標システムについての制限はないが、実用面からは局部座標系と同一のシステムの座標系であることが好ましい。また、座標軸の目盛システムが局部座標系と同一であることが更に好ましい。
上記「当該特徴点ペア以外の特徴点についても当該特徴点ペアの正規化に対応する正規化を行い、これらの局部座標を計算する」ことを行う際に、計算する特徴点の数を減らして画像探索の高速化を計る手段として、後述するような、局部座標計算対象となる特徴点の範囲を局部座標系の所定位置から所定の関係にある第2の所定の距離以下の範囲に限定する手段をとる。
<ステップS204>
変換した各特徴点の座標に対応したハッシュテーブルの情報セルに原パターンの特徴点ペアの識別情報が存在すれば、存在する全ての識別情報の各々が示す原パターンの特徴点ペアに対応した投票箱(以降、特徴点ペア投票箱ともいう)に投票する。
<ステップS205>
特徴点ペア投票箱の中で得票数の最も高いものを選び、その得票数が所定の閾値より高いときに、この特徴点ペア投票箱に対応する原パターンの特徴点ペアと選択されている被探索画像上のパターンの特徴点ペアの間の位置・角度(姿勢)・尺度(相似)の関係(以下、対象ポーズともいう)を計算する。対象ポーズの定義の例については後述する。
<ステップS206>
設定されたm組の特徴点ペアの各々の選択に対してステップS202以降の実行がすべて済んだかどうかを判定し、すべて済んでいなければステップS202へジャンプし以降のステップを再度実行し、すべて済んでいればステップS207に進む。
<ステップS207>
以上のステップで求められた1個以上の類似群分布を持つ対象ポーズ群から後述するクラスタリング方法により1個以上の類似群分布の各々において最も正確度の高い対象ポーズを選び出すことにより、そのときの対象ポーズの計算対象となった被探索画像上のパターンを原パターンに最も類似しているパターンとして選び出すことによって、1個以上の最も類似しているパターンを選び出す。
ステップS205において記載した「特徴点ペア投票箱の中で得票数の最も高いものを選び、その得票数が所定の閾値より高いときに、この特徴点ペア投票箱に対応する原パターンの特徴点ペアと選択されている被探索画像上のパターンの特徴点ペア」について、「この特徴点ペア投票箱に対応する原パターン」を図3(a)に示すパターンとし、そのときの特徴点ペアを(P1、P2)とする。また、そのとき選択されている被探索画像上のパターンを図3(b)に示すパターンとし、そのときの特徴点ペアを(O1、O2)とする。
直方四辺形の画面上の原画像および被探索画像共通に、画面の直交する2辺に各々平行座標軸xおよびyを持つxy座標系を想定する。
原パターンの存在する原画像に対する被探索画像の尺度をs、原パターンに対する被探索画像上のパターンの相対的角度をθ、原パターンの基準点(図3には、例としてPrを基準点としてある)に対応する被探索画像上のパターンの基準点(例として、Orを基準点としてある)の相対的位置をx方向にtx、y方向にtyとすると、
対象ポーズは、s、θ、tx、tyのセット(s、θ、tx、ty)として、(1)式から(4)式のように定義される。
原パターンに対して同一または相似の関係にあるパターンを探す際に、被探索画像上のパターンの特徴点ペアの選択において、探索対象画像の中で同一または相似の関係にあり得るパターンの特徴点ペア間距離は、最大でも原パターンの輪郭上で最も距離が離れた2点間距離(便宜上、これを原パターン最大径ともいう)相当の被探索画像上の距離以内であり、これを超えることはありえないことから、第1特徴点Oj1と第2特徴点Oj2との距離は、原パターンの最大径に相当する被探索画像上の距離を第1の所定の距離の1例として採用し、この距離以内となるように選択する。
原パターンの最大径に相当する被探索画像上の距離の計算は、次のように求める。
予め、「探索対象画像」対「原画像」の尺度関係が明確な場合は、原パターンの最大径に対してこの尺度関係を乗じて計算する。原パターンの最大径については、現実的には、目視で最大径に近い原パターン輪郭上の2点を決め、距離を計測し、その値が真の最大径を下回らない程度の安全係数をかけた原パターン見做し最大径を使用する方法をとってもよい。また、最大径に近い原パターン輪郭上の2点の決定については、原パターンの特徴点ペア間距離の最大のものに決定することも可能である。そのときは、安全係数も現状に合わせて変更する。当然、その他の簡易計算方法をとることは可能である。
以上の第1の制限は、不要な特徴点ペアを選択することによって計算時間が増え、被探索画像上のパターン探索時間が不要に長くなることを防止できる効果を持つものである。
被探索画像上のパターンの各特徴点ペア(各パターン基底ペア)を正規化して局部座標系に配置し、パターン基底ペア以外の特徴点についてパターン基底ペアの正規化に対応する正規化を行い、これらの局部座標を計算して正規化したパターンを局部座標系上に展開するときに、不要に遠くの特徴点まで計算することがないように制限を加えるものである。
その手段は、計算されるべき特徴点は全て、いくら遠くても、パターン基底ペアをベクトル表示したパターン基底ベクトルから原パターン見做し最大径以内にあることを利用するものであり、パターン基底ベクトルから特徴点までの距離を計算し、その距離が原パターン最大径に相当する被探索画像上の距離以下の場合にのみ、特徴点の局部座標計算を行うものである。
この場合、現実的には、パターン基底ベクトル上の全ての点から特徴点までの距離の計算を厳密にやることは時間を要することでもあり、本発明の目的の高速化を妨げる方向に働きかねない。そのため、簡略方式の一つとして、第1の制限によって被探索画像上のパターンの特徴点ペア間距離の最大値を原パターン最大径相当の被探索画像上の距離以内に制限していることを鑑み、パターン基底ベクトルの中点(局部座標の原点に対応)から各特徴点までの距離が、原パターン最大径相当の被探索画像上の距離に第1の制限のところで述べた考え方の安全係数を乗じた距離からパターン基底ベクトルの長さの2分の1を差し引いた距離を第2の所定の関係にある距離の1例として、第2の所定の関係にある距離以内にある特徴点だけについて局部座標計算を行うようにするものである。
上記距離の計算において、パターン基底ベクトルの中点から各特徴点までの距離を計算しているが、必ずしもパターン基底ベクトルの中心からの距離である必要はなく、所定の方法で選択されパターン基底ベクトルの位置を代表する他の点(所定位置)からの距離であってもよい。この所定位置によって第2の所定の関係にある距離は、上記の所定位置がパターン基底ベクトルの中点であるときの考え方にならって適正に変えられることは当然である。また当然、その他の簡易計算方法は容易に考えられるものであり、どのようなものも使用することは可能である。
上記「特徴点ペアを構成する特徴点とその他の輪郭上で選択された点の組合せ」の点群について局部座標を計算する場合のひとつの方法として、予め特徴点を細かく設定しておき、特徴点ペアに使用する特徴点を所定の整数個とびに選び、パターンの展開は全ての特徴点群について計算する方法がある。また、2つの特徴点の間で一方の特徴点から所定の距離にある輪郭上の点をその他の点として選んでいく方法もある。
実施例2は、この問題を避けるための方法を実現した実施例であり、原画像を分割し、結果として計算に供される特徴点の数を減らすことによって高速に画像探索を行う方法に係るものである。図5(a)は、5個の文字列からなる原画像の例で、本実施例の方法が適用されるにふさわしい原パターンの1例である。図5(b)は、図5(a)の原画像を5個の文字に対応して5分割した例である。
以下実施例2につき、図4に示す本実施例の方法を示すフローチャートを参照しながら原パターンの登録と対象パターンの探索の方法について説明する。
<ステップS301>
原パターンを含む原画像を複数の分割原画像に分割する。
そして、各分割原画像境界枠の相互位置・角度・尺度の関係である境界枠配置情報と、各分割原画像境界枠と分割原パターンの相互配置位置・角度・尺度の関係である分割原パターン配置情報が記憶される。境界枠配置情報のあり方はいろいろ考えられるが、原画像の任意に決めた基準と各分割画像境界枠の関係を数値化しておくことが好ましい方法のひとつである。
<ステップS302>
分割原パターン各々に対し、「分割原パターン」を「原パターン」に置き換えて、前述の図1をベースにして前述した原パターンの登録方法を実行して各分割原パターンを登録し、図2をベースにして前述した被探索画像上のパターン探索方法を実行して各分割原パターンと同一または相似関係にあるパターンを被探索画像の中から1個以上(「1個以上」は、「検出できるパターンは全て」を意味する)探索する。
<ステップS303>
原画像の尺度を被探索画像の尺度と合わせて、探索されたパターンの内の新たに選択されたパターンに、当該パターンに対応する分割原パターンを重ね合わせるようにして原パターンあるいは原画像と被探索画像を重ねる。
探索されたパターンの内の新たに選択されたパターンに、当該パターンに対応する分割原パターンを重ね合わせる方法は、双方の正規化相関をとり重ね合わせる等の統計的な方法をとる。ただし、一般的には必ずしも統計的な方法に限定する必要はなく、その他の一般に知れている重ね合わせの方式が採れる。
<ステップS304>
つぎに、被探索画像に重ねられた分割原パターン以外の原パターン部分と被探索画像との比較を、一致している画素については得票を与え、一致していない画素に対しては票を与えない方式で、画素ごとに行い、所定の基準で比較の結果を数値化し、原パターンと一致するパターンがその重ね合わせの状態で被探索画像の中に存在するか否かを当該数値によって判断し、存在する場合はそのパターンを一致リストに記憶し、存在しない場合はそのまま、ステップS305に進む。
上記比較の方式は、ステップS303で重ね合わせた分割原パターン以外の原パターン部分の輪郭を挟んだ周辺の所定の幅に当該原パターンに対応するパターンが存在するか否かを探るために、その中心に対する所定の画素範囲の画素の状態を選択的に検査するためのソフト的なウインドウを用意し、このウインドウの中心を当該の分割原パターンの輪郭に沿って移動させながら被探索画像上のパターンの存在を調べ、存在すれば投票し、最終的に「投票数」対「調べた輪郭上の点の数」の比が所定の数値以上であれば当該原パターンに一致するパターンがあったと判断する方式であり、ウインドウの大きさを調整することによって対象パターン探索時の誤差、上記重ね合わせの誤差等を吸収できる。
比較の基準・方式はこの基準・方式に限る必要は必ずしもなく、他の方式をとってもかまわない。
<ステップS305>
分割原パターン各々に対して、ステップS302で探索された全てのパターンに対してステップS303およびステップS304が実行されているかどうか確認し、実行されていなければ、新たな探索されたパターンを選択してステップS303に移行する。実行されていれば、一致リストに記憶されている全てのパターンを分割前の原パターンに同一か相似である可能性が高いと判断し、この高速画像探索を終了する。
P2 特徴点ペア投票箱に対応する原パターン基底ベクトルの終点
Pr 原パターンの基準点
O1 選択されている被探索画像上のパターン基底ベクトルの始点
O2 選択されている被探索画像上のパターン基底ベクトルの終点
Or 被探索画像上のパターンの基準点
s 原画像に対する被探索画像の尺度
θ 原パターンに対する被探索画像上のパターンの相対的角度
tx 原パターンの基準点に対応する被探索画像上のパターンの基準点の相対的位置(x方向)
ty 原パターンの基準点に対応する被探索画像上のパターンの基準点の相対的位置(y方向)
Claims (10)
- 原パターンの輪郭上に、予め決められた固定の間隔かまたは所定の関数に従って該輪郭の態様に応じて変動するように決められる所定の間隔で複数の第1特徴点を設定し、然る後に、1個の第1特徴点を通り該第1特徴点における前記輪郭の法線の方向に対し所定の角度を持つ直線(以降、特徴点設定線ともいう)が前記輪郭と交差する1個以上の第2の点を第2特徴点として設定し、前記第1特徴点と前記第2特徴点の各々とを特徴点ペアとして設定する手順を前記第1特徴点の各々に対して実行することによって第1特徴点と第2特徴点からなる特徴点ペア(以下、原パターン基底ペアともいう)を複数組設定する原パターン特徴点・ペア設定ステップと
前記原パターン基底ペアの第1特徴点を始点とし第2特徴点を終点とするベクトル(以降、原パターン基底ベクトルともいう)を正規化し、正規化された前記原パターン基底ベクトルと所定の関係を保って配置される原パターン局部座標系上に前記原パターンの形状を代表する点群を前記原パターン基底ベクトルとの相対的な位置関係を保って原パターン局部座標点群として正規化して展開し、該原パターン局部座標点群を基準座標系上に座標変換して原パターン基準座標点群とし、前記基準座標系の所定領域を小領域に分割し、分割された各々の前記小領域に対応する情報セルからなるハッシュテーブル上の、前記原パターン基準座標点群のどれかが存在する小領域に対応する前記情報セルに前記原パターン基底ペアの識別情報を書き込む手順を、必要な複数組の前記原パターン基底ペアに対して実行する原パターン特徴登録ステップとから
原パターンを登録する原パターン登録プロセスと、
被探索画像上のパターンの輪郭上に、予め決められた固定の間隔かまたは所定の関数に従って該輪郭の態様に応じて変動するように決められる所定の間隔で複数の第1特徴点を設定し、然る後に、1個の第1特徴点を通り該第1特徴点における前記輪郭の法線の方向に対し所定の角度を持つ直線(以降、特徴点設定線ともいう)が前記輪郭と交差する1個以上の第2の点を第2特徴点として設定し、前記第1特徴点と前記第2特徴点の各々とを特徴点ペアとして設定する手順を前記第1特徴点の各々に対して実行することによって第1特徴点と第2特徴点からなる特徴点ペア(以降、パターン基底ペアともいう)を設定するパターン特徴点・ペア設定ステップと
前記パターン基底ペアの第1特徴点を始点とし第2特徴点を終点とするベクトル(以降、パターン基底ベクトルともいう)を正規化し、正規化された前記パターン基底ベクトルに対して、前記登録プロセスにおける前記原パターン基底ベクトルと前記原パターン局部座標系との関係と同一の前記所定の関係を保って配置されるパターン局部座標系上に前記パターンの形状を代表する点群を前記パターン基底ベクトルとの相対的な位置関係を保ってパターン局部座標点群として正規化して展開し、該パターン局部座標点群を前記基準座標系上に座標変換してパターン基準座標点群とし、前記小領域に前記パターン基準座標点群のどれかが存在する場合に当該小領域が対応する前記ハッシュテーブルの情報セルに記述されている前記原パターン基底ペアの識別情報の各々に対応して設けられた投票箱(以下、基底ペア投票箱ともいう)に投票することを全ての前記小領域の各々について実施し、その結果、最も高い得票数且つ所定の閾値より高い得票数を獲得した投票箱に対応する原パターン基底ペアとそのときのパターン基底ペアとの相似・姿勢・位置関係を表す諸元である対象ポーズの計算を行う一連の手順を、必要な複数組の前記パターン基底ペアに対して実行することによって複数の対象ポーズを得る第1探索ステップと
得られた複数の対象ポーズの分布から最も正確らしい対象ポーズを所定の方法で1個以上選定し、選定された対象ポーズの計算対象となっているパターン基底ペアを基底ベクトルとして前記基準座標系上に展開されているパターンを前記原パターンと同一かまたは相似の可能性が高いパターンとして選び出す第2探索ステップとから
前記原パターンと同一かまたは相似の可能性の高い1個以上の被探索画像上のパターンを選び出すパターン探索プロセスとを
経ることにより被探索画像上のパターンを探索することを特徴とする高速画像探索方法。 - 前記間隔が隣り合う第1特徴点の間の直線距離または前記輪郭に沿った距離であることを特徴とする請求項1に記載の高速画像探索方法。
- 前記パターン特徴点・ペア設定ステップにおいて、前記パターン基底ペアの第1特徴点と第2特徴点との距離が第1の所定の距離以内の条件を満足するように前記パターン基底ペアを設定することを特徴とする請求項1または2に記載の高速画像探索方法。
- 前記第1の所定の距離が、前記原パターンの最大直径に相当する距離であることを特徴とする請求項3に記載の高速画像探索方法。
- 前記第1探索ステップにおいて、前記パターン局部座標点群を展開する方法が、前記パターン基底ペアと前記パターン局部座標点群の各々に対応する前記被探索画像上の点との距離が第2の所定の距離以内となる条件を満足する特徴点に対して前記パターン局部座標系上での座標計算を行って前記パターン局部座標点群を展開することを特徴とする請求項1乃至4のいずれかに記載の高速画像探索方法。
- 前記第1探索ステップにおいて、前記パターン局部座標点群を展開する方法が、前記パターン基底ペアを代表する所定位置と前記パターン局部座標点群の各々に対応する前記被探索画像上の点との距離が第2の所定の距離以内となる条件を満足する特徴点に対して前記パターン局部座標系上での座標計算を行って前記パターン局部座標点群を展開することを特徴とする請求項1乃至5のいずれかに記載の高速画像探索方法。
- 前記第2の所定の距離が、前記原パターンの最大直径に相当する距離に前記パターン基底ペアの長さを考慮した距離であることを特徴とする請求項5または6に記載の高速画像探索方法。
- 前記第2探索ステップにおいて、前記所定の方法が、得られた前記対象ポーズの各々を基準対象ポーズとして、基準対象ポーズごとに当該基準対象ポーズとその他の対象ポーズとのポーズ間距離を求め、然る後に、基準対象ポーズごとに、当該基準対象ポーズとの違いが所定の範囲内にある全ての他の対象ポーズの各々とのポーズ間距離に対して、ポーズ間距離に依存し且つポーズ間距離の増加に対し減少する関係にある所定の関数の値を計算し、各計算結果の加算値を当該基準対象ポーズのスコアとして、該スコアが所定の数値以上であった当該基準対象ポーズを対象ポーズの小集合(以降、クラスタともいう)の核として認定する手順を全ての基準対象ポーズに対して実行し、該認定された基準対象ポーズの中で前記スコアが最も高い基準対象ポーズを最も正確らしい対象ポーズとして選定する方法であることを特徴とする請求項1乃至7に記載の高速画像探索方法。
- 前記所定の範囲内が、
前記基準対象ポーズを(txo、tyo、θo、so)
前記他の対象ポーズを(tx、ty、θ、s)
としたとき、
(tx−txo)の絶対値が(所定最大許容範囲txmax)未満
(ty−tyo)の絶対値が(所定最大許容範囲tymax)未満
(θ−θo)の絶対値が(所定最大許容範囲θmax)未満
(s−so)の絶対値が(所定最大許容範囲somax)未満
を満たす(tx、ty、θ、s)の範囲であることを特徴とする請求項8に記載の高速画像探索方法。 - 前記所定の関数が、
前記基準対象ポーズを(txo、tyo、θo、so)
前記他の対象ポーズを(tx、ty、θ、s)
該基準対象ポーズと該他の対象ポーズのポーズ間距離を
d((tx、ty、θ、s),(txo、tyo、θo、so))
としたとき、
1/{0.5+d((tx、ty、θ、s),(txo、tyo、θo、so))}
であることを特徴とする請求項8に記載の高速画像探索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006051801A JP3884468B2 (ja) | 2005-03-29 | 2006-02-28 | 高速画像探索方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005094692 | 2005-03-29 | ||
JP2006051801A JP3884468B2 (ja) | 2005-03-29 | 2006-02-28 | 高速画像探索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006309718A JP2006309718A (ja) | 2006-11-09 |
JP3884468B2 true JP3884468B2 (ja) | 2007-02-21 |
Family
ID=37476485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006051801A Active JP3884468B2 (ja) | 2005-03-29 | 2006-02-28 | 高速画像探索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3884468B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5487970B2 (ja) | 2007-11-08 | 2014-05-14 | 日本電気株式会社 | 特徴点配置照合装置及び画像照合装置、その方法及びプログラム |
JP5438574B2 (ja) * | 2009-08-26 | 2014-03-12 | Juki株式会社 | 画像探索方法 |
AT509398A1 (de) * | 2009-12-23 | 2011-08-15 | Alicona Imaging Gmbh | Verfahren und vorrichtung zur identifizierung eines wafers |
JP5601868B2 (ja) * | 2010-01-07 | 2014-10-08 | 三菱電機株式会社 | 画像変化選別装置 |
JP6586852B2 (ja) * | 2015-10-15 | 2019-10-09 | サクサ株式会社 | 画像処理装置 |
JP6717887B2 (ja) * | 2018-07-12 | 2020-07-08 | ファナック株式会社 | 距離補正機能を有する測距装置 |
-
2006
- 2006-02-28 JP JP2006051801A patent/JP3884468B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006309718A (ja) | 2006-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6000455B2 (ja) | フォーム認識方法及びフォーム認識装置 | |
JP3884468B2 (ja) | 高速画像探索方法 | |
US20140047367A1 (en) | Image processing apparatus, image processing method, and program | |
JP3725998B2 (ja) | 指紋照合装置及び照合方法 | |
US20130101186A1 (en) | Systems and methods for ridge-based fingerprint analysis | |
JP4877392B2 (ja) | 特徴属性計算装置、特徴量抽出装置とパターン照合装置と方法及びプログラム | |
US9092697B2 (en) | Image recognition system and method for identifying similarities in different images | |
WO2008010488A1 (fr) | dispositif de traitement d'image et procédé de traitement d'image | |
US7928978B2 (en) | Method for generating multi-resolution three-dimensional model | |
US20090290798A1 (en) | Image search method and device | |
CN107545223B (zh) | 图像识别方法及电子设备 | |
CN104809446A (zh) | 基于校正手掌方向的掌纹感兴趣区域快速提取方法 | |
JP7251670B2 (ja) | 特徴量生成装置、システム、特徴量生成方法及びプログラム | |
JP2009087087A (ja) | ナンバープレート情報処理装置及びナンバープレート情報処理方法 | |
JP3884462B2 (ja) | 高速画像探索方法 | |
JP6037134B2 (ja) | 特徴点対応付けシステム、特徴点対応付け方法、およびプログラム | |
JPH07220090A (ja) | 物体認識方法 | |
JP2003141567A (ja) | 3次元都市モデル生成装置及び3次元都市モデル生成方法 | |
JP4775957B2 (ja) | 顔検出装置 | |
Croitoru et al. | Monocular right-angle building hypothesis generation in regularized urban areas by pose clustering | |
JP3460824B2 (ja) | 形状認識方法及び装置 | |
CN111753722B (zh) | 一种基于特征点类型的指纹识别方法及装置 | |
CN115731458A (zh) | 一种遥感影像的处理方法、装置和电子设备 | |
CN112200107A (zh) | 一种***文本检测方法 | |
JP2007102422A (ja) | パターン照合装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060331 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060405 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061116 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3884468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |