JP3819236B2 - パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 - Google Patents
パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP3819236B2 JP3819236B2 JP2000378612A JP2000378612A JP3819236B2 JP 3819236 B2 JP3819236 B2 JP 3819236B2 JP 2000378612 A JP2000378612 A JP 2000378612A JP 2000378612 A JP2000378612 A JP 2000378612A JP 3819236 B2 JP3819236 B2 JP 3819236B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- pixels
- value
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
複数の画像間の互いの位置合わせや、画像中から特定の物体を検出する際に用いられる方法は、画像マッチングと呼ばれている。
【０００３】
この画像マッチングには、例えば、ブラウン(L.G.Brown)の"A SURVEY OF IMAGE REGISTRATION TECHNIQUES", acm computing surveys, Vol.24,No.4,pp,325-376: (白井(訳)「画像の位置合わせ手法の概観」,コンピュータサイエンス acm computing surveys'92 bit 別冊,pp.77-120)に示されたように、複数の画像の画素ごとの類似性の測度を定義して、この画像間中でその測度が最も高い場所を決定する方法がある。
【０００４】
画素ごとの濃淡情報を用いた画像マッチング方法には、類似性測度として、SSD(Sum of Square Difference)、SAD(Sum of Absolute Difference)や相互相関係数といった統計的アプローチが用いられていた。
【０００５】
例えば、相互相関係数Cの場合には、類似性測度を以下の式(1)のように表す。
【数１】
ただし、I(k,l)は、画素(k,l)の位置の画素値であり、m１,m２は、I１,I２の画素の平均値であり、σ１,σ２はI１,I２の画素の分散値である。
【０００６】
このような相互相関係数Cを用いて、画像中からあるモデル画像(以下テンプレート画像と称する)の位置を検出するテンプレートマッチングでは、テンプレート画像の平行移動、回転といった幾何学的変換のパラメータの増加に伴って検出のコストが大きくなった。
【０００７】
また、画素の明るさの変化を制御するために、ヒストグラム平坦化処理やエッジ強調フィルタ、エッジ抽出処理といった類似性測度を計算する前の前処理となる画像処理が必要となる場合が多かった。
【０００８】
さらに、これらの前処理は、使用する類似性測度(SSD、SAD、相互相関係数)やテンプレートが有する特徴との相性の問題があった。
【０００９】
例えば、SSDにおいて、濃淡情報を直接用いて類似性測度を定義する場合には、画素の濃淡値の大きさがそのまま測度に影響するため、以下に示す性質があった。
【００１０】
図19(a)〜(e)は濃淡値を類似性測度に用いた場合のテンプレートマッチングを説明する図であり、(a)は対象画像、(b)は(a)の一部に光が当たった画像、(c)は(b)をエッジ処理した画像、(d)は(a)とは異なる撮像された画像、(e)は(d)から抽出領域(手)を抽出した画像である。
【００１１】
(a)は説明のため濃淡値が1種類で表示した対象物の画像である(領域1)。(b)は対象物の右上から光が照射された時の画像であり、この光が当たった領域を領域2とし、この領域2の濃淡値は領域1と異なる。よって、濃淡値の違いが類似度に影響を及ぼす。(c)は(b)をエッジ処理した画像であり、領域1と2の境界の画素だけが影響を受けるため、(b)に比べて類似度への影響は小さいものの、エッジだけの情報を用いてテンプレートマッチングを行うことは汎用的ではなかった。
【００１２】
また、(d)のような複雑な背景を持つ画像からテンプレート(手)を抽出した後の(e)は、背景画像が複雑なため、この背景部分の濃淡値がテンプレートマッチングに大きな影響を及ぼす原因になった。
【００１３】
したがって、テンプレートマッチングを行うために、濃淡値を直接類似性測度に用いた場合には、上述したような濃淡値の変化のため、検出精度を一定以上に保っていなかった。
【００１４】
次に、濃淡値をそのまま類似性測度に用いないテンプレートマッチングには、ヴノー等（A.Venot, J.F.Lebruchec, J.C.Roucayrol）の"A New Class of Similarity Measures for Robust Image Registration ": Computer Vision, Graphics, Image Processing,28,pp.176-184(1984)がある。これは、同じ撮像条件で撮像された2つの画像を重ねて、それぞれの対応する画素の画素値(濃淡値)の差を求め、この差が負に変化した(符号が変化した)数を特徴量(類似性測度)としてマッチングを行った方法である。
【００１５】
例えば、相互相関係数を用いた相関法では、差のある位置における画素の「濃淡値」が類似性測度に影響をおよぼすが、この符号の変化は、差のある位置の「個数」に関連するために、濃淡値の変動に対して影響が少ない。
【００１６】
しかしながら、この方法は、医用画像処理に適用されているが、試行のたびに、相関法と同様に、2つの画像の特徴量の計算が必要となるため、検出コストが大きくなるといった問題があった。
【００１７】
次に、画素間の大小関係を類似性測度として用いた手法に、リプトン等の（P.Lipson, E.Grimson, P.Sinha）"Configuration Based Scene Classification and Image Indexing": CVPR'97 pp1007-1013と、シンハ（P.Sinha）の"Object Recognition via Image Invariants: A Case Study": Investigative Ophthalmology Visual Science, vol.35,pp.1735-1740,May 1994がある。
【００１８】
P.Lipson等は、類似画像の検索を目的として、画像をいくつかのブロックに分け、そのブロック間の画像特徴量の大小関係に着目した検索を行い、画像の構造化を行っている。
【００１９】
この構造化のもとになったシンハの文献は、画像中から例えば顔領域を検出するために、画素間の大小関係を抽出し、その抽出結果をテンプレートとする方法が記載されてある。このシンハの方法は、記憶された大量の画像から定性的な関係を抽出して、この抽出結果をテンプレートにして保持するという方法であるが、動画像等の画像が時系列的に複数個並んだ画像列に対して、あるテンプレートの対象領域の追跡を行う方法（トラッキング）では、テンプレートを逐次更新する必要があり、更新のための検出コストが大きくなるといった問題があった。
【００２０】
次に、画素間の濃淡値の増分符号を類似性測度とするテンプレートマッチングに、“増分符号相関による自然画像照合":金子俊一、村瀬一郎、福島孝明、五十嵐悟:電気学会研究会資料IIS-98-58,pp.31-35,1998がある。金子等は、画素間の濃淡値の増分符号に着目して、その符号の数を類似性測度にする考え方を導入している。しかしながら、2つの画像の類似性の判断を行う時、画素間の濃淡値が同一であって、濃淡値の符号が等号となるような場合には、濃淡値が増加した場合と同様に扱われているために、精密なマッチング、画像を分類するといった観点からはマッチングの精度が低くなるといった問題点があった。
【００２１】
【発明が解決しようとする課題】
上述したように、従来のマッチングは、前処理や特徴量等の照合数の増加にともなう計算コストが大きく、また撮像された画像が同一領域であっても、撮像される環境の変化によって濃淡値に変動がおきた場合、この変動に対応ができず検出精度を低下させるといった問題があった。
【００２２】
そこで本発明は上記従来の問題点に鑑みてなされたもので、検出精度を向上させた場合であっても計算コストを大幅に増加させることなく、また、画像に変動が生じた場合に、この変動の影響を受けにくい類似性測度を用いて、テンプレートマッチングの検出精度を向上させるパターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体の提供を目的とする。
【００２３】
【課題を解決するための手段】
上記目的を達成するために本発明のパターン認識方法は、列方向及び行方向にそれぞれ複数の画素を配列した第1の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求める工程と、列方向及び行方向にそれぞれ複数の画素を配列した第2の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求める工程と、前記基準3値比較画像と前記対象3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求める工程と、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定する工程とを有する。
【００２４】
また、本発明のパターン認識方法は、各階層の１画素の画素値が１段階下位の階層の２×２画素の画素値を用いて求められ、前記１段階下位の階層の２×２画素が前記各階層の各画素を列方向および行方向にそれぞれ２分割した位置に配置されている、複数階層の階層構造によって、対象画像を表現し、前記対象画像の階層構造と同様の複数階層の階層構造によって、基準画像を表現し、前記対象画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求め、前記基準画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求め、前記対象画像の、前記階層中の少なくとも1つの前記対象3値比較画像と、この対象3値比較画像に対応する前記基準3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求め、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定することを特徴とする。
【００２５】
また、本発明の記憶媒体は、パターン認識を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体であって、列方向及び行方向にそれぞれ複数の画素を配列した第1の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求めさせ、列方向及び行方向にそれぞれ複数の画素を配列した第2の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求めさせ、前記基準3値比較画像と前記対象3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求めさせ、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定させることを特徴とする。
【００２６】
また、本発明の記憶媒体は、パターン認識を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体であって、各階層の１画素の画素値が１段階下位の階層の２×２画素の画素値を用いて求められ、前記１段階下位の階層の２×２画素が前記各階層の各画素を列方向および行方向にそれぞれ２分割した位置に配置されている、複数階層の階層構造によって、対象画像を表現させ、前記対象画像の階層構造と同様の複数階層の階層構造によって、基準画像を表現させ、前記対象画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求めさせ、前記基準画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求めさせ、前記対象画像の、前記階層中の少なくとも1つの前記対象3値比較画像と、この対象3値比較画像に対応する前記基準3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求めさせ、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定させることを特徴とする。
【００２９】
このような構成によれば、隣接する画素間の濃淡値の大小関係、同一関係といった画像の定性的な関係を、画像の特徴量とすることで、計算コストの低減と、より精度の高いマッチングを行うことができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００３１】
図1乃至図10は第1の実施の形態を示すものである。
【００３２】
図1(a)〜(d)はテンプレートマッチングの動作を説明するものであり、(a)は対象画像の平面図、(b)はテンプレート画像の平面図、(c)はテンプレート画像を対象画像中で移動させることを説明する平面図、(d)は対象画像中でテンプレート画像を検出した平面図である。
【００３３】
パターン認識法なるテンプレートマッチングとは、s×t行列の画素からなる対象画像中から、v×w行列の画素からなるテンプレート画像が略合致する位置(パターン領域)を検出することである。なお、説明のために、対象画像の面積は、テンプレート画像の面積よりも大きいとする。また、各画像は、2値以上の多値濃淡で表され、それぞれの画像の濃度分解能は同一である。
【００３４】
例えば、(a)の対象画像は地形図であり、(b)のテンプレート画像は池である。より詳しくは、テンプレート画像(太枠)を対象画像全体に、(c)の矢印のように移動させてそれぞれの位置での類似性を比較し、最も類似性の高い位置がテンプレート画像であるとして、(d)のように対象画像中の一部分をテンプレート画像として検出することがテンプレートマッチングである。ここで、図中左右方向が行方向であり、図中上下方向が列方向である。
【００３５】
(c)の時、テンプレート画像の、対象画像中の各位置での類似性を判断するための測度として、以下の特徴量を用いる。
【００３６】
まず、m×nの画素からなる画像Iに対して、画像I内の位置(x，y)の画素を画素値I(x，y)とする。ただし、1≦x≦m，1≦y≦nの関係を有し、濃度分解能は、2ビットであり、0〜3の4段階で表された数値とする。
【００３７】
図2は、4段階の濃度分解能を有する4×4画素の画像ISである。
【００３８】
この任意の画像ISに対して、隣接する画素間の画素値から以下の2つの3値画像Ｑｈ，Ｑｖを特徴量として求める。
【００３９】
これによって、列方向及び行方向に隣接する画素間の画素値の大小関係、同値関係を調べる。
【数２】
図3(a)は、画像ISから求められたＱｈの画像（行方向の基準もしくは対象3値比較画素マトリクス）であり、(b)はＱｖの画像（列方向の基準もしくは対象3値比較画素マトリクス）である。(a)では、画像ISの最左上の画素00とその右の画素01との関係は、それぞれの濃度が2と4であり、計算した結果ＱVは「-2」となるため、記号「＜」が表示される。同様に(b)では、画像00とその下の画素10との関係は、それぞれの濃度が2と3であり、計算した結果Ｑhは「-1」となるため、記号「＜」が表示される。
【００４０】
以降、画像IS全体で、同様の計算を行う。この結果、Ｑｖは(m-1)×n画素の画像つまり(3×4)画素の3値画像が得られ、Ｑｈはm×(n-1)画素の画像つまり(4×3)画素の3値画像が得られる。
【００４１】
この得られた2つの3値画像を以下のように表し、以下QT（Qualitative Trinary Representation）表現と称する。
QT(I)=(Ｑｖ，Ｑｈ)
また、各画素値pについて(ap+b)倍された画像(aI+b)については、
QT(I)=QT(aI+b)
なる関係が成立する。
【００４２】
画像の各画素値が(ap+b)倍されたとしても、各画素間の大小関係は変化しないため、同じQT表現が得られる。これは、画像全体で行うノルムの正規化、もしくは平均と分散とを用いた正規化によっても特徴量(QT表現)が変化することはないことをあらわす。
【００４３】
また、3値画像を求める前にヒストグラム平坦化を予め行った画像HistNorm(I)について、
QT(I)=QT(HistNorm(I))
なる関係が成立する。
【００４４】
次に、QT表現の間の類似度について図4を参照して説明する。
【００４５】
図4(a)は、各画像とその画像から得られた3値画像とを表すQT表現の説明図であり、(b)は各画像の3値画像を比較した結果を示すQT表現の説明図である。
【００４６】
(a)左側の画像1は対象画像であり、画像1の下には画像1のQT表現（左側が行方向の基準3値比較画像、右側が列方向の基準3値比較画像）が表示され、右側の画像2はテンプレート画像であり、画像2の下には画像2のQT表現（左側が行方向の対象3値比較画像、右側が列方向の対象3値比較画像）が表示される。画像1のQT表現をQT(I1)とし、画像2のQT表現をQT(I2)とする。
【００４７】
各QT表現は、以下のように表すことができる。
QT(I1)=(Qv1，Qh1)
QT(I2)=(Qv2，Qh2)
このQT(I1)の(Qv1，Qh1)とQT(I2)の(Qv2，Qh2)との各成分を比較し、それぞれ対応する位置での符号が同一である画素の個数Dv、Dh（個数A、個数B）を以下のように求めていく。
【数３】
それぞれの3値画像の対応する各画素の符号が同じ場合を1に、それ以外の場合を0として、すべての画素について計算し、同じ符号の画素の個数を求める。
【００４８】
なお、得られた個数の最大値は、対象画像とテンプレート画像が同一である画像を比較したときであるから、
Dv(I,I)＝n(m-1)
Dh(I,I)＝m(n-1)
となる。
【００４９】
このようにして、(a)から各画素の符号が同一であるものの個数を計算する。(b)では同一の符号を有する画素にのみ網掛けをして表示している。この例では、以下の様な数が求められる。
Dv(I1,I2)＝1
Dh(I1,I2)＝6
次に、画像1と画像2との類似度QTSを求める。QTSは以下に示す式であり、その範囲は0.0〜1.0である。
【数４】
上述したm、n、Dv、Dhの数値をそれぞれ代入すると、類似度QTS＝0.29が求められる。
【００５０】
また、図5に示すようなQT表現を有した画像の類似度について説明する。
【００５１】
画像1、2、3は4×4画素からなる互いに異なる画像であり、これら画像1、2、3の濃度レベルは4段階とする。
【００５２】
上述したような方法により、画像1，2，3のQT表現と、そのQT表現における同一符号の個数を求め、その結果から類似度を計算する。
【００５３】
なお、画像2，3における同一符号の個数は、
Dv(I2,I3)＝12
Dh(I2,I3)＝8
であり、そのときの類似度QTSは0.83である。この結果、画像2に対して、画像3の方が画像1よりも類似度が高いと判断される。
【００５４】
なお、テンプレート画像や対象画像の画素数が同じであれば、類似度QTSの分母は共通となるため、分子だけを比較して類似度QTSを求めても良い。
【００５５】
このようにQT表現を用いて類似度を求める場合、乗算を用いることなく比較演算、及び和演算のみで類似度を得るため、従来の方法で同精度を得る場合に比べて、計算コストを低減できる。また、統計学的な平均、分散を用いないため、マッチングの際のテンプレート画像の移動を複数回行うことなく一回で済むことも計算コストの低減に寄与する。
【００５６】
また、図6(a)はQT表現と相互関数との関係を示すグラフであり、(b)は複数の対象画像である。
【００５７】
グラフ中の各点は、(b)に示すような複数の対象画像とある一つのテンプレート画像との相関値もしくはQT表現の結果(QTS)を表している。
【００５８】
グラフ中、点線で囲まれた範囲、つまり相互関数では略同一であると判断された画像であっても、QT表現でみれば類似度が異なっていることが分かる。この時の対象画像は、(b)に示すような様々は形状の画像が含まれていた。
【００５９】
また、従来、金子等による画素間の濃淡値の増分符号を類似性測度とする画像照合方法もあったが、この方法は、濃淡値が同じであることを示す等号が増加符号と同じ定義にしており、更に水平方向の比較しか行っていない。つまり、画像照合は、大小関係だけで表現した2値表現を用いて行っており、また、水平方向のみの計算結果から画像照合の結果を出力している。
【００６０】
このような金子等の従来の画像照合方法と本発明との差異について、図7(a)の従来の画像照合の説明図、(b)本発明の説明図を用いて説明する。
【００６１】
(a)、(b)において、各画像は、(4×4)画素からなり濃淡値は4段階である。また、各画像間に記載された数値は、画像間の類似度を示しており、1に近いほど同一画像であることを示す。
【００６２】
ここで、(a)、(b)中の左側の画像を画像1とし、右側の画像を画像2とし、中央の画像を画像3とする。
【００６３】
(a)に示す従来では、画像1の隣接する画素から求められた符号と、画像2の隣接する画素から求められた符号とを比較した結果、対応する位置での符号が全て同一であるため類似度は1.0であり、画像1と画像2とは同一画像と判断する。また、画像1と画像3は、画素(3,1)〜(3,4)が同一の濃淡値であり、符号は等号であるが、等号符号は増加符号の扱いと同一であるため、類似度を1.0とし、その結果同一画像であるとみなす。同様に、画像2と画像3との間でも画素(2,1)〜(2,4)は同一の濃淡値であるが、類似度1.0と判断され、同一の画像であるとみなす。
【００６４】
これに対して、(b)に示す本発明では、符号が等号である画素については、大小関係とは別に定義しているため、上述したような問題がなくなり、同一な濃度値を有する画素は同一であると判断され、類似度を0.5と計算される。
【００６５】
このように大小関係、同一関係を、3値表現を使って表現することにより、従来よりも、より精度の高い類似度計算を行うことができる。
【００６６】
次に、上述したようなQT表現を用いた類似度計算の動作について、図8の電子機器のブロック図と、図9のフローチャートを参照して説明する。なお、テンプレート画像、対象画像は予め撮像カメラ等により撮像される。
【００６７】
電子機器1は、モニタ2、本体3、キーボード4、とマウス5を有している。本体2内には、デジタルカメラ等の撮像カメラで撮像された画像が記憶されたハードディスク等の記憶装置10と、ROM，RAMからなるメモリ11と、記憶装置10、メモリ11、各要素(モニタ2、キーボード4、マウス5)が接続され、演算や各要素の制御を行うCPU12からなる。
【００６８】
記憶装置10への画像の記憶は、本体2と撮像カメラを直接接続して行う方法や、インターネット等の回線を介して、キーボード4及びマウス5を操作して方法がある。画像を表示する場合には、モニタ2を使用する。
【００６９】
(1)まず、記憶装置10からテンプレート画像をメモリ11に読み取り、CPU12によってテンプレート画像のQT表現を求める(S1)。
【００７０】
(2)次に、CPU12によって記憶装置10から対象画像をメモリ11に読み取り、この対象画像を拡大した画像、縮小した複数の対象画像を生成し、記憶装置10もしくはメモリ11に記憶する(S2)。
【００７１】
(3)次に、元の対象画像、拡大及び縮小した複数の対象画像のQT表現を、CPU12によって求め、対象画像と対応させて記憶装置10もしくはメモリ11に記憶する(S3)。
【００７２】
(4)次に、テンプレート画像のQT表現の3値画像と、ある倍率の対象画像のQT表現の3値画像中のテンプレート画像と同じ大きさの任意の領域との間で、それぞれに対応する位置での同一符号の個数を求め、その個数から類似度をCPU12によって計算し、記憶装置10もしくはメモリ11に一時的に記憶する(S4)。
【００７３】
(5)次に、この対象画像のQT表現の3値画像内全てに対して、テンプレート画像のQT表現の3値画像の類似度を計算をしたか否かがCPU12によって判断される(S5)。全ての計算が終了していればS9へ進み、未終了であればS6へ進む。
【００７４】
(6)未終了である場合には、この任意の領域の対象画像中の位置を1画素分だけ行もしくは列方向方向にずらした位置での3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度をCPU12によって計算し、記憶装置10もしくはメモリ11に一時的に記憶する(S6)。なお、類似度の計算は、任意の位置の行方向の計算を全て行った後、列方向方向に1画素ずらして、1画素ずらした位置で行方向に全ての計算を行っていく。
【００７５】
(7)次に、(6)で記憶した類似度と(4)で記憶した類似度とをCPU12によって比較する(S7)。比較された結果、(4)よりも(6)の類似度が大きければ、(8)へ進み、小さければ(5)へ進む。
【００７６】
(8)次に、類似度が大きい場合には、(4)の類似度を記憶装置10もしくはメモリ11から削除する(S8)。S5へ進む。
【００７７】
(9)ある倍率の対象画像中における全ての計算が終了した場合には、他の倍率の対象画像の3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度を計算したか否かがCPU12によって判断される(S9)。全ての他の倍率の対象画像の計算が終わっていれば、(11)へ進み、未終了であれば(10)に進む。
【００７８】
(10)未終了である場合には、記憶装置10もしくはメモリ11に記憶される倍率の異なる対象画像をCPU12によって読み出す(S10)。(4)へ進む。
【００７９】
(11)終了している場合には、記憶装置10もしくはメモリ11に記憶された類似度(対象画面の倍率及び対象画像中の位置を含む)を最大類似度であるとみなす(S11)。この最大類似度に記憶された位置がテンプレート画像の位置であると判断する。
【００８０】
以上述べた様な第1の実施の形態では、3値表現のQT表現を用いることで変動に強い類似性測度を得、より類似度計算の精度が高く、かつこの精度の向上に伴う計算コストの増加を抑制する、テンプレート画像の検索を行うことができる。
【００８１】
なお、テンプレート画像は、階層的な構造を持っていても良い。例えば、テンプレート画像(画像に写る被対象物の構造)が複雑である場合には、全体の構造と各部分の構成とに分けて、複数のテンプレート画像から構成することができる。
【００８２】
ここで、図10(a)〜(i)はテンプレート画像を階層的な構造として有する場合の説明図である。例として、人間の顔を考える。
【００８３】
(a)に示すように、テンプレート画像を、顔全体、右目、左目、鼻、口の5つのテンプレート画像に分ける。階層構造は、上段に顔全体のテンプレート画像があり、顔全体の下段に右目、左目、鼻、口の各テンプレート画像が並列にある。各階層間では、テンプレート画像の解像度は、同じでも、異なっていても良い。
【００８４】
(b)は、各テンプレート画像の配置と探索範囲(黒の枠)を示している。一番外側の枠は、顔全体のテンプレート画像の範囲を示している。顔全体の枠の中で、右目、左目、鼻、口の探索範囲は、各テンプレート画像を囲む枠で表示されている。各テンプレート画像はこの枠内でマッチングが行われる。ここで右目と鼻の範囲、及び左目と鼻の範囲のように、その一部が重複していても良い。
【００８５】
対象画像は(c)であり、この対象画像から上述した各テンプレート画像を検出する。顔全体のテンプレート画像は(d)であり、まず、このテンプレート画像を対象画像中からQT表現を用いて検出する。検出結果は、(e)中の枠1，2である。
【００８６】
次に、枠1，2を対象画像から切り取り、これら枠の大きさを同一にする((f)参照)。これら枠1，2を顔全体のテンプレート画像とみなして、その画像の中で(b)の各テンプレート画像(右目、左目、鼻、口)とのマッチングを、QT表現を用いて行っていく。
【００８７】
(g)は、(b)と(f)とを重ね合わせた画像であり、マッチングの結果から右側の画像は類似度が低い(ない)ため、検出対象からはずす。左側の画像は、類似度が（閾値を超えた）高いため、テンプレート画像であると判断する。
【００８８】
したがって、(h)中に、枠で示すように、対象画像からテンプレート画像が検出される。
【００８９】
このように、テンプレート画像を階層的な構造として保持し、マッチングを行うことも可能である。また図10では各階層ごとにマッチングを行ったが、各階層のマッチングを並行して行い、最も各テンプレート画像の適合が良い位置がテンプレート画像の位置であると判断しても良い。例えば、図10では5つのテンプレート画像があるが、この5つのテンプレート画像の各位置での類似度の合計値をその位置の類似度とし、最も大きな類似度を有した位置がテンプレート画像の位置であるとすることもできる。これは以下で述べる第3の実施の形態にも適用できる。
【００９０】
次に、本発明の第2の実施の形態の構成について図11を参照して説明する。
【００９１】
なお、以下の各実施の形態において同一構成要素は同一符号を付し重複する説明は省略する。
【００９２】
第2の実施の形態の特徴は、QT表現に加えて、従来の定量的な類似度（例えば相関法による類似度）を併用したことである。
【００９３】
図11(a)〜(e)は第2の実施の形態の動作の説明図であり、(a)は対象画像とテンプレート画像、(b)はQT表現で対象画像中から各閾値でテンプレート画像を抽出したマッチング結果の図、(c)はQT表現と相関法それぞれのマッチング結果の図、(d)QT表現と相関法とを組み合わせて求めたマッチング結果の図、(e)対象画像中のテンプレート画像が一致した場所を示す画像である。
【００９４】
(a)に示すように、テンプレート画像はモニタであり、対象画像は、このモニタが配置された室内を撮像した画像である。
【００９５】
この対象画像中からQT表現を用いてテンプレート画像のマッチングを行った結果が、(b)である。(b)では、マッチングする際のQTSに対する閾値を4つ設定しており、t1〜t4に向かって大きくなる。したがって、最上段の閾値t1のマッチング結果では、テンプレート画像にマッチングする候補は多く、逆に最下段の閾値t4のマッチング結果では、マッチングする候補は少なくなっている。
【００９６】
この閾値の中から、例えば、t3のマッチング結果をQT表現によるマッチング結果とする((c)上段)。また、同じ対象画像とテンプレート画像とを用いて相関法によってマッチングした結果が(c)下段である。
【００９７】
このQT表現によるマッチング結果と、相関法によるマッチング結果とを、比較して、同時にマッチング結果として検出される場所を、テンプレート画像の位置とする。ただし、同時にマッチングしている場所が複数個存在する場合には、複数個の中で相関法による検出結果のうち最大の類似度を有する場所を真のテンプレート画像の位置とする。この結果、(d)中の実線が真のテンプレート画像の位置であり、破線が同時にマッチングされ検出された位置である。
【００９８】
このようにして、(e)に示すように、対象画像中の白枠で囲まれた領域がテンプレート画像であると判断する。
【００９９】
以上述べた様な第2の実施の形態では、QT表現と相関法とを組み合わせてテンプレートマッチングを行うことで、より検出精度を上げることができる。
【０１００】
また、類似度の計算コストが相関法に比べて低いQT表現を用いて、対象画像中の類似度を求めておき、続いて類似度が所望の閾値以上の場所のみ相関法を用いてマッチングを行うことで、相関法だけ用いた場合の計算コストよりも低く、かつ精度の高いマッチングを行うことができる。
【０１０１】
次に、本発明の第3の実施の形態の構成について図12,13を参照して説明する。
【０１０２】
第3の実施の形態の特徴は、動画像などの画像が複数個並んだ画像列に対して、あるテンプレート画像の対象領域の追跡（トラッキング）を行い、その動画像からテンプレート画像の位置を検出したことである。
【０１０３】
図12は、撮像カメラによって撮像された対象画像であり、図中上から下に時間軸を持つ。なお、左側は所定間隔で撮像された対象画像であり、右側はその対象画像中のテンプレート画像を白枠で示した画像である。
【０１０４】
ここで、テンプレート画像は手の領域であり、このテンプレート画像が時間と共に画像内を右から左へと移動することで、テンプレート画像が検出される位置が変わっていく。また、時間の経過と共に手の位置、形状が変わるため対象画像も変わる。
【０１０５】
図13の第3の実施の形態のフローチャートを参照して、動作を説明する。
【０１０６】
なお、テンプレート画像は、予め記憶装置10もしくはメモリ11内に記憶されている。また、対象画像は、撮像カメラ等で撮像された画像であり、この画像は所定間隔で、記憶装置10もしくはメモリ11内に送られ、記憶される。本実施の形態の対象画像は、図12に示すように5つとする。
【０１０７】
(1)まず、記憶装置10もしくはメモリ11からテンプレート画像を読み出し、CPU12によってテンプレート画像のQT表現を求める(S21)。
【０１０８】
(2)次に、記憶装置10もしくはメモリ11から対象画像(例えば図12の左側最上段の画像)を読み出す(S22)。
【０１０９】
(3)次に、読み出された対象画像の縮尺を変化させた複数の対象画像をCPU12によって求め、これら対象画像を記憶装置10もしくはメモリ11に記憶する(S23)。
【０１１０】
(4)次に、対象画像ごとにQT表現を求め、対象画像に対応させてQT表現を、記憶装置10もしくはメモリ11に記憶する(S24)。
【０１１１】
(5)次に、テンプレート画像のQT表現の3値画像と、ある倍率の対象画像のQT表現の3値画像中のテンプレート画像と同じ大きさの任意の領域との間で、それぞれに対応する位置での同一符号の個数を求め、そして類似度をCPU12によって求め、記憶装置10もしくはメモリ11に一時的に記憶する(S25)。
【０１１２】
(6)次に、この対象画像のQT表現の3値画像内全てに対して、テンプレート画像のQT表現の3値画像の類似度を計算したか否かがCPU12によって判断される(S26)。全ての計算が終了していればS30へ進み、未終了であればS27へ進む。
【０１１３】
(7)未終了である場合には、対象画像中のこの任意の領域の位置を1画素分だけ行方向もしくは列方向にずらした位置での3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度をCPU12によって求め、記憶装置10もしくはメモリ11に一時的に記憶する(S27)。なお、計算は任意の領域の行方向を全て行った後、列方向を行う。
【０１１４】
(8)次に、(7)で記憶した類似度と(5)で記憶した類似度とをCPU12によって比較する(S28)。比較された結果、(5)よりも(7)の類似度が大きければ、(9)へ進み、小さければ(6)へ進む。
【０１１５】
(9)類似度が大きい場合には、(5)の類似度を記憶装置10もしくはメモリ11から削除する(S29)。（6）へ進む。
【０１１６】
(10)ある倍率の対象画像中における全ての計算が終了した場合には、他の倍率の対象画像の3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度を計算したか否かがCPU12によって判断される(S30)。全ての他の倍率の対象画像の計算が終わっていれば、（12）へ進み、未終了であれば（11）に進む。
【０１１７】
(11)未終了である場合には、記憶装置10もしくはメモリ11に記憶される倍率の異なる対象画像をCPU12によって読み出す(S31)。（3）へ進む。
【０１１８】
(12)終了している場合には、記憶装置10もしくはメモリ11に記憶された類似度(対象画面の倍率及び対象画像中の位置を含む)が最大類似度であるとみなす(S32)。この最大類似度に記憶された位置がテンプレート画像の位置であると判断する。
【０１１９】
(13)次に、対象画像中で最大類似度とされた領域を、新たなテンプレート画像としてCPU12によって取り出し、記憶装置10もしくはメモリ11に記憶する。そして、この新たなテンプレート画像のQT表現を求め、テンプレート画像に対応させて記憶する(S33)。
【０１２０】
(14)次に、テンプレートマッチングすべき対象画像が存在するか否かがCPU12によって判断される(S34)。存在する場合には、（2）に進み、存在しなければ処理を終了する。
【０１２１】
なお、本実施の形態では、さらにマッチングすべき対象画像が存在するため、（2）へ進み、対象画像を図12左側の上から2番目の画像として、上述したような（2）〜（13）のマッチングを行う。この2番目の画像を処理した後は、（14）にて対象画像を図12左側の上から3番目、4番目、5番目と変更しながら同様のマッチングを行っていく。
【０１２２】
以上述べたような第3の実施の形態では、テンプレート画像が対象画像中で移動し、対象画像、テンプレート画像が時々刻々変化していく場合であっても、テンプレート画像を逐次更新し追跡することで、対象画像が動画像においてもテンプレートマッチングを行うことができる。
【０１２３】
次に、本発明の第4の実施の形態の構成について図14，15を参照して説明する。
【０１２４】
第4の実施の形態の特徴は、QT表現を4分木(Quadtree)法と組み合わせて適用させたことである。
【０１２５】
図14(a)、(b)は、4分木データ構造の説明図であり、階層は3層あり、各階層の一つの画像は、2×2画素から構成される。ノードからの枝が4つある階層構造示している。階層1が最上層であり、階層3が最下層である(図14(a)参照)。
【０１２６】
階層1の画像は、2×2画素からなる。階層1の下層である階層2の画像は、階層1の1画素を4つ分割した4×4画素からなり、この4つに分割された画素の平均濃度が、階層1の一つの画素の濃度となる。同様に、階層2の下層である階層3の画像は、階層2の1画素を4つに分割した8×8画素からなり、この4つに分割された画素の平均濃度が、階層2の一つの画素の濃度とする(図14(b)参照)。また、各階層間の関係を本実施の形態では、より下層の画素値の平均値をより上層の濃度として各階層を結び付けていたが、この下層の画素の画素値の最大と最小の平均や中央値など、関連の仕方に制限はない。
【０１２７】
図15(a)は、各階層の画像であり、(b)は各階層のQT表現であり、(c)は3値表現の大小、等号関係を所定の関係を持って数値化したものである。
【０１２８】
各階層の最小単位を2×2画素とすれば、階層1のQT表現は1組、階層2のQT表現は4組、階層3のQT表現は8組となる。1組のQT表現は4つの符号値から構成される。大小関係、等号関係の3値表現の符号値の組み合わせは3４＝81種類あるが、そのうち実際にはありえない組み合わせを削除すると57種類となる。
【０１２９】
(b)に示される各組のQT表現を、この57種類の組み合わせを数値化した番号(0〜56)をつけると、(c)のように表せる。この数値化した番号をQT-ID番号と称する。また、各QT表現間の関係は、2×2画素からなるため4段階で表され、これは対応する画素の符号が同一である個数を用いて求められる。全ての符号が同一であれば、4として、全ての符号が異なっていれば、0とする。
【０１３０】
このように、ある対象画像を得た後、この対象画像を4分木構造で表現し、各層のQT表現をQT-ID番号(0〜4で表される類似関係を含んでいる)で表現し直す。
【０１３１】
2つの画像をそれぞれ図15（c）のような木構造で表現した際の、2つの画像の類似性の判断法について述べる。
【０１３２】
すべての階層における各ノードのQT-ID番号を用いて類似性を判断する場合、それぞれの各階層のノードの対応するID番号が同じかどうか、もしくは符号の対応する数がいくらであるかを求め、構造間の類似性を、その数によって判断する。
【０１３３】
各画像を階層的に表現することにより、上位階層では画像の大域的な性質を表現することになり、第1の実施の形態で述べたような、隣接関係に基づいただけのマッチングに加え、大域的な性質の類似性も比較することになる。
【０１３４】
また、ある階層にのみ着目し、ある階層のQT-ID番号同士の比較を行って、類似性を判断してもよい。
【０１３５】
この方法は、例えば、類似画像を検索する際に用いることができる。階層が上位であるほど抽象化された画像になるため、大まかな検索を行う際には上位の階層で行い、より精度の高い検索を行う際には下位の階層でマッチングを行う。
【０１３６】
また、画像の検索を行う際には、検索のための索引（インデックス）が必要となることがあり、このQT-ID番号を索引の情報として使用することも可能である。
【０１３７】
以上述べた様な第4の実施の形態では、計算コストをより抑制するためには上位の階層でマッチングを行い、検出精度をより高めるためには、より下位の階層でマッチングを行うことで、必要に応じてマッチングを使い分けることができる。
【０１３８】
また、各画像が階層的な構造を有することで、各画像から求められたQT表現同士のマッチングだけでなく、精緻なマッチングを行うことも可能である。
【０１３９】
次に、本発明の第5の実施の形態の構成について図16を参照して説明する。
【０１４０】
第5の実施の形態の特徴は、テンプレート画像中でマッチングの計算に関与しない画素を設定したことである。
【０１４１】
図16(a),(b)は第5の実施の形態の説明図であり、図中「φ」の画素がテンプレートマッチングを行う際に無視する部分である。
【０１４２】
(a)に示すように、無視する画素はテンプレート画像の四隅であり、この四隅の画素は、予めマッチングする画素からはずす。そして、テンプレート画像の形状を略十字形に変形する。
【０１４３】
また、(b)に示すように、テンプレート画像の中央部の複数の画素を無視する画素とする。これは、例えば、テンプレート画像がドーナツ形状であれば、空洞部のマッチングは不要であるため、予め無視する領域とすることができる。また、テンプレート画像が手であれば、指と指との隙間に当たる画素は、この無視する領域として設定することができる。
【０１４４】
このように、予め所定の画素を無視することにより、計算コストを低減し、かつ検出時間を短時間にすることができる。また、無視する領域の類似度の計算を行わないことにより、無意味な領域の影響を受けない。
【０１４５】
なお、この無視する画素を一部に含む領域の位置の指定は、任意に設定することが可能である。
【０１４６】
次に、本発明の第6の実施の形態について図17を参照して説明する。
【０１４７】
第6の実施の形態の特徴は、複数の対象画像に対してマッチングを行う際に、複数のテンプレート画像ごとに分類したことである。
【０１４８】
図17(a)〜(c)はその説明図であり、(a)は3種類のテンプレート画像であり、(b)は複数の対象画像であり、(c)は分類結果である。
【０１４９】
テンプレート画像は、(a)に示す通り、3種類あり、A、B、Cとする。ある記憶領域に複数の対象画像が混在した状態で保持されている((b)参照)。テンプレート画像、対象画像、それぞれのQT表現を求めて、各テンプレート画像を各対象画像とマッチングさせていく。各対象画像は、3つのテンプレート画像のうちいずれかを画像中に有する。マッチングを行い、その結果類似度が最大となるテンプレート画像ごとに対象画像を振り分けていき分類を行う((c)参照)。また、この後、分類された対象画像ごとに更に詳細なマッチングを行っても良い。この方法は、例えばクラスタリングの前処理として使用したり、パターン認識のためのマルチカテゴリ辞書の選択のために用いたりすることができる。
【０１５０】
なお、本発明は上記各実施の形態には限定されず、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。例えば、テンプレート画像は、複数の画像の平均画像を用いて作成したものであっても構わない。この場合に、平均画像は各画素の濃淡値から平均画素値を作ってQT表現を求めてもよいし、それぞれの画像のQT表現を求め、各画像の対応する画素位置の最も多い値を用いてテンプレート画像としても良い。また、変形する物体を検出するために、一つのテンプレート画像に対して、種々変形した形状を考慮したテンプレート画像を複数設定することも可能である。
【０１５１】
また、3値画像を求めるためには隣り合う画素間で計算を行っていたが、斜め方向に配置された画素間や、所定距離はなれた画素間で3値画像を求めても良い。例えば、図18のように隣接していない画素間での大小関係、同値関係を用いてもよい。
【０１５２】
また、大小関係に段階を持たせてn（ｎは自然数）段階として大小関係を表すことで、より検出精度を向上させることもできる。
【０１５３】
また、テンプレートマッチングやトラッキング（動画像中からテンプレート画像を抽出）は、テンプレート画像を対象画像中で平行移動させたり、対象画像を拡大、縮小したりしたが、対象画像を所望角度回転させた各画像をマッチングの対象としても良い。
【０１５４】
また、QT表現で用いられる画素値は、実施例では4段階でなくとも、64段階(6bit)、128段階(7bit)に設定することも可能である。また、得られる画像が256段階(8bit)の画像の場合に、濃淡方向の解像度を落として例えば64段階にし、同様のQT表現を求めるといった処理を行っても良い。256段階の場合には、大小関係が成立していた部分が、64段階に解像度が落ちたために同値関係になるといった別の側面からの情報が得られるようになる。もちろん、複数の解像度を使って多重解像度のQT表現を用いても良い。
【０１５５】
また、Quadtreeを用いた場合には、2×2画素からなる画像を一つの単位としているが、この画像単位を構成する画素数は、適宜設定可能である。
【０１５６】
また、カラー画像に対してマッチングを行うことも可能である。その場合には、カラー画像の各R,G,Bの濃淡に対して、同様の処理を行うことによってマッチングを行うことができる。また、別の色表現に変換し、この色表現から大小関係、等号関係を求めることもできる。
【０１５７】
また、対象画像としては可視光の下で撮像された画像でなく、赤外線を照射して撮像(撮影)された赤外線画像を用いることもできる。一般に、赤外線画像は、被撮像物によっては画像全体が白っぽくなり、飽和したような画像が得られる。この場合に、従来の正規化相関法を用いてマッチングを行うと、明るさに比例して相関値が大きくなるため、誤認識をおこしやすい。しかしながら、QT表現を用いたマッチングは、撮像される画像の性質(波長特有の画像の写り方)に左右されず、誤認識をせずにマッチングを行うことができる。また、コントラストの悪い超音波画像や医用画像、レーダ画像等の各種画像に対しても誤認識を低減したマッチングを行うことができる。
【０１５８】
また、QT表現を求める際に対象画像及びテンプレート画像の解像度レベルが大きい（例えば128、256段階）場合には、同一符号に任意の範囲を持たせることも可能である。例えば、256段階で濃度を表現する場合には、等号範囲を±5以内とし、比較した結果この範囲内であれば同一であるとみなして、等号とする等である。
【０１５９】
また、本発明の実施の形態における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。
【０１６０】
なお、本発明における記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク(CD-ROM，CD-R，DVD等)、光磁気ディスク(MO等)、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０１６１】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているOS(オペレーションシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施の形態を実現するための各処理の一部を実行してもよい。
【０１６２】
さらに、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【０１６３】
また、記憶媒体は1つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【０１６４】
なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施の形態における各処理を実行するものであって、パソコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【０１６５】
また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【０１６６】
【発明の効果】
以上述べた様な本発明によれば、変動に対して強い類似性測度を用いることで、計算コストを抑えつつ、検出精度をより高くすることができる。
【図面の簡単な説明】
【図１】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は対象画像、(b)はテンプレート画像、(c)は対象画像中を移動するテンプレート画像の説明図、(d)はマッチング結果の説明図。
【図２】 本発明のパターン認識方法の第1の実施の形態の対象画像の説明図。
【図３】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は横方向のQT表現の説明図、(b)は縦方向のQT表現の説明図。
【図４】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は各画像のQT表現の説明図、(b)は各画像から得られたQT表現を比較した結果の説明図。
【図５】 本発明のパターン認識方法の第1の実施の形態の類似度の説明図。
【図６】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)はQT表現による類似度と相関法による類似度との関係を示すグラフ、(b)は複数の対象画像。
【図７】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は従来のマッチングの説明図、(b)はQT表現を用いたマッチングの説明図。
【図８】 本発明のパターン認識方法の第1の実施の形態の電子機器の構成を示すブロック図。
【図９】 本発明のパターン認識方法の第1の実施の形態の動作を示すフローチャート。
【図１０】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は階層構造を有するテンプレート画像、(b)は各テンプレート画像の配置関係と検出領域の説明図、(c)は対象画像、(d)はテンプレート画像、(e)は対象画像中から検出された複数のテンプレート画像(上位階層)の候補の位置の説明図、(f)は対象画像から切り取られたテンプレート画像の候補の説明図、(g)テンプレート画像(上位階層)の候補に下位階層のテンプレート画像をマッチングさせた時の説明図、(h)はテンプレート画像が検出された結果を表示する対象画像の説明図。
【図１１】 本発明のパターン認識方法の第2の実施の形態を説明するもので、(a)は対象画像とテンプレート画像、(b)は各閾値ごとのマッチング結果の説明図、(c)はQT表現によるマッチング結果と相関法によるマッチング結果との説明図、(d)はQT表現と相関法とを用いたマッチング結果の説明図、(e)は対象画像中で検出されたテンプレート画像。
【図１２】 本発明のパターン認識方法の第3の実施の形態の説明図。
【図１３】 本発明のパターン認識方法の第3の実施の形態の動作を示すフローチャート。
【図１４】 本発明のパターン認識方法の第5の実施の形態を説明するもので、(a)は4分木の構造の説明図、(b)は各階層における画素の説明図。
【図１５】 本発明のパターン認識方法の第5の実施の形態を説明するもので、(a)は各階層の画素の説明図、(b)は各階層のQT表現の説明図、(c)は各QT表現をQT-ID番号で示した時の説明図。
【図１６】 本発明のパターン認識方法の対象画像からQT表現を無視する領域を設定する時の説明図。
【図１７】 本発明のパターン認識方法の第4の実施の形態を説明するもので、(a)は複数のテンプレート画像の説明図、(b)は複数の対象画像の説明図、(c)はテンプレート画像ごとに分類された対象画像の説明図。
【図１８】 本発明のパターン認識方法の第1の実施の形態とは異なるQT表現の説明図。
【図１９】 従来のパターン認識方法を説明するもので、(a)は対象画像の説明図、(b)は対象画像に光が差し込んだ場合の説明図、(c)は(b)の画像に背景処理を施した対象画像の説明図、(d)は(b)の画像にエッジ処理を施した対象画像の説明図、(e)は撮像カメラで撮像された実際の対象画像、(f)は(e)からテンプレート画像を検出する説明図。
【符号の説明】
1 電子機器
2 モニタ
3 本体
4 キーボード
5 マウス
10 記憶装置
11 メモリ
12 CPU
【発明の属する技術分野】
本発明は、パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
複数の画像間の互いの位置合わせや、画像中から特定の物体を検出する際に用いられる方法は、画像マッチングと呼ばれている。
【０００３】
この画像マッチングには、例えば、ブラウン(L.G.Brown)の"A SURVEY OF IMAGE REGISTRATION TECHNIQUES", acm computing surveys, Vol.24,No.4,pp,325-376: (白井(訳)「画像の位置合わせ手法の概観」,コンピュータサイエンス acm computing surveys'92 bit 別冊,pp.77-120)に示されたように、複数の画像の画素ごとの類似性の測度を定義して、この画像間中でその測度が最も高い場所を決定する方法がある。
【０００４】
画素ごとの濃淡情報を用いた画像マッチング方法には、類似性測度として、SSD(Sum of Square Difference)、SAD(Sum of Absolute Difference)や相互相関係数といった統計的アプローチが用いられていた。
【０００５】
例えば、相互相関係数Cの場合には、類似性測度を以下の式(1)のように表す。
【数１】
【０００６】
このような相互相関係数Cを用いて、画像中からあるモデル画像(以下テンプレート画像と称する)の位置を検出するテンプレートマッチングでは、テンプレート画像の平行移動、回転といった幾何学的変換のパラメータの増加に伴って検出のコストが大きくなった。
【０００７】
また、画素の明るさの変化を制御するために、ヒストグラム平坦化処理やエッジ強調フィルタ、エッジ抽出処理といった類似性測度を計算する前の前処理となる画像処理が必要となる場合が多かった。
【０００８】
さらに、これらの前処理は、使用する類似性測度(SSD、SAD、相互相関係数)やテンプレートが有する特徴との相性の問題があった。
【０００９】
例えば、SSDにおいて、濃淡情報を直接用いて類似性測度を定義する場合には、画素の濃淡値の大きさがそのまま測度に影響するため、以下に示す性質があった。
【００１０】
図19(a)〜(e)は濃淡値を類似性測度に用いた場合のテンプレートマッチングを説明する図であり、(a)は対象画像、(b)は(a)の一部に光が当たった画像、(c)は(b)をエッジ処理した画像、(d)は(a)とは異なる撮像された画像、(e)は(d)から抽出領域(手)を抽出した画像である。
【００１１】
(a)は説明のため濃淡値が1種類で表示した対象物の画像である(領域1)。(b)は対象物の右上から光が照射された時の画像であり、この光が当たった領域を領域2とし、この領域2の濃淡値は領域1と異なる。よって、濃淡値の違いが類似度に影響を及ぼす。(c)は(b)をエッジ処理した画像であり、領域1と2の境界の画素だけが影響を受けるため、(b)に比べて類似度への影響は小さいものの、エッジだけの情報を用いてテンプレートマッチングを行うことは汎用的ではなかった。
【００１２】
また、(d)のような複雑な背景を持つ画像からテンプレート(手)を抽出した後の(e)は、背景画像が複雑なため、この背景部分の濃淡値がテンプレートマッチングに大きな影響を及ぼす原因になった。
【００１３】
したがって、テンプレートマッチングを行うために、濃淡値を直接類似性測度に用いた場合には、上述したような濃淡値の変化のため、検出精度を一定以上に保っていなかった。
【００１４】
次に、濃淡値をそのまま類似性測度に用いないテンプレートマッチングには、ヴノー等（A.Venot, J.F.Lebruchec, J.C.Roucayrol）の"A New Class of Similarity Measures for Robust Image Registration ": Computer Vision, Graphics, Image Processing,28,pp.176-184(1984)がある。これは、同じ撮像条件で撮像された2つの画像を重ねて、それぞれの対応する画素の画素値(濃淡値)の差を求め、この差が負に変化した(符号が変化した)数を特徴量(類似性測度)としてマッチングを行った方法である。
【００１５】
例えば、相互相関係数を用いた相関法では、差のある位置における画素の「濃淡値」が類似性測度に影響をおよぼすが、この符号の変化は、差のある位置の「個数」に関連するために、濃淡値の変動に対して影響が少ない。
【００１６】
しかしながら、この方法は、医用画像処理に適用されているが、試行のたびに、相関法と同様に、2つの画像の特徴量の計算が必要となるため、検出コストが大きくなるといった問題があった。
【００１７】
次に、画素間の大小関係を類似性測度として用いた手法に、リプトン等の（P.Lipson, E.Grimson, P.Sinha）"Configuration Based Scene Classification and Image Indexing": CVPR'97 pp1007-1013と、シンハ（P.Sinha）の"Object Recognition via Image Invariants: A Case Study": Investigative Ophthalmology Visual Science, vol.35,pp.1735-1740,May 1994がある。
【００１８】
P.Lipson等は、類似画像の検索を目的として、画像をいくつかのブロックに分け、そのブロック間の画像特徴量の大小関係に着目した検索を行い、画像の構造化を行っている。
【００１９】
この構造化のもとになったシンハの文献は、画像中から例えば顔領域を検出するために、画素間の大小関係を抽出し、その抽出結果をテンプレートとする方法が記載されてある。このシンハの方法は、記憶された大量の画像から定性的な関係を抽出して、この抽出結果をテンプレートにして保持するという方法であるが、動画像等の画像が時系列的に複数個並んだ画像列に対して、あるテンプレートの対象領域の追跡を行う方法（トラッキング）では、テンプレートを逐次更新する必要があり、更新のための検出コストが大きくなるといった問題があった。
【００２０】
次に、画素間の濃淡値の増分符号を類似性測度とするテンプレートマッチングに、“増分符号相関による自然画像照合":金子俊一、村瀬一郎、福島孝明、五十嵐悟:電気学会研究会資料IIS-98-58,pp.31-35,1998がある。金子等は、画素間の濃淡値の増分符号に着目して、その符号の数を類似性測度にする考え方を導入している。しかしながら、2つの画像の類似性の判断を行う時、画素間の濃淡値が同一であって、濃淡値の符号が等号となるような場合には、濃淡値が増加した場合と同様に扱われているために、精密なマッチング、画像を分類するといった観点からはマッチングの精度が低くなるといった問題点があった。
【００２１】
【発明が解決しようとする課題】
上述したように、従来のマッチングは、前処理や特徴量等の照合数の増加にともなう計算コストが大きく、また撮像された画像が同一領域であっても、撮像される環境の変化によって濃淡値に変動がおきた場合、この変動に対応ができず検出精度を低下させるといった問題があった。
【００２２】
そこで本発明は上記従来の問題点に鑑みてなされたもので、検出精度を向上させた場合であっても計算コストを大幅に増加させることなく、また、画像に変動が生じた場合に、この変動の影響を受けにくい類似性測度を用いて、テンプレートマッチングの検出精度を向上させるパターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体の提供を目的とする。
【００２３】
【課題を解決するための手段】
上記目的を達成するために本発明のパターン認識方法は、列方向及び行方向にそれぞれ複数の画素を配列した第1の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求める工程と、列方向及び行方向にそれぞれ複数の画素を配列した第2の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求める工程と、前記基準3値比較画像と前記対象3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求める工程と、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定する工程とを有する。
【００２４】
また、本発明のパターン認識方法は、各階層の１画素の画素値が１段階下位の階層の２×２画素の画素値を用いて求められ、前記１段階下位の階層の２×２画素が前記各階層の各画素を列方向および行方向にそれぞれ２分割した位置に配置されている、複数階層の階層構造によって、対象画像を表現し、前記対象画像の階層構造と同様の複数階層の階層構造によって、基準画像を表現し、前記対象画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求め、前記基準画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求め、前記対象画像の、前記階層中の少なくとも1つの前記対象3値比較画像と、この対象3値比較画像に対応する前記基準3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求め、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定することを特徴とする。
【００２５】
また、本発明の記憶媒体は、パターン認識を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体であって、列方向及び行方向にそれぞれ複数の画素を配列した第1の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求めさせ、列方向及び行方向にそれぞれ複数の画素を配列した第2の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求めさせ、前記基準3値比較画像と前記対象3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求めさせ、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定させることを特徴とする。
【００２６】
また、本発明の記憶媒体は、パターン認識を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体であって、各階層の１画素の画素値が１段階下位の階層の２×２画素の画素値を用いて求められ、前記１段階下位の階層の２×２画素が前記各階層の各画素を列方向および行方向にそれぞれ２分割した位置に配置されている、複数階層の階層構造によって、対象画像を表現させ、前記対象画像の階層構造と同様の複数階層の階層構造によって、基準画像を表現させ、前記対象画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求めさせ、前記基準画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較させ、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求めさせ、前記対象画像の、前記階層中の少なくとも1つの前記対象3値比較画像と、この対象3値比較画像に対応する前記基準3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求めさせ、前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定させることを特徴とする。
【００２９】
このような構成によれば、隣接する画素間の濃淡値の大小関係、同一関係といった画像の定性的な関係を、画像の特徴量とすることで、計算コストの低減と、より精度の高いマッチングを行うことができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００３１】
図1乃至図10は第1の実施の形態を示すものである。
【００３２】
図1(a)〜(d)はテンプレートマッチングの動作を説明するものであり、(a)は対象画像の平面図、(b)はテンプレート画像の平面図、(c)はテンプレート画像を対象画像中で移動させることを説明する平面図、(d)は対象画像中でテンプレート画像を検出した平面図である。
【００３３】
パターン認識法なるテンプレートマッチングとは、s×t行列の画素からなる対象画像中から、v×w行列の画素からなるテンプレート画像が略合致する位置(パターン領域)を検出することである。なお、説明のために、対象画像の面積は、テンプレート画像の面積よりも大きいとする。また、各画像は、2値以上の多値濃淡で表され、それぞれの画像の濃度分解能は同一である。
【００３４】
例えば、(a)の対象画像は地形図であり、(b)のテンプレート画像は池である。より詳しくは、テンプレート画像(太枠)を対象画像全体に、(c)の矢印のように移動させてそれぞれの位置での類似性を比較し、最も類似性の高い位置がテンプレート画像であるとして、(d)のように対象画像中の一部分をテンプレート画像として検出することがテンプレートマッチングである。ここで、図中左右方向が行方向であり、図中上下方向が列方向である。
【００３５】
(c)の時、テンプレート画像の、対象画像中の各位置での類似性を判断するための測度として、以下の特徴量を用いる。
【００３６】
まず、m×nの画素からなる画像Iに対して、画像I内の位置(x，y)の画素を画素値I(x，y)とする。ただし、1≦x≦m，1≦y≦nの関係を有し、濃度分解能は、2ビットであり、0〜3の4段階で表された数値とする。
【００３７】
図2は、4段階の濃度分解能を有する4×4画素の画像ISである。
【００３８】
この任意の画像ISに対して、隣接する画素間の画素値から以下の2つの3値画像Ｑｈ，Ｑｖを特徴量として求める。
【００３９】
これによって、列方向及び行方向に隣接する画素間の画素値の大小関係、同値関係を調べる。
【数２】
【００４０】
以降、画像IS全体で、同様の計算を行う。この結果、Ｑｖは(m-1)×n画素の画像つまり(3×4)画素の3値画像が得られ、Ｑｈはm×(n-1)画素の画像つまり(4×3)画素の3値画像が得られる。
【００４１】
この得られた2つの3値画像を以下のように表し、以下QT（Qualitative Trinary Representation）表現と称する。
QT(I)=(Ｑｖ，Ｑｈ)
また、各画素値pについて(ap+b)倍された画像(aI+b)については、
QT(I)=QT(aI+b)
なる関係が成立する。
【００４２】
画像の各画素値が(ap+b)倍されたとしても、各画素間の大小関係は変化しないため、同じQT表現が得られる。これは、画像全体で行うノルムの正規化、もしくは平均と分散とを用いた正規化によっても特徴量(QT表現)が変化することはないことをあらわす。
【００４３】
また、3値画像を求める前にヒストグラム平坦化を予め行った画像HistNorm(I)について、
QT(I)=QT(HistNorm(I))
なる関係が成立する。
【００４４】
次に、QT表現の間の類似度について図4を参照して説明する。
【００４５】
図4(a)は、各画像とその画像から得られた3値画像とを表すQT表現の説明図であり、(b)は各画像の3値画像を比較した結果を示すQT表現の説明図である。
【００４６】
(a)左側の画像1は対象画像であり、画像1の下には画像1のQT表現（左側が行方向の基準3値比較画像、右側が列方向の基準3値比較画像）が表示され、右側の画像2はテンプレート画像であり、画像2の下には画像2のQT表現（左側が行方向の対象3値比較画像、右側が列方向の対象3値比較画像）が表示される。画像1のQT表現をQT(I1)とし、画像2のQT表現をQT(I2)とする。
【００４７】
各QT表現は、以下のように表すことができる。
QT(I1)=(Qv1，Qh1)
QT(I2)=(Qv2，Qh2)
このQT(I1)の(Qv1，Qh1)とQT(I2)の(Qv2，Qh2)との各成分を比較し、それぞれ対応する位置での符号が同一である画素の個数Dv、Dh（個数A、個数B）を以下のように求めていく。
【数３】
【００４８】
なお、得られた個数の最大値は、対象画像とテンプレート画像が同一である画像を比較したときであるから、
Dv(I,I)＝n(m-1)
Dh(I,I)＝m(n-1)
となる。
【００４９】
このようにして、(a)から各画素の符号が同一であるものの個数を計算する。(b)では同一の符号を有する画素にのみ網掛けをして表示している。この例では、以下の様な数が求められる。
Dv(I1,I2)＝1
Dh(I1,I2)＝6
次に、画像1と画像2との類似度QTSを求める。QTSは以下に示す式であり、その範囲は0.0〜1.0である。
【数４】
【００５０】
また、図5に示すようなQT表現を有した画像の類似度について説明する。
【００５１】
画像1、2、3は4×4画素からなる互いに異なる画像であり、これら画像1、2、3の濃度レベルは4段階とする。
【００５２】
上述したような方法により、画像1，2，3のQT表現と、そのQT表現における同一符号の個数を求め、その結果から類似度を計算する。
【００５３】
なお、画像2，3における同一符号の個数は、
Dv(I2,I3)＝12
Dh(I2,I3)＝8
であり、そのときの類似度QTSは0.83である。この結果、画像2に対して、画像3の方が画像1よりも類似度が高いと判断される。
【００５４】
なお、テンプレート画像や対象画像の画素数が同じであれば、類似度QTSの分母は共通となるため、分子だけを比較して類似度QTSを求めても良い。
【００５５】
このようにQT表現を用いて類似度を求める場合、乗算を用いることなく比較演算、及び和演算のみで類似度を得るため、従来の方法で同精度を得る場合に比べて、計算コストを低減できる。また、統計学的な平均、分散を用いないため、マッチングの際のテンプレート画像の移動を複数回行うことなく一回で済むことも計算コストの低減に寄与する。
【００５６】
また、図6(a)はQT表現と相互関数との関係を示すグラフであり、(b)は複数の対象画像である。
【００５７】
グラフ中の各点は、(b)に示すような複数の対象画像とある一つのテンプレート画像との相関値もしくはQT表現の結果(QTS)を表している。
【００５８】
グラフ中、点線で囲まれた範囲、つまり相互関数では略同一であると判断された画像であっても、QT表現でみれば類似度が異なっていることが分かる。この時の対象画像は、(b)に示すような様々は形状の画像が含まれていた。
【００５９】
また、従来、金子等による画素間の濃淡値の増分符号を類似性測度とする画像照合方法もあったが、この方法は、濃淡値が同じであることを示す等号が増加符号と同じ定義にしており、更に水平方向の比較しか行っていない。つまり、画像照合は、大小関係だけで表現した2値表現を用いて行っており、また、水平方向のみの計算結果から画像照合の結果を出力している。
【００６０】
このような金子等の従来の画像照合方法と本発明との差異について、図7(a)の従来の画像照合の説明図、(b)本発明の説明図を用いて説明する。
【００６１】
(a)、(b)において、各画像は、(4×4)画素からなり濃淡値は4段階である。また、各画像間に記載された数値は、画像間の類似度を示しており、1に近いほど同一画像であることを示す。
【００６２】
ここで、(a)、(b)中の左側の画像を画像1とし、右側の画像を画像2とし、中央の画像を画像3とする。
【００６３】
(a)に示す従来では、画像1の隣接する画素から求められた符号と、画像2の隣接する画素から求められた符号とを比較した結果、対応する位置での符号が全て同一であるため類似度は1.0であり、画像1と画像2とは同一画像と判断する。また、画像1と画像3は、画素(3,1)〜(3,4)が同一の濃淡値であり、符号は等号であるが、等号符号は増加符号の扱いと同一であるため、類似度を1.0とし、その結果同一画像であるとみなす。同様に、画像2と画像3との間でも画素(2,1)〜(2,4)は同一の濃淡値であるが、類似度1.0と判断され、同一の画像であるとみなす。
【００６４】
これに対して、(b)に示す本発明では、符号が等号である画素については、大小関係とは別に定義しているため、上述したような問題がなくなり、同一な濃度値を有する画素は同一であると判断され、類似度を0.5と計算される。
【００６５】
このように大小関係、同一関係を、3値表現を使って表現することにより、従来よりも、より精度の高い類似度計算を行うことができる。
【００６６】
次に、上述したようなQT表現を用いた類似度計算の動作について、図8の電子機器のブロック図と、図9のフローチャートを参照して説明する。なお、テンプレート画像、対象画像は予め撮像カメラ等により撮像される。
【００６７】
電子機器1は、モニタ2、本体3、キーボード4、とマウス5を有している。本体2内には、デジタルカメラ等の撮像カメラで撮像された画像が記憶されたハードディスク等の記憶装置10と、ROM，RAMからなるメモリ11と、記憶装置10、メモリ11、各要素(モニタ2、キーボード4、マウス5)が接続され、演算や各要素の制御を行うCPU12からなる。
【００６８】
記憶装置10への画像の記憶は、本体2と撮像カメラを直接接続して行う方法や、インターネット等の回線を介して、キーボード4及びマウス5を操作して方法がある。画像を表示する場合には、モニタ2を使用する。
【００６９】
(1)まず、記憶装置10からテンプレート画像をメモリ11に読み取り、CPU12によってテンプレート画像のQT表現を求める(S1)。
【００７０】
(2)次に、CPU12によって記憶装置10から対象画像をメモリ11に読み取り、この対象画像を拡大した画像、縮小した複数の対象画像を生成し、記憶装置10もしくはメモリ11に記憶する(S2)。
【００７１】
(3)次に、元の対象画像、拡大及び縮小した複数の対象画像のQT表現を、CPU12によって求め、対象画像と対応させて記憶装置10もしくはメモリ11に記憶する(S3)。
【００７２】
(4)次に、テンプレート画像のQT表現の3値画像と、ある倍率の対象画像のQT表現の3値画像中のテンプレート画像と同じ大きさの任意の領域との間で、それぞれに対応する位置での同一符号の個数を求め、その個数から類似度をCPU12によって計算し、記憶装置10もしくはメモリ11に一時的に記憶する(S4)。
【００７３】
(5)次に、この対象画像のQT表現の3値画像内全てに対して、テンプレート画像のQT表現の3値画像の類似度を計算をしたか否かがCPU12によって判断される(S5)。全ての計算が終了していればS9へ進み、未終了であればS6へ進む。
【００７４】
(6)未終了である場合には、この任意の領域の対象画像中の位置を1画素分だけ行もしくは列方向方向にずらした位置での3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度をCPU12によって計算し、記憶装置10もしくはメモリ11に一時的に記憶する(S6)。なお、類似度の計算は、任意の位置の行方向の計算を全て行った後、列方向方向に1画素ずらして、1画素ずらした位置で行方向に全ての計算を行っていく。
【００７５】
(7)次に、(6)で記憶した類似度と(4)で記憶した類似度とをCPU12によって比較する(S7)。比較された結果、(4)よりも(6)の類似度が大きければ、(8)へ進み、小さければ(5)へ進む。
【００７６】
(8)次に、類似度が大きい場合には、(4)の類似度を記憶装置10もしくはメモリ11から削除する(S8)。S5へ進む。
【００７７】
(9)ある倍率の対象画像中における全ての計算が終了した場合には、他の倍率の対象画像の3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度を計算したか否かがCPU12によって判断される(S9)。全ての他の倍率の対象画像の計算が終わっていれば、(11)へ進み、未終了であれば(10)に進む。
【００７８】
(10)未終了である場合には、記憶装置10もしくはメモリ11に記憶される倍率の異なる対象画像をCPU12によって読み出す(S10)。(4)へ進む。
【００７９】
(11)終了している場合には、記憶装置10もしくはメモリ11に記憶された類似度(対象画面の倍率及び対象画像中の位置を含む)を最大類似度であるとみなす(S11)。この最大類似度に記憶された位置がテンプレート画像の位置であると判断する。
【００８０】
以上述べた様な第1の実施の形態では、3値表現のQT表現を用いることで変動に強い類似性測度を得、より類似度計算の精度が高く、かつこの精度の向上に伴う計算コストの増加を抑制する、テンプレート画像の検索を行うことができる。
【００８１】
なお、テンプレート画像は、階層的な構造を持っていても良い。例えば、テンプレート画像(画像に写る被対象物の構造)が複雑である場合には、全体の構造と各部分の構成とに分けて、複数のテンプレート画像から構成することができる。
【００８２】
ここで、図10(a)〜(i)はテンプレート画像を階層的な構造として有する場合の説明図である。例として、人間の顔を考える。
【００８３】
(a)に示すように、テンプレート画像を、顔全体、右目、左目、鼻、口の5つのテンプレート画像に分ける。階層構造は、上段に顔全体のテンプレート画像があり、顔全体の下段に右目、左目、鼻、口の各テンプレート画像が並列にある。各階層間では、テンプレート画像の解像度は、同じでも、異なっていても良い。
【００８４】
(b)は、各テンプレート画像の配置と探索範囲(黒の枠)を示している。一番外側の枠は、顔全体のテンプレート画像の範囲を示している。顔全体の枠の中で、右目、左目、鼻、口の探索範囲は、各テンプレート画像を囲む枠で表示されている。各テンプレート画像はこの枠内でマッチングが行われる。ここで右目と鼻の範囲、及び左目と鼻の範囲のように、その一部が重複していても良い。
【００８５】
対象画像は(c)であり、この対象画像から上述した各テンプレート画像を検出する。顔全体のテンプレート画像は(d)であり、まず、このテンプレート画像を対象画像中からQT表現を用いて検出する。検出結果は、(e)中の枠1，2である。
【００８６】
次に、枠1，2を対象画像から切り取り、これら枠の大きさを同一にする((f)参照)。これら枠1，2を顔全体のテンプレート画像とみなして、その画像の中で(b)の各テンプレート画像(右目、左目、鼻、口)とのマッチングを、QT表現を用いて行っていく。
【００８７】
(g)は、(b)と(f)とを重ね合わせた画像であり、マッチングの結果から右側の画像は類似度が低い(ない)ため、検出対象からはずす。左側の画像は、類似度が（閾値を超えた）高いため、テンプレート画像であると判断する。
【００８８】
したがって、(h)中に、枠で示すように、対象画像からテンプレート画像が検出される。
【００８９】
このように、テンプレート画像を階層的な構造として保持し、マッチングを行うことも可能である。また図10では各階層ごとにマッチングを行ったが、各階層のマッチングを並行して行い、最も各テンプレート画像の適合が良い位置がテンプレート画像の位置であると判断しても良い。例えば、図10では5つのテンプレート画像があるが、この5つのテンプレート画像の各位置での類似度の合計値をその位置の類似度とし、最も大きな類似度を有した位置がテンプレート画像の位置であるとすることもできる。これは以下で述べる第3の実施の形態にも適用できる。
【００９０】
次に、本発明の第2の実施の形態の構成について図11を参照して説明する。
【００９１】
なお、以下の各実施の形態において同一構成要素は同一符号を付し重複する説明は省略する。
【００９２】
第2の実施の形態の特徴は、QT表現に加えて、従来の定量的な類似度（例えば相関法による類似度）を併用したことである。
【００９３】
図11(a)〜(e)は第2の実施の形態の動作の説明図であり、(a)は対象画像とテンプレート画像、(b)はQT表現で対象画像中から各閾値でテンプレート画像を抽出したマッチング結果の図、(c)はQT表現と相関法それぞれのマッチング結果の図、(d)QT表現と相関法とを組み合わせて求めたマッチング結果の図、(e)対象画像中のテンプレート画像が一致した場所を示す画像である。
【００９４】
(a)に示すように、テンプレート画像はモニタであり、対象画像は、このモニタが配置された室内を撮像した画像である。
【００９５】
この対象画像中からQT表現を用いてテンプレート画像のマッチングを行った結果が、(b)である。(b)では、マッチングする際のQTSに対する閾値を4つ設定しており、t1〜t4に向かって大きくなる。したがって、最上段の閾値t1のマッチング結果では、テンプレート画像にマッチングする候補は多く、逆に最下段の閾値t4のマッチング結果では、マッチングする候補は少なくなっている。
【００９６】
この閾値の中から、例えば、t3のマッチング結果をQT表現によるマッチング結果とする((c)上段)。また、同じ対象画像とテンプレート画像とを用いて相関法によってマッチングした結果が(c)下段である。
【００９７】
このQT表現によるマッチング結果と、相関法によるマッチング結果とを、比較して、同時にマッチング結果として検出される場所を、テンプレート画像の位置とする。ただし、同時にマッチングしている場所が複数個存在する場合には、複数個の中で相関法による検出結果のうち最大の類似度を有する場所を真のテンプレート画像の位置とする。この結果、(d)中の実線が真のテンプレート画像の位置であり、破線が同時にマッチングされ検出された位置である。
【００９８】
このようにして、(e)に示すように、対象画像中の白枠で囲まれた領域がテンプレート画像であると判断する。
【００９９】
以上述べた様な第2の実施の形態では、QT表現と相関法とを組み合わせてテンプレートマッチングを行うことで、より検出精度を上げることができる。
【０１００】
また、類似度の計算コストが相関法に比べて低いQT表現を用いて、対象画像中の類似度を求めておき、続いて類似度が所望の閾値以上の場所のみ相関法を用いてマッチングを行うことで、相関法だけ用いた場合の計算コストよりも低く、かつ精度の高いマッチングを行うことができる。
【０１０１】
次に、本発明の第3の実施の形態の構成について図12,13を参照して説明する。
【０１０２】
第3の実施の形態の特徴は、動画像などの画像が複数個並んだ画像列に対して、あるテンプレート画像の対象領域の追跡（トラッキング）を行い、その動画像からテンプレート画像の位置を検出したことである。
【０１０３】
図12は、撮像カメラによって撮像された対象画像であり、図中上から下に時間軸を持つ。なお、左側は所定間隔で撮像された対象画像であり、右側はその対象画像中のテンプレート画像を白枠で示した画像である。
【０１０４】
ここで、テンプレート画像は手の領域であり、このテンプレート画像が時間と共に画像内を右から左へと移動することで、テンプレート画像が検出される位置が変わっていく。また、時間の経過と共に手の位置、形状が変わるため対象画像も変わる。
【０１０５】
図13の第3の実施の形態のフローチャートを参照して、動作を説明する。
【０１０６】
なお、テンプレート画像は、予め記憶装置10もしくはメモリ11内に記憶されている。また、対象画像は、撮像カメラ等で撮像された画像であり、この画像は所定間隔で、記憶装置10もしくはメモリ11内に送られ、記憶される。本実施の形態の対象画像は、図12に示すように5つとする。
【０１０７】
(1)まず、記憶装置10もしくはメモリ11からテンプレート画像を読み出し、CPU12によってテンプレート画像のQT表現を求める(S21)。
【０１０８】
(2)次に、記憶装置10もしくはメモリ11から対象画像(例えば図12の左側最上段の画像)を読み出す(S22)。
【０１０９】
(3)次に、読み出された対象画像の縮尺を変化させた複数の対象画像をCPU12によって求め、これら対象画像を記憶装置10もしくはメモリ11に記憶する(S23)。
【０１１０】
(4)次に、対象画像ごとにQT表現を求め、対象画像に対応させてQT表現を、記憶装置10もしくはメモリ11に記憶する(S24)。
【０１１１】
(5)次に、テンプレート画像のQT表現の3値画像と、ある倍率の対象画像のQT表現の3値画像中のテンプレート画像と同じ大きさの任意の領域との間で、それぞれに対応する位置での同一符号の個数を求め、そして類似度をCPU12によって求め、記憶装置10もしくはメモリ11に一時的に記憶する(S25)。
【０１１２】
(6)次に、この対象画像のQT表現の3値画像内全てに対して、テンプレート画像のQT表現の3値画像の類似度を計算したか否かがCPU12によって判断される(S26)。全ての計算が終了していればS30へ進み、未終了であればS27へ進む。
【０１１３】
(7)未終了である場合には、対象画像中のこの任意の領域の位置を1画素分だけ行方向もしくは列方向にずらした位置での3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度をCPU12によって求め、記憶装置10もしくはメモリ11に一時的に記憶する(S27)。なお、計算は任意の領域の行方向を全て行った後、列方向を行う。
【０１１４】
(8)次に、(7)で記憶した類似度と(5)で記憶した類似度とをCPU12によって比較する(S28)。比較された結果、(5)よりも(7)の類似度が大きければ、(9)へ進み、小さければ(6)へ進む。
【０１１５】
(9)類似度が大きい場合には、(5)の類似度を記憶装置10もしくはメモリ11から削除する(S29)。（6）へ進む。
【０１１６】
(10)ある倍率の対象画像中における全ての計算が終了した場合には、他の倍率の対象画像の3値画像と、テンプレート画像の3値画像と、がそれぞれ対応する位置での類似度を計算したか否かがCPU12によって判断される(S30)。全ての他の倍率の対象画像の計算が終わっていれば、（12）へ進み、未終了であれば（11）に進む。
【０１１７】
(11)未終了である場合には、記憶装置10もしくはメモリ11に記憶される倍率の異なる対象画像をCPU12によって読み出す(S31)。（3）へ進む。
【０１１８】
(12)終了している場合には、記憶装置10もしくはメモリ11に記憶された類似度(対象画面の倍率及び対象画像中の位置を含む)が最大類似度であるとみなす(S32)。この最大類似度に記憶された位置がテンプレート画像の位置であると判断する。
【０１１９】
(13)次に、対象画像中で最大類似度とされた領域を、新たなテンプレート画像としてCPU12によって取り出し、記憶装置10もしくはメモリ11に記憶する。そして、この新たなテンプレート画像のQT表現を求め、テンプレート画像に対応させて記憶する(S33)。
【０１２０】
(14)次に、テンプレートマッチングすべき対象画像が存在するか否かがCPU12によって判断される(S34)。存在する場合には、（2）に進み、存在しなければ処理を終了する。
【０１２１】
なお、本実施の形態では、さらにマッチングすべき対象画像が存在するため、（2）へ進み、対象画像を図12左側の上から2番目の画像として、上述したような（2）〜（13）のマッチングを行う。この2番目の画像を処理した後は、（14）にて対象画像を図12左側の上から3番目、4番目、5番目と変更しながら同様のマッチングを行っていく。
【０１２２】
以上述べたような第3の実施の形態では、テンプレート画像が対象画像中で移動し、対象画像、テンプレート画像が時々刻々変化していく場合であっても、テンプレート画像を逐次更新し追跡することで、対象画像が動画像においてもテンプレートマッチングを行うことができる。
【０１２３】
次に、本発明の第4の実施の形態の構成について図14，15を参照して説明する。
【０１２４】
第4の実施の形態の特徴は、QT表現を4分木(Quadtree)法と組み合わせて適用させたことである。
【０１２５】
図14(a)、(b)は、4分木データ構造の説明図であり、階層は3層あり、各階層の一つの画像は、2×2画素から構成される。ノードからの枝が4つある階層構造示している。階層1が最上層であり、階層3が最下層である(図14(a)参照)。
【０１２６】
階層1の画像は、2×2画素からなる。階層1の下層である階層2の画像は、階層1の1画素を4つ分割した4×4画素からなり、この4つに分割された画素の平均濃度が、階層1の一つの画素の濃度となる。同様に、階層2の下層である階層3の画像は、階層2の1画素を4つに分割した8×8画素からなり、この4つに分割された画素の平均濃度が、階層2の一つの画素の濃度とする(図14(b)参照)。また、各階層間の関係を本実施の形態では、より下層の画素値の平均値をより上層の濃度として各階層を結び付けていたが、この下層の画素の画素値の最大と最小の平均や中央値など、関連の仕方に制限はない。
【０１２７】
図15(a)は、各階層の画像であり、(b)は各階層のQT表現であり、(c)は3値表現の大小、等号関係を所定の関係を持って数値化したものである。
【０１２８】
各階層の最小単位を2×2画素とすれば、階層1のQT表現は1組、階層2のQT表現は4組、階層3のQT表現は8組となる。1組のQT表現は4つの符号値から構成される。大小関係、等号関係の3値表現の符号値の組み合わせは3４＝81種類あるが、そのうち実際にはありえない組み合わせを削除すると57種類となる。
【０１２９】
(b)に示される各組のQT表現を、この57種類の組み合わせを数値化した番号(0〜56)をつけると、(c)のように表せる。この数値化した番号をQT-ID番号と称する。また、各QT表現間の関係は、2×2画素からなるため4段階で表され、これは対応する画素の符号が同一である個数を用いて求められる。全ての符号が同一であれば、4として、全ての符号が異なっていれば、0とする。
【０１３０】
このように、ある対象画像を得た後、この対象画像を4分木構造で表現し、各層のQT表現をQT-ID番号(0〜4で表される類似関係を含んでいる)で表現し直す。
【０１３１】
2つの画像をそれぞれ図15（c）のような木構造で表現した際の、2つの画像の類似性の判断法について述べる。
【０１３２】
すべての階層における各ノードのQT-ID番号を用いて類似性を判断する場合、それぞれの各階層のノードの対応するID番号が同じかどうか、もしくは符号の対応する数がいくらであるかを求め、構造間の類似性を、その数によって判断する。
【０１３３】
各画像を階層的に表現することにより、上位階層では画像の大域的な性質を表現することになり、第1の実施の形態で述べたような、隣接関係に基づいただけのマッチングに加え、大域的な性質の類似性も比較することになる。
【０１３４】
また、ある階層にのみ着目し、ある階層のQT-ID番号同士の比較を行って、類似性を判断してもよい。
【０１３５】
この方法は、例えば、類似画像を検索する際に用いることができる。階層が上位であるほど抽象化された画像になるため、大まかな検索を行う際には上位の階層で行い、より精度の高い検索を行う際には下位の階層でマッチングを行う。
【０１３６】
また、画像の検索を行う際には、検索のための索引（インデックス）が必要となることがあり、このQT-ID番号を索引の情報として使用することも可能である。
【０１３７】
以上述べた様な第4の実施の形態では、計算コストをより抑制するためには上位の階層でマッチングを行い、検出精度をより高めるためには、より下位の階層でマッチングを行うことで、必要に応じてマッチングを使い分けることができる。
【０１３８】
また、各画像が階層的な構造を有することで、各画像から求められたQT表現同士のマッチングだけでなく、精緻なマッチングを行うことも可能である。
【０１３９】
次に、本発明の第5の実施の形態の構成について図16を参照して説明する。
【０１４０】
第5の実施の形態の特徴は、テンプレート画像中でマッチングの計算に関与しない画素を設定したことである。
【０１４１】
図16(a),(b)は第5の実施の形態の説明図であり、図中「φ」の画素がテンプレートマッチングを行う際に無視する部分である。
【０１４２】
(a)に示すように、無視する画素はテンプレート画像の四隅であり、この四隅の画素は、予めマッチングする画素からはずす。そして、テンプレート画像の形状を略十字形に変形する。
【０１４３】
また、(b)に示すように、テンプレート画像の中央部の複数の画素を無視する画素とする。これは、例えば、テンプレート画像がドーナツ形状であれば、空洞部のマッチングは不要であるため、予め無視する領域とすることができる。また、テンプレート画像が手であれば、指と指との隙間に当たる画素は、この無視する領域として設定することができる。
【０１４４】
このように、予め所定の画素を無視することにより、計算コストを低減し、かつ検出時間を短時間にすることができる。また、無視する領域の類似度の計算を行わないことにより、無意味な領域の影響を受けない。
【０１４５】
なお、この無視する画素を一部に含む領域の位置の指定は、任意に設定することが可能である。
【０１４６】
次に、本発明の第6の実施の形態について図17を参照して説明する。
【０１４７】
第6の実施の形態の特徴は、複数の対象画像に対してマッチングを行う際に、複数のテンプレート画像ごとに分類したことである。
【０１４８】
図17(a)〜(c)はその説明図であり、(a)は3種類のテンプレート画像であり、(b)は複数の対象画像であり、(c)は分類結果である。
【０１４９】
テンプレート画像は、(a)に示す通り、3種類あり、A、B、Cとする。ある記憶領域に複数の対象画像が混在した状態で保持されている((b)参照)。テンプレート画像、対象画像、それぞれのQT表現を求めて、各テンプレート画像を各対象画像とマッチングさせていく。各対象画像は、3つのテンプレート画像のうちいずれかを画像中に有する。マッチングを行い、その結果類似度が最大となるテンプレート画像ごとに対象画像を振り分けていき分類を行う((c)参照)。また、この後、分類された対象画像ごとに更に詳細なマッチングを行っても良い。この方法は、例えばクラスタリングの前処理として使用したり、パターン認識のためのマルチカテゴリ辞書の選択のために用いたりすることができる。
【０１５０】
なお、本発明は上記各実施の形態には限定されず、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。例えば、テンプレート画像は、複数の画像の平均画像を用いて作成したものであっても構わない。この場合に、平均画像は各画素の濃淡値から平均画素値を作ってQT表現を求めてもよいし、それぞれの画像のQT表現を求め、各画像の対応する画素位置の最も多い値を用いてテンプレート画像としても良い。また、変形する物体を検出するために、一つのテンプレート画像に対して、種々変形した形状を考慮したテンプレート画像を複数設定することも可能である。
【０１５１】
また、3値画像を求めるためには隣り合う画素間で計算を行っていたが、斜め方向に配置された画素間や、所定距離はなれた画素間で3値画像を求めても良い。例えば、図18のように隣接していない画素間での大小関係、同値関係を用いてもよい。
【０１５２】
また、大小関係に段階を持たせてn（ｎは自然数）段階として大小関係を表すことで、より検出精度を向上させることもできる。
【０１５３】
また、テンプレートマッチングやトラッキング（動画像中からテンプレート画像を抽出）は、テンプレート画像を対象画像中で平行移動させたり、対象画像を拡大、縮小したりしたが、対象画像を所望角度回転させた各画像をマッチングの対象としても良い。
【０１５４】
また、QT表現で用いられる画素値は、実施例では4段階でなくとも、64段階(6bit)、128段階(7bit)に設定することも可能である。また、得られる画像が256段階(8bit)の画像の場合に、濃淡方向の解像度を落として例えば64段階にし、同様のQT表現を求めるといった処理を行っても良い。256段階の場合には、大小関係が成立していた部分が、64段階に解像度が落ちたために同値関係になるといった別の側面からの情報が得られるようになる。もちろん、複数の解像度を使って多重解像度のQT表現を用いても良い。
【０１５５】
また、Quadtreeを用いた場合には、2×2画素からなる画像を一つの単位としているが、この画像単位を構成する画素数は、適宜設定可能である。
【０１５６】
また、カラー画像に対してマッチングを行うことも可能である。その場合には、カラー画像の各R,G,Bの濃淡に対して、同様の処理を行うことによってマッチングを行うことができる。また、別の色表現に変換し、この色表現から大小関係、等号関係を求めることもできる。
【０１５７】
また、対象画像としては可視光の下で撮像された画像でなく、赤外線を照射して撮像(撮影)された赤外線画像を用いることもできる。一般に、赤外線画像は、被撮像物によっては画像全体が白っぽくなり、飽和したような画像が得られる。この場合に、従来の正規化相関法を用いてマッチングを行うと、明るさに比例して相関値が大きくなるため、誤認識をおこしやすい。しかしながら、QT表現を用いたマッチングは、撮像される画像の性質(波長特有の画像の写り方)に左右されず、誤認識をせずにマッチングを行うことができる。また、コントラストの悪い超音波画像や医用画像、レーダ画像等の各種画像に対しても誤認識を低減したマッチングを行うことができる。
【０１５８】
また、QT表現を求める際に対象画像及びテンプレート画像の解像度レベルが大きい（例えば128、256段階）場合には、同一符号に任意の範囲を持たせることも可能である。例えば、256段階で濃度を表現する場合には、等号範囲を±5以内とし、比較した結果この範囲内であれば同一であるとみなして、等号とする等である。
【０１５９】
また、本発明の実施の形態における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。
【０１６０】
なお、本発明における記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク(CD-ROM，CD-R，DVD等)、光磁気ディスク(MO等)、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０１６１】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているOS(オペレーションシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施の形態を実現するための各処理の一部を実行してもよい。
【０１６２】
さらに、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【０１６３】
また、記憶媒体は1つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【０１６４】
なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施の形態における各処理を実行するものであって、パソコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【０１６５】
また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【０１６６】
【発明の効果】
以上述べた様な本発明によれば、変動に対して強い類似性測度を用いることで、計算コストを抑えつつ、検出精度をより高くすることができる。
【図面の簡単な説明】
【図１】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は対象画像、(b)はテンプレート画像、(c)は対象画像中を移動するテンプレート画像の説明図、(d)はマッチング結果の説明図。
【図２】 本発明のパターン認識方法の第1の実施の形態の対象画像の説明図。
【図３】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は横方向のQT表現の説明図、(b)は縦方向のQT表現の説明図。
【図４】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は各画像のQT表現の説明図、(b)は各画像から得られたQT表現を比較した結果の説明図。
【図５】 本発明のパターン認識方法の第1の実施の形態の類似度の説明図。
【図６】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)はQT表現による類似度と相関法による類似度との関係を示すグラフ、(b)は複数の対象画像。
【図７】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は従来のマッチングの説明図、(b)はQT表現を用いたマッチングの説明図。
【図８】 本発明のパターン認識方法の第1の実施の形態の電子機器の構成を示すブロック図。
【図９】 本発明のパターン認識方法の第1の実施の形態の動作を示すフローチャート。
【図１０】 本発明のパターン認識方法の第1の実施の形態を説明するもので、(a)は階層構造を有するテンプレート画像、(b)は各テンプレート画像の配置関係と検出領域の説明図、(c)は対象画像、(d)はテンプレート画像、(e)は対象画像中から検出された複数のテンプレート画像(上位階層)の候補の位置の説明図、(f)は対象画像から切り取られたテンプレート画像の候補の説明図、(g)テンプレート画像(上位階層)の候補に下位階層のテンプレート画像をマッチングさせた時の説明図、(h)はテンプレート画像が検出された結果を表示する対象画像の説明図。
【図１１】 本発明のパターン認識方法の第2の実施の形態を説明するもので、(a)は対象画像とテンプレート画像、(b)は各閾値ごとのマッチング結果の説明図、(c)はQT表現によるマッチング結果と相関法によるマッチング結果との説明図、(d)はQT表現と相関法とを用いたマッチング結果の説明図、(e)は対象画像中で検出されたテンプレート画像。
【図１２】 本発明のパターン認識方法の第3の実施の形態の説明図。
【図１３】 本発明のパターン認識方法の第3の実施の形態の動作を示すフローチャート。
【図１４】 本発明のパターン認識方法の第5の実施の形態を説明するもので、(a)は4分木の構造の説明図、(b)は各階層における画素の説明図。
【図１５】 本発明のパターン認識方法の第5の実施の形態を説明するもので、(a)は各階層の画素の説明図、(b)は各階層のQT表現の説明図、(c)は各QT表現をQT-ID番号で示した時の説明図。
【図１６】 本発明のパターン認識方法の対象画像からQT表現を無視する領域を設定する時の説明図。
【図１７】 本発明のパターン認識方法の第4の実施の形態を説明するもので、(a)は複数のテンプレート画像の説明図、(b)は複数の対象画像の説明図、(c)はテンプレート画像ごとに分類された対象画像の説明図。
【図１８】 本発明のパターン認識方法の第1の実施の形態とは異なるQT表現の説明図。
【図１９】 従来のパターン認識方法を説明するもので、(a)は対象画像の説明図、(b)は対象画像に光が差し込んだ場合の説明図、(c)は(b)の画像に背景処理を施した対象画像の説明図、(d)は(b)の画像にエッジ処理を施した対象画像の説明図、(e)は撮像カメラで撮像された実際の対象画像、(f)は(e)からテンプレート画像を検出する説明図。
【符号の説明】
1 電子機器
2 モニタ
3 本体
4 キーボード
5 マウス
10 記憶装置
11 メモリ
12 CPU
Claims (4)
- 列方向及び行方向にそれぞれ複数の画素を配列した第1の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した基準3値比較画像を求める工程と、
列方向及び行方向にそれぞれ複数の画素を配列した第2の画像中の、列方向及び行方向に互いに隣接する異なる2個の画素間の濃淡値を比較し、その大小関係および同値関係を3種類の符号で表した対象3値比較画像を求める工程と、
前記基準3値比較画像と前記対象3値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求める工程と、
前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定する工程とを
有することを特徴とするパターン認識方法。 - 各階層の１画素の画素値が１段階下位の階層の２×２画素の画素値を用いて求められ、前記１段階下位の階層の２×２画素が前記各階層の各画素を列方向および行方向にそれぞれ２分割した位置に配置されている、複数階層の階層構造によって、対象画像を表現し、
前記対象画像の階層構造と同様の複数階層の階層構造によって、基準画像を表現し、
前記対象画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる 2 個の画素間の濃淡値を比較し、その大小関係および同値関係を 3 種類の符号で表した対象 3 値比較画像を求め、
前記基準画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる 2 個の画素間の濃淡値を比較し、その大小関係および同値関係を 3 種類の符号で表した基準 3 値比較画像を求め、
前記対象画像の、前記階層中の少なくとも 1 つの前記対象 3 値比較画像と、この対象 3 値比較画像に対応する前記基準 3 値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求め、
前記個数から前記対象 3 値比較画像と前記基準 3 値比較画像との類似性を判定する
ことを特徴とするパターン認識方法。 - パターン認識を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体であって、
列方向及び行方向にそれぞれ複数の画素を配列した第 1 の画像中の、列方向及び行方向に互いに隣接する異なる 2 個の画素間の濃淡値を比較させ、その大小関係および同値関係を 3 種類の符号で表した基準 3 値比較画像を求めさせ、
列方向及び行方向にそれぞれ複数の画素を配列した第 2 の画像中の、列方向及び行方向に互いに隣接する異なる 2 個の画素間の濃淡値を比較させ、その大小関係および同値関係を 3 種類の符号で表した対象 3 値比較画像を求めさせ、
前記基準 3 値比較画像と前記対象 3 値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求めさせ、
前記個数から前記対象 3 値比較画像と前記基準 3 値比較画像との類似性を判定させる
プログラムを記憶したコンピュータ読み取り可能な記憶媒体。 - パターン認識を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体であって、
各階層の１画素の画素値が１段階下位の階層の２×２画素の画素値を用いて求められ、前記１段階下位の階層の２×２画素が前記各階層の各画素を列方向および行方向にそれぞれ２分割した位置に配置されている、複数階層の階層構造によって、対象画像を表現させ、
前記対象画像の階層構造と同様の複数階層の階層構造によって、基準画像を表現させ、
前記対象画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる 2 個の画素間の濃淡値を比較させ、その大小関係および同値関係を 3 種類の符号で表した対象 3 値比較画像を求めさせ、
前記基準画像の前記各階層ごとに、列方向及び行方向に互いに隣接する異なる 2 個の画素間の濃淡値を比較させ、その大小関係および同値関係を 3 種類の符号で表した基準 3 値比較画像を求めさせ、
前記対象画像の、前記階層中の少なくとも 1 つの前記対象 3 値比較画像と、この対象 3 値比較画像に対応する前記基準 3 値比較画像との、それぞれが対応する位置で、前記符号が一致する個数を求めさせ、
前記個数から前記対象3値比較画像と前記基準3値比較画像との類似性を判定させる
プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000378612A JP3819236B2 (ja) | 2000-12-13 | 2000-12-13 | パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000378612A JP3819236B2 (ja) | 2000-12-13 | 2000-12-13 | パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002183732A JP2002183732A (ja) | 2002-06-28 |
| JP3819236B2 true JP3819236B2 (ja) | 2006-09-06 |
Family
ID=18847148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000378612A Expired - Fee Related JP3819236B2 (ja) | 2000-12-13 | 2000-12-13 | パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3819236B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200270B2 (en) | 2001-12-13 | 2007-04-03 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method using distributed model representation of partial images |
| JP2006293632A (ja) * | 2005-04-08 | 2006-10-26 | Toshiba Corp | 半導体集積回路装置、画像処理システム、及び画像処理方法 |
| JP5110793B2 (ja) * | 2005-12-28 | 2012-12-26 | 日立コンピュータ機器株式会社 | 帳票識別装置 |
| JP4758272B2 (ja) * | 2006-04-19 | 2011-08-24 | 富士通株式会社 | 移動物体追跡装置及びプログラム |
| KR101335877B1 (ko) * | 2009-03-13 | 2013-12-02 | 닛본 덴끼 가부시끼가이샤 | 화상 식별자 추출 장치 |
| JP5505410B2 (ja) | 2009-04-06 | 2014-05-28 | 日本電気株式会社 | データ処理装置、画像照合方法、プログラムおよび画像照合システム |
| US9530077B2 (en) | 2010-02-10 | 2016-12-27 | Imorphics Limited | Image analysis |
| JP5955782B2 (ja) * | 2010-02-10 | 2016-07-20 | アイモーフィクス リミテッド | 画像解析 |
| JP5557189B2 (ja) * | 2010-03-31 | 2014-07-23 | トヨタ自動車株式会社 | 位置推定装置、位置推定方法及びプログラム |
| CN113643467A (zh) * | 2021-06-29 | 2021-11-12 | 南京信息工程大学 | 基于单片机的集成式红外成像闸门***、终端和检测方法 |
-
2000
- 2000-12-13 JP JP2000378612A patent/JP3819236B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002183732A (ja) | 2002-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Robust point cloud classification based on multi-level semantic relationships for urban scenes | |
| Lee et al. | Fusion of lidar and imagery for reliable building extraction | |
| Sirmacek et al. | Urban-area and building detection using SIFT keypoints and graph theory | |
| Darwish et al. | Image segmentation for the purpose of object-based classification | |
| CN112132006A (zh) | 一种面向耕地保护的林地和建筑物智能提取方法 | |
| CN113095418B (zh) | 一种目标检测方法及*** | |
| CN104850822B (zh) | 基于多特征融合的简单背景下的叶片识别方法 | |
| WO2023000160A1 (zh) | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 | |
| JP7294695B2 (ja) | 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法 | |
| JP3819236B2 (ja) | パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
| US20220292317A1 (en) | Defect classification apparatus, method and program | |
| JP4993615B2 (ja) | 画像認識方法および装置 | |
| Pan et al. | An adaptive multifeature method for semiautomatic road extraction from high-resolution stereo mapping satellite images | |
| CN115019163A (zh) | 基于多源大数据的城市要素识别方法 | |
| Senthilnath et al. | Automatic road extraction using high resolution satellite image based on texture progressive analysis and normalized cut method | |
| Chen et al. | Image segmentation based on mathematical morphological operator | |
| Ivanovici et al. | Color image segmentation | |
| CN115578399A (zh) | 一种图像处理方法及装置、存储介质 | |
| CN113435479A (zh) | 基于区域特征表达约束的特征点匹配方法与*** | |
| Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
| CN117076455A (zh) | 一种基于智能识别的保单结构化存储方法、介质及*** | |
| CN114862883A (zh) | 一种目标边缘提取方法、图像分割方法及*** | |
| Ren et al. | Building recognition from aerial images combining segmentation and shadow | |
| Busch | Revision of built-up areas in a GIS using satellite imagery and GIS data | |
| Sun et al. | Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050819 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060614 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3819236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |