JP4525526B2 - パターンマッチング方法及び装置 - Google Patents

Description

本発明は、照合対象画像中に表示された照合対象図形に対して認識対象物の形状を表す図形テンプレートを照合して認識対象物を検出するパターンマッチング方法に関する。

２次元または３次元の認識対象物体の形状を表す図形データの集合を予め図形テンプレートとして登録し、この図形テンプレートと類似した図形を画像空間から検出する技術としてパターンマッチングがある。

このパターンマッチングでは、図形の有無、図形の位置・姿勢の認識、図形の弁別などを行うことができ、文字認識や文字検査、パターン（図形形状）認識による位置合わせ、ロボットビジョンによる物体認識などに応用することができる。

パターンマッチング機能は、既知のパターンを画像中から検出し、その位置やパターンの回転角度、スケール等を求めるもので、画像処理を用いた検査や組み立てを目的とする位置決め用途において、エッジ検出やブロブ解析等の方法に比べて汎用性が高く、また直観的で画像処理に関する基礎知識やプログラム作成技術がないユーザーにも使い易いため、産業用の画像処理において頻繁に用いられる機能である。パターンマッチングのアルゴリズムとして公知の技術の中では正規化相関法と一般化Ｈｏｕｇｈ変換が最も有名である。

正規化相関法は、パターン画像そのものを認識対象画像に重ね合わせ、パターン画像と認識対象画像の画素値の相互相関値が最大となる位置を検出する方法である。正規化相関法は、画像そのものをテンプレートとして類似度が高い位置を検出するので、マッチングミスの発生が少ない利点がある反面、処理量が多く実行速度が遅いという問題がある。特に、回転やスケール変動が生じる場合には、回転やスケール変動を施した変形済みのテンプレートを多数用意して逐次照合しなければならず、実用できる速度が得られない。また、画像を重ねた時の、テンプレート画像の画素値と認識対象画像の画素値の相互相関値を用いるので、画像の明度が全体的に変動してもマッチングミスは発生しないが、ノイズやシェーディング等によりパターンの明度が部分的に変動したり、背景が極端に変化したりすると大幅に相互相関値が低下してマッチングミスを発生する問題がある。

また、一般化Ｈｏｕｇｈ変換は、求めたい形状を数式化し、その数式の特徴ベクトルを構成する要素の次元数と同じだけの投票空間（Ｈｏｕｇｈ空間）に各エッジ点を写像した軌跡を投票していき、投票値が高い位置を検出することで画像中から求めたい形状を検出する方法で、回転やスケールの変動、他の物体による隠蔽などに伴うパターンの部分的欠落には強い反面、部分的にでも形状が一致すれば投票値が高くなるため、部分的に類似したパターンを含む画像の場合に誤認識を発生しやすいという問題がある。また、検出すべきパターンが複雑であればあるほどＨｏｕｇｈ空間の次元数を高くしなくてはならないためメモリの消費量、処理時間ともに膨大になる欠点がある。

これら既存の方法の問題点を解決する手段としては、特許文献１に開示されている方法が挙げられる。特許文献１の方法では、まず対象パターンの輪郭線を抽出し、輪郭線上の点ごとにパターン中心点とその点とを結ぶ線分の長さｒと、その点における法線方向との角度θとを要素としてもつシフトベクトルを求めてテンプレートを生成する。その上で、マッチング時には対象画像のエッジ点ごとに法線ベクトルを求め、そのエッジ点にテンプレートの各エッジ点を当てはめた時のｒとθの値を投票平面上に投票して最も高い投票値が得られる位置をパターン検出位置として抽出するようにしている。

また、既存の方法の問題点を解決する別の手段としては、特許文献２に開示されている方法が挙げられる。特許文献２の方法では、対象パターンの輪郭線を解析し、粗い位置決めに有効な部分、角度の検出に有効な部分、倍率の検出に有効な部分に分解し、粗い位置決めに有効なパターンを用いて高速にパターンの位置決めを行った後、角度と倍率の微調整を行うようにしている。

さらに、既存の方法の問題点を解決する別の手段としては、特許文献３に開示されている方法が挙げられる。特許文献３の方法では、正置したテンプレートを回転したパターンに照合した際に発生するズレ量を求めておき、テンプレートをパターンに照合した後、ズレ量を用いてパターンの検出位置を校正するようにしている。

また、既存の方法の問題点を解決する別の手段として、特に３次元形状のパターンマッチングに関する手段として、特許文献４に開示されている方法が挙げられる。特許文献４の方法では、認識するべき物体の特徴点と、物体の外接直方体の寸法をデータベースとして持っており、まず外接直方体を用いて物体が存在する位置を検出した後、物体に定義した小ブロックごとのマッチングを行って照合するようにしている。

ここで、上述した特許文献に開示された従来技術における図形の照合処理では、測定点群を図形テンプレートに位置合わせして類似度を求める処理を、可能な全ての位置・姿勢に対して「しらみつぶし」に行い、最も高い類似度が得られる位置を求めるという処理が行なわれる。Ｈｏｕｇｈ変換やニューラルネットワークによるパターンマッチングも、主として「全く照合しない」場合に素早く処理を打ち切るための数理的な手法が違うだけで、可能な全ての位置・姿勢に対して類似度を求める処理である点では同じである。記号認識や文字認識のように単純な図形を扱う場合、Ｈｏｕｇｈ変換やニューラルネットワークのほうが総処理時間を短くできる場合が多く、複雑なパターンを扱うような汎用的なパターンマッチング処理では、テンプレートの図形データ量が増大するのでかえって処理時間を必要とする場合が多くなる。よって、このような汎用的なパターンマッチング処理では、１回の位置合わせについて類似度計算がなるべく高速な照合処理でしらみつぶしに位置合わせを行うほうが有効となっていた。
特許第３４３７１４１号公報 特開２００４−２１９２８４号公報 特開２００２−３１９０２８号公報 特開２００４−２２６１９７号公報

しかしながら、類似度計算を行うためには、測定点群と図形テンプレートとの対応付け処理（各点から図形テンプレートの構成要素図形のうち最も近い線までの距離と対応点を求める処理）が必要となるが、この処理では、各座標点から図形テンプレートの全構成要素図形までの距離と対応点を求め、距離が最小となるものを選択するという煩雑な処理となるので、処理時間が増大するという問題点があった。

また、上述した特許文献１に開示された方法では、一般化Ｈｏｕｇｈ変換に比べて少ない次元数でパターンを検出できるのでメモリ消費量が少なく処理速度が速いという特長があり、また回転に対して不変な認識を行なうこともできる。ところが、スケールの変動がある場合には検出不能となり、また部分的に一致するパターンでも投票値が高くなるという現象は通常の一般化Ｈｏｕｇｈ変換と同様に生じてしまうので、パターンの欠けなどがあると誤認識を発生しやすいという問題点があった。

さらに、特許文献２に開示された方法では、角度の変動が大きくない場合には高速な処理が可能であるが、角度が大きく変動する場合には使えないという問題点があった。

また、特許文献３に開示された方法では、回転テンプレートを用いずに多少の回転が含まれるパターンの認識が可能であるため高速な処理が可能であるという利点はあるものの、精度が劣る上に大きな回転を含む場合には使えないという問題点があった。

さらに、特許文献４に開示された方法では、物体が単独で存在する場合には高速な物体認識が可能であるが、複数の物体が接触して存在する場合など、物体の見かけ寸法が変動する場合には認識不能になってしまう場合があるという問題点があった。

本発明の目的は、上記従来技術の課題を解決して、高速なパターンマッチング処理を行うことができるパターンマッチング方法を提供することにある。

上述した課題を解決するために、本発明のパターンマッチング方法は、認識対象物の形状を表す図形テンプレートを照合対象画像に照合して前記認識対象物を検出するパターンマッチング方法であって、前記認識対象物が撮影された画像を画像処理して前記図形テンプレートを生成する図形テンプレート生成ステップと、前記照合対象画像を画像処理することによって、前記照合対象画像中に表示されている照合対象図形を測定点の集合として表示した測定点データを生成する測定点データ生成ステップと、前記図形テンプレートからの相対的な位置関係に基づいて設定されたスコア値を記録したポテンシャル空間データを生成するポテンシャル空間データ生成ステップと、前記測定点データと前記ポテンシャル空間データとを照合し、前記測定点におけるスコア値を求めるスコア値決定ステップと、前記スコア値決定ステップで求められたスコア値に基づいて前記照合対象図形と前記図形テンプレートとの類似度を算出し、前記類似度に基づいて前記照合対象図形が前記認識対象物であるか否かを判定する判定ステップとを含むことを特徴とする。

本発明に係るパターンマッチング方法では、図形テンプレートからの相対的な位置関係に基づいてスコア値を設定したポテンシャル空間データを生成し、このポテンシャル空間データと測定点データとを照合することによってスコア値を求め、求められたスコア値に基づいて類似度を算出して照合対象図形が認識対象物であるか否かを判定するので、従来では必要であった対応点探索処理が不要となり、ポテンシャル空間データに測定点を照合した際に測定点毎に得られるスコア値を演算するだけで類似度を得ることでき、これによって従来に比べて遙かに高速なパターンマッチング処理を実現することが可能となる。

以下、本発明に係わるパターンマッチング方法を実施するための装置構成および、この装置を用いたパターンマッチングの実施例について説明する。

以下、本発明の実施例１を図面に基づいて説明する。図１は実施例１に係るパターンマッチング方法を実施するためのパターンマッチング装置の構成を示すブロック図である。

図１に示すように、本実施例のパターンマッチング装置１は、シート状の対象物２の画像を入力する画像入力装置としてのＴＶカメラ３と、ＴＶカメラ３で撮像されたアナログ信号の画像をデジタル信号に変換するデジタル画像生成装置４と、デジタル画像生成装置４で生成されたデジタルデータを格納する記憶装置５と、画像処理を行なってパターンマッチングを実施する画像処理装置６とを備えている。

このように構成されたパターンマッチング装置１において、対象物２の表面にはパターンが印刷されており、このパターンを含む画像をＴＶカメラ３で撮像すると、撮像されたアナログ信号の画像はデジタル画像生成装置４に入力されてデジタル信号に変換され、画素値が濃度値となる濃淡画像が生成される。この濃淡画像は記憶装置５に格納されており、画像処理装置６が記憶装置５に格納された濃淡画像に対して、以下に説明する画像処理を行なってパターンマッチングを実施する。

なお、対象物２は上記のような平面パターンが印刷されたものに限らず、立方体などであっても同様に本発明の方法を用いることができる。

ここで、本実施例のパターンマッチング方法によって実施されるテンプレートマッチングの概念を図２に基づいて説明する。テンプレートマッチングとは、認識対象物を記録した図形テンプレート３１を、照合対象図形が撮影された照合対象画像３２のあらゆる位置に重ね合わせて類似度を求め、最も高い類似度を示す位置にある照合対象図形が認識対象物であるとして検出する方法である。例えば、図２中のａの位置では図形テンプレートは全く関係のない位置に位置合わせされているので類似度はゼロに近く、図２ｂの位置では異なったパターンに位置合わせされているので類似度は低い値となる。そして、図２ｃの位置では類似度が極めて高い値となり、ｃの位置が認識対象物の存在位置であると判断される。

次に、本実施例のパターンマッチング方法による照合処理を図３のフローチャートに基づいて説明する。図３に示すように、まず図形テンプレートの生成を行なう（Ｓ３０１）。

ここで、本実施例のパターンマッチング方法で利用される図形テンプレートの一例を図４に示す。図４（ａ）の図形テンプレートは、矢印型を７本の直線１１〜１７で記録したものである。この図形テンプレートは、予め７本の直線を表す数式をオフラインで作ったものでも良いし、ＣＡＤなどで描かれた図形をインポートしたものでもよい。また、図４（ｂ）に示すように、図形を構成するひとつながりの座標点をその連結順に並べたものであってもよい。図４（ｂ）のような座標点は、３次元形状データであれば最初から座標点列としてのデータが与えられるが、画像処理によって抽出する場合には以下のような処理を行なうことによって生成することができる。

まず、画像処理装置６によって、記憶装置５に記録されている図５（ａ）に示す濃淡画像５１から、図５（ｂ）に示すエッジ強度画像５２と図５（ｃ）に示すエッジ方向画像５３が抽出される。エッジ強度画像５２は、明度の変化の大きさ（エッジ強度）を記録した画像であり、エッジ方向画像５３は明度が上昇していく方向を記録した画像である。

ここで、エッジ強度画像５２は単に全ての画素についてのエッジ強度を求めた画像であるので、このエッジ強度画像５２に対してしきい値処理（しきい値以上のエッジ強度をもつ座標を抽出する処理）を行なうことにより図５（ｄ）に示すエッジ点画像５４を取得することができる。この処理は、公知技術であるＳｏｂｅｌフィルタリングなどによって実施することができる。さらに、エッジ点画像５４において線の幅が１になるように細線化を行い、任意のエッジ点を始点としてエッジ点を追跡する処理を行えば、図５（ｅ）に示す測定点データ５５が得られる。これをそのまま図形テンプレートとして用いればよい。

また、図５（ｄ）のエッジ点画像５４を求める処理において、図５（ｂ）のエッジ強度画像５２のｄ１、ｄ２の部分のようにエッジ強度が他の部分よりも低くなっている部分がある場合に、この部分のエッジ強度よりしきい値のほうが高いと、図６（ａ）に示すようにエッジが途切れてしまう。このような場合には追跡処理を行なって得られた線データ６１、６２の両端において線の方向を記録し、対向する方向に別の線が存在する場合には２つの線を１つに融合させる処理（エッジ延長処理）を行えば、図６（ｂ）に示すように途切れたエッジを修復することができる。

さらに、図４（ｂ）、図５（ｅ）の測定点データ５５、図６（ｂ）に示すような修復された測定点データから近似処理を行い、図４（ａ）に示すような数式によって記述された図形テンプレートを生成してもよい。この近似処理は、折れ線近似等の公知な方法を用いて行えばよい。

なお、図形テンプレートを数式によって記述する場合には、近似した図形と元の測定点データとの誤差が許容範囲内であるという条件において、なるべく少ない線で表現するようにしたほうが図形テンプレートのデータ量を低く抑えることができ、また後述するポテンシャル空間データの生成の際にも処理量を少なくすることができ、有利である。そこで、本実施例では、認識対象物の画像を次数１次以上の方程式の集合で近似して図形テンプレートを生成している。

このためには、図７（ａ）に示すような測定点データから最初に折れ線近似を行って、図７（ｂ）に示すような線分１１１〜１１８を生成し、これらの線分のうち弧の部分に生じた複数の折れ線ｌ１３〜１１６を統合して楕円に近似しなおすことによって図７（ｃ）に示すような直線と円弧から形成される図形１２１〜１２５を形成することができる。この他に、Ｈｏｕｇｈ変換を応用する方法などを利用しても構わない。

このようにして図形テンプレートが生成されると、次に照合対象画像を画像処理して測定点データを生成する（Ｓ３０２）。ただし、ここで行われる画像処理は上述した図形テンプレートを生成する処理と同一であり、生成される測定点データは図４や図７で示したように照合対象図形を測定点の集合として表示したものである。

次に、図形テンプレートからの相対的な位置関係に基づいて設定されたスコア値を求めてポテンシャル空間データを生成する（Ｓ３０３）。

図２を用いて説明したように、テンプレートマッチングでは図形テンプレートと照合対象画像とを重ね合わせた場合の類似度を逐次求める必要があり、類似度としてはテンプレートマッチングの方式によって様々な指標が用いられている。この中で代表的なものとしては、公知技術である正規化相関法における「重ね合わせたテンプレート画像の画素と認識対象物を撮影した画像の画素の相互相関値」がある。

本実施例では、エッジの形状をベースとしたマッチングであるので、例えば、測定点と図形テンプレートとの距離を総和した値が小さい場合に数値が高くなるような指標を類似度として用いる必要がある。

ところが、このような処理を行なうためには、図形テンプレートを構成する要素について最も近い位置を求める処理を行なわなければならない。例えば、図８は直線１１〜１７で構成された図形テンプレートを示しており、この図形テンプレートを照合対象である測定点データ上に照合する場合には、図形テンプレートを測定点データ上の照合位置Ｐｍ（ｘ、ｙ）に位置合わせして、その後に各測定点ｐ（ｐｘ，ｐｙ）について照合位置Ｐｍ（ｘ、ｙ）からの相対位置Ｐｒ（ｘｒ，ｙｒ）を求める。

この相対位置Ｐｒ（ｘｒ，ｙｒ）は
ｘｒ＝ｐｘ−ｘ
ｙｒ＝ｐｙ−ｙ
によって求めることができる。

そして、図形テンプレートの全ての構成要素（直線１１〜１７）について最も近い位置を求め、そのうち距離が最短値ｄｍｉｎ（ｍｉｎは添え字）となる位置ｐｃを対応点として求める処理が要求される。しかしながら、多数の測定点データの各々について、図形テンプレートの全ての構成要素との距離を評価する処理は非常に処理量が多く、実行速度が実用にならないほど遅くなってしまう。

そこで、本実施例では、測定点データと図形テンプレートとの対応関係は、図形テンプレートと測定点データとの相対的な位置関係に依存して決まることを利用して、予め図形テンプレートの周囲に図形テンプレートとの相対的な位置関係に基づいてスコア値を割り当てたポテンシャル空間データを生成しておくようにする。そして、図形テンプレートと測定点データとを照合して類似度を求めるときには、上述した対応点を求める処理に替えてポテンシャル空間データを参照して各測定点のスコア値を求め、全ての測定点についてスコア値を合算したものを類似度として用いることによって高速なテンプレートマッチングを実現するようにしている。

ここで、ポテンシャル空間データを説明する。ポテンシャル空間データは、図形テンプレートとの相対的な位置関係に基づいて規定された式によって求められたスコア値を記録したデータである。最も単純な例としては、図形テンプレートからの距離が遠くなるにつれてスコア値が低くなるようにスコア値を割り当てたポテンシャル空間データがあり、この一例を図９に示す。

図９に示すポテンシャル空間データでは、スコア値ｓは

によって定義され、式（１）は、距離ｄ（ｘｒ，ｙｒ）が０以上１０未満の場合には距離ｄ（ｘｒ，ｙｒ）＝０でスコア値ｓ＝１０となり、距離ｄ（ｘｒ，ｙｒ）が大きくなるにしたがって線形にスコア値が小さくなり、距離ｄ（ｘｒ，ｙｒ）が１０以上になるとスコア値ｓ＝０となる。これによって生成されるポテンシャル空間データは、図９に示すように図形テンプレートを尾根とする２次元の等高線状の図形となる。

また、上述したポテンシャル空間データの定義の仕方では、距離のみに依存する式（１）によって定義されているが、ポテンシャル空間データのスコア値を規定する方法としては式（１）に限らず、照合したときの性能を実現できればその他の関数であってもよい。

そこで、スコア値を規定するための別の方法として、例えば下記の式（２）に示す関数であってもよい。

この式（２）では、距離の自乗に比例してスコア値ｓ（ｘｒ，ｙｒ）が減少するようになっており、式（１）の関数に比べて図形テンプレートとの距離が近い領域で急峻にスコア値が上がるため、類似したパターンが多い場合のマッチング等に適している。

また、対応点における図形テンプレート表面の法線ベクトルθ（ｘｒ，ｙｒ）（図８）と測定点ｐ（ｐｘ，ｐｙ）におけるエッジ方向δ（ｐｘ，ｐｙ）を併用した下記の式（３）であってもよい。

この式（３）では、図５（ｃ）のエッジ方向画像５３の測定点ｐ（ｐｘ，ｐｙ）における値を利用しており、式（１）ではスコア値が距離に対して線形に減少していたが、式（３）では距離に加えてさらに対応点における図形テンプレート表面の法線ベクトルθ（ｘｒ，ｙｒ）と測定点データにおける法線方向δ（ｐｘ，ｐｙ）の差が９０度以内である場合に、この方向差の余弦値を乗じるようにしたので、「距離が近く、尚且つ面の法線方向が一致している場合に高いスコア値が与えられる」ようになっており、式（１）よりも照合の信頼性を高めることが可能となる。

式（３）の場合、スコア値ｓ（ｘｒ，ｙｒ，δ）は相対位置Ｐｒ（ｘｒ，ｙｒ）とともに、測定点データの法線方向δに依存するので、ポテンシャル空間データは図１０に示すように、図形テンプレートの周囲の各点についてδの１次元配列のスコア値が割り振られた３次元のデータとなっている。また、データ量を抑えるためには、スコア値ｓ（ｘｒ，ｙｒ，δ）を直接的にポテンシャル空間データとして記録するのではなく、法線方向θ（ｘｒ，ｙｒ）のみを記録しておき、照合処理を実行する際に重みcos（θ（ｘｒ，ｙｒ）−δ（ｐｘ，ｐｙ））を計算するようにしてもよい。

このようにして生成されたポテンシャル空間データでは、図形テンプレートとその周囲にある測定点との相対的な位置関係にのみ依存して一意に求めることができる。したがって、「天体には周囲に重力場が生じ、天体の周辺に接近した物体にはその質量と天体との距離に応じた重力（ポテンシャルエネルギー）がかかる」、「磁石の周囲には磁場が生じ、磁石に接近した磁性体には磁性体自体の磁力、磁性体の着磁方向と相互の距離に応じた反力または引力を受ける」のと同じように、図形テンプレートの周囲に「テンプレートまでの距離の短さ」と「表面の法線ベクトルの一致度」に応じてポテンシャル値が与えられるような「ポテンシャル場」を設定し、そのポテンシャル場に入った測定点の各点について、図形テンプレートとの相対的な位置関係に基づいて一意に得られるポテンシャル値を合計すれば、このポテンシャル値の合計が大きいほど「ポテンシャル場に入った測定点の数が多く」「図形テンプレートとの位置や法線ベクトルが類似」していることになり、照合処理における類似度が高い位置を容易に検出できる。

ポテンシャル場に入った測定点に対して与えられるポテンシャル値は、前述のように測定点と図形テンプレートとの相対的な位置関係にのみ依存して求められるので、先に図８を用いて説明したような煩雑な対応付け処理は一切要らず、予め求められたポテンシャル空間上の「その位置でのポテンシャル値」を記録した「ポテンシャル空間データ」を参照するだけであるので、極めて高速な類似度計算が可能となり、しらみつぶしに位置合わせ照合処理を行ったとしても、従来のような対応付け処理を必要とするパターンマッチング法はもとより、Ｈｏｕｇｈ変換やニューラルネットワークなどを応用した数理的解法に比べても遙かに高速なパターンマッチングを可能にすることができる。

このようにしてポテンシャル空間データが生成されると、次に照合対象画像にポテンシャル空間データを照合して認識対象物の検出を行なう。ここでは、図２で示した照合対象画像に、図９で示したポテンシャル空間データを利用して照合する例を図１１に基づいて説明する。

図３のステップＳ３０３の処理に続いて、まず、ポテンシャル空間データを照合対象画像に照合するための照合位置Ｐｍ（ｘ，ｙ）をサーチ始点にセットする（Ｓ３０４）。通常、サーチ始点は照合対象画像の左上端に設定され、そこから右端までサーチしてから１画素下の左端へ移動し、再び右端までサーチするというラスタ走査が行なわれる。

こうしてラスタ走査を行なっていき、例えば図１１ｂの位置にポテンシャル空間データが照合されると、星型の照合対象図形上にある測定点のうち測定点番号を最初の測定点に設定するとともに、この照合（１）Ｐｍ（ｘ，ｙ）における類似度Ｓ（ｘ，ｙ）の値を０にリセットする（Ｓ３０５）。ここで、ポテンシャル空間データと重なり合う測定点ｐ１０１〜ｐ１２０の各々に割り振られた測定点番号は、ラスタ順に割り振られているものと仮定する。

次に、各測定点におけるスコア値をポテンシャル空間データを参照することにより求めて類似度Ｓ（ｘ，ｙ）を計算する過程（Ｓ３０６〜Ｓ３１０）を実施する。まず、最初の測定点ｐ１０１について、その座標値をテンプレート基準位置を原点とする相対座標に変換する。この処理は、テンプレート基準位置は照合位置Ｐｍ（ｘ，ｙ）に位置合わせているので、図３のＳ３０６に示すように測定点座標ｐ１０１（ｐｘ，ｐｙ）の照合位置Ｐｍ（ｘ，ｙ）からの相対位置Ｐｒ（ｘｒ，ｙｒ）を求めればよい。ポテンシャル空間データは相対位置Ｐｒ（ｘｒ，ｙｒ）の位置におけるスコア値ｓ（ｘｒ，ｙｒ）を保持しているので、このスコア値ｓ（ｘｒ，ｙｒ）を参照（Ｓ３０７）して照合位置Ｐｍ（ｘ，ｙ）における類似度Ｓ（ｘ，ｙ）に加算する（Ｓ３０８）。例えば測定点ｐ１０１の場合、スコア値ｓ（ｘｒ，ｙｒ）は図１１から分かるように８である。さらに、他に測定点がある場合には次の測定点に移動（Ｓ３０９〜Ｓ３１０）し、同様の処理をポテンシャル空間データと重なり合う測定点ｐ１０１〜ｐ１２０すべてについて行うことにより、照合位置Ｐｍ（ｘ，ｙ）における類似度Ｓ（ｘ，ｙ）が求められる。

ここで、上記類似度Ｓ（ｘ，ｙ）の値と最大の類似度Ｓｍａｘ（ｍａｘは添え字）を比較する（Ｓ３１１）。照合位置Ｐｍ（ｘ，ｙ）における類似度Ｓ（ｘ，ｙ）がＳｍａｘよりも大きければ現在の照合位置Ｐｍ（ｘ，ｙ）を検出位置ｍ（ｘ，ｙ）に代入する（Ｓ３１２）。その後、照合位置Ｐｍ（ｘ，ｙ）のラスタ走査が終了していない（次候補がある）場合には、照合位置Ｐｍ（ｘ，ｙ）を次候補に設定してさらに上記と同様に類似度Ｓ（ｘ，ｙ）を求める処理を繰り返す（Ｓ３１３〜Ｓ３１４）。過程Ｓ３１３において、ラスタ走査が終了しており次候補が存在しない場合には、その次点での検出位置ｍ（ｘ，ｙ）がパターンマッチングの結果となるのである。

ここで、上述したパターンマッチングによる処理結果を図１１を用いて説明する。まず、ラスタ走査を実施して照合位置Ｐｍ（ｘ，ｙ）が図１１ａの位置に来た時点で得られる類似度Ｓ（ｘ，ｙ）は、測定点が存在しないため０である。

次に、照合位置Ｐｍ（ｘ，ｙ）が図形テンプレートの図形とは異なる星型の図形が存在する図１１ｂの位置に来た時点で得られる類似度Ｓ（ｘ，ｙ）は、測定点ｐ１０１〜１２０が存在するので、上述のような過程により各測定点におけるスコア値をポテンシャル空間データを参照して合算することにより類似度Ｓ（ｘ，ｙ）＝１５６と低い値が求められる。

次に、照合位置Ｐｍ（ｘ，ｙ）が図形テンプレートの図形とは同じ図形が存在する図１１ｃの位置に来た時点で得られる類似度Ｓ（ｘ，ｙ）は、測定点ｐ２０１〜２２３が存在し、これらがポテンシャル空間データのスコアの高い部分と重なりあっているので、類似度Ｓ（ｘ，ｙ）＝２３０と高い値が求められ、この値が画像中において最大の類似度となるので、最終的に図１１ｃの位置が認識対象物の検出位置ｍ（ｘ，ｙ）として得られるのである。

このように、本発明のパターンマッチング方法によれば、ポテンシャル空間データを用いて類似度を求めるようにしたので、先にポテンシャル空間データ生成処理の説明において述べたような、測定点から図形テンプレート上の対応点の検出や測定点との距離の計算、距離に基づくスコア値の計算などの煩雑な処理がテンプレートと測定点データを照合する処理の際には不要となり、各測定点におけるスコアをポテンシャル空間データを参照して求め単純に合算処理するだけで類似度が得られるので、極めて高速なテンプレートマッチングが可能となるのである。

なお、上述した例では類似度をスコア値の合計としているが、例えば類似度の平均値を用いるようにしてもよい。平均値を用いた場合には、図１１ａの位置における類似度は０、図１１ｂの位置では類似度７．８、図１１ｃの位置では類似度１０となり、図１１ｃの位置が最大の類似度となって認識対象物の検出位置となる。

また、上述した例では照合対象図形の向きは図形テンプレートの向きと同一、すなわち回転が生じないことが既知である場合について説明しているが、回転やスケール変動を伴う場合には、測定点もしくはポテンシャル空間データにアフィン変換（拡大縮小・回転変換）を施す必要がある。しかし、測定点のすべてにアフィン変換を行う処理は処理量が多くて実用的ではなく、また回転やスケールの変動範囲が大きいような場合にはポテンシャル空間データにアフィン変換を行う処理も処理量が多くなる。そこで、そのような場合には図１２に示すように、ポテンシャル空間データに予めアフィン変換を施したデータを用意しておき、照合処理を行う際にアフィン変換を施したポテンシャル空間データを順次照合していくようにすることで、回転やスケール変動がある場合でも認識を可能にすることができる。

上述したように、本実施例のパターンマッチング方法では、図形テンプレートからの相対的な位置関係に基づいてスコア値を設定したポテンシャル空間データを生成し、このポテンシャル空間データと測定点データとを照合することによってスコア値を求め、求められたスコア値に基づいて類似度を算出して照合対象図形が認識対象物であるか否かを判定するので、従来では必要であった対応点探索処理が不要となり、ポテンシャル空間データに測定点を照合した際に測定点毎に得られるスコア値を演算するだけで類似度を得ることでき、これによって従来に比べて遙かに高速なパターンマッチング処理を実現することが可能となる。

また、本実施例のパターンマッチング方法では、生成した図形テンプレートに欠落部があるときには修復するので、図形テンプレートに欠落がある場合でも認識対象物の本来の形状を正しく表すことができ、ノイズの多いパターンでも本方法を適用することが可能となる。さらに、このような構成にすることで、冗長な直線部分では図形テンプレートの座標点密度を低くすることができ、図形テンプレートの容量を抑えることが可能となる。

また、本実施例のパターンマッチング方法では、認識対象物の画像を次数１次以上の方程式の集合で近似して図形テンプレートを生成するので、図形テンプレートの容量を最小限に抑えることが可能となり、高速なパターンマッチング処理を実現することが可能となる。

次に、本発明の実施例２を図面に基づいて説明する。本実施例のパターンマッチング方法では、照合対象図形の特徴が失われない範囲で最小限の測定点を選択し、この測定点に対してスコア値を求めるようにしたことが実施例１と異なっている。ただし、その他の処理は実施例１と同一なので詳しい説明は省略する。

実施例１のパターンマッチング処理の一例を示す図１１では、測定点の全てについてポテンシャル空間データを参照してスコア値を求めるようにしていたが、図形の特徴を損なわない範囲内で測定点を間引くことにより、より高速な処理を可能にすることができる。

そこで、本実施例では、照合対象図形の特徴が失われない範囲で最小限の測定点を選択し、この測定点に対してスコア値を求めるようにしている。

ここで、図１１の例における測定点の中から最小限の測定点を選択して間引いた状態を図１３に示す。図１３に示すように、図１３ｂの位置にある星型の照合対象図形では測定点の数が２０から１０に間引かれており、図１３ｃの位置では測定点の数が２３から１２に減らされている。

この場合に類似度を算出すると、図１３ｂの位置では６６、図１３ｃの位置では１２０となり、図１３ｃの位置で類似度が最大となるので、正しいマッチング結果が得られることが分かる。なお、この場合の間引き間隔は、図形テンプレートにおいて、例えば最も短い線分の長さの半分程度とするように選ぶことで図形の特徴を損なわない範囲内で測定点を間引くことが可能となる。

このように本実施例のパターンマッチング方法では、照合対象図形の特徴が失われない範囲で最小限の測定点を選択し、この測定点に対してスコア値を求めるようにしたので、図形テンプレートと照合する際に誤判定を起こすことなく処理の負荷を軽減することが可能となる。

次に、本発明の実施例３を図面に基づいて説明する。本実施例のパターンマッチング方法では、スコア値を表すサンプリング点群によってポテンシャル空間データを構成し、このサンプリング点群の中から測定点に近接するサンプリング点を複数選択してこれらのサンプリング点のスコア値に基づいて測定点のスコア値を求めるようにしたことが実施例１と異なっている。ただし、その他の処理は実施例１と同一なので詳しい説明は省略する。

実施例１で説明した図９および図１０に示すポテンシャル空間データは、説明の便宜上領域ごとにスコア値が割り振られているように描かれているが、実際に計算機で生成されるポテンシャル空間データは、図形テンプレートの周囲に適宜なサンプリング間隔でサンプリング点を配置し、サンプリング点毎にスコア値を割り当てたポテンシャル空間データとなるので、図１４（ａ）に示すような形態になっている。

また、サンプリング点の間隔は、図形テンプレートの形状をもとに、元の図形の形状を損なわない程度の間隔を定めておけばよいので、図１４（ｂ）のように冗長な線分の周囲ではサンプリング間隔を大きく取り、複雑な部分ではサンプリング間隔を細かく設定するようにすれば、ポテンシャル空間データのデータ量を低く抑えることが可能となる。

このように、本実施例のポテンシャル空間データにおけるスコア値は、あるサンプリング間隔をもって離散的に配置されているので、図１５に示す測定点の相対位置ｐｒ（ｘｒ、ｙｒ）は必ずしもサンプリング点の座標ｓ（ｘｒ’，ｙｒ’）と一致するとは限らない。したがって、スコア値を求めるためには、測定点の相対位置ｐｒ（ｘｒ、ｙｒ）に近接する４つのサンプリング点のスコア値ｓ（ｘｒ’，ｙｒ’）、ｓ（ｘｒ’＋１，ｙｒ’）、ｓ（ｘｒ’，ｙｒ’＋１）、ｓ（ｘｒ’＋１，ｙｒ’＋１）から式（４）に示す補間処理を行なって求めることが必要となる。

このように、本実施例のパターンマッチング方法では、スコア値を表すサンプリング点群によってポテンシャル空間データを構成し、サンプリング点群の中から測定点に近接するサンプリング点を複数選択してこれらのサンプリング点のスコア値に基づいて測定点のスコア値を求めるので、ポテンシャル空間データを生成する際にサンプリング間隔を粗くして図形テンプレートのデータ量を抑えることが可能となる。また、サブピクセル検出を行うためにサンプリング間隔を細かくしたポテンシャル空間データを生成する代わりに本実施例の方法を用いることによって、データ量を増大させることなく高精度化することが可能になる。

次に、本発明の実施例４を図面に基づいて説明する。本実施例のパターンマッチング方法では、照合対象図形に近似させたクラスタを生成し、このクラスタの特徴を表すブロブ情報に基づいて認識対象物ではない照合対象図形を検出してスコア値を求める対象から削除するようにしたことが実施例１と異なっている。ただし、その他の処理は実施例１と同一なので詳しい説明は省略する。

実施例１において図１１に示す例では、図１１ａの位置は測定点が全く無い位置になるので照合処理を行っても意味がない。また。図１１ｂの位置についても全く形状が異なることが予め予測できれば、照合処理を行う必要がなくなる。したがって、このようなケースを簡単に抽出できれば、大幅に処理速度を向上させることができる。

そこで、本実施例では、図１６に示すように、まず比較的相互の距離が近い測定点の集まりをクラスタとする処理を行い、次にこの処理によって得られたクラスタｃ１〜ｃ４について、領域の幅や高さ、測定点の密度などパターンの特徴を表すブロブ情報を抽出し、明らかにブロブ情報が異なる場合には照合を行わないようにする。

例えば、図１６ではｃ１とｃ２のクラスタは、高さと幅の情報が図形テンプレートと全く異なるので、この付近では照合処理を実施しない。また、ｃ３とｃ４の位置ではクラスタの中心付近を重点的に照合することで、高速なマッチング処理を実行することができる。

このように、本実施例のパターンマッチング方法では、照合対象図形に近似させたクラスタを生成し、このクラスタの特徴を表すブロブ情報に基づいて認識対象物ではない照合対象図形を検出してスコア値を求める対象から削除するので、多数の部品が同時に計測された３次元形状データから部品認識を行なうような処理量が非常に多くなる場合に、認識対象となる部品とノイズなどの認識対象物以外の物体を迅速に見分けることができ、処理速度を高速化することができる。

次に、本発明の実施例５を説明する。本実施例のパターンマッチング方法では、照合対象図形と図形テンプレートとの類似度を示す統計値である相互相関値を算出して絶対的な類似度を算出するようにしたことが実施例１と異なっている。ただし、その他の処理は実施例１と同一なので詳しい説明は省略する。

実施例１では、認識対象物を撮影もしくは計測した照合対象画像にポテンシャル空間データを照合してパターンの位置・姿勢を認識して認識対象物を検出しているが、この処理によって出力される類似度はあくまで画面中で相対的に類似度の高い位置を出力しているだけであって、図形テンプレートの形状に対する絶対的な類似度が得られているわけではない。

そこで、本実施例では実施例１で説明した照合処理を行った後に、改めて式（５）に示す相互相関値Ｓｃを算出して絶対的な類似度を求めるようにしている。

この相互相関値Ｓｃは、相対位置Ｐｒ（ｘｒ，ｙｒ）と、相対位置から最も近い図形テンプレートの要素に下ろした垂線の足、すなわち図８の対応点Ｐｃ（ｘｃ，ｙｃ）との間の位置関係における総合的な類似度を示す統計値であり、相対位置Ｐｒと対応点Ｐｃとが完全に一致すると、相互相関値Ｓｃ＝１となって図形テンプレートと照合対象図形とが完全に重なり合うことを示す。また、一致しない場合には相互相関値Ｓｃは０に近づいていく。したがって、相互相関値Ｓｃは絶対的な類似度を０〜１の値に正規化して求めている。

このように絶対的な類似度を求めることによって、例えば文字認識などに応用する場合に異なる複数の図形テンプレートを併用して、どの図形が撮影されているのかを弁別するような処理に利用することが可能となる。なお、上述したポテンシャル空間データには対応点Ｐｃの座標値は記録されていないので、本実施例の方法を実施するためには、実施例１で説明した照合処理を行なった後に改めて対応点Ｐｃを求める処理を行うか、あるいは対応点Ｐｃの座標値をポテンシャル空間データのサンプリング点ごとに予め記録しておくようにすればよい。

このように、本実施例のパターンマッチング方法では、照合対象図形と図形テンプレートとの類似度を示す統計値である相互相関値を算出するので、相対的な類似度ではなく、図形テンプレートと照合対象図形との絶対的な類似度を求めることができ、信頼性を向上させることができる。

次に、本発明の実施例６を図面に基づいて説明する。実施例１では対象物が２次元データ(画像)の場合について説明したが、本実施例では３次元データ（立体形状データ）に対してパターンマッチングを行なう場合について説明する。

図１７は実施例６に係るパターンマッチング方法を実施するためのパターンマッチング装置の構成を示すブロック図である。図１７に示すように、本実施例のパターンマッチング装置７１は、立体形状の対象物７２の３次元形状を入力する画像入力装置としてのレーザ３次元センサ７３と、レーザ３次元センサ７３からの出力信号を３次元形状データに変換する３次元データ生成装置７４と、３次元データ生成装置７４で生成されたデータを格納する記憶装置７５と、画像処理を行なってパターンマッチングを実施する画像処理装置７６とを備えている。

このように構成されたパターンマッチング装置７１において、立体形状の対象物７２の表面をレーザ３次元センサ７３がレーザ光線によって走査し、レーザ３次元センサ７３からの出力信号が３次元データ生成装置７４に入力されて処理され、対象物７２表面の３次元座標点群に変換される。この３次元座標点群は記憶装置７５に格納され、画像処理装置７６は格納されている３次元座標点群に対して画像処理を行なってパターンマッチングを実施する。

本実施例のパターンマッチング装置７１によって実施される照合処理は、実施例１で説明した２次元データに対する処理と同様に実施することができるが、図形テンプレートを生成する処理では、図１８（ａ）に示すような三角パッチやＮＵＲＢ、ベジェ等の曲面で構成された図形テンプレートを生成して利用する。また、図１８（ａ）に示すように図形の分断や穴（図１８中のｈ）などがある場合には図１８（ｂ）に示すような補完処理を行うようにする。

このようにして生成された図形テンプレートを用いて、３次元のポテンシャル空間データを生成し、実施例１ないし５と同様に３次元の測定点データとの照合処理を行うことにより、本実施例のパターンマッチング方法によれば２次元データだけでなく３次元データに対してもパターンマッチングを実施することができる。

以上、本発明のパターンマッチング方法について、図示した実施例に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置き換えることができる。

本発明の実施例１に係るパターンマッチング方法を実施するためのパターンマッチング装置の構成を示すブロック図である。 テンプレートマッチングの概念を説明するための図である。 本発明の実施例１に係るパターンマッチング方法による照合処理を示すフローチャートである。 （ａ）、（ｂ）は本発明の実施例１に係るパターンマッチング方法により生成された図形テンプレートの一例を示す図である。 （ａ）〜（ｅ）は本発明の実施例１に係るパターンマッチング方法による画像処理を説明するための図である。 （ａ）、（ｂ）は本発明の実施例１に係るパターンマッチング方法による図形テンプレートの欠落部を修復する方法を説明するための図である。 （ａ）〜（ｃ）は本発明の実施例１に係るパターンマッチング方法による図形テンプレートの近似処理を説明するための図である。 パターンマッチングにおける対応点を求める処理を説明するための図である。 本発明の実施例１に係るパターンマッチング方法によるポテンシャル空間データの一例を示す図である。 本発明の実施例１に係るパターンマッチング方法によるポテンシャル空間データの一例を示す図である。 本発明の実施例１に係るパターンマッチング方法による照合処理の一例を示す図である。 本発明の実施例１に係るパターンマッチング方法による回転及びスケール変動がある場合のポテンシャル空間データの一例を示す図である。 本発明の実施例２に係るパターンマッチング方法による照合処理の一例を示す図である。 （ａ）、（ｂ）は本発明の実施例３に係るパターンマッチング方法によるポテンシャル空間データの一例を示す図である。 本発明の実施例３に係るパターンマッチング方法によるスコア値の求め方を説明するための図である。 本発明の実施例４に係るパターンマッチング方法による照合処理の一例を示す図である。 本発明の実施例６に係るパターンマッチング方法を実施するためのパターンマッチング装置の構成を示すブロック図である。 （ａ）、（ｂ）は本発明の実施例６に係るパターンマッチング方法による３次元の図形テンプレートと、その近似処理を説明するための図である。

符号の説明

１、７１ パターンマッチング装置
２、７２ 対象物
３ ＴＶカメラ
４ デジタル画像生成装置
５、７５ 記憶装置
６、７６ 画像処理装置
３１ 図形テンプレート
３２ 照合対象画像
５１ 濃淡画像
５２ エッジ強度画像
５３ エッジ方向画像
５４ エッジ点画像
５５ 測定点データ
６１、６２ 線データ
７３ レーザ３次元センサ
７４ ３次元データ生成装置
１１１〜１１８ 線分
ｌ１３〜１１６ 折れ線
１２１〜１２５ 図形

Claims (9)

1. 認識対象物の形状を表す図形テンプレートを照合対象画像に照合して前記認識対象物を検出するパターンマッチング方法であって、
   前記認識対象物が撮影された画像の明度の変化の大きさから、前記認識対象物が撮影された画像のエッジを抽出し、前記認識対象物が撮影された画像のエッジの形状を表す線図形データからなる前記図形テンプレートを生成する図形テンプレート生成ステップと、
   前記照合対象画像の明度の変化の大きさから、前記照合対称図形のエッジを抽出し、前記照合対称図形のエッジの形状を表す線図形データを測定点の集合として表示した測定点データを生成する測定点データ生成ステップと、
   前記図形テンプレートからの距離が遠くなるにつれてスコア値が低くなるようにスコア値を記録したポテンシャル空間データを生成するポテンシャル空間データ生成ステップと、
   前記測定点データと前記ポテンシャル空間データとを照合し、前記ポテンシャル空間データ上、前記測定点の位置に対応するスコア値を、前記測定点におけるスコア値として決定するスコア値決定ステップと、
   前記測定点におけるスコア値を加算して前記照合対象図形と前記図形テンプレートとの類似度を算出し、前記類似度に基づいて前記照合対象図形が前記認識対象物であるか否かを判定する判定ステップと
   を含むことを特徴とするパターンマッチング方法。
2. 前記テンプレート生成ステップでは、前記認識対象物が撮影された画像のエッジに欠落部があるときには、エッジの両端の線の方向を記録し、前記両端の線を、それぞれ前記両端の線の方向に延長して融合させることにより修復することを特徴とする請求項１に記載のパターンマッチング方法。
3. 前記図形テンプレート生成ステップでは、前記認識対象物の画像を次数１次以上の方程式の集合で近似して図形テンプレートを生成することを特徴とする請求項１または２のいずれかに記載のパターンマッチング方法。
4. 前記スコア値決定ステップでは、前記図形テンプレートを構成する線分の内、最も短い線分の半分の長さの間隔で、前記照合対象図形の前記測定点を残すように、前記測定点を除外してスコア値を求めることを特徴とする請求項１から請求項３のいずれか１項に記載のパターンマッチング方法。
5. 前記スコア値決定ステップでは、前記照合対象図形の各頂点を測定点として選択し、この測定点に対してスコア値を求めることを特徴とする請求項１から請求項３のいずれか１項に記載のパターンマッチング方法。
6. 前記ポテンシャル空間データはスコア値を表すサンプリング点群によって構成され、前記スコア値決定ステップでは前記サンプリング点群の中から前記測定点に近接するサンプリング点を複数選択し、これらのサンプリング点のスコア値に基づいて補間法により前記測定点のスコア値を求めることを特徴とする請求項１から請求項５のいずれか１項に記載のパターンマッチング方法。
7. 前記スコア値決定ステップでは、前記照合対象図形に近似させたクラスタを生成し、このクラスタの特徴を表すブロブ情報に基づいて前記認識対象物ではない照合対象図形を検出してスコア値を求める対象から削除することを特徴とする請求項１から請求項６のいずれか１項に記載のパターンマッチング方法。
8. 前記判定ステップでは、前記照合対象図形と前記図形テンプレートとの類似度を示す統計値である相互相関値を算出して前記照合対象図形が前記認識対象物であるか否かを判定することを特徴とする請求項１から請求項７のいずれか１項に記載のパターンマッチング方法。
9. 認識対象物を撮影するカメラと、前記カメラが撮影する画像、認識対象物の形状を表す図形テンプレートを記憶する記憶装置とを備え、前記図形テンプレートを照合対象画像に照合して前記認識対象物を検出するパターンマッチング装置であって、
   前記認識対象物が撮影された画像の明度の変化の大きさから、前記認識対象物が撮影された画像のエッジを抽出し、前記認識対象物が撮影された画像のエッジの形状を表す線図形データからなる前記図形テンプレートを生成する図形テンプレート生成手段と、
   前記照合対象画像の明度の変化の大きさから、前記照合対称図形のエッジを抽出し、前記照合対称図形のエッジの形状を表す線図形データを測定点の集合として表示した測定点データを生成する測定点データ生成手段と、
   前記図形テンプレートからの距離が遠くなるにつれてスコア値が低くなるようにスコア値を記録したポテンシャル空間データを生成するポテンシャル空間データ生成手段と、
   前記測定点データと前記ポテンシャル空間データとを照合し、前記ポテンシャル空間データ上、前記測定点の位置に対応するスコア値を、前記測定点におけるスコア値として決定するスコア値決定手段と、
   前記測定点におけるスコア値を加算して前記照合対象図形と前記図形テンプレートとの類似度を算出し、前記類似度に基づいて前記照合対象図形が前記認識対象物であるか否かを判定する判定手段と
   を備えることを特徴とするパターンマッチング装置。

Images