JP2009157701A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】テンプレートマッチングにおける基準画像と検査対象画像との位置合わせを高速に且つ精度よく行う。
【解決手段】基準画像Ｒに対し濃淡の境目であるエッジを抽出し、そのエッジを中心にして所定のＲＯＩ幅を持つ初期ＲＯＩ（関心領域）を設定する。そして、初期ＲＯＩの中で所定の点密度で一様に分散するスパース点を設定し、この各スパース点をスパースＲＯＩとする。検査対象画像Ｐをｘ軸方向、ｙ軸方向、θ回転方向にそれぞれ移動させながら、基準画像Ｒ及び検査対象画像Ｐに対し上記スパース点の位置における画素値を用いて一致度を算出し、一致度が最大となる位置合わせパラメータ（ｘ，ｙ，θ）を求める。特に工業製品ではエッジが明瞭に現れるので、エッジ近傍にスパース点を限定しても十分な位置合わせ精度を確保でき、一致度を求めるためのデータ量も少ないので高速化を図ることができる。
【選択図】図１

Description

本発明は、物体（人物）探索、欠陥検出、認証など各種用途に利用される画像認識や画像識別のための画像処理方法及び画像処理装置に関し、さらに詳しくは、２つの画像のパターンマッチングを実施する画像処理方法及び画像処理装置に関する。

工場で製造された製品等の不良や欠陥を外観上検査する欠陥検査装置では、検査対象品を実際に撮影して得られた検査対象画像と基準となる基準画像とを比較し、その一致度を評価するという処理が行われる。こうした処理に際して、検査対象画像と基準画像との一致度を調べるには、まず両画像の位置合わせを行う必要がある。

２枚の画像の位置合わせの一般的な手法としては、テンプレートマッチングと呼ばれる方法が知られている。従来の一般的なテンプレートマッチングでは、基準画像の位置を少しずつずらしながら、その全体又はその中の特定の領域と検査対象画像中の対象領域との比較を行い、両者が最も一致するとみなせる位置を見い出すようにする。しかしながら、従来の一般的なテンプレートマッチングの手法では、画像サイズが大きくなるとその計算量が膨大になり、結果が出るまでに時間が掛かるという問題がある。また、ノイズの影響を受けて、位置合わせの際に位置ずれを起こし易いという問題もある。

これに対し、画像の中に適当なサイズの関心領域（ＲＯＩ＝Region Of Interest）を設定し、このＲＯＩについてのみ両画像の比較を行うという手法が従来より知られている（特許文献１、２など参照）。こうした手法によれば、計算量が従来よりも少なくて済むので、結果が出るまでの時間を短縮することができる。また、位置合わせに有意な領域にＲＯＩを絞ることで、ノイズの影響を減らすことができる。

しかしながら、例えば工場の製造ラインなどにおいてインライン欠陥検査を行う場合には、上記のような画像処理に時間が掛かるとこの検査がラインの速度を制限することになるため、より一層の高速化が要求される。上記のような従来技術では、ＲＯＩの範囲（面積）を単純に狭めることで計算対象のデータ量が減るから、或る程度の高速化が可能である。ところが、ＲＯＩを単に狭くすると、位置合わせの精度や再現性が低下するという問題がある。

一方、特許文献３には、スパース相関と呼ばれる手法が開示されている。これは、スパース、つまりは疎らに分散する点（スパースＲＯＩ)を設定し、そのスパースＲＯＩについてのみ両画像の比較を行うようにしている。こうしたスパース相関では、画像中に存在する着目すべきオブジェクトの位置を適切に評価できるようにするためにスパースＲＯＩの選び方が重要であり、特許文献３では、自動学習によりスパースＲＯＩが設定されるようになっている。しかしながら、こうした手法では、スパースＲＯＩの設定のための計算量が多くなり、上述のように高速で画像処理を行いたいという要求には反することになる。

特開平11-3425号公報 特開2002-319022号公報 特表2002-516440号公報

本発明は上記課題を解決するために成されたものであり、その目的とするところは、高い位置合わせの精度や再現性を確保しながら、パターンマッチングに際しての計算量を減らして高速化を図ることができる画像処理方法及び画像処理装置を提供することにある。

上記課題を解決するために成された本発明に係る画像処理方法は、検査対象物について得られる検査対象画像と基準となる基準画像とのパターンマッチングを行う画像処理方法であって、
a)前記基準画像の中でエッジを抽出するエッジ抽出ステップと、
b)抽出された前記エッジに対して所定幅の初期関心領域を設定する初期関心領域設定ステップと、
c)前記初期関心領域内に所定の密度で以て分散した点をスパース関心領域として設定するスパース関心領域設定ステップと、
d)前記スパース関心領域に対応した複数の画素位置についての前記基準画像における画素値と前記検査対象画像における画素値とを用いて両画像の一致性を判定し、それに基づいて両画像間の位置ずれ量を評価する位置ずれ評価ステップと、
を有することを特徴としている。

また、本発明に係る画像処理装置は本発明に係る画像処理方法を実施するための装置であり、検査対象物について得られる検査対象画像と基準となる基準画像とのパターンマッチングを行う画像処理装置であって、
a)前記基準画像の中でエッジを抽出するエッジ抽出手段と、
b)抽出された前記エッジに対して所定幅の初期関心領域を設定する初期関心領域設定手段と、
c)前記初期関心領域内に所定の密度で以て分散した点をスパース関心領域として設定するスパース関心領域設定手段と、
d)前記スパース関心領域に対応した複数の画素位置についての前記基準画像における画素値と前記検査対象画像における画素値とを用いて両画像の一致性を判定し、それに基づいて両画像間の位置ずれ量を評価する位置ずれ評価手段と、
を備えることを特徴としている。

特定の物体、例えば工場で製造される工業用部品などの製品は画像上での濃淡の境目が比較的明瞭であるため、高い精度でエッジを抽出することができる。そこで、本発明に係る画像処理方法では、まず基準画像に対してエッジ抽出を実行する。次に、抽出されたエッジを中心にして所定幅の初期関心領域を設定する。この初期関心領域は、エッジが所定幅を持つように拡幅されたものとみることもできる。その後、この初期関心領域内に所定の密度で例えば一様に分散する点を設定し、この各点をスパース関心領域とする。即ち、スパース関心領域を、基準画像の全体ではなく、その基準画像から抽出されるエッジの近傍にのみ限定して設ける。

基準画像から抽出されるエッジを挟んで設定される初期関心領域の面積は、画像全体の面積から比べれば格段に小さく、その初期関心領域内に疎らに設定されるスパース関心領域のトータルの面積はさらに小さい。したがって、基準画像と検査対象画像との位置ずれの評価のための演算に供されるデータ量は画像全体のデータ量に比べて遙かに少なくて済み、両画像の一致性をみるための計算量は従来よりも格段に少なくなる。それによって、パターンマッチングのために必要な時間を短縮することができる。

また、従来技術のように、単純に関心領域の面積を狭めたものとは異なり、スパース関心領域は或る程度広く設定された初期関心領域の中で広がって分布している。そのため、始めに低い精度で粗く位置合わせを行い、その後、位置合わせの可動範囲を絞りながら段階的に精度を上げてゆく、いわゆる粗密探索との組み合わせが容易である。一般的にこうした粗密探索は当初から高精度の密の探索を行うよりも平均的に探索に要する時間が短くて済むことが知られており、この粗密探索と上述したスパース関心領域の設定との組み合わせにより、一層の高速化を図ることができる。

こうしたことから、本発明に係る画像処理方法では、好ましくは、前記初期関心領域設定ステップにおける所定幅を段階的に狭める、及び／又は、前記スパース関心領域設定ステップにおける所定の密度を段階的に高めながら、前記初期関心領域設定ステップ、前記スパース関心領域設定ステップ、及び前記位置ずれ評価ステップの処理を複数回繰り返すことにより、位置ずれ量の評価精度を高めるようとよい。

基準画像と検査対象画像との位置ずれ量の算出、換言すれば両画像の位置合わせの精度は、その検査目的や検査対象物自体の機械的精度などによって様々である。つまり、高い位置合わせ精度が要求される場合もあれば低い位置合わせ精度でよい場合もある。そこで、本発明に係る画像処理方法では、要求される精度に応じて前記初期関心領域設定ステップにおける所定幅、及び／又は、前記スパース関心領域設定ステップにおける所定の密度を決めるようにすることが好ましい。

これにより、位置合わせ精度が低くてもよい場合にはそれだけ処理を高速で行うことができる。また、高い位置合わせ精度が要求される場合には、速度をできるだけ落とさずに必要な精度を確実に確保することができる。

まず本発明に係る画像処理方法におけるテンプレートマッチングの原理について、図１を用いて説明する。

ここでは、検査対象画像Ｐは、ＣＣＤカメラなどの撮像装置で検査対象物を撮影して得られる図１（ｅ）に示すような濃淡画像であるとする。一方、基準画像Ｒは、図１（ａ）に示すように、検査対象物の基準物の濃淡画像である。説明を簡単にするために、両画像Ｐ、Ｒ内で検査対象物のサイズは同一である、つまり拡大や縮小、或いは変形はないものとし、ｘ軸方向の直線的移動、ｙ軸方向の直線的移動、及びθ角度軸方向の回転移動のみ、つまり位置の相違のみがあるものとする。

次のような手順で、基準画像Ｒと検査対象画像Ｐとの位置のずれ量である位置合わせパラメータ（ｘ，ｙ，θ）を求める。
まず基準画像Ｒについて、画像上の濃淡の境界線をエッジとして抽出する。エッジの抽出手法は周知の各種方法を利用することができる。図１（ｂ）が基準画像Ｒに対するエッジ抽出画像である。一般的に、農産物や水産物のような自然界で得られる物体とは異なり、工業製品では濃淡の境目が明瞭であるため、エッジの抽出が容易であるとともに抽出されたエッジの信頼性が高い。

次いで、抽出されたエッジの線を中心として所定のＲＯＩ幅だけ領域を拡幅した初期関心領域（初期ＲＯＩ）を設定する。この初期ＲＯＩは、図１（ｃ）に示すように、エッジの線幅を広げたものに相当する。その後、設定された初期ＲＯＩの中で、所定の密度でほぼ一様に分散したスパース点を設定する。図１（ｄ）に示すように、スパース点の集合により上記初期ＲＯＩが形成される。この各スパース点がそれぞれスパースＲＯＩであり、１つのスパース点は画像上の１画素に対応する。ここで特徴的であるのは、スパースＲＯＩが画像全体に広く設定されるのではなく、検査対象物のエッジ近傍にのみ設定されることである。こうした設定は上述のようにエッジ抽出の信頼性が高いために可能となっている。

スパースＲＯＩが決まったならば、基準画像Ｒ上の各スパース点に対応する画素値と検査対象画像Ｐの同位置の画素値とを用いて、両画像Ｒ、Ｐの一致度を計算するわけであるが、検査対象画像Ｐを、ｘ軸方向、ｙ軸方向、θ角度軸方向へそれぞれ所定画素ステップずつ移動させ、その移動毎に上記一致度を計算する。この一致度の計算には相関や差分などを用いることができる。そして、両画像Ｒ、Ｐの一致度が最も高くなる、移動量ｘ、ｙ、θを、位置合わせパラメータとして求める。このようにして、両画像Ｒ、Ｐを比較するための位置ずれが求まるから、そうして位置ずれを補正した状態で求まる一致度などから、検査対象物と基準物との相違、具体的には検査対象物の外観的欠陥や不良の有無を判断することができる。

図５は基準画像Ｒに対する初期ＲＯＩ、スパースＲＯＩの設定を実際に行った例である。図５（ａ）に示すように濃淡の境目が比較的明瞭である場合には、図５（ｂ）に示すように良好に抽出されたエッジに対し適切に初期ＲＯＩが設定され、さらに図５（ｃ）スパースＲＯＩも適切に設定されていることが分かる。

以上が本発明に係る画像処理方法におけるテンプレートマッチングの手順である。ここで、重要なのは、ＲＯＩ幅とスパース点の密度である。図２はスパースＲＯＩの設定方法の説明図である。図２に示すように、ＲＯＩ幅で決まる範囲にスパース点が分散されるから、理論的な位置合わせの精度（誤差）は、スパース点が存在しない間隙の範囲でエッジが移動可能（回転移動も含む）な量に相当する。したがって、スパース点が密であればあるほど、位置合わせ精度は向上する。但し、その場合には一致度を評価するためのデータ量が増えるため、演算処理に時間が掛かることになる。反対に、スパース点が疎らであると、位置合わせ精度は落ちるものの、演算の高速化が図れる。こうしたことから、位置合わせの精度は、おおよそ、エッジの長さに対するＲＯＩ幅と点の数で求まる。換言すれば、或る要求精度を達成するためには、エッジの長さに対するＲＯＩ幅と点の数、又は点の密度を規定すればよいことになる。

次に、本発明に係る画像処理方法を実施するための画像処理装置の一実施例の構成及び動作について説明する。図３は本実施例の画像処理装置の概略構成図、図４はこの画像処理装置における画像位置合わせ処理の手順を示すフローチャートである。この実施例の装置では、上述した位置合わせパラメータの算出手法と多段階の粗密探索とを組み合わせることで、高速化と精度向上とを達成している。

図３において、基準画像記憶部１２には予め基準画像を構成する画像データが格納される。検査対象画像入力部１０は例えばＣＣＤカメラ又はＣＭＯＳカメラであり、検査対象物を撮影してその撮影画像を取り込む。この画像データは対象画像一時記憶部１１に保存される。演算処理部２０はその機能として、エッジ抽出部２１、初期ＲＯＩ設定部２２、スパースＲＯＩ設定部２３、一致度計算部２４、一致度判定部２５、ＲＯＩ幅／点密度設定部２６、欠陥検出部２７などを含む。この演算処理部２０の各機能はＣＰＵを中心とするコンピュータで実現することが可能であるが、実際には全てをＣＰＵで処理すると時間が掛かることが多い。そのため、特定の機能については専用のハードウエアで処理を行うことが望ましい。また、出力部１３は欠陥検出結果を表示するものである。

上記構成を有する画像処理装置の典型的な動作を図４に従って説明する。
処理が開始されると、演算処理部２０は基準画像記憶部１２に格納されている基準画像Ｒを読み出しエッジ抽出部２１にセットする（ステップＳ１）。エッジ抽出部２１はその基準画像Ｒの中で濃淡の境界をエッジとして抽出する（ステップＳ２）。ＲＯＩ幅／点密度設定部２６はＲＯＩ幅の初期値を初期ＲＯＩ設定部２２に設定する（ステップＳ３）。ここではまず粗い精度で高速に探索するために例えば１０画素ずつ飛ばしながら位置合わせの探索を行うが、それを十分にカバーできるようなＲＯＩ幅を設定する必要がある。

初期ＲＯＩ設定部２２は上記のように設定されたＲＯＩ幅を用いて、抽出されたエッジの両側に広がる初期ＲＯＩを設定する（ステップＳ４）。その後、スパースＲＯＩ設定部２３は、設定された初期ＲＯＩ内で所定の点密度となるようにほぼ一様にスパース点を決めることでスパースＲＯＩの設定を行う（ステップＳ５）。このときの点密度もＲＯＩ幅／点密度設定部２６から指定されるが、当初は細かい精度は不要であるので点密度を極端に下げ、スパース点を疎らに分散させる。

こうしたスパースＲＯＩが決まると、各スパース点の位置情報が一致度計算部２４に与えられる。また、一致度計算部２４には基準画像記憶部１２から読み出された基準画像Ｒの画像データと、対象画像一時記憶部１１に保存されている検査対象画像Ｐの画像データも入力される。そして、スパースＲＯＩの位置情報に基づく位置にある画素についてのみ、基準画像Ｒの画素値とｘ軸、ｙ軸、θ角度軸について移動される検査対象画像Ｐの画素値とから、両画像Ｒ、Ｐの一致度が計算される（ステップＳ６）。検査対象画像Ｐの移動の際に、例えば上述のようにＲＯＩ幅の範囲で１０画素ずつ飛ばしながらの移動を行い、その移動の毎に一致度を求める。

このときの位置合わせパラメータの算出精度が予め設定された要求精度を未だ満たしていなければ（ステップＳ７でＮｏ）、一致度判定部２５は上述のように計算される一致度を判定し、例えば一致度の大きなものから順に所定個数を選んでそれに対応する位置合わせパラメータ（ｘ，ｙ，θ）を取得する。そして、この所定個数の、それぞれ異なる位置合わせパラメータだけ位置が修正された検査対象画像Ｐを（修正検査対象画像Ｐ’）を候補として対象画像一時記憶部１１へ保存する（ステップＳ８）。その後に、ＲＯＩ幅／点密度設定部２６で新たなＲＯＩ幅及び点密度を設定し（ステップＳ９）、ステップＳ４へと戻る。ステップＳ４へ戻った後には上述したステップＳ６のときよりも密な、つまり飛ばす画素の数を小さくした探索を実行するが、それに合わせてＲＯＩ幅は狭くし、点密度は高くする。

こうしてステップＳ４に戻った後、再び基準画像Ｒから抽出されたエッジに対し新たな初期ＲＯＩを設定し、その初期ＲＯＩ内でスパース点を設定する。そして、設定された各スパース点の位置の画素値を用いて、上述のように位置が修正された各検査対象画像Ｐ’と基準画像Ｒとの一致度を調べ、精度を向上させた位置合わせパラメータを求める。通常、ステップＳ４〜Ｓ９の処理を複数回繰り返すことで、位置合わせ精度が要求精度を下回るようにＲＯＩ幅、点密度などが定められており、ステップＳ７でＹｅｓと判定されると、そのときに一致度が最大となる位置合わせパラメータ（ｘ，ｙ，θ）が取得される（ステップＳ１０）。このようにして元の検査対象画像の位置ずれが求まるから、欠陥検出部２７はその位置ずれが修正された検査対象画像と基準画像とを比較し、その一致度などに基づいて検査対象物の欠陥や不良の有無を判断し、その結果を出力部１３より出力する。

なお、位置合わせの要求精度は画像処理の目的などにより相違するから、必ずしも上述のように粗探索から段階的に密探索を行う必要があるわけではない。

また、上記実施例は本発明の一例であり、本発明の趣旨の範囲で適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

本発明に係る画像処理方法におけるテンプレートマッチングの原理説明図。 本発明に係る画像処理方法におけるスパースＲＯＩの設定方法の説明図。 本発明に係る画像処理方法を実施するための画像処理装置の一実施例の概略構成図。 本発明に係る画像処理方法の一実施例の処理手順を示すフローチャート。 本発明に係る画像処理方法の実施例の画像を示す図。

符号の説明

１０…検査対象画像入力部
１１…対象画像一時記憶部
１２…基準画像記憶部
１３…出力部
２０…演算処理部
２１…エッジ抽出部
２２…ＲＯＩ設定部
２３…スパースＲＯＩ設定部
２４…一致度計算部
２５…一致度判定部
２６…ＲＯＩ幅／点密度設定部
２７…欠陥検出部

Claims (6)

1. 検査対象物について得られる検査対象画像と基準となる基準画像とのパターンマッチングを行う画像処理方法であって、
   a)前記基準画像の中でエッジを抽出するエッジ抽出ステップと、
   b)抽出された前記エッジに対して所定幅の初期関心領域を設定する初期関心領域設定ステップと、
   c)前記初期関心領域内に所定の密度で以て分散した点をスパース関心領域として設定するスパース関心領域設定ステップと、
   d)前記スパース関心領域に対応した複数の画素位置についての前記基準画像における画素値と前記検査対象画像における画素値とを用いて両画像の一致性を判定し、それに基づいて両画像間の位置ずれ量を評価する位置ずれ評価ステップと、
   を有することを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法であって、前記初期関心領域設定ステップにおける所定幅を段階的に狭める、及び／又は、前記スパース関心領域設定ステップにおける所定の密度を段階的に高めながら、前記初期関心領域設定ステップ、前記スパース関心領域設定ステップ、及び前記位置ずれ評価ステップの処理を複数回繰り返すことにより、位置ずれ量の評価精度を高めることを特徴とする画像処理方法。
3. 請求項１又は２に記載の画像処理方法であって、要求される精度に応じて前記初期関心領域設定ステップにおける所定幅、及び／又は、前記スパース関心領域設定ステップにおける所定の密度を決めることを特徴とする画像処理方法。
4. 検査対象物について得られる検査対象画像と基準となる基準画像とのパターンマッチングを行う画像処理装置であって、
   a)前記基準画像の中でエッジを抽出するエッジ抽出手段と、
   b)抽出された前記エッジに対して所定幅の初期関心領域を設定する初期関心領域設定手段と、
   c)前記初期関心領域内に所定の密度で以て分散した点をスパース関心領域として設定するスパース関心領域設定手段と、
   d)前記スパース関心領域に対応した複数の画素位置についての前記基準画像における画素値と前記検査対象画像における画素値とを用いて両画像の一致性を判定し、それに基づいて両画像間の位置ずれ量を評価する位置ずれ評価手段と、
   を備えることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、前記初期関心領域設定手段における所定幅を段階的に狭める、及び／又は、前記スパース関心領域設定手段における所定の密度を段階的に高めながら、前記初期関心領域設定手段、前記スパース関心領域設定手段、及び前記位置ずれ評価手段の処理を複数回繰り返すことにより、位置ずれ量の評価精度を高めることを特徴とする画像処理装置。
6. 請求項４又は５に記載の画像処理装置であって、要求される精度に応じて前記初期関心領域設定手段における所定幅、及び／又は、前記スパース関心領域設定手段における所定の密度を決める演算パラメータ設定手段をさらに備えることを特徴とする画像処理装置。