JP2008181261A - 対象物の輪郭線抽出方法及び装置 - Google Patents

Abstract

【課題】正確に輪郭線を抽出し対象物を高精度で認識することが可能な対象物の輪郭線抽出方法及び装置を提供する。
【解決手段】検出したエッジの強さが最小値を下回っている場合には（ｓ２３）、エッジ検出フィルタサイズを変更して（ｓ２４）エッジを再検出する。一方、検出したエッジの強さが最小値以上の場合には、検出されたエッジの強さをエッジ検出フィルタサイズに応じて補正する（ｓ２５）。そして、補正したエッジの強さが予め定められたしきい値を超えたときにエッジをエッジ点として検出し（ｓ２７）輪郭線を抽出する。このような構成では、なだらかなエッジも特徴点としてとらえることができるので、検出したい形状の重要な特徴を見落とすことなく、正確に輪郭情報を捉えて、マッチング精度を向上させることが可能となる。
【選択図】図７

Description

本発明は、対象物の輪郭線抽出方法及び装置、更に詳細には、対象物を撮像してその画像のエッジをエッジ点列として検出して輪郭線を抽出する対象物の輪郭線抽出方法及び装置に関する。

従来、電子部品搭載装置では、吸着ノズルで吸着された電子部品の吸着姿勢を認識するのに、ＣＣＤカメラにより撮像された電子部品の画像と予め作成された電子部品のテンプレートによるテンプレートマッチングが用いられている。このテンプレートマッチングにおいて、画像のすべての画素のデータについてマッチング演算を行うと、演算量が膨大になるので、従来から、対象となる画素を何らかの条件で絞り込み、演算の高速化を図る手法が採られている。例えば、エッジ強度が強いものを選択する方法であり、ソーベルなどのエッジ検出フィルタをかけて、エッジ強さを求め、あるしきい値を設けて、対象となる画素を絞り込んでいた。また、エッジ点列の曲率の大きい部分は密に、曲率の小さな部分は粗にするという方法や、テンプレート画像上での空間分布やエッジの方向性がある程度一様になるように間引くなどの方法がある（特許文献１、２など）。
特許第２６８９６８８号 特許第２９８１３８２号

しかしながら、従来のエッジ強さを用いる方法では、エッジ検出フィルタサイズとして３×３を使うことが多いが、なだらかなエッジの検出には不向きであり、そのような画像を対象とした場合、正しく対象画像の輪郭線を抽出することができなかった。このため、人間の目には特徴的な形状部分であっても、その部分のデータが欠落し、マッチング精度が低下するという問題があった。フィルタサイズを大きくすれば、なだらかなエッジは検出ができるようになるが、演算時間が増加し、３×３フィルタで検出できていたような急峻なエッジは、その周辺でも反応するので、検出幅が広がり、本来のエッジ位置がボケ、細かな形状の差に鈍感になるので、やはりマッチング精度が低下する。

また、対象画像のエッジ幅やコントラストによってエッジ判定の最適なしきい値は変動するので、適当なしきい値を設定するのが難しく、適切なエッジのみを取り出すことができなかった。

更に、しきい値が高すぎると重要なデータが欠落するかもしれず、低すぎると不要なデータの除去が不十分となるかもしれない。また、単純に画素単位でエッジ強さを評価するだけでは検出したいエッジかノイズ成分かの判断もできない。

このように、従来の方法では、検出したい対象物の形状の特徴を安定して正確に抽出すること自体が困難であった。

本発明は、上述したような問題点を解決するためになされたもので、正確に輪郭線を抽出し対象物を高精度で認識することが可能な対象物の輪郭線抽出方法及び装置を提供することを課題とする。

本発明は、
エッジ検出フィルタを用いて対象物の画像のエッジをエッジ点として検出し、検出された各エッジ点を結ぶことにより輪郭線を抽出する対象物の輪郭線抽出方法であって、
検出したエッジの強さが所定値を下回っている場合には、エッジ検出フィルタサイズを変更してエッジを再検出し、
検出したエッジの強さが前記所定値以上の場合には、検出されたエッジの強さをエッジ検出フィルタサイズに応じて補正し、
補正したエッジの強さが予め定められたしきい値を超えたときにエッジをエッジ点として検出し輪郭線を抽出することを特徴とする。

また、本発明は、
エッジ検出フィルタを用いて対象物の画像のエッジをエッジ点として検出し、検出された各エッジ点を結ぶことにより輪郭線を抽出する対象物の輪郭線抽出装置であって、
検出したエッジの強さが所定値以上かどうかを判定する判定手段と、
検出したエッジの強さが所定値を下回っている場合には、エッジ検出フィルタサイズを変更する変更手段と、
変更されたエッジ検出フィルタサイズを用いてエッジを再検出する検出手段と、
検出したエッジの強さが前記所定値以上の場合には、検出されたエッジの強さをエッジ検出フィルタサイズに応じて補正する補正手段と、
補正したエッジの強さが予め定められたしきい値を超えたときにエッジをエッジ点として検出するエッジ点検出手段と、
を有することを特徴とする。

本発明では、なだらかなエッジも特徴点としてとらえることができるので、検出したい形状の重要な特徴を見落とすことなく、正確に輪郭情報を捉えて、マッチング精度を向上させることが可能となる。

以下、図面に示す実施例に基づいて本発明を詳細に説明する。以下では、対象物を部品実装機において回路基板に実装される電子部品として説明するが、対象物はこれに限定されるものではなく、任意の対象物にも適用できるものである。

図１は本発明を実施するのに用いられるシステムの構成図である。このシステムは、電子部品（以下、単に部品という）２を吸着し、撮像位置へセットするための吸着ノズル１と、吸着ノズル１の移動や照明装置３の駆動など部品の基板（不図示）上への搭載動作を制御するマシン制御装置１３と、部品２を撮像するための標準カメラ４及び高解像度カメラ５と、撮像された画像を処理して画像のエッジをエッジ点列として検出して輪郭線を抽出し、部品の位置を認識する画像処理装置１２とによって構成される。

画像処理装置１２は、カメラ４、５で撮像された部品の画像をデジタル画像に変換するＡ／Ｄコンバータ６、デジタル画像に変換された画像を格納する画像メモリ７、作業用メモリ８、画像メモリ８のデータを演算処理する演算装置９、テンプレートデータ格納メモリ１０、インターフェース１１並びに、各装置ないしメモリ間のデータの流れを制御するとともに、部品搭載に必要なデータを演算する制御装置１４から構成され、演算装置９並びに制御装置１４は、ＣＰＵなどで構成される。

マシン制御装置１３は、予め部品の電極の情報、極性判別用エレメント情報及びエッジ強さを判別するしきい値など（以降、部品データと呼ぶ）をインターフェース１１を介して画像処理装置１２へ送信する。画像処理装置１２は受信した部品データをテンプレートデータ格納メモリ１０に格納する。

マシン制御装置１３は、通常、部品の電極サイズによって、標準カメラ４あるいは高解像度カメラ５を選択し、部品２を吸着ノズル１で吸着し、選択したカメラの撮像位置にセットする。このとき、照明装置３を選択したカメラで撮像できるように移動、点灯させ、画像処理装置１２にインターフェース１１を介して、選択したカメラチャネル情報とともに処理実行を指示する。

画像処理装置１２は、指定されたカメラ４もしくは５を制御し、撮像された部品２の画像を、Ａ／Ｄコンバータ６でデジタル化し、画像メモリ７に多値画像データとして記憶させる。そして、演算装置９は、画像メモリ７のデータを処理し、部品２の画像の輪郭線を抽出して、部品の位置決め（部品認識）を行う。このとき、画像処理装置１２は、輪郭線が抽出された部品の形状を認識して、形状判別のためのテンプレートを作成し、それをテンプレートデータ格納メモリ１０に格納する。

マシン制御装置１３は、正常に位置決め結果を受け取った場合、吸着ノズル１を搭載位置に移動させ、部品認識結果に従って部品の吸着ずれ（部品中心と吸着中心間のずれ並びに吸着角度ずれ）を補正し、部品を基板上の正規の位置に搭載する。

次に、図２を参照して、画像処理装置１２での処理の流れを説明する。

ステップｓ１では、選択したカメラ４あるいは５により部品３を撮像し、その画像を画像メモリ７に多値画像データとして取得し格納する。部品のテンプレートを作成する場合には、撮像した部品の画像を基準画像として格納する。

続いて、エッジ抽出処理を行い、抽出データを作業用メモリ８に格納する（ステップｓ２）。

次に、抽出したエッジ点についてラベリング処理を行い、連結し、輪郭線としてまとめてデータ管理を行えるようにする（ステップｓ３）。

輪郭線で表される形状のサイズが小さいと細かな形状の判別ができないので、エッジエンベロプ検査を行い（ステップｓ４）、一定サイズ以下の場合は必要な形状サイズが得られるように、画像メモリ７のデータに対して拡大処理を行い（ステップｓ８）、再度、エッジ抽出処理を行う。

さらに、ノイズ成分の除去（ステップｓ５）を行い、高速化のために有効なエッジのみに絞り込む（ステップｓ６）。部品のテンプレートを作成する場合には、部品の形状判別のためのテンプレートデータとして、テンプレートデータ格納メモリ１０に格納する（ステップｓ７）。

次に、図２に示したフローチャートに沿って、画像処理装置１２での個々の処理について詳細に説明する。
（１）画像取得（ステップｓ１）
上述したように、選択したカメラにより部品３を撮像し、その画像を画像メモリ７に多値画像データとして格納する。
（２）エッジ抽出処理（ステップｓ２）
画像メモリ７に格納された画像データをフィルタ処理してエッジをエッジ点列として抽出する。エッジ抽出はソーベルなどのエッジ検出フィルタを用いて行う。このとき、エッジ幅とフィルタサイズについて、図３のような関係がある。図３の左側はエッジがなだらかな場合の、また右側が急峻な場合の例が示されており、図３（ａ）は画像の濃淡データを、図３（ｂ）はフィルタサイズが小さい場合の、また図３（ｃ）は大きい場合のフィルタ出力を示している。

図３から明らかなように、フィルタサイズを大きくすれば、なだらかなエッジは検出ができるようになり、また、小さなフィルタサイズで検出できていたような急峻なエッジは、フィルタサイズを大きくすると、本来のエッジ周辺でも反応するので、検出幅が広がり、本来のエッジ位置がボケ、細かな形状の差に鈍感になることが理解できる。

そこで、エッジ幅に合わせて、図６（ａ）〜（ｃ）に示したように、フィルタサイズを変化させ、なだらかなエッジに対しても反応できるとともに、急峻なエッジに対しても本来のエッジ位置を確実に検出し、画像の輪郭線が抽出できるようにする。

この急峻なエッジ、なだらかなエッジのどちらにも、うまく反応するための適用フィルタサイズの制御処理を図７に示す。フィルタサイズはエッジが検出できるまで、図６（ａ）の３×３のフィルタ、図６（ｂ）の５×５のフィルタ、図６（ｃ）の７×７の順に小さい方から適用していく。

フィルタ演算を行ってエッジを検出し（ステップｓ２２）、フィルタ出力が所定値、例えば最小のエッジ強さ（エッジ強さは濃淡データの微分値に対応）以上かの判定を行う（ステップｓ２３）。最小エッジ強さ以上であれば、フィルタ演算ループから脱出し、フィルタサイズに応じてエッジ強さを補正する（ステップｓ２５）。この補正は、フィルタサイズが小さいほどエッジ強さが大きくなるようなものとする。例えば、フィルタサイズが一回り大きくなれば、エッジ強さを１／２にするなどの補正方法が考えられる。

続いて、補正したエッジ強さが予め定められたしきい値を超えたかを判断する（ステップｓ２６）。超えていれば、エッジ点として検出し（ステップｓ２７）、作業用メモリ８に格納し、超えていなければ、エッジなしとして（ステップｓ２８）処理を終了する。

一方、ステップｓ２３で最小エッジ強さ未満であった場合は、フィルタサイズを一回り大きなものに変更し（ステップｓ２４）、リトライを行う（ステップｓ２１）。すべてのサイズについてリトライを終了したならば、エッジなしと判定し、エッジ検出処理を終了する。

エッジ抽出結果は、２次元の２値データとして、作業用メモリ８に格納される。
（３）ラベリング処理（ステップｓ３）
画像処理装置１２は、ステップｓ２の出力結果に対して、ラベリング処理を行い、ラベルごとのエンベロプ、全体のエンベロプを求める。図４は、電極２０ａ、２０ｂを備えた部品２０の画像を示す。このように部品２０全体のエンベロプのサイズが小さいと細かな形状特徴を捉えるのが困難であるので、画像を拡大し（ステップｓ８）、再度、ステップｓ２、ｓ３の処理を繰り返す。ステップｓ２でなだらかなエッジの抽出も可能としたので、画像拡大処理によって、図５に示すように、エッジがボケてしまっても、正確に輪郭線を検出することができる。なお、エッジのボケは図示が困難なので、図５では点線で図示されている。
（４）ノイズエッジ除去処理（ステップｓ５）
ステップｓ３で求めたラベルのエンベロプサイズを判定し、あるサイズより小さなものをノイズとみなし除去する。
（５）エッジ選択処理（ステップｓ６）
ステップｓ２、ｓ３の処理で、有効なエッジが抽出できたが、さらに精度を落とさないレベルでエッジ点を絞り込むことは、演算の高速化手段として有効である。

エッジ強さに対して、固定的なしきい値処理で絞り込みを行うと、照明などの撮像時の変動要素に追随できず、安定的なエッジ点を選択できない可能性がある。そこで、ヒストグラムを作成し、しきい値レベルを全体に占める割合で指定し、動的にしきい値を設定し、エッジ点を絞り込む。これが、エッジ点の絞り込みの一つの方法である。

また、別の絞込み方法として、テンプレート作成時、撮像環境、姿勢を変動させ、得られたエッジ点を基準姿勢に補正し、重ね合わせる。実際には、まったく同じ座標にはならないので、基準画像に対して、エッジ座標の投票空間を設定、変動テンプレートから得られたエッジ点を投票し、投票の高くなる空間を安定空間として取得、安定空間に存在するエッジ点に絞り込む。

また、検出されたエッジ点に対して重み付けを行い、重みの大きいエッジ点を用いることによっても、エッジ抽出精度を高めることができる。この重み付けは、次のようにして行う。

図８は対象物、ここでは電極３０の検出したエッジ点３０ａ（斜線を施した正方形）、並びにその輪郭線３０ｂを示している。ここで、ラベル別に輪郭線（境界線）をトレースし、輪郭線に沿って濃度勾配ベクトル（矢印線）の角度変化を調べ、濃度勾配ベクトルの方向が安定している区間を検出し、この区間のエッジ点に対して重みを大きくする。

また、ラベル別の輪郭線のトレースにより求めた周囲長と、ラベルのエンベロプの面積から境界の複雑度ｅを、以下の式に従って算出する。

ｅ ＝ Ｌ ／ Ｓ Ｓ：面積、Ｌ：周囲長
複雑度ｅの値が大きいほど、境界が複雑であると判定し、複雑度eが低いラベルほど、濃度勾配ベクトルの方向が安定している境界と判断する。
（６）テンプレートデータ（ステップｓ７）
部品の形状をテンプレートとして使用する場合には、図９に示したようにテンプレートデータを作成し、テンプレートデータ格納メモリ１０に格納しておく。マシン制御部１３は、インターフェース１１を介し、テンプレートデータの読み出し、書き込みを可能にする。

上述したように、本発明では、検出したエッジ点に基づいてラベリングし、各ラベルのエンベロプ並びに面積を元にノイズを除去するようにしているので（ステップｓ５）、精度の高い輪郭線抽出が可能となる。

また、エッジ点の絞込み及び／又は重み付けによりエッジ点を選択して、選択されたエッジ点に基づいて輪郭線を抽出するようにしているので（ステップｓ６）、高速化が図れるとともに、確実な輪郭線抽出が可能となる。

本発明に用いられる画像処理装置の構成を示したブロック図である。 画像処理装置での画像処理の流れを示したフローチャートである。 エッジ検出フィルタによるエッジ検出の状態を説明するグラフ図である。 エッジエンベロプのサイズの小さな画像を示した説明図である。 画像拡大処理によってエッジがボケた状態を説明する説明図である。 種々の大きさのエッジ検出フィルタを示した説明図である。 エッジ検出処理の詳細な流れを示したフローチャートである。 エッジの選択処理を説明する説明図である。 テンプレートデータの内容を示す表図である。

符号の説明

２ 電子部品
１２ 画像処理装置
１３ マシン制御装置

Claims (8)

1. エッジ検出フィルタを用いて対象物の画像のエッジをエッジ点として検出し、検出された各エッジ点を結ぶことにより輪郭線を抽出する対象物の輪郭線抽出方法であって、
   検出したエッジの強さが所定値を下回っている場合には、エッジ検出フィルタサイズを変更してエッジを再検出し、
   検出したエッジの強さが前記所定値以上の場合には、検出されたエッジの強さをエッジ検出フィルタサイズに応じて補正し、
   補正したエッジの強さが予め定められたしきい値を超えたときにエッジをエッジ点として検出し輪郭線を抽出することを特徴とする対象物の輪郭線抽出方法。
2. 検出したエッジ点に基づいてラベリングし、各ラベルのエンベロプ並びに面積を元にノイズを除去することを特徴とする請求項１に記載の対象物の輪郭線抽出方法。
3. エッジ点の絞込み及び／又は重み付けによりエッジ点を選択して、選択されたエッジ点に基づいて輪郭線を抽出することを特徴とする請求項１又は２に記載の対象物の輪郭線抽出方法。
4. 抽出した輪郭線に基づいて対象物の形状を判別するためのテンプレートを作成することを特徴とする請求項１から３のいずれか１項に記載の対象物の輪郭線抽出方法。
5. エッジ検出フィルタを用いて対象物の画像のエッジをエッジ点として検出し、検出された各エッジ点を結ぶことにより輪郭線を抽出する対象物の輪郭線抽出装置であって、
   検出したエッジの強さが所定値以上かどうかを判定する判定手段と、
   検出したエッジの強さが所定値を下回っている場合には、エッジ検出フィルタサイズを変更する変更手段と、
   変更されたエッジ検出フィルタサイズを用いてエッジを再検出する検出手段と、
   検出したエッジの強さが前記所定値以上の場合には、検出されたエッジの強さをエッジ検出フィルタサイズに応じて補正する補正手段と、
   補正したエッジの強さが予め定められたしきい値を超えたときにエッジをエッジ点として検出するエッジ点検出手段と、
   を有することを特徴とする対象物の輪郭線抽出装置。
6. 検出したエッジ点に基づいてラベリングし、各ラベルのエンベロプ並びに面積を元にノイズを除去することを特徴とする請求項５に記載の対象物の輪郭線抽出装置。
7. エッジ点の絞込み及び／又は重み付けによりエッジ点を選択して、選択されたエッジ点に基づいて輪郭線を抽出することを特徴とする請求項５又は６に記載の対象物の輪郭線抽出装置。
8. 抽出した輪郭線に基づいて対象物の形状を判別するためのテンプレートを作成することを特徴とする請求項５から７のいずれか１項に記載の対象物の輪郭線抽出装置。

Images