JP4660205B2 - 部品認識方法及び装置 - Google Patents

Description

本発明は、部品認識方法および装置、更に詳細には、部品実装装置において吸着された電子部品の位置検出を行うための部品認識方法及び装置に関するものである。

電子部品実装装置においては、電子部品（以下、部品という）が部品供給装置から供給され、吸着ノズルにより吸着されて回路基板に実装される。吸着ノズルは必ずしも正しい姿勢で部品を吸着するとは限らないので、通常ＣＣＤカメラなどにより吸着部品が撮像され、この撮像された部品の画像を画像処理装置において画像処理することにより部品認識（部品位置検出）が行なわれる。そして、正しい姿勢で吸着されていない場合には、認識結果に基づき位置補正、傾き補正などが行なわれ、部品は正しい姿勢で回路基板の正確な位置に実装される。

ここで、部品認識に対する一般的な画像処理手法として、画像全体を一様に処理するのではなく処理に必要な領域を絞り込み、その対象範囲内にのみ処理を行う方法がある。部品認識の場合、画像全体の中から部品の存在している範囲や、部品の位置決めや検査に必要な特徴物（例えばリード、ボール、辺、コーナー、マークなど）の存在範囲を絞り込み、これらの範囲内を対象に画像処理を行っている。

従来の部品認識では、画像端からスキャンを行うことで部品の外接矩形を得ることができるため、画像上のどこに部品の像が存在しているかを特定することができ、またこれを元に部品の位置決めや検査に必要な特徴物の大よその存在範囲を予測でき、その予測される存在範囲において部品位置検出を行っている（例えば、特許文献１）。

その他、部品の外形サイズや特徴点の位置、サイズがユーザーにより指定されるので、画像中心と部品中心が一致していると仮定し、大まかな部品存在範囲や、特徴物の存在範囲を予測することができ、この予測された部品存在範囲において、部品位置検出を行っている（例えば、特許文献２）。
特開２００１−１７４２２１号公報 特開２００２−２８８６３４号公報

しかしながら、従来の認識方法では、スキャンによる対象範囲の絞り込みを行っているので、スキャンに時間がかかり、画像サイズが大きい場合や、画像サイズに対して部品サイズが小さい場合には、特にその傾向が顕著となり画像処理時間が長くなるという問題点があった。

また、特徴物の座標から直接存在範囲を予測する方法では、部品中心と画像中心が一致していることを前提として、図５に示したように、部品３０の隅（コーナー）３０ａ〜３０ｄを指定し、多少の位置ずれマージンを考慮して、ウィンドウ３１ａ〜３１ｄを設定し、部品認識を行っている。しかし、部品が、図５の右側に図示したように、顕著に位置ずれして吸着される場合には、正しく予測範囲が設定できず、正確な部品認識ができなかった。

また、部品によっては部品の吸着面に凹凸や穴があり、吸着範囲が限られるものがある。こういった部品は常に同じ方向にずれが発生し、またこのような部品でなくても同じ部品で供給方法も同じであれば、ずれる方向やばらつきは同じになる傾向がある。従って、実装機のように同一部品を同一条件下で繰り返し認識を行うような場合には、こういった法則性を用いずに認識の度に画像全体から部品位置を絞り込んでいたので、毎回同じ処理が重複して繰り返され、処理時間が長くなるという問題があった。

本発明は、このような問題点を解決するためになされたもので、画像処理領域を正確に絞り込むことができ、画像処理時間を短縮することが可能な部品認識方法及びその装置を提供することを課題とする。

本発明（請求項１）は、
撮像された部品の画像を処理して部品認識を行う部品認識方法であって、
部品の認識結果から部品の位置ずれと角度ずれを検出し、検出した位置ずれと角度ずれのデータを部品種ごとにメモリに取り込んで部品種ごとに部品の位置ずれと角度ずれについてのそれぞれの総和と二乗和ないしはそれから算出される部品の位置ずれと角度ずれの平均値と標準偏差である統計データを作成し、
次に部品を認識するときには、その部品種の前記平均値と標準偏差を用いて部品の画像の存在する範囲を予測し、
前記予測された範囲内の画像を処理して部品認識することを特徴とする。

また、本発明（請求項３）は、
撮像された部品の画像を処理して部品認識を行う部品認識装置であって、
部品の認識結果から部品の位置ずれと角度ずれを検出する検出手段と、
検出した位置ずれと角度ずれのデータを部品種ごとにメモリに取り込んで部品種ごとに部品の位置ずれと角度ずれについてのそれぞれの総和と二乗和ないしはそれから算出される部品の位置ずれと角度ずれの平均値と標準偏差である統計データを作成する統計データ作成手段と、
作成された前記統計データを記憶する統計データ記憶手段と、
次の部品認識時、その部品種に関連して記憶された前記平均値と標準偏差を用いて部品の画像の存在する範囲を予測する予測手段とを有し、
前記予測された範囲内の画像を処理して部品認識することを特徴とする。

本発明での統計データとしては、例えば、部品の位置ずれと角度ずれについてのそれぞれの総和と二乗和ないしはそれから算出される部品の位置ずれと角度ずれの平均値と標準偏差を用いることができ、該平均値と標準偏差を用いて画像の存在する範囲を予測することができる（請求項１、３）。また、画像の存在する範囲の予測が成功した回数、あるいは連続して失敗した回数を計数し、計数した回数に応じて前記統計データを初期化するようにしてもよい（請求項２）。また、本発明では、記憶された統計データを初期化ないし書き換え可能にしてもよい（請求項４）。

本発明では、部品認識結果から部品の位置ずれと角度ずれを検出し、検出した位置ずれと角度ずれのデータを部品種ごとにメモリに取り込んで部品種ごとに位置ずれと角度ずれに関する統計データを作成するようにしているので、過去の認識結果から部品ないしその特徴部の存在範囲を予測して画像処理領域を絞り込むことができ、部品認識に要する画像処理時間を顕著に短縮することが可能となる。特に、本発明を部品実装機に用いる場合には、同じ部品は同じ条件で供給されるため画像上に写る部品の像の位置が安定しているので、正確な統計データの作成が可能であり、部品認識時間が短縮されることから部品実装効率を高めることができる。

また、本発明では、統計データを初期化したりあるいは書き換えたりすることができるようにしてもよく、この場合、基板の生産プログラムに応じた統計データを作成することができ、基板生産効率を高めることができる。

また、本発明では、画像の存在範囲の予測が成功した回数、あるいは連続して失敗した回数を計数し、計数した回数に応じて統計データを初期化するようにすることができるので、何らかの理由で部品の位置ずれ傾向が変わった場合にも対応できる。

本発明は、部品の認識結果から部品の位置ずれと角度ずれを検出し、検出した位置ずれと角度ずれのデータを部品種ごとにメモリに取り込んで部品種ごとに位置ずれと角度ずれに関する統計データを部品種ごとに作成し、その部品種の統計データを用いて部品の画像の存在する範囲を予測して部品認識を行うもので、以下に、添付図面を参照して本発明を詳細に説明する。

図１は、本発明が使用される部品実装機２０と、撮像された部品の画像を処理する画像処理装置１２の構成を概略示している。

同図において、吸着ノズル１は、実装機のメイン制御装置１３により制御されてＸ、Ｙ軸方向に移動して部品供給装置（不図示）から供給される部品（電子部品）２を吸着する。メイン制御装置１３は、部品２を吸着した吸着ノズル１を、撮像位置へ移動させ、そこで、照明装置３により照明された部品２が、ＣＣＤカメラあるいはＣＭＯＳカメラなどの撮像装置４により撮像される。

撮像された部品の画像は、後述するように、画像処理装置１２において画像処理され、部品認識が行われて、部品中心と吸着中心（画像中心）間の位置ずれ（以下位置ずれという）並びに基準角度に対する吸着角度のずれ（以下、角度ずれという）が検出される。その後、部品２は、メイン制御装置１３により基板１４の位置に移動され、部品認識に基づいて検出された位置ずれと角度ずれが補正されて回路基板１４の所定位置に搭載される。

基板１４には、基板マーク（不図示）が形成されており、この基板マークは、吸着ノズル１を設けたヘッドに取り付けられる基板認識カメラ１５により撮影され、そのマーク画像が画像処理装置１２で処理され、基板位置が検出される。基板１４に位置ずれと角度ずれがある場合には、そのずれが補正されるので、電子部品２は、高精度で基板１４上に搭載される。

画像処理装置１２は、カメラ４、１５からの画像をデジタル値に変換するＡ／Ｄコンバータ５と、デジタル画像に変換された部品２や基板マークなどの対象物の画像を格納する画像メモリ６、作業用メモリ（ＲＡＭ）７、部品データ格納メモリ８、統計データ格納メモリ（統計データ記憶手段）９、ＣＰＵ１０、インターフェース１１などから構成されており、撮像された部品２の画像は、画像メモリ６に格納される。ＣＰＵ１０は、予測手段の機能を有し、後述するように、画像メモリ６に格納されている部品２の画像を読み込んで、部品ないしその特徴部の画像の存在する範囲を予測し、また、ＣＰＵ１０は、その予測された範囲内の画像を処理して、部品認識を行う。部品の画像処理時、モニタ１６には、部品の画像ないし画像処理の様子が表示される。

図２には、画像処理装置１２内での部品認識時のデータの流れが図示されている。

図２において、実装機のメイン制御装置１３は、部品の認識に先立って、あらかじめ部品データを画像処理装置１２に送信する（ステップＳ１）。部品データには部品の種類、部品外形寸法、特徴物のサイズや位置などが含まれており、画像処理装置１２は受信した部品データ８ａを、部品データ格納メモリ８のデータ格納領域に、ＩＤ番号で区別される部品種毎に格納する。

吸着ノズル１が撮像装置４の位置に移動すると、メイン制御装置１３は、部品認識実行命令を画像処理装置１２に送信し（ステップＳ２）、撮像装置４による部品の撮像が行われ（ステップＳ１１）、撮像された画像が画像メモリ６に格納される。

ここで、統計データ格納メモリ９のデータ領域には、正常認識回数（ｎ）、部品の認識結果（位置ずれと角度ずれ）の総和（Ｓｘ，Ｓｙ，Ｓθ）、認識結果の二乗和（ＳＳｘ，ＳＳｙ，ＳＳθ）、ヒット回数、連続不ヒット回数などの統計データ９ａがＩＤ番号（部品種）ごとに格納される。

正常認識回数（ｎ）は、部品を正常に検出できた回数である。また、部品の認識結果の総和は、Ｘｋ（ｍｍ）を、ｋ回目の部品認識時の位置ずれのＸ方向の値、Ｙｋ（ｍｍ）をそのＹ方向の値、θｋ（ｒａｄ）を角度ずれとして、前回（ｎ）までのＸ方向の位置ずれの総和（Ｓｘ）、Ｙ方向の位置ずれの総和（Ｓｙ）、角度ずれの総和（Ｓθ）、すなわち、以下の式で求められる総和である。

Ｓｘ＝Σ（Ｘｋ）、Ｓｙ＝Σ（Ｙｋ）、Ｓθ＝Σ（θｋ）（ｋ＝１からｎ）
ただし、正常に認識されなかったときのデータは除外するようにする。また、その認識結果の二乗和（ＳＳｘ，ＳＳｙ，ＳＳθ）
ＳＳｘ＝Σ（Ｘｋ）^２、ＳＳｙ＝Σ（Ｙｋ）^２、ＳＳθ＝Σ（θｋ）^２
が、統計データ９ａとして格納され、またより正確な統計データを取るためにヒット回数（ｈｎ）、連続不ヒット回数（ｅｎ）、初期化条件回数（ｃｎ）などが統計データ９ａとして格納される。

このように統計データ格納メモリ９には、その部品に関する過去の認識結果の前歴が格納されているので、ステップＳ１５で行われる部品認識に先立ち、撮像された部品のＩＤ番号に関する部品データ８ａが、部品データ格納メモリ８ａから取り出されるとともに（ステップＳ１２）、統計データ格納メモリ９からその部品認識結果に関する統計データが取り出され（ステップＳ１３）、これらの部品データ並びに統計データに基づいて、部品の存在範囲や部品認識（位置検出）に必要な特徴物の存在範囲が予測される（ステップＳ１４）。

この予測のために、まず、統計データ９ａのうち正常認識回数と、認識結果の総和と、その二乗和から部品位置オフセットと部品位置ばらつきが算出される。

部品位置オフセット（ｄＸ，ｄＹ，ｄθ）は、部品が画像中心（吸着中心）に対して常に一定量ずれている場合のずれ量を意味するので、これは認識結果の総和の平均値であるからそれぞれ、
ｄＸ＝Ｓｘ／ｎ，ｄＹ＝Ｓｙ／ｎ，ｄθ＝Ｓθ／ｎ
として求めることができる。

また、部品位置ばらつき（σｘ，σｙ，σθ）は、部品が画像中心から部品位置オフセット分ずれた地点でどの程度のばらつきで存在していたかを示す。これは認識結果の標準偏差であるからそれぞれ、
σｘ＝√（σｘ）^２，（σｘ）^２＝ＳＳｘ／ｎ−（Ｓｘ／ｎ）^２
σｙ＝√（σｙ）^２，（σｙ）^２＝ＳＳｙ／ｎ−（Ｓｙ／ｎ）^２
σθ＝√（σθ）^２，（σθ）^２＝ＳＳθ／ｎ−（Ｓθ／ｎ）^２
として求めることができる。

ただし、部品位置オフセットも部品位置ばらつきもｍｍ単位であるため、処理画像の解像度に合わせて画素単位に変換する必要がある。また、今回まで一度も正常に認識が行われていない部品に対しては部品位置オフセットも部品位置ばらつきも求めることができず、部品の存在範囲が予測できないので、この場合は従来手法により処理範囲を狭めて部品認識を行う。

部品の存在範囲の予測は、次のようにして行われる。例えば部品データから部品の外形寸法がＸｓ＊Ｙｓであるとした場合、図３（Ａ）に示したように、部品中心と部品画像２’の中心が一致していれば、部品の４隅（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標はそれぞれ同図に図示したように、表すことができる。

ここで、この部品が持つ部品位置オフセットを（ｄＸ，ｄＹ，ｄθ）、Ｐ１の座標を（Ｐｘ１，Ｐｙ１）として、図３（Ｂ）に示したように、部品が画像中心、即ち撮像装置の視野中心（Ｃｘ＝０、Ｃｙ＝０）に対して部品位置オフセット分だけずれて画像２’として撮像されている状況での部品の右上の隅Ｑ１（Ｑｘ、Ｑｙ）の座標は、
Ｑｘ＝（Ｐｘ１）ｃｏｓｄθ−（Ｐｙ１）ｓｉｎｄθ＋ｄＸ
Ｑｙ＝（Ｐｘ１）ｓｉｎｄθ＋（Ｐｙ１）ｃｏｓｄθ＋ｄＹ
となる。

さらに部品位置ばらつき（σＸ，σＹ，σθ）を考慮し、図４（Ａ）に示したように、部品画像の右上の隅Ｑ１が存在しうる座標範囲Ｗ１を予測することができる。一般的に平均±３σ（σ：標準偏差）の範囲内に全体の９９．７％が含まれることが知られているため、座標範囲Ｗ１の横幅と縦幅をそれぞれ、２・Ｗｘ、２・Ｗｙとすると、
Ｗｘ＝３・σｘ＋ｚθｘ，
Ｗｙ＝３・σｙ＋ｚθｙ，
ｚθｘ＝（Ｐｘ１・ｃｏｓ（３・σθ）−Ｐｙ１・ｓｉｎ（３・σθ）−Ｐｘ１）の絶対値
ｚθｙ＝（Ｐｘ１・ｓｉｎ（３・σθ）＋Ｐｙ１・ｃｏｓ（３・σθ）−Ｐｙ１）の絶対値
として求めることとする。

ただし部品位置ばらつきが大きい場合、３・σｘや３・σｙが部品サイズを超えてしまう場合も有り得る。しかし実際には部品サイズ以上に部品がずれることはないので、
３・σｘ＜＝Ｘｓ、３・σｙ＜＝Ｙｓ
とする。

同様に他の部品の画像の４隅Ｑ２〜Ｑ４に対しても、図４（Ｂ）に示したように、存在範囲Ｗ２〜Ｗ４を予測し、部品の画像２’全体の存在範囲Ｗを予測する。この範囲Ｗは、各領域Ｗ１〜Ｗ４の辺ｗ１〜ｗ４を通る４つの直線Ｌ１〜Ｌ４で区画される領域として求められる。

また、部品の特徴物の座標が直接指定されている部品の場合は、部品の右上コーナー位置Ｑ１を予測した方法と同様に行えば、特徴物の存在範囲を予測することができる。

以上が、図２のステップＳ１４において行われる部品の存在範囲並びに特徴物の存在範囲の予測である。

続いて部品の実際の認識が行われる（ステップＳ１５）。その部品認識は、上述した領域Ｗ全体をスキャンすることにより、公知の方法で、エッジ検出を行って外接矩形、つまり各Ｑ１〜Ｑ４を結ぶ直線を求め、部品中心と傾きを求めることにより行われる。このように、部品位置オフセット（認識結果の平均値）と部品位置ばらつき（認識結果の標準偏差）のデータと、部品データに基づいて部品が存在する範囲を予測して、その予測された範囲において、部品認識が行われるので、従来よりも効率的に、しかも高速に部品の外接矩形を求め、部品認識を行うことができる。

この部品認識結果は、メイン制御装置１３に送信されて（ステップＳ１６）、位置ずれ並びに角度ずれの補正に用いられ、部品は、基板１４の正しい位置に搭載される。また、部品認識の結果は、統計データメモリ９にも取り込まれ、その部品に関する統計データが更新され、次にその部品を認識するときの統計データに反映される。

なお、上述した処理は、同一条件で部品の供給を行っていることを仮定しているが、同一条件で部品の供給を行っていても、何らかの理由で部品位置ずれ、部品位置ばらつきの傾向が全く変わってしまう場合も考えられる。このような現象が発生しているにもかかわらず認識結果の総和とその二乗和を計算し続けてしまうと、新たな位置ずれ、ばらつき傾向を割り出すのに時間がかかり、その間に行われる認識処理は統計処理を用いることで逆に無駄な処理が発生しかねない。

このような現象を避けるために、コマンドによる外部命令で統計データをクリアするようにする。あるいは、画像処理において以下のような対策を行う。これには、ヒット回数（ｈｎ）、連続不ヒット回数（ｅｎ）、初期化条件回数（ｃｎ）を用いる。

ヒット回数（ｈｎ）は、正常認識したときの結果が予測範囲（部品位置オフセット±部品位置ばらつき×３）内だった場合にカウントする。ヒット回数（ｈｎ）と正常認識回数（ｎ）から部品が予測範囲内に存在していた割合（ヒット率＝ｈｎ／ｎ）を計算することができる。認識回数が少ないうちはヒット率が悪いが、認識を繰り返すことでヒット率は向上する。最初にヒット率が９割を超えた場合の正常認識回数（ｎ）を初期化条件回数（ｃｎ）とする。ヒット率が９割を超えたのが最初かどうかの判断は、初期化条件回数が設定されているかどうかで判断できる。

連続不ヒット回数（ｅｎ）は、認識結果が予測範囲内に存在した場合に０クリアされ、予測範囲外であった場合にカウントされる。連続不ヒット回数（ｅｎ）が初期化条件回数（ｃｎ）を上回った場合に統計データをクリアする。

これらの処理は、部品位置決めを行い認識結果の総和・二乗和を統計データに登録する前に行う。

以上述べた実施例において、同一部品でも供給方法が異なる場合は位置ズレ傾向が全く異なってしまうこともあるため、部品ＩＤは同一部品で同一の供給状態のもの毎に割り振られている必要がある。実装機のメイン制御装置１３は、同一部品が複数の方法で供給されるかどうかを判断し、その場合は供給方法毎に部品ＩＤを分けて画像処理装置に送信する。これにより、統計データの質をさらに向上させることができる。

また、図２のステップＳ３に示したように、各部品種の統計データを統計データ読み書きコマンドによって取り出したり書き込んだりすることができる。例えば１つの生産が終了した際に、このコマンドによって統計データを取り出しておき、再度同じ生産データを用いて生産を行う際は、部品のＩＤ番号を送信後に取り出した統計データを同コマンドによって再度画像処理装置の統計データ領域に書き込むことができる。これにより前回の処理で統計処理したデータを引き続き利用することが可能となる。

また、生産途中において、供給状態が大きく異なった場合またはこれ以外にも部品ずれ傾向が大きく異なる原因が発生した場合は統計データ読み書きコマンドによってその統計データをクリアすることができる。

なお、以上に述べた実施例において、統計データ格納メモリ９に格納される統計データは、認識結果の総和とその二乗和などであったが、各認識ごとに、認識結果（位置ずれ、角度ずれ）を個々に格納し、ステップＳ１５において、認識を実行するときに、認識結果の総和、二乗和を求め、それから総和の平均値並びに認識結果の標準偏差を求めるようにしてもよい。このときも、正常に認識されなかったときの認識結果のデータは除外するようにすることは勿論である。

本発明の部品認識装置の構成を示した構成図である。 部品認識時のデータの流れを示した説明図である。 部品の存在位置を予測する状態を説明した説明図である。 統計データにより部品の存在位置を予測する状態を説明した説明図である。 従来の部品認識の流れを示した説明図である。

符号の説明

１ 吸着ノズル
２ 電子部品
４ 撮像装置
８ 部品データ格納メモリ
９ 統計データ格納メモリ
１２ 画像処理装置
１３ メイン制御装置

Claims (4)

1. 撮像された部品の画像を処理して部品認識を行う部品認識方法であって、
   部品の認識結果から部品の位置ずれと角度ずれを検出し、検出した位置ずれと角度ずれのデータを部品種ごとにメモリに取り込んで部品種ごとに部品の位置ずれと角度ずれについてのそれぞれの総和と二乗和ないしはそれから算出される部品の位置ずれと角度ずれの平均値と標準偏差である統計データを作成し、
   次に部品を認識するときには、その部品種の前記平均値と標準偏差を用いて部品の画像の存在する範囲を予測し、
   前記予測された範囲内の画像を処理して部品認識することを特徴とする部品認識方法。
2. 前記画像の存在する範囲の予測が成功した回数、あるいは連続して失敗した回数を計数し、計数した回数に応じて前記統計データを初期化することを特徴とする請求項１に記載の部品認識方法。
3. 撮像された部品の画像を処理して部品認識を行う部品認識装置であって、
   部品の認識結果から部品の位置ずれと角度ずれを検出する検出手段と、
   検出した位置ずれと角度ずれのデータを部品種ごとにメモリに取り込んで部品種ごとに部品の位置ずれと角度ずれについてのそれぞれの総和と二乗和ないしはそれから算出される部品の位置ずれと角度ずれの平均値と標準偏差である統計データを作成する統計データ作成手段と、
   作成された前記統計データを記憶する統計データ記憶手段と、
   次の部品認識時、その部品種に関連して記憶された前記平均値と標準偏差を用いて部品の画像の存在する範囲を予測する予測手段とを有し、
   前記予測された範囲内の画像を処理して部品認識することを特徴とする部品認識装置。
4. 前記記憶された統計データが初期化ないし書き換え可能であることを特徴とする請求項３に記載の部品認識装置。