JP6833871B2 - 画像処理用部品データ作成方法及び画像処理用部品データ作成システム - Google Patents

Description

本明細書は、複数の同一形状の電極（例えばリード、バンプ、その他の特殊な形状の電極等）が配列された部品をカメラで撮像した画像を処理して前記電極を認識して画像処理用部品データを作成する画像処理用部品データ作成方法及び画像処理用部品データ作成システムに関する技術を開示したものである。

近年、部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを自動作成する技術が開発されている。例えば、特許文献１（特開２００５−１２３３５２号公報）に記載された画像処理用部品データの作成方法は、ＢＧＡ型の部品の下面に格子状に形成されたバンプ（半田電極）の配置パターンをカメラで撮像して、その画像を処理してバンプを認識して、バンプの中心位置、直径、個数、配列ピッチ等を計測して、これらのデータを含む画像処理用部品データを作成するようにしている。

特開２００５−１２３３５２号公報

ところで、部品実装機で実装する部品の電極には、様々な形状の電極がある。例えば、バンプやリードのように、従来から周知の単純な形状の電極は、従来の画像処理技術によっても認識可能であるが、近年、バンプやリードとは形状が全く異なる特殊な形状の電極を持つ部品が使用されることがある。このような特殊な形状の電極は、従来の画像処理技術によっては電極として認識することが困難であったため、特殊な形状の電極を基準とした位置決めや検査処理を行うことが困難であった。

本発明は、部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識工程と、前記電極画像認識工程で認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成工程とを含む、画像処理用部品データ作成方法であって、前記電極画像認識工程は、作業者が表示装置に表示された前記画像の中から前記電極を１個指定する電極指定操作と、前記画像の中から前記電極指定操作で指定された電極と形状が類似する部分を電極として認識する画像処理とを含み、前記部品データ作成工程では、作業者が前記電極指定操作で前記電極を１個指定すると、指定された電極だけでなく、電極として認識された形状が類似する部分の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成するようにしたものである。このようにすれば、複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して各電極を認識する際に、複数の同一形状の電極が特殊な形状の電極であっても、作業者が電極指定操作で電極を１個指定するだけで良く、画像処理により当該特殊な形状の電極の全てを電極として容易に認識することができる。しかも、この電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成するようにしたので、特殊な形状の電極を持つ部品でも、画像処理用部品データを自動作成することができる。

一般に、部品を撮像した画像は、グレースケール画像であるため、前記電極指定操作を行う前に、前記グレースケール画像を２値化処理して２値画像を作成し、前記電極指定操作では、作業者が前記２値画像の中から１個の電極に相当する１個のブロッブ（塊）を指定し、前記画像処理では、前記電極指定操作で指定されたブロッブと形状が類似するブロッブを電極として認識するようにしても良い。

また、作業者が表示装置に表示された前記画像の中から前記電極を１個のみ含む領域を指定する電極指定操作と、前記画像の中から前記電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する画像処理とを含むようにしても良い。

この場合、前記電極を１個のみ含む領域は、作業者が当該電極の一箇所を指定することで、当該電極のサイズに合わせて自動的に作成されるようにしても良いし、或は、前記電極指定操作を行う際に、作業者が前記電極を１個のみ含む領域のサイズを当該電極のサイズに合わせて調整するようにしても良い。電極を１個のみ含む領域が、当該電極のサイズに比べて大き過ぎると、電極周囲の背景の影響によって電極の認識精度が低下する可能性があるためである。

また、前記画像処理を行う前に、作業者が前記画像のうち前記電極を探索する範囲を指定するようにしても良い。このようにすれば、画像のうち、電極が存在しない範囲を探索せずに済み、その分、画像処理時間を短縮できると共に、電極が存在しない範囲で電極を誤認識する可能性を確実に排除でき、電極の認識精度を向上できる。

図１は実施例１の画像処理用部品データ作成システムの構成を示すブロック図である。 図２は実施例１の特殊な形状の電極を持つ部品を下面側から撮像した画像の表示例を示す図である。 図３は実施例１の画像処理結果を示す図である。 図４は実施例２の特殊な形状の電極を持つ部品を撮像したグレースケール画像を２値化処理して作成した２値画像の表示例を示す図である。

以下、３つの実施例１〜３を説明する。

実施例１を図１乃至図３に基づいて説明する。
図１に示すように、画像処理用部品データ作成システムは、画像処理機能を搭載したパーソナルコンピュータ等のコンピュータ１１（画像処理装置）と、画像処理用部品データの作成対象となる部品を撮像してグレースケール画像を取得するＣＭＯＳセンサ等のイメージセンサを内蔵するカメラ１２と、キーボード、マウス、タッチパネル等の入力装置１３と、液晶ディスプレイ、ＣＲＴ等の表示装置１４と、後述する電極画像認識と画像処理用部品データ作成のためのプログラムや各種のデータ等を記憶する記憶装置１５とを備えた構成となっている。

画像処理用部品データ作成システムは、部品実装機の制御システムを利用して構成しても良いし、或は、部品実装機の制御システムとは別に構成した専用の画像処理用部品データ作成システム（例えば卓上撮像装置とパーソナルコンピュータとの組み合わせ）を用いても良い。部品実装機の制御システムを利用して画像処理用部品データ作成システムを構成する場合には、カメラ１２は、部品実装機の吸着ノズルに吸着した部品をその下方から撮像するカメラ（いわゆるパーツカメラ）を使用すれば良い。

部品実装機で実装する部品の電極には、様々な形状の電極がある。例えば、バンプやリードのように、従来から周知の単純な形状の電極は、従来の画像処理技術によっても認識可能であるが、バンプやリードとは形状が全く異なる特殊な形状の電極は、従来の画像処理技術によっては電極として認識することが困難である。

そこで、本実施例では、次のような方法で、特殊な形状の電極を画像認識する。この方法は、バンプやリードの画像認識にも使用できる。
まず、カメラ１２で部品の下面（電極が形成された面）を撮像して、図２に示すように、撮像した部品の画像を表示装置１４に表示する。尚、別の場所のカメラ（例えば部品実装機のパーツカメラ等）で撮像した部品の画像を取得して表示装置１４に表示するようにしても良い。

この後、作業者がマウス等の入力装置１３を操作して、表示装置１４に表示された画像の中から電極を１個のみ含む領域を枠で囲って指定する電極指定操作を行う。この際、電極を１個のみ含む領域は、作業者が当該電極の一箇所をマウスポインタ等で指定することで、当該電極のサイズに合わせて自動的に枠が作成されるようにしても良い。或は、電極指定操作を行う際に、作業者がマウス等の入力装置１３を操作して電極を１個のみ含む領域のサイズ（つまり当該領域を囲う枠のサイズ）を当該電極のサイズに合わせて調整するようにしても良い。電極を１個のみ含む領域が、当該電極のサイズに比べて大き過ぎると、電極周囲の背景の影響によって電極の認識精度が低下する可能性があるためである。

作業者が上述した電極指定操作を完了すると、コンピュータ１１は、画像処理を実行して、表示装置１４に表示した画像の中から電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する。この際、電極指定操作で指定された領域と画像パターンが類似する領域を定量的に評価する指標として、例えば、類似度（又は相違度）を用い、類似度（又は相違度）が所定の判定しきい値以下となる領域を、類似する領域と判定するようにすれば良い。類似度（又は相違度）は、０に近いほど類似性が高いことを示している。この画像処理により、図３に示すように、表示装置１４に表示された画像には、電極指定操作で指定された領域と類似する領域の認識結果が枠で囲まれて表示される。

尚、画像処理を行う前に、作業者が画像のうち電極を探索する範囲を枠で囲って指定するようにしても良い。このようにすれば、画像のうち、電極が存在しない範囲を探索せずに済み、その分、画像処理時間を短縮できると共に、電極が存在しない範囲で電極を誤認識する可能性を確実に排除でき、電極の認識精度を向上できる。
コンピュータ１１は、画像処理後、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つを計測して、その計測データを含む画像処理用部品データを作成する部品データ作成装置としても機能する。

以上説明した本実施例１によれば、作業者が表示装置１４に表示された画像の中から電極を１個のみ含む領域を枠で囲って指定した後、コンピュータ１１が表示装置１４に表示された画像の中から作業者が指定した領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識するようにしたので、特殊な形状の電極であっても、画像処理により当該特殊な形状の電極を電極として容易に認識することができ、当該特殊な形状の電極を基準とした位置決めや検査処理を行うことが可能となる。

次に、図４を用いて実施例２を説明する。但し、上記実施例１と実質的に同じ部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。

本実施例２の電極画像認識方法では、まず、カメラ１２で部品の下面（電極が形成された面）を撮像して、グレースケール画像を取得する。電極指定操作を行う前に、コンピュータ１１は、グレースケール画像を２値化処理して、図４に示すように、２値画像を作成して表示装置１４に表示する。

この後、作業者がマウス等の入力装置１３を操作して、表示装置１４に表示された２値画像の中から１個の電極に相当する１個のブロッブ（塊）をマウスポインタ等で指定する電極指定操作を行う。

作業者が上述した電極指定操作を完了すると、コンピュータ１１は、画像処理を実行して、電極指定操作で指定されたブロッブと形状が類似するブロッブを電極として認識する。この際、電極指定操作で指定されたブロッブと形状が類似するブロッブを定量的に評価する指標として、例えば、類似度（又は相違度）を用い、類似度（又は相違度）が所定の判定しきい値以下となるブロッブを、類似するブロッブと判定するようにすれば良い。
尚、画像処理を行う前に、作業者が画像のうち電極を探索する範囲を枠で囲って指定するようにしても良い。

コンピュータ１１は、画像処理後、ブロッブの位置、個数、配列ピッチ、サイズ等を電極の位置、個数、配列ピッチ、サイズ等として計測して、その計測データを含む画像処理用部品データを作成する。

以上説明した本実施例２においても、前記実施例１と同様の効果を得ることができる。

上述した実施例１又は実施例２の電極画像認識方法で認識した電極の認識結果を用いて作成する画像処理用部品データには、部品のボディサイズ等の部品形状データも含まれる。

一般的な部品は、ボディ形状が矩形状等の単純な形状であるため、従来の画像処理技術によって部品形状データを自動作成することができるが、近年では、複雑な形状の部品や、従来方法では画像処理位置決めが困難な部品や、より自由度の高い位置決め手法が必要な部品が増加する傾向があり、画像処理用部品データのチューニングに時間がかかることが生産性を低下させる原因となる。

また、モジュール基板等の複雑な形状の部品を画像処理する場合、従来の異型部品処理ではシークラインの配置が困難な場合があり、良品であるにも拘らず、画像処理が成功しない場合があった。

そこで、本実施例３では、イメージマッチングという画像処理を採用して、次のようにして部品形状データを自動作成する。
まず、カメラ１２で撮像した良品の部品画像を取得して、その良品の部品画像をテンプレート画像として記憶しておき、認識対象となる部品画像からテンプレート画像を検索して、両画像の最も相関が高い位置で部品の位置決めが完了する。これにより、良品の部品画像と最も一致する座標を認識対象の部品画像から求めることができる。そのため、シークラインの配置等に悩む必要がなく、簡単に部品形状データを作成することができる。

本実施例３のイメージマッチングを用いた部品形状データの作成方法と組み合わせる電極画像認識方法は、実施例１又は実施例２の電極画像認識方法に限定されず、公知のバンプ画像認識方法やリード画像認識方法と組み合わせても良い。これにより、位置決めの基準をボディ基準、特殊形状電極基準、バンプ基準、リード基準の中から任意に設定することができて、部品位置決めの自由度が高まり、より高度な要求に対応できる。

１１…コンピュータ（画像処理装置及び部品データ作成装置）、１２…カメラ、１３…入力装置、１４…表示装置

Claims (9)

1. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、
   複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識工程と、
   前記電極画像認識工程で認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成工程と
   を含む、画像処理用部品データ作成方法であって、
   前記電極画像認識工程は、
   作業者が表示装置に表示された前記画像の中から前記電極を１個指定する電極指定操作と、
   前記画像の中から前記電極指定操作で指定された前記電極と形状が類似する部分を電極として認識する画像処理と
   を含み、
   前記部品データ作成工程では、
   作業者が前記電極指定操作で前記電極を１個指定すると、指定された電極だけでなく、電極として認識された形状が類似する部分の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成方法。
2. 前記部品を撮像した画像は、グレースケール画像であり、
   前記電極指定操作を行う前に、前記グレースケール画像を２値化処理して２値画像を作成し、
   前記電極指定操作では、作業者が前記２値画像の中から１個の電極に相当する１個のブロッブを指定し、
   前記画像処理では、前記電極指定操作で指定されたブロッブと形状が類似するブロッブを電極として認識する、請求項１に記載の画像処理用部品データ作成方法。
3. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、
   複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識工程と、
   前記電極画像認識工程で認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成工程と
   を含む、画像処理用部品データ作成方法であって、
   前記電極画像認識工程は、
   作業者が表示装置に表示された前記画像の中から前記電極を１個のみ含む領域を指定する電極指定操作と、
   前記画像の中から前記電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する画像処理と
   を含み、
   前記部品データ作成工程では、
   作業者が前記電極指定操作で前記電極を１個のみ含む領域を指定すると、指定された領域だけでなく、指定された領域と画像パターンが類似する領域の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成方法。
4. 前記電極を１個のみ含む領域は、作業者が当該電極の一箇所を指定することで、当該電極のサイズに合わせて自動的に作成される、請求項３に記載の画像処理用部品データ作成方法。
5. 前記電極指定操作を行う際に、作業者が前記電極を１個のみ含む領域のサイズを当該電極のサイズに合わせて調整する、請求項３に記載の画像処理用部品データ作成方法。
6. 前記画像処理を行う前に、作業者が前記画像のうち前記電極を探索する範囲を指定する、請求項１乃至５のいずれかに記載の画像処理用部品データ作成方法。
7. 前記電極は、リード、バンプ、これらとは形状が異なる特殊な形状の電極のいずれかである、請求項１乃至６のいずれかに記載の画像処理用部品データ作成方法。
8. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成システムにおいて、
   複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識システムと、
   前記画像を表示する表示装置と、
   作業者が前記画像の中から前記電極を１個指定する電極指定操作を行う入力装置と、
   前記画像の中から前記電極指定操作で指定された電極と形状が類似する部分を電極として認識する画像処理装置と、
   前記電極画像認識システムで認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成装置と
   を含む、画像処理用部品データ作成システムであって、
   前記部品データ作成装置は、作業者が前記電極指定操作で前記電極を１個指定すると、指定された電極だけでなく、電極として認識された形状が類似する部分の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成システム。
9. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成システムにおいて、
   複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識システムと、
   前記画像を表示する表示装置と、
   作業者が前記画像の中から前記電極を１個のみ含む領域を指定する電極指定操作を行う入力装置と、
   前記画像の中から前記電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する画像処理装置と、
   前記電極画像認識システムで認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成装置と
   を含む、画像処理用部品データ作成システムであって、
   前記部品データ作成装置は、作業者が前記電極指定操作で前記電極を１個のみ含む領域を指定すると、指定された領域だけでなく、指定された領域と画像パターンが類似する領域の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成システム。

Images