JP3568835B2

JP3568835B2 - 画像認識装置及び該装置を用いた外観検査装置

Info

Publication number: JP3568835B2
Application number: JP26059399A
Authority: JP
Inventors: 俊雄黒田; 一毅永塚
Original assignee: Anritsu Corp
Current assignee: Anritsu Corp
Priority date: 1999-09-14
Filing date: 1999-09-14
Publication date: 2004-09-22
Anticipated expiration: 2019-09-14
Also published as: JP2001082939A

Description

【０００１】
【発明の属する技術分野】
本発明は、順次搬送されてくる電子部品の端子等を画像認識する画像認識装置及び該装置を用いた外観検査装置に係り、特に、電子部品の端子等の入力画像データを強調処理して電子部品の外観を正確に認識する画像認識装置及び該装置を用いた外観検査装置に関する。
【０００２】
【従来の技術】
電子部品２０（図７においてはリード型電子部品２１）は、図７に示すように、不図示の基板への実装段階において、その本体を上面から吸着ノズル２３で吸着された状態で搬送アーム２４によりＹ方向へ搬送され、電子部品２０の姿勢，外観をＣＣＤカメラやＣＣＤラインセンサ又は変位測定装置等の画像データ入力手段２で下方から視認することができる。
【０００３】
図８（ａ）に示すようなリード端子２１ａが本体の周囲から突出しているリード型電子部品２１は、同図（ｂ）に示すように、搬送時では基板に実装するためにリード端子２１ａが下方に垂れ下がった状態で搬送される。したがって、ＣＣＤカメラ等の画像データ入力手段２で読み取られたリード型電子部品２１の画像データは、例えば同図（ａ）に示す枠内の部分では、同図（ｃ）に示すようなデータとなる。
【０００４】
また、図９（ａ）に示すような、半球状に盛りつけられた複数の半田ボール２２ａを有するボールグリッドアレイ（以下「ＢＧＡ」）型電子部品２２は、同図（ｂ）に示すように、半田ボール２２ａが盛りつけられている面が下方に向けられて搬送される。したがって、ＣＣＤカメラ等の画像データ入力手段２で読み取られたＢＧＡ型電子部品２２の画像データは、例えば同図（ａ）に示す枠内の部分では、同図（ｃ）に示すようなデータとなる。
【０００５】
しかしながら、図８（ｃ）及び図９（ｃ）の画像データにはノイズが含まれているため、各電子部品２０のリード端子２１ａや半田ボール２２ａがどこに位置しているのか認識しにくくなっている。特に半田ボール２２ａが欠落しているか否かが認識しにくくなっている。
【０００６】
また、リード型電子部品２１のリード端子２１ａを抽出する場合、リード端子２１ａの形状に応じたフィルタ処理を行うが、図８に示すリード型電子部品２１のリード端子２１ａはＸ方向とＹ方向に突出しているため、いずれかの方向のリード端子２１ａしか抽出することができない。
【０００７】
【発明が解決しようとする課題】
本発明は、上記欠点を除くためになされたものであって、その目的とするところは、正方行列型の画像強調フィルタを画像データ上で走査することにより、電子部品の向きにかかわらず、電子部品の抽出しようとする部分を認識することにある。
【０００８】
また他の目的は、画像強調フィルタの次元を、前記電子部品の抽出しようとする部分の短径に対応する画素数の次元に設定することにより、電子部品の抽出しようとする部分のみを強調させることにある。
【０００９】
更に他の目的は、強調処理後の画像データの各画素を強調処理後の画像データに対する基準値と比較して電子部品の外形を検出することにより、画像データに含まれているノイズを除去して検査対象となる電子部品の外形を把握することにある。
【００１０】
また他の目的は、基準となる電子部品の基準画像データを予め記憶しておき、検出された電子部品の外形の画像データを２値化処理して、基準となる電子部品の外形データと２値化手段で２値化された電子部品の外形の画像データと比較して一致するか否かを判別することにより、効率よく電子部品を良品か否かを判別することにある。
【００１１】
【課題を解決するための手段】
要するに、本発明の請求項１記載の画像認識装置は、電子部品の画像を輝度又は距離情報の画像データとして入力する画像データ入力手段と、
前記画像データ上で走査される正方行列型の画像強調フィルタと、
該画像強調フィルタの次元を、前記電子部品の抽出しようとする部分の短径に対応する画素数の次元に設定するフィルタ設定手段と、
前記画像強調フィルタに基づいて前記画像データを演算処理する演算手段と、
強調処理後の画像データを格納保持する記憶手段と、
を具備することを特徴とする。
【００１２】
また、本発明の請求項２記載の画像認識装置は、請求項１記載の画像認識装置において、前記演算手段は、前記画像強調フィルタの各係数と該画像強調フィルタで走査された部分の画像データの各画素値とをそれぞれ乗算し、乗算された各値を合計して１画素分の画像データとすることを特徴とする。
【００１３】
更に、請求項３記載の画像認識装置は、請求項１又は２記載の画像認識装置において、前記画像強調フィルタは、各係数がすべて２以上の同一値からなる正方行列型フィルタであることを特徴とする。
【００１４】
また、請求項４記載の画像認識装置は、請求項１又は２記載の画像認識装置において、前記画像強調フィルタは、各係数がすべて２以上の同一値からなる正方行列部分を有し、該正方行列部分を囲む各係数がすべて１以下の同一値からなる正方行列型フィルタであることを特徴とする。
【００１５】
更に、請求項５記載の画像認識装置は、請求項４記載の画像認識装置において、前記正方行列部分の各係数の合計値と前記正方行列部分を囲む各係数の合計値との和が零であることを特徴とする。
【００１６】
また、請求項６記載の外観検査装置は、請求項１〜５のいずれかに記載の画像認識装置と、
前記強調処理後の画像データに対する基準値が設定されており、前記強調処理後の画像データの各画素を前記基準値と比較して前記電子部品の外形を検出する検出手段と、
を具備することを特徴とする。
【００１７】
更に、請求項７記載の外観検査装置は、請求項６記載の外観検査装置において、基準となる電子部品の基準画像データが予め記憶されている基準外形記憶手段と、
前記検出手段により検出された電子部品の外形の画像データを２値化処理する２値化手段と、
前記基準外形記憶手段から前記基準画像データを読み出し、前記２値化手段で２値化された電子部品の外形の画像データと比較して一致するか否かを判別する判別手段と、
を具備することを特徴とする。
【００１８】
入力された画像データは縮小される。縮小された画像データは、画像強調フィルタにより走査されて、演算処理される。演算処理された画像データは記憶手段に格納保持される。
【００１９】
記憶手段に格納保持されている画像データを検出手段に読み出され、所定の基準値と比較されて、電子部品の外形が検出される。また、基準値を基準として画像データを２値化し、判別手段に送出する。基準外形記憶手段には、基準となる電子部品の外形を示す２値化された基準画像データが記憶されており、この基準画像データを読み出して検査対象の画像データと基準画像データとが一致するか否かを比較し、電子部品が良品か否かを判別する。
【００２０】
【発明の実施の形態】
図１は本発明の電子部品認識装置１の実施の形態を示すブロック図である。電子部品認識装置１は、画像データ入力手段２と縮小手段３と記憶手段４と演算手段５とフィルタ設定手段６とで構成されている。
【００２１】
画像データ入力手段２は、電子部品２０を輝度情報として読み取るＣＣＤカメラ若しくはＣＣＤラインセンサ又は距離情報として読み取る変位測定装置等で構成されており、搬送されてくる電子部品２０の画像を背面から撮像し、１５００画素×１５００画素の輝度情報又は距離情報からなる画像データを得る。縮小手段３は、１５００画素×１５００画素の画像データを例えば２００画素×２００画素の画像データに縮小処理する。縮小処理された画像データはＲＡＭ等の記憶手段４に記憶される。
【００２２】
演算手段５には画像強調フィルタＦが記憶されており、記憶手段３に格納保持されている入力画像データを読み出して、画像強調フィルタＦを用いて演算処理をする。図２（ａ）に示すように、画像強調フィルタＦは、例えば２画素×２画素の正方行列型のフィルタＦ１である。この画像強調フィルタＦ１の各係数は、すべて「２」に設定されている。
【００２３】
フィルタ設定手段６は、画像強調フィルタＦの行列の次元を、電子部品２０の抽出しようとする部分、例えばリード型電子部品２１のリード端子２１ａの短径又はＢＧＡ型電子部品２２の半田ボール２２ａの短径、即ち直径に対応する画素数の次元に設定する。例えば、図２（ｂ）に示すように、リード端子２１ａの短径に含まれる画素数が２であれば、画像強調フィルタＦ１の行列を２次元の正方行列に設定される。
【００２４】
次に、本実施の形態の作用について説明する。まず、図７に示すように、リード型電子部品２１を搬送アーム２４に装着してＹ方向に搬送する。リード型電子部品２１がＣＣＤカメラ等の画像データ入力手段２上に搬送されると、輝度情報や距離情報の画像データが読み取られる。読み取られた画像データは、記憶手段４に格納保持される。
【００２５】
格納保持された画像データは縮小手段３により縮小処理され、記憶手段４に格納保持される。縮小処理された画像データは、演算手段５に記憶されている画像強調フィルタＦ１により演算処理される。例えば、図２（ａ）の画像強調フィルタＦ１を用いて図８（ｃ）の画像データを演算処理する場合、図３（ａ）に示すような演算処理により、重複した画素ごとに乗算され、同図（ｂ）に示すように、乗算された各値を合計して１画素分の画像データにして記憶手段４に格納保持される。次に、画像強調フィルタＦ１をシフトして同様に演算処理をする。この演算処理により、同図（ｃ）に示すような強調処理後の画像データが得られる。また、ＢＧＡ型電子部品２２を搬送して、図９（ｃ）の画像データを演算処理する場合、図６（ａ）に示すような画像データが得られる。
【００２６】
この画像強調フィルタＦ１を用いると、図２（ｂ）〜（ｄ）に示すように、抽出しようとするリード型電子部品２１のリード端子２１ａの突出方向が異なっていても、画像強調フィルタＦ１がリード端子２１ａの短径に含まれていることがわかる。また、同図（ｅ）に示すように、ＢＧＡ型電子部品２２の場合であっても、正方行列部分Ｆ２ａが半田ボール２２ａの短径である直径に含まれていることがわかる。
【００２７】
上記実施の形態では、図２（ａ）に示すような２次元の正方行列型の画像強調フィルタＦ１を用いたが、抽出しようとする部分の短径が含まれる最大画素数を次元とする正方行列型フィルタであればよい。また、フィルタ係数は２以上の同一値であればよい。
【００２８】
次に、図４（ａ）に示す画像強調フィルタＦ２を用いた場合について説明する。この画像強調フィルタＦ２は、各係数がすべて３からなる正方行列部分Ｆ２ａを有し、この正方行列部分Ｆ２ａを囲む各係数がすべて−１からなる正方行列型フィルタである。正方行列部分Ｆ２ａの次元は、抽出しようとする部分、例えばリード型電子部品２１のリード端子２１ａの短径又はＢＧＡ型電子部品２２の半田ボール２２ａの直径に含まれる最大画素数となるように、フィルタ設定手段６により設定されている。
【００２９】
この画像強調フィルタＦ２を用いた演算処理内容について説明する。上記第一実施の形態と同様、図５（ａ）に示すように、重複した画素ごとに乗算され、同図（ｂ）に示すように、乗算された各値を合計して１画素分の画像データにして記憶手段４に格納保持する。次に、画像強調フィルタＦ２をシフトして同様に演算処理をする。この演算処理により、同図（ｃ）に示すような強調処理後の画像データが得られる。図３（ｃ）に示す第一実施の形態の演算処理後の画像データと比較すると、抽出しようとするリード端子２１ａが正の値で強調されている反面、正方行列部分をすべて−１からなる係数で囲んでいるため、リード端子２１ａの輪郭部分が負の値で強調されている。また、ＢＧＡ型電子部品２２を搬送して、図９（ｃ）の画像データを演算処理する場合、図６（ｂ）に示すような画像データが得られる。
【００３０】
この画像強調フィルタＦ２を用いると、図４（ｂ）〜（ｄ）に示すように、抽出しようとするリード型電子部品２１のリード端子２１ａの突出方向が異なっていても、画像強調フィルタＦ２の正方行列部分Ｆ２ａがリード端子２１ａの短径に含まれていることがわかる。また、同図（ｅ）に示すように、ＢＧＡ型電子部品２２の場合であっても、正方行列部分Ｆ２ａが半田ボール２２ａの短径である直径に含まれていることがわかる。
【００３１】
なお、画像強調フィルタＦ２の正方行列部分Ｆ２ａは、各係数がすべて２以上の同一値であれば、上記のように「３」に限定されることはない。また、正方行列部分を囲む各係数についてもすべて１以下の同一値であれば、上記のように「−１」に限定されることはない。
【００３２】
また、特に正方行列部分Ｆ２ａの各係数の合計値と正方行列部分Ｆ２ａを囲む各係数の合計値との和が零となるように、フィルタ設定手段６により係数を設定すると、入力画像データの画素値が同一値で配列されている部分、例えば電子部品２０の本体の画像データは、強調処理後において「０」となり、リード端子２１ａ及び半田ボール２２ａが強調されることとなる。
【００３３】
次に、上記画像認識装置１を用いた外観検査装置１０の第１実施の形態について説明する。図１に示すように、外観検査装置１０は、上記画像認識装置１と検出手段１１とで構成されている。
【００３４】
検出手段１１には、強調処理後の画像データに対する基準値が設定されており、強調処理後の画像データの各画素をその基準値と比較して電子部品２０の外形を検出する。
【００３５】
次に、本実施の形態の作用について説明する。画像認識装置１により強調処理されたリード端子２１ａの画像データは、記憶手段４に格納保持されている。この強調処理後の画像データは検出手段１１に読み出され、各画素ごとに基準値と比較される。例えば、画像強調フィルタＦ１を走査した場合、基準値を３００と設定すると、図３（ｃ）に示す強調処理後の画像データは、長方形の枠で囲まれた「３９２」，「３１２」の部分が抽出されることとなる。これにより基準値より高い画像データのみが出力され、リード端子２１ａの外形が検出される。また、画像強調フィルタＦ２を走査した場合、基準値を１５０と設定すると、図５（ｃ）に示す強調処理後の画像データは、長方形の枠で囲まれた「３３６」，「１６４」の部分が抽出されることとなる。これにより基準値より高い画像データのみが出力され、画像データに含まれているノイズが除去され、リード端子２１ａの外形が検出される。
【００３６】
また、半田ボール２２ａの画像データを読みだしたとき、画像強調フィルタＦ１を走査した場合、基準値を３００と設定すると、図６（ａ）に示す強調処理後の画像データは、正方形の枠で囲まれた「３２０」，「３１２」の部分が抽出されることとなる。これにより基準値より高い画像データのみが出力され、半田ボール２２ａの外形が検出される。また、画像強調フィルタＦ２を走査した場合、基準値を１５０と設定すると、図５（ｃ）に示す強調処理後の画像データは、正方形の枠で囲まれた「３３８」，「３６１」，「３５２」，「３４８」の部分が抽出されることとなる。これにより基準値より高い画像データのみが出力され、画像データに含まれているノイズが除去され、半田ボール２２ａの外形が検出される。
【００３７】
次に外観検査装置の第二実施の形態について説明する。図１に示すように、第二実施の形態では、更に、２値化手段１２と判別手段１３と基準外形記憶手段１４を設けられている。２値化手段１２は、検出手段１３で設定されている基準値よりも大きい画像データを「１」とし、基準値以下の画像データを「０」とする。基準外形記憶手段１４には、検査しようとする電子部品２０の基準となる外形の２値化された基準画像データが記憶されている。判別手段１３は、２値化手段１２で２値化された画像データと、基準画像データとに基づいて判別を行う。
【００３８】
次に本実施の形態の作用について説明する。画像認識装置１により強調処理されたリード端子２１ａ又は半田ボール２２ａの画像データは、記憶手段４に格納保持されている。この強調処理後の画像データは検出手段１１に読み出され、各画素ごとに基準値と比較される。画像データは２値化処理手段１２に出力され、基準値よりも大きい画像データは「１」に変換され、基準値以下の画像データは「０」に変換される。
【００３９】
２値化処理手段１２で２値化された画像データは判別手段１３に出力される。そして、基準外形記憶手段１４から基準となる電子部品２２の外形の２値化された基準画像データを読み出し、検査対象の画像データと比較する。同じ位置の検査対象の画像データと基準画像データが同一値である画素に関しては、検査対象のリード端子２１ａと基準となるリード端子とが一致していることとなる。一方、同一値でない部分に関しては、基準外形と一致しておらず、リード端子２１ａが曲がっていることとなる。また半田ボール２２ａについても同様で、同じ位置の検査対象の画像データと基準画像データが同一値である画素に関しては、検査対象の半田ボール２２ａと基準となる半田ボールとが一致していることとなる。一方、同一値でない部分に関しては、基準外形と一致しておらず、半田ボール２２ａの配列がずれているか、半田ボール２２ａが欠落していることとなる。
【００４０】
判別手段１３では一致していないリード端子の画像のずれ量を画素数単位でカウントし、設定された値以下の場合は良品と判別して、設定された値よりも大きくなった場合は不良品と判別する。
【００４１】
【発明の効果】
正方行列型の画像強調フィルタを画像データ上で走査することにより、電子部品の向きにかかわらず、電子部品の抽出しようとする部分を認識することができる。
【００４２】
また、画像強調フィルタの次元を、前記電子部品の抽出しようとする部分の短径に対応する画素数の次元に設定することにより、電子部品の抽出しようとする部分のみを強調させることができる。
【００４３】
さらに、強調処理後の画像データの各画素を強調処理後の画像データに対する基準値と比較して電子部品の外形を検出することにより、画像データに含まれているノイズを除去して、検査対象となる電子部品の外形を把握することができる。
【００４４】
また、基準となる電子部品の基準画像データを予め記憶しておき、検出された電子部品の外形の画像データを２値化処理して、基準となる電子部品の外形データと２値化手段で２値化された電子部品の外形の画像データと比較して一致するか否かを判別することにより、効率よく電子部品を良品か否かを判別することができる。
【図面の簡単な説明】
【図１】本発明による画像認識装置及び該装値を用いた外観検査装置のブロック図である。
【図２】本発明による画像認識装置の第一実施の形態における画像強調フィルタ及び画像強調フィルタの実例を示す図である。
【図３】本発明による画像認識装置の第一実施の形態における演算手段の処理内容及び処理結果を示す図である。
【図４】本発明による画像認識装置の第二実施の形態における画像強調フィルタ及び画像強調フィルタの実例を示す図である。
【図５】本発明による画像認識装置の第二実施の形態における演算手段の処理内容及び処理結果を示す図である。
【図６】本発明による画像認識装置の第一及び第二実施の形態における、ＢＧＡ型電子部品の演算手段の処理結果を示す図である。
【図７】電子部品の搬送段階を示す概略図である
【図８】リード型電子部品の外形及び画像データを示す図である。
【図９】ＢＧＡ型電子部品の外形及び画像データを示す図である。
【符号の説明】
１…画像認識装置、２…画像データ入力手段、４…記憶手段、５…演算手段、６…フィルタ設定手段、１０…外観検査装置、１１…検出手段、１２…２値化手段、１３…判別手段、１４…基準外形記憶手段、２０…電子部品、２１ａ，２２ａ…電子部品の抽出しようとする部分（リード端子，半田ボール）、Ｆ…画像強調フィルタ、Ｆ２ａ…正方行列部分

Claims

電子部品（２０）の画像を輝度又は距離情報の画像データとして入力する画像データ入力手段（２）と、
前記画像データ上で走査される正方行列型の画像強調フィルタ（Ｆ）と、
該画像強調フィルタの次元を、前記電子部品の抽出しようとする部分（２１ａ，２２ａ）の短径に対応する画素数の次元に設定するフィルタ設定手段（６）と、
前記画像強調フィルタに基づいて前記画像データを演算処理する演算手段（５）と、
強調処理後の画像データを格納保持する記憶手段（４）と、
を具備することを特徴とする画像認識装置。
前記演算手段は、前記画像強調フィルタの各係数と該画像強調フィルタで走査された部分の画像データの各画素値とをそれぞれ乗算し、乗算された各値を合計して１画素分の画像データとすることを特徴とする請求項１記載の画像認識装置。
前記画像強調フィルタは、各係数がすべて２以上の同一値からなる正方行列型フィルタ（Ｆ１）であることを特徴とする請求項１又は２記載の画像認識装置。
前記画像強調フィルタは、各係数がすべて２以上の同一値からなる正方行列部分（Ｆ２ａ）を有し、該正方行列部分を囲む各係数がすべて１以下の同一値からなる正方行列型フィルタ（Ｆ２）であることを特徴とする請求項１又は２記載の画像認識装置。
前記正方行列部分の各係数の合計値と前記正方行列部分を囲む各係数の合計値との和が零であることを特徴とする請求項４記載の画像認識装置。
請求項１〜５のいずれかに記載の画像認識装置（１）と、
前記強調処理後の画像データに対する基準値が設定されており、前記強調処理後の画像データの各画素を前記基準値と比較して前記電子部品の外形を検出する検出手段（１１）と、
を具備することを特徴とする外観検査装置。
基準となる電子部品の基準画像データが予め記憶されている基準外形記憶手段（１４）と、
前記検出手段により検出された電子部品の外形の画像データを２値化処理する２値化手段（１２）と、
前記基準外形記憶手段から前記基準画像データを読み出し、前記２値化手段で２値化された電子部品の外形の画像データと比較して一致するか否かを判別する判別手段（１３）と、
を具備することを特徴とする請求項６記載の外観検査装置。