JP3680578B2 - 画像認識方法および検査方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電子部品などの認識対象物を撮像して画像認識することにより、電子部品の形状や方向を認識する画像認識方法および検査方法に関するものである。
【０００２】
【従来の技術】
電子部品の基板への実装に際して、搭載ヘッドに保持された電子部品を画像認識して位置ずれを検出し、この位置ずれを補正した上で基板に搭載することが一般的に行われている。この位置ずれ検出においては、電子部品を撮像した画像データを画像処理することにより電子部品の輪郭線を抽出し、この輪郭線に基づいて電子部品の形状や水平面内での傾きの方向などを求める演算処理が行われる。このような画像認識による電子部品の形状や方向の検出方法として特開平６−１１３２６号公報に開示されている方法が知られている。この方法は、２値化処理した画像から得られた輪郭線上に設定されたベクトルの傾きの分布を求めることにより、電子部品の画面上での方向を検出するものである。
【０００３】
【発明が解決しようとする課題】
上記方法では、求められた傾き分布から電子部品の方向を検出する方法として、傾き分布を示す角度ヒストグラムのピークに対応する角度を検出する方法が用いられていた。ところが、電子部品の小型化に伴い、電子部品のサイズに対する画素サイズの相対的な割合が大きくなり、この結果画像処理時の分解能が低下する。このため小型の電子部品を対象とする場合には角度ヒストグラムのピークを精度よく特定することが困難な場合が発生し、認識精度が低下するという問題点があった。
【０００４】
そこで本発明は、良好な認識精度を確保することができる画像認識方法および検査方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１記載の画像認識方法は、認識対象物の像をカメラに取り込み、この像の輪郭線を抽出するステップと、上記輪郭線上のある２つの点に始点および終点を有するベクトルを設定し、前記２点を前記輪郭線に沿って所定の距離づつシフトさせることにより、前記輪郭線についての前記ベクトルの傾きデータを求めて傾き分布を示す角度ヒストグラムを作成するステップと、この角度ヒストグラムを前記認識対象物が基準状態にあるときに撮像して得られた画像の輪郭線から求められた角度ヒストグラムであるリファレンスヒストグラムと比較するステップと、この比較結果に基づいて前記認識対象物の水平面内での傾きを検出するステップとを含み、前記角度ヒストグラムとリファレンスヒストグラムを比較するステップは、両ヒストグラムのずれを示す位相角θを変えながら両ヒストグラムの一致度を計算して最大一致度を与える位相角θを求めるものであり、この処理は−９０°＜θ≦９０°の範囲の全てで行う。
【０００６】
請求項２記載の検査方法は、認識対象物の像をカメラに取り込み、この像の輪郭線を抽出するステップと、上記輪郭線上のある２つの点に始点および終点を有するベクトルを設定し、前記２点を前記輪郭線に沿って所定の距離づつシフトさせることにより、前記輪郭線についての前記ベクトルの傾きデータを求めて傾き分布を示す角度ヒストグラムを作成するステップと、この角度ヒストグラムを前記認識対象物が基準状態にあるときに撮像して得られた画像の輪郭線から求められた角度ヒストグラムであるリファレンスヒストグラムと比較するステップと、この比較結果に基づいて前記認識対象物の形状を検査するステップとを含み、前記角度ヒストグラムとリファレンスヒストグラムを比較するステップは、両ヒストグラムのずれを示す位相角θを変えながら両ヒストグラムの一致度を計算して最大一致度を与える位相角θを求めるものであり、この処理は−９０°＜θ≦９０°の範囲の全てで行う。
【０００７】
各請求項記載の発明によれば、認識対象物が基準状態にあるときに撮像して得られた画像の輪郭線上のベクトルの傾き分布を示すリファレンスプログラムと、撮像データにより得られた角度ヒストグラムとを比較することにより、撮像によって求められた角度ヒストグラムのピーク形状が不明瞭となりやすい小型の電子部品についても、両ヒストグラムの位相のずれを精度よく検出して、認識対象物の傾き角度を良好な精度で求めることができ、さらに認識対象物の形状不良をも検査することができる。
【０００８】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態の電子部品の実装装置の斜視図、図２同角度ヒストグラム作成方法のフロー図、図３は同電子部品の画像図、図４は同電子部品の拡大画像図、図５（ａ）は同輪郭線の角度ヒストグラムを示すグラフ、図５（ｂ）は同電子部品の画像図、図６は同画像認識方法のフロー図である。
【０００９】
まず図１を参照して、本発明の画像認識装置が組み込まれた電子部品の実装装置について説明する。図１において、移載ヘッド３は移載ヘッド移動制御手段１４によって水平方向及び垂直方向に移動するようになっている。移載ヘッド３の下端部には吸着ノズルＮが装着されており、図示しない吸引手段によって吸着ノズルＮから真空吸引することにより、認識対象物である多角形状（矩形）の電子部品４を吸着して保持する。吸着ノズルＮは移載ヘッド３に内蔵されたモータＭにより吸着ノズルＮの中心軸線を中心にθ方向に回転する。また吸着ノズルＮには円板状の反射板３ａが同軸的に設けられており、下方の光源２からの照明光を反射する。移載ヘッド３の下方にはカメラ１が配設されており、反射板３ａの下方に位置する電子部品４を透過照明光により撮像する。
【００１０】
カメラ１の側方にはパーツフィーダ１２が配設されている。パーツフィーダ１２は電子部品４を供給する。パーツフィーダ１２の反対側には基板保持テーブル１１が配設されており、基板保持テーブル１１上には表面に回路パターンＬが形成された基板１０が保持されている。電子部品４は、パーツフィーダ１２から移載ヘッド３によってピックアップされ、基板１０に実装される。
【００１１】
Ａ／Ｄ変換器５はカメラ１の画像信号をデジタル信号に変換する。フレームメモリ６は、変換されたデジタル画像信号を記憶する。ＲＯＭ８は、各種処理を行うためのプログラムを記憶する。ＣＰＵ７はＲＯＭ８に記憶されたプログラムに従って画像処理などの各種の演算や処理を行う。ＲＡＭ９には演算結果が記憶され、後述するベクトルの傾き角度分布を格納する傾き分布格納領域９ａが設けられている。傾き分布格納領域９ａには、−９０度から＋９０度の範囲で各角度毎に頻度メモリＳＵＭ（−９０）〜ＳＵＭ（９０）が設定されており、頻度メモリには各ベクトルの傾き角度データが角度毎に累積格納される。
【００１２】
駆動回路１３は吸着ノズルＮを回転させるモータＭを駆動する。マシンコントローラ１５は駆動回路１３および移載ヘッド移動制御手段１４を制御し、ＣＰＵ７によって制御される。カメラ１によって電子部品４を撮像してその位置をＣＰＵ７によって認識し、この位置認識結果に基づいて、駆動回路１３および移載ヘッド移動制御手段１４を制御することにより、電子部品４の位置ずれを補正して基板１０に実装することができる。
【００１３】
次に電子部品４の画像認識に用いられる角度ヒストグラムについて説明する。角度ヒストグラムは、電子部品を撮像して求められた画像の輪郭線上でに設定されるベクトルの傾き分布を示すものであり、この傾き分布に基づいて電子部品の傾き角度が特定される。以下、図２のフローを参照して角度ヒストグラムの作成方法を説明する。まず図１において、カメラ１の視野に検査対象物の電子部品４の像を取り込み、Ａ／Ｄ変換器５により画像データをデジタル化してフレームメモリ６に格納する（ＳＴ１）。これにより、図３に示すように、電子部品４の画像が取り込まれる。電子部品４は多角形状であり、画像上では点Ａ、Ｂ、Ｃ、Ｄを頂点とする矩形状の暗像として表れており、長辺ＡＢ、ＣＤの方向はＸ軸に対して角度αだけ傾いている。
【００１４】
次に、この画像データに基づいて、電子部品４の輪郭線を抽出する（ＳＴ２）。この輪郭線抽出は画像処理技術分野における周知技術である。次いで、これらの輪郭線のデータから輪郭線上の２点に始点および終点を有するベクトルを設定し、これらの各ベクトルの傾きデータを求める（ＳＴ３）。このベクトルの傾きについて図４を参照して説明する。
【００１５】
図４において、画像内の格子で囲まれた正方形は画素を示しており、ハッチングが施された画素は、ＳＴ２にて求められた輪郭線に相当する。まず輪郭線上のある画素Ｐｉに着目して、この画素Ｐｉを始点とし、この始点から輪郭線に沿って右方向又は上方向に定数ｎ画素分（例えばｎ＝５）だけ移動した位置にある画素Ｐｉ＋ｎを終点とするベクトルＳｉを設定する。そしてこのベクトルＳｉの傾きθｉをＸ軸に対して反時計方向を正の方向とする角度として求める。
【００１６】
次に輪郭線に沿ってベクトルＳｉの始点・終点の位置をそれぞれ所定距離、すなわち所定画素数（ここでは１画素）だけシフトさせたものをベクトルＳｉ＋１とする。そしてベクトルＳｉ＋１とＸ軸との角度θｉ＋１を求める。以下同様にして順次輪郭線に沿ってベクトルＳの始点・終点をシフトさせることにより、ほぼ同一の絶対値を有するベクトルＳが輪郭線上に設定され、各ベクトルＳの傾きθが求められる。図４から判るように、同一辺を示す輪郭線上のベクトルであっても、画素を最小要素として求められた傾きθは必ずしも同一角度とはならない。
【００１７】
そしてこのようにして求められたベクトルの傾きθに対応する頻度メモリＳＵＭ（−９０）〜ＳＵＭ（９０）の値を加算していく事により、輪郭線上で確定される全てのベクトルの傾きの分布を示す角度ヒストグラムを作成する（ＳＴ４）。図５（ａ）はこのようにして求められた角度ヒストグラムを示すものである。図５（ａ）のヒストグラムには、２つのピーク２１，２２が現れている。ピーク２１は、図５（ｂ）に示す線分ＣＤ上に設定された多数のベクトルによって、角度αを中心とする位置に現れており、同様にピーク２２は線分ＢＣ上に設定されたベクトル群を示すものであり、角度−（９０−α）を中心とする位置に表れている。
【００１８】
次に、角度ヒストグラムに基づいて電子部品４の傾きを求める（ＳＴ５）。図５から判るように、画像上の線分が長い程、ヒストグラム上に現れるピークは高くなり、また電子部品４が矩形状であることと対応して、各ピークはそれぞれ９０度づつずれた位置に現れている。すなわちヒストグラム上でピーク位置に対応する角度位置を、頻度メモリの数値データをＣＰＵ７で解析して求めることにより、電子部品４の傾き、すなわち長手方向の角度を求めることができる。
【００１９】
ここで、リファレンスヒストグラムについて説明する。リファレンスヒストグラムは電子部品４の傾き角度を求める際の基準となる角度ヒストグラム、すなわち電子部品４が基準状態、例えば傾き角度０（図３においてα＝０）でノズルＮに保持されているような状態にあるときに撮像された画像データから求められた角度ヒストグラムである。図６はリファレンスヒストグラムを示しており、図５（ａ）においてα＝０としたものに相当する。
【００２０】
次に電子部品４の実装時の画像認識について、図６のフローを参照して説明する。まず、認識対象となる電子部品４のリファレンスヒストグラムを作成する（ＳＴ１１）。このリファレンスヒストグラムはＲＯＭ８に記憶される。次に、電子部品４の実装作業が開始され、カメラ１による電子部品４が撮像され、画像の取り込みが行われる（ＳＴ１２）。そして前述の角度ヒストグラム作成のステップに従って撮像により得られた画像データから角度ヒストグラムを作成する（ＳＴ１３）。
【００２１】
次に、以下の手順で撮像により求められた角度ヒストグラムをリファレンスヒストグラムと比較し、得られた比較結果に基づいて電子部品の水平面内での傾きを検出する。この処理は、角度ヒストグラムをリファレンスヒストグラム上に重ねて、順次両ヒストグラムのずれを示す位相角θを変えながら両ヒストグラムの一致度Ｒを計算して最大一致度を与える位相角θを求めるものであり、この処理は−９０°＜θ≦９０°の範囲の全てで行われる。
【００２２】
そして位相角θに移動ピッチ角度Δθを加えて新たに位相角θとし（ＳＴ１９）、ＳＴ１４に戻って同様の処理を繰り返す。すなわち、この新たな位相角θだけ角度ヒストグラムを移動させた状態で再び一致度Ｒを計算し、この新たな一致度Ｒを記憶されている最大一致度Ｒｍａｘと比較して新たな一致度Ｒが最大一致度Ｒｍａｘよりも大きいならば、最大一致度Ｒｍａｘおよび位相角θｍを更新する。この演算処理を−９０°＜θ≦９０°の全ての範囲で実行することにより、最終的に最大一致度Ｒｍａｘを与える角度θｍ、すなわちリファレンスヒストグラムと角度ヒストグラムの位相のずれ角度が特定され、そしてこの角度θｍが、電子部品４の傾き角度αとして最終的に出力される（ＳＴ２０）。
【００２３】
このようにして、撮像によって求められた角度ヒストグラムとリファレンスヒストグラムとの一致度に基づいて両ヒストグラムの位相のずれを検出し、この位相のずれを以て傾き角度αとすることにより、角度ヒストグラムのピーク形状が不明瞭となりやすい小型の電子部品についても、ピーク位置のみに依存することなくヒストグラム全体の一致度に基づくことにより精度よく傾き角度αを求めることができる。
【００２４】
また、本発明によれば、角度ヒストグラムのピーク高さには認識対象物の各辺の長さが反映されていることから、傾き角度のみならず認識対象物の形状不良の有無を同時に判定することができる。すなわち、角度ヒストグラムをリファレンスヒストグラムと比較し、比較結果である最大一致度が所定のしきい値に満たない場合には、電子部品の寸法異常などの形状そのものの不良と判定して形状不良の報知を出力させるようにすることにより、長手方向の検出と形状の検査を兼ねさせることができる。
【００２５】
【発明の効果】
本発明によれば、認識対象物が基準状態にあるときに撮像して得られたの輪郭線上のベクトルの傾き分布を示すリファレンスプログラムと、撮像データにより得られた角度ヒストグラムとを比較するようにしたので、撮像によって求められた角度ヒストグラムのピーク形状が不明瞭となりやすい小型の電子部品についても、両ヒストグラムの位相のずれを精度よく検出して、認識対象物の傾き角度を良好な精度で求めることができ、さらに認識対象物の形状不良をも検査することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の電子部品の実装装置の斜視図
【図２】本発明の一実施の形態の角度ヒストグラム作成方法のフロー図
【図３】本発明の一実施の形態の電子部品の画像図
【図４】本発明の一実施の形態の電子部品の拡大画像図
【図５】（ａ）本発明の一実施の形態の輪郭線の角度ヒストグラムを示すグラフ
（ｂ）本発明の一実施の形態の電子部品の画像図
【図６】本発明の一実施の形態の画像認識方法のフロー図
【符号の説明】
１ カメラ
３ 移載ヘッド
４ 電子部品
７ ＣＰＵ
９ ＲＡＭ
９ａ 傾き分布格納領域

Claims (2)

1. 認識対象物の像をカメラに取り込み、この像の輪郭線を抽出するステップと、上記輪郭線上のある２つの点に始点および終点を有するベクトルを設定し、前記２点を前記輪郭線に沿って所定の距離づつシフトさせることにより、前記輪郭線についての前記ベクトルの傾きデータを求めて傾き分布を示す角度ヒストグラムを作成するステップと、この角度ヒストグラムを前記認識対象物が基準状態にあるときに撮像して得られた画像の輪郭線から求められた角度ヒストグラムであるリファレンスヒストグラムと比較するステップと、この比較結果に基づいて前記認識対象物の水平面内での傾きを検出するステップとを含み、
   前記角度ヒストグラムとリファレンスヒストグラムを比較するステップは、両ヒストグラムのずれを示す位相角θを変えながら両ヒストグラムの一致度を計算して最大一致度を与える位相角θを求めるものであり、この処理は−９０°＜θ≦９０°の範囲の全てで行うことを特徴とする画像認識方法。
2. 認識対象物の像をカメラに取り込み、この像の輪郭線を抽出するステップと、上記輪郭線上のある２つの点に始点および終点を有するベクトルを設定し、前記２点を前記輪郭線に沿って所定の距離づつシフトさせることにより、前記輪郭線についての前記ベクトルの傾きデータを求めて傾き分布を示す角度ヒストグラムを作成するステップと、この角度ヒストグラムを前記認識対象物が基準状態にあるときに撮像して得られた画像の輪郭線から求められた角度ヒストグラムであるリファレンスヒストグラムと比較するステップと、この比較結果に基づいて前記認識対象物の形状を検査するステップとを含み、
   前記角度ヒストグラムとリファレンスヒストグラムを比較するステップは、両ヒストグラムのずれを示す位相角θを変えながら両ヒストグラムの一致度を計算して最大一致度を与える位相角θを求めるものであり、この処理は−９０°＜θ≦９０°の範囲の全てで行うことを特徴とする検査方法。

Images