JP3765888B2 - 部品の位置検出方法 - Google Patents
部品の位置検出方法 Download PDFInfo
- Publication number
- JP3765888B2 JP3765888B2 JP26804496A JP26804496A JP3765888B2 JP 3765888 B2 JP3765888 B2 JP 3765888B2 JP 26804496 A JP26804496 A JP 26804496A JP 26804496 A JP26804496 A JP 26804496A JP 3765888 B2 JP3765888 B2 JP 3765888B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- matching
- window
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Supply And Installment Of Electrical Components (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、部品の位置検出方法、更に詳細には、チップマウンタで搭載される電子部品等の部品が吸着されて装着基板に搬送されるとき、吸着時の位置ずれを検出するための部品の位置検出方法に関する。
【０００２】
【従来の技術】
従来より、チップマウンタでは、対象物、例えばＩＣチップ部品等の電子部品（以下単に部品という）を吸着する吸着ノズルを備えた吸着ヘッドが設けられており、フィーダから供給される部品が吸着ノズルにより吸着され、回路基板上に移送、搭載されている。通常部品は、必ずしも正しい姿勢で吸着されるわけではないので、部品の吸着姿勢がＣＣＤカメラ等の撮像装置により撮像され、部品の画像認識が行なわれ、この画像認識に基づき得られる部品の吸着ノズルの中心位置からのずれ並びに傾き量が補正された後、部品が回路基板上に搭載されている。
【０００３】
この位置ずれ量を求めないし補正するために、部品の種類に応じた位置検出アルゴリズムが開発されているが、各アルゴリズムに必要な部品データを部品毎に記述しなければならない、という問題がある。この煩雑さを解決するために、汎用的なアルゴリズムとして、例えば、特公平８ー１２０５０号公報に記載されたようなテンプレートマッチングが知られている。テンプレートマッチングとは、部品を表すテンプレートを作成し、これを部品の含まれている画像中を移動させ画像とテンプレート間に大きな類似性が得られるテンプレート位置に部品があると認識する方法である。
【０００４】
上記公報では、部品（基準マーク）の一部もしくは全部を含む第１のテンプレート並びにこれと点対称な第２のテンプレートを登録し、検査すべき部品の画像と第１及び第２のテンプレートとのマッチングをそれぞれとり、マッチングがとれたときの各テンプレートの対応する２点の中点を部品の中心として中心ずれを求めている。
【０００５】
この公報で述べられている手法は、部品の中心位置を検出することは可能であるが、部品の傾きを検出することはできない。また、上述の公報では、登録されたテンプレートを用いるのではなく、部品の一部もしくは全部を含むウィンドウを予め設定し、このウィンドウと点対称なテンプレートを作成しそれとのマッチングを行なうことにより中心位置を求める例も示されている。この例の場合、テンプレートを格納するメモリを省略できる利点がある。しかし、部品が画像内でほぼ一定な位置に存在するならば安定した結果を得られるが、そうでない場合、部品がウィンドウにはいらず、有効な特徴を含まないことが発生し、期待した結果を得られない、という問題がある。
【０００６】
これに対しては、ウィンドウを大きくすることである程度の対応は可能ではあるが、テンプレートに余分な情報が多く含まれ、マッチング精度を低下させるばかりか、演算時間も増大する。テンプレートを予め登録して実行する場合は、上記のようなことは発生しないが、部品が傾きを持ち、テンプレートとの間に回転ずれがある場合、マッチング精度は低下し、やはり期待した精度で中心位置を得ることはできない。
【０００７】
【発明が解決しようとする課題】
テンプレートマッチング法は、従来の位置ずれ検出アルゴリズムの範疇からもれるような異型部品に対して汎用的な位置検出アルゴリズムとして実装できることから、本発明は、このテンプレートマッチング法の手法を用いて、汎用的で、高精度な位置検出アルゴリズムで部品の位置検出が可能な部品の位置検出方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、
自身の中心について点対称形状の部品の画像を撮像し、
座標値を用いて部品の画像の一部又は全部が入る基準ウィンドウを指定し、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とし、
また、請求項２に記載の発明は、
自身の中心について点対称形状の部品の画像を撮像し、
前記部品の画像から部品の一部又は全部が入るテンプレートを作成して、これを登録し、
前記登録したテンプレートと前記部品の画像とのマッチングをとって最も相関度が大きくなるテンプレート位置に基準ウィンドウを設定し、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とする。
【０００９】
また、請求項３と４に記載の発明は、それぞれ請求項１と２に記載の発明において、基準ウィンドウを第１のテンプレートとして、該第１のテンプレートと点対称な第２のテンプレートを作成し、部品画像と第２のテンプレートとのマッチングが得られたときの第１のテンプレートの領域内の点と、この点に対応する第２のテンプレートの領域内の点とを結ぶ直線の中点を、請求項１と２に記載の発明における部品の中心として求めることを特徴としている。
【００１０】
このような構成では、テンプレートマッチングにより部品の中心並びに傾きを精度よく検出できる。
【００１２】
また、本発明（請求項２と４）では、部品の画像から部品の一部又は全部が入るテンプレートを作成して、これを登録し、この登録したテンプレートと部品の画像とのマッチングをとって最も相関度が大きくなるテンプレート位置に基準ウィンドウを設定しているので、取得された部品の画像の位置が不安定な場合でも、ウインドウ内に部品の一部または全部が確実に存在することが保証される。
【００１３】
更に、前記回転が所定の刻み角で行なわれ、マッチングの相関値の差分あるいは微分を求め、その差分値あるいは微分値のゼロクロス点を求めることにより部品の傾きが検出される。これにより刻み角の分解能を大きくしたのと同様な効果が得られ、傾き検出の精度を向上させることができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて具体的に説明する。
【００１６】
［全体の構成］
図１は、本発明による部品の位置検出方法を実施するためのシステムの構成図である。以下では、処理される対象物をチップマウンタの吸着ノズルにより吸着される、自身の中心に対して点対称な部品とする。
【００１７】
このシステムは、部品撮像ステージ１と、部品の姿勢を制御する位置制御装置２と、オペレータが位置制御装置２と画像処理装置１２を制御するためのマンマシンインタフェース３と、部品を撮像するＴＶカメラ４と、その画像を表示するための表示装置５と、その画像データを処理して部品の中心、傾きを検出する画像処理装置１２とによって構成される。また、画像処理装置１２は、格納されたテンプレートが展開されるテンプレートメモリ６と、ＴＶカメラ４からの画像を格納する画像メモリ７と、作成したテンプレートを格納する不揮発性メモリ１１と、テンプレートマッチングを演算する演算部１０と、外部回路とのインターフェース８と、各データの流れ、処理を制御する制御部９とから構成される。
【００１８】
図２は、全体の作業、および処理の流れを概略示すフローである。位置検出モジュールは様々な部品、動作条件（演算速度優先、精度優先等）に柔軟に対応できるよう予め作成された認識条件のデータを元に駆動する。オペレータは、部品の特徴、動作条件を考慮し、認識条件モジュール（データ群）を作成することで、システムに合わせた位置検出処理を選択することができる。
【００１９】
以下、これらについて説明する。
【００２０】
まず、ステップＳ１において、テンプレートマッチングによる基準ウィンドウ設定位置機能を使用するか否かが判断される。この機能は、画像上での部品の位置が不安定な場合においてもウィンドウ内に部品の一部または全部が確実に存在することを保証するための機能である。
【００２１】
部品の位置が安定している場合は、この機能を用いず、ステップＳ２に進み、基準ウィンドウを定める。この基準ウィンドウは、既知の座標値として指定することもできるし、部品の種類によりウィンドウ位置を可変にできる。オペレータは、ウィンド領域を認識条件モジュールに設定する。
【００２２】
［テンプレート作成］
一方、部品の位置が不安定な場合には、ステップＳ３に進んでテンプレートを作成する。このテンプレートの作成ルーチンが図３に詳細に図示されている。まず予め、正常姿勢の部品を含む画像を入力する（ステップＴ１）。この撮像は、図１の部品撮像ステージ１にセットされた部品の全部を含む画像をＴＶカメラ４により撮像して画像メモリ７に取り込むことによって行なわれる。そして、この画像が表示装置５に表示される。この画像上で部品が正常姿勢を取っているとは限らないので、オペレータが、マンマシンインタフェース３を介し、位置制御装置２を制御し、部品撮像ステージ１を移動させ部品姿勢を補正する（ステップＴ２、Ｔ３）。この動作時に画像は、上述したようにリアルタイムに画像メモリ７に取り込まれ、表示装置５に表示される。この部品姿勢の補正の様子が図７に模式的に図示されており、最初点線で図示された位置にあった部品２０の画像は、上述した補正により実線で示したように正常な姿勢となる。
【００２３】
次にオペレータは、図８に示したように、マンマシンインタフェース３を介して画像処理装置１２に部品２０の一部又は全部が入るテンプレート２１を作成するための基準点Ｒ及びエリアを指定する（ステップＴ４）。このテンプレートで確定の場合には（ステップＴ５）、画像処理装置の制御部９はこの指定をインタフェース８を介して受け取り、画像メモリ７より画像データを取得し、テンプレートを不揮発性メモリ１１に登録する（ステップＴ６）。一方、登録すべきテンプレートが未だ定まらない場合には、ステップＴ１に戻って上述の処理を繰り返す。
【００２４】
このようにしてテンプレートが作成、登録されたら、図２のステップＳ４に戻り、テンプレートを認識条件モジュールに設定する。続いて、図１４に関連して説明する部品の隅点の相対位置により傾き計算機能を使用する場合には、部品外形寸法を認識条件モジュールに設定し（ステップＳ６）、そうでない場合には、このステップＳ６をスキップしてステップＳ７で認識条件のデータ群を送信し、ステップＳ８で部品の位置検出を行なう。
【００２５】
この位置検出のルーチンが図４に詳細に図示されている。まず、ステップＲ１で示すように、ステップＳ２あるいはＳ４で設定された認識条件データに従いテンプレートを指定するか、ウィンドウ位置を指定する。画像上での部品位置が安定な場合には、ウィンドウ位置が指定され、一方不安定な場合には、ステップＲ２において基準ウィンドウ設定位置が取得される。これは以下のような処理で行なわれる。
【００２６】
［基準ウィンドウ］
図９に示したように、検査すべき部品２０の画像をＴＶカメラ４より画像メモリ７に取り込み、制御部９は、先に登録したテンプレート２１を不揮発性メモリ１１よりテンプレートメモリ６に展開し、演算部１０にマッチング演算処理を委ねる。マッチング処理は、例えばテンプレートをＸ方向及びＹ方向へ１ピクセルずつ移動させて、その都度それに対応する領域の撮像画像との相関をとり、最も相関度が大きい位置をマッチングがとれた位置とすることにより終了する。制御部９は演算部１１にマッチング演算終了を確認の後、検査すべき部品画像上のテンプレート２１の位置を知ることができる。この位置を左上とし、テンプレート幅、高さをそれぞれ幅、高さとする矩形領域を部品の中心位置取得のための領域２２、すなわち基準ウィンドウとする。
【００２７】
［中心位置の検出］
続いて、ステップＲ２で取得された基準ウィンドウ位置あるいは指定されたウィンドウ位置に基づき、部品の中心位置が検出される（ステップＲ３）。その詳細が図５のサブルーチンに示されている。その実質は、ステップＲ３２に示された点対称な２つのテンプレートによるテンプレートマッチングである。これは図１０、図１１に図示のごとく行なわれる。部品を含む画像上で、部品の一部又は全部が入るウィンドウ２２（領域Ａ）を上述したテンプレート２１によるテンプレートマッチングで設定する。このウィンドウの実画像（あるいは基準ウィンドウそのもの）を第１のテンプレートとし、このテンプレートに対して、点対称（１８０度回転）な第２のテンプレート２３を作成する（図１０）。図１１に示したように、部品の画像と第２のテンプレート２３のマッチングがとれた段階で領域Ｂ、すなわち第２のテンプレート領域２３を検出する。第１のテンプレート２２の領域内の任意の点ａとその点に対応する第２のテンプレートの領域の点ｂとを結ぶ直線の中点Ｍを部品の中心点として検出する。
【００２８】
なお、ウィンドウの実画像を第１のテンプレートとする場合には（図５のステップＲ３０の「はい」への分岐）、上述した点対称テンプレートによるマッチングを行なって（ステップＲ３５）、中心の検出を行なうが、基準ウィンドウそのものを第１のテンプレートとする場合には、部品が傾きを持ち、ステップＳ３で作成したテンプレートとの間の回転ずれが発生する場合がある。その回転ずれが大きな場合、マッチング精度は低下しているのでステップＲ２で必ずしも最適の基準ウィンドウ領域を設定できたとは限らない。そこで、基準ウィンドウで得られた位置の近辺でステップＲ３２の処理を数回繰り返し（ステップＲ３１）、ステップＲ３３で基準ウィンドウを補正する。このうち、最も相関値が高い組み合わせを採用し、中心位置を得ることにする（ステップＲ３４）。
【００２９】
［傾き検出］
続いて、図４に戻りステップＲ４において、部品の傾きを検出する。これは、図６に示したルーチンに従って行なわれる。部品が自身の中心に対して点対称な図形である場合、図１２に示す部品の中心を原点としたＸＹ座標系において、ステップＲ２で取得した領域２２、すなわちウィンドウＡに対してＹ軸対称な領域２４（ウィンドウＣ）を設定する。この領域を傾き検出用のテンプレートとする（ステップＲ４１）。部品の傾きを仮にθとすると、ウィンドウＣの図形を部品の中心を回転中心として、−２＊θ回転させたとき、ウィンドウＡの図形に対してＹ軸対称な図形が現れる。
【００３０】
この関係を利用し、ウィンドウＣにおいて回転角を所定の刻み角で連続して画像を変化させる。そのとき得られる回転画像との間でマッチングをとり（ステップＲ４４）、ステップＲ４５で刻み角を更新して図形を回転させ（ステップＲ４３）、これを繰り返す（ステップＲ４２）。
【００３１】
回転の刻み角を更新したときのマッチングの相関値は、図１３に図示したような分布曲線Ｃになり、相関値が最大となる刻み角ｉを求めることで部品の傾きθを求めることができる（ステップＲ４６）。さらに、精度を上げるために、最も高い相関値Ｙ1をとる位置ｉとその両隣の刻み角（ｉ−１）、（ｉ＋１）での相関値Ｙ2、Ｙ3とのそれぞれ差分をとりその差分値のゼロクロス点Ｚを求めることにより刻み角以上の分解能で傾きθを求めることができる（Ｒ４７）。また、図１３で点線Ｃ’で図示したように、分布曲線Ｃの微分をとりそのゼロクロス点を求めるようにしてもよい。
【００３２】
なお、図示の例では、Ｙ軸対称のテンプレート２４を作成しているが、Ｘ軸対称のテンプレートを作成して同様にテンプレートマッチングを行なうことにより部品の傾斜を求めることも可能である。
【００３３】
傾き精度を向上させるためには、刻み角を細かくしていけばよいがそれでは演算時間がかかってしまう。また回転ずれが１ピクセル内に収まってしまう場合、そのずれ量は検出できない。そこでさらに精度を向上させたい場合には（ステップＲ４７’の「はい」への分岐）、これまでの処理で部品の中心、ある程度の傾きが分かっているので、部品の外形寸法を取得することにより（ステップＲ４８）、最もずれ量が大きくなる部品の最遠点Ｐをほぼ中心とする最良のテンプレートウィンドウの設定が可能となる（ステップＲ４９、Ｒ５０）。これが、図１４に図示されている。
【００３４】
たとえば、部品の外形寸法がわかっているので、部品の左上隅Ｐをほぼ中心にするウィンドウ（Ｄ）３０を設定することができる。部品の画像を、このウィンドウの中心を回転中心とし、−２＊θ回転させ、Ｙ軸対称になるテンプレート３１を作成した場合、そのテンプレートは部品の右上隅Ｑ付近の特徴を示すテンプレートとなる。このテンプレートをＸ、Ｙ方向に移動し、図１４の下方に図示したように、マッチングをとることで画像上での部品右上隅Ｑの位置を得ることができ、ＰＱの位置関係より傾きθを求めることができる（ステップＲ５１、Ｒ５２）。
【００３５】
ここで用いるウィンドウ３０が、図１２のウィンドウ２２より中心から遠くに位置するのであれば、この手法により図１２、図１３で得られる以上の精度を期待できる。このマッチング時には、最も高い相関値をとる位置とその近傍の９つの相関値からサブピクセル演算により、サブピクセル精度でその位置を求めることができ、またＰＱは最もＸ成分の差の大きい組み合わせであるのでマッチング誤差の影響力がより少なくなり、よりよい精度が期待できる。このようにして、回転量に基づいて得られた傾きを検証し、またこれを補正して高精度の傾きを求めることができる。
【００３６】
このように、部品の位置検出が終了すると、図２のフローに戻り、ステップＳ８に続くステップＳ９において検出結果を受信し、ステップＳ１０でその検出結果に基づいて中心位置及び／又は傾き補正をして部品の吸着姿勢を補正する。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、テンプレートマッチング法を用いて部品の中心並びに傾きを精度よく検出できる。従って、チップマウンタ等におけるより汎用的なアルゴリズムとして実装でき、より手軽に精度よく、電子部品の搭載が可能となる。
【００３８】
また画像を回転させて傾きを求める場合、マッチング領域とテンプレートサイズが等しくなるので、各検査角度につき１回の相関演算で済み、かつ画像上からテンプレートを作成するので、正規化の必要もない。このため差分をマッチングの評価関数として使え、演算時間が短縮される。また、マッチング領域が既に確定しているので回転画像を取得する際、マッチング領域のみの回転変換演算をすればよく、この点でも演算時間の短縮が可能である。
【図面の簡単な説明】
【図１】本発明が用いられるシステムの全体構成を示したブロック図である。
【図２】全体の流れを示したフローチャート図である。
【図３】テンプレートの作成並びに登録を行なうルーチンを示すフローチャート図である。
【図４】位置検出を行なうルーチンを示すフローチャート図である。
【図５】部品の中心位置を検出するルーチンを示すフローチャート図である。
【図６】部品の傾きを検出するルーチンを示すフローチャート図である。
【図７】テンプレートを作成するときの部品姿勢を補正する状態を示す説明図である。
【図８】テンプレートの作成を示す説明図である。
【図９】基準ウィンドウ位置を取得する状態を説明する説明図である。
【図１０】基準ウィンドウから点対称なテンプレートを形成する状態を示す説明図である。
【図１１】点対称なテンプレートとのマッチングを示す説明図である。
【図１２】部品の傾きを検出する状態を示す説明図である。
【図１３】傾き検出時のマッチングによる相関値の分布を示す線図である。
【図１４】他の傾き検出例を示す説明図である。
【符号の説明】
１ 部品撮像ステージ
２ 位置制御装置
３ マンマシンインターフェース
４ ＴＶカメラ
５ 表示装置
１２ 画像処理装置
２０ 部品
２１、２３、３１ テンプレート
２２、２４、３０ ウィンドウ
【発明の属する技術分野】
本発明は、部品の位置検出方法、更に詳細には、チップマウンタで搭載される電子部品等の部品が吸着されて装着基板に搬送されるとき、吸着時の位置ずれを検出するための部品の位置検出方法に関する。
【０００２】
【従来の技術】
従来より、チップマウンタでは、対象物、例えばＩＣチップ部品等の電子部品（以下単に部品という）を吸着する吸着ノズルを備えた吸着ヘッドが設けられており、フィーダから供給される部品が吸着ノズルにより吸着され、回路基板上に移送、搭載されている。通常部品は、必ずしも正しい姿勢で吸着されるわけではないので、部品の吸着姿勢がＣＣＤカメラ等の撮像装置により撮像され、部品の画像認識が行なわれ、この画像認識に基づき得られる部品の吸着ノズルの中心位置からのずれ並びに傾き量が補正された後、部品が回路基板上に搭載されている。
【０００３】
この位置ずれ量を求めないし補正するために、部品の種類に応じた位置検出アルゴリズムが開発されているが、各アルゴリズムに必要な部品データを部品毎に記述しなければならない、という問題がある。この煩雑さを解決するために、汎用的なアルゴリズムとして、例えば、特公平８ー１２０５０号公報に記載されたようなテンプレートマッチングが知られている。テンプレートマッチングとは、部品を表すテンプレートを作成し、これを部品の含まれている画像中を移動させ画像とテンプレート間に大きな類似性が得られるテンプレート位置に部品があると認識する方法である。
【０００４】
上記公報では、部品（基準マーク）の一部もしくは全部を含む第１のテンプレート並びにこれと点対称な第２のテンプレートを登録し、検査すべき部品の画像と第１及び第２のテンプレートとのマッチングをそれぞれとり、マッチングがとれたときの各テンプレートの対応する２点の中点を部品の中心として中心ずれを求めている。
【０００５】
この公報で述べられている手法は、部品の中心位置を検出することは可能であるが、部品の傾きを検出することはできない。また、上述の公報では、登録されたテンプレートを用いるのではなく、部品の一部もしくは全部を含むウィンドウを予め設定し、このウィンドウと点対称なテンプレートを作成しそれとのマッチングを行なうことにより中心位置を求める例も示されている。この例の場合、テンプレートを格納するメモリを省略できる利点がある。しかし、部品が画像内でほぼ一定な位置に存在するならば安定した結果を得られるが、そうでない場合、部品がウィンドウにはいらず、有効な特徴を含まないことが発生し、期待した結果を得られない、という問題がある。
【０００６】
これに対しては、ウィンドウを大きくすることである程度の対応は可能ではあるが、テンプレートに余分な情報が多く含まれ、マッチング精度を低下させるばかりか、演算時間も増大する。テンプレートを予め登録して実行する場合は、上記のようなことは発生しないが、部品が傾きを持ち、テンプレートとの間に回転ずれがある場合、マッチング精度は低下し、やはり期待した精度で中心位置を得ることはできない。
【０００７】
【発明が解決しようとする課題】
テンプレートマッチング法は、従来の位置ずれ検出アルゴリズムの範疇からもれるような異型部品に対して汎用的な位置検出アルゴリズムとして実装できることから、本発明は、このテンプレートマッチング法の手法を用いて、汎用的で、高精度な位置検出アルゴリズムで部品の位置検出が可能な部品の位置検出方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、
自身の中心について点対称形状の部品の画像を撮像し、
座標値を用いて部品の画像の一部又は全部が入る基準ウィンドウを指定し、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とし、
また、請求項２に記載の発明は、
自身の中心について点対称形状の部品の画像を撮像し、
前記部品の画像から部品の一部又は全部が入るテンプレートを作成して、これを登録し、
前記登録したテンプレートと前記部品の画像とのマッチングをとって最も相関度が大きくなるテンプレート位置に基準ウィンドウを設定し、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とする。
【０００９】
また、請求項３と４に記載の発明は、それぞれ請求項１と２に記載の発明において、基準ウィンドウを第１のテンプレートとして、該第１のテンプレートと点対称な第２のテンプレートを作成し、部品画像と第２のテンプレートとのマッチングが得られたときの第１のテンプレートの領域内の点と、この点に対応する第２のテンプレートの領域内の点とを結ぶ直線の中点を、請求項１と２に記載の発明における部品の中心として求めることを特徴としている。
【００１０】
このような構成では、テンプレートマッチングにより部品の中心並びに傾きを精度よく検出できる。
【００１２】
また、本発明（請求項２と４）では、部品の画像から部品の一部又は全部が入るテンプレートを作成して、これを登録し、この登録したテンプレートと部品の画像とのマッチングをとって最も相関度が大きくなるテンプレート位置に基準ウィンドウを設定しているので、取得された部品の画像の位置が不安定な場合でも、ウインドウ内に部品の一部または全部が確実に存在することが保証される。
【００１３】
更に、前記回転が所定の刻み角で行なわれ、マッチングの相関値の差分あるいは微分を求め、その差分値あるいは微分値のゼロクロス点を求めることにより部品の傾きが検出される。これにより刻み角の分解能を大きくしたのと同様な効果が得られ、傾き検出の精度を向上させることができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて具体的に説明する。
【００１６】
［全体の構成］
図１は、本発明による部品の位置検出方法を実施するためのシステムの構成図である。以下では、処理される対象物をチップマウンタの吸着ノズルにより吸着される、自身の中心に対して点対称な部品とする。
【００１７】
このシステムは、部品撮像ステージ１と、部品の姿勢を制御する位置制御装置２と、オペレータが位置制御装置２と画像処理装置１２を制御するためのマンマシンインタフェース３と、部品を撮像するＴＶカメラ４と、その画像を表示するための表示装置５と、その画像データを処理して部品の中心、傾きを検出する画像処理装置１２とによって構成される。また、画像処理装置１２は、格納されたテンプレートが展開されるテンプレートメモリ６と、ＴＶカメラ４からの画像を格納する画像メモリ７と、作成したテンプレートを格納する不揮発性メモリ１１と、テンプレートマッチングを演算する演算部１０と、外部回路とのインターフェース８と、各データの流れ、処理を制御する制御部９とから構成される。
【００１８】
図２は、全体の作業、および処理の流れを概略示すフローである。位置検出モジュールは様々な部品、動作条件（演算速度優先、精度優先等）に柔軟に対応できるよう予め作成された認識条件のデータを元に駆動する。オペレータは、部品の特徴、動作条件を考慮し、認識条件モジュール（データ群）を作成することで、システムに合わせた位置検出処理を選択することができる。
【００１９】
以下、これらについて説明する。
【００２０】
まず、ステップＳ１において、テンプレートマッチングによる基準ウィンドウ設定位置機能を使用するか否かが判断される。この機能は、画像上での部品の位置が不安定な場合においてもウィンドウ内に部品の一部または全部が確実に存在することを保証するための機能である。
【００２１】
部品の位置が安定している場合は、この機能を用いず、ステップＳ２に進み、基準ウィンドウを定める。この基準ウィンドウは、既知の座標値として指定することもできるし、部品の種類によりウィンドウ位置を可変にできる。オペレータは、ウィンド領域を認識条件モジュールに設定する。
【００２２】
［テンプレート作成］
一方、部品の位置が不安定な場合には、ステップＳ３に進んでテンプレートを作成する。このテンプレートの作成ルーチンが図３に詳細に図示されている。まず予め、正常姿勢の部品を含む画像を入力する（ステップＴ１）。この撮像は、図１の部品撮像ステージ１にセットされた部品の全部を含む画像をＴＶカメラ４により撮像して画像メモリ７に取り込むことによって行なわれる。そして、この画像が表示装置５に表示される。この画像上で部品が正常姿勢を取っているとは限らないので、オペレータが、マンマシンインタフェース３を介し、位置制御装置２を制御し、部品撮像ステージ１を移動させ部品姿勢を補正する（ステップＴ２、Ｔ３）。この動作時に画像は、上述したようにリアルタイムに画像メモリ７に取り込まれ、表示装置５に表示される。この部品姿勢の補正の様子が図７に模式的に図示されており、最初点線で図示された位置にあった部品２０の画像は、上述した補正により実線で示したように正常な姿勢となる。
【００２３】
次にオペレータは、図８に示したように、マンマシンインタフェース３を介して画像処理装置１２に部品２０の一部又は全部が入るテンプレート２１を作成するための基準点Ｒ及びエリアを指定する（ステップＴ４）。このテンプレートで確定の場合には（ステップＴ５）、画像処理装置の制御部９はこの指定をインタフェース８を介して受け取り、画像メモリ７より画像データを取得し、テンプレートを不揮発性メモリ１１に登録する（ステップＴ６）。一方、登録すべきテンプレートが未だ定まらない場合には、ステップＴ１に戻って上述の処理を繰り返す。
【００２４】
このようにしてテンプレートが作成、登録されたら、図２のステップＳ４に戻り、テンプレートを認識条件モジュールに設定する。続いて、図１４に関連して説明する部品の隅点の相対位置により傾き計算機能を使用する場合には、部品外形寸法を認識条件モジュールに設定し（ステップＳ６）、そうでない場合には、このステップＳ６をスキップしてステップＳ７で認識条件のデータ群を送信し、ステップＳ８で部品の位置検出を行なう。
【００２５】
この位置検出のルーチンが図４に詳細に図示されている。まず、ステップＲ１で示すように、ステップＳ２あるいはＳ４で設定された認識条件データに従いテンプレートを指定するか、ウィンドウ位置を指定する。画像上での部品位置が安定な場合には、ウィンドウ位置が指定され、一方不安定な場合には、ステップＲ２において基準ウィンドウ設定位置が取得される。これは以下のような処理で行なわれる。
【００２６】
［基準ウィンドウ］
図９に示したように、検査すべき部品２０の画像をＴＶカメラ４より画像メモリ７に取り込み、制御部９は、先に登録したテンプレート２１を不揮発性メモリ１１よりテンプレートメモリ６に展開し、演算部１０にマッチング演算処理を委ねる。マッチング処理は、例えばテンプレートをＸ方向及びＹ方向へ１ピクセルずつ移動させて、その都度それに対応する領域の撮像画像との相関をとり、最も相関度が大きい位置をマッチングがとれた位置とすることにより終了する。制御部９は演算部１１にマッチング演算終了を確認の後、検査すべき部品画像上のテンプレート２１の位置を知ることができる。この位置を左上とし、テンプレート幅、高さをそれぞれ幅、高さとする矩形領域を部品の中心位置取得のための領域２２、すなわち基準ウィンドウとする。
【００２７】
［中心位置の検出］
続いて、ステップＲ２で取得された基準ウィンドウ位置あるいは指定されたウィンドウ位置に基づき、部品の中心位置が検出される（ステップＲ３）。その詳細が図５のサブルーチンに示されている。その実質は、ステップＲ３２に示された点対称な２つのテンプレートによるテンプレートマッチングである。これは図１０、図１１に図示のごとく行なわれる。部品を含む画像上で、部品の一部又は全部が入るウィンドウ２２（領域Ａ）を上述したテンプレート２１によるテンプレートマッチングで設定する。このウィンドウの実画像（あるいは基準ウィンドウそのもの）を第１のテンプレートとし、このテンプレートに対して、点対称（１８０度回転）な第２のテンプレート２３を作成する（図１０）。図１１に示したように、部品の画像と第２のテンプレート２３のマッチングがとれた段階で領域Ｂ、すなわち第２のテンプレート領域２３を検出する。第１のテンプレート２２の領域内の任意の点ａとその点に対応する第２のテンプレートの領域の点ｂとを結ぶ直線の中点Ｍを部品の中心点として検出する。
【００２８】
なお、ウィンドウの実画像を第１のテンプレートとする場合には（図５のステップＲ３０の「はい」への分岐）、上述した点対称テンプレートによるマッチングを行なって（ステップＲ３５）、中心の検出を行なうが、基準ウィンドウそのものを第１のテンプレートとする場合には、部品が傾きを持ち、ステップＳ３で作成したテンプレートとの間の回転ずれが発生する場合がある。その回転ずれが大きな場合、マッチング精度は低下しているのでステップＲ２で必ずしも最適の基準ウィンドウ領域を設定できたとは限らない。そこで、基準ウィンドウで得られた位置の近辺でステップＲ３２の処理を数回繰り返し（ステップＲ３１）、ステップＲ３３で基準ウィンドウを補正する。このうち、最も相関値が高い組み合わせを採用し、中心位置を得ることにする（ステップＲ３４）。
【００２９】
［傾き検出］
続いて、図４に戻りステップＲ４において、部品の傾きを検出する。これは、図６に示したルーチンに従って行なわれる。部品が自身の中心に対して点対称な図形である場合、図１２に示す部品の中心を原点としたＸＹ座標系において、ステップＲ２で取得した領域２２、すなわちウィンドウＡに対してＹ軸対称な領域２４（ウィンドウＣ）を設定する。この領域を傾き検出用のテンプレートとする（ステップＲ４１）。部品の傾きを仮にθとすると、ウィンドウＣの図形を部品の中心を回転中心として、−２＊θ回転させたとき、ウィンドウＡの図形に対してＹ軸対称な図形が現れる。
【００３０】
この関係を利用し、ウィンドウＣにおいて回転角を所定の刻み角で連続して画像を変化させる。そのとき得られる回転画像との間でマッチングをとり（ステップＲ４４）、ステップＲ４５で刻み角を更新して図形を回転させ（ステップＲ４３）、これを繰り返す（ステップＲ４２）。
【００３１】
回転の刻み角を更新したときのマッチングの相関値は、図１３に図示したような分布曲線Ｃになり、相関値が最大となる刻み角ｉを求めることで部品の傾きθを求めることができる（ステップＲ４６）。さらに、精度を上げるために、最も高い相関値Ｙ1をとる位置ｉとその両隣の刻み角（ｉ−１）、（ｉ＋１）での相関値Ｙ2、Ｙ3とのそれぞれ差分をとりその差分値のゼロクロス点Ｚを求めることにより刻み角以上の分解能で傾きθを求めることができる（Ｒ４７）。また、図１３で点線Ｃ’で図示したように、分布曲線Ｃの微分をとりそのゼロクロス点を求めるようにしてもよい。
【００３２】
なお、図示の例では、Ｙ軸対称のテンプレート２４を作成しているが、Ｘ軸対称のテンプレートを作成して同様にテンプレートマッチングを行なうことにより部品の傾斜を求めることも可能である。
【００３３】
傾き精度を向上させるためには、刻み角を細かくしていけばよいがそれでは演算時間がかかってしまう。また回転ずれが１ピクセル内に収まってしまう場合、そのずれ量は検出できない。そこでさらに精度を向上させたい場合には（ステップＲ４７’の「はい」への分岐）、これまでの処理で部品の中心、ある程度の傾きが分かっているので、部品の外形寸法を取得することにより（ステップＲ４８）、最もずれ量が大きくなる部品の最遠点Ｐをほぼ中心とする最良のテンプレートウィンドウの設定が可能となる（ステップＲ４９、Ｒ５０）。これが、図１４に図示されている。
【００３４】
たとえば、部品の外形寸法がわかっているので、部品の左上隅Ｐをほぼ中心にするウィンドウ（Ｄ）３０を設定することができる。部品の画像を、このウィンドウの中心を回転中心とし、−２＊θ回転させ、Ｙ軸対称になるテンプレート３１を作成した場合、そのテンプレートは部品の右上隅Ｑ付近の特徴を示すテンプレートとなる。このテンプレートをＸ、Ｙ方向に移動し、図１４の下方に図示したように、マッチングをとることで画像上での部品右上隅Ｑの位置を得ることができ、ＰＱの位置関係より傾きθを求めることができる（ステップＲ５１、Ｒ５２）。
【００３５】
ここで用いるウィンドウ３０が、図１２のウィンドウ２２より中心から遠くに位置するのであれば、この手法により図１２、図１３で得られる以上の精度を期待できる。このマッチング時には、最も高い相関値をとる位置とその近傍の９つの相関値からサブピクセル演算により、サブピクセル精度でその位置を求めることができ、またＰＱは最もＸ成分の差の大きい組み合わせであるのでマッチング誤差の影響力がより少なくなり、よりよい精度が期待できる。このようにして、回転量に基づいて得られた傾きを検証し、またこれを補正して高精度の傾きを求めることができる。
【００３６】
このように、部品の位置検出が終了すると、図２のフローに戻り、ステップＳ８に続くステップＳ９において検出結果を受信し、ステップＳ１０でその検出結果に基づいて中心位置及び／又は傾き補正をして部品の吸着姿勢を補正する。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、テンプレートマッチング法を用いて部品の中心並びに傾きを精度よく検出できる。従って、チップマウンタ等におけるより汎用的なアルゴリズムとして実装でき、より手軽に精度よく、電子部品の搭載が可能となる。
【００３８】
また画像を回転させて傾きを求める場合、マッチング領域とテンプレートサイズが等しくなるので、各検査角度につき１回の相関演算で済み、かつ画像上からテンプレートを作成するので、正規化の必要もない。このため差分をマッチングの評価関数として使え、演算時間が短縮される。また、マッチング領域が既に確定しているので回転画像を取得する際、マッチング領域のみの回転変換演算をすればよく、この点でも演算時間の短縮が可能である。
【図面の簡単な説明】
【図１】本発明が用いられるシステムの全体構成を示したブロック図である。
【図２】全体の流れを示したフローチャート図である。
【図３】テンプレートの作成並びに登録を行なうルーチンを示すフローチャート図である。
【図４】位置検出を行なうルーチンを示すフローチャート図である。
【図５】部品の中心位置を検出するルーチンを示すフローチャート図である。
【図６】部品の傾きを検出するルーチンを示すフローチャート図である。
【図７】テンプレートを作成するときの部品姿勢を補正する状態を示す説明図である。
【図８】テンプレートの作成を示す説明図である。
【図９】基準ウィンドウ位置を取得する状態を説明する説明図である。
【図１０】基準ウィンドウから点対称なテンプレートを形成する状態を示す説明図である。
【図１１】点対称なテンプレートとのマッチングを示す説明図である。
【図１２】部品の傾きを検出する状態を示す説明図である。
【図１３】傾き検出時のマッチングによる相関値の分布を示す線図である。
【図１４】他の傾き検出例を示す説明図である。
【符号の説明】
１ 部品撮像ステージ
２ 位置制御装置
３ マンマシンインターフェース
４ ＴＶカメラ
５ 表示装置
１２ 画像処理装置
２０ 部品
２１、２３、３１ テンプレート
２２、２４、３０ ウィンドウ
Claims (5)
- 自身の中心について点対称形状の部品の画像を撮像し、
座標値を用いて部品の画像の一部又は全部が入る基準ウィンドウを指定し、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とする部品の位置検出方法。 - 自身の中心について点対称形状の部品の画像を撮像し、
前記部品の画像から部品の一部又は全部が入るテンプレートを作成して、これを登録し、
前記登録したテンプレートと前記部品の画像とのマッチングをとって最も相関度が大きくなるテンプレート位置に基準ウィンドウを設定し、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とする部品の位置検出方法。 - 自身の中心について点対称形状の部品の画像を撮像し、
座標値を用いて部品の画像の一部又は全部が入る基準ウィンドウを指定し、
前記基準ウィンドウを第１のテンプレートとして、該第１のテンプレートと点対称な第２のテンプレートを作成し、
前記画像と第２のテンプレートとのマッチングが得られたときの前記第１のテンプレートの領域内の点と、この点に対応する前記第２のテンプレートの領域内の点とを結ぶ直線の中点を部品の中心として求め、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とする部品の位置検出方法。 - 自身の中心について点対称形状の部品の画像を撮像し、
前記部品の画像から部品の一部又は全部が入るテンプレートを作成して、これを登録し、
前記登録したテンプレートと前記部品の画像とのマッチングをとって最も相関度が大きくなるテンプレート位置に基準ウィンドウを設定し、
前記基準ウィンドウを第１のテンプレートとして、該第１のテンプレートと点対称な第２のテンプレートを作成し、
前記画像と第２のテンプレートとのマッチングが得られたときの前記第１のテンプレートの領域内の点と、この点に対応する前記第２のテンプレートの領域内の点とを結ぶ直線の中点を部品の中心として求め、
前記部品の中心を通るＸ軸あるいはＹ軸に関して前記基準ウィンドウと対称なウィンドウをテンプレートとして設定し、
前記基準ウィンドウと対称なウィンドウのテンプレートと、前記画像を自身の中心回りに回転させることにより得られる画像とのマッチングをとり、マッチングがとれたときの回転量に基づき部品の傾きを検出することを特徴とする部品の位置検出方法。 - 前記回転が所定の刻み角で行なわれ、マッチングの相関値の差分あるいは微分を求め、その差分値あるいは微分値のゼロクロス点を求めることにより部品の傾きを検出することを特徴とする請求項１から４のいずれか１項に記載の方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26804496A JP3765888B2 (ja) | 1996-10-09 | 1996-10-09 | 部品の位置検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26804496A JP3765888B2 (ja) | 1996-10-09 | 1996-10-09 | 部品の位置検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10117100A JPH10117100A (ja) | 1998-05-06 |
| JP3765888B2 true JP3765888B2 (ja) | 2006-04-12 |
Family
ID=17453108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26804496A Expired - Fee Related JP3765888B2 (ja) | 1996-10-09 | 1996-10-09 | 部品の位置検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3765888B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4686329B2 (ja) * | 2005-10-18 | 2011-05-25 | Ｊｕｋｉ株式会社 | 部品認識方法及び装置 |
| JP7253905B2 (ja) * | 2018-11-28 | 2023-04-07 | Juki株式会社 | 実装装置及び実装方法 |
| CN118096742B (zh) * | 2024-04-23 | 2024-07-05 | 鑫创鑫自动化设备科技（漳州）有限公司 | 一种基于角点检测和三维建模技术的贴片机吸嘴检测方法 |
-
1996
- 1996-10-09 JP JP26804496A patent/JP3765888B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10117100A (ja) | 1998-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7330582B2 (en) | Bonding program | |
| JP4446609B2 (ja) | 画像処理方法および装置 | |
| EP1031812A2 (en) | Measurement apparatus | |
| CN109213090B (zh) | 位置控制***、位置检测装置及记录介质 | |
| JP3765888B2 (ja) | 部品の位置検出方法 | |
| JP4128513B2 (ja) | ボンディング用パターン識別方法、ボンディング用パターン識別装置及びボンディング用パターン識別プログラム | |
| JP4405009B2 (ja) | ラインセンサーカメラを備えた検査機のキャリブレーション方法 | |
| JP3101853B2 (ja) | ボンデイング座標のティーチング方法 | |
| JP4172728B2 (ja) | 画像処理方法 | |
| JP4106301B2 (ja) | 部品認識方法及び装置 | |
| JP4566686B2 (ja) | 対象物の形状判別方法及び装置 | |
| JP3763229B2 (ja) | 画像認識による位置検出方法 | |
| JP2000180138A (ja) | キャリブレーションプレート及びこれを利用する視覚センサのキャリブレーション装置 | |
| JPH06260794A (ja) | 電子部品の位置認識方法および位置認識装置 | |
| JP5022598B2 (ja) | ボンディング装置及び半導体装置の製造方法 | |
| JPH11328410A (ja) | パターンの位置合わせ方法 | |
| JP2004273578A (ja) | 電子部品装着方法及び装置 | |
| JP2002216130A (ja) | 画像認識方法と画像認識装置、及び部品実装装置 | |
| JPH11295036A (ja) | 電子部品の方向判定方法とその装置 | |
| WO2022224645A1 (ja) | データ作成システム、及び、実装システム | |
| JP4306353B2 (ja) | 画像認識装置における画素レート算出方法 | |
| JP3046421B2 (ja) | 電子部品の装着方法およびその装置 | |
| JPH07286819A (ja) | 部品の位置認識方法および位置認識装置 | |
| JP4226866B2 (ja) | 実装機の部品認識装置 | |
| JPH0410074A (ja) | 画像パターン傾き検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060125 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130203 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |