JP2004062784A

JP2004062784A - 被検体の識別方法及び被検体の位置検出方法

Info

Publication number: JP2004062784A
Application number: JP2002223575A
Authority: JP
Inventors: Toru Oki; 大木　亨
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-31
Filing date: 2002-07-31
Publication date: 2004-02-26

Abstract

【課題】電子部品を位置決めするための境界検索アルゴリズムを用いて高速に電子部品の位置決めを行なえる。
【解決手段】８チェインコード化及び１６チェインコード化を用いて被検体の位置の識別及び位置検出を高速に行なう。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、電子用チップ部品等の被検体の認識方法及び被検体の位置検出方法に関する。
【０００２】
【従来の技術】
従来から、電子部品として、チップ部品等を実装する実装装置として基板保持テーブル上に載置した回路パターンが形成された基板上に電子部品を実装するため、吸着ノズルを介して、電子部品を吸着し、この吸着した電子部品を撮像手段で撮像し、この撮像した電子部品の画像から吸着位置や傾き等を検出して、電子部品の形状、ノズルの中心軸回りの回転角度等を補正して基板上の所定位置に搭載し、電子部品を実装するように成した実装装置が特開平６−１１３２６号公報に示されている。
【０００３】
上述の公報には被検体を撮像手段で撮像して、被検体の像を取り込んで、輪郭線を抽出し、輪郭線に沿って向きが同じで、略同一絶対値を有し、かつ全輪郭線上で一列に連続して配置された複数のベクトルを設定し、この設定したベクトルの傾き分布を求め、この分布に基づいて被検体の長手方向を検出する検出方法及び認識方法が開示されている。
【０００４】
又、例えば１つの画像ｉｊに対してその８近傍に存在する画素の相対位置１乃至８（または０乃至７）を１つのマクロブロックとして、図１４（Ａ）に示す様な相対位置コードを作り、線図形等の連続した画素列を例えば図１４（Ｂ）に示す様に線図形をコードで表すことで線図形の曲がり具合等を解り易く表したチェインコードが知られている。（テレビジョン・画像情報工学ハンドブック１９９０年１１月３０日発行ｐ４２２参照）
【０００５】
図１４（Ｂ）の線図形はこのチェインコードで表すと００７６５５７００１０１となり、線図形の向く方向が解るので形状の特徴が解り易くなる。
【０００６】
【発明が解決しようとする課題】
従来技術で説明した実装装置に於ては撮像手段で取り込んだ被検体の画像の輪郭上に同一絶対値を有し、かつ全輪郭線上に一列に連続するように配置された複数のベクトルを設定し、この設定したベクトルの傾き分布を求めるために複数の傾き角を求める必要があり、輪郭線上の所定の線分を定めるのに多くの時間を要する課題を生じていた。更に、従来では相関や特殊なアルゴリズムを用いて、形状認識や被検体の位置決めを行なっているため、特殊なハードウェアが必要と成り、開発に多くの時間を要し、認識精度も悪い結果を生じていた。
【０００７】
本発明は叙上の課題を解決するために成されたもので、本発明が解決しようとする課題は輪郭線の線分決定時にチェインコードを用いて短時間に被検体の形状や線分の演算が可能で簡単かつ短時間に被検体の輪郭形状の認識が可能であり、又被検体の位置決めが容易でかつ高精度に実装可能な被検体の識別方法及び被検体の位置検出方法を提供しようとするものである。
【０００８】
【課題を解決するための手段】
本発明の被検体の識別方法は被検体の像を撮像手段を介して記憶手段に取り込み、像の輪郭線を抽出して、被検体の形状を識別する被検体の識別方法に於いて、ｎ分割して相対位置とベクトル方向をマクロブロック毎にコード化したウィンドウを被検体の輪郭線に沿ってトレースして、ｎコード化する第１のチェインコード化ステップと、第１のチェインコード化ステップでコード化したチェインコードの隣り合う境界のコードを２ｎ分割した相対位置とベクトル方向をマクロブロック毎にコード化した相対コードによってコード化を行なって平均化する第２のチェインコード化ステップと、第２のチェインコード化ステップで得たコードの０又はｎ番のコードを必要に応じてｎ＋１又は−１番のコードに修正する修正ステップと、この修正ステップに基づくコードによって被検体の形状を識別する様に成したものである。
【０００９】
本発明の被検体の位置検出方法は被検体の像を撮像手段を介して、記憶手段に取り込み、像の輪郭線を抽出し、被検体の位置検出方法に於いて、分割して、相対位置とベクトル方向をマクロブロック毎にコード化したウィンドウを被検体の輪郭線に沿ってトレースして、ｎコード化する第１のチェインコード化ステップと、この第１のチェインコード化ステップでコード化したチェインコードの隣り合う境界のコードを２ｎ分割した相対位置とベクトル方向をマクロブロック毎にコード化した相対コードによってコード化を行なって平均化する第２のチェインコード化ステップと、この第２のチェインコード化ステップで得たコードの０又はｎ番のコードを必要に応じてｎ＋１又は−１番のコードに修正する修正ステップとこの修正ステップに基づくコードによって被検体の位置を検出する様に成したものである。
【００１０】
本発明の被検体の識別方法及び被検体の位置検出方法に依れば、共通化させた境界探索アルゴリズム（ｎ方向コード化と２ｎ方向コード化）を用いて簡単に被検体の輪郭及び位置決めが出来ると共に、高速度でかつ高精度に被検体の位置決めを行なうことが出来るものが得られる。
【００１１】
【発明の実施の形態】
以下、本発明の被検体の識別装置及び被検体の位置検出方法を図１乃至図１３を用いて詳記する。
【００１２】
図１は本発明の被検体の識別装置及び被検体の位置検出方法を示すブロック図であるが本発明を説明するに先だち、図２を用いて本発明に使用する電子部品の実装装置の一形態例を説明する。
【００１３】
図２において、３は移載ヘッドであり、移載ヘッド移動制御手段１４によって水平方向及び垂直方向に移動できるように設けられている。Ｎは移載ヘッド３の下部に取り付けられた吸着ノズルであり、図示しない吸引手段に連通しており、被検体である電子部品ＯＢを吸着する。この吸着ノズルＮは、移載ヘッド３に内蔵されたモータＭにより吸着ノズルＮの中心線を中心にθ方向に回転するようになっている。３ａは、吸着ノズルＮに同軸的に設けられた円板状の反射板であり、光源２からの光ａの照射により照明される。
【００１４】
１は撮像手段を構成するカメラであり、反射板３ａの下方に位置する電子部品ＯＢのシルエットを撮像する。このカメラ１には、固体撮像素子であるＣＣＤカメラを使用する。４は電子部品ＯＢを供給するパーツフィーダ、１１はその表面に回路パターンＬが形成された基板１０を保持する基板保持テーブルである。５は、カメラ１から出力された画像信号を、ディジタル信号に変換するＡ／Ｄ変換器、６はこのディジタル信号を格納するフレームメモリ、７はＲＯＭ８内に記憶されたプログラムに従って、各種の演算や処理を行なうＣＰＵ、９は演算結果を記憶するＲＡＭであり、基準のパターンデータが格納されている。１３はモータＭを制御する駆動回路、１５は移載ヘッド移動制御手段１４と駆動回路１３を制御するマシンコントローラでありＣＰＵ７に接続されている。この電子部品の実装装置は、カメラ１によって電子部品ＯＢを観察してその位置や形状をＣＰＵ７により算出し、この結果に基づいてマシンコントローラ１５が駆動回路１３及び移載ヘッド移動制御手段１４を制御して、電子部品ＯＢを基板１０へ搭載するように構成されている。
【００１５】
次に図１に示すフローチャートに基づいて、本発明の被検体である電子部品ＯＢの識別方法及び電子部品位置検出方法を説明する。
【００１６】
本発明は電子部品を位置決めするためにチェインコードを用いた境界探査方法及びチェインコード化した隣り合うコードを平均化をする演算方法並びにこの演算方法で得られたチェインコード化したコードを用いて電子部品の輪郭や吸着位置を認識又は検出する検出方法から成るもので、図１は本発明の電子部品であるチップ部品、ＱＦＰ（Ｑｗａｄ　Ｆｌａｔ　Ｐａｃｋａｇｅ　：表面実装型フラット４方向パッケージ）、ＢＧＡ（Ｂａｌｌ　Ｇｒｉｄ　Ａｒｒａｙ　：表面実装エリア型パッケージ）等を位置決めして実装する場合の検索アルゴリズムを示すものである。
【００１７】
先ず、図２に示すカメラで被検体ＯＢの輪郭形状画像を取り込み、Ａ／Ｄ変換器５を介して画像デジタルデータをフレームメモリ６に格納する。この画像デジタルデータは例えば図３の様に画像の輪郭が境界線１２で示す様な形状のシルエットパターンが得られたとすると、輪郭境界線１２の所定の開始点１７を中心に図３のＡ部の拡大部を示す図４の如き３×３に９分割し、相対位置とベクトル方向をマクロブロック毎にコード化したウィンドウ１６を輪郭境界線１２に沿って例えば反時計方向（左回り）にトレースさせて、チェインコード化を行なう。
【００１８】
即ち、第１ステップＳ_１では、ウィンドウ１６に図５（Ａ）（Ｂ）に示す様な被検体ＯＢの輪郭境界線１２の境界点Ｍに対し、下方向（垂直）を示す相対コードを８、左下４５°方向を示す相対コードを９（１）、左方向（水平）方向を示す相対コードを１０（２）、左上４５°方向を示す相対コードを１１（３）、上方向（垂直）を示す相対コードを１２（４）、右上４５°方向を示す相対コードを５（１３）、右方向（水平）を示す相対コードを６（１４）、右下４５°方向を示す相対コードを７（１５）と定めて、相対位置とベクトルの方向をコード化する。尚、括弧でくくったコードは後述するも輪郭線１２の切れ目部分の演算時に用いる相対位置及びベクトル方向を示すコードである。
【００１９】
即ち、境界点Ｍに対し各マクロブロックを８方向コード化したウィンドウ１６は図４に示す様に例えばトレース方向１８に向って右方向（水平）を示すコード６又は（１４）から順に矢印Ｂの様に反時計方向（左回り）にトレースして境界線１２があった場合にコード１１又は（３）を定め、次の進行方向とする。
【００２０】
今、境界点Ｍが５＜＝Ｍ＜＝１２の相対コードを用いて、図３に示す被検体ＯＢの撮像画像１９の輪郭境界線１２の開始点１７からトレースを開始して、コード化を進めた場合、コードは図３に示すように８→７→８→８→７→６→６→６→６→５と順次コード化されることに成る。反時計方向に１周して開示点１７の手前迄トレースして第１のチェインコード化が成される。
【００２１】
この場合、上述の重複してコード付けした括弧内のコードを用いて、撮像画像１９の例えば右下点２０ではコードは６→１２→１２→１１となるので６→（４）→（４）→（３）の様なコードの用い方をして、平均化する時に６→１２の様に差の大きいコードとせず演算し易い様にすることも出来る。
【００２２】
上述の様に第１の８方向のチェインコード化に係わる第１ステップＳ_１の終了後に図１に示す第２ステップＳ_２による第２の１６方向のチェインコード化が行なわれる。
【００２３】
第２の１６方向のチェインコード化は図６及び図７に示す如く１６方向コード化が行なわれる。即ち、図６に示す様に被検体ＯＢを撮像した撮像画像１９の輪郭境界線１２に対して第１ステップＳ_１で８方向コード化した隣り合う２つの境界コードＭ_０，Ｍ_１を平均化する。この平均化は下記１式から算出する。
Ｎ＝２４−Ｍ_０−Ｍ_１・・・（１）
【００２４】
即ち、図７に於いて、開始点１７での隣接する８方向化コードはＭ_０＝８、Ｍ_１＝７であるからＮ_０＝２４−８−７＝９、次のＭ_１＝７、Ｍ_２＝８ではＮ_１＝２４−７−８＝９、次のＭ_２＝８、Ｍ_３＝９ではＮ_２＝２４−８−８＝８・・・と極めて簡単な（１）式を用いて、図６に示す様な０＜＝Ｎ＜＝１５で示す１６方向コード化が行なわれる。従って、第２ステップＳ_２では境界画素の前後のコードＭ_０，Ｍ_１，Ｍ_２，Ｍ_３・・・から新たな１６種類のコードＮを各境界画素にコード化したことになり、上下左右２５°方向のベクトル方向の傾きに対応する相対コードのコード化を図ることが出来る。
【００２５】
次の第３ステップＳ_３では０，１５番のコード修正を行なう。これは０番と１５番のコードを必要に応じて、演算が簡単で連続番号と成る様に１６番と−１番或は１７と−２等の急激に境界点で変化するコードの平均化時の誤差を少なくする様にコードの付け変える修正を行なう。例えば１４→１５→１４→１５→０→１５→０→１５とコード化された場合は１４→１５→１４→１５→１６→１５→１６→１５に又、０→１→２→２→０→１５→０→１５の場合は０−１−２→２→０→−１→０→−１の様にコード修正を行なうことになる。
【００２６】
第４ステップＳＴ_４では輪郭境界線１２の辺の切れ目の修正が行なわれることになり、エンドに至る。
【００２７】
上述のアルゴリズムを用いることで、境界検索アルゴリズム（８方向コード化及び１６方向コード化）を使って電子部品である。チップ部品の境界検索時間を８ｍ秒程度の極めて高速な境界検索が可能と成り、特殊なハードウェアが必要でなくなって、開発時間や費用を大幅に削減可能と成った。
【００２８】
次に図８乃至図１２を用いて、電子部品ＯＢとして、チップ部品の位置決めする場合のアルゴリズムを説明する。図８はチップ部品を基板１１に位置決めするためのフローチャートを示すものであり、第１ステップＳＴ_１では被検体ＯＢをカメラ１を介してフレームメモリ６に格納した画像データを２値化して画像を白黒２色にし、チップ部品の輪郭外を例えば白、輪郭内を黒とする様な２値化が行なわれる。
【００２９】
次の第２ステップＳＴ_２では２次モーメント即ち、重心と傾きを計算してチップ部品の重心を求める。
【００３０】
次の第３ステップＳＴ_３ではチップ部品の境界を検索するトレースを行ない図１のフローチャートで説明した８方向コード化及び１６方向コード化を行なう。
【００３１】
次の第４ステップＳＴ_４ではチップ部品の輪郭を複数の直線で近似する直線化を行なった後に、第５ステップＳＴ_５でチップ部品の形状判断が行なわれて、エンドに至り位置決めが成される。
【００３２】
上述の第４及び第５ステップＳＴ_４及びＳＴ_５の直線化のフローチャートの詳細を図９及び図１０に、形状判定のフローチャートの詳細を図１１及び図１２で説明する。
【００３３】
図９は直線化の為のフローチャートを示すもので、第１ステップＳＴ_４ａでは撮像画像１９の境界線１２を構成する図１０に示す直線２０ａコーナの１６方向チェインコードで定めたコードの始点及び終点をサーチする。
【００３４】
次の第２ステップＳＴ_４ｂでは始点Ｐ_０と終点Ｐ_１の内側近傍に３×３のウィンドウ１６を持ち来して、図１０に示す始点Ｐ_０、終点Ｐ_１の内側のＲ_０，Ｒ_１の始点及び終点のインデックスを検出する。
【００３５】
第３ステップＳＴ_４ｃではウィンドウ１６のインデックスＲ_０の座標、ＸＹ方向コードを取得する。
【００３６】
次の第４ステップＳＴ_４ｄでは２値化レベル差（濃淡差）から境界線１２の直線２０ａ上の２値閾値をよぎる位置をサブピクセル（マクロブロック）で求めたＱ_０，Ｑ_１の座標を取得する。
【００３７】
第５ステップＳＴ_４ｅでは各直線２０ａ，２０ｂを直線式のａｘ＋ｂｙ＝１から直線の係数ａ，ｂを求める。
【００３８】
第６ステップＳＴ_４ｆでは部品に外接する直線を描画する。
【００３９】
第７ステップＳＴ_４ｇでは直線２０ａとペアと成る直線２０ｂの番号を検出する。
【００４０】
第８ステップＳＴ_４ｈではペアの２直線の解を求めてＰ_ｎを算出する。即ちサブピクセルを取得することで直線化ステップが終了する。
【００４１】
図１１は図８で示した形状判断を示す第５ステップの詳細を示すものであり、第１ステップＳＴ_５ａではこの２直線２０ａ，２０ｂ等の角度θ_０，θ_１，θ_２，θ_３を算出する。
【００４２】
第２ステップＳＴ_５ｂでは直線２０ａ，２０ｂ等の辺の長さＬ_０，Ｌ_１，Ｌ_２，Ｌ_３を算出する。
【００４３】
第３ステップＳＴ_５ｃでは予め被検体の電子部品が解っているのでこの電子部品の形状等の基準データとのマッチングを行なう。
【００４４】
第４ステップＳＴ_５ｄではチップ部品の中心と傾きを算出することでエンドに至る。
【００４５】
上述では電子部品としてチップ部品の形状についての識別方法及び位置検出方法を説明したが電子部品としてＱＦＰやＢＧＡ等も同様に位置決めすることが出来る。ＱＦＰを位置決めする場合のアルゴリズムは、２値化し、ラベリングを行ない、固まり（リード）ごとに重心と長軸の角度を求める。その後、重心の近いもの同士を分類し、リードがどの辺に属しているかを求める。その際、長軸でリードの方向を確認する。長辺で挟まれた直線が短辺をよぎったところ（座標）を得ることでリードの先端座標を得たことになる。最小２乗近似でリード先端列の直線を得て、ＱＦＰの位置と傾きを算出する様にする。
【００４６】
又、ＢＧＡでは２値化し、ラベリングを行ない、固まり（ボール）ごとに重心を求める。その後、重心の近いもの同士を分類し、ボールがどの辺に属しているかを求める。一番出っ張っているところをよぎったところ（座標）を得ることで、ボールの先端座標を得たことになる。最小２乗近似でボール先端列の直線を得て、ＢＧＡの位置と傾きを算出する様にすればよい。
【００４７】
従来では特殊なハードウェアが必要となり、多くの時間と費用が掛かったが本発明は上述の様に成されているので共通化させた境界検索アルゴリズム（８方向コード化と１６コード化）を使って簡単に電子部品の位置決めをすることが可能となった。
【００４８】
又、従来では処理速度がＢＧＡ等では２００ｍ秒以上であったものがＢＧＡで８０ｍ秒程度に部品の位置決めを行なうことが可能となった。更に、チップ部品では２３ｍ秒、ＢＦＰでは６７ｍ秒で位置決めを行なうことが可能となった。
【００４９】
更に、認識精度が従来では１／４画素程度であったものが、本発明では１／２０画素以内の高精度で部品の位置決めを行なうことが出来る。
【００５０】
上述の認識精度を測定するためにはカメラスタンド上にマイクロテーブルを置き、その上にチップ部品を置く。このチップ部品の画像をカメラで取り込むために、カメラスタンドの支柱にカメラを取り付けて、マイクロテーブルを１０μｍずつ移動させながら１０回画像を取り込んだ。画像処理上で何μｍ移動したかをサブピクセルで測定するために、絶対位置を１０回繰り返して測定した。移動距離の誤差がどれくらいあったかを、図１３のグラフに示す。図１３では一画素が４５．９ミクロンで１０μｍ水平方向に移動させた時の誤差は±０．０５（１／２０）画素以内に入っていることを確認した。
【００５１】
【発明の効果】
本発明の被検体の識別方法及び被検体の位置検出方法によれば共通化させた境界検索アルゴリズムを使って、簡単に部品位置決めが可能でチップ部品等では２３ｍ秒で位置決めが可能となり認識精度も１／２０画素以内の精度を得た。
【図面の簡単な説明】
【図１】本発明のコード化方法のフローチャートである。
【図２】本発明の実装装置の一形態例を示す説明図である。
【図３】本発明の８コード化方法を説明するための説明図である。
【図４】図３のＡ部拡大図である。
【図５】本発明に用いる８コード化ウィンドウの説明図である。
【図６】本発明に用いる１６コード化ウィンドウの説明図である。
【図７】本発明の１６コード化方法を示す説明図である。
【図８】本発明に用いるチップ部品の位置決めアルゴリズムのフローチャートである。
【図９】本発明に用いるチップ部品の位置決めアルゴリズムの直線化のフローチャートである。
【図１０】直線化の設定方法を説明する説明図である。
【図１１】本発明に用いるチップ部品の位置決めアルゴリズムの形状判断のフローチャートである。
【図１２】本発明の形状判定方法説明図である。
【図１３】認識精度を説明するためのグラフである。
【図１４】従来のチェインコードを説明する説明図である。
【符号の説明】
１‥‥カメラ、３‥‥移載ヘッド、ＯＢ‥‥被検体、１２‥‥境界線、１６‥‥ウィンドウ

Claims

被検体の像を撮像手段を介して記憶手段に取り込み、該像の輪郭線を抽出して、該被検体の形状を識別する被検体の識別方法に於いて、
ｎ分割して相対位置とベクトル方向をマクロブロック毎にコード化したウィンドウを上記被検体の上記輪郭線に沿ってトレースして、ｎコード化する第１のチェインコード化ステップと、
上記第１のチェインコード化でコード化したチェインコードの隣り合う境界のコードを２ｎ分割した相対位置とベクトル方向をマクロブロック毎にコード化した相対コードによってコード化を行なって平均化する第２のチェインコード化ステップと、
上記第２のチェインコード化ステップで得たコードの０又はｎ番のコードを必要に応じてｎ＋１又は−１番のコードに修正する修正ステップと、
上記修正に基づくコードによって上記被検体の形状を識別して成ることを特徴とする被検体の識別方法。
被検体の像を撮像手段を介して、記憶手段に取り込み、該像の輪郭線を抽出して、該被検体の形状を識別する被検体の識別方法に於いて、
上記被検体の上記輪郭線の境界点で８近傍に存在する画素の相対位置を１乃至８のコードにコード化する第１のチェインコード化ステップと、
上記第１のチェインコード化ステップでコード化したチェインコードの隣り合う境界コードを平均化し、相対位置を０乃至１５のコードにコード化する第２のチェインコード化ステップと、
上記第２のチェインコード化ステップに基づくコードによって上記被検体の形状を識別することを特徴とする被検体の識別方法。
前記第１のチェインコードのコード化ステップの前記１乃至８のコードに更に９〜１５のコードを重複してコード化させるステップを有することを特徴とする請求項２記載の被検体の識別方法。
前記第２のチェインコードのコード化ステップの前記０又は１５のコードを必要に応じて、１６又は−１或は１７又は−２の如き平均時の差の少ない値のコードに修正させる様に成したことを特徴とする請求項２記載の被検体の識別方法。
被検体の像を撮像手段を介して記憶手段に取り込み、該像の輪郭線を抽出して、該被検体の位置を検出する被検体の位置検出方法に於いて、
ｎ分割して相対位置とベクトル方向をマクロブロック毎にコード化したウィンドウを上記被検体の上記輪郭線に沿ってトレースして、ｎコード化する第１のチェインコード化ステップと、
上記第１のチェインコード化したチェインコードの隣り合う境界のコードを２ｎ分割した相対位置とベクトル方向をマクロブロック毎にコード化した相対コードによってコード化を行なって平均化する第２のチェインコード化ステップと、
上記第２のチェインコード化ステップで得たコードの０又はｎ番のコードを必要に応じてｎ＋１又は−１番のコードに修正するステップと、
上記修正ステップに基づくコードによって上記被検体の位置を検出して成ることを特徴とする被検体の位置検出方法。
被検体の像を撮像手段を介して記憶手段に取り込み、該像の輪郭線を抽出して、該被検体の形状を識別する被検体の位置検出方法に於いて、
ｎ分割して相対位置とベクトル方向をマクロブロック毎にコード化したウィンドウを上記被検体の上記輪郭線に沿ってトレースして、ｎコード化する第１のチェインコード化ステップと、
上記第１のチェインコード化でコード化したチェインコードの隣り合う境界のコードを２ｎ分割した相対位置とベクトル方向をマクロブロック毎にコード化した相対コードによってコード化を行なって平均化する第２のチェインコード化ステップと、
上記第２のチェインコード化ステップで得たコードの０又はｎ番のコードを必要に応じてｎ＋１又は−１番のコードに修正する修正ステップと、
上記第２のチェインコード化ステップ後に上記被検体の輪郭に囲まれた複数の線分に近似させる直線化ステップと、
上記直線化ステップで得られた２直線から角度及び辺の長さを求め被検体の形状を判断し、基準データとマッチングをとるマッチングステップと、
上記被検体の中心と傾きを算出するステップとにより該被検体の位置を検出して成ることを特徴とする被検体の位置検出方法。