JP3706431B2 - 部品形状認識装置 - Google Patents
部品形状認識装置 Download PDFInfo
- Publication number
- JP3706431B2 JP3706431B2 JP11672596A JP11672596A JP3706431B2 JP 3706431 B2 JP3706431 B2 JP 3706431B2 JP 11672596 A JP11672596 A JP 11672596A JP 11672596 A JP11672596 A JP 11672596A JP 3706431 B2 JP3706431 B2 JP 3706431B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- edge point
- gradient direction
- distance
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像処理技術を応用して部品の形状認識を行なう部品形状認識装置に関する。
【０００２】
【従来の技術】
電気製品の小型化、軽量化に伴い、チップ状電子部品のプリント基板上への実装は、さらなる高密度化が要求されている。その要求を満たす実装精度を実現するためには、画像処理技術を応用した電子部品の位置決め処理が必要不可欠となっている。
【０００３】
位置決め処理は、部品のコーナ位置、部品の輪郭のエッジ位置を検出することによって行なわれるので、部品の各種のサイズのみならず、コーナ形状、エッジ形状等の部品の局所形状に関する情報が必要となる。
【０００４】
このような部品の局所形状に関する情報の登録は、作業者の手入力によって行なわれているのが現状であり、作業者の負担が大きいという問題がある。
【０００５】
【発明が解決しようとする課題】
この発明は、部品の局所形状を自動的に認識できる部品形状認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明による部品形状認識装置は、部品画像に基づいて、部品画像の輪郭上の点をエッジ点として検出するエッジ検出手段、部品画像を大局的に四角形とみなして、その四角形の４辺ごとに、エッジ点をクラス分けするクラスタリング手段、各クラスごとに、そのクラスに対応する辺とそのクラスに属する各エッジ点との距離の分布を求める分布作成手段、および求められた分布に基づいて、部品の局所形状を認識する認識手段を備えているものである。
【０００７】
エッジ検出手段としては、たとえば、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより、部品画像の重心位置を原点とする極座標系において、部品画像の輪郭上のエッジ点の位置を検出するとともに、各エッジ点のグラディエント方向を検出するものが用いられる。
【０００８】
クラスタリング手段としては、たとえば、部品画像を大局的に四角形とみなして、その四角形の各辺に対する法線ベクトルを求める法線ベクトル算出手段、各辺に対する法線ベクトルおよびハフ変換式により得られた方程式に基づいて、部品画像の重心位置から各辺までの距離を求める距離算出手段、ならびに各辺に対する法線ベクトルおよび部品画像の重心位置から各辺までの距離に基づいて４つの辺を特定し、特定された４辺における隣り合う辺の交点位置に対応する極座標系の方向と、各エッジ点の極座標系の方向とに基づいて、各エッジ点がどの辺に属するかをクラス分けする手段を備えているものが用いられる。
【０００９】
法線ベクトル算出手段としては、たとえば、グラディエント方向に対するエッジ点の度数分布に基づいて、四角形の各辺に対する法線ベクトルを求めるものが用いられる。
【００１０】
グラディエント方向に対するエッジ点の度数分布は、各エッジ点の第１のグラディエント方向および第２のグラディエント方向の両方を考慮して作成されることが好ましい。各エッジ点の第１のグラディエント方向は、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより求められたグラディエント方向である。各エッジ点の第２のグラディエント方向は、注目エッジ点を中心として互いに反対方向にある２つのエッジ点であって、第１のグラディエント方向が注目エッジ点の第１のグラディエント方向とほぼ等しい２つのエッジ点を結ぶ直線に対する法線ベクトルである。
【００１１】
距離算出手段は、上記四角形の各辺ごとに、部品画像の重心位置から注目辺までの距離を求めるものであり、たとえば、法線ベクトル算出手段によって求められた注目辺に対する法線ベクトルに似通ったグラディエント方向を持つエッジ点を選択し、選択した各エッジ点ごとに、注目辺に対する法線ベクトルとハフ変換式により得られた方程式とを用いて、その点を通りかつ注目辺に対する法線ベクトルと等しい法線ベクトルを持つ直線と部品画像の重心位置との距離を算出する手段、ならびに、算出された距離に対するエッジ点の度数分分布を作成し、度数の最も大きい距離を部品画像の重心位置から注目辺までの距離として選択する手段を備えているものが用いられる。
【００１２】
注目辺に対する法線ベクトルに似通ったグラディエント方向を持つエッジ点は、各エッジ点の第１のグラディエント方向および第２のグラディエント方向の両方を考慮して選択されることが好ましい。各エッジ点の第１のグラディエント方向は、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより求められたグラディエント方向である。各エッジ点の第２のグラディエント方向は、注目エッジ点を中心として互いに反対方向にある２つのエッジ点であって、第１のグラディエント方向が注目エッジ点の第１のグラディエント方向とほぼ等しい２つのエッジ点を結ぶ直線に対する法線ベクトルである。
【００１３】
分布作成手段としては、たとえば、ハフ変換式により得られた方程式および各辺に対する法線ベクトルに基づいて、エッジ点を通りかつそのエッジ点が属するクラスの辺に対して平行な直線と、部品画像の重心位置との距離を、各エッジ点ごとに求める手段、およびエッジ点を通りかつそのエッジ点が属する辺と平行な直線と部品画像の重心位置との距離と、部品画像の重心位置からそのエッジ点が属するクラスの辺までの距離との差を各エッジ点ごとに求め、求められた差に基づいて、各クラスごとにそのクラスに対応する辺とそのクラスに属する各エッジ点との距離の分布を作成する手段を備えているものが用いられる。
【００１４】
認識手段としては、たとえば、各エッジ点を４つのコーナ部分と４つのエッジ部分とにクラス分けする手段、分布作成手段によって作成された各エッジ部分に対する距離分布に基づいてエッジ形状を認識するエッジ形状認識手段、および分布作成手段によって作成された各コーナ部分に対する距離分布に基づいてコーナ形状を認識するコーナ形状認識手段を備えているものが用いられる。
【００１５】
エッジ形状認識手段としては、たとえば、対象エッジ部分に属するエッジ点がその対象エッジ部分に対応する辺上に位置しているか否かを判定するしきい値を、上記辺に直交する方向の距離として設定し、当該対象エッジ部分に属する各エッジ点と上記辺との距離を、しきい値と比較することにより、対象エッジ部分のエッジ形状を認識するものが用いられる。
【００１６】
エッジ形状認識手段として、複数の部品画像から得られた複数のエッジ部分に対する距離分布を入力パターンとし、入力パターンに対応するエッジ形状を表す信号を教師信号として、学習が行なわれたニューラルネットワークに、分布作成手段によって作成された対象エッジ部分に対する距離分布を入力することによって、対象エッジ部分のエッジ形状を認識するものを用いてもよい。
【００１７】
コーナ形状認識手段として、複数の部品画像から得られた複数のコーナ部分に対する距離分布を入力パターンとし、入力パターンに対応するコーナ形状を表す信号を教師信号として、学習が行なわれたニューラルネットワークに、分布作成手段によって作成された対象コーナ部分に対する距離分布を入力することによって、対象コーナ部分のコーナ形状を認識するものを用いてもよい。
【００１８】
【発明の実施の形態】
以下、図面を参照して、この発明を電子部品自動装着システムに適用した場合の実施の形態について説明する。
【００１９】
図１は、電子部品自動装着システムの全体的な構成を示している。
【００２０】
電子部品自動装着システムは、システム全体を制御するホストコンピュータ１、電子部品をプリント基板に装着する電子部品装着装置２、および部品位置認識、形状認識等を行なう画像処理装置３を備えている。ホストコンピュータ１は、電子部品の位置認識に用いられる標準データが記憶されたデータベース４を備えている。画像処理装置３には、モニタ５およびユーザーインタフェース６が接続されている。
【００２１】
電子部品装着装置２は、ノズルに吸着された電子部品をＣＣＤカメラで撮像し、部品画像を取得する部品画像入力手段２１を備えている。
【００２２】
画像処理装置３は、部品画像入力手段２１によって得られた部品画像を、たとえば５１２×５１２画素、８ビット２５６階調の濃淡画像として画像メモリに取込み、画像処理により電子部品の位置認識、標準データの計測等を行なう。モニタ５には、部品画像、処理結果等が表示される。
【００２３】
画像処理装置３は、位置認識手段３１および標準データ計測手段３２を備えている。位置認識手段３１は、電子部品画像と、ホストコンピュータ１から供給される電子部品の種類、サイズ、形状等の標準データとに基づいて、電子部品の重心位置、傾き角度等を検出する。標準データ計測手段３２は、電子部品画像に基づいて、電子部品の種類、サイズ、形状情報等の標準データを求める。
【００２４】
ユーザーインタフェース６は、必要に応じて、標準データ計測手段３２によって求められた標準データの修正等を行なう。ホストコンピュータは、各装置の制御の他、標準データの統計学的処理、標準データのデータベースへの登録、更新および読み出しを行なう。
【００２５】
図２および図３は、標準データとして用いられる電子部品の局所形状を示している。図２はエッジ形状の例を示し、図３はコーナ形状の例を示している。
【００２６】
エッジ形状には、”直線形状”（図２（ａ））、”突起あり”（図２（ｂ））、”陥没あり”（図２（ｃ））およびその他の形状（”不良形状”）（図２（ｄ））がある。
【００２７】
コーナ形状には、”Ｒ面取り”（図３（ａ））、”Ｃ面取り”（図３（ｂ））およびその他の形状（”不良形状”）（図３（ｃ））がある。
【００２８】
図４は、標準データ計測手段３２によって行なわれる局所形状認識処理手順を示している。
【００２９】
（１） まず、図５に示すように、部品画像の重心位置Ｇが、ブロブ解析等によって求められる（ステップ１）。
【００３０】
（２） そして、重心位置Ｇを極座標系（ｒ，θ）の原点として、放射状に画像データをアクセス（ラジアルスキャン）しながら、微分処理を行なうことにより、部品の輪郭上の点（エッジ点）が検出される（ステップ２）。つまり、エッジ点の位置（ｒ，θ）およびその点のグラディエント（gradient) 方向（エッジベクトル）αが検出される。
【００３１】
このエッジ検出には、たとえば、sobel の微分オペレータが用いられる。図６（ａ）は、sobel のｘ方向の微分オペレータの重み付けを示している。図６（ｂ）は、sobel のｙ方向の微分オペレータの重み付けを示している。図６（ｃ）のように、局所領域内の画素の位置および値をＡ〜Ｈで表すと、水平方向の微分値Ｓｘは数式１で表され、垂直方向の微分値Ｓｙは数式２で表される。
【００３２】
【数１】
【００３３】
【数２】
【００３４】
そして、画素Ｅの場所におけるエッジ強度Ｓは次の数式３で与えられ、グラディエント方向αは次の数式４で与えられる。
【００３５】
【数３】
【００３６】
【数４】
【００３７】
ただし、通常arctanは、−π／２〜π／２の範囲で計算されるが、ここでは、極座標系の方向θに合わせて０〜２πの範囲で計算される。
【００３８】
ラジアルスキャン方向θごとに、エッジ強度Ｓが最大となる点（ｒ，θ）が、部品のエッジ（輪郭）として抽出される。また、この点のグラディエント方向αがそのエッジ点でのエッジベクトルとされる。このようにして、部品画像の各エッジ点のｒ、θ、αが抽出される。
【００３９】
（３） 次に、エッジベクトルの補正処理が行なわれる（ステップ３）。つまり、図５に示すように、注目エッジ点Ａから互いに反対方向に所定距離離れた２つのエッジ点Ｂ、Ｃが選択され、選択された２つのエッジ点Ｂ、Ｃを結ぶ直線の方向に直交する方向（内側から外側に向かう方向）が、注目エッジ点Ａのエッジベクトルαとされる。
【００４０】
ただし、注目エッジ点から互いに反対方向に所定距離離れた２つのエッジ点であっても、その点のグラディエント方向αが注目エッジ点のグラディエント方向αとほぼ等しくない場合には、その点は選択されない。このような場合には、グラディエント方向αが注目エッジ点のグラディエント方向αと等しくないエッジ点の代わりに、そのエッジ点から注目エッジ点により近いエッジ点であって、グラディエント方向αが注目エッジ点のグラディエント方向αとほぼ等しいエッジ点が選択される。
【００４１】
このようなエッジベクトルαの補正が全てのエッジ点に対して行なわれる。ステップ２で抽出された各エッジ点のグラディエント方向αにノイズ誤差があっても、上記補正処理により精度の高いグラディエント方向（エッジベクトル）αが得られる。なお、ステップ２で求められた各エッジ点のグラディエント方向αを補正前のグラディエント方向αといい、ステップ３で求められた各エッジ点のグラディエント方向αを補正後のグラディエント方向αということにする。
【００４２】
次に、部品画像を対局的に四角形とみなし、その四角形の４辺（以下、モールド直線という）に対する法線ベクトルα１〜α４と、原点Ｇから各モールド直線までの距離ρ１〜ρ４が求められる（ステップ４、５）。
【００４３】
まず、直線の方程式について説明する。図５において、重心Ｇを原点とするＸＹ座標を想定すると、原点Ｇからθ方向に距離ｒのエッジ点ＤのＸＹ座標値は、ｒとθとを用いて次の数式５で表される。
【００４４】
【数５】
【００４５】
また、電子部品の上辺の直線の方程式は、原点Ｇからその直線までの距離をρとし、その直線の法線ベクトルをαとすると、ハフ変換により数式６で与えられる。
【００４６】
【数６】
【００４７】
数式６から、ｘ、ｙを消去すると、数式７が得られる。
【００４８】
【数７】
【００４９】
数式７で得られた直線の方程式のパラメータには、法線ベクトルαと原点Ｇから直線までの距離ρとがある。
【００５０】
（４） そこで、まず、各モールド直線に対する法線ベクトルα１〜α４が求められる（ステップ４）。
【００５１】
図７（ａ）は、横軸にエッジベクトルα（補正前のエッジベクトルαおよび補正後のエッジベクトルαの両方を含む）をとり、縦軸にラジアルスキャン方向θをとって、各エッジ点の分布を表したものである。この分布に基づいて、エッジベクトルαに対するエッジ点の度数を表すヒストグラムが生成される。エッジベクトルαに対するエッジ点のヒストグラムを図７（ｂ）に示す。
【００５２】
電子部品は大局的に四角形とみなすことができるので、その４辺に対応して４箇所に、エッジベクトルαの度数のピークＰ１〜Ｐ４ができる。四角形の各辺の方向は９０°ずつ異なっているので、エッジベクトルαの度数のピークＰ１〜Ｐ４の間隔も９０°ごとに現れる。
【００５３】
図７（ｂ）のヒストグラムが９０°単位に４分割され、各９０°単位のヒストグラムが足し合わされる。これにより、図７（ｃ）に示すヒストグラムが得られる。図７（ｃ）のヒストグラムには、１つの大きなピークＰが現れる。このピークＰに対応するエッジベクトルが、１つのモールド直線に対する法線ベクトルα１として抽出される。
【００５４】
抽出された１つのモールド直線に対する法線ベクトルα１に、９０°、１８０°および２７０°がそれぞれ加算されることにより、他の３つのモールド直線に対する法線ベクトルα２、α３およびα４が求められる。このような法線ベクトルα１〜α４の求め方を第１方法ということにする。
【００５５】
ところで、実際の部品には、微小な形状の歪みがあるため、対辺どうしが平行になるとは限らない。そこで、微小な形状の歪みを吸収するために、４つのモールド直線に対する法線ベクトルα１〜α４を、次のようにして求めてもよい。ここでは、法線ベクトルα２についてのみ説明する。
【００５６】
図７（ｂ）のヒストグラムの横軸上において、第１方法によって求められた法線ベクトルα２を中心とする幅±Δαの範囲を設定する。Δαとしては、たとえば５°が設定される。そして、その範囲内の各αごとに、αの値とそれに対するエッジ点の度数との積を求め、求められた積を加算する。つまり、αの値とそれに対するエッジ点の度数との積の累積値を求める。得られた累積値を、上記範囲内の度数の累積値で除算することにより、その範囲内でのαの平均値を算出する。そして、得られた平均値を法線ベクトルα２とする。このような法線ベクトルα１〜α４の求め方を第２方法ということにする。
【００５７】
また、部品の中には、１辺が隣り合う２辺と直角でない台形状のものがある。このような部品においては、隣り合う２辺と直角でない傾斜辺において、その辺に沿ったモールド直線を検出することが好ましい。
【００５８】
そこで、４つのモールド直線に対する法線ベクトルα１〜α４を、次のようにして求めてもよい。ここでは、法線ベクトルα２についてのみ説明する。
【００５９】
図７（ｂ）のヒストグラムにおいて、図７（ｃ）に基づいて上記のようにして求められた法線ベクトルα２の付近で度数がピークとなるαを局所的に探索し、探索されたαを法線ベクトルα２とする。この方法では、図７（ｂ）のＰ１、Ｐ２、Ｐ３、Ｐ４が法線ベクトルα１、α２、α３、α４となる。このような法線ベクトルα１〜α４の求め方を第３方法ということにする。
【００６０】
なお、第２方法と同様に、第３方法によって求められた法線ベクトルα１、α２、α３、α４付近のαの平均値を法線ベクトルα１、α２、α３、α４としてもよい。
【００６１】
（５） 次に、原点Ｇから各モールド直線までの距離ρ１〜ρ４が求められる（ステップ５）。
【００６２】
つまり、ステップ４で求められた４個の法線ベクトルα１〜α４のうち、まず、法線ベクトルα１に似通ったエッジベクトル（補正前のエッジベクトルαおよび補正後のエッジベクトルαの両方を含む）を持つエッジ点が選択される。そして、選択された各エッジ点ごとに、数式７により、ρが計算される。この際、数式７のαとしては、α１が用いられる。そして、得られたρに基づいて、ρに対するエッジ点の度数を表すヒストグラムを作成し、度数の最も大きいρが、法線ベクトルα１に対応するモールド直線に対するρ（＝ρ１）として抽出される。これにより、法線ベクトルがα１である直線のうちの最も長い直線と、原点Ｇとの距離がρ１として選択される。
【００６３】
同様にして、法線ベクトルα２、α３およびα４に対応するモールド直線のρ２、ρ３およびρ４が抽出される。
【００６４】
通常のハフ変換では、全ての検出エッジ点に対してその点のグラディエント方向αをパラメータとしてρが計算される。そして、各エッジ点のグラディエント方向αおよびρがα−ρ空間に投票され、票の多いα、ρの組み合わせを用いて直線が決定される。しかしながら、この方法では角チップのように４本の直線しか存在しない部品では問題はないが、異形部品、ＩＣ等のリード部品ではモールドの他、コーナ部分、モールドから突出した部分にも直線部分があるので、票の多い順に４本の直線を選択すると、モールドの４直線以外の直線が選択されてしまうことがある。
【００６５】
上記実施の形態では、モールド直線の法線ベクトルが先に決定され、この法線ベクトルに似通ったエッジベクトルを持つエッジ点に対してのみρの計算を行なっているので、モールド直線とは別の法線ベクトルを持つ直線が検出されるといったことがない。
【００６６】
（６） 次に、各エッジ点が、四角形の４辺ごとにクラス分けされる（ステップ６）。つまり、隣り合う２本のモールド直線の交点に対する極座標系の方向θ１、θ２、θ３およびθ４が求められる。隣り合う２本のモールド直線の交点を、コーナ位置と定義する。各エッジ点のθにより、各エッジ点がどの辺（モールド直線）に属するかがクラス分けされる。
【００６７】
隣り合う２本のモールド直線の交点に対する極座標系の方向θ１、θ２、θ３およびθ４は、次のようにして求められる。
【００６８】
法線ベクトルがα１のモールド直線に対するρをρ１とし、法線ベクトルがα２のモールド直線に対するρをρ２とし、これらのモールド直線の交点（コーナ位置）のＸＹ座標を（ｘｏ，ｙｏ）とすると、数式６から次の数式８が成り立つ。
【００６９】
【数８】
【００７０】
数式８から、上記両モールド直線の交点のＸＹ座標（ｘｏ，ｙｏ）は、次の数式９によって求められる。
【００７１】
【数９】
【００７２】
このようにして、４つのコーナ位置のＸＹ座標が求められると、各コーナ位置が原点Ｇからどの方向に位置しているかが計算されることにより、隣り合う２本のモールド直線の交点に対する極座標系の方向θ１、θ２、θ３およびθ４が求められる。
【００７３】
（７） 次に、各クラス毎に、各エッジ点からそのエッジ点が属するクラスの辺（モールド直線）までの距離Δρが算出される（ステップ７）。
【００７４】
つまり、まず、数式７を用いて各エッジ点ごとにρが求められる。この際、法線ベクトルαとしては、当該エッジ点が属するクラスのモールド直線の法線ベクトルα１、α２、α３、α４が用いられる。つまり、エッジ点を通りかつそのエッジ点が属するモールド直線と平行な直線と、原点Ｇとの距離ρが算出される。
【００７５】
次に、各エッジ点に対して求められたρと、そのエッジ点が属するモールド直線のρ１、ρ２、ρ３またはρ４との差Δρ、すなわち、エッジ点からモールド直線までの距離が求められる。図８は、モールド直線Ｌに対応するクラスに属するエッジ点と、これらのエッジ点ごとに求められたΔρを示している。図８において、Ｒ１およびＲ２は、コーナ位置を示している。エッジ点がモールド直線上にある場合には、そのΔρは０となる。エッジ点がモールド直線より外側にある場合には、そのΔρは正の値（Δρ＞０）となる。エッジ点がモールド直線より内側にある場合には、そのΔρは負の値（Δρ＜０）となる。
【００７６】
（８）次に、各エッジ点が、エッジ部分とコーナ部分とにクラス分けされる（ステップ８）。
【００７７】
まず、コーナ位置の方向θ付近にあるエッジ点からモールド直線の中央部に向かって、各エッジ点のΔρが調べられ、最初にΔρが０となるエッジ点がエッジ端点とされる。図８の例では、点Ｑ１、Ｑ２、Ｑ３、Ｑ８がエッジ端点である。モールド直線上の２つのエッジ端点Ｑ１、Ｑ２の間部分がエッジ部分とされる。また、２つのモールド直線のコーナ点付近にある２のエッジ端点の間部分、すなわち、図８の点Ｑ１とＱ８との間部分、点Ｑ２とＱ３との間部分がコーナ部分とされる。
【００７８】
（９）次に、４つのエッジ部分におけるΔρの分布に基づいてエッジ形状が認識され、４つのコーナ部分におけるΔρの分布に基づいてコーナ形状が認識される。
【００７９】
エッジ形状認識は、たとえば、次のようにして行なわれる。まず、エッジ点がモールド直線上に位置しているか否かを判定するしきい値を、モールド直線に直交する方向の距離として設定する。そして、エッジ部分に属するエッジ点のうち、そのΔρが＋方向および−方向にそのしきい値を越えているエッジ点が存在しない場合には、そのエッジ部分の形状を”直線形状”と判定する。
【００８０】
エッジ部分のエッジ点のうち、そのΔρが＋方向にそのしきい値を越えているエッジ点が存在する場合には、原則的にそのエッジ部分の形状を”突起あり”と判定する。また、エッジ部分のエッジ点のうち、そのΔρが−方向にそのしきい値を越えているエッジ点が存在する場合には、原則的にそのエッジ部分の形状を”陥没あり”と判定する。ただし、突起または陥没が３個以上存在する場合には、そのエッジ部分の形状を”不良形状”と判定する。
【００８１】
コーナ形状認識は、コーナ部分のΔρの分布だけでなく、コーナ部分の２つのエッジ端点を結ぶ直線を一方の対角線とする正方形または長方形領域内の部品部分の面積と背景部分の面積との比やコーナ部分の各エッジ点のベクトルの方向の変化に基づいて判定してもよい。
【００８２】
図９は部品画像の一例を示している。図１０は、図９の画像から求められたΔρの分布を示している。図９において、Ｒ１〜Ｒ４はコーナ位置を示し、Ｑ１〜Ｑ８はエッジ端点を示している。この例では、各エッジ部分のΔρの分布に基づいて、左側エッジ部ＥＬは”突起あり”と認識され、下側エッジ部ＥＤは”直線形状”と認識され、右側エッジ部ＥＲは”不良形状”と認識され、上側エッジ部ＥＵは”直線形状”と認識される。
【００８３】
また、各コーナ部分のΔρの分布に基づいて、右上コーナ部および右下コーナ部は”Ｃ面取り”と認識され、左上コーナ部および左下コーナ部は”不良形状”と認識される。左上コーナ部および左下コーナ部が”Ｒ面取り”と認識されず、”不良形状”と認識されているのは、コーナ部が突起に連続している場合には、”不良形状”と認識するようにしたことによる。
【００８４】
コーナ形状認識を、コーナ部分の２つのエッジ点を結ぶ直線を一方の対角線とする正方形領域内の部品部分の面積と背景部分の面積との比に基づいて判定する方法について説明する。
【００８５】
図１１の（ａ）、（ｂ）、（ｃ）は、コーナ部分の２つのエッジ端点を結ぶ直線を一方の対角線とする正方形領域を示している。図１１（ａ）はコーナ形状が”Ｃ面取り”の例を示し、図１１（ｂ）はコーナ形状が”Ｒ面取り”の例を示し、図１１（ｃ）はコーナ形状が”不良形状”の例を示している。
【００８６】
正方形領域内の背景部分の面積Ｓ１と部品部分の面積Ｓ２との比（Ｓ１／Ｓ２）がほぼ１であれば、そのコーナ形状は”Ｃ面取り”と判定される。正方形領域内の背景部分の面積Ｓ１と部品部分の面積Ｓ２との比（Ｓ１／Ｓ２）が｛（４−π）／π｝＝０．２７にほぼ等しければ、そのコーナ形状は”Ｒ面取り”と判定される。正方形領域内の背景部分の面積Ｓ１と部品部分の面積Ｓ２との比（Ｓ１／Ｓ２）が、１または０．２７にほぼ等しくない場合には、そのコーナ形状は”不良形状”と判定される。
【００８７】
なお、エッジ形状の認識およびコーナ形状の認識を、ニューラルネットワークを用いて行なうようにしてもよい。ニューラルネットワークとしては、たとえば、図１２に示すように、入力層、中間層および出力層からなる階層型ニューラルネットワークが用いられる。
【００８８】
このようなニューラルネットワークを用いてエッジ形状の認識を行なう場合について説明する。複数の電子部品画像から得られた複数のエッジ部分におけるモールド直線との差分Δρの分布を入力パターンとし、入力パターンに対応するエッジ形状を表す信号を教師信号として、ニューラルネットワークを学習させる。出力層のユニット数が４である場合には、図１３に示すように、”直線形状”に対応する教師信号としては（１，０，０，０）が、”突起あり”に対応する教師信号としては（０，１，０，０）が、”陥没あり”に対応する教師信号としては（０，０，１，０）が、”不良形状”に対応する教師信号としては（０，０，０，１）が用いられる。
【００８９】
学習後のニューラルネットワークに、形状認識対象である電子部品画像から得られたエッジ部分におけるΔρの分布を入力信号として与えると、そのエッジ部分の形状に応じた出力が得られる。なお、エッジ部分の長さが異なる場合には、たとえば写像変換により、当該エッジ部分におけるΔρの数を、入力層のユニット数に合わせればよい。
【００９０】
ニューラルネットワークを用いてコーナ形状の認識を行なう場合は、複数の電子部品画像から得られた複数のコーナ部分におけるΔρの分布を入力パターンとし、入力パターンに対応するコーナ形状を表す信号を教師信号として、ニューラルネットワークを学習させる。
【００９１】
学習後のニューラルネットワークに、形状認識対象である電子部品画像から得られたコーナ部分におけるΔρの分布を入力信号として与えると、そのコーナ部分の形状に応じた出力が得られる。
【００９２】
【発明の効果】
この発明によれば、部品の局所形状を自動的に認識できるようになる。
【図面の簡単な説明】
【図１】電子部品自動装着システムの全体的な構成を示すブロック図である。
【図２】エッジ形状の種類を示す模式図である。
【図３】コーナ形状の種類を示す模式図である。
【図４】局所形状認識処理の手順を示すフローチャートである。
【図５】部品画像の一例を示す模式図である。
【図６】微分オペレータの重み付けを示す模式図である。
【図７】各モールド直線に対する法線ベクトルα１〜α４を求める方法を説明するためのグラフである。
【図８】モールド直線Ｌに対応するクラスに属するエッジ点と、これらのエッジ点ごとに求められたΔρを示す模式図である。
【図９】部品画像の一例を示す模式図である。
【図１０】図９の画像から求められたΔρの分布を示すグラフである。
【図１１】コーナ部分の２つのエッジ端点を結ぶ直線を一方の対角線とする正方形領域を示す模式図である。
【図１２】ニューラルネットワークの構成例を示す模式図である。
【図１３】教師信号の一例を示す説明図である。
【符号の説明】
１ ホストコンピュータ
２ 電子部品装着装置
３ 画像処理装置
４ データベース
３１ 位置認識手段
３２ 標準データ計測手段
【発明の属する技術分野】
この発明は、画像処理技術を応用して部品の形状認識を行なう部品形状認識装置に関する。
【０００２】
【従来の技術】
電気製品の小型化、軽量化に伴い、チップ状電子部品のプリント基板上への実装は、さらなる高密度化が要求されている。その要求を満たす実装精度を実現するためには、画像処理技術を応用した電子部品の位置決め処理が必要不可欠となっている。
【０００３】
位置決め処理は、部品のコーナ位置、部品の輪郭のエッジ位置を検出することによって行なわれるので、部品の各種のサイズのみならず、コーナ形状、エッジ形状等の部品の局所形状に関する情報が必要となる。
【０００４】
このような部品の局所形状に関する情報の登録は、作業者の手入力によって行なわれているのが現状であり、作業者の負担が大きいという問題がある。
【０００５】
【発明が解決しようとする課題】
この発明は、部品の局所形状を自動的に認識できる部品形状認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明による部品形状認識装置は、部品画像に基づいて、部品画像の輪郭上の点をエッジ点として検出するエッジ検出手段、部品画像を大局的に四角形とみなして、その四角形の４辺ごとに、エッジ点をクラス分けするクラスタリング手段、各クラスごとに、そのクラスに対応する辺とそのクラスに属する各エッジ点との距離の分布を求める分布作成手段、および求められた分布に基づいて、部品の局所形状を認識する認識手段を備えているものである。
【０００７】
エッジ検出手段としては、たとえば、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより、部品画像の重心位置を原点とする極座標系において、部品画像の輪郭上のエッジ点の位置を検出するとともに、各エッジ点のグラディエント方向を検出するものが用いられる。
【０００８】
クラスタリング手段としては、たとえば、部品画像を大局的に四角形とみなして、その四角形の各辺に対する法線ベクトルを求める法線ベクトル算出手段、各辺に対する法線ベクトルおよびハフ変換式により得られた方程式に基づいて、部品画像の重心位置から各辺までの距離を求める距離算出手段、ならびに各辺に対する法線ベクトルおよび部品画像の重心位置から各辺までの距離に基づいて４つの辺を特定し、特定された４辺における隣り合う辺の交点位置に対応する極座標系の方向と、各エッジ点の極座標系の方向とに基づいて、各エッジ点がどの辺に属するかをクラス分けする手段を備えているものが用いられる。
【０００９】
法線ベクトル算出手段としては、たとえば、グラディエント方向に対するエッジ点の度数分布に基づいて、四角形の各辺に対する法線ベクトルを求めるものが用いられる。
【００１０】
グラディエント方向に対するエッジ点の度数分布は、各エッジ点の第１のグラディエント方向および第２のグラディエント方向の両方を考慮して作成されることが好ましい。各エッジ点の第１のグラディエント方向は、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより求められたグラディエント方向である。各エッジ点の第２のグラディエント方向は、注目エッジ点を中心として互いに反対方向にある２つのエッジ点であって、第１のグラディエント方向が注目エッジ点の第１のグラディエント方向とほぼ等しい２つのエッジ点を結ぶ直線に対する法線ベクトルである。
【００１１】
距離算出手段は、上記四角形の各辺ごとに、部品画像の重心位置から注目辺までの距離を求めるものであり、たとえば、法線ベクトル算出手段によって求められた注目辺に対する法線ベクトルに似通ったグラディエント方向を持つエッジ点を選択し、選択した各エッジ点ごとに、注目辺に対する法線ベクトルとハフ変換式により得られた方程式とを用いて、その点を通りかつ注目辺に対する法線ベクトルと等しい法線ベクトルを持つ直線と部品画像の重心位置との距離を算出する手段、ならびに、算出された距離に対するエッジ点の度数分分布を作成し、度数の最も大きい距離を部品画像の重心位置から注目辺までの距離として選択する手段を備えているものが用いられる。
【００１２】
注目辺に対する法線ベクトルに似通ったグラディエント方向を持つエッジ点は、各エッジ点の第１のグラディエント方向および第２のグラディエント方向の両方を考慮して選択されることが好ましい。各エッジ点の第１のグラディエント方向は、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより求められたグラディエント方向である。各エッジ点の第２のグラディエント方向は、注目エッジ点を中心として互いに反対方向にある２つのエッジ点であって、第１のグラディエント方向が注目エッジ点の第１のグラディエント方向とほぼ等しい２つのエッジ点を結ぶ直線に対する法線ベクトルである。
【００１３】
分布作成手段としては、たとえば、ハフ変換式により得られた方程式および各辺に対する法線ベクトルに基づいて、エッジ点を通りかつそのエッジ点が属するクラスの辺に対して平行な直線と、部品画像の重心位置との距離を、各エッジ点ごとに求める手段、およびエッジ点を通りかつそのエッジ点が属する辺と平行な直線と部品画像の重心位置との距離と、部品画像の重心位置からそのエッジ点が属するクラスの辺までの距離との差を各エッジ点ごとに求め、求められた差に基づいて、各クラスごとにそのクラスに対応する辺とそのクラスに属する各エッジ点との距離の分布を作成する手段を備えているものが用いられる。
【００１４】
認識手段としては、たとえば、各エッジ点を４つのコーナ部分と４つのエッジ部分とにクラス分けする手段、分布作成手段によって作成された各エッジ部分に対する距離分布に基づいてエッジ形状を認識するエッジ形状認識手段、および分布作成手段によって作成された各コーナ部分に対する距離分布に基づいてコーナ形状を認識するコーナ形状認識手段を備えているものが用いられる。
【００１５】
エッジ形状認識手段としては、たとえば、対象エッジ部分に属するエッジ点がその対象エッジ部分に対応する辺上に位置しているか否かを判定するしきい値を、上記辺に直交する方向の距離として設定し、当該対象エッジ部分に属する各エッジ点と上記辺との距離を、しきい値と比較することにより、対象エッジ部分のエッジ形状を認識するものが用いられる。
【００１６】
エッジ形状認識手段として、複数の部品画像から得られた複数のエッジ部分に対する距離分布を入力パターンとし、入力パターンに対応するエッジ形状を表す信号を教師信号として、学習が行なわれたニューラルネットワークに、分布作成手段によって作成された対象エッジ部分に対する距離分布を入力することによって、対象エッジ部分のエッジ形状を認識するものを用いてもよい。
【００１７】
コーナ形状認識手段として、複数の部品画像から得られた複数のコーナ部分に対する距離分布を入力パターンとし、入力パターンに対応するコーナ形状を表す信号を教師信号として、学習が行なわれたニューラルネットワークに、分布作成手段によって作成された対象コーナ部分に対する距離分布を入力することによって、対象コーナ部分のコーナ形状を認識するものを用いてもよい。
【００１８】
【発明の実施の形態】
以下、図面を参照して、この発明を電子部品自動装着システムに適用した場合の実施の形態について説明する。
【００１９】
図１は、電子部品自動装着システムの全体的な構成を示している。
【００２０】
電子部品自動装着システムは、システム全体を制御するホストコンピュータ１、電子部品をプリント基板に装着する電子部品装着装置２、および部品位置認識、形状認識等を行なう画像処理装置３を備えている。ホストコンピュータ１は、電子部品の位置認識に用いられる標準データが記憶されたデータベース４を備えている。画像処理装置３には、モニタ５およびユーザーインタフェース６が接続されている。
【００２１】
電子部品装着装置２は、ノズルに吸着された電子部品をＣＣＤカメラで撮像し、部品画像を取得する部品画像入力手段２１を備えている。
【００２２】
画像処理装置３は、部品画像入力手段２１によって得られた部品画像を、たとえば５１２×５１２画素、８ビット２５６階調の濃淡画像として画像メモリに取込み、画像処理により電子部品の位置認識、標準データの計測等を行なう。モニタ５には、部品画像、処理結果等が表示される。
【００２３】
画像処理装置３は、位置認識手段３１および標準データ計測手段３２を備えている。位置認識手段３１は、電子部品画像と、ホストコンピュータ１から供給される電子部品の種類、サイズ、形状等の標準データとに基づいて、電子部品の重心位置、傾き角度等を検出する。標準データ計測手段３２は、電子部品画像に基づいて、電子部品の種類、サイズ、形状情報等の標準データを求める。
【００２４】
ユーザーインタフェース６は、必要に応じて、標準データ計測手段３２によって求められた標準データの修正等を行なう。ホストコンピュータは、各装置の制御の他、標準データの統計学的処理、標準データのデータベースへの登録、更新および読み出しを行なう。
【００２５】
図２および図３は、標準データとして用いられる電子部品の局所形状を示している。図２はエッジ形状の例を示し、図３はコーナ形状の例を示している。
【００２６】
エッジ形状には、”直線形状”（図２（ａ））、”突起あり”（図２（ｂ））、”陥没あり”（図２（ｃ））およびその他の形状（”不良形状”）（図２（ｄ））がある。
【００２７】
コーナ形状には、”Ｒ面取り”（図３（ａ））、”Ｃ面取り”（図３（ｂ））およびその他の形状（”不良形状”）（図３（ｃ））がある。
【００２８】
図４は、標準データ計測手段３２によって行なわれる局所形状認識処理手順を示している。
【００２９】
（１） まず、図５に示すように、部品画像の重心位置Ｇが、ブロブ解析等によって求められる（ステップ１）。
【００３０】
（２） そして、重心位置Ｇを極座標系（ｒ，θ）の原点として、放射状に画像データをアクセス（ラジアルスキャン）しながら、微分処理を行なうことにより、部品の輪郭上の点（エッジ点）が検出される（ステップ２）。つまり、エッジ点の位置（ｒ，θ）およびその点のグラディエント（gradient) 方向（エッジベクトル）αが検出される。
【００３１】
このエッジ検出には、たとえば、sobel の微分オペレータが用いられる。図６（ａ）は、sobel のｘ方向の微分オペレータの重み付けを示している。図６（ｂ）は、sobel のｙ方向の微分オペレータの重み付けを示している。図６（ｃ）のように、局所領域内の画素の位置および値をＡ〜Ｈで表すと、水平方向の微分値Ｓｘは数式１で表され、垂直方向の微分値Ｓｙは数式２で表される。
【００３２】
【数１】
【数２】
そして、画素Ｅの場所におけるエッジ強度Ｓは次の数式３で与えられ、グラディエント方向αは次の数式４で与えられる。
【００３５】
【数３】
【数４】
ただし、通常arctanは、−π／２〜π／２の範囲で計算されるが、ここでは、極座標系の方向θに合わせて０〜２πの範囲で計算される。
【００３８】
ラジアルスキャン方向θごとに、エッジ強度Ｓが最大となる点（ｒ，θ）が、部品のエッジ（輪郭）として抽出される。また、この点のグラディエント方向αがそのエッジ点でのエッジベクトルとされる。このようにして、部品画像の各エッジ点のｒ、θ、αが抽出される。
【００３９】
（３） 次に、エッジベクトルの補正処理が行なわれる（ステップ３）。つまり、図５に示すように、注目エッジ点Ａから互いに反対方向に所定距離離れた２つのエッジ点Ｂ、Ｃが選択され、選択された２つのエッジ点Ｂ、Ｃを結ぶ直線の方向に直交する方向（内側から外側に向かう方向）が、注目エッジ点Ａのエッジベクトルαとされる。
【００４０】
ただし、注目エッジ点から互いに反対方向に所定距離離れた２つのエッジ点であっても、その点のグラディエント方向αが注目エッジ点のグラディエント方向αとほぼ等しくない場合には、その点は選択されない。このような場合には、グラディエント方向αが注目エッジ点のグラディエント方向αと等しくないエッジ点の代わりに、そのエッジ点から注目エッジ点により近いエッジ点であって、グラディエント方向αが注目エッジ点のグラディエント方向αとほぼ等しいエッジ点が選択される。
【００４１】
このようなエッジベクトルαの補正が全てのエッジ点に対して行なわれる。ステップ２で抽出された各エッジ点のグラディエント方向αにノイズ誤差があっても、上記補正処理により精度の高いグラディエント方向（エッジベクトル）αが得られる。なお、ステップ２で求められた各エッジ点のグラディエント方向αを補正前のグラディエント方向αといい、ステップ３で求められた各エッジ点のグラディエント方向αを補正後のグラディエント方向αということにする。
【００４２】
次に、部品画像を対局的に四角形とみなし、その四角形の４辺（以下、モールド直線という）に対する法線ベクトルα１〜α４と、原点Ｇから各モールド直線までの距離ρ１〜ρ４が求められる（ステップ４、５）。
【００４３】
まず、直線の方程式について説明する。図５において、重心Ｇを原点とするＸＹ座標を想定すると、原点Ｇからθ方向に距離ｒのエッジ点ＤのＸＹ座標値は、ｒとθとを用いて次の数式５で表される。
【００４４】
【数５】
また、電子部品の上辺の直線の方程式は、原点Ｇからその直線までの距離をρとし、その直線の法線ベクトルをαとすると、ハフ変換により数式６で与えられる。
【００４６】
【数６】
数式６から、ｘ、ｙを消去すると、数式７が得られる。
【００４８】
【数７】
数式７で得られた直線の方程式のパラメータには、法線ベクトルαと原点Ｇから直線までの距離ρとがある。
【００５０】
（４） そこで、まず、各モールド直線に対する法線ベクトルα１〜α４が求められる（ステップ４）。
【００５１】
図７（ａ）は、横軸にエッジベクトルα（補正前のエッジベクトルαおよび補正後のエッジベクトルαの両方を含む）をとり、縦軸にラジアルスキャン方向θをとって、各エッジ点の分布を表したものである。この分布に基づいて、エッジベクトルαに対するエッジ点の度数を表すヒストグラムが生成される。エッジベクトルαに対するエッジ点のヒストグラムを図７（ｂ）に示す。
【００５２】
電子部品は大局的に四角形とみなすことができるので、その４辺に対応して４箇所に、エッジベクトルαの度数のピークＰ１〜Ｐ４ができる。四角形の各辺の方向は９０°ずつ異なっているので、エッジベクトルαの度数のピークＰ１〜Ｐ４の間隔も９０°ごとに現れる。
【００５３】
図７（ｂ）のヒストグラムが９０°単位に４分割され、各９０°単位のヒストグラムが足し合わされる。これにより、図７（ｃ）に示すヒストグラムが得られる。図７（ｃ）のヒストグラムには、１つの大きなピークＰが現れる。このピークＰに対応するエッジベクトルが、１つのモールド直線に対する法線ベクトルα１として抽出される。
【００５４】
抽出された１つのモールド直線に対する法線ベクトルα１に、９０°、１８０°および２７０°がそれぞれ加算されることにより、他の３つのモールド直線に対する法線ベクトルα２、α３およびα４が求められる。このような法線ベクトルα１〜α４の求め方を第１方法ということにする。
【００５５】
ところで、実際の部品には、微小な形状の歪みがあるため、対辺どうしが平行になるとは限らない。そこで、微小な形状の歪みを吸収するために、４つのモールド直線に対する法線ベクトルα１〜α４を、次のようにして求めてもよい。ここでは、法線ベクトルα２についてのみ説明する。
【００５６】
図７（ｂ）のヒストグラムの横軸上において、第１方法によって求められた法線ベクトルα２を中心とする幅±Δαの範囲を設定する。Δαとしては、たとえば５°が設定される。そして、その範囲内の各αごとに、αの値とそれに対するエッジ点の度数との積を求め、求められた積を加算する。つまり、αの値とそれに対するエッジ点の度数との積の累積値を求める。得られた累積値を、上記範囲内の度数の累積値で除算することにより、その範囲内でのαの平均値を算出する。そして、得られた平均値を法線ベクトルα２とする。このような法線ベクトルα１〜α４の求め方を第２方法ということにする。
【００５７】
また、部品の中には、１辺が隣り合う２辺と直角でない台形状のものがある。このような部品においては、隣り合う２辺と直角でない傾斜辺において、その辺に沿ったモールド直線を検出することが好ましい。
【００５８】
そこで、４つのモールド直線に対する法線ベクトルα１〜α４を、次のようにして求めてもよい。ここでは、法線ベクトルα２についてのみ説明する。
【００５９】
図７（ｂ）のヒストグラムにおいて、図７（ｃ）に基づいて上記のようにして求められた法線ベクトルα２の付近で度数がピークとなるαを局所的に探索し、探索されたαを法線ベクトルα２とする。この方法では、図７（ｂ）のＰ１、Ｐ２、Ｐ３、Ｐ４が法線ベクトルα１、α２、α３、α４となる。このような法線ベクトルα１〜α４の求め方を第３方法ということにする。
【００６０】
なお、第２方法と同様に、第３方法によって求められた法線ベクトルα１、α２、α３、α４付近のαの平均値を法線ベクトルα１、α２、α３、α４としてもよい。
【００６１】
（５） 次に、原点Ｇから各モールド直線までの距離ρ１〜ρ４が求められる（ステップ５）。
【００６２】
つまり、ステップ４で求められた４個の法線ベクトルα１〜α４のうち、まず、法線ベクトルα１に似通ったエッジベクトル（補正前のエッジベクトルαおよび補正後のエッジベクトルαの両方を含む）を持つエッジ点が選択される。そして、選択された各エッジ点ごとに、数式７により、ρが計算される。この際、数式７のαとしては、α１が用いられる。そして、得られたρに基づいて、ρに対するエッジ点の度数を表すヒストグラムを作成し、度数の最も大きいρが、法線ベクトルα１に対応するモールド直線に対するρ（＝ρ１）として抽出される。これにより、法線ベクトルがα１である直線のうちの最も長い直線と、原点Ｇとの距離がρ１として選択される。
【００６３】
同様にして、法線ベクトルα２、α３およびα４に対応するモールド直線のρ２、ρ３およびρ４が抽出される。
【００６４】
通常のハフ変換では、全ての検出エッジ点に対してその点のグラディエント方向αをパラメータとしてρが計算される。そして、各エッジ点のグラディエント方向αおよびρがα−ρ空間に投票され、票の多いα、ρの組み合わせを用いて直線が決定される。しかしながら、この方法では角チップのように４本の直線しか存在しない部品では問題はないが、異形部品、ＩＣ等のリード部品ではモールドの他、コーナ部分、モールドから突出した部分にも直線部分があるので、票の多い順に４本の直線を選択すると、モールドの４直線以外の直線が選択されてしまうことがある。
【００６５】
上記実施の形態では、モールド直線の法線ベクトルが先に決定され、この法線ベクトルに似通ったエッジベクトルを持つエッジ点に対してのみρの計算を行なっているので、モールド直線とは別の法線ベクトルを持つ直線が検出されるといったことがない。
【００６６】
（６） 次に、各エッジ点が、四角形の４辺ごとにクラス分けされる（ステップ６）。つまり、隣り合う２本のモールド直線の交点に対する極座標系の方向θ１、θ２、θ３およびθ４が求められる。隣り合う２本のモールド直線の交点を、コーナ位置と定義する。各エッジ点のθにより、各エッジ点がどの辺（モールド直線）に属するかがクラス分けされる。
【００６７】
隣り合う２本のモールド直線の交点に対する極座標系の方向θ１、θ２、θ３およびθ４は、次のようにして求められる。
【００６８】
法線ベクトルがα１のモールド直線に対するρをρ１とし、法線ベクトルがα２のモールド直線に対するρをρ２とし、これらのモールド直線の交点（コーナ位置）のＸＹ座標を（ｘｏ，ｙｏ）とすると、数式６から次の数式８が成り立つ。
【００６９】
【数８】
数式８から、上記両モールド直線の交点のＸＹ座標（ｘｏ，ｙｏ）は、次の数式９によって求められる。
【００７１】
【数９】
このようにして、４つのコーナ位置のＸＹ座標が求められると、各コーナ位置が原点Ｇからどの方向に位置しているかが計算されることにより、隣り合う２本のモールド直線の交点に対する極座標系の方向θ１、θ２、θ３およびθ４が求められる。
【００７３】
（７） 次に、各クラス毎に、各エッジ点からそのエッジ点が属するクラスの辺（モールド直線）までの距離Δρが算出される（ステップ７）。
【００７４】
つまり、まず、数式７を用いて各エッジ点ごとにρが求められる。この際、法線ベクトルαとしては、当該エッジ点が属するクラスのモールド直線の法線ベクトルα１、α２、α３、α４が用いられる。つまり、エッジ点を通りかつそのエッジ点が属するモールド直線と平行な直線と、原点Ｇとの距離ρが算出される。
【００７５】
次に、各エッジ点に対して求められたρと、そのエッジ点が属するモールド直線のρ１、ρ２、ρ３またはρ４との差Δρ、すなわち、エッジ点からモールド直線までの距離が求められる。図８は、モールド直線Ｌに対応するクラスに属するエッジ点と、これらのエッジ点ごとに求められたΔρを示している。図８において、Ｒ１およびＲ２は、コーナ位置を示している。エッジ点がモールド直線上にある場合には、そのΔρは０となる。エッジ点がモールド直線より外側にある場合には、そのΔρは正の値（Δρ＞０）となる。エッジ点がモールド直線より内側にある場合には、そのΔρは負の値（Δρ＜０）となる。
【００７６】
（８）次に、各エッジ点が、エッジ部分とコーナ部分とにクラス分けされる（ステップ８）。
【００７７】
まず、コーナ位置の方向θ付近にあるエッジ点からモールド直線の中央部に向かって、各エッジ点のΔρが調べられ、最初にΔρが０となるエッジ点がエッジ端点とされる。図８の例では、点Ｑ１、Ｑ２、Ｑ３、Ｑ８がエッジ端点である。モールド直線上の２つのエッジ端点Ｑ１、Ｑ２の間部分がエッジ部分とされる。また、２つのモールド直線のコーナ点付近にある２のエッジ端点の間部分、すなわち、図８の点Ｑ１とＱ８との間部分、点Ｑ２とＱ３との間部分がコーナ部分とされる。
【００７８】
（９）次に、４つのエッジ部分におけるΔρの分布に基づいてエッジ形状が認識され、４つのコーナ部分におけるΔρの分布に基づいてコーナ形状が認識される。
【００７９】
エッジ形状認識は、たとえば、次のようにして行なわれる。まず、エッジ点がモールド直線上に位置しているか否かを判定するしきい値を、モールド直線に直交する方向の距離として設定する。そして、エッジ部分に属するエッジ点のうち、そのΔρが＋方向および−方向にそのしきい値を越えているエッジ点が存在しない場合には、そのエッジ部分の形状を”直線形状”と判定する。
【００８０】
エッジ部分のエッジ点のうち、そのΔρが＋方向にそのしきい値を越えているエッジ点が存在する場合には、原則的にそのエッジ部分の形状を”突起あり”と判定する。また、エッジ部分のエッジ点のうち、そのΔρが−方向にそのしきい値を越えているエッジ点が存在する場合には、原則的にそのエッジ部分の形状を”陥没あり”と判定する。ただし、突起または陥没が３個以上存在する場合には、そのエッジ部分の形状を”不良形状”と判定する。
【００８１】
コーナ形状認識は、コーナ部分のΔρの分布だけでなく、コーナ部分の２つのエッジ端点を結ぶ直線を一方の対角線とする正方形または長方形領域内の部品部分の面積と背景部分の面積との比やコーナ部分の各エッジ点のベクトルの方向の変化に基づいて判定してもよい。
【００８２】
図９は部品画像の一例を示している。図１０は、図９の画像から求められたΔρの分布を示している。図９において、Ｒ１〜Ｒ４はコーナ位置を示し、Ｑ１〜Ｑ８はエッジ端点を示している。この例では、各エッジ部分のΔρの分布に基づいて、左側エッジ部ＥＬは”突起あり”と認識され、下側エッジ部ＥＤは”直線形状”と認識され、右側エッジ部ＥＲは”不良形状”と認識され、上側エッジ部ＥＵは”直線形状”と認識される。
【００８３】
また、各コーナ部分のΔρの分布に基づいて、右上コーナ部および右下コーナ部は”Ｃ面取り”と認識され、左上コーナ部および左下コーナ部は”不良形状”と認識される。左上コーナ部および左下コーナ部が”Ｒ面取り”と認識されず、”不良形状”と認識されているのは、コーナ部が突起に連続している場合には、”不良形状”と認識するようにしたことによる。
【００８４】
コーナ形状認識を、コーナ部分の２つのエッジ点を結ぶ直線を一方の対角線とする正方形領域内の部品部分の面積と背景部分の面積との比に基づいて判定する方法について説明する。
【００８５】
図１１の（ａ）、（ｂ）、（ｃ）は、コーナ部分の２つのエッジ端点を結ぶ直線を一方の対角線とする正方形領域を示している。図１１（ａ）はコーナ形状が”Ｃ面取り”の例を示し、図１１（ｂ）はコーナ形状が”Ｒ面取り”の例を示し、図１１（ｃ）はコーナ形状が”不良形状”の例を示している。
【００８６】
正方形領域内の背景部分の面積Ｓ１と部品部分の面積Ｓ２との比（Ｓ１／Ｓ２）がほぼ１であれば、そのコーナ形状は”Ｃ面取り”と判定される。正方形領域内の背景部分の面積Ｓ１と部品部分の面積Ｓ２との比（Ｓ１／Ｓ２）が｛（４−π）／π｝＝０．２７にほぼ等しければ、そのコーナ形状は”Ｒ面取り”と判定される。正方形領域内の背景部分の面積Ｓ１と部品部分の面積Ｓ２との比（Ｓ１／Ｓ２）が、１または０．２７にほぼ等しくない場合には、そのコーナ形状は”不良形状”と判定される。
【００８７】
なお、エッジ形状の認識およびコーナ形状の認識を、ニューラルネットワークを用いて行なうようにしてもよい。ニューラルネットワークとしては、たとえば、図１２に示すように、入力層、中間層および出力層からなる階層型ニューラルネットワークが用いられる。
【００８８】
このようなニューラルネットワークを用いてエッジ形状の認識を行なう場合について説明する。複数の電子部品画像から得られた複数のエッジ部分におけるモールド直線との差分Δρの分布を入力パターンとし、入力パターンに対応するエッジ形状を表す信号を教師信号として、ニューラルネットワークを学習させる。出力層のユニット数が４である場合には、図１３に示すように、”直線形状”に対応する教師信号としては（１，０，０，０）が、”突起あり”に対応する教師信号としては（０，１，０，０）が、”陥没あり”に対応する教師信号としては（０，０，１，０）が、”不良形状”に対応する教師信号としては（０，０，０，１）が用いられる。
【００８９】
学習後のニューラルネットワークに、形状認識対象である電子部品画像から得られたエッジ部分におけるΔρの分布を入力信号として与えると、そのエッジ部分の形状に応じた出力が得られる。なお、エッジ部分の長さが異なる場合には、たとえば写像変換により、当該エッジ部分におけるΔρの数を、入力層のユニット数に合わせればよい。
【００９０】
ニューラルネットワークを用いてコーナ形状の認識を行なう場合は、複数の電子部品画像から得られた複数のコーナ部分におけるΔρの分布を入力パターンとし、入力パターンに対応するコーナ形状を表す信号を教師信号として、ニューラルネットワークを学習させる。
【００９１】
学習後のニューラルネットワークに、形状認識対象である電子部品画像から得られたコーナ部分におけるΔρの分布を入力信号として与えると、そのコーナ部分の形状に応じた出力が得られる。
【００９２】
【発明の効果】
この発明によれば、部品の局所形状を自動的に認識できるようになる。
【図面の簡単な説明】
【図１】電子部品自動装着システムの全体的な構成を示すブロック図である。
【図２】エッジ形状の種類を示す模式図である。
【図３】コーナ形状の種類を示す模式図である。
【図４】局所形状認識処理の手順を示すフローチャートである。
【図５】部品画像の一例を示す模式図である。
【図６】微分オペレータの重み付けを示す模式図である。
【図７】各モールド直線に対する法線ベクトルα１〜α４を求める方法を説明するためのグラフである。
【図８】モールド直線Ｌに対応するクラスに属するエッジ点と、これらのエッジ点ごとに求められたΔρを示す模式図である。
【図９】部品画像の一例を示す模式図である。
【図１０】図９の画像から求められたΔρの分布を示すグラフである。
【図１１】コーナ部分の２つのエッジ端点を結ぶ直線を一方の対角線とする正方形領域を示す模式図である。
【図１２】ニューラルネットワークの構成例を示す模式図である。
【図１３】教師信号の一例を示す説明図である。
【符号の説明】
１ ホストコンピュータ
２ 電子部品装着装置
３ 画像処理装置
４ データベース
３１ 位置認識手段
３２ 標準データ計測手段
Claims (11)
- 部品画像に基づいて、部品画像の輪郭上の点をエッジ点として検出するエッジ検出手段、
部品画像を大局的に四角形とみなして、その四角形の４辺ごとに、エッジ点をクラス分けするクラスタリング手段、
各クラスごとに、そのクラスに対応する辺とそのクラスに属する各エッジ点との距離の分布を求める分布作成手段、および
求められた分布に基づいて、部品の局所形状を認識する認識手段、
を備えている部品形状認識装置。 - エッジ検出手段は、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより、部品画像の重心位置を原点とする極座標系において、部品画像の輪郭上のエッジ点の位置を検出するとともに、各エッジ点のグラディエント方向を検出するものである請求項１に記載の部品形状認識装置。
- クラスタリング手段は、部品画像を大局的に四角形とみなして、その四角形の各辺に対する法線ベクトルを求める法線ベクトル算出手段、
各辺に対する法線ベクトルおよびハフ変換式により得られた方程式に基づいて、部品画像の重心位置から各辺までの距離を求める距離算出手段、ならびに
各辺に対する法線ベクトルおよび部品画像の重心位置から各辺までの距離に基づいて４つの辺を特定し、特定された４辺における隣り合う辺の交点位置に対応する極座標系の方向と、各エッジ点の極座標系の方向とに基づいて、各エッジ点がどの辺に属するかをクラス分けする手段、
を備えていることを特徴とする請求項１および２のいずれかに記載の部品形状認識装置。 - 法線ベクトル算出手段は、グラディエント方向に対するエッジ点の度数分布に基づいて、四角形の各辺に対する法線ベクトルを求めるものである請求項３に記載の部品形状認識装置。
- 各エッジ点のグラディエント方向には、第１のグラディエント方向と、第２のグラディエント方向とがあり、
各エッジ点の第１のグラディエント方向は、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより求められたグラディエント方向であり、
各エッジ点の第２のグラディエント方向は、注目エッジ点を中心として互いに反対方向にある２つのエッジ点であって、第１のグラディエント方向が注目エッジ点の第１のグラディエント方向とほぼ等しい２つのエッジ点を結ぶ直線に対する法線ベクトルであり、
各エッジ点の第１のグラディエント方向および第２のグラディエント方向の両方を考慮して、グラディエント方向に対するエッジ点の度数分布が作成される請求項４に記載の部品形状認識装置。 - 距離算出手段は、上記四角形の各辺ごとに、部品画像の重心位置から注目辺までの距離を求めるものであり、
法線ベクトル算出手段によって求められた注目辺に対する法線ベクトルに似通ったグラディエント方向を持つエッジ点を選択し、選択した各エッジ点ごとに、注目辺に対する法線ベクトルとハフ変換式により得られた方程式とを用いて、その点を通りかつ注目辺に対する法線ベクトルと等しい法線ベクトルを持つ直線と部品画像の重心位置との距離を算出する手段、ならびに
算出された距離に対するエッジ点の度数分布を作成し、度数の最も大きい距離を部品画像の重心位置から注目辺までの距離として選択する手段、
を備えている請求項３に記載の部品形状認識装置。 - 各エッジ点のグラディエント方向には、第１のグラディエント方向と、第２のグラディエント方向とがあり、
各エッジ点の第１のグラディエント方向は、部品画像の重心位置から放射状に走査しながら微分処理を行なうことにより求められたグラディエント方向であり、
各エッジ点の第２のグラディエント方向は、注目エッジ点を中心として互いに反対方向にある２つのエッジ点であって、第１のグラディエント方向が注目エッジ点の第１のグラディエント方向とほぼ等しい２つのエッジ点を結ぶ直線に対する法線ベクトルであり、
各エッジ点の第１のグラディエント方向および第２のグラディエント方向の両方を考慮して、注目辺に対する法線ベクトルに似通ったグラディエント方向を持つエッジ点が選択される請求項６に記載の部品形状認識装置。 - 分布作成手段は、
ハフ変換式により得られた方程式および各辺に対する法線ベクトルに基づいて、エッジ点を通りかつそのエッジ点が属するクラスの辺に対して平行な直線と、部品画像の重心位置との距離を、各エッジ点ごとに求める手段、および
エッジ点を通りかつそのエッジ点が属する辺と平行な直線と部品画像の重心位置との距離と、部品画像の重心位置からそのエッジ点が属するクラスの辺までの距離との差を各エッジ点ごとに求め、求められた差に基づいて、各クラスごとにそのクラスに対応する辺とそのクラスに属する各エッジ点との距離の分布を作成する手段、
を備えている請求項１、２および３のいずれかに記載の部品形状認識装置。 - 認識手段は、
各エッジ点を４つのコーナ部分と４つのエッジ部分とにクラス分けする手段、
分布作成手段によって作成された各エッジ部分に対する距離分布に基づいてエッジ形状を認識するエッジ形状認識手段、および
分布作成手段によって作成された各コーナ部分に対する距離分布に基づいてコーナ形状を認識するコーナ形状認識手段、
を備えている請求項１、２、３および８のいずれかに記載の部品形状認識装置。 - エッジ形状認識手段は、対象エッジ部分に属するエッジ点がその対象エッジ部分に対応する辺上に位置しているか否かを判定するしきい値を、上記辺に直交する方向の距離として設定し、当該対象エッジ部分に属する各エッジ点と上記辺との距離を、しきい値と比較することにより、対象エッジ部分のエッジ形状を認識するものである請求項９に記載の部品形状認識装置。
- エッジ形状認識手段は、複数の部品画像から得られた複数のエッジ部分に対する距離分布を入力パターンとし、入力パターンに対応するエッジ形状を表す信号を教師信号として、学習が行なわれたニューラルネットワークに、分布作成手段によって作成された対象エッジ部分に対する距離分布を入力することによって、対象エッジ部分のエッジ形状を認識するものであり、
コーナ形状認識手段は、複数の部品画像から得られた複数のコーナ部分に対する距離分布を入力パターンとし、入力パターンに対応するコーナ形状を表す信号を教師信号として、学習が行なわれたニューラルネットワークに、分布作成手段によって作成された対象コーナ部分に対する距離分布を入力することによって、対象コーナ部分のコーナ形状を認識するものである請求項９に記載の部品形状認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11672596A JP3706431B2 (ja) | 1996-05-10 | 1996-05-10 | 部品形状認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11672596A JP3706431B2 (ja) | 1996-05-10 | 1996-05-10 | 部品形状認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09305763A JPH09305763A (ja) | 1997-11-28 |
| JP3706431B2 true JP3706431B2 (ja) | 2005-10-12 |
Family
ID=14694263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11672596A Expired - Fee Related JP3706431B2 (ja) | 1996-05-10 | 1996-05-10 | 部品形状認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3706431B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5783569B2 (ja) * | 2011-11-22 | 2015-09-24 | 国立大学法人鳥取大学 | 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム |
-
1996
- 1996-05-10 JP JP11672596A patent/JP3706431B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09305763A (ja) | 1997-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
| US20070104358A1 (en) | Object recognizing method, program and storage medium for recognizing object, and object recognizing apparatus | |
| JP2745764B2 (ja) | 位置認識装置 | |
| JP6197340B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6177541B2 (ja) | 文字認識装置、文字認識方法及びプログラム | |
| CN102831578B (zh) | 图像处理方法和图像处理设备 | |
| JP3322569B2 (ja) | 部品画像のエッジ検出方法および部品形状認識装置 | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| JP4707249B2 (ja) | 部品位置検出方法及び装置 | |
| CN114936997A (zh) | 检测方法、装置、电子设备及可读存储介质 | |
| JPH041869A (ja) | 画像照合方法 | |
| JP3706431B2 (ja) | 部品形状認識装置 | |
| JP3460356B2 (ja) | 円ないし楕円の検出方法およびその装置 | |
| JP3579247B2 (ja) | パターンの位置合わせ方法 | |
| JP4097255B2 (ja) | パターンマッチング装置、パターンマッチング方法およびプログラム | |
| JP3700214B2 (ja) | 寸法測定装置 | |
| JP3580088B2 (ja) | 外観検査方法 | |
| JP3520758B2 (ja) | 画像認識方法 | |
| JP2000321038A (ja) | パターン欠陥検出方法 | |
| JP2005091181A (ja) | 画像処理装置 | |
| JP2710685B2 (ja) | 外観検査による欠陥検出方法 | |
| CN114324405B (zh) | 基于菲林检测的数据标注*** | |
| JP2006234793A (ja) | 部品位置検出方法および装置 | |
| Shin et al. | Three-dimensional metrology of surface extracted from a cloud of measured points using a new point-to-surface assignment method: an application to pcb-mounted solder pastes | |
| CN118115467A (zh) | 一种基于机器视觉的工件检测***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050729 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |