JP2000232299A - 部品認識方法および装置 - Google Patents

部品認識方法および装置

Info

Publication number
JP2000232299A
JP2000232299A JP11033595A JP3359599A JP2000232299A JP 2000232299 A JP2000232299 A JP 2000232299A JP 11033595 A JP11033595 A JP 11033595A JP 3359599 A JP3359599 A JP 3359599A JP 2000232299 A JP2000232299 A JP 2000232299A
Authority
JP
Japan
Prior art keywords
electrode
extracted
coordinates
electrodes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11033595A
Other languages
English (en)
Other versions
JP4327289B2 (ja
Inventor
Takashi Terachi
隆 寺地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP03359599A priority Critical patent/JP4327289B2/ja
Priority to US09/500,716 priority patent/US6690819B1/en
Publication of JP2000232299A publication Critical patent/JP2000232299A/ja
Application granted granted Critical
Publication of JP4327289B2 publication Critical patent/JP4327289B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 すべての部品を精度良く認識でき、照明条件
が緩く、しかも高速な画像処理が可能な部品認識方法お
よびその装置を提供する。 【解決手段】 所定配列の電極パターンを有する部品が
撮像され、角33aから小窓を掃引してして種電極32
が抽出される(S1)。種電極が検出されると、これを
原点にしてH0V0座標が作成され、周辺電極が観測され
る(S2)。この状態では、すでに抽出された電極群か
ら予測される位置に小窓が設定され、順次電極が抽出さ
れる。続いて抽出された電極のパターン並びにその電極
の座標が求められ、抽出された電極パターンと所定配列
の電極パターンとが重ねて照合され、位置決めが行われ
る(S3)。両パターンの不一致が最も少なくなったと
きに、抽出電極の座標値から所定配列の電極パターンの
電極の画像座標が決定される。このような構成では、電
極の抽出が高速に行われ、しかも正確な電極の座標値を
求めることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、部品認識方法およ
びその装置、更に詳細には、電子部品の表面実装装置な
どにおいて撮像された部品の画像位置決めが可能な部品
認識方法およびその装置に関する。
【0002】
【従来の技術】電子部品の表面実装装置において、電子
部品は部品供給装置(フィーダ)から供給され、吸着ノ
ズルにより吸着されて回路基板に実装される。吸着ノズ
ルは必ずしも正しい姿勢で電子部品を吸着するとは限ら
ないので、通常CCDカメラなどにより吸着部品が撮像
されて部品認識が行なわれ、正しい姿勢で吸着されてい
ない場合には、認識結果に基づき位置補正、傾き補正な
どが行なわれている。
【0003】図1には、このような従来の部品認識方法
が図示されている。図1(A)はBGA(ボール・グリ
ッド・アレイ)を底面1、すなわち電極側から反射光撮
像したものであり、複数のボール電極1a、1b、1
c、……が撮像されている。また、(B)はコネクタ、
PLCC等リード部品を同条件で撮像したものであり、
基礎2に取り付けられたリード2a、2b、2c、……
が撮像されている。入力画像は濃淡画像でありXY座標
系で画素の位置をあらわすものとする。部品の電極パタ
ーンと寸法はあらかじめわかっているから、吸着ノズル
の吸着位置のずれと吸着角度のずれを勘案して図で点線
1’、2’で示すように、画像内に電極集合の存在範囲
(ウィンドウ)を設定し、この範囲で画像へのアクセス
を行ない画像処理の高速化を計るのが一般的である。
【0004】図1(A)は、存在範囲1’の中で水平方
向に画像を走査している。走査によって得られた画素の
値、すなわち明度をZ軸であらわせば図1(C)の明度
グラフが得られる。図1(C)のa、b、cは、それぞ
れ(A)の画像の走査線a、b、cに対応している。グ
ラフの山の周期Tが電極間距離に等しいことから、走査
線cでは電極の列を走査していることが理解できる。図
1(A)の電極1aのX座標は、(C)の走査線bのピ
ーク座標であり(x0)、またそのY座標は走査線bと
cの間にあることから、両者のY座標を補間することに
より求めることができる(y0)。他のボール電極の座
標も同様に順次求めて行く。なお、走査する方向は、水
平方向走査の他に、垂直方向走査、45度方向走査も加
えて位置の信頼性を高めた実施形態もある。
【0005】図1(B)のリード部品の場合には、走査
の結果、電極間距離と同じ周期のリード形状に対応した
波形が得られるから、BGAのときと同様な処理を行な
えば、リード2a、2b、2c等の先端座標を求めるこ
とができる。
【0006】
【発明が解決しようとする課題】しかしながら、従来の
部品認識では、走査線が出力する明度値に依存するため
認識対象とする部品の種類によっては認識が困難ないし
不可能なものがある。図2には、その例が示されてお
り、(A)はBGA部品3であって、外縁3aがあり、
偽電極3bがあり、基礎3cは雑音で汚れ、構造物3d
があり、更に配線3eが走っている。このBGAを撮像
すると、それらの明度は、真の対象電極より高いときさ
えあるので、従来方式で走査した場合には、電極以外の
構造を波形として出力するため認識は不可能である。
【0007】図2(B)は、コネクタ等によく見られる
リード部品であり、基礎4には段差構造4aがあり、ま
た止め金具4bが取り付けられている。従って、このリ
ード部品の撮像画面では、これらの段差ないし止め金具
の明度が対象電極より高い場合があるので、従来方式で
走査した場合、まず上段電極では止め金具4bを取り込
んでしまうから、これが真のリードかどうかの判定が困
難になる。また下段電極では、段差4aの映像が一様で
ないため真のリードかどうかの判定が困難である。
【0008】図2(C)は、(A)と同様BGA部品5
である。電極5aだけ映って好条件にもかかわらず従来
方式では認識が困難である。なぜなら電極が十字型に並
んでいるから水平、垂直、45°、どの方向に走査して
も最初の検出波形の山が1個しかないので(45°の場
合も部品は普通傾いて映っているから1個になる)、周
期の確定を前提とする処理ができないからである。従っ
て、図2(C)のような部品を位置決めするには、その
電極パターンに特化した画像処理を行なわなければなら
ないのが、実状である。また画像の走査を行うので、画
像全域もしくはその一部の全域の画素数に比例した処理
時間がかかるのも難点で、処理時間が大きく、部品搭載
のタクト・タイムの点で問題である。
【0009】このように従来方式では、認識が困難ない
し不可能な部品があり、認識精度が劣化する、認識精度
を上げるためには、照明・撮像の条件が厳しく機器のコ
ストが上昇する、画像処理速度が遅い、など種々の問題
があった。
【0010】本発明は、上記従来の問題点を解決するた
めになされたもので、すべての部品を精度良く認識で
き、照明条件が緩く、しかも高速な画像処理が可能な部
品認識方法およびその装置を提供することをその課題と
している。
【0011】
【課題を解決するための手段】本発明は、上述した課題
を解決するために、所定配列の電極パターンを有する部
品を撮像して電極の位置を認識する部品認識方法におい
て、撮像された部品の画像内に順次所定の大きさの小窓
を設定して電極の抽出を行ない、抽出された電極のパタ
ーン並びにその電極の座標を求め、前記抽出された電極
パターンと前記所定配列の電極パターンとを重ねあわせ
て照合し、照合結果に基づき前記所定配列の電極パター
ンの電極の画像座標を決定する構成を採用した。
【0012】また、本発明では、所定配列の電極パター
ンを有する部品を撮像して電極の位置を認識する部品認
識装置において、撮像された部品の画像内に順次所定の
大きさの小窓を設定する手段と、設定された小窓を介し
て電極抽出を行なう手段と、抽出された電極のパターン
を作成する手段と、抽出された電極の座標値を算出する
手段と、前記抽出された電極パターンと前記所定配列の
電極パターンとを重ねあわせて照合する手段と、照合結
果に基づき前記所定配列の電極パターンの電極の画像座
標を決定する手段とを有する構成を採用している。
【0013】本発明では、所定配列の電極パターンを有
する部品が撮像され、部品の画像を所定の角から小窓で
掃引して種電極が抽出される。種電極が検出されると、
これを原点にして電極地図座標系H0V0が作成され、周
辺電極が観測される状態になる。この状態では、すでに
抽出された電極ないし電極群から予測される領域に小窓
が設定され、順次電極が抽出されていく。このように抽
出された電極のパターン並びにその電極の座標が求めら
れ、抽出された電極パターンと所定配列の電極パターン
(論理ないし定義電極パターン)とが重ねて照合され、
位置決めが行われる。両パターンの不一致が最も少なく
なったときに、すなわち両パターンが最もよく一致する
とき、抽出電極の座標値から所定配列の電極パターンの
電極の画像座標が決定される。このような構成では、電
極の抽出が高速に行われ、しかも抽出された電極パター
ンと所定配列の電極パターンとが重ねて照合され、位置
決めが行われるので、正確な電極の座標値を求めること
ができる。
【0014】
【発明の実施の形態】以下、図面に示す実施の形態に基
づいて本発明を詳細に説明する。
【0015】<全体の構成>図3は、本発明の一実施形
態に係わる部品認識装置のブロック構成図であり、画像
記憶部10は、照明光源11、11’で照明された認識
対象部品12をテレビカメラ(CCDカメラ)13で撮
像して得られる部品の濃淡画像を記憶する手段である。
照合方向決定部14は、認識対象部品12の電極パター
ンから認識に有利な角を決める手段であり、候補電極決
定部15は、電極パターンの角近傍の電極を選び位置決
めの候補とする手段である。
【0016】不一致許容数決定部16は、電極パターン
とその角をもとに位置決めの信頼性を得るための上限
値、すなわち不一致許容数を決定する手段であり、探索
領域縮小部17は、電極パターンとその角をもとに画像
の探索領域をさらに小さくする手段である。また、種電
極探索部18は、画像に浮かぶ電極の中から指定角近傍
の任意の電極を探し出す手段であり、座標予測部19
は、既に抽出された電極群の論理座標と物理座標から、
指定された論理座標の電極の物理座標を予測する手段で
ある。
【0017】また、ボール小窓発生部20はBGAの部
品認識のとき作動し、電極の中心予測領域を覆う抽出用
の小窓を発生する手段であり、リード小窓発生部21は
リード部品の認識のとき作動し、電極の先端予測領域を
覆う抽出用の小窓を発生する手段である。更に、三角点
発生部22は抽出電極群の望ましい格子の基準点、すな
わち測量用の三角点を発生する手段であり、偽電極排除
部23は抽出した電極を過去に溯って調べ偽電極を排除
する手段であり、電極位置決め部24は抽出される電極
のパターンから認識対象部品の画像座標を最終的に確定
する手段である。
【0018】小窓ボール抽出部25はBGA部品の認識
のとき作動し、画像内に置かれた窓を通し実際に電極を
抽出する手段であり、小窓リード抽出部26はリード部
品の認識のとき作動し、画像内に置かれた窓を通し実際
に電極を抽出する手段である。
【0019】また、角三角掃引部27は矩形領域を三角
形状に掃引する論理座標を生成する手段、角四角掃引部
28は矩形領域を長方形状に掃引する論理座標を生成す
る手段、らせん掃引部29は矩形領域をらせん形状に掃
引する論理座標を生成する手段である。
【0020】制御部30は各部の制御を行なう。
【0021】以下に、図4の全体の流れを示すフローチ
ャートに従って、本発明の各処理を詳細に説明する。
【0022】部品の電極パターンは、格子状に配列され
た縦M個横N個の矩形仮想電極空間の全体または矩形部
分空間であり、部品は仮想電極空間の少なくともひとつ
の角を共有しかつ少なくとも1個の実電極を持たねばな
らない。リード部品はM=1に相当するので、例えば、
図2(E)に示したようなリード部品7の認識は、図2
(D)のBGA部品6のM=1の認識と全く同じ手順で
認識される。従って、以下では、縦M個横N個のBGA
を部品例にして説明が行なわれる。
【0023】<照合方向決定>まず、ステップS20に
おいて照合方向決定部14による照合方向が決定され
る。各部品の電極は所定配列の電極パターンを形成して
おり、部品データなどから図6に示したような電極パタ
ーン(入力時の論理ないし定義電極パターン)を作成す
ることができる。このような所定配列の論理電極パター
ンはPQ座標系で表され、照合方向決定部14は、この
電極パターンからその重心を求め、認識に有利な角を決
定する。図6の電極パターンの場合、まずP軸のパター
ン重心座標Gp、Q軸のパターン重心座標Gq、を次の式
で求める。
【0024】Gp = (Σ(原点からの軸距離(i)×
Q方向の実電極数))/実電極数 Gq = (Σ(原点からの軸距離(j)×P方向の実電
極数))/実電極数 図6では、 Gp=(0×3+1×4+2×4+3×3+4×3)/
17 = 1.94、 Gq=(0×3+1×4+2×5+3×5)/17 =
1.71となる。パターンの中心は(2,1.5)であ
るから重心Gが左上に位置することがわかる。これから
照合座標系hvを図6の向きにとり実際入力パターンを
hvの向きに整列して書き換えたパターンを用意する。
【0025】各hv軸の方向は、重心の位置に従って図
8に示したような向きになる。図8(A)〜(D)はそ
れぞれ右上、左上、左下、右下にそれぞれ重心がある場
合のh軸v軸の向きが示されている。
【0026】図7はリード部品の場合のhv座標の取り
方を示す。図7(A)は入力パターンのP座標の終端寄
りに重心があるのでh軸は図の向きにとる。このとき仮
想的v軸を図の向きにとる。望ましい走査線の動きは図
の点線で示す向きであるから実際に画像座標系XYと対
応させるときは図8(D)を使う。ただしこのときh軸
とv軸を交換する。一方図7(B)に示すように、P軸
の原点寄りに重心がある場合には、h軸は図の向きにと
る。このときも仮想的v軸を図の向きにとる。望ましい
走査線の動きは図の実線で示す向きであるから実際に画
像座標系XYと対応させるときは図8(C)を使う。リ
ード部品の認識の場合、このようにリードの向き(例は
下向き)に対して座標系が2個必要となり従って実装現
場での4方向の向きに対して4×2=8種類の座標変換
を用意する。
【0027】図17の定義電極パターンの場合には、7
個の電極があり、領域A、B、Cには電極がないものと
する。照合方法決定部14により右上の電極40を位置
決めの核とすることが決まり、図18の照合座標系(h
v)が張られる。hv座標系は論理座標系であり、座標
の中身は1=実電極、0=空電極の2値である。矢印で
示したように外側に0を配置して4×4の大きさにして
おくと照合の速度を上げることができる。
【0028】このように、照合方向の決定により認識に
最も有利な角が決定され、照合座標系hvに座標変換を
行うことができる。
【0029】<候補電極決定>次に図4のステップS2
1に示したように、候補電極決定部15により候補電極
が決定される。候補電極決定部15は、電極パターンの
角近傍の電極を選び位置決めの候補とする手段である。
候補電極は、例えば、図9(A)に図示したような角三
角掃引で生成される。角三角掃引の場合、最初の出力は
(0、0)以降矢印の向きに原点から遠ざかりながら途
中の格子座標を発生する。これにより、図10(A)に
示したような電極パターンの場合、候補電極C1〜C5
が生成される。候補電極の数は比較的小さい定数(たと
えば5)で十分である。なぜなら確率の理論によると電
極が小窓で抽出される確率をPとしたとき、N個の電極
すべてが抽出されない確率は(1−P)のN乗であり、
仮にP=0.9、N=5としてもそれは10のマイナス
5乗であるからである。
【0030】図10(A)はある電極パターンの候補の
選出順序をしめすものであり、それらは同図に見るとお
り角三角掃引を反時計回りに行なうことによって得られ
る。一方、図10(A)の電極パターンでは候補電極C
6が必要である。これを得るために今度は同じ角三角掃
引を時計回りに発生すればよいことが判る。これには反
時計回りのときのIJを交換して図10(A)に貼り付
けることで容易に達成できる(時計回りの掃引時に得ら
れる5個目の電極がC6である)。
【0031】このような候補電極C6を必要とする理由
は、図10(B)から理解できる。図10(B)におい
て部品が実線36でなく点線36’で図示したように傾
きをもって吸着されたとき、電極C5より電極C6のほ
うが先に抽出されるから処理が少しでも早くなるからで
ある。もう一つの理由は、仮に図10(A)の例で、電
極C1〜C4がなく、かつ電極C5とC6間に多くの電
極がある部品である場合、図10(B)で実線36に示
すような吸着状態のときはC5よりの候補群だけが、そ
して一方点線36’のときはC6よりの候補群だけが抽
出の対象となるからである。
【0032】図17(図18)の電極パターンの例で
は、候補電極決定手段により候補者(電極)C1〜C5
が決まる。各候補者の中身はその論理座標である。たと
えばC1=(2、2)。
【0033】<不一致許容数決定>また、ステップS2
2において、不一致許容数決定部16により電極パター
ンとそのひとつの角をもとに位置決めの確認を得るため
の上限値、すなわち不一致許容数(非負整数e)が決定
される。不一致許容数とは、ある候補電極が自己の周辺
にe以下の不一致数を観測したとき他の候補電極は必ず
eより大きい値をとるような数であり、電極パターンの
照合時、不一致許容数内にすることにより電極パターン
の位置決めの信頼性を高めるために用いられる。不一致
許容数決定部16は、その不一致許容数を決定する手段
であり、図11にその処理の流れが図示されている。
【0034】まず、ステップS40において、抽出率と
誤読率から不一致許容数lim1が求められる。例え
ば、電極が小窓の中にあるときの抽出確率をP(たとえ
ば0.95)、電極が小窓の中にないとき誤って他のも
のを抽出する確率をQ(たとえば0.05)とすれば、 lim1=(1−P)×電極数+Q×仮想電極外周個数 で表される。たとえば、図17の例では、lim1=
(1−0.95)×7+0.05×8=0(個)とな
る。但し、第1項と第2項のそれぞれで整数まるめが行
われている。
【0035】次のステップS41で、仮想電極の総数を
越えるような正数を識別距離としてlim2にセットす
る。識別距離lim2は電極パターン固有の値であり、
0以上の数である。直感的にいえば、2次元に広がる有
界の電極パターンがあるとき、同じものを上から被せた
とき同じ位置に被せれば上と下の不一致は勿論0個であ
るが、ひとつでもずらせば不一致数(>0)が観測され
る。これを候補電極の位置だけ繰り返したときのその最
小値をkとする(k>0)。実際に観測される不一致数
は真のとき0個、偽のときk個以上であるからlim2
=k−1とすればこれは両者を識別できる最大の数であ
り工業上都合が良い。
【0036】図12には図17の電極パターンに対する
kの求め方を示している。縦の列は、座標系HV原点の
位置であり候補電極C1〜C5で示す。横の列は観測す
る候補電極C1〜C5である。図12の表の値は観測す
る候補電極がHV座標の原点であると仮定した場合の不
一致の観測数の最小値である。時間は上から下に、また
左から右に流れている。εはそのときの最小値を越えた
ことを示す。
【0037】たとえば、最初の最小値10はHV原点が
電極C1のとき電極C2が観測する不一致数である。こ
れは、次のようにして求まる。図18において、この4
×4の2値パターンを右上角'の電極(その2値は
0)から、図9(B)に示す角四角掃引により電極パタ
ーン全域にわたって取り出す('、'、
'、....)。電極が取り出されるごとに、電極C
1を原点とした場合と(真の原点)、電極C2を原点と
した場合の各電極についてその2値が一致しているか、
不一致であるかを調べる。
【0038】まず電極'のとき、電極C2からの変位
は(2、1)であり、その2値は0(空電極)である。
一方、真の原点の電極C1からの変位(2、1)は、パ
ターン空間の正方向の外であるから2値は0である。従
って、電極'は、電極C1を原点にしても、電極C2
を原点にしても同じ2値(=0)となり、両者は一致す
る。同様に、電極'のときも、各2値は0となり一致
する。
【0039】次に電極'のときは、2値は1であり、
電極C2を原点とすると、電極C2からの変位は(1、
0)である。真の原点C1からの同じ変位量の位置は電
極'が占めているので、その2値は0である。従っ
て、電極C2を原点とすると、電極'は実電極(=
1)として観測され、また真の原点C1からは空電極
(=0)として観測されるので、最初の不一致が発生す
る。
【0040】次の電極'、'では、いずれも2値は0
であり、不一致はない。次の電極'は自分自身である
からスキップする。次の電極'のときは、その2値は
0であり、電極C2を原点としたときの変位は、変位
(0、−1)である。真の原点C1からの同変位は電極
'のところであり、その2値は1である。従って、不
一致であり、不一致数は2となる。次の電極'では、
同様に不一致が発生し、不一致数は3となる。以下同様
にパターン全域で繰り返す。さらに図17の領域ABC
が空であるから図18において、v軸のすぐ左隣(h=
−1)の列のパターン値(すべて0)とh軸のすぐ下隣
(v=−1)の列のパターン値(すべて0)についても
同様に繰り返す(ステップS42)。以上の結果、観測
される不一致数は10であり、現在の最小値となる。
【0041】図12において、次に電極C3を原点とし
て、上記と同様な処理を行い、各電極'、'、'、
……ごとに、観測した不一致数を求める。このときは6
個の不一致が観測される。これは現在の最小値10より
小さいので6に置き換えられる。以下同様に続けると電
極C4を原点としたときの不一致数5が最小値のまま表
が埋められる。従って、求める不一致の最小値はk=5
である。以上は、図11のステップS43、S44の処
理に対応し、不一致数がlim2より小さいとときに
は、lim2はその数で書き換えられる(ステップS4
4)。
【0042】注意すべきは図17の電極パターンの場
合、領域A、B、Cのどれかが空でないときである。た
とえばA、B、Cがすべて空でない、言い換えれば、あ
るかないか不明のときはkの値は極端に減少する。たと
えば図17ではk=1となる。この値は図12の(縦C
4,横C1)の位置がとる値となる。なお図13にみら
れる空のない1次元電極列は点線の左側が空のときk=
2、不明のときk=1であり長さに無関係である。ちな
みに図1のパターンのABCが不明のとき、k=17で
ある。
【0043】以上のようにして求められた二つの要求値
lim1,lim2に対して、ステップS45でlim
2を1減算し、ステップS46で不一致許容数e = M
IN{ lim1,lim2}とする。図17の電極パ
ターンの場合、e=0となる。
【0044】このように、位置決めの確証を得るための
不一致許容数が決定される。
【0045】<探索領域縮小>次に、図4のステップS
23において探索領域縮小部17により電極パターンと
そのひとつの角から画像の探索領域をさらに小さくでき
る。ノズルの吸着範囲から探索範囲は決まっているが、
電極パターンの配置からそれを更に狭めることができ、
それにより位置決めの処理時間を短縮することができ
る。
【0046】図14には、探索領域が行われる様子が、
また図15には、その流れ図が図示されている。図14
において、角三角座標系ijが示されており、また照合
座標系hvが設定されている。まず、ステップS50に
おいて、hv座標系右上角の電極から始めて、その中の
電極がすべて空である三角形の空虚領域38の深さを求
める。この電極パターンの空虚三角形の深さを知るに
は、撮像された電極パターンの右上から図9(A)の角
三角掃引を行えばよい。最初に見つかった電極(=1)
の座標(i,j)の角からの軸方向の変位δがわかる。
これより図14に示すように角からの軸変位δ−1に開
始探索線を設ければよい。
【0047】一方左下の領域の縮小については、空虚が
どんなに深くてもパターンの左下角からの軸変位η=M
IN{M−1,N−1}までには実電極があることにな
っていることを前提にすれば、図14に示すように左下
角からの軸変位η−1に最終探索線を設ければよい。
【0048】なお、図17の電極パターンの場合パター
ンが小さいため縮小はなされない。
【0049】<画像取り込み>続いて、ステップS24
において部品の画像の取り込みが行われる。部品は、テ
レビカメラ13により撮像され、画像記憶部10に記憶
される。本発明は、部品の撮像を行うとき、電極数が多
ければ全部の電極が映っていなくてもよいし、電極以外
のものが映っていてもよいが、部品の認識対象電極のほ
とんどが映っていることが、前提になる。図2の各部品
は、いずれもこの前提を満たしており本発明により高い
精度で認識できる部品である。
【0050】<種電極探索>続いて、図4のステップS
25、S26において種電極探索部18により種電極が
探索される。この種電極は、ステップS24で取り込ま
れた画像に対して照合方向決定部で決定された角から斜
め探索が行われ最初に抽出される電極のことである。
【0051】図22(A)はボール電極のときの種電極
の探索を、また図22(B)はリード電極のときの種電
極の探索の状態を示している。いずれの場合も角から三
角形状に探索範囲を広げることを特徴とする。この位置
決めには図9(A)の角三角掃引が使われる。図22
(A)において、小窓と小窓の軸距離Δは、Δ = (4
/3)ρとするのが適当である。ただしρは、後述する
小窓のボール抽出能力と呼ばれる半径である(図24
(A))。図22(A)には、小窓44を角三角掃引に
より掃引することにより種電極(網点の電極)が抽出さ
れる状態が図示されている。
【0052】一方、図22(B)においては、小窓と小
窓の軸距離は、ピッチ方向ΔPとリード方向ΔLに分か
れる。ΔP=(4/3)P、ΔL=(4/3)L、とす
るのが適当である。ただしP、Lは、後述する小窓のリ
ード抽出能力と呼ばれる長さである(図26(A))。
図22(B)には、小窓46を角三角掃引により掃引す
ることにより種電極(網点の電極)が抽出される状態が
図示されている。
【0053】図5の状態図では、領域33の角33aか
ら三角掃引されて種電極32が探索された状態が示され
ている。また、図19の例では、探索領域の右上角から
図のように、位置を三角形に広げながらボール電極の抽
出が行われる。小窓が41の位置にきたときに種電極4
3が抽出されている。
【0054】<電極地図座標作成>種電極が探索される
と、図4のステップS27に進み、電極地図が作成さ
れ、三角測量網が作成され、周辺電極観測状態となる
(ステップS27、図5の状態S2)。電極地図は、図
5、図20に示したように、抽出された種電極を原点と
して原始電極地図座標系(H0V0)を張ることにより作
成される。この座標系H0V0は論理座標系であって、上
限と下限を有し、座標の中身は抽出電極の画像座標、直
径(幅)、明度、面積、..等である。図19において
種電極43の画像座標は(x1、y1)である。ちなみ
にボール電極の中心座標とリード電極の先端座標は図1
6の細粒座標系で示される。細粒座標系は図16の太線
48a〜48dで示す画素格子を分割した座標である。
図では8分割している。細粒座標系は画像座標系と原点
を共有しているので、以降煩わしさを避けるため画像座
標系の値として表記する。
【0055】原始地図座標系は、上述したように上限と
下限を有し、図19においてHS、VSはそれぞれ探索
範囲X軸Y軸のボール個数換算値として、同個数変位Δ
H、ΔVが図から判るので、原始地図座標系H0V0の上
限は(ΔH、ΔV)、下限は(ΔH−HS+1,ΔV−
VS+1)となる。原始電極地図座標系が有界であるこ
とは処理の高速化に欠かせない特長である。
【0056】次に図20において原始電極地図座標系と
原点を共有する(ただの)電極地図座標系(HV)を生
成する。これは実体のない仮想の座標系であり原始電極
地図座標系とは結合ベクトルで結ばれている。今はその
ベクトルは(0,0)である。
【0057】種電極が抽出された後は、図20原始電極
地図座標系の原点の負方向近傍一定領域に対して電極の
探索が行われる。この大きさは定数でよくたとえば例で
は近傍半径=4である。図20では、5×5=25個が
探索されている。このときの電極の探索順序は重要であ
る。図9(B)の角四角掃引と名づける座標の発生によ
る掃引による探索順序が使われる。この掃引の最初の出
力は(0、0)以降矢印の向きに原点から遠ざかりなが
ら途中の格子座標を発生する。これを図20のIJで示
す向きに対応させる。
【0058】<座標予測>種電極が抽出された後は、周
辺の電極が抽出されるが、その電極抽出は座標予測部1
9により予測された領域に小窓を設定することより行わ
れる。そのために、座標予測部19は既に抽出された電
極群の論理座標と物理座標から、指定された論理座標の
電極の物理座標を予測し、予測領域を設定する。この状
態が図23(A)、(B)に図示されている。
【0059】図23(A)は、HV座標系が張られたと
きに既に存在しているときの電極が1個の場合である。
この状況は種電極が抽出された直後にできる。いま既存
電極の論理座標を(h1、v1)、予測電極のそれを
(h、v)とすれば論理距離の差分(h−h1,v−v
1)の各成分にボール間距離(ΔH、ΔV)を乗ずれば
これは物理(画像)の距離となる。図6に示すようにボ
ール間距離ΔH、ΔVは、その差はわずかであるが、H
軸V軸で一般的に異なっている。この物理ベクトルをX
YにおけるHVの置かれた90°回転変位で回転する。
さらに吸着ノズルの回転ずれ角度の最大値φをもって右
回りと左回りに振る。こうしてできた広がりのある領域
にさらに本発明が不確実性と呼ぶ距離ε(図には記載し
ていない)を加算して広げれば最終結果がΓで示す予測
領域が設定される。不確実性εは予測に余裕を含ませる
ための値であり、電極の直径に依存するのがよい。たと
えばボールの場合はε=(1/3)ボール半径、リード
の場合はε=(1/8)リード幅と定める。なおφは表
面実装の現場では5°未満である。
【0060】一方、図23(B)は、既存電極が2個以
上の場合である。この状況は普通の状況である。いま既
存電極の論理座標を(h1、v1)、(h2、v2)、
予測電極のそれを(h、v)とすれば既存論理距離の差
分(h2−h1,v2−v1)の各成分にボール間距離
(ΔH、ΔV)を乗ずればこれは物理(画像)の距離と
なる。同様に差分(h−h1,v−v1)の各成分にボ
ール間距離(ΔH、ΔV)を乗ずる。
【0061】このふたつのベクトルのなす角度θ(既存
から未知の向きに測る、図では負値)がわかり、一方こ
のふたつのベクトルの長さの比(分母は既存、分子は未
知、図では1より大)がわかる。既存電極のもつ物理座
標の差分を(p2−p1,q2−q1)とすれば(図に
は記していない)、このベクトルをまずθ回転し、次に
長さの比で乗じたのち(逆でもよい)、電極(h1、v
1)の物理座標を加算すればこれは予測の中心と呼ばれ
る座標が生成されたことになる。このあと1点からのと
きと同様に不確実性距離ε(図には記載していない)を
加算して広げれば最終結果がΓで示す予測領域である。
なおこのとき長さの比が1より大きいときはその比の分
だけ拡大する量も増やす。一方長さの比が1以下のとき
には加算する量をεとする。図23(B)において、電
極(h、v)の予測に使う既存電極は(h、v)の近傍
から選ぶ。このとき(h、v)を中心とするらせん状に
捜すのが望ましい。
【0062】このらせん掃引は、図9(C)に示したよ
うに、らせん掃引部29により発生され、出発点の座標
(i0,j0)が与えられると、最初の出力は(i0+
1,j0)以降矢印の向きに原点から遠ざかりながら途
中の格子座標を発生する機構である。らせん発生する領
域は4つの座標で示される。電極(h、v)の予測にお
いてはそれをらせんの中心におき、電極地図の上限下限
をらせん領域に設定すればよい。予測は一般に2個以上
の既存電極を使っておこなわれる。
【0063】なお、後述するように、三角点発生手段に
より点灯している三角点が2個以上あるときは、その三
角点の座標を使って予測を行うことにする。電極(h、
v)のもよりの三角点座標がわかるから、上記と同様に
その三角点近傍をらせん周回して、点灯三角点2個を捜
す。その2個の三角点の保有する電極座標を使って図2
3(B)と同様に予測する。
【0064】<小窓発生(ボール小窓)>上記のよう
に、HV座標系で座標の予測が行なわれると、撮像され
た電極パターンXY座標系の予測領域を覆う小窓が発生
される。そのために、対象部品がボール電極か、リード
電極かで、ボール小窓とリード小窓が発生される。ボー
ル小窓は、ボール小窓発生部20により発生され、主に
BGA部品の認識のとき発生され、電極の中心予測領域
を覆う抽出用の小窓である。図24(A)、(B)に説
明図、図25にその流れ図を示す。
【0065】図24(A)に示すように、発生される小
窓には抽出能力ρと呼ぶ半径がある。小窓の中心に半径
ρの円53を描いたとき、円内に中心を置く電極ボール
像54は必ず抽出される。実施形態ではρ=((√3)
/2)×ボール半径と設定されるが、必ずしもこれに限
定される必要はない。しかし、実施形態のような値にす
ると、ボールは、小窓の中心を通る軸による切断長がボ
ール半径以上となり早い段階での合否検査をかけること
ができるので高速化において有利である。
【0066】図24(B)は小窓の発生軌跡を示してい
る。まず予測領域の中心に小窓を置き、この小窓から電
極ボールの抽出を試みる(図25のステップS60)。
図24(B)には、小窓の抽出能力ρの円が細い点線で
図示されている。ステップS61で小窓から電極ボール
が抽出できたかを判断する。抽出できた場合には、処理
を終了する。
【0067】一方、抽出できなかった場合は、矢印で示
す順につぎつぎと小窓を移して抽出を試みる。平面が半
径ρの円板で覆われて行く。この場合、小窓は以下に示
すようにρを拡大した各段階の能力半径の円周上の位置
を順次移動する。電極中心の矩形予測領域(図23
(A)、(B))を包み込む最小の円が図24(B)で
太い点線(半径R)で示されている。小窓を51に移動
した時点でも電極が抽出できなかったとき、ここで抽出
が終了してボール電極なしと判定する(ステップS6
2、S63)。
【0068】一方、ρが対象被覆半径Rより小さい場合
には、以下で示すようにρを拡大して(拡大したρの値
をUとして)、小窓の位置を拡大したρの位置に移動し
てその拡大した段階で同様な処理を繰り返す(ステップ
S65)。これは、ステップS66でその小窓でボール
抽出を行い、ステップS67で抽出できれば処理を終了
し、抽出できなければ、Uを有する座標のすべてを実行
することによって行われる。
【0069】この段階でも電極が抽出できない場合に
は、ステップS68で拡大した能力半径Uが対象被覆半
径Rより大きいかを判断し、U>=Rとなっている場合
は、抽出を終了してボール電極なしと判定する(ステッ
プS69)。一方、UがまだRより小さい場合には、ま
だρを拡大して上位の段階に進めるので(ステップS6
4)、ステップS70に進み、U>=Rとなるまで処理
を繰り返す。この場合、ステップS71で示したよう
に、能力半径Uを以下に示すように拡大して登録し、そ
の拡大した能力半径Uの円周上の小窓からボール抽出を
実行する。
【0070】図24(B)において、位置50にある小
窓はρを拡大した第1段階の能力半径の円周上にありそ
の最終円である。位置51にある小窓は第1段階の能力
半径をさらに拡大した第2段階の能力半径の円周上にあ
りその最終円である。以下同様に拡大を続けるが現実ほ
とんどの場合第1段階までの予測で済んでいる。従って
本発明を実施するときは4段階まで準備しておけば十分
である。実施形態では下記の表を定数としてもち高速化
を測った。
【0071】 第1段階の半径増加比(対ρ) 0.732、 第2段階の半径増加比(対ρ) 0.775、 第3段階の半径増加比(対ρ) 0.819、 第4段階の半径増加比(対ρ) 0.866、 上記例において第1段階の半径増加比は、半径1の円周
上に並ぶ等間隔6個の半径1の円を想定すると、隣り合
う円同士の交点が能力の拡大点であるから、予測中心と
交点の距離=2×(√3)/2=(√3)からもとの1
を引いた値(√3)−1から得られる近似値となってい
る。また、第4段階の半径増加比は、図24(B)に示
したように位置52にある小窓で示す第3段階のさらに
外側にできるから直線上に中心を置いて並ぶ間隔1、半
径1の円群とみなすことができ、隣り合う円同士の交点
が能力の拡大点であるから、直線と交点の距離=(√
3)/2から得られる近似値になっている。第2および
第3段階の半径増加比の値は第1および第4段階での値
をそれぞれ内分したものである。
【0072】このようなプロセスで小窓を順次発生さ
せ、予測領域にボール電極があるかどうかを検出するこ
とができる。
【0073】<小窓発生(リード小窓)>以上は、BG
A部品のように認識対象がボール状電極であったが、リ
ード部品の場合には、円形の小窓ではなく、リード電極
の先端予測領域を覆う抽出用の小窓がリード小窓発生部
21により順次発生される。図26(A)、(B)にそ
の状態が説明されており、また図27にその処理の流れ
が図示されている。
【0074】図26(A)に示したように、小窓には抽
出能力と呼ぶ領域60がある。図26(A)では2P×
2Lの小領域である。この領域にその先端を置くリード
像61は必ず抽出される。実施形態ではリード形状に応
じて領域の大きさを変えている。
【0075】図26(B)は小窓の抽出能力の軌跡を示
している。まずステップS80に示したように、予測の
中心が小窓の抽出能力の中心となるように小窓を位置決
めしてリード抽出を実行する。従って小窓自身の中心座
標はリード方向に図26(A)のPcenterずれた位置に
ある。図26(B)で抽出能力ピッチ長さ2P、同リー
ド長さ2Lの領域が点線で示されている。
【0076】図27のステップS81でリード電極が抽
出されれば、処理を終了し、抽出できなかった場合は図
26(B)の矢印で示す順につぎつぎと小窓を移動して
抽出が実行され、平面が2P×2Lの矩形で覆われて行
く。リード先端の矩形予測領域が太い点線で示されてい
る。この領域はいずれは有限個の能力で覆われるので、
最終段階の能力をかけた時点でも抽出できなかったと
き、リード電極なしと判定される(ステップS88)。
なお予測領域が小さくて最初の能力に含まれる場合があ
り、このときは初回で結論がだせることは言うまでもな
い(ステップS82の肯定)。以下は予測領域が大きく
いずれかまたはどちらの方向も能力を超えている場合を
想定している。従って、ステップS84で最初の小窓を
中心とするらせん旋回の準備をする。
【0077】図26(B)で予測中心からピッチ方向予
測領域の端までの片側区間について考えると、能力の片
側個数aはCpitch/2の距離を長さ2Pの線分で多少
の被さりを持ちながら覆う問題として扱えば容易であ
る。このようにして個数a個を得る。右がa個なら左も
a個である。同様にリード方向も片側個数bを得る。こ
のときaまたはbが0の場合もある(しかしともに0で
はない)。能力中心の座標列を出力するには図9(C)
に示したらせん掃引を使用する。図26(B)の能力座
標列は前記の個数aとbを、imin、imaxともにaとし
て、jmin、jmaxともにbとして、らせん出力(i,
j)を用いれば容易に出力できる。
【0078】ステップS85、ステップS86のループ
で、上述したようならせん旋回を行ってらせん出力し、
リード抽出を実行する。ステップS87でリードが抽出
されれば、処理を終了し、抽出されなければ、ステップ
S85に戻り、またらせん旋回を終了しても抽出されな
い場合には、ステップS88でリード電極なしとして処
理を終了する。
【0079】以上のようにして、リード電極の場合も、
リード小窓を順次発生させることによりリード電極の予
測領域にリード電極があるかを検出することが可能にな
る。
【0080】<三角点発生>なお、上述した座標予測に
おいて三角点を発生させることにより座標予測の精度を
向上させることできる。三角点は、抽出電極群の望まし
い格子の基準点すなわち測量用の三角点であり、三角点
発生部22により発生される。図28は三角点測量網の
一部分であり、△印が三角点である。三角点は論理座標
で管理され隣り合う三角点同士の論理距離は1である
(図の太線)。三角点座標系の原点(0、0)は原始電
極地図座標系(図20のH0V0)の原点(0、0)と
一致している。三角点は原始電極地図座標系の原点電極
から起算して、電極の一定個数毎の位置に置く。
【0081】図28では、4個ごとに三角点が設けてあ
るがこの数は必然ではない。図28の例では、三角点は
その近傍2の距離までの電極の座標を代表している。近
傍0距離は三角点自身の電極、近傍1距離は点線で示さ
れ、8個の座標がある。近傍2距離はその外側の領域で
16個の座標値がある。種電極を得て、図20の原始電
極地図座標系を張ったとき、三角点座標系も同時に張ら
れる。原始電極地図座標系に被さるからこの座標系もま
た、上にも下にも有界である。このとき原点を除くすべ
ての三角点は初期化されて保有電極はひとつも無い状態
である。三角点の原点だけは抽出した種電極の座標とし
きい値が記録されている。
【0082】上述した処理により電極の抽出が進行する
とともに、電極が一つ検出されるごとにそれを管理する
三角点に対して登録作業が行われる。図28は中央の三
角点が既に近傍1距離(点線で示す)に4個の電極をか
かえていたところに5番目の電極64が近傍1距離に登
録されたところである。図28の例では、近傍0距離と
近傍1距離にあわせて電極が5個になったとき三角点と
して点灯すなわち基準点として旗を揚げるようにしてい
るので、電極64の追加により点灯作業を始める。
【0083】まず、5個の近傍1距離から登録順に先頭
と2番目、2番目と3番目、3番目と4番目、4番目と
5番目そして5番目と1番目の5組ができるのでこの各
組から三角点の座標を予測させる。予測には図23
(B)の手段が使われる。これら5組5回の予測座標を
記録しておく。一方もし三角点自身が電極の場合、まず
自身で1回完了とする。自身を除く4点があるので上と
同様に4組4回の予測を行う。
【0084】一方近傍2距離の電極群についてはもし2
個以上あれば、最も遠い2点、図28では電極65と6
6の2個の電極座標で三角点の予測をする。以上の合計
6個の予測座標が得られるから、各軸ごとに6個の座標
和を6で割った値として平均座標を得ればこれがすなわ
ち三角点の座標である。
【0085】このように三角点を発生させることにより
座標予測の精度を上げることができる。
【0086】<電極抽出(ボール電極)>上述の予測領
域に対して画像内に置かれた窓を通して実際の電極が抽
出され、座標値が求められる。図29は、小窓ボール抽
出部25によりBGA部品を認識するときに行われる処
理の流れを示し、図30は、小窓ボール抽出の様子を示
す。
【0087】図30において、70は解剖画像と呼ぶと
ころの、入力画像とは別のメモリに確保した2値をとる
小画像である。この画像の大きさは、Rを小窓の半径と
して、縦横ともに2(R+1)+1=2R+3画素であ
る。2R+3は奇数であるから解剖画像の中心は画素に
対応することになる。図30で、各格子点71が解剖画
像の画素であり、解剖画像の座標系ΨΩは入力画像系X
Yと平行である。図22(A)において小窓44の中心
画素45がΨΩ座標系の原点に対応する。ボール小窓は
論理的には円であるが、図30に示すように解剖画像に
おいては72で示したような経路になる。これは小窓の
経路が図31に示すような方向コード0〜7で形成され
ているからである。小窓の経路は半径Rによって決まる
ので実施形態では処理範囲のすべてのRについてあらか
じめ方向コード列を計算し定数表としてもっておくこと
により、小窓72を瞬時に発生させることができる。な
お図30で小窓72の外側のすべての解剖画素73は立
ち入り禁止のフラグが立っているものとする。
【0088】ボール抽出は、まずステップS90におい
て小窓内部の濃淡画像を適当なしきい値で2値化して解
剖画像に出力する。2値化のためのしきい値は、適当な
値を選び、操作者からの指示により決められた値を使う
ものであればその値とする。一方、自動的にしきい値を
求める場合は、次のようにして求める。まず、図30に
おいて原点近傍74の数点(たとえば9個)を選び、そ
の対応する(図22(A)の画素45の近傍)入力画素
の濃淡値の最大値をaとする。次に、図30で小窓72
の経路上の数点(たとえば8個)を選び、その対応する
(図22(A)の経路44)入力画素の濃淡値の最小値
をbとする。a < C1・b(C1は明度比定数、たとえ
ば1.2)のときは電極無しと判定する。そうでなけれ
ばしきい値をa、bのM:N内分値とする(たとえばM
=3、N=1)。すなわち、しきい値=(Na+Mb)
/(M+N)とする。ただしこの値があらかじめ設定さ
れている上下限値を超えたときはその限界値に設定し直
す。このようにしきい値を自動計算すれば小窓ごとに適
正な値となり照明ムラによる、明度がかたよった画像で
も安定した抽出が可能である。
【0089】解剖画像は、上述のようにして求めたしき
い値でΨ軸、Ω軸、小窓経路そして小窓内部の順に2値
化することにより行なわれる。Ψ軸の2値化のとき
「1」の開始端と終了端をつかんでおき、その長さがボ
ールの半径未満なら電極無しと判定する(図24(A)
参照)。Ω軸も同様である。小窓経路の2値化のとき
は、「1」の数の総数が一定値(たとえば経路画素数の
3/5)を超えたら電極無しと判定する。
【0090】一方、例えば、図30で画素Eを出発点と
し、Ψ軸負方向に1画素ずつ進み「1」を検出したら、
「1」で囲まれるベクトル(方向コード)列いわゆる島
データを出力する。これには公知の方法を用いる。すな
わち図32(A)の2値物体80の矢印で示す反時計回
り方向コード列を求めるときは、あたかも左手を「1」
の壁について離さず前進すればいずれはもとの位置に戻
る原理を使う。たとえば図32(A)の円内81の動き
を図32(B)に示すと、中心が現在地(画素)であ
る。上に向かう現方向にたいして優先順序を方向7にお
き、ついで0、1..5の順に調べる。最初に「1」を
検出したら(図32(B)では方向3)、それが次の移
動方向である。島が一つ生成されたら、Ψ軸上の島を超
えた位置からΨ軸の負方向前進を続けて同じことを繰り
返す。なおボールの大きさからあらかじめ島の外周長の
下限が決まっているものとする。島の開始画素はΨΩ原
点まで調べれば十分である。
【0091】このようにして一般にボール電極がもしあ
れば1個以上の島データが得られる。ステップS91で
前段で出力されたすべての島について以下の処理を繰り
返す。ただし途中でボール電極と判定された時点で処理
は終了する。
【0092】いま図30において島Z0〜Z0の島ベクト
ルデータが取り出されたとする。この島Z0〜Z0で75
の部分はボール電極であり、76の部分は配線等の異物
である。この島データから図33に示したような、島の
構成頂点から選ばれた頂点の表を作成する。このとき、
小窓に接触せず、向きが滑らかに変化する区間を選び出
してその頂点列を表にする(ステップS92)。例え
ば、図30においてボール部は小窓と接触し得ないの
で、小窓との接触頂点77a〜77bは選ばれない。ま
た、向きの変化が90°以上に急な頂点77cも選ばれ
ない。ただし左向き90°の頂点77dは選ばれる。こ
のようにして得られた頂点の座標は、図33において頂
点番号を付して頂点座標のところに記録される。なお頂
点座標は、ΨΩ座標系の座標である。
【0093】次に、ステップS93において、図33の
表に、濃度勾配ベクトルを記録し、またそのベクトルの
8方向分類コードを割り付ける。島Z0〜Z0勾配ベクト
ルとは頂点における画像濃度の変化方向を示すベクトル
であり、たとえば図30で頂点A1ではベクトルGとな
る。このベクトルは、公知の方法で求めることができ
る。例えば、中心画素の勾配ベクトルを求めるときは、
図31で方向コード0〜7にそれぞれベクトル(1、
0)(1、1)..(1、−1)を割り当て、そのベク
トルと、その濃度変化の積を8方向に総和して得られ
る。勾配ベクトルは濃度の低いところから高いところに
向かいその絶対値は濃度差が高いほど大きい。もし頂点
がボール電極の頂点である場合には、その勾配ベクトル
は図30に見るとおりほぼボール中心Fに向かうことが
確認される。なお、図33において、方向コードとは勾
配ベクトルのおよその向きを図31の0〜7の方向に分
類したものであり、直径の組を見つけるとき中心的な役
割を果たすと同時に、処理時間の大きな短縮に役立つも
のである。
【0094】次に、ステップS94において、島の直径
第1組を求める。図33の表からまず第1頂点A1を順
に移動し、それに正対する相手の頂点B1を表から捜
す。頂点B1になるには距離、勾配ベクトル同士のなす
角度、..等多くの検査が必要である。
【0095】同様に、次のステップS95で島の直径第
2組を求める。図30で頂点A1の方向コード(図31
で右上がりだから方向は1である)を反時計回り90°
回転した方向(図31で方向3)を出発方向とし、その
方向を持つ頂点を表から捜す。表になければ次善の方向
すなわちそれから1単位隔たった方向(図31で、方向
2および方向4)、2単位隔たった方向まで続け、その
頂点をA2とする。それに正対する相手の頂点B2を同
様に表から捜す。頂点B2になるには、(A1、B1)
のときと同様の検査が必要であり、それに加えて(A
1、B1)との位置と角度に関する検査が必要である。
たとえば図30において、点線78は不合格となる。
【0096】この時点でボール電極と確認できるので、
ステップS96において、ボール電極の中心座標を求め
る。まず直径2組4点それぞれに影座標と呼ぶ座標を生
成する。影座標は図30で頂点A1ならS点である。影
座標は図16で示される細粒座標であり、2値の頂点軌
跡の外側をとりまくしきい値そのものをもつ仮想の座標
のことである。例えば、図34(A)において、2値画
素Oは「1」、画素P、Rはともに「0」とする。Qは
どちらでもよい。いまベクトル(a,b)(a>=b>
=0)方向の細粒座標T(μ0,ν0)はまずH点の座標
が比例配分で容易に知れるから、P点濃度とR点濃度を
H座標で比例配分してH点の濃度(しきい値より低い)
が求められる。ところがO点はしきい値より高いので、
その中間にちょうどしきい値となる位置が存在する。こ
れがT点である。Tは比例配分で簡単に求まる。図34
(A)でa>=b>=0に限定したのは処理を簡素にす
るためである。すなわち、図34(B)において、O点
の影座標を求めるにはGの方向が濃度の高い方向である
から、逆向き(−G)の方向を回転と45°での折り返
し操作を施すと図でμνの座標系を貼り付けることがで
きる。図34(A)のT点を求めた後、前の操作の逆を
おこなえば図34(B)のT座標が得られる。
【0097】図30において、×印を付したSの影座標
4点をSa1、Sb1、Sa2、Sb2とすればこれらを円周上
の点とみなすことができる。Sa1、Sb1の垂直2等分線
を求め、Sa2、Sb2の垂直2等分線を求め、その2つの
直線同士の交点を求める。これが求めるボール電極の座
標F(中心座標)である。
【0098】続いて、ステップS97で、ボールの平均
濃度を求め、ボールの直径を求めておく。
【0099】<電極抽出(リード電極)>以上のように
してボール電極が抽出されるが、リード電極の場合に
は、小窓リード抽出部26により電極抽出が行われる。
図35にその流れが、また図36に小窓リード抽出の様
子が図示されている。
【0100】図36において、91は解剖画像と呼ぶと
ころの、入力画像とは別のメモリに確保した2値をとる
小画像である。この画像の大きさは縦は2(Rlead+
1)+1=2Rlead+3画素である。ただしRleadは小
窓93のリード方向の半径である。また横は2(Rpitc
h+1)+1=2Rpitch+3画素である。ただしRpitc
hは小窓のピッチ方向の半径である。ともに奇数である
から解剖画像の中心は画素に対応することになる。図3
6の各格子点92が解剖画像の画素である。解剖画像の
座標系ΨΩは入力画像系XYの90°整数倍(0、1、
2、3)回転である(図8参照)。図22(B)におい
て小窓46の中心画素47がΨΩの原点に対応する。な
お図36で小窓93の外側のすべての解剖画素94は立
ち入り禁止の札(フラグ)が立っているものとする。
【0101】リード抽出を順に追ってみると、まず、ス
テップS100で、ステップS90と同様に、小窓内部
の濃淡画像を適当なしきい値で2値化して解剖画像に出
力する。2値化のためのしきい値は、操作者からの指示
により決められた値を使うものであればその値とする。
一方、自動計算の指示の場合には以下のようにして求め
られる。図36の原点近傍95の数点(たとえば9個)
を選び、その対応する(図22(B)の画素47の近
傍)入力画素の濃淡値の最大値をaとする。次に、図3
6で小窓93の経路上の数点(たとえば8個)を選び、
その対応する(図22(B)の経路46)入力画素の濃
淡値の最小値をbとする。a < C1・b(C1は明度比
定数、たとえば1.2)のときは電極無しと判定する。
そうでなければしきい値をa、bのM:N内分値とする
(たとえばM=2、N=1)。すなわち、しきい値=
(Na+Mb)/(M+N)とする。ただしこの値があ
らかじめ設定されている上下限値を超えたときはその限
界値に設定し直す。このようにしきい値を自動計算すれ
ば小窓ごとに適正な値となり照明ムラによる、明度がか
たよった画像でも安定した抽出が可能である。
【0102】続いて、Ψ軸、Ω軸、小窓経路そして小窓
内部の順に上述のようにして求めたしきい値で2値化す
る。Ψ軸の2値化のとき「1」の開始端と終了端をつか
んでおき、その長さがリードの幅未満なら電極無しと判
定する。Ω軸も同様である。次に、図36の画素Eを出
発点とし、Ω軸正方向に1画素ずつ進み「1」を見つけ
たら「1」で囲まれるベクトル(方向コード)列いわゆ
る島データを出力する。これには小窓ボール抽出で述べ
た方法を用いる。島が一つ生成されたら、Ω軸上の島を
超えた位置からΩ軸の正方向前進を続けて同じことを繰
り返す。なおリードの大きさからあらかじめ島の外周長
の下限が決まっているものとする。島の開始画素はΨΩ
原点付近まで調べれば十分である。
【0103】このようにして一般にリード電極がもしあ
れば1個以上の島データが得られる。ステップS101
で、前段で出力されたすべての島について以下の処理を
繰り返す。ただし途中でリード電極と判定された場合に
は、処理を終了する。
【0104】いま、図36において、96をリード電極
として島Z0〜Z0が取り出されたとする。ステップS1
02で、この島のΩ座標最大点Ztopと最小点Zbottom
を求め長さを検査をする。続いて、ステップS103
で、始点Z0から時計回りに進みZtopに至る経路を生成
する。同様に反時計回りも生成する。なお、このとき、
操作者からはリード先端の不安定区間長(α)と安定区
間長(β)とリード幅(γ)が指示されているとする。
また、さきの両経路において、Z0からの高さ(α+
β)ラインまでは小窓に接触してはならない。
【0105】続いて、ステップS104で、Z0からの
高さ(α+β)ラインを横断すれば島の幅第1組(A
1、B1)が分かり、幅の検査をする。また各点におい
て滑らかに方向が変化しているか検査される。次に、ス
テップS105で、Z0からの高さαラインを横断する
ことにより幅第2組(A2、B2)が分かり、幅の検査
をする。また各点において滑らかに方向が変化している
か検査される。不合格のとき、1上昇した横断線で同じ
検査を行う。これを繰り返し(A1、B1)手前までに
みつかればよしとする。
【0106】このようにして、リード電極が確認できた
ときには、ステップS106で、リードの中心線を求め
る。まず上述のようにして求めた幅2組4点にそれぞれ
に影座標を生成する。影座標は小窓ボール抽出と同じも
のである。図36において、A1ならS点である。×印
(S点)の影座標4点をSa1、Sb1、Sa2、Sb2とすれ
ば、リードの中心線97はSa1、Sb1の中点を通り、か
つSa2、Sb2の中点を通る。また、Zbottomに影座標S
bを生成し、Sbから、さきのリード中心線97に垂線を
降ろし、その垂点が求めるリード電極の先端座標(図3
6のF点)である。
【0107】なお、リード電極のときも、ステップS1
07でリードの平均明度を求め、リードの幅を求めてお
く。
【0108】<偽電極排除>図4の全体の流れに戻れ
ば、上述したように種電極が探索され(ステップS2
6)、電極地図、三角測量網が作成され(ステップS2
7)、周辺電極観測状態(ステップS28)となり、こ
の周辺電極観測状態(S2)では、上述したように、電
極予測領域に小窓を発生させて電極があるかないかの検
出が行われ、周辺電極の抽出が行われる。図5では種電
極32の近傍の電極が×印で示したように抽出されてい
る。なお34は偽電極であり、このような偽電極がある
と、電極の位置予測精度が劣化するので、偽電極排除部
23により抽出した電極を過去に溯って調べ偽電極を排
除するようにする。
【0109】例えば、図37(A)において抽出電極1
00は座標が狂っていて明らかに偽電極(電極もどき)
である。実施形態では望ましい格子座標からボール半径
を超えて存在する電極を偽電極と判定している。このよ
うな電極はその周辺の電極の位置予測を狂わす元凶とな
るので早いうちに摘出排除せねばならない。また位置決
めの照合の不一致回数にも数えられるのでこの意味から
も除去が必要である。
【0110】一方図37(B)の電極101は直径が小
さすぎて明らかに偽電極(電極もどき)である。直径以
外には明度の低すぎるあるいは高すぎることも偽電極の
判定に使われる。この直径(リードの場合は幅,以下断
らない)と明度を電極の固有値と呼ぶことにする。実施
形態では常時固有値の平均値を管理している。ある電極
のどちらかの固有値が、平均値の±40%を超えたとき
偽電極と判定している。このような電極は一般に座標も
狂っていてその周辺の電極の位置予測を狂わす元凶とな
るので早いうちに摘出排除せねばならない。また位置決
めの照合の不一致回数にも数えられるのでこの意味から
も除去が必要である。
【0111】そこで、図38に示す流れに沿って偽電極
の排除が行われる。まず、ステップS110において、
座標予測領域から電極の抽出が行われ(ステップS11
1で拒否座標群を検査する)、ステップS112で固有
値の検査が、またステップS113で座標の格子点の検
査が行われる。また、電極が抽出されると、ステップS
114において、上述したように電極地図に記入され、
三角点に送出され、抽出電極数に1が加算される。
【0112】最初の抽出電極が偽であることもあるし、
それを含めて早いうちに抽出した複数の電極が偽である
かもしれない。初期の段階では平均値が存在し得ないの
で除去することはできない。このような問題は状態遷移
図により解決される。図39(A)は固有値の状態遷移
図を、また図39(B)は位置の状態遷移図を示してい
る。固有値についてのべると、最初の電極である種電極
を得ると状態P1に行く。電極数は1となる。種の固有
値(直径/明度)がそれぞれの場所に総和値として書き
込まれる。2番目の電極が抽出された場合も、その固有
値を足し込むだけである。以下同様に進み、6番目の電
極が抽出されると、その固有値を足し込んだあと、その
総和を6で割りすなわち平均値をだす。直径の平均値と
明度の平均値が公表される。同時に固有値に関する一斉
検査を要求して(張り紙をだして)状態をP2に移す。
状態P2では電極が入れば平均値を常時更新してもとの
状態から動かない。一方偽電極の排除が行われるとその
知らせが入り、その電極の固有値分だけ総和から引かれ
平均値が更新される。排除後の電極数が依然として6以
上あれば状態は変わらないが、もし5になったら(4以
下であることはありえない)、状態をP1に移動する。
以下は同様の遷移が繰り返される。
【0113】一方位置の状態遷移図の場合、管理する値
はないが電極数が8個未満のときはZ1を続ける。7個
から8個に増えるとき一斉検査を要求して(張り紙をだ
して)状態をZ2に移す。状態Z2では電極が入ればも
との状態から動かない。一方偽電極の排除が行われると
その知らせが入り、排除後の電極数が依然として8以上
あれば状態は変わらないが、もし7になったら(6以下
であることはありえない)、状態をZ1に移動する。以
下は同様の遷移が繰り返される。
【0114】これだけの単純な動きで偽電極はすべて排
除される。すなわち偽電極が排除されるときというの
は、P1(Z1)からP2(Z2)に移動するときの一
斉検査要求が実行されるときである(これは偽電極がな
くなるまで何回でもおこることに注意)。P2(Z2)
状態においては新規入力電極が登録されるまえに平均値
による審査をうけるので問題無い。
【0115】上述した流れが、ステップS115〜S1
19に図示されている。
【0116】既存の電極が排除されたときと、新規電極
が事前審査で不合格になったとき、その座標を図40の
XY座標の配列に加える。この配列は拒否座標群と呼ば
れる。図5の初期状態において初期化され以降初期化さ
れることはない。すなわち溜まる一方であり画像全域に
おいて過去に排除された偽電極が再び抽出されることを
防ぐ役目を持つ。なお表面実装の現場において、画像内
の偽電極の数は高々20個程度である。そのため図40
の矢印で示す容量はこの数程度用意すれば十分である。
【0117】なお上記の、遷移条件として例示した電極
数6または8は必然性の数ではない。
【0118】<電極位置決め>図4に戻って、周辺電極
観測状態(図5のS2)で、偽電極が発生して電極の喪
失があれば空電極を初期化し(ステップS29)、初期
(原始)電極地図原点周辺を抽出し(ステップS3
0)、電極の喪失がなければ原点電極追跡状態S3とな
る(ステップS31)。原点電極追跡状態では、位置決
め成績表が初期化され(ステップS32)、図5に示し
たように、種電極32を筆頭に近傍何個かの電極に対し
て順に、あらかじめ決めておいた複数候補電極の誰かで
あるかどうかの打診がなされ、ある候補に間違いないと
判定されれば、位置決め完了状態(S4)に行く。一
方、どの候補でもなかった場合種電極32はおそらく偽
電極であり状態S1に戻る。また一方、途中偽電極の排
除が起こることがある。そのときは直ちにS2に行く。
S2では排除された電極34の近傍電極の再調査が行わ
れる。そして再度種電極32(種自身が排除されている
こともありうる)の近傍の抽出が行われ(調査の必要な
ものに限る)偽電極がより少なくなった状態で再びS3
に行く。
【0119】このようにして最終的には状態S3におい
て種電極32の近傍のどれかがある候補者と一致して必
ずS4に抜ける。なおS4に行くとき、種電極32は必
ずしも真の電極とは限らないことに注意する。
【0120】状態S3からS4間で行われる電極の位置
決め(ステップS32〜S35)を図41の流れを参照
して説明する。この流れにおいて、電極位置決め部24
(図3)により、抽出された電極のパターンから認識対
象部品の電極の画像座標が最終的に確定される。まず、
ステップS120で、位置決め成績表を初期化し、不一
致許容数をすでに求めてあるe(図4のステップS2
3)にセットする。
【0121】図5の状態S3の時点では、初期電極地図
座標系H0V0の近傍(種検出直後)もしくは相当広い
範囲(偽電極排除後)に抽出電極が分布している。依然
として候補電極はH0V0原点の近傍にいるはずである
から、原点近傍の数個が候補電極かどうかを検査すれば
よい。候補電極は既に見たように角三角形状に展開して
いるから、その展開にあわせて、初期(原始)電極地図
座標系原点より負方向に角三角掃引を行い、その毎回の
論理座標に対応する実電極を機械的に取り出して(ステ
ップS121)、座標のオフセット操作により(ただ
の)電極地図座標系の原点をその実電極にずらし(ステ
ップS122)、各候補者に自分が電極地図座標系原点
であると仮定したときの論理予測値(図18に示したよ
うな定義電極パターンからの有り/無し)と現実の観測
値(図20ないし図21の電極地図座標系の電極の有り
/無し)の一致/不一致を調べさせ、その不一致数を位
置決め成績表に記録していく(ステップS123)。こ
の記録に際しては、オフセットの回数ごとに不一致数の
最小値だけに着目するときわめて高速化できる。eの初
期値は前出の不一致許容数である。
【0122】1回目はこの値を上限に照合検査が行われ
る。もし生存候補があれば(従ってe以下の不一致を観
測した候補者があれば)それらの不一致観測数の最少値
を次の回(2回目)の上限としてeを書き換える(ステ
ップS124)。このようにすれば、正しい照合は不一
致数最小の照合であるという自然原理に従うと同時に、
回を追うごとにeが単調減少するため候補者の死亡が急
速に進み、従って高速位置決めが可能となる。
【0123】なお位置決め時のオフセットの個数は任意
で良いが候補者と同数程度にするのが自然である。な
お、この位置決め過程においては、電極地図座標系(H
V)の、まだ調べられていない論理点に対して、画像か
らの電極抽出が行なわれる。その順序は、そのときの地
図と定義パターンとにより決まり、必ずしも規則的な動
きとはならない。
【0124】図41の流れの中で、ステップS125に
おいて不一致許容数以下の値を持つ候補電極が存在した
かが判断され、肯定される場合は、成績表から最小値を
持つ候補電極を探す。その候補電極の真の画像座標はそ
のときの電極地図原点電極の画像座標であるので、電極
パターンの電極の画像座標が求まり、電極の位置決めが
完了する(ステップS126)。一方、ステップS12
5の判断が否定される場合は、検出した種電極では位置
決めができなかったので、抽出された電極数の数を評価
し処理を繰り返す(ステップS127)。
【0125】例えば、入力時の電極パターンが図17の
場合、論理電極パターンないし定義電極パターンは図1
8のようになり、また図21のように電極が抽出されて
原始電極地図座標系H0V0に展開している。図21の丸
で囲んだ数字の順に(ただの)電極地図座標系HVが原
始電極地図座標系H0V0から分離される。図21では2
回目の結合ベクトル=(−1、0)の様子を示してい
る。この座標順序は既にみた角三角掃引である。
【0126】図42には各候補者が毎回の原点分離にお
いて自分がHV原点であると仮定した場合に観測する不
一致の数が図示されている。*印は許容数(e=0)を
超えたため候補者が死んだことを示す。一致/不一致は
論理電極パターンの論理値(図18)と観測値(図21
のHV座標系)間のものである。図18のIJは既にみ
た角四角掃引である。最初は結合ベクトル=(0、
0)である。これは図20の状態であるから図18の候
補者C1が原点のとき完全に一致しているのでC1の観
測する不一致数は0である。
【0127】一方候補者C2の立場からは図18のC2
に原点をおいてみれば目視でも容易に数えられ、不一致
数は10個となる。たとえばC2の右横にはC1がある
はずなのに図20HV原点の右横の座標(1、0)の観
測結果は空電極であろうからひとつの不一致が計数され
る。候補者C2は許容数e=0をはるかに超えて不適格
になり死亡する。C3〜C5も同様である。
【0128】次に原点が分離されての位置にきて、結
合ベクトル=(−1、0)となる。これは図21の状
態であるから候補者C2が原点のとき完全に一致してい
るのでC2の観測する不一致数は0である。逆に候補者
C1は死亡する。他の候補者も同様に死亡する。以下同
様に結合をと試すことにより図42の位置決め
成績表が得られる。なおは実電極でないため試験から
はずしている。
【0129】今回の位置決め成績表をみると最小値0が
存在してどの候補者ももしそれを持てば唯一個所だけで
ある。この状態は、曖昧性のない位置決め状態と呼ばれ
る。
【0130】図43は、従来図の説明に用いた図1
(A)のBGAを本発明方式で認識した結果である。最
初の種電極はC2であった。そのためそれより高いとこ
ろにあるC1とC3は位置決めの電極が自分に回ってこ
ないため毎回死亡している。他の候補は不一致数ゼロを
報告して、正しい認識が完了している。ちなみにこのと
きの不一致許容数は4であった。
【0131】一方、図44は図45のBGA部品を撮像
したのち、定義電極パターンとして図1(A)のものを
そのまま入力し、本発明方式で認識した結果である。図
45において矢印の4個所が定義パターンと食い違いが
ある。不一致許容数は定義パターンがおなじであるから
4で変わらない。実際につかんだ最初の種電極は図45
の電極110であった。すなわち回数..はこの電
極が起点である。はどの候補でもないから全員死亡、
は実電極でないから無視、以降はそれぞれの候補者
がおり、各候補者は等しく不一致数4を報告している。
許容不一致数を合格した正しい認識が完了している。な
おこの後、実装の現場では操作者にエラーを検出した電
極部位の表示をして、判断を委ねることが一般的であ
る。
【0132】このようにして電極位置決めにより、抽出
電極パターンの座標値から認識対象部品の電極パターン
の位置、すなわち部品の電極の画像座標を決定すること
ができ、図5の状態S4の位置決め完了状態となる。こ
こでの処理は本発明とは直接関係がないので説明を省略
するが、部品表面実装の現場では得られた電極の形状診
断、位置診断のあと電極の画像座標からロボット・アー
ムが行なうべき搭載位置のずれ補正量と角度補正量を出
力することになる。
【0133】<他の実施形態>上述した実施形態では、
電極の明度がその背景より高い場合を例示したが、逆に
低い場合(セラミック基礎の半田ボール等)でも効果は
全く変わらない。なおそのときは小窓からの電極抽出部
だけの変更ですみ、しかも、しきい値に対する大小判断
を逆にするだけで済む。
【0134】また、種電極の探索に関して、角四角掃引
にすると、多少能率が落ちるが効果はほとんど変わらな
い。さらに、候補電極の選定に関して、角四角掃引にし
ても、効果は全く変わらない。また、位置決めの原点電
極に関して、角四角掃引にしても、効果は全く変わらな
い。
【0135】
【発明の効果】以上説明したように、本発明によれば以
下の効果が得られる。
【0136】a)位置決めを推進する力は画像から抽出
される電極の有り無しの情報だけである。もし電極以外
のものを間違えて電極として抽出しても、あとで偽電極
の排除により捨てられるので問題ない。また仮に本物と
区別のつかない、従って排除できない偽電極が混入して
も、不一致許容数の範囲なら誤りのない位置決めが可能
である。従って、現市場の格子配列電極部品のほとんど
が認識可能である。従って、ほとんどすべての部品が高
精度で認識できる、という効果が得られる。
【0137】b)電極は小窓から抽出され、小窓の座標
は三角点を使った座標予測から発生する。そのため歪ん
だ画像でも歪んだなりに予測は正確である。また小窓の
2値化のしきい値は小窓毎に設定される。そのため照明
ムラに強く、雑音に強く、また全体に暗いもしくは明る
い画像でも抽出可能である。以上のことからカメラや照
明の品質に対する要求を少なくすることが出来、廉価の
機器で構成することができる。
【0138】c)画像データにアクセスする量が少な
く、最初の種電極を見つけるまではその面積に比例した
時間がかかるがその量はわずかである。種電極が検出さ
れた後は、論理的判断の時間と、予測された局所領域か
らの電極抽出の時間の和であり、これはほぼ電極数に比
例した時間となり、画像サイズに比例する従来方式と比
べると、本発明の方式のほうが処理が原理的に早くな
る。
【0139】d)本発明の方式が適用出来るのは、部品
の角を含む画像であって、部品全体が映っている必要は
ない。部分認識とは大きな部品を複数回分割撮影して成
る、部品の部分画像からその一部の電極群を位置決めす
ることであるが、本方式により原理的に部分認識が可能
になる。
【0140】e)三角点の働きによる効果が得られる。
三角点はその仮想電極の格子座標をもっており、三角点
から予測した座標は本来あるべき電極座標である。これ
と実際に抽出される座標には一般に誤差があるので、全
電極にわたって統計処理すれば、誤差の標準偏差が得ら
れ、誤差長の大きい異常電極を判定することが容易であ
る。とくに歪んだ画像でも歪んだなりに位置の診断がで
きることが本発明の効果である。
【図面の簡単な説明】
【図1】従来の部品認識の方法を説明した説明図であ
る。
【図2】認識される電極のパターンないし配列を示した
説明図である。
【図3】本発明の全体構成を示すブロック図である。
【図4】本発明で行われる処理の全体の流れを示すフロ
ーチャート図である。
【図5】本発明の処理の中で現れる種々の状態を示した
状態図である。
【図6】電極パターンの重心を求める状態を示した説明
図である。
【図7】照合方向の決め方を説明した説明図である。
【図8】照合方向の決め方を説明した説明図である。
【図9】種々の掃引方式を説明した説明図である。
【図10】位置決めの候補電極の選定を説明した説明図
である。
【図11】不一致許容数を決定するときの流れを示すフ
ローチャート図である。
【図12】不一致許容数を決定するときに作成される表
図である。
【図13】不一致許容数を決定するときに用いられる電
極パターンを示したパターン図である。
【図14】電極を探索するとき探索領域が縮小される状
態を示した説明図である。
【図15】電極を探索するとき探索領域を縮小する処理
の流れを示したフローチャート図である。
【図16】座標値を記述する細粒座標を示した説明図で
ある。
【図17】部品の論理ないし定義電極パターンを示すパ
ターン図である。
【図18】部品の論理ないし定義電極パターンから不一
致許容数を決定する状態を説明した説明図である。
【図19】種電極の抽出を説明する説明図である。
【図20】種電極が抽出されたとき作成される原始電極
地図座標系を示す説明図である。
【図21】抽出された電極パターンを電極地図座標系で
示すパターン図である。
【図22】種電極の抽出を説明する説明図である。
【図23】抽出された電極から他の電極が存在する領域
を予測する状態を示した説明図である。
【図24】予測領域にボール小窓を発生させる状態を示
した説明図である。
【図25】予測領域にボール小窓を発生させる流れを示
したフローチャート図である。
【図26】予測領域にリード小窓を発生させる状態を示
した説明図である。
【図27】予測領域にリード小窓を発生させる流れを示
したフローチャート図である。
【図28】測量用の三角点を発生させる状態を示した説
明図である。
【図29】ボール電極を抽出してその座標値を求める流
れを説明したフローチャート図である。
【図30】ボール電極を抽出してその座標値を求める状
態を説明した説明図である。
【図31】ボール電極抽出の過程で用いられる方向コー
ドを示すコード図である。
【図32】ボール電極の抽出を説明する説明図である。
【図33】ボール電極を抽出するときに得られる頂点の
座標が格納される状態を示した表図である。
【図34】ボール電極の座標を求める状態を示した説明
図である。
【図35】リード電極を抽出してその座標値を求める流
れを説明したフローチャート図である。
【図36】リード電極を抽出してその座標値を求める状
態を説明した説明図である。
【図37】偽電極が抽出された状態を示す説明図であ
る。
【図38】偽電極を排除する流れを示したフローチャー
ト図である。
【図39】偽電極排除の過程を説明する説明図である。
【図40】偽電極排除のときに使用される座標図であ
る。
【図41】電極位置決めの流れを示すフローチャート図
である。
【図42】電極位置決めのとき用いられる成績表を示し
た表図である。
【図43】電極位置決めのとき用いられる成績表を示し
た表図である。
【図44】電極位置決めのとき用いられる成績表を示し
た表図である。
【図45】電極位置決めを説明する電極パターン図であ
る。
【符号の説明】
12 部品 13 テレビカメラ 14 照合方向決定部 15 候補電極決定部 16 不一致許容数決定部 17 探索領域縮小部 18 種電極探索部 19 座標予測部 20 ボール小窓発生部 21 リード小窓発生部 22 三角点発生部 23 偽電極排除部 24 電極位置決め部 25 小窓ボール抽出部 26 小窓リード抽出部 27 角三角掃引部 28 角四角掃引部 29 らせん掃引部
フロントページの続き Fターム(参考) 2F065 AA01 CC27 DD03 DD04 FF01 FF04 HH02 JJ03 JJ26 MM22 QQ05 QQ31 UU05 UU06 5B057 AA03 BA21 CC03 DA07 DB02 DC06 DC33 5E313 AA02 AA04 AA11 CC04 DD03 DD13 EE02 EE03 FF21 FF24 FF26 FF28 FF29 FF31 FF34

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 所定配列の電極パターンを有する部品を
    撮像して電極の位置を認識する部品認識方法において、 撮像された部品の画像内に順次所定の大きさの小窓を設
    定して電極の抽出を行ない、 抽出された電極のパターン並びにその電極の座標を求
    め、 前記抽出された電極パターンと前記所定配列の電極パタ
    ーンとを重ねあわせて照合し、 照合結果に基づき前記所定配列の電極パターンの電極の
    画像座標を決定することを特徴とする部品認識方法。
  2. 【請求項2】 前記所定配列の電極パターンの重心を求
    め、該重心から画像掃引開始位置を決めることを特徴と
    する請求項1に記載の部品認識方法。
  3. 【請求項3】 前記所定配列の電極パターンの角近傍の
    電極を選択し位置決めの候補電極とすることを特徴とす
    る請求項1又は2に記載の部品認識方法。
  4. 【請求項4】 前記所定配列の電極パターンとその一つ
    の角から照合時電極の位置決めの確認を得るための不一
    致許容数を決定することを特徴とする請求項1から3の
    いずれか1項に記載の部品認識方法。
  5. 【請求項5】 電極抽出を行うとき画像の探索領域を縮
    小することを特徴とする請求項1から4のいずれか1項
    に記載の部品認識方法。
  6. 【請求項6】 画像内を小窓で掃引することにより種電
    極を抽出することを特徴とする請求項1から5のいずれ
    か1項に記載の部品認識方法。
  7. 【請求項7】 既に抽出された電極群の論理座標と物理
    座標から、指定された論理座標の電極の物理座標を予測
    することを特徴とする請求項1から6のいずれか1項に
    記載の部品認識方法。
  8. 【請求項8】 種電極が抽出された後は、前記予測され
    た領域に小窓を設定し電極抽出を行なうことを特徴とす
    る請求項7に記載の部品認識方法。
  9. 【請求項9】 抽出電極群の望ましい格子の基準点、す
    なわち測量用の三角点を発生し電極の座標を予測するこ
    とを特徴とする請求項1から8のいずれか1項に記載の
    部品認識方法。
  10. 【請求項10】 抽出した電極を過去に溯って調べ偽電
    極を排除することを特徴とする請求項1から9のいずれ
    か1項に記載の部品認識方法。
  11. 【請求項11】 抽出する電極の画像部分領域に小窓を
    設定し、抽出電極の座標値を求めることを特徴とする請
    求項1から10のいずれか1項に記載の部品認識方法。
  12. 【請求項12】 所定配列の電極パターンを有する部品
    を撮像して電極の位置を認識する部品認識装置におい
    て、 撮像された部品の画像内に順次所定の大きさの小窓を設
    定する手段と、 設定された小窓を介して電極抽出を行なう手段と、 抽出された電極のパターンを作成する手段と、 抽出する電極の座標値を算出する手段と、 前記抽出された電極パターンと前記所定配列の電極パタ
    ーンとを重ねあわせて照合する手段と、 照合結果に基づき前記所定配列の電極パターンの電極の
    画像座標を決定する手段と、 を有することを特徴とする部品認識装置。
  13. 【請求項13】 前記所定配列の電極パターンの重心を
    求め、該重心から画像掃引開始位置を決める照合方向決
    定手段を有することを特徴とする請求項12に記載の部
    品認識装置。
  14. 【請求項14】 前記所定配列の電極パターンの角近傍
    の電極を選択し位置決めの候補電極とする候補電極決定
    手段を有することを特徴とする請求項12又は13に記
    載の部品認識装置。
  15. 【請求項15】 前記所定配列の電極パターンとその一
    つの角から照合時電極の位置決めの確認を得るための不
    一致許容数を決定する不一致許容数決定手段を有するこ
    とを特徴とする請求項12から14のいずれか1項に記
    載の部品認識装置。
  16. 【請求項16】 電極抽出を行うとき画像の探索領域を
    縮小する探索領域縮小手段を有することを特徴とする請
    求項12から15のいずれか1項に記載の部品認識装
    置。
  17. 【請求項17】 画像内の電極のうち角近傍の電極を種
    電極として探し出す種電極探索手段を有することを特徴
    とする請求項12から16のいずれか1項に記載の部品
    認識装置。
  18. 【請求項18】 既に抽出された電極群の論理座標と物
    理座標から、指定された論理座標の電極の物理座標を予
    測する座標予測手段を有することを特徴とする請求項1
    2から17のいずれか1項に記載の部品認識装置。
  19. 【請求項19】 前記予測された領域に電極抽出用の小
    窓を発生させる小窓発生手段を有することを特徴とする
    請求項18に記載の部品認識装置。
  20. 【請求項20】 抽出電極群の望ましい格子の基準点、
    すなわち測量用の三角点を発生する三角点発生手段を有
    することを特徴とする請求項12から19のいずれか1
    項に記載の部品認識装置。
  21. 【請求項21】 抽出した電極を過去に溯って調べ偽電
    極を排除する偽電極排除手段を有することを特徴とする
    請求項12から20のいずれか1項に記載の部品認識装
    置。
  22. 【請求項22】 抽出する電極の画像部分領域に小窓を
    設定し、抽出電極の座標値を求める手段を有することを
    特徴とする請求項12から21のいずれか1項に記載の
    部品認識装置。
JP03359599A 1999-02-12 1999-02-12 部品認識方法および装置 Expired - Fee Related JP4327289B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03359599A JP4327289B2 (ja) 1999-02-12 1999-02-12 部品認識方法および装置
US09/500,716 US6690819B1 (en) 1999-02-12 2000-02-09 Method and apparatus for recognizing components

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03359599A JP4327289B2 (ja) 1999-02-12 1999-02-12 部品認識方法および装置

Publications (2)

Publication Number Publication Date
JP2000232299A true JP2000232299A (ja) 2000-08-22
JP4327289B2 JP4327289B2 (ja) 2009-09-09

Family

ID=12390857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03359599A Expired - Fee Related JP4327289B2 (ja) 1999-02-12 1999-02-12 部品認識方法および装置

Country Status (2)

Country Link
US (1) US6690819B1 (ja)
JP (1) JP4327289B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209792A (ja) * 2000-01-25 2001-08-03 Juki Corp 部品位置検出方法、部品位置検出装置、部品データ格納方法及びその装置
JP2002157582A (ja) * 2000-11-21 2002-05-31 Matsushita Electric Ind Co Ltd 半導体ウエハ上のic傾き補正方法、及びic傾き補正装置
JP2003097926A (ja) * 2001-09-27 2003-04-03 Nec Corp Ic外観検査方法
JP2007272474A (ja) * 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた車椅子使用者検出システム
JP2008065815A (ja) * 2006-08-08 2008-03-21 Juki Corp 画像処理装置
JP2008286629A (ja) * 2007-05-17 2008-11-27 Ryusyo Industrial Co Ltd レンズメータおよびレンズ測定方法
CN108645385A (zh) * 2018-04-28 2018-10-12 黄冈职业技术学院 一种大型建筑钢结构智能形变检测***

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221404A (ja) * 2001-01-26 2002-08-09 Shinkawa Ltd 画像処理方法および装置
US7200270B2 (en) * 2001-12-13 2007-04-03 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method using distributed model representation of partial images
US7457444B2 (en) * 2003-05-14 2008-11-25 Siemens Medical Solutions Usa, Inc. Method and apparatus for fast automatic centerline extraction for virtual endoscopy
JP5215545B2 (ja) * 2006-09-13 2013-06-19 Towa株式会社 電子部品の装着状況の検査方法
JP5193518B2 (ja) * 2007-07-13 2013-05-08 株式会社東芝 パターン探索装置及びその方法
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
WO2009059138A1 (en) 2007-11-01 2009-05-07 Wms Gaming Inc. Wagering game apparatus and method to provide a trusted gaming environment
US8682630B2 (en) * 2009-06-15 2014-03-25 International Business Machines Corporation Managing component coupling in an object-centric process implementation
BR112012024543B1 (pt) * 2010-03-26 2021-09-21 Monsanto Technology Llc Sistema de classificação automatizada de objeto pequeno, e método automatizado para classificar objetos pequenos
US8688585B2 (en) * 2010-08-13 2014-04-01 Apple Inc. Remote container
JP5647652B2 (ja) 2012-08-27 2015-01-07 ヤマハ発動機株式会社 半導体部品用実装装置
CN105824310B (zh) * 2015-01-08 2018-10-19 江苏美的清洁电器股份有限公司 机器人的行走控制方法和机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023916A (en) * 1989-08-28 1991-06-11 Hewlett-Packard Company Method for inspecting the leads of electrical components on surface mount printed circuit boards
JP2516844B2 (ja) 1991-02-25 1996-07-24 ヤマハ発動機株式会社 部品検出方法及び装置
JP3256372B2 (ja) 1994-05-26 2002-02-12 ヤマハ発動機株式会社 画像認識装置および画像認識方法
US6151406A (en) * 1997-10-09 2000-11-21 Cognex Corporation Method and apparatus for locating ball grid array packages from two-dimensional image data
US6055328A (en) * 1998-01-16 2000-04-25 Cognex Corporation Analyzing an acquired arrangement of object locations

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209792A (ja) * 2000-01-25 2001-08-03 Juki Corp 部品位置検出方法、部品位置検出装置、部品データ格納方法及びその装置
JP2002157582A (ja) * 2000-11-21 2002-05-31 Matsushita Electric Ind Co Ltd 半導体ウエハ上のic傾き補正方法、及びic傾き補正装置
JP2003097926A (ja) * 2001-09-27 2003-04-03 Nec Corp Ic外観検査方法
JP2007272474A (ja) * 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた車椅子使用者検出システム
JP2008065815A (ja) * 2006-08-08 2008-03-21 Juki Corp 画像処理装置
JP2008286629A (ja) * 2007-05-17 2008-11-27 Ryusyo Industrial Co Ltd レンズメータおよびレンズ測定方法
CN108645385A (zh) * 2018-04-28 2018-10-12 黄冈职业技术学院 一种大型建筑钢结构智能形变检测***

Also Published As

Publication number Publication date
US6690819B1 (en) 2004-02-10
JP4327289B2 (ja) 2009-09-09

Similar Documents

Publication Publication Date Title
JP2000232299A (ja) 部品認識方法および装置
US20090074286A1 (en) Data management equipment used to defect review equipment and testing system configurations
JP5624326B2 (ja) ウェーハ上に形成されたアレイ領域のための検査領域のエッジを正確に識別する方法、及び、ウェーハ上に形成されたアレイ領域に検知された欠陥をビニングする方法
CN110579479A (zh) 一种基于假点缺陷检测的pcb检修***及检修方法
JP5010207B2 (ja) パターン検査装置及び半導体検査システム
CN104718428A (zh) 图案的检查、测量装置及程序
JP4521386B2 (ja) 欠陥データ解析方法およびその装置
JP2003059984A (ja) 欠陥データ解析方法および検査装置並びにレビューシステム
JPH07198354A (ja) 画像処理を使用しての搭載されたコネクタピンのテスト
JPH10221035A (ja) 実装部品検査装置
US10663407B2 (en) Method of examining locations in a wafer with adjustable navigation accuracy and system thereof
US7027637B2 (en) Adaptive threshold determination for ball grid array component modeling
CN113406093B (zh) 光学检测设备及其物件属性的测量方法和装置
JP3722757B2 (ja) 欠陥撮像装置
JPH113421A (ja) 線分の検出方法
JP3963156B2 (ja) 画像処理装置および方法,画像処理のためのプログラムを記憶した媒体,ならびに検査装置
JPH10111108A (ja) パターン検査方法及び装置
JP3919505B2 (ja) パターン検査装置および方法
CN111598013A (zh) 一种螺母-销钉状态的识别方法及相关装置
US20230342896A1 (en) Image acquisition apparatus and image acquisition method
JP2897439B2 (ja) コーナ位置検出方法
US20240169512A1 (en) System and method for verification and validation of integrated circuit
JP3283866B2 (ja) 回路パターンの欠陥検査方法及びその装置
JP3210713B2 (ja) 所定の特徴及び許容差の識別のための画像化パターンの収縮、拡張及び処理を用いた幾何学的パターン検査方法及び装置
CN107247953A (zh) 一种基于边缘率的特征点类型选择方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070209

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees