JP3306978B2 - Recognition method of inspection object - Google Patents
Recognition method of inspection objectInfo
- Publication number
- JP3306978B2 JP3306978B2 JP07144293A JP7144293A JP3306978B2 JP 3306978 B2 JP3306978 B2 JP 3306978B2 JP 07144293 A JP07144293 A JP 07144293A JP 7144293 A JP7144293 A JP 7144293A JP 3306978 B2 JP3306978 B2 JP 3306978B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection object
- points
- image
- longitudinal direction
- contour line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、電子部品等の検査対象
物の認識方法に関する。The present invention relates to a sure識方law on the inspection object, such as electronic components.
【0002】[0002]
【従来の技術】電子部品の実装装置により、電子部品を
回路パターンが形成された基板に搭載する際には、吸着
ノズルにより電子部品を吸着し、観察位置にて電子部品
をカメラにより観察してその吸着位置、吸着した電子部
品の向き及び水平面上の吸着角度等を測定検出し、ノズ
ルの移動距離(移動ストローク)及びそのノズルの中心
軸線回りの回転角度を補正して基板上の所定の位置に搭
載実装するようになっている。この実装のために、上記
観察位置にて吸着角度を測定する際には、先ず、電子部
品の長手方向を検出することが必要である。従来の電子
部品の長手方向の検出方法では、電子部品の特徴点であ
る各コーナーの位置を検出してその各位置を基に電子部
品の長手方向を検出していた。2. Description of the Related Art When an electronic component is mounted on a substrate on which a circuit pattern is formed by an electronic component mounting apparatus, the electronic component is sucked by a suction nozzle, and the electronic component is observed at a viewing position by a camera. The suction position, the direction of the sucked electronic component, the suction angle on the horizontal plane, and the like are measured and detected, and the movement distance (movement stroke) of the nozzle and the rotation angle of the nozzle around the central axis are corrected to a predetermined position on the substrate. It is designed to be mounted on. To measure the suction angle at the observation position for this mounting, it is necessary to first detect the longitudinal direction of the electronic component. In the conventional method for detecting the longitudinal direction of an electronic component, the position of each corner, which is a characteristic point of the electronic component, is detected, and the longitudinal direction of the electronic component is detected based on each position.
【0003】[0003]
【発明が解決しようとする課題】しかしながら、従来の
検査対象物の長手方向検出方法では、電子部品のコーナ
ー部付近をノズルにより吸着した場合、カメラにより観
察した電子部品の画像において、電子部品のコーナー部
はノズルと重なってしまい、特徴点である4つのコーナ
ー部をすべて検出できないため、電子部品の長手方向の
検出が不可能となる。However, in the conventional method for detecting the longitudinal direction of the inspection object, when the vicinity of the corner of the electronic component is sucked by the nozzle, the corner of the electronic component is not detected in the image of the electronic component observed by the camera. Since the portion overlaps the nozzle and cannot detect all four corners, which are characteristic points, it is impossible to detect the electronic component in the longitudinal direction.
【0004】本発明は、検査対象物の認識方法を提供す
ることを目的とする。[0004] The present invention aims to provide a sure識方method inspection object.
【0005】[0005]
【課題を解決するための手段】本発明は、3個の突出部
を有する検査対象物の像を、カメラに取り込み、この像
の輪郭線を抽出する第1のステップと、上記輪郭線にお
ける曲率変化から突出部の候補点群を抽出する第2のス
テップと、上記輪郭線に沿って向きが同じであって、ほ
ぼ同一絶対値を有し、かつ上記全輪郭線上にて一列に連
続するように配置された複数のベクトルを設定し、この
設定した全ベクトルの傾きの分布を求める第3のステッ
プと、この分布に基づいて検査対象物の長手方向を検出
する第4のステップと、前記突出部の候補点群から突出
部と同じ個数の3個だけ選出した突出部の候補点群の組
合せのうちから、選出した3個の候補点で形成される三
角形がほぼ二等辺三角形であり、且つ上記検出された長
手方向に対して前記二等辺三角形の底辺が垂直又は平行
となる3個の候補点を突出部の位置とする第5のステッ
プとを備える。According to the present invention, there are provided three protrusions.
The image of the inspection object having
A first step of extracting an outline of
Second step of extracting candidate points of the protruding portion from the curvature change
The orientation is the same along the contour line
Have the same absolute value and are connected in a line on the entire contour line.
Set multiple vectors arranged to follow
A third step for obtaining the distribution of the inclination of all the set vectors
And the longitudinal direction of the inspection object based on this distribution
A fourth step of projecting from the candidate point group of the projecting portion
Set of candidate point groups of protruding parts selected from the same number of three as the number of parts
Three points formed by the three selected candidate points from the combination
The polygon is substantially an isosceles triangle, and the detected length is
The base of the isosceles triangle is perpendicular or parallel to the hand direction
And setting the three candidate points to be the positions of the protruding portions .
【0006】[0006]
【作用】本発明によれば、ミニトランジスタなどの3個
の突出部を有する検査対象物の画像をカメラで取り込ん
で検査対象物の輪郭線を抽出し、この輪郭線上に複数個
のベクトルを設定してこれらのベクトルの傾き分布を求
め、この傾き分布から検査対象物の長手方向を特定し、
更に突出部の候補点群から突出部と同じ個数の3個だけ
選出した突出部の候補点群の組合せのうちから、選出し
た3個の候補点で形成される三角形がほぼ二等辺三角形
であり、且つ検出された長手方向に対して前記二等辺三
角形の底辺が垂直又は平行となる3個の候補点を突出部
の位置とする。According to the present onset Akira [action], three mini transistor
An image of an inspection object having a projection is captured by a camera to extract an outline of the inspection object, a plurality of vectors are set on the outline, and a gradient distribution of these vectors is obtained. Identify the longitudinal direction of the inspection object ,
Furthermore, from the candidate point group of the protruding portion, only three of the same number
Select from combinations of candidate point groups of the selected protruding parts
The triangle formed by the three candidate points is almost an isosceles triangle
And the isosceles three with respect to the detected longitudinal direction.
Protruding three candidate points whose bases are perpendicular or parallel
Position .
【0007】[0007]
【実施例】図面を参照しながら本発明の実施例を説明す
る。図1は、本発明の電子部品の長手方向検出方法の一
実施例を採用した電子部品の実装装置の一実施例を示す
ものである。3は移載ヘッドであり、移載ヘッド移動制
御手段14によって水平方向及び垂直方向に移動できる
ように設けられている。Nは移載ヘッド3の下部に取り
付けられた吸着ノズルであり、図示しない吸引手段に連
通しており、検査対象物である電子部品OBを吸着す
る。この吸着ノズルNは、移載ヘッド3に内蔵されたモ
ータMにより吸着ノズルNの中心軸線を中心にθ方向に
回転するようになっている。3aは、吸着ノズルNに同
軸的に設けられた円板状の反射板であり、光源2からの
光aの照射により明るく光る。An embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an embodiment of an electronic component mounting apparatus employing an embodiment of the electronic component longitudinal direction detection method of the present invention. Reference numeral 3 denotes a transfer head, which is provided so as to be movable in the horizontal and vertical directions by the transfer head movement control means 14. N is a suction nozzle attached to the lower part of the transfer head 3 and communicates with suction means (not shown) to suck the electronic component OB to be inspected. The suction nozzle N is configured to rotate in the θ direction about the center axis of the suction nozzle N by a motor M built in the transfer head 3. Reference numeral 3a denotes a disk-shaped reflector provided coaxially with the suction nozzle N, and shines brightly by irradiation of the light a from the light source 2.
【0008】1はカメラであり、反射板3aの下方に位
置する電子部品OBのシルエットを撮像する。このカメ
ラ1には、固体撮像素子であるCCDカメラを使用す
る。4は電子部品OBを供給するパーツフィーダ、11
はその表面に回路パターンLが形成された基板10を保
持する基板保持テーブルである。5は、カメラ1から出
力された画像信号を、ディジタル信号に変換するA/D
変換器、6はこのディジタル信号を格納するフレームメ
モリ、7はROM8内に記憶されたプログラムに従っ
て、各種の演算や処理を行なうCPU、9は演算結果を
記憶するRAMであり、後述するベクトルの傾きの分布
を格納する傾き分布格納領域9aが設けられている。Reference numeral 1 denotes a camera, which captures an image of a silhouette of the electronic component OB located below the reflection plate 3a. As the camera 1, a CCD camera which is a solid-state image sensor is used. 4 is a parts feeder for supplying electronic parts OB, 11
Is a substrate holding table for holding a substrate 10 having a circuit pattern L formed on its surface. A / D 5 converts an image signal output from the camera 1 into a digital signal.
A converter 6 is a frame memory for storing the digital signal, 7 is a CPU for performing various calculations and processes in accordance with a program stored in a ROM 8, and 9 is a RAM for storing calculation results. Is provided with an inclination distribution storage area 9a for storing the distribution.
【0009】13はモータMを制御する駆動回路、15
は移載ヘッド移動制御手段14と駆動回路13を制御す
るマシンコントローラでありCPU7に接続されてい
る。この電子部品実装装置は、カメラ1によって電子部
品OBを観察してその位置をCPU7により算出し、こ
の結果に基づいてマシンコントローラ15が駆動回路1
3及び移載ヘッド移動制御手段14を制御して、電子部
品OBを基板10へ搭載するように構成されている。Reference numeral 13 denotes a drive circuit for controlling the motor M;
Is a machine controller that controls the transfer head movement control means 14 and the drive circuit 13 and is connected to the CPU 7. In this electronic component mounting apparatus, the electronic component OB is observed by the camera 1 and its position is calculated by the CPU 7, and based on the result, the machine controller 15
The electronic component OB is mounted on the substrate 10 by controlling the transfer head 3 and the transfer head movement control means 14.
【0010】上述の傾き分布格納領域9aは、後述する
ベクトルの傾きについて、全角度360度を1度毎に分
割したそれぞれのその角度に対応する頻度メモリSUM
1〜SUM360が設定されている。従って、傾き分布
格納領域9aには各頻度メモリ毎にその傾きのベクトル
の個数が記憶される。次に、図2のフローチャートに沿
って、本実施例の長手方向検出方法を説明する。まず、
図1において、カメラ1の視野Vに検査対象物の電子部
品OBの像を取り込みA/D変換器5で画像信号をディ
ジタル化してフレームメモリ6に格納する(ステップ
1)。ここで、この像SD4は図3に示すように、ノイ
ズ(はみ出した吸着ノズルNの像)を有するものであっ
たとする。この例では、図4に示すように、吸着ノズル
Nが、検査対象物の電子部品OBのコーナー点Bと接す
るように吸着しているので、像SD4には、コーナー点
Bに対応する特徴点が現れない。The above-mentioned inclination distribution storage area 9a stores a frequency memory SUM corresponding to each angle obtained by dividing the entire angle of 360 degrees by one degree with respect to the inclination of a vector described later.
1 to SUM360 are set. Therefore, the number of vectors of the inclination is stored in the inclination distribution storage area 9a for each frequency memory. Next, the longitudinal direction detection method of the present embodiment will be described with reference to the flowchart of FIG. First,
In FIG. 1, an image of an electronic component OB of an inspection object is taken into a field of view V of a camera 1, an image signal is digitized by an A / D converter 5, and stored in a frame memory 6 (step 1). Here, it is assumed that the image SD4 has a noise (an image of the sticking nozzle N which protrudes) as shown in FIG. In this example, as shown in FIG. 4, since the suction nozzle N is suctioned so as to be in contact with the corner point B of the electronic component OB of the inspection object, the feature point corresponding to the corner point B is included in the image SD4. Does not appear.
【0011】一方、他のコーナー点A,C,Dは、吸着
ノズルNの影響を受けないので、これらに対応する特徴
点EDA,EDC,EDDが、像SD4に現れている。
次に、図5に示すように、この像SD4について、輪郭
線CLを抽出する(ステップ2)。この輪郭線CLの抽
出手法は、特開昭63−24773号公報に開示されて
いるように、検査対象物をカメラに取り込み、その取り
込まれた検査対象物の図形の輪郭上の1点を検出し、輪
郭抽出開始点を中心に3by3マスク演算を行い、検査
対象物の輪郭上の次の輪郭点へ方向を示す連結方向を計
算し記憶し、次に、上記連結方向に基づき次の輪郭点の
位置を計算し、その位置を中心に上記3by3マスク演
算を行い連結方向と次の輪郭点の位置計算を行い、以下
同様な処理を繰り返し、全輪郭点の連結方向及び位置を
検出して、輪郭線を抽出するというものであり、その詳
細な説明は、画像処理技術分野における通常の手段であ
るので省略する。On the other hand, since the other corner points A, C, and D are not affected by the suction nozzle N, the corresponding feature points EDA, EDC, and EDD appear in the image SD4.
Next, as shown in FIG. 5, a contour line CL is extracted from this image SD4 (step 2). As disclosed in Japanese Patent Application Laid-Open No. 63-24773, this contour line extraction method detects an inspection object into a camera and detects one point on the outline of the captured figure of the inspection object. Then, a 3by3 mask operation is performed centering on the contour extraction start point, a connection direction indicating a direction to the next contour point on the contour of the inspection object is calculated and stored, and then the next contour point is calculated based on the connection direction. Is calculated, the above-mentioned 3by3 mask calculation is performed centering on the position, the connection direction and the position of the next contour point are calculated, the same processing is repeated thereafter, and the connection direction and position of all the contour points are detected. The outline is extracted, and the detailed description is omitted because it is a general means in the image processing technical field.
【0012】ここで、図5のS1部の拡大図を図6に示
すと、この輪郭線CLは斜線を付した画素Gの集まりと
して表現される。そして、これらの輪郭線CLを示す各
画素P0,P1,P2,・・・,Pi,Pi+1,・・
・,Pi+n,Pi+n+1,・・・Pkの座標データ
は、RAM9内に記憶される。次に、これらの輪郭線C
Lのデータから、輪郭線CL上の2点で設定されるベク
トルの傾き分布を作成する(ステップ3)。この傾き分
布は、図7のフローチャートに従って作成される。はじ
めにカウンターiの値を0に設定した後(ステップ3
1)の頻度メモリ(SUM1〜SUM360)の値を初
期化(ゼロ)する(ステップ32)。FIG. 6 shows an enlarged view of a portion S1 in FIG. 5, and this contour line CL is expressed as a group of hatched pixels G. The pixels P0, P1, P2,..., Pi, Pi + 1,.
, Pi + n, Pi + n + 1,..., Pk are stored in the RAM 9. Next, these contour lines C
From the data of L, a gradient distribution of a vector set at two points on the contour line CL is created (step 3). This gradient distribution is created according to the flowchart of FIG. First, after setting the value of the counter i to 0 (step 3
The value of the frequency memory (SUM1 to SUM360) of 1) is initialized (zero) (step 32).
【0013】次に、ベクトルSiの傾きθiを求める
(ステップ33)が、先ず、図6を参照して、ベクトル
Siの求め方について説明する。今、輪郭線CL上のあ
る画素Piに注目して、この画素Piを始点とし、この
始点から輪郭線CLに沿って右方向叉は上方向に定数n
画素分(例えばn=5)だけ移動した位置にある画素P
i+nを終点とするベクトルSiを設定する。そして、
このベクトルSiの傾きθi(x軸に対して、反時計方
向を正の方向とする角度)を求める。ここで、x(P
i)を画素Piのx座標、y(Pi)を同y座標、x
(Pi+n)を画素Pi+nのx座標、y(Pi+n)
を同y座標とすると、ベクトルSiの傾きθiは、 θi=tan-1(y(Pi+n)−y(Pi)/x(P
i+n)−x(Pi)) ただし、y(Pi+n)≧y(Pi)、x(Pi+n)
≧x(Pi) θi=π+tan-1(y(Pi+n)−y(Pi)/x
(Pi+n)−x(Pi)) ただし、x(Pi+n)<x(Pi) θi=2π+tan-1(y(Pi+n)−y(Pi)/
x(Pi+n)−x(Pi)) ただし、y(Pi+n)<y(Pi)、x(Pi+n)
≧x(Pi)で与えられる。Next, the inclination θi of the vector Si is obtained (step 33). First, a method of obtaining the vector Si will be described with reference to FIG. Now, paying attention to a certain pixel Pi on the contour line CL, this pixel Pi is set as a starting point, and a constant n is shifted rightward or upward along the contour line CL from this starting point.
A pixel P at a position shifted by a pixel (for example, n = 5)
A vector Si ending at i + n is set. And
The inclination θi of this vector Si (an angle with the counterclockwise direction being a positive direction with respect to the x axis) is obtained. Here, x (P
i) is the x coordinate of pixel Pi, y (Pi) is the y coordinate, x
(Pi + n) is the x coordinate of pixel Pi + n, y (Pi + n)
Is the same y coordinate, the slope θi of the vector Si is θi = tan −1 (y (Pi + n) −y (Pi) / x (P
i + n) −x (Pi)) where y (Pi + n) ≧ y (Pi), x (Pi + n)
≧ x (Pi) θi = π + tan −1 (y (Pi + n) −y (Pi) / x
(Pi + n) −x (Pi)) where x (Pi + n) <x (Pi) θi = 2π + tan−1 (y (Pi + n) −y (Pi) /
x (Pi + n) -x (Pi)) where y (Pi + n) <y (Pi), x (Pi + n)
≧ x (Pi).
【0014】従って、輪郭線CLに沿ってベクトルSi
の始点及び終点の位置をそれぞれ所定の同画素数だけ移
動させたものをベクトルSi+1とする。このようにし
て、次々に、輪郭線CLに沿って、ほぼ同一の絶対値を
持ったベクトルが設定できる。よって同様に、ベクトル
Si+1(始点Pi+1、終点Pi+n+1)の傾きが
求められ、次に、ベクトルSiの傾きθiが求まると、
このθiに対応する頻度メモリーの値を1つ増加する
(ステップ34)。Therefore, along the contour line CL, the vector Si
Are obtained by moving the positions of the start point and the end point by the same number of pixels, respectively, as a vector Si + 1. In this way, vectors having substantially the same absolute value can be successively set along the contour line CL. Accordingly, similarly, the gradient of the vector Si + 1 (start point Pi + 1, end point Pi + n + 1) is obtained, and then the inclination θi of the vector Si is obtained.
The value of the frequency memory corresponding to θi is increased by one (step 34).
【0015】ステップ33〜34の処理をカウンタの値
が輪郭線CLを構成する画素の総数kよりも大きくなる
までくり返す(ステップ35、36)。このように、注
目する画素Piの位置を輪郭線上で次々に変更し、それ
ぞれの画素Piを始点とするベクトルの傾きθiを求め
て、この傾きθiに対応する頻度メモリーの値を1づつ
加算していく事により、輪郭線CL上で確定される全て
のベクトルの傾きの分布が頻度メモリSUM1〜SUM
360に格納されていく。これらの頻度メモリSUM1
〜SUM360に格納された数値を図化したヒストグラ
ムを作成すると図11のグラフ上の破線のようになる。The processing of steps 33 to 34 is repeated until the value of the counter becomes larger than the total number k of pixels constituting the contour line CL (steps 35 and 36). In this way, the position of the pixel of interest Pi is successively changed on the contour line, the inclination θi of the vector starting from each pixel Pi is obtained, and the value of the frequency memory corresponding to the inclination θi is added by one. As a result, the distributions of the inclinations of all the vectors determined on the contour line CL are stored in the frequency memories SUM1 to SUM.
It is stored in 360. These frequency memories SUM1
When a histogram is created in which the numerical values stored in .about.SUM 360 are plotted, the histogram becomes as shown by the broken line in the graph of FIG.
【0016】尚、比較のために、図8に電子部品OBの
ノイズの無い像である像SD1に関するヒストグラムは
図11上実線で示している。図11において、像SD1
のヒストグラムには、4つのピーク41,42,43,
44が現れている。又、像SD4のヒストグラムにも同
様にピーク51,52,53,54が現れている。For comparison, the histogram of the image SD1 which is a noise-free image of the electronic component OB is shown by a solid line in FIG. 11 in FIG. In FIG. 11, the image SD1
Has four peaks 41, 42, 43,
44 appears. Similarly, peaks 51, 52, 53, and 54 appear in the histogram of the image SD4.
【0017】ピーク41は図8の像における線分(ED
B,EDA)上にて設定された多数のベクトルによって
角度α1の位置に現れており、ピーク43は線分(ED
D,EDC)上で設定された複数のベクトルによって現
れている。また、ピーク42,及び44はそれぞれ線分
(EDA,EDD),線分(EDC,EDB)上にて設
定されたベクトル群によって表わされている。The peak 41 is a line segment (ED
B, EDA), appears at the position of the angle α1 by a number of vectors set on the line 43, and the peak 43 is a line segment (EDA).
D, EDC). The peaks 42 and 44 are respectively represented by a line segment (EDA, EDD) and a vector group set on the line segment (EDC, EDB).
【0018】線分(EDB,EDA)及び線分(ED
D,EDC)は、線分(EDA,EDD)及び線分(E
DC,EDB)よりも長いので線分(EDB,EDA)
及び線分(EDD,EDC)上にて設定されるベクトル
の数(頻度)は線分(EDA,EDD),(EDC,E
DB)上にて設定されるものより多いこととなる。従っ
て、ピーク41,43は、42,44よりも高くなる。Line segments (EDB, EDA) and line segments (ED
D, EDC) are a line segment (EDA, EDD) and a line segment (E
Line segment (EDB, EDA) because it is longer than DC, EDB)
And the number (frequency) of vectors set on the line segment (EDD, EDC) is the line segment (EDA, EDD), (EDC, EDC
DB). Therefore, the peaks 41 and 43 are higher than 42 and 44.
【0019】また、像SD1は、ほぼ長方形をしている
ので、図11のグラフ上それぞれのピークは90度づつ
はなれた位置に現われる。また、同グラフ上、これらの
ピークが現われる位置は、検査対象物の向きによって変
化する。これらのピークのうち、像SD1すなわち検査
対象物の長手方向を示しているのは41,43であるこ
とは明白であり、像SD1に吸着ノズルの影が写って像
SD4のようになるとヒストグラムは、破線に示すよう
に変化する。即ち、SD4のヒストグラムでもピーク5
1,52,53,54が明瞭に現れるが、そのピーク5
1,52の値が小さくなっている。これは、線分(ED
B,EDA)の左端部と線分(EDC,EDB)の上端
部が吸着ノズルの影でかくれてしまった為である。Since the image SD1 has a substantially rectangular shape, the respective peaks appear at positions separated by 90 degrees on the graph of FIG. In the graph, the positions where these peaks appear vary depending on the direction of the inspection object. Of these peaks, it is clear that the image SD1, that is, 41, 43 indicates the longitudinal direction of the inspection object. When the shadow of the suction nozzle is reflected on the image SD1 and becomes like the image SD4, the histogram becomes , As shown by the broken line. That is, the peak of the histogram of SD4 is 5
1, 52, 53 and 54 appear clearly, but their peak 5
The values of 1,52 are small. This is a line segment (ED
B, EDA) and the upper end of the line segment (EDC, EDB) are hidden by the shadow of the suction nozzle.
【0020】求めるべき長手方向は、頻度メモリSUM
1〜SUM360内の数値をCPU7で解析してピーク
51又は53の数値が格納されている頻度メモリを検出
し、この頻度メモリと対応する傾きより求める事ができ
る(ステップ4)。CPUにより検出された電子部品の
姿勢に関する情報は、マシンコントローラへ15送出さ
れ、このマシンコントローラ15は、この情報に基づい
て移載ヘッド移動制御手段14を制御し、モータMによ
り電子部品OBの姿勢を補正しながら、この電子部品O
Bを基板上の所定の位置に搭載する。The longitudinal direction to be determined is the frequency memory SUM
Numerical values in 1 to SUM 360 are analyzed by the CPU 7 to detect a frequency memory storing the numerical value of the peak 51 or 53, and the frequency memory can be obtained from the slope corresponding to the frequency memory (step 4). Information on the attitude of the electronic component detected by the CPU is sent to the machine controller 15, which controls the transfer head movement control means 14 based on this information, and the motor M controls the attitude of the electronic component OB. While compensating for this electronic component O
B is mounted at a predetermined position on the substrate.
【0021】このように、本発明においては、図10に
示すような、検査対象物の取り込んだ画像がその端点
(コーナー)が明瞭に検出できないようなものであって
も、その長手方向を検出することができる。次に、本発
明の検査対象物の長手方向検出方法を用いた検査対象物
の認識方法について説明する。図9は、3個のピン(突
出部)を有するミニトランジスタの像SD2を示してい
る。このミニトランジスタを基板に実装するにあたって
は、これらのピンが基板の回路パターン上に載るように
しなければならず、これらのピンの位置を正確に求めて
おく必要がある。As described above, according to the present invention, even if the end point (corner) of the image captured by the inspection object cannot be clearly detected as shown in FIG. can do. Next, a method of recognizing an inspection object using the inspection object longitudinal direction detection method of the present invention will be described. FIG. 9 shows an image SD2 of a mini-transistor having three pins (projections). In mounting this mini-transistor on a substrate, these pins must be placed on the circuit pattern of the substrate, and the positions of these pins must be accurately determined.
【0022】図12は、この過程を示すフローチャート
であり、図13はピン候補点の抽出処理の説明図、図1
6から図19はピン候補点からピン位置を確定する処理
の説明図である。図12において、図2のステップ1、
2と同様に、カメラ画像を取込んで、この画像における
輪郭線を抽出する(ステップ10、11)。すると、図
13に示すような輪郭線CMが得られる。次いで、この
輪郭線CMに囲まれる領域内に、スタート点SPを設定
する。そして、このスタート点SPから、例えばy軸方
向に注目点を移動させ、輪郭線CMと交わる交点IPを
探す。交点IPを見つけたなら、曲線の4つの矢印で示
すように、注目点を輪郭線CMに沿って一周するまで、
交点IPから移動させながら曲率Rの変化を算出してい
く。この曲率Rは、輪郭線CM上のベクトルの向きの変
化を示すものであり曲率R=θi+1−θi θi+1:ベクトルSi+1の傾き θi :ベクトルSiの傾きで求める事ができる。な
お、この曲率Rを求める手段の詳細については、特開昭
63−24773号公報に記載されている。FIG. 12 is a flowchart showing this process, and FIG. 13 is an explanatory diagram of a pin candidate point extraction process.
6 to 19 are explanatory diagrams of the processing for determining the pin position from the pin candidate points. In FIG. 12, step 1 of FIG.
In the same manner as in 2, the camera image is fetched and the contour line in this image is extracted (steps 10 and 11). Then, an outline CM as shown in FIG. 13 is obtained. Next, a start point SP is set in an area surrounded by the contour line CM. Then, from this start point SP, the point of interest is moved, for example, in the y-axis direction, and an intersection IP intersecting with the contour line CM is searched. Once the intersection point IP is found, as indicated by the four arrows on the curve, the point of interest goes around the contour line CM until it goes around.
The change in the curvature R is calculated while moving from the intersection IP. The curvature R indicates the change in the direction of the vector on the contour line CM, and can be obtained from the curvature R = θi + 1−θi θi + 1: the inclination of the vector Si + 1 θi: the inclination of the vector Si. The means for obtaining the curvature R is described in detail in JP-A-63-24773.
【0023】このベクトルは図6の場合と同様にして求
められる。このようにして求めた曲率Rの変化を図14
に示す。縦軸には、輪郭線上での位置を表している。こ
こで、図13における特徴点e1〜e13と、図14の
ピーク点において同一符号を付したものは、それぞれ対
応するものである。ベクトルはある程度の長さ(絶対
値)を有するので、図15に示すように、鋭く突出する
箇所(例えばピンの像など)では、その角点P1、P3
において、曲率Rがピークになるのではなく、その角点
P1、P3の中央点P2において曲率Rがピークにな
る。This vector is obtained in the same manner as in FIG. The change in the curvature R obtained in this manner is shown in FIG.
Shown in The vertical axis represents the position on the contour line. Here, the feature points e1 to e13 in FIG. 13 and those with the same reference numerals at the peak points in FIG. 14 correspond to each other. Since the vector has a certain length (absolute value), as shown in FIG. 15, at a sharply protruding portion (for example, an image of a pin), its corner points P1, P3
, The curvature R does not peak, but the curvature R peaks at the center point P2 of the corner points P1 and P3.
【0024】そして、図14に示すように、曲率Rにし
きい値THを設定し、上記ピーク点e1〜e13のなか
から、このしきい値THよりも絶対値が大きなものを抽
出し、ピン候補点とする(ステップ12)。この例で
は、点e3、点e6、点e11、点e13がピン候補点
となる。なお、このしきい値THをあまり大きくしすぎ
ると、ピン候補点の数が実際のピン数(既知)を下回る
こともあり得る。したがって、しきい値THは、比較的
小さめに設定されることになり、その結果、ピン候補点
の数が実際のピン数を上回る(即ち、ピンに対応しない
点が、ピン候補点に含まれている)ことがある。この例
でも図13に印を付しているように、ピンに対応する点
e3、点e6、点e11の他、ピンに対応しない点e1
3がピン候補点に含まれている。Then, as shown in FIG. 14, a threshold value TH is set for the curvature R, and a peak whose absolute value is larger than the threshold value TH is extracted from among the peak points e1 to e13. Points (step 12). In this example, points e3, e6, e11, and e13 are pin candidate points. If the threshold value TH is too large, the number of pin candidate points may be lower than the actual number of pins (known). Therefore, threshold value TH is set relatively small, and as a result, the number of pin candidate points exceeds the actual number of pins (that is, points that do not correspond to pins are included in pin candidate points). Have). Also in this example, as marked in FIG. 13, in addition to the points e3, e6, and e11 corresponding to the pins, a point e1 not corresponding to the pins.
3 is included in the pin candidate points.
【0025】そこで、上記実施例の長手方向特定方法を
用いて、ミニトランジスタの長手方向を特定し、この長
手方向を参照して、ピン候補点のうち正しくピンに対応
するもののみを選び出し、これにより正しいピンの位置
を得る。即ち、図2に示すステップ3及びステップ4を
応用して、図12に示すように、輪郭線CMのデータか
ら傾き分布を作成し、長手方向を特定する(ステップ1
3、14)。次いで、この長手方向と、この長手方向に
直交する方向とを、対称軸方向として定める(ステップ
15)。図13の例では、矢印NA方向(長手方向)
と、これに直交する矢印NB方向とが、対称軸方向とな
る。次に、ステップ16において、ピン候補点から3点
を選び出し、この3点を頂点とする三角形を作る。する
と、図13の例では、この三角形が、図16から図19
に示すように4通り作成できる。Therefore, the longitudinal direction of the mini-transistor is specified by using the longitudinal direction specifying method of the above-described embodiment, and only the correct pin corresponding to the pin is selected from the pin candidate points with reference to the longitudinal direction. To get the correct pin position. That is, by applying Steps 3 and 4 shown in FIG. 2, as shown in FIG. 12, an inclination distribution is created from the data of the contour CM, and the longitudinal direction is specified (Step 1).
3, 14). Next, the longitudinal direction and the direction orthogonal to the longitudinal direction are determined as the axis of symmetry (step 15). In the example of FIG. 13, the direction of the arrow NA (longitudinal direction)
And the direction of the arrow NB orthogonal to this is the symmetric axis direction. Next, in step 16, three points are selected from the pin candidate points, and a triangle having the three points as vertices is created. Then, in the example of FIG. 13, this triangle is
As shown in FIG.
【0026】次に、ステップ17にて、これらの三角形
のうち、ほぼ二等辺三角形となるもののみを残す。即
ち、ピン候補点から選ばれた3点で形成される三角形
が、二等辺三角形でない場合は、この3点の中にピン以
外の点に対応するものが含まれていることを意味してい
るので、この3点の組み合せはこの時点で除外される。
これにより、図18及び図19の三角形が排除される。
なお、図17の三角形は二等辺三角形に近いので、この
段階では残される。次いで、各残った候補の三角形の底
辺(短辺)のベクトルを算出し、このベクトルが上記対
称軸(矢印NA方向又は矢印NB方向)のいずれかに垂
直又は平行なもののみを残す(ステップ18、19)。
このようにして、上記長手方向が参照される。なお、こ
のベクトルが垂直であるか否かの判断は数学的常識で行
えるので、説明を省略する。ここで、図17の三角形は
その底辺(短辺)が明らかに対称軸のいずれにも垂直で
ないので排除される。その結果、図16の三角形の頂点
である点e3、点e6、点e11が、ピンの位置を示す
ものとして確定される(ステップ20)。Next, in step 17, only those triangles which are substantially isosceles triangles are left. That is, if the triangle formed by the three points selected from the pin candidate points is not an isosceles triangle, it means that the three points include those corresponding to points other than the pin. Therefore, the combination of these three points is excluded at this point.
As a result, the triangles in FIGS. 18 and 19 are eliminated.
Note that the triangle in FIG. 17 is close to an isosceles triangle, and thus is left at this stage. Next, a vector of the base (short side) of each remaining candidate triangle is calculated, and only the vector whose vector is perpendicular or parallel to any of the symmetry axes (the direction of the arrow NA or the direction of the arrow NB) is left (step 18). , 19).
In this way, the longitudinal direction is referred to. It should be noted that whether or not this vector is vertical can be determined by mathematical common sense, and a description thereof will be omitted. Here, the triangle in FIG. 17 is excluded because its base (short side) is obviously not perpendicular to any of the symmetry axes. As a result, points e3, e6, and e11, which are vertices of the triangle in FIG. 16, are determined as indicating the positions of the pins (step 20).
【0027】その後、これらのピンの位置から電子部品
の位置や傾きがCPU7により算出され、その結果に基
づいて、移載ヘッド移動制御手段14、モータMをマシ
ンコントローラ15で制御して基板上にその電子部品が
搭載される。Thereafter, the position and inclination of the electronic component are calculated by the CPU 7 from the positions of these pins, and the transfer head movement control means 14 and the motor M are controlled by the machine controller 15 on the substrate based on the calculation results. The electronic components are mounted.
【0028】[0028]
【発明の効果】本発明によれば、カメラに取り込まれた
ミニトランジスタなどの3個の突出部を有する検査対象
物の像の輪郭線が求められ、この輪郭線上の各点におけ
るベクトルの傾きの分布から検査対象物の長手方向を検
出するので検査対象物の輪郭線のコーナー部数に関係な
く、この長手方向を特定できる。また、検査対象物以外
の像(ノイズ)がカメラに取り込まれたとしても、ベク
トルの傾きの分布において、検査対象物の長手方向の傾
きをあらわすピークが現れるので、このようなノイズが
含まれていても、正確に長手方向の特定を行うことがで
きる。そして突出部の候補点群から突出部と同じ個数の
3個だけ選出した突出部の候補点群の組合せのうちか
ら、選出した3個の候補点で形成される三角形がほぼ二
等辺三角形であり、且つ検出された長手方向に対して前
記二等辺三角形の底辺が垂直又は平行となる3個の候補
点を突出部の位置とすることができる。 According to the present onset Akira, according to the present invention, it has been incorporated into the camera
The contour of the image of the inspection object having three protrusions such as mini-transistors is obtained, and the longitudinal direction of the inspection object is detected from the distribution of the inclination of the vector at each point on the outline. This longitudinal direction can be specified regardless of the number of corners of the contour line. Even if an image (noise) other than the object to be inspected is captured by the camera, a peak representing the longitudinal inclination of the object to be inspected appears in the distribution of the vector inclination. However, it is possible to accurately specify the longitudinal direction. Then, from the candidate point group of the protrusion, the same number of
Of the combinations of candidate point groups of the protruding parts selected for only three
The triangle formed by the three selected candidate points is almost two.
Is an equilateral triangle and is forward with respect to the detected longitudinal direction.
3 candidates whose bases of the isosceles triangle are vertical or parallel
A point can be the location of the protrusion.
【図1】本発明の検査対象物の長手方向検出方法の一実
施例を採用した電子部品の実装装置の一実施例の説明図FIG. 1 is an explanatory view of an embodiment of an electronic component mounting apparatus employing an embodiment of a method of detecting a longitudinal direction of an inspection object according to the present invention;
【図2】本発明の検査対象物の長手方向検出方法の一実
施例に係るフローチャートFIG. 2 is a flowchart according to an embodiment of a method of detecting a longitudinal direction of an inspection object according to the present invention;
【図3】本発明の検査対象物の長手方向検出方法の一実
施例に係るカメラ画像の例示図FIG. 3 is a view showing an example of a camera image according to an embodiment of the inspection object longitudinal direction detection method of the present invention;
【図4】本発明の検査対象物の長手方向検出方法の一実
施例におけるノズルの吸着位置を示す説明図FIG. 4 is an explanatory diagram showing a suction position of a nozzle in an embodiment of a method of detecting a longitudinal direction of an inspection object according to the present invention;
【図5】本発明の検査対象物の長手方向検出方法の一実
施例における画像の処理を示す説明図FIG. 5 is an explanatory diagram showing image processing in one embodiment of the inspection object longitudinal direction detection method of the present invention.
【図6】本発明の検査対象物の長手方向検出方法の一実
施例における輪郭線の処理を示す説明図FIG. 6 is an explanatory diagram showing processing of a contour line in one embodiment of a method of detecting a longitudinal direction of an inspection object according to the present invention;
【図7】本発明の検査対象物の長手方向検出方法の一実
施例における傾き分布作成過程を示すフローチャートFIG. 7 is a flowchart showing a process of creating a tilt distribution in an embodiment of a method of detecting a longitudinal direction of an inspection object according to the present invention;
【図8】本発明の検査対象物の長手方向検出方法の一実
施例における検査対象物の像を示す例示図FIG. 8 is an exemplary view showing an image of an inspection object in one embodiment of the inspection object longitudinal direction detection method of the present invention.
【図9】本発明の検査対象物の長手方向検出方法の一実
施例における検査対象物の像を示す例示図FIG. 9 is an exemplary view showing an image of an inspection object in one embodiment of the inspection object longitudinal direction detection method of the present invention.
【図10】本発明の検査対象物の長手方向検出方法の一
実施例における検査対象物の像を示す例示図FIG. 10 is an exemplary view showing an image of an inspection object in one embodiment of the inspection object longitudinal direction detection method of the present invention.
【図11】本発明の検査対象物の長手方向検出方法の一
実施例における傾き分布のヒストグラムFIG. 11 is a histogram of a gradient distribution in one embodiment of the method of detecting a longitudinal direction of an inspection object according to the present invention.
【図12】本発明の検査対象物の認識方法の実施例に係
る全体フローチャートFIG. 12 is an overall flowchart according to an embodiment of a method of recognizing an inspection object according to the present invention;
【図13】本発明の検査対象物の認識方法の実施例にお
けるピン候補点の抽出処理の説明図FIG. 13 is an explanatory diagram of a pin candidate point extraction process in the embodiment of the inspection object recognition method of the present invention.
【図14】本発明の検査対象物の認識方法の実施例にお
けるピン候補点の抽出処理の説明図FIG. 14 is an explanatory diagram of a pin candidate point extraction process in the embodiment of the inspection object recognition method of the present invention.
【図15】本発明の検査対象物の認識方法の実施例にお
けるピン候補点の抽出処理の説明図FIG. 15 is an explanatory diagram of a pin candidate point extraction process in the embodiment of the inspection object recognition method of the present invention.
【図16】本発明の検査対象物の認識方法の実施例にお
ける突出部候補点から突出部位置を確定する処理の説明
図FIG. 16 is an explanatory diagram of a process of determining a protruding portion position from a protruding portion candidate point in the embodiment of the inspection object recognition method according to the present invention.
【図17】本発明の検査対象物の認識方法の実施例にお
ける突出部候補点から突出部位置を確定する処理の説明
図FIG. 17 is an explanatory diagram of a process for determining a protruding portion position from a protruding portion candidate point in the embodiment of the inspection object recognition method of the present invention.
【図18】本発明の検査対象物の認識方法の実施例にお
ける突出部候補点から突出部位置を確定する処理の説明
図FIG. 18 is an explanatory diagram of a process for determining a protruding portion position from a protruding portion candidate point in the embodiment of the inspection object recognition method according to the present invention.
【図19】本発明の検査対象物の認識方法の実施例にお
ける突出部候補点から突出部位置を確定する処理の説明
図FIG. 19 is an explanatory diagram of a process of determining a protruding portion position from a protruding portion candidate point in the embodiment of the inspection target object recognition method of the present invention.
1 カメラ 9a 傾き分布格納領域 OB 電子部品 N 吸着ノズル 1 camera 9a tilt distribution storage area OB electronic component N suction nozzle
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−121573(JP,A) 特開 昭63−228382(JP,A) 特開 昭63−91779(JP,A) 特開 平1−21674(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/26 G06T 1/00 H05K 13/08 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-3-121573 (JP, A) JP-A-63-228382 (JP, A) JP-A-63-91779 (JP, A) JP-A-1- 21674 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G01B 11/26 G06T 1/00 H05K 13/08
Claims (2)
カメラに取り込み、この像の輪郭線を抽出する第1のス
テップと、 上記輪郭線における曲率変化から突出部の候補点群を抽
出する第2のステップと、 上記輪郭線に沿って向きが同じであって、ほぼ同一絶対
値を有し、かつ上記全輪郭線上にて一列に連続するよう
に配置された複数のベクトルを設定し、この設定した全
ベクトルの傾きの分布を求める第3のステップと、 この分布に基づいて検査対象物の長手方向を検出する第
4のステップと、 前記突出部の候補点群から突出部と同じ個数の3個だけ
選出した突出部の候補点群の組合せのうちから、選出し
た3個の候補点で形成される三角形がほぼ二等辺三角形
であり、且つ上記検出された長手方向に対して前記二等
辺三角形の底辺が垂直又は平行となる3個の候補点を突
出部の位置とする第5のステップとを備える検査対象物
の認識方法。1. An image of an inspection object having three protrusions,
A first step of capturing the image and extracting a contour line of the image; a second step of extracting a candidate point group of the protrusion from the curvature change in the contour line; A third step of setting a plurality of vectors having substantially the same absolute value and arranged so as to be continuous in a line on the entire contour line, and obtaining a distribution of inclinations of the set all vectors; A fourth step of detecting the longitudinal direction of the inspection object based on the distribution; and a combination of the protruding part candidate point group selected from the protruding part candidate point group by the same number of three as the protruding part. From , elected
The triangle formed by the three candidate points is almost an isosceles triangle
And the above- mentioned second magnitude with respect to the detected longitudinal direction .
Recognition method of the inspection object which the bottom side triangle and a fifth step of the position of the collision <br/> out section three candidate points to be perpendicular or parallel.
る2つの点に始点及び終点とを有するベクトルを設定
し、上記両点を上記輪郭線に沿って所定の距離づつシフ
トさせることにより全輪郭線についてベクトルを設定
し、上記全ベクトル群の傾きの分布を求めるステップで
ある請求項1記載の検査対象物の認識方法。2. The method according to claim 1, wherein the third step sets a vector having a start point and an end point at two points on the contour line, and shifts both points by a predetermined distance along the contour line. recognition method for all contours set vector for, test object according to claim 1, wherein the step of determining the distribution of the slope of the entire vector group.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07144293A JP3306978B2 (en) | 1992-03-31 | 1993-03-30 | Recognition method of inspection object |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7668692 | 1992-03-31 | ||
JP4-76686 | 1992-03-31 | ||
JP07144293A JP3306978B2 (en) | 1992-03-31 | 1993-03-30 | Recognition method of inspection object |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0611326A JPH0611326A (en) | 1994-01-21 |
JP3306978B2 true JP3306978B2 (en) | 2002-07-24 |
Family
ID=26412547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07144293A Expired - Lifetime JP3306978B2 (en) | 1992-03-31 | 1993-03-30 | Recognition method of inspection object |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3306978B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008151606A (en) * | 2006-12-15 | 2008-07-03 | Juki Corp | Image processing method and image processing apparatus |
-
1993
- 1993-03-30 JP JP07144293A patent/JP3306978B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0611326A (en) | 1994-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4190819B2 (en) | Electronic component mounting apparatus and image recognition method selection method | |
KR900002509B1 (en) | Apparatus for recognizing three demensional object | |
US6718048B1 (en) | Method for recognizing a target component image within an image having multiple component images | |
JP3306978B2 (en) | Recognition method of inspection object | |
US5038380A (en) | Method for recognizing position of component and apparatus therefor | |
JPH06241719A (en) | Article position detection device | |
JP2010091525A (en) | Pattern matching method of electronic component | |
JP4073995B2 (en) | Electronic component position detection method | |
JP2930746B2 (en) | Parts inspection equipment | |
JP2519445B2 (en) | Work line tracking method | |
JP3632461B2 (en) | Image recognition method | |
JPH03202290A (en) | Take-up device for articles loaded in bulk | |
JP4106301B2 (en) | Component recognition method and apparatus | |
JP4566686B2 (en) | Method and apparatus for determining shape of object | |
US5471407A (en) | Method of detecting longitudinal direction of inspection object and identifying configuration of the same | |
JP3680578B2 (en) | Image recognition method and inspection method | |
JPH06226668A (en) | Article position detecting device | |
Umeda et al. | Three-dimensional vision system for mechanical assembly/disassembly | |
JP2004118467A (en) | Member inclination recognizing method, member inclination recognition control program, readable recording medium, and shape recognizing device | |
JP3577969B2 (en) | Image recognition method | |
JPH0737893B2 (en) | Pattern matching method | |
JP3342171B2 (en) | Component position recognition method and position recognition device | |
JP2004062784A (en) | Method for identifying body to be inspected and method for detecting position of body to be inspected | |
JP2818423B2 (en) | Image processing device and work positioning device for machine tool using the same | |
JPH09272090A (en) | Robot system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090517 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100517 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110517 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110517 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120517 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120517 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130517 Year of fee payment: 11 |