JP2814394B2 - Electronic component appearance inspection method - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、ノイズのために電子部品の全体形状を完全
に観察できない場合でも、電子部品のセンター等に求め
ることができる電子部品の外観検査方法に関するもので
ある。DETAILED DESCRIPTION OF THE INVENTION (Industrial Application Field) The present invention relates to a visual inspection of an electronic component which can be obtained at a center of the electronic component even when the entire shape of the electronic component cannot be completely observed due to noise. It is about the method.

（従来の技術） 電子部品を基板に実装する分野において、電子部品の
外観検査が行われる。この外観検査としては、例えば電
子部品実装装置のノズルに吸着されて基板に移送搭載さ
れる電子部品を、下方のカメラにより観察するものや、
基板に実装された電子部品を、上方のカメラにより観察
するものなどがある。(Prior Art) In the field of mounting an electronic component on a substrate, an appearance inspection of the electronic component is performed. As this appearance inspection, for example, an electronic component adsorbed by a nozzle of an electronic component mounting device and observed by a camera below and transferred and mounted on a substrate,
An electronic component mounted on a substrate is observed by an upper camera.

（発明が解決しようとする課題） ところが、上記のようにカメラにより電子部品を観察
する場合、電子部品の全体形状を明瞭に観察できない場
合がある。このような場合とは、例えば、電子部品を吸
着するノズルが、電子部品の側方にばり出して、電子部
品とノズルが一体的な黒い画像として観察される場合
や、電子部品の表面の一部が照明光を鏡面反射して、部
分的に明るく観察されるような場合である。(Problems to be Solved by the Invention) However, when the electronic component is observed by the camera as described above, the entire shape of the electronic component may not be clearly observed. Such a case includes, for example, a case where the nozzle that sucks the electronic component sticks out to the side of the electronic component and the electronic component and the nozzle are observed as an integrated black image, This is the case where the part is specularly reflected from the illumination light and is observed partially bright.

しかしながら従来、このようなノイズにより、電子部
品の全体形状を良好に観察できない場合に、そのセンタ
ー検出等を簡単かつ正確に行える手段はなかったため、
検査精度があがらない問題があった。However, conventionally, when it is not possible to observe the entire shape of the electronic component satisfactorily due to such noise, there is no means for easily and accurately detecting the center of the electronic component.
There was a problem that the inspection accuracy was not improved.

したがって本発明は、電子部品の全体形状を良好に観
察できない場合でも、そのセンターの検出等を簡単かつ
正確に行える手段を提供することを目的とする。Accordingly, it is an object of the present invention to provide means for easily and accurately detecting the center of an electronic component even when the entire shape of the electronic component cannot be observed well.

（課題を解決するための手段） 本発明は、 （１）形状の特徴部として内角が直角な４つのコーナー
点を有する角形の電子部品の外観検査方法であって、４
つのコーナー点がすべて完全な第１のパターンと、第１
のコーナー点が不完全な第２のパターンと、第２のコー
ナー点が不完全な第３のパターンと、第３のコーナー点
が不完全な第４のパターンと、第４のコーナー点が不完
全な第５のパターンの少なくとも５つのパターンを含む
基準パターンを予め設定登録する工程と、 （２）電子部品をカメラにより観察して、この電子部品
の特徴部であるコーナー点を検出する工程と、 （３）上記（１）の工程で予め設定登録された様々の基
準パターンのコーナー点と、上記（２）の工程により検
出された電子部品のコーナー点とをパターンマッチング
する工程と、 （４）このパターンマッチングにより、最もマッチング
した基準パターンを抽出する工程と、 を含み、上記（３）の工程におけるパターンマッチング
において、上記（１）の工程で設定した不完全なコーナ
ー点を有する第２〜第５のパターンと上記（２）の工程
で検出したいずれかのコーナー点が不完全な電子部品の
パターンマッチングを行うにあたっては、不完全なコー
ナー点側を除外し、完全なコーナー点側のみについてパ
ターンマッチングを行うことを特徴とする電子部品の外
観検査方法である。(Means for Solving the Problems) The present invention provides: (1) a visual inspection method for a rectangular electronic component having four corner points whose inner angles are right angles as a feature of the shape;
All three corner points are complete first pattern,
A second pattern with incomplete corner points, a third pattern with incomplete second corner points, a fourth pattern with incomplete third corner points, and an improper fourth corner point. A step of presetting and registering a reference pattern including at least five complete fifth patterns; and (2) a step of observing an electronic component with a camera and detecting a corner point which is a characteristic portion of the electronic component. (3) a step of pattern-matching the corner points of the various reference patterns set and registered in advance in the step (1) with the corner points of the electronic component detected in the step (2); ) A step of extracting the most matched reference pattern by this pattern matching. In the pattern matching in the step (3), the pattern set in the step (1) In performing pattern matching of an electronic component in which the second to fifth patterns having perfect corner points and any of the corner points detected in step (2) are incomplete, the incomplete corner point side is excluded. In addition, the present invention provides an appearance inspection method for an electronic component, wherein pattern matching is performed only on a complete corner point side.

（作用） 上記構成において、カメラで観察した検査対象の電子
部品の４つのコーナー点のうちのいずれかのコーナー点
が不完全な場合には、この不完全なコーナー点側を除外
した他のコーナー点側についてのみパターンマッチング
を行って、最もマッチングした基準パターンを抽出する
ことにより、電子部品のセンター等を求める。(Operation) In the above configuration, when any one of the four corner points of the electronic component to be inspected observed by the camera is incomplete, the other corner excluding the incomplete corner point side is excluded. By performing pattern matching only on the point side and extracting the most matched reference pattern, the center and the like of the electronic component are obtained.

（実施例） 次に、図面を参照しながら本発明の実施例を説明す
る。Example Next, an example of the present invention will be described with reference to the drawings.

まず、特徴部の検出方法の１例を説明する。 First, an example of a method for detecting a characteristic portion will be described.

第１図は外観検査装置の斜視図であって、１は基板、
２は基板１上に搭載された電子部品である。この電子部
品２は角形の電子部品であり、形状の特徴部として内角
が直角な４つのコーナー点を有している。基板１はXYテ
ーブル3,4から成るXY方向移動装置５上に配設されてお
り、この装置５の駆動により、基板１はXY方向に移動す
る。基板１の上方には、CCDエリアカメラやリニアイメ
ージカメラのような外観検査用カメラ６が設けられてお
り、また基板１の斜上方には、光源７が集光素子８が設
けられている。10はカメラ６に接続された制御部であっ
て、A/Dコンバータ11、フレームメモリ12、重畳面積計
算部13及びCPU14等から成っている。FIG. 1 is a perspective view of a visual inspection device, where 1 is a substrate,
Reference numeral 2 denotes an electronic component mounted on the substrate 1. The electronic component 2 is a rectangular electronic component, and has four corner points whose inner angles are right as characteristic features of the shape. The substrate 1 is disposed on an XY direction moving device 5 composed of XY tables 3 and 4. By driving the device 5, the substrate 1 moves in the XY direction. Above the substrate 1, a camera 6 for visual inspection such as a CCD area camera or a linear image camera is provided. Above the substrate 1, a light source 7 and a condenser 8 are provided. Reference numeral 10 denotes a control unit connected to the camera 6, which includes an A / D converter 11, a frame memory 12, a superimposed area calculation unit 13, a CPU 14, and the like.

第２図は、上記装置により光学操走査を行って、電子
部品２の輪郭追跡を行っている様子を示すものである。
図中、20はカメラ６の視野、２は上記電子部品である。
波線矢印に示すように、XY座標の原点Ｏを出発点として
電子部品２の外周を観察し、その輪郭のXY座標を検出す
る。輪郭は、基板（白）１と電子部品（黒）２の輝度が
異なることから、２値化処理手段により簡単に検出する
ことができる。なおこのような輪郭追跡手段は周知手段
である。FIG. 2 shows a state in which the optical scanning is performed by the above-described device to trace the contour of the electronic component 2.
In the figure, reference numeral 20 denotes the field of view of the camera 6, and reference numeral 2 denotes the electronic component.
As shown by the wavy arrow, the outer periphery of the electronic component 2 is observed starting from the origin O of the XY coordinates, and the XY coordinates of the outline are detected. Since the brightness of the board (white) 1 and the brightness of the electronic component (black) 2 are different, the contour can be easily detected by the binarization processing means. Such a contour tracking means is a well-known means.

上記のようにして輪郭追跡を終えたならば、次に任意
の点（例えば電子部品２とＹ軸のプラス側との交点）を
出発点とし、第３図に示す光学走査を行う。図中、Ａは
視野20内に設定された電子部品２の特徴部検出用サイク
ルエリアであって、このエリアＡを上記輪郭追跡手段に
より検出された輪郭に沿わせて移動させ、エリアＡと電
子部品２の周縁部が重なり合う重畳部（影線部）ａの面
積Ｓを算出する。After the contour tracing is completed as described above, the optical scanning shown in FIG. 3 is performed starting from an arbitrary point (for example, the intersection of the electronic component 2 and the plus side of the Y axis). In the drawing, A is a cycle area for detecting a characteristic portion of the electronic component 2 set in the visual field 20. The area A is moved along the contour detected by the contour tracking means, and the area A and the electronic The area S of the overlapping portion (shaded line portion) a where the peripheral edge of the component 2 overlaps is calculated.

第４図はその算出結果を示すものであって、図中、SO
はエリアＡの面積、〜は第３図における各点の位置
である。エリアＡを輪郭により２等分される線に沿って
移動させると、重畳部ａの面積は、電子部品２のまっす
ぐな直線部に沿う部分ではSO/2であるが、コーナー点す
なわち特徴部，，，において、極限値（最小
値）SO/4となる。したがってこれらの点，，，
のXY座標を求めることにより、特徴部（コーナー点）の
位置を検出することができる。FIG. 4 shows the result of the calculation.
Is the area of the area A, and 〜 is the position of each point in FIG. When the area A is moved along a line bisected by the contour, the area of the superimposed portion a is SO / 2 at a portion along the straight linear portion of the electronic component 2, but the corner point, that is, the characteristic portion, ,, Becomes the limit value (minimum value) SO / 4. Therefore, these points,
By calculating the XY coordinates of (1), the position of the characteristic portion (corner point) can be detected.

このようにして特徴部〜の座標を求めたならば、
これから電子部品２のセンターＯ′の座標を算出して、
電子部品２のXY方向の位置ずれΔx,Δｙ（第３図参照）
を簡単に知ることができる。また回転方向の誤差θも簡
単に算出できる。なお上記方法は、重畳部ａの面積Ｓの
極限値（最小値）を求めることにより、特徴部〜の
座標を求めたが、エリアＡ内の非重畳部ｂの面積（SO−
Ｓ）を求めても同じことであり、この場合、非重畳部ｂ
の面積が最大となる点が特徴部〜の位置となる。な
お特徴部の検出方法は、上記方法に限定されるものでは
なく、例えば周知のパターンマッチング方などにより、
特徴部を検出してもよいものである。次にマッチング方
法の説明を行う。Once the coordinates of the feature part have been obtained in this way,
From this, the coordinates of the center O ′ of the electronic component 2 are calculated,
Position shift Δx, Δy of electronic component 2 in XY direction (see FIG. 3)
Can be easily known. Further, the error θ in the rotation direction can be easily calculated. Note that, in the above method, the coordinates of the characteristic portions to are obtained by obtaining the limit value (minimum value) of the area S of the superimposed portion a, but the area (SO−
S) is the same, and in this case, the non-overlapping part b
The point at which the area of becomes the maximum is the position of the characteristic portion. Note that the method of detecting the characteristic portion is not limited to the above-described method.
The feature may be detected. Next, a matching method will be described.

第５図は、検査プロセスのフローチャートを示すもの
である。図中，，の輪郭点サーチ、曲率の演算、
特徴部であるコーナー点候補の検出は、上述した特徴部
の検出プロセスと同じである。FIG. 5 shows a flowchart of the inspection process. In the figure, contour point search of, calculation of curvature,
The detection of a candidate for a corner point, which is a characteristic portion, is the same as the above-described process of detecting a characteristic portion.

第６図は、ノズルに吸着された電子部品をカメラによ
り観察した画像の形状を示している。図中、P1〜P4は、
上述した方法により検出されたコーナー点（特徴部）で
ある。第２図及び第３図に示した電子部品２は、その全
体形状が良好に観察されており、したがってそのセンタ
ーＯ′の座標や回転方向の角度θ等は簡単に算出でき
る。ところが、第６図においては、電子部品実装装置の
移載ヘッドのノズルは、電子部品のセンターから離れた
場所を吸着しているため、ノズルは電子部品のコーナー
からばり出し、このノズルと電子部品は一体的な画像と
して観察されており、ノズルがノイズとなって、電子部
品のセンター等を正確に検出することはできない。図
中、イが電子部品、ロがノズルの画像である。そこで本
方法では、以下に述べる手段により、このようなノズル
を処理する。FIG. 6 shows a shape of an image obtained by observing an electronic component sucked by the nozzle with a camera. In the figure, P1 to P4 are
It is a corner point (characteristic part) detected by the method described above. The overall shape of the electronic component 2 shown in FIGS. 2 and 3 is well observed, so that the coordinates of the center O ′, the angle θ in the rotation direction, and the like can be easily calculated. However, in FIG. 6, since the nozzle of the transfer head of the electronic component mounting apparatus sucks a place away from the center of the electronic component, the nozzle protrudes from the corner of the electronic component, and this nozzle and the electronic component Are observed as an integrated image, and the nozzles become noise, so that the center of the electronic component cannot be detected accurately. In the figure, a is an image of an electronic component, and b is an image of a nozzle. Therefore, in the present method, such a nozzle is processed by means described below.

第７図（ａ）〜（ｅ）は、予め設定登録された基準パ
ターンを示すものである。P1〜P4は、ぞれぞれの特徴部
としてのコーナー点であり、また図中、影線を付した部
分が、第６図に示す画像と照合させる部分である。これ
らの基準パターンは、カメラにより観察した場合に予想
される電子部品の様々の画像の形状のバリエーションに
基いて、予め登録されるものである。第７図（ａ）の第
１のパターンａは、全体形状が完全な基準パターンであ
る。また（ｂ）の第２のパターンｂは、第１のコーナー
点P1からノズルがはみ出している場合の基準パターンで
あり、この場合、後述するように、第１のコーナー点P1
側の照合は除外し、第２〜第４のコーナー点P2〜P4（影
線を付した部分）のみを照合する。同様に、c,d,eは、
ノズルがそれぞれ第２〜第４のコーナー点P2,P3,P4から
はみ出している場合の第３〜第５のパターンであり、こ
れらについても、影線を付した部分のみを照合する。FIGS. 7A to 7E show reference patterns set and registered in advance. P1 to P4 are corner points as respective characteristic portions. In the figure, a shaded portion is a portion to be collated with the image shown in FIG. These reference patterns are registered in advance on the basis of variations in the shape of various images of the electronic component expected when observed by a camera. The first pattern a in FIG. 7A is a reference pattern whose entire shape is complete. Further, the second pattern b in (b) is a reference pattern when the nozzle protrudes from the first corner point P1, and in this case, as described later, the first corner point P1
The collation on the side is excluded, and only the second to fourth corner points P2 to P4 (shaded portions) are collated. Similarly, c, d, e are
These are the third to fifth patterns in the case where the nozzles protrude from the second to fourth corner points P2, P3, P4, respectively. For these patterns, only the shaded portions are compared.

さて、第５図，，のプロセスにより、第６図の
画像のコーナー点P1〜P4を検出したならば、第７図
（ａ）〜（ｅ）の各パターンａ〜ｅとのマッチングを開
始する（）。まずパターンａとマッチングを行うが
（）、このマッチングは、例えば、電子部品の形状で
ある四角形状の条件のチェック、すなわち４辺の長さP1
P2,P2P3,P3P4,P4P1が一致するか否か、及び角コーナー
点P1〜P4の内角A,B,C,Dが一致するか否かのチェックを
行う。When the corner points P1 to P4 of the image of FIG. 6 are detected by the processes of FIGS. 5 and 6, matching with the patterns a to e of FIGS. 7A to 7E is started. (). First, matching with the pattern a is performed (). This matching is performed, for example, by checking the condition of a quadrangular shape that is the shape of the electronic component, that is, by checking the length P1 of the four sides.
It is checked whether P2, P2P3, P3P4, and P4P1 match, and whether the interior angles A, B, C, and D of the corner points P1 to P4 match.

このパターンａとのマッチングにおいては、線分P1P
2,P4P1及び内角A,B,Dはマッチングするが、線分P2P3,P3
P4及び内角Ｃはマッチングしないので、続いてパターン
ｂとのマッチングを行う（）。In matching with this pattern a, the line segment P1P
2, P4P1 and interior angles A, B, D match, but line segments P2P3, P3
Since P4 and interior angle C do not match, matching with pattern b is performed ().

パターンｂについては、影線を付した部分についての
み、マッチングが行われるが、この場合も、線分P2P3,P
3P4,内角Ｃはマッチングしないので、続いてパターンｃ
とのマッチングを行う（）。For the pattern b, matching is performed only on a portion with a shadow line. In this case, too, the line segments P2P3, P2
Since 3P4 and inner angle C do not match, the pattern c
Matching with ().

この場合も、線分P3P4はマッチングしないので、続い
てパターンｄとのマッチングを行う（）。Also in this case, since the line segment P3P4 does not match, the matching with the pattern d is performed ().

この場合、線分P1P2,P4P1,内角Ａは完全に一致するの
で、条件をすべて充たすこととなり、したがってこのパ
ターンｄを上記画像に最もマッチングするパターンとし
て抽出する。そして線分P2P4のセンターＯを求めること
により、電子部品のセンターＯを求め、また線分P1P4の
傾きから、回転方向の角度θを算出する。なおパターン
ｅについては、すでに完全にマッチングするパターンｄ
が抽出されているので、これについてのマッチングは行
う必要はない。In this case, since the line segments P1P2, P4P1, and the interior angle A completely match, all the conditions are satisfied, and therefore, the pattern d is extracted as the pattern that best matches the image. Then, the center O of the electronic component is obtained by obtaining the center O of the line segment P2P4, and the rotation direction angle θ is calculated from the inclination of the line segment P1P4. Note that for pattern e, a pattern d already perfectly matched
Need not be matched for this.

第８図は、照明光の鏡面反射により、コーナーP4付近
が明瞭に観察されなかった場合を示すものである。この
場合、マッチングの候補点はP1,P2,P3の３個である。こ
のものを、上記と同様の手法により、パターンａ〜ｅと
順次マッチングさせていくと、パターンｅと最もマッチ
ングすることとなる。したがってこのパターンｅを最も
マッチングするパターンとして抽出し、線分P1P3のセン
ターＯを求めることにより、電子部品のセンターＯを求
め、また線分P2P3の傾きから、回転方向の角度θを求め
る。このように本方法は、カメラにより観察された画像
の特徴部の数がいくつであっても、マッチングを行うこ
とができる。FIG. 8 shows a case where the vicinity of the corner P4 is not clearly observed due to the specular reflection of the illumination light. In this case, there are three matching candidate points P1, P2, and P3. When this is sequentially matched with the patterns a to e by the same method as described above, the pattern e is most matched. Therefore, the pattern e is extracted as the pattern that best matches, the center O of the line segment P1P3 is obtained, thereby obtaining the center O of the electronic component, and the angle θ in the rotation direction is obtained from the inclination of the line segment P2P3. In this way, the method can perform matching regardless of the number of features of the image observed by the camera.

上記実施例では、基準パターンａ〜ｅは５個登録して
いるが、何れのパターンともマッチングしない場合が生
じるのを回避するために、この基準パターンは予想され
る形状について、できるだけ沢山登録しておくことが望
ましい。したがって実際の検査において、カメラにより
観察された電子部品の形状を、基準パターンとしてデー
タベースに次々に蓄積していけば、設定登録される基準
パターンは豊富になり、マッチング成果をあげることが
できる。In the above embodiment, five reference patterns a to e are registered. However, in order to avoid a case where no matching is performed with any of the patterns, this reference pattern is registered as many as possible for the expected shape. It is desirable to keep. Therefore, in the actual inspection, if the shapes of the electronic components observed by the camera are successively accumulated in the database as the reference patterns, the reference patterns to be set and registered are abundant, and a matching result can be obtained.

（発明の効果） 以上説明したように本発明によれば、ノイズのために
電子部品の全体形状を完全に観察できない場合でも、電
子部品のセンター等を簡単かつ正確に求めることができ
る。(Effects of the Invention) As described above, according to the present invention, even when the entire shape of an electronic component cannot be completely observed due to noise, the center and the like of the electronic component can be easily and accurately obtained.

【図面の簡単な説明】[Brief description of the drawings]

図は本発明の実施例を示すものであって、第１図は外観
検査装置の斜視図、第２図及び第３図は検査中の平面
図、第４図は算出結果を示す特徴図、第５図は検査プロ
セスのフローチャート図、第６図は観察された電子部品
のシルエット図、第７図（ａ），（ｂ），（ｃ），
（ｄ），（ｅ）は基準パターン図、第８図は電子部品の
シルエット図である。 P1,P2,P3,P4……特徴部 a,b,c,d,e……基準パターン1 shows an embodiment of the present invention. FIG. 1 is a perspective view of an appearance inspection apparatus, FIGS. 2 and 3 are plan views during inspection, FIG. 4 is a characteristic view showing calculation results, FIG. 5 is a flowchart of the inspection process, FIG. 6 is a silhouette diagram of the observed electronic component, and FIGS. 7 (a), (b), (c),
(D) and (e) are reference pattern diagrams, and FIG. 8 is a silhouette diagram of an electronic component. P1, P2, P3, P4 …… Feature a, b, c, d, e …… Reference pattern

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】（１）形状の特徴部として内角が直角な４
つのコーナー点を有する角形の電子部品の外観検査方法
であって、４つのコーナー点がすべて完全な第１のパタ
ーンと、第１のコーナー点が不完全な第２のパターン
と、第２のコーナー点が不完全な第３のパターンと、第
３のコーナー点が不完全な第４のパターンと、第４のコ
ーナー点が不完全な第５のパターンの少なくとも５つの
パターンを含む基準パターンを予め設定登録する工程
と、 （２）電子部品をカメラにより観察して、この電子部品
の特徴部であるコーナー点を検出する工程と、 （３）上記（１）の工程で予め設定登録された様々の基
準パターンのコーナー点と、上記（２）の工程により検
出された電子部品のコーナー点とをパターンマッチング
する工程と、 （４）このパターンマッチングにより、最もマッチング
した基準パターンを抽出する工程と、 を含み、上記（３）の工程におけるパターンマッチング
において、上記（１）の工程で設定した不完全なコーナ
ー点を有する第２〜第５のパターンと上記（２）の工程
で検出したいずれかのコーナー点が不完全な電子部品の
パターンマッチングを行うにあたっては、不完全なコー
ナー点側を除外し、完全なコーナー点側のみについてパ
ターンマッチングを行うことを特徴とする電子部品の外
観検査方法。(1) As a characteristic feature of the shape, an inner angle of 4
A method of inspecting the appearance of a rectangular electronic component having two corner points, wherein a first pattern in which all four corner points are complete, a second pattern in which the first corner points are incomplete, and a second corner A reference pattern including at least five patterns of a third pattern with incomplete points, a fourth pattern with incomplete third corner points, and a fifth pattern with incomplete fourth corner points is set in advance. A step of setting and registering; (2) a step of observing an electronic component with a camera to detect a corner point which is a characteristic part of the electronic component; and (3) various settings previously registered in the step (1). (4) pattern matching between the corner points of the reference pattern and the corner points of the electronic component detected in the above step (2); And a second to a fifth patterns having incomplete corner points set in the step (1) and the pattern (2) in the pattern matching in the step (3). In performing pattern matching of an electronic component in which one of the corner points detected in the step (2) is incomplete, the incomplete corner point side is excluded, and pattern matching is performed only on the complete corner point side. Inspection method for electronic components.