JPH08110216A - Objective face recognition processor for appearance inspecting apparatus - Google Patents

Abstract

PURPOSE: To discriminate portions having different light reflectance characteristics such as a soldered portion and a non-soldered portion by producing a reference value for extracting a specific material part and separating from the soldered portion using the value. CONSTITUTION: A reference marker 41 is formed on a printed board 40 with an electronic part 10 soldered, while a copper foil is usually left as it is for easily recognizing a position. At the time of inspecting whether this soldered joint is good, the board 40 is positioned so that the marker 41 is in a field of view of an image input device, and the set position of the board 40 is recognized from an input marker image. Subsequently, with this recognized position as a reference, an image of a soldered joint whose positional relation with the marker 41 has been taught in advance is input sequentially for determining whether it is good. At this time, a brightness range of the copper foil is set form a brightness distribution of the marker image to produce a recognition reference value of the copper foil. Then an image obtained according to the soldered joint is checked, and a portion within the set range is separated as the copper foil. Thus the copper foil can be clearly discriminated from the soldered part allowing correct determination of a solder shape.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、検査対象への照射角度
が相違する複数組の照明器を用い、対象への照射光を順
次切替えて得られる複数の映像情報をもとに前記検査対
象の外観状態を認識し、その良否を判定する方式の外観
検査装置に使用する認識処理方式に関し、より具体的に
は、プリント配線基板上の電子部品はんだ付け接合部な
ど、光沢面を有する対象の外観形状や外観状態の良否判
定を行う検査装置における認識処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention uses a plurality of sets of illuminators having different irradiation angles to the inspection target, and the inspection target is obtained based on a plurality of image information obtained by sequentially switching the irradiation light to the target. Regarding the recognition processing method used in the appearance inspection device of the method of recognizing the appearance state of and determining the quality of the appearance state, more specifically, for a target having a glossy surface such as a soldered joint part of an electronic component on a printed wiring board. The present invention relates to a recognition processing device in an inspection device that determines whether an appearance shape or appearance state is good or bad.

【０００２】[0002]

【従来の技術】外観検査機の応用分野は多岐に渡り、ま
た検査方式についても多様なものがある。最近高密度化
が進展しているプリント基板上の電子部品はんだ付け接
合部の外観検査機もその一例である。すなわち、電子機
器に使用されるプリント配線基板の実装工程では、基板
上に搭載された電子部品を接合する『はんだ付』部分の
良否が製品信頼性を左右するため、従来目視を主体とし
た綿密な外観検査が行われてきた．しかし、近来のプリ
ント基板高密度実装化や電子部品細密化の進展に伴い、
作業能率の向上や作業品質確保を目的とした、はんだ付
外観検査の自動化、機械化が一般化している。2. Description of the Related Art There are various fields of application of appearance inspection machines, and there are various inspection methods. An example of this is a visual inspection machine for soldering joints of electronic components on a printed circuit board, which has been recently increased in density. In other words, in the process of mounting printed wiring boards used in electronic equipment, the quality of the "soldered" part that joins the electronic components mounted on the boards affects product reliability. Various visual inspections have been performed. However, with the recent progress in high-density mounting of printed circuit boards and miniaturization of electronic components,
The automation and mechanization of soldering visual inspection have become common for the purpose of improving work efficiency and ensuring work quality.

【０００３】このような、はんだ接合部に代表される微
細な対象部品の自動外観検査装置として既に多様な方式
のものが開発されているが、その効果的な一手段とし
て、多段照明による検査方式が広く知られている。例え
ば、特開平４−３０１５４９はそのような公知技術の一
例で、、概要は以下の通りである。Various types of automatic appearance inspection apparatuses for fine target parts typified by solder joints have already been developed. As an effective means therefor, an inspection method using multistage illumination is used. Is widely known. For example, Japanese Patent Application Laid-Open No. 4-301549 is an example of such a known technique, and the outline is as follows.

【０００４】図２に多段照明式はんだ検査装置の基本シ
ステム構成を示す。光投射角度が相違する多段構造（図
の場合は２段）の照明器２０から検査対象１０を介した
反射光が、テレビカメラ３０で受光されるが、この照明
を切替えることにより得られる複数組の映像信号１３０
が、対象面の輝度分布パターンの形で画像記憶装置５０
に記憶される。この複数組の記憶内容に基づきコード生
成部７０が対象面の角度分布を示すコード分布パターン
を生成し、さらにこれを利用して認識処理部９０が対象
の立体形状の認識ならびに良否判定を実行する。FIG. 2 shows a basic system configuration of a multi-stage lighting type solder inspection device. The reflected light from the inspection object 10 is received by the television camera 30 from the illuminator 20 having a multi-stage structure (two stages in the figure) having different light projection angles, and a plurality of sets obtained by switching the illuminations. Video signal 130
Of the image storage device 50 in the form of a luminance distribution pattern on the target surface.
Is stored. The code generation unit 70 generates a code distribution pattern indicating the angle distribution of the target surface based on the stored contents of the plurality of sets, and the recognition processing unit 90 uses the code distribution pattern to recognize the three-dimensional shape of the target and determine whether it is good or bad. .

【０００５】検査対象をＩＣリードのはんだ付けと仮定
した場合の、この一連の処理過程を図３に示す。テレビ
カメラの画面内にはＩＣの複数本のリードが含まれる
が、その各々について順次検査ウィンドーが設定されは
んだ付けの良否判定が行われる。検査ウィンドーの設定
位置は、事前に行われるティーチング情報に基づき、通
常はんだ付けランドに一致した形で設定される。この検
査ウィンドー内の各画素毎に複数の輝度情報を利用して
対象面の角度を記述するコード信号が後述の方法で生成
され、このコード分布パターンから対象の立体形状把握
と対象の良否判定が行われる。FIG. 3 shows a series of processing steps on the assumption that the inspection object is soldering of IC leads. Although a plurality of leads of the IC are included in the screen of the television camera, an inspection window is sequentially set for each of them to judge whether the soldering is good or bad. The setting position of the inspection window is usually set in a form that matches the soldering land, based on the teaching information performed in advance. A code signal for describing the angle of the target surface is generated by using a plurality of luminance information for each pixel in the inspection window by the method described later, and the three-dimensional shape of the target is grasped and the quality of the target is judged from this code distribution pattern. Done.

【０００６】なお、図２において６０は照明切替え装
置、４０はプリント基板、１００はプリント基板ならび
に対象を逐次移動させるための移動テーブル、また８０
はその駆動装置である。 制御部としての機能を兼ねた
認識処理部９０は、必要に応じテーブル制御信号１８０
を介して１００を複数の検査対象のそれぞれを検査する
のに適した位置に順次移動させ、照明制御信号１６０を
介して照明を切替え、図３の処理動作をシーケンシャル
に実行する。図４は、多段照明式はんだ検査装置におけ
る光学系と検査対象の関係をより具体的に示した側視図
である。照明器は２０−、２０−、２０−およ
び、２０−の４段のから構成された環状照明器であ
り、図の上方向から見たとき同心円上に配置されてい
る。テレビカメラ３０は対象の構造に応じた検査を可能
とするため複数個使用されことが多いが、一般的には垂
直配置の３０−ａが用いられる。In FIG. 2, reference numeral 60 is an illumination switching device, 40 is a printed circuit board, 100 is a moving table for sequentially moving the printed circuit board and an object, and 80 is a moving table.
Is its drive. The recognition processing unit 90, which also functions as a control unit, receives the table control signal 180 as necessary.
100 is sequentially moved to a position suitable for inspecting each of a plurality of inspection objects, the illumination is switched via the illumination control signal 160, and the processing operation of FIG. 3 is sequentially executed. FIG. 4 is a side view showing more specifically the relationship between the optical system and the inspection target in the multi-stage lighting solder inspection apparatus. The illuminator is an annular illuminator composed of four stages of 20-, 20-, 20-, and 20-, and they are arranged on concentric circles when viewed from above in the drawing. A plurality of television cameras 30 are often used in order to enable inspection according to the structure of the target, but generally, the vertically arranged 30-a is used.

【０００７】これらの照明器からの投射光と、検査対象
であるＩＣリードのはんだフィレットの関係を図５に示
す。FIG. 5 shows the relationship between the projected light from these illuminators and the solder fillet of the IC lead to be inspected.

【０００８】図５において、１１はＩＣのリードの断面
形状を、また１２は同じくリードとプリント配線基板４
０上のランド４００とを電気的に接合する『はんだフィ
レット』の断面を示している。また、各矢印、２１−
、２１−、２１−、および２１−は、それぞれ
照明器２０−、２０−、２０−、および２０−
から対象を介した反射光の光路を示している。In FIG. 5, 11 is a cross-sectional shape of the IC lead, and 12 is also the lead and the printed wiring board 4.
The cross section of the "solder fillet" which electrically joins the land 400 on the upper side of 0 is shown. Also, each arrow, 21-
, 21-, 21-, and 21- are illuminators 20-, 20-, 20-, and 20-, respectively.
Shows the optical path of the reflected light through the object.

【０００９】各照明器は各々投射角度が相違しているた
め、検査対象であるはんだフィレットのそれぞれ異なる
角度部分おいて最も輝度の高い反射光を図の上方にある
テレビカメラに受光させる。すなわち各照明器に若干の
面照明特性を与えたとき、各照明器によるテレビカメラ
への反射光は特定のフィレット角度（以降、これを照明
器の反射中心角度と呼ぶ）において最大輝度を示し、対
象面がこの角度からシフトするに従い輝度を低下させ
る。 このような対象面角度と反射光の輝度との関係を
示したのが図６の実線の特性である。各照明器の反射中
心角度は光学系の構造により決定されるが、図の場合
は、それぞれを５°、１５°、２５°、および３５°に
設計した例を示している。Since the illuminators have different projection angles, the reflected light having the highest brightness is made to be received by the television camera at the upper part of the drawing at the different angle portions of the solder fillet to be inspected. That is, when each illuminator is given some surface illumination characteristics, the reflected light from each illuminator to the TV camera shows the maximum brightness at a specific fillet angle (hereinafter, this is called the reflection center angle of the illuminator). The brightness decreases as the target surface shifts from this angle. The relationship between the target surface angle and the brightness of the reflected light is shown by the characteristic of the solid line in FIG. The reflection center angle of each illuminator is determined by the structure of the optical system, but in the case of the figure, examples are shown in which they are designed at 5 °, 15 °, 25 °, and 35 °.

【００１０】このような各照明器の反射特性を利用し
て、図７から図９に示した方法で対象面の輝度分布パタ
ーンならびに、これに基づく角度コード分布パターンを
形成する。すなわち図７（ａ）に示したはんだフィレッ
ト１２を検査対象とした場合、まずランド４００を基準
とした検査ウインドー５００を設定する。By utilizing the reflection characteristics of each illuminator as described above, the luminance distribution pattern of the target surface and the angle code distribution pattern based on the luminance distribution pattern are formed by the method shown in FIGS. That is, when the solder fillet 12 shown in FIG. 7A is to be inspected, the inspection window 500 based on the land 400 is first set.

【００１１】次に照明器を切り替えることにより、図８
に示す映像信号が検査ウィンドー領域内に得られる。図
８の１３０−、１３０−、１３０−、ならびに１
３０−は、それぞれ照明器２０−、２０−、２０
−、および２０−の照射に対応したテレビカメラの
映像信号パタ−ンであり、対象面の立体形状に応じた輝
度分布を示す。Next, by switching the illuminator, as shown in FIG.
The video signal shown in is obtained in the inspection window area. 130-, 130-, 130-, and 1 in FIG.
30- is an illuminator 20-, 20-, 20
It is a video signal pattern of the television camera corresponding to the irradiation of − and 20 −, and shows the luminance distribution according to the three-dimensional shape of the target surface.

【００１２】なお、図７および図８の網目部分の１単位
５０１は、テレビカメラの映像における１画素（ピクセ
ル）に相当し、光学系の構成により、その大きさが決定
される。 図８の各映像領域は、図７の検査ウインドー
１００に対応しているが、この検査ウインドー内の各画
素ごとに上記４種類の画像を利用した角度コード生成処
理を実行する。４段構成の照明器を用いた場合、各照明
器の反射中心角度を基準とした８段階のコード生成が基
本となる。すなわち、照明器２０−、２０−、２０
−、および２０−の反射中心角度に対応してコード
１、３、５、および７を、またそれらの中間角度に対し
て コード２、４、６を、さらにコード７以上に対応す
る角度ないしは角度不明の場合にコード８を割付ける。
このようなコード生成は基本的に以下の演算式で実行さ
れる。It should be noted that one unit 501 of the meshed portion in FIGS. 7 and 8 corresponds to one pixel (pixel) in the image of the television camera, and its size is determined by the configuration of the optical system. The image areas in FIG. 8 correspond to the inspection window 100 in FIG. 7, but the angle code generation processing using the above-described four types of images is executed for each pixel in the inspection window. When a four-stage illuminator is used, eight-stage code generation based on the reflection center angle of each illuminator is fundamental. That is, the illuminators 20-, 20-, 20
-, And 20-corresponding to the reflection center angles of the codes 1, 3, 5, and 7, and for intermediate angles thereof, the codes 2, 4, 6 and the angles or angles corresponding to the codes 7 and above. Assign code 8 if unknown.
Such code generation is basically executed by the following arithmetic expression.

【００１３】[0013]

【数１】 [Equation 1]

【００１４】（１）式においてＳｉは各照明器による反
射光輝度レベルであり。また各係数ＡｉおよびＢｉは照
明器の特性や対象面の特性に応じて決定されるが、その
内容については本発明の要旨とは直接関係しない。な
お、図６において、対象面角度が４５°以上の範囲では
全ての輝度信号レベルが低下し，式（１）の演算結果は
通常コード４となるが、Ｓ／Ｎの観点から、信号レベル
が極端に低い領域は不明領域としコード８を設定する。
このような演算に基づき生成されたコードパタ−ンの具
体例を図９に示す。図の（ａ）は良好なフィレットが形
成されている例で、検査ウインドー（すなわちランド）
５００の端部からリード１１の先端部にかけて角度コー
ドが逓増したパターン分布を示しており、はんだフィレ
ット形状が良好であると判定でき、また、ランド中心線
上のコード列を検査ランド端部からリ−ドの先端位置に
かけて累積演算することにより、フィレット断面形状、
すなわちフィレットの高さや長さを算定することができ
る。In the equation (1), Si is the brightness level of the reflected light from each illuminator. The coefficients Ai and Bi are determined according to the characteristics of the illuminator and the characteristics of the target surface, but the content thereof is not directly related to the gist of the present invention. It should be noted that in FIG. 6, all the luminance signal levels decrease in the range where the target surface angle is 45 ° or more, and the calculation result of the equation (1) is a normal code 4, but from the viewpoint of S / N, the signal level is An extremely low area is set as an unknown area and code 8 is set.
FIG. 9 shows a specific example of the code pattern generated based on such calculation. Figure (a) is an example of a good fillet formed, which is the inspection window (ie land).
It shows a pattern distribution in which the angle code gradually increases from the end of 500 to the tip of the lead 11, and it can be determined that the shape of the solder fillet is good, and the code string on the land center line is relieved from the end of the inspection land. The cross-sectional shape of the fillet,
That is, the height and length of the fillet can be calculated.

【００１５】一方、図の（ｂ）は、リードが浮き上がっ
て、ランド上のフィレットがリードに非接合の状態とな
った、いわゆるリード浮き不良を示している。この場合
のコード分布パターンは、検査ウインドー５００の周囲
にフィレット高勾配を示すコードが分布し、ウインドー
中央部に平坦な角度を示すコードが集中しており、フィ
レット断面形状から、はんだとリ−ドが接合していない
不良であることが判定できる。On the other hand, (b) of the figure shows a so-called lead floating defect in which the lead is lifted and the fillet on the land is not joined to the lead. The cord distribution pattern in this case is such that cords showing a high gradient of the fillet are distributed around the inspection window 500, and cords showing a flat angle are concentrated in the central portion of the window. It is possible to determine that they are not joined and are defective.

【００１６】このように多段照明式の外観検査装置は、
投射角度が相違する照明器を利用して得られる複数の対
象映像パターンを基に、対象面の立体形状を記述するコ
ードパターン分布を生成し、対象の形状良否判定を的確
に実行する能力を持つが、以上に述べたコード生成方式
だけでは、対象面の性質によっては、対象面が平坦であ
るにもかかわらず、傾斜角度を示すコードが生成される
という問題があった。As described above, the multi-stage illumination type visual inspection apparatus is
It has the ability to generate a code pattern distribution that describes the three-dimensional shape of the target surface based on multiple target image patterns obtained by using illuminators with different projection angles, and to accurately perform shape determination of the target. However, the above-described code generation method alone has a problem that a code indicating an inclination angle is generated depending on the property of the target surface even though the target surface is flat.

【００１７】その理由を図１０および図１１を用い説明
する。一般にプリント基板上のはんだ付けランドは、は
んだの濡れ性を良好にするためにめっきコートされた場
合と、銅箔生地の場合とに大別される。また、ランドの
周辺には、基板のレジスト面やシルク印刷部分など各種
の反射特性を持つ背景部分が存在する。図１０は多段照
明によるこれら各種部分の反射輝度特性（全て平坦部）
を示したものである。これから分かるように、ほぼ鏡面
特性を示すはんだ面は、Ｓ１が他よりレベルが十分高い
ため平坦コード１が生成されるのに対し、銅箔特性は散
乱反射特性を持ち、対象面角度と反射輝度レベルの関係
が、図９の破線のような特性を示すため、平坦面である
にもかかわらず、Ｓ３およびＳ５のレベルが相対的に高
くなり、傾斜コード３あるいは４が生成され、はんだ良
否判定の誤動作の原因となる。ランド外の、基板レジス
ト部分やシルク印刷部分をコード化した場合も同様であ
る。The reason will be described with reference to FIGS. 10 and 11. Generally, the soldering lands on the printed circuit board are roughly classified into a case where they are plated to improve the wettability of the solder and a case where they are copper foil materials. Further, around the land, there is a background portion having various reflection characteristics such as a resist surface of the substrate and a silk-printed portion. Figure 10 shows the reflection brightness characteristics of these various parts (all flat parts) by multi-stage illumination.
It is shown. As can be seen, the flat surface 1 is generated because the level of S1 is sufficiently higher than the others on the solder surface exhibiting almost mirror surface characteristics, whereas the copper foil characteristics have scattering reflection characteristics, and the target surface angle and the reflection brightness are Since the level relationship shows the characteristic as shown by the broken line in FIG. 9, the level of S3 and S5 becomes relatively high, and the inclined code 3 or 4 is generated, even though it is a flat surface, and the solder pass / fail judgment is made. Cause malfunction of. The same applies when the substrate resist portion and the silk-printed portion outside the land are coded.

【００１８】この結果、例えば図１１（ａ）のように、
銅箔ランド上に比較的長さの短いはんだフィレットが形
成された場合、そのコードパターン上でフィレット傾斜
部とランド部分の識別が困難となり、はんだフィレット
の長さや高さの演算に誤差を生じる。基板に一般的に用
いられるシルク印刷部分も、検査ウインドーの領域内に
存在した場合は同様な誤差原因となる。As a result, for example, as shown in FIG.
When a relatively short solder fillet is formed on the copper foil land, it becomes difficult to distinguish the fillet slope portion and the land portion on the code pattern, and an error occurs in the calculation of the solder fillet length and height. The silk-printed portion generally used for the substrate causes the same error when it is present in the area of the inspection window.

【００１９】また、基板上のはんだ付けランドの周囲に
あるレジスト印刷面は図１０に示すように全ての輝度信
号レベルが低いため、前記のコード演算からは比較的反
射率が高い部分がコード４、低い部分はコード８が割付
けられる。このため、図１１（ｂ）のように前記テーブ
ルの移動誤差等によりランドと検査ウインドーと間に位
置偏差を生じた場合、銅箔の場合と同様、フィレット傾
斜部とレジスト部分の識別が困難であるため、はんだフ
ィレットの長さや高さの演算に誤差を生じる。Further, as shown in FIG. 10, since all the luminance signal levels are low on the resist printing surface around the soldering land on the substrate, the code 4 indicates a portion having a relatively high reflectance from the above code calculation. , Code 8 is assigned to the lower part. Therefore, when a positional deviation occurs between the land and the inspection window due to the movement error of the table as shown in FIG. 11B, it is difficult to identify the fillet sloped portion and the resist portion as in the case of the copper foil. Therefore, an error occurs in the calculation of the length and height of the solder fillet.

【００２０】これを解決する手段として、銅箔面やシル
ク面など、はんだ面以外の部分については、それらに固
有の反射特性、すなわち、多段照明に基づく各輝度信
号：Ｓ１、Ｓ３、Ｓ５、Ｓ７の比率を利用し、これらを
検出する方法があるが、対象基板や材質により、その比
率が変動するため、コード生成結果が不安定になるとい
う問題があり、より安定な方式が必要とされていた。As a means for solving this, for portions other than the solder surface such as the copper foil surface and the silk surface, the reflection characteristics peculiar to them, that is, the luminance signals based on the multi-stage illumination: S1, S3, S5, S7. There is a method to detect these by using the ratio of the above, but there is a problem that the code generation result becomes unstable because the ratio changes depending on the target substrate and material, and a more stable method is required. It was

【００２１】また、上記のはんだ良否判定以外に、プリ
ント基板上の電子部品の実装位置の良否判定を、シルク
部分やレジスト部分など基板背景部と対比的な部品位置
の認識結果に基づいて行う場合、シルク部分やレジスト
部分を示すコード情報が安定していないと部品位置認識
誤差を生じる場合がある。あるいはコード化情報ではな
く、輝度信号を直接用い所定のしきい値によりシルク部
分やレジスト部分など基板背景部の抽出結果を利用して
部品位置認識を行う場合も同様であり、対象輝度変化に
応じた自動的なコード生成方式や、しきい値調整方式が
要望されていた。In addition to the above-described solder quality determination, when the quality of the mounting position of the electronic component on the printed circuit board is determined based on the recognition result of the component position, such as the silk portion and the resist portion, which is in comparison with the substrate background portion. If the code information indicating the silk portion or the resist portion is not stable, a component position recognition error may occur. This is also the case when component position recognition is performed by directly using the luminance signal instead of the coded information and using the extraction result of the substrate background portion such as the silk portion and the resist portion with a predetermined threshold value. There has been a demand for an automatic code generation method and a threshold adjustment method.

【００２２】[0022]

【発明が解決しようとする課題】以上に説明したよう
に、従来の技術では検査対象面において反射特性の相違
する部分に対して適正な状態把握を安定に行うことが困
難であり、従って本発明が解決すべき課題は以下の点に
要約される。As described above, according to the conventional technique, it is difficult to stably and appropriately grasp the proper state of the portion having different reflection characteristics on the surface to be inspected. The problems that should be solved are summarized in the following points.

【００２３】１）対象各部位の反射特性にかかわらず、
その状態、たとえば角度を正確に把握できる。1) Regardless of the reflection characteristics of each part of the target,
The state, for example, the angle can be accurately grasped.

【００２４】対象面状態の認識処理方式を提案するこ
と。Propose a recognition processing method for a target surface state.

【００２５】２）上記は、対象面各部位の材質の相違、
あるいは対象面の経時変化やロットの相違に関係なく実
現できること。2) The above is the difference in the material of each part of the target surface,
Alternatively, it can be realized regardless of the change over time of the target surface or the difference in lot.

【００２６】特に、本発明は冒頭にも述べたように、プ
リント基板に実装された電子部品の実装状態や、はんだ
接合部の良否判定を主要な目的としており、その意味
で、下記が重要な課題の一つである。In particular, as described at the beginning, the present invention mainly aims to determine the mounting state of electronic components mounted on a printed circuit board and the quality of solder joints. In that sense, the following is important. This is one of the challenges.

【００２７】３）はんだ接合部の平坦部および傾斜部を
安定に識別するための認識処理方式を提案すること。3) To propose a recognition processing method for stably identifying the flat portion and the inclined portion of the solder joint.

【００２８】[0028]

【課題を解決するための手段】本発明は、検査対象に対
する照射条件、例えば照射角度や色相が異なる複数の照
明器を照射して得られる複数の映像情報を基に、該対象
面の状態、例えば傾斜角度の分布状態を検出し、その良
否判定を行う外観検査装置に用いる対象面状態の認識処
理方式であって、前記複数の映像情報と対象面状態認識
内容との関係を、状況に応じて変更するようにした外観
検査装置の対象面認識処理装置である。DISCLOSURE OF THE INVENTION The present invention is based on irradiation conditions for an object to be inspected, for example, based on a plurality of image information obtained by irradiating a plurality of illuminators having different irradiation angles and hues, the state of the target surface, For example, it is a recognition processing method of a target surface state used in an appearance inspection device that detects a distribution state of tilt angles and determines whether the distribution is good or bad. The target surface recognition processing device of the appearance inspection device is configured to be changed.

【００２９】図１は本発明を示す図で、上記課題を解決
するための本発明による認識処理手段を、プリント基板
に実装された電子部品の実装状態や、はんだ接合部の良
否判定を行う場合を具体例として示したのが図１であ
る。FIG. 1 is a diagram showing the present invention, in which the recognition processing means according to the present invention for solving the above problems is used to determine the mounting state of electronic components mounted on a printed circuit board and the quality of solder joints. 1 is shown as a specific example.

【００３０】[0030]

【作用】[Action]

ａ）直接の検出対象であるはんだ面以外の、銅箔部分や
シルク部分等は、プリント基板各部に散在しており、そ
れらの基板内の位置は既知であるから、検査シーケンス
の初期段階で各照明による映像レベル関係を調べること
が可能である。a) Copper foil parts, silk parts, etc. other than the solder surface that is the direct detection target are scattered on each part of the printed circuit board, and their positions within the board are known. It is possible to examine the image level relationship due to lighting.

【００３１】ｂ）従って、事前に検出した映像レベル関
係を記憶し、これに一致するか否かを検出することによ
り特定の部位を判別分離することができる。B) Therefore, the specific part can be discriminated and separated by storing the image level relationship detected in advance and detecting whether or not it matches.

【００３２】ｃ）上記の事前検出動作は、基板毎に実行
するのが原則であるが、量産工程などでは生産ロットの
初期段階で１度行う方法も可能である。C) In principle, the above-described pre-detection operation is performed for each substrate, but it is also possible to perform it once in the initial stage of a production lot in a mass production process or the like.

【００３３】ｄ）条件により、はんだ実装後の基板にお
いて上記の事前検出動作が不可能な場合は生産ロットの
初期段階に、はんだ実装前の基板をパイロットとして使
用する方法が考えられる。When the above-described pre-detection operation is not possible on the board after solder mounting due to the condition d), a method of using the board before solder mounting as a pilot at the initial stage of the production lot can be considered.

【００３４】ｅ）状況によっては、基板の各種類に対応
した事前検出情報を記憶登録しておき、同一種類の基板
が検査対象になった場合に、これを再生利用する方法も
可能である。E) Depending on the situation, it is also possible to store and register the pre-detection information corresponding to each type of substrate, and to reuse the substrate when the same type of substrate becomes an inspection target.

【００３５】このような対象面状態の認識処理方法を用
いることにより、１）基板の種類により相違する銅箔部
分やシルク部分等への対応、２）保存等による基板の経
時変化への対応を意図した対象面状態の認識が実現でき
る。By using the method of recognizing the target surface state as described above, 1) it is possible to cope with the copper foil portion or silk portion which is different depending on the type of the substrate, and 2) it is possible to deal with the aging of the substrate due to storage or the like. The intended target surface state can be recognized.

【００３６】以上に述べた方式は、プリント基板以外の
検査においても共通的な手段として利用することができ
る。The method described above can be used as a common means in inspections other than printed circuit boards.

【００３７】[0037]

【実施例】以下実施例に基づき本発明の内容をさらに詳
細に説明する。The contents of the present invention will be described in more detail based on the following examples.

【００３８】図１２は本発明の原理をプリント基板上の
電子部品はんだ接合部検査に用いた場合の実施例を示し
たものである。図１２において４０はプリント基板、１
０は電子部品の一つ、たとえば多数のリードを持つＩＣ
を示す。プリント基板には、通常電子部品の自動搭載
や、はんだペースト自動印刷時の基板位置決めのため、
基準マーカが設置されている。マーカには、基板単位の
マーカ４１、あるいは部品対応のマーカ４２があり、い
ずれも基板位置決め精度を向上するため、基板製作時
に、はんだ付け用ランドと同時に形成し、かつ位置認識
を容易とするため銅箔のままの状態になっているのが普
通である。FIG. 12 shows an embodiment in which the principle of the present invention is used for inspection of solder joints of electronic parts on a printed circuit board. In FIG. 12, 40 is a printed circuit board, 1
0 is one of electronic parts, for example, an IC with many leads
Indicates. For the automatic mounting of electronic components on the printed circuit board and for board positioning during automatic solder paste printing,
A reference marker is installed. There are markers 41 on a board-by-board basis or markers 42 for parts, both of which improve the board positioning accuracy, and are formed at the same time as the soldering lands at the time of board manufacture, and facilitate position recognition. It is usually in the state of copper foil.

【００３９】このような基板の、はんだ接合部の良否検
査を行なう場合の基本フローを図１３に示す。基板が検
査機にセットされると、検査機の映像入力装置（通常テ
レビカメラ）の視野内にマーカ４１が入るように基板を
位置決めし、マーカ映像を入力（図の１０２）する。FIG. 13 shows a basic flow in the case of performing a quality inspection of a solder joint portion of such a substrate. When the board is set in the inspection machine, the board is positioned so that the marker 41 is within the visual field of the image input device (usually a TV camera) of the inspection machine, and the marker image is input (102 in the figure).

【００４０】次にマーカ映像から基板のセット位置を認
識（図の１０６）し、以後この認識位置を基準に、あら
かじめマーカとの位置関係が教示されてるはんだ接合部
（ＩＣの場合は各リード先端に対応したはんだ付けラン
ド部）の画像を順次入力（図の１１２）し、良否判定
（図の１１８）を行なう。Next, the set position of the board is recognized from the marker image (106 in the figure), and thereafter, the solder joint portion (in the case of IC, the tip of each lead in the case of IC, the position relationship with the marker is previously taught with reference to the recognized position. The images of the soldering land portion corresponding to (1) are sequentially input (112 in the figure), and the quality determination (118 in the figure) is performed.

【００４１】本発明の場合は、このような検査手順の
内、マーカ映像入力の直後に銅箔部認識基準値作成過程
（図の１０４）を、はんだ接合部画像入力の直後に銅箔
部分認識機能（図の１１４）を挿入する。In the case of the present invention, in such an inspection procedure, the copper foil part recognition reference value creating process (104 in the figure) is performed immediately after the marker image input, and the copper foil part recognition is performed immediately after the solder joint image input. Insert the function (114 in the figure).

【００４２】まず銅箔部認識基準値作成機能は、図１４
に示す方法で各段照明による銅箔で形成されているマー
カ映像の輝度分布から銅箔部の輝度範囲を設定するもの
で、図１４の（ａ）のように、単純に各照明輝度レベル
の上限（ａ２、ｂ２、など）と下限（ａ１、ｂ１、な
ど）を設定する方法や、図１４の（ｂ）のように、所定
の照明による映像を基準とした他の照明映像の輝度比の
上限、下限を設定する方法などがある。この場合、情報
圧縮や平均化など種々の方法を利用しうる。一方、銅箔
認識機能は、はんだ接合部に対応して得られた映像をチ
ェックし、上記で設定された映像範囲にある部分を銅箔
として分離する。First, referring to FIG.
The brightness range of the copper foil part is set from the brightness distribution of the marker image formed by the copper foil by each step illumination by the method shown in FIG. A method of setting an upper limit (a2, b2, etc.) and a lower limit (a1, b1, etc.) and a method of setting a luminance ratio of another illumination image based on an image by predetermined illumination as shown in (b) of FIG. There is a method to set the upper and lower limits. In this case, various methods such as information compression and averaging can be used. On the other hand, the copper foil recognition function checks the image obtained corresponding to the solder joint and separates the portion within the image range set above as a copper foil.

【００４３】これにより角度コード生成結果は、銅箔平
坦部とはんだ部分を明確に区別されたものとなり、図１
１により説明した内容から明らかなようにはんだ形状の
正確な判定が可能となる。なお、銅箔情報検出には図１
２の部品対応のマーカ４２その他も利用できる。As a result, the angle code generation result clearly distinguishes the copper foil flat portion and the solder portion, as shown in FIG.
As is clear from the contents described in the item 1, the solder shape can be accurately determined. For detecting copper foil information,
The marker 42 corresponding to the two parts and the like can also be used.

【００４４】次に、図１５に本発明の原理をプリント基
板上の電子部品の実装位置良否検査に用いた場合の実施
例を示す。プリント基板４０には、はんだ付けランド４
００、ランドから他の部分への電気信号伝達のための配
線パターン４２０が多数形成される。これらは通常銅箔
構造となっており、その保護や外部絶縁のため、電子部
品とのはんだ接合部分を除き細い破線４１０で示すよう
にレジスト膜で覆われている。 プリント基板上にはこ
のほか電子部品１０の実装位置を示すシルク印刷パター
ン４３０がレジスト膜の上に印刷されることが多い。Next, FIG. 15 shows an embodiment in which the principle of the present invention is used for the quality inspection of the mounting position of electronic parts on a printed circuit board. The printed board 40 has soldering lands 4
00, a number of wiring patterns 420 for transmitting an electric signal from the land to other portions are formed. These usually have a copper foil structure, and are covered with a resist film as indicated by a thin broken line 410 except for a solder joint portion with an electronic component for protection and external insulation. In addition to this, a silk print pattern 430 indicating the mounting position of the electronic component 10 is often printed on the resist film on the printed circuit board.

【００４５】このように、プリント基板は画像的、映像
的背景として見た場合、多様で複雑であるため、電子部
品の実装位置の検出が困難となることが多い。As described above, the printed circuit board is diverse and complicated when viewed as an image or video background, and thus it is often difficult to detect the mounting position of the electronic component.

【００４６】そこで本発明では、上記背景の抽出を容易
にするため、その映像的特性、例えば輝度分布や色相を
把握し較正するための情報を基板から直接得る方法を採
る。たとえば図１５における、４３１はシルク印刷基準
部、４２１は配線基準部、４１１はレジスト基準部を表
している。これらは情報入力用としてプリント基板に設
定してもよいし、特に設定しなくても、本来基板内にあ
る相当部分を利用する方法がある。 一方、同図の５１
０、５２０、５３０は、上記背景部分の情報を撮象素子
を介し入力するためのウインドー位置を示している。Therefore, in the present invention, in order to facilitate the extraction of the background, a method is adopted in which information for grasping and calibrating the image characteristic such as luminance distribution and hue is directly obtained from the substrate. For example, in FIG. 15, 431 is a silk printing reference portion, 421 is a wiring reference portion, and 411 is a resist reference portion. These may be set on the printed circuit board for information input, or there is a method of utilizing a considerable portion originally in the circuit board without particularly setting. On the other hand, 51 in FIG.
Reference numerals 0, 520, and 530 denote window positions for inputting the information of the background portion via the image pickup device.

【００４７】このような条件下でプリント基板上の電子
部品の実装位置の良否検出を行う場合の手順を図１６に
示す。基板が検査機にセットされた後、マーカ映像を入
力し、基板のセット位置を認識する過程は図１３と同様
である。基板の位置が確認されると、次に前記の各ウイ
ンドー位置（図１５の５１０、５２０、および５３０）
からの映像入力が可能な位置へ基板を移動し、図１４か
ら図１３での説明と同様な方法で、各背景部分に対応し
た情報基準値の作成（図１６の１０８）を行う。さらに
この認識位置を基準に、あらかじめマーカとの位置関係
が教示されてる各部品およびその周辺の画像を順次入力
（図の１１２）し、上記基準値を参照した背景部分の消
去（図１６の１１５）とこれを基にした部品実装位置認
識（図１６の１１７）を経て良否判定（図１６の１１
８）を行なう。FIG. 16 shows the procedure for detecting the quality of the mounting position of the electronic component on the printed circuit board under such conditions. The process of inputting a marker image and recognizing the set position of the board after the board is set in the inspection machine is the same as in FIG. Once the position of the board has been confirmed, then each of the above window positions (510, 520, and 530 in FIG. 15).
The substrate is moved to a position where an image can be input from, and an information reference value corresponding to each background portion is created (108 in FIG. 16) by the same method as described with reference to FIGS. Further, with reference to this recognition position, images of respective parts whose peripheral positions are previously taught and the images around them are sequentially input (112 in the figure), and the background portion referred to the reference value is erased (115 in FIG. 16). ) And component mounting position recognition based on this (117 in FIG. 16), and then pass / fail judgment (11 in FIG. 16).
Perform 8).

【００４８】このうち、背景部分の消去から部品実装位
置認識までの手順例を図１７に示す。図１７において、
１０−ａは部品実装指定位置、１０−ｂは実際の実装位
置を示している。また、４３０はシルク印刷印刷パター
ン、４００ははんだ付けランド、４２０は配線パターン
である。FIG. 17 shows an example of the procedure from the background erasing to the component mounting position recognition. In FIG.
Reference numeral 10-a shows a component mounting designated position, and 10-b shows an actual mounting position. In addition, 430 is a silk printing printing pattern, 400 is a soldering land, and 420 is a wiring pattern.

【００４９】このようなシーンに対する背景処理として
は、まず図（ａ）のようにシルク印刷に対応した基準情
報を利用して４３０の部分を抽出分離し、次に（ｂ）の
ようにランド、および配線パターン部分を抽出し分離す
る。このうちランド部分の検出は図１３の方法の利用、
あるいは銅箔面やはんだ面が他の背景部分に対し高輝度
であることを利用してもよい。As background processing for such a scene, first, as shown in FIG. 10A, the reference information corresponding to silk printing is used to extract and separate the portion 430, and then as shown in FIG. And the wiring pattern portion is extracted and separated. Of these, the land portion is detected by using the method of FIG.
Alternatively, the fact that the copper foil surface and the solder surface have high brightness with respect to other background portions may be used.

【００５０】最後にレジスト部４１０を分離すれば、
（ｃ）に示すように部品部分と他の部分との識別が可能
となる。（ｄ）のように、この実装位置と部品本来の実
装指定位置とを比較することにより、その差が許容範囲
内か否かの良否判定が可能となる。Finally, if the resist portion 410 is separated,
As shown in (c), it is possible to distinguish the component part from other parts. As shown in (d), by comparing this mounting position with the original designated mounting position of the component, it is possible to determine whether the difference is within the allowable range.

【００５１】現実には種々の外乱により背景の消去結果
にノイズを伴うが、あらかじめ教示されている部品本来
の寸法や形状的特徴を活用するとともに、フィルタリン
グ処理や、図形的相関処理、ヒストグラム分析の活用な
ど一般に用いられる画像処理手法による識別機能の改善
が可能である。また、基準となる情報は、基板ごとに入
力する方法以外に、生産ロット毎に入力する方法、状況
に応じては、あらかじめ測定され設定した情報を利用す
るとともに、新たに情報を入力する毎にこれを従来情報
を含めて統計処理的に設定し直す学習的な方法など、生
産条件や検査対象に応じて種々の方法が可能である。In reality, various disturbances cause noise in the background erasing result, but the original size and shape characteristics of the parts that have been taught in advance are utilized, and filtering processing, graphic correlation processing, and histogram analysis are performed. It is possible to improve the identification function by a commonly used image processing method such as utilization. In addition to the method of inputting the information for each board, the method of inputting the reference information for each production lot, depending on the situation, the information that has been measured and set in advance is used, and each time new information is input. Various methods are possible according to the production conditions and the inspection target, such as a learning method in which this is conventionally set by statistical processing including information.

【００５２】以上に述べたように、本発明の趣旨は、映
像情報を用いて対象物の形状、その他の状態認識を行う
場合、映像情報と認識基準との対応関係を、映像を入力
する手段を介して得られる外部情報を利用して適応的に
変化させることにあり、照明の変動や対象背景の変動な
ど外乱への対応した認識手段を可能とするものであり、
実施例に述べたプリント基板検査 以外にも適用でき
る。As described above, the gist of the present invention is that when the shape of an object and other states are recognized using the image information, the correspondence between the image information and the recognition reference means for inputting the image. It is to adaptively change using external information obtained via, and it enables a recognition means that responds to disturbances such as changes in lighting and changes in the target background.
It can be applied to other than the printed circuit board inspection described in the embodiments.

【００５３】[0053]

【発明の効果】本発明により、多段照明式外観検査装置
において、はんだ部と非はんだ部等のように光反射特性
の異なる部位の判別が可能となる。According to the present invention, in a multi-stage lighting type visual inspection apparatus, it is possible to discriminate a portion having different light reflection characteristics such as a solder portion and a non-solder portion.

【００５４】よって、本発明の具体的対象であるはんだ
付け外観検査装置における、形状認識ならびに良否判定
性能の向上に効果がある。Therefore, it is effective in improving the shape recognition and the quality judgment performance in the soldering appearance inspection device which is a specific object of the present invention.

【図面の簡単な説明】[Brief description of drawings]

【図１】プリント基板検査に対する本発明の具体例の流
れ図FIG. 1 is a flow chart of an embodiment of the present invention for printed circuit board inspection.

【図２】多段照明式はんだ検査装置の基本システム構成
図[Fig. 2] Basic system configuration diagram of multi-stage lighting solder inspection device

【図３】図２の装置における検査処理過程図FIG. 3 is a diagram of an inspection process in the apparatus of FIG.

【図４】多段照明式はんだ検査装置における光学系と検
査対象の関係を示す配置図FIG. 4 is a layout diagram showing a relationship between an optical system and an inspection target in a multi-stage lighting solder inspection device.

【図５】図４の検査装置における照明器からの投射光と
検査対象の関係図5 is a diagram showing the relationship between the projection light from the illuminator and the inspection target in the inspection device of FIG.

【図６】図４の検査装置における対象面角度と反射光の
輝度との関係図6 is a diagram showing the relationship between the target surface angle and the brightness of reflected light in the inspection device of FIG.

【図７】はんだフィレットの３次元モデル図FIG. 7: Three-dimensional model diagram of solder fillet

【図８】はんだフィレットに対する映像信号パターン図FIG. 8 is a video signal pattern diagram for a solder fillet.

【図９】はんだフィレット形状と、それに対するコード
パターン図FIG. 9: Solder fillet shape and code pattern diagram for it

【図１０】多段照明によるプリント基板上の各種部分の
反射輝度特性の一例を示す特性図FIG. 10 is a characteristic diagram showing an example of reflected luminance characteristics of various portions on a printed circuit board by multi-stage illumination.

【図１１】銅箔面等の背景部分の外観形状とコードパタ
ーンとの関係図FIG. 11 is a diagram showing the relationship between the external shape of the background such as the copper foil surface and the code pattern.

【図１２】本発明の原理をプリント基板上の電子部品の
はんだ付け接合部良否検査に用いた場合の実施例を示す
図FIG. 12 is a diagram showing an example in which the principle of the present invention is applied to a solder joint quality inspection of an electronic component on a printed circuit board.

【図１３】本発明の実施例のはんだ接合部良否検査の基
本流れ図FIG. 13 is a basic flow chart of solder joint quality inspection according to an embodiment of the present invention.

【図１４】本発明の実施例の背景部分の抽出用基準値の
作成方法を示す図FIG. 14 is a diagram showing a method of creating a reference value for extracting a background portion according to the embodiment of the present invention.

【図１５】本発明の原理をプリント基板上の電子部品の
実装位置良否検査に用いた場合の実施例の説明図FIG. 15 is an explanatory diagram of an embodiment in which the principle of the present invention is used for a mounting position quality inspection of electronic components on a printed circuit board.

【図１６】本発明の実施例の実装位置良否検査の処理過
程の流れ図FIG. 16 is a flow chart of a process of a mounting position pass / fail inspection according to the embodiment of the present invention.

【図１７】本発明の実施例の背景部分の消去による部品
実装位置認識の手順を示す説明図FIG. 17 is an explanatory diagram showing a procedure for recognizing a component mounting position by deleting a background portion according to the embodiment of this invention.

【符号の説明】[Explanation of symbols]

１０ 検査対象、１１ リード、１２ はんだフィレッ
ト、２０ 照明器、３０ テレビカメラ、４０ プリン
ト基板、４１ 基板単位の基準マーカ、４２部品対応の
基準マーカ、５０ 画像記憶装置、６０ 照明切替装
置、７０ コード生成部、８０ テーブル駆動装置、９
０ 認識処理部、１００ 移動テーブル、１３０ 映像
信号、１６０ 照明制御信号、１８０ テーブル制御信
号、４００ はんだ付けランド、４１０ レジスト膜、
４１１ レジスト基準部、４２０配線パターン、４２１
配線基準部、４３０ シルク印刷パターン、４３１シ
ルク基準部、５００ 検査ウィンドー、５０１ カメラ
映像画素、５１０ レジスト抽出用ウィンドー、５２０
配線パターン抽出用ウィンドー、５３０ シルクパタ
ーン抽出用ウィンドー10 inspection object, 11 lead, 12 solder fillet, 20 illuminator, 30 TV camera, 40 printed circuit board, 41 reference marker for each board, 42 parts compatible reference marker, 50 image storage device, 60 illumination switching device, 70 code generation Part, 80 table drive device, 9
0 recognition processing unit, 100 moving table, 130 video signal, 160 lighting control signal, 180 table control signal, 400 solder land, 410 resist film,
411 resist reference part, 420 wiring pattern, 421
Wiring reference part, 430 silk printing pattern, 431 silk reference part, 500 inspection window, 501 camera image pixel, 510 resist extraction window, 520
Wiring pattern extraction window, 530 Silk pattern extraction window

Claims (4)

【特許請求の範囲】[Claims] 【請求項１】 検査対象に対する照射条件、例えば照射
角度や色相が異なる複数の照明器を照射して得られる複
数の映像情報を基に、該対象面の状態、例えば傾斜角度
の分布状態を検出し、その良否判定を行う外観検査装置
に用いる対象面状態の認識処理方式であって、 前記複
数の映像情報と対象面状態認識内容との関係を、状況に
応じて変更することを特徴とする外観検査装置の対象面
認識処理装置。1. A state of the target surface, for example, a distribution state of tilt angles is detected based on a plurality of image information obtained by irradiating a plurality of illuminators having different irradiation angles and hues to an inspection target. However, it is a recognition processing method of a target surface state used in the appearance inspection device for performing the quality determination, characterized in that the relationship between the plurality of video information and the target surface state recognition content is changed according to the situation. Target surface recognition processing device of appearance inspection device. 【請求項２】 請求項１において、検査対象が電子部品
を実装したプリント基板上のはんだ接合部、または電子
部品の実装状態の検査において、複数映像情報と対象面
の状態認識内容との関係を該プリント基板内の所定部分
から、あらかじめ得た複数映像情報を利用することによ
り変更するようにしたことを特徴とする外観検査装置の
対象面認識処理装置。2. The inspection target according to claim 1, wherein the inspection target is a solder joint portion on a printed circuit board on which an electronic component is mounted, or the mounting state of the electronic component is inspected. A target surface recognition processing apparatus of an appearance inspection apparatus, characterized in that a plurality of image information obtained in advance is used to change from a predetermined portion in the printed circuit board. 【請求項３】 請求項１または２において、対象面状態
の認識内容が角度コードで与えられ、かつ、状況に応じ
て変更することにより得られた対象面の特定部分を、他
の部分と相違するコードとして生成するようにしたこと
を特徴とする外観検査装置の対象面認識処理装置。3. The specific portion of the target surface according to claim 1 or 2, wherein the recognition content of the target surface state is given by an angle code, and the specific portion of the target surface obtained by changing according to the situation is different from other portions. A target surface recognition processing device of an appearance inspection device, which is characterized in that it is generated as a code. 【請求項４】 請求項１または２において、状況に応じ
た変更の指示または状況変化を検出するため の比較情
報が画像記憶装置にあらかじめ記憶されており、検査段
階でこれを選択利用できるようにしたことを特徴とする
外観検査装置の対象面認識処理装置。4. The image storage device according to claim 1, wherein comparison information for detecting a change instruction or a situation change according to a situation is stored in advance in the image storage device, and the comparison information can be selectively used at an inspection stage. An object surface recognition processing device of an appearance inspection device, characterized in that