JP4623957B2

JP4623957B2 - Solder inspection method

Info

Publication number: JP4623957B2
Application number: JP2003402620A
Authority: JP
Inventors: 隆香月; 貴弘深川; 正宏木原
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2003-12-02
Filing date: 2003-12-02
Publication date: 2011-02-02
Anticipated expiration: 2023-12-02
Also published as: JP2005164352A

Description

本発明は、基板に印刷された半田の印刷状態を検査する半田検査方法に関するものであ
る。 The present invention relates to Handa inspecting how to inspect the printed state of the solder printed on the substrate.

電子部品の実装においては、基板への電子部品の搭載に先立って基板の表面にクリーム半田が塗布される。クリーム半田塗布の方法としてはスクリーン印刷による方法が広く用いられており、印刷工程の後にはクリーム半田の印刷状態を検査する半田検査が行われる。この半田検査は、スクリーン印刷後の基板をカメラにより撮像し、撮像結果を画像処理することにより印刷部位に正しくクリーム半田が印刷されているか否かを判定するものである。 In mounting electronic components, cream solder is applied to the surface of the substrate prior to mounting the electronic components on the substrate. As a method for applying the cream solder, a screen printing method is widely used. After the printing process, a solder inspection for inspecting the printing state of the cream solder is performed. In this solder inspection, the substrate after screen printing is imaged by a camera, and the imaged result is subjected to image processing to determine whether or not the cream solder is correctly printed on the print site.

従来より、この画像処理による検査判定において、カラーカメラで得られたＲＧＢ画像を、色相、彩度、明度を独立の画像要素とするＨＳＩ画像に変換して得られたカラーモデル変換画像に基づいて、検査対象部位を検出する方法が用いられている（例えば特許文献１参照）。本特許文献例では、電子部品の搭載状態を対象とした検査にカラーモデル変換による方法を適用しており、このようなカラーモデル変換を行うことにより、ＲＧＢ画像上では識別困難な検出対象であっても、カラーモデル変換画像上での色相、彩度、明度の差異を利用して検査対象を周囲から精度よく識別できるという利点がある。
特開２００１−１５３６２６号公報 Conventionally, in the inspection determination by this image processing, based on a color model conversion image obtained by converting an RGB image obtained by a color camera into an HSI image having hue, saturation, and brightness as independent image elements. A method for detecting a region to be examined is used (see, for example, Patent Document 1). In the example of this patent document, a method using color model conversion is applied to the inspection for the mounting state of the electronic component. By performing such color model conversion, it is difficult to identify on the RGB image. However, there is an advantage that the inspection object can be accurately identified from the surroundings using the difference in hue, saturation, and brightness on the color model converted image.
JP 2001-153626 A

しかしながら、上述のカラーモデル変換を応用した検査装置には、検査条件を適切に設定するための操作性において、以下に述べるような問題点があった。すなわち上述の検査装置は、基板に搭載された多数の電子部品を対象として、検査対象となる電子部品本体や電子部品に設けられたマークなどを検出する必要があることから、カラーモデル変換したＨＳＩ画像から特定の色に対応した部分を抽出する際に、色抽出条件のティーチングを精細に行う必要があった。 However, the inspection apparatus to which the above-described color model conversion is applied has the following problems in operability for appropriately setting inspection conditions. That is, the above-described inspection apparatus needs to detect the electronic component main body to be inspected, the mark provided on the electronic component, and the like for a large number of electronic components mounted on the substrate, and thus the color model converted HSI. When extracting a part corresponding to a specific color from an image, it is necessary to precisely perform teaching of the color extraction condition.

半田印刷後の基板を対象とした半田検査の場合には、検査対象がクリーム半田にほぼ限定されていることから、上述の電子部品搭載状態の検査と比較して色抽出条件は緩やかになる。ところがカラーモデル変換による検査方法を半田検査装置に応用するに当たり、上述の特許文献例と同様な色抽出条件の設定方法をそのまま採用すると、非熟練者には実行困難な複雑な調整操作を要してしまうため、操作性の向上が望まれていた。 In the case of solder inspection for a board after solder printing, since the inspection object is almost limited to cream solder, the color extraction condition becomes milder than the above-described inspection of the electronic component mounting state. However, in applying the color model conversion inspection method to the solder inspection apparatus, adopting the same color extraction condition setting method as in the above-mentioned patent document example requires a complicated adjustment operation that is difficult for an unskilled person to perform. Therefore, improvement in operability has been desired.

そこで本発明は、カラーモデル変換を応用した半田検査において色抽出条件設定の操作性に優れた半田検査方法を提供することを目的とする。 Accordingly, the present invention aims at providing a semi-field inspection method having excellent operability color extraction condition set in solder inspection that applies color model conversion.

本発明の半田検査方法は、基板に印刷された半田の印刷状態の検査を行う半田検査方法であって、前記半田を撮像してカラー画像を取り込む撮像工程と、撮像手段により取り込まれたＲＧＢ画像データを色相、彩度、明度からなるＨＳＩ画像データに変換する画像変換処理工程と、前記色相、彩度、明度の各要素について画像データを個別の色抽出フィルタによってデータ変換することにより前記ＨＳＩ画像データから所望の色を抽出した色抽出画像を入手する色抽出工程と、前記色抽出画像に基づいて半田の印刷状態の良否を判定する良否判定工程と、検査実行に先立って前記色抽出フィルタのデータ変換特性を設定することにより所望の色抽出特性を設定する色抽出特性設定工程とを含み、前記色抽出特性設定工程において、前記色抽出フィルタのうち彩度についてのデータ変換特性が固定され、前記色抽出フィルタのうち色相、明度についてのデータ変換特性をそれぞれ色相フィルタ操作部および明度フィルタ操作部によって操作画面上で指定入力するとともに、検査対象の半田の画像をＲＧＢ画像データで表示した原画像およびこの原画像に基づく前記色抽出画像とを前記操作画面とともに一覧表示させるものであり、前記色相フィルタ操作部が、色相の抽出範囲をその上限および下限で設定表示する色相抽出範囲設定表示枠を備え、前記明度フィルタ操作部が、明度の抽出範囲をその上限および下限で設定表示する明度抽出範囲設定表示枠を備え、更に、前記色抽出特性設定工程において、前記指定入力と前記一覧表示とを反復実行する。 RGB solder inspection method of the present invention is a solder inspection method for inspecting a printing state of solder printed on the substrate, an imaging step of capturing a color image by imaging the solder, captured by an imaging means An image conversion processing step for converting image data into HSI image data composed of hue, saturation, and brightness, and the HSI by converting the image data with respect to each element of the hue, saturation, and brightness using an individual color extraction filter. A color extraction step for obtaining a color extraction image obtained by extracting a desired color from image data, a quality determination step for determining the quality of the printed state of the solder based on the color extraction image, and the color extraction filter prior to the execution of inspection and a color extraction characteristic setting step of setting a desired color extraction characteristics by setting the data conversion characteristics of, in the color extracting characteristic setting step, the color extraction Data conversion characteristics for saturation of the filter is fixed, the hue of the color extraction filter, as well as specification input on the operation screen by each color filter operation unit and the brightness filter operation unit data conversion characteristics of lightness, inspection An original image in which an image of the target solder is displayed as RGB image data and the color extraction image based on the original image are displayed together with the operation screen, and the hue filter operation unit sets the hue extraction range to A hue extraction range setting display frame for setting and displaying at an upper limit and a lower limit, and the lightness filter operation unit includes a lightness extraction range setting display frame for setting and displaying a lightness extraction range at the upper and lower limits; In the characteristic setting step, the designation input and the list display are repeatedly executed.

本発明によれば、色抽出特性設定工程において、色抽出フィルタのうち色相、明度についてのデータ変換特性をそれぞれ色相フィルタ操作部および明度フィルタ操作部によって操作画面上で指定入力するとともに、検査対象の半田の画像をＲＧＢ画像データで表示した原画像およびこの原画像に基づく色抽出画像とを操作画面とともに一覧表示させることにより、カラーモデル変換を応用した半田検査において色抽出条件設定の操作性を向上させることができる。 According to the present invention, in the color extraction characteristic setting step, the data conversion characteristics for hue and lightness among the color extraction filters are designated and input on the operation screen by the hue filter operation unit and the lightness filter operation unit, respectively, Improves the operability of color extraction condition setting in solder inspection applying color model conversion by displaying a list of the original image displaying the solder image as RGB image data and the color extraction image based on this original image together with the operation screen Can be made.

次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態のスクリーン印刷装置の正面図、図２は本発明の一実施の形態のスクリーン印刷装置の側面図、図３は本発明の一実施の形態のスクリーン印刷装置の平面図、図４は本発明の一実施の形態のスクリーン印刷装置の動作説明図、図５は本発明の一実施の形態のスクリーン印刷装置による基板印刷面の平面図、図６は本発明の一実施の形態のスクリーン印刷装置に組み込まれた半田検査装置の制御系の構成を示すブロック図、図７は本発明の一実施の形態の半田検査装置の色抽出ティーチ用の操作画面を示す図、図８は本発明の一実施の形態の半田検査方法のフロー図、図９は本発明の一実施の形態の半田検査装置の色抽出ティーチ処理のフロー図である。 Next, embodiments of the present invention will be described with reference to the drawings. 1 is a front view of a screen printing apparatus according to an embodiment of the present invention, FIG. 2 is a side view of the screen printing apparatus according to an embodiment of the present invention, and FIG. 3 is a screen printing apparatus according to an embodiment of the present invention. FIG. 4 is a diagram for explaining the operation of the screen printing apparatus according to the embodiment of the present invention. FIG. 5 is a plan view of the substrate printing surface of the screen printing apparatus according to the embodiment of the present invention. FIG. 7 is a block diagram showing a configuration of a control system of a solder inspection apparatus incorporated in a screen printing apparatus according to an embodiment, and FIG. 7 shows an operation screen for color extraction teach of the solder inspection apparatus according to an embodiment of the present invention. 8 is a flowchart of the solder inspection method according to the embodiment of the present invention. FIG. 9 is a flowchart of the color extraction teaching process of the solder inspection apparatus according to the embodiment of the present invention.

まず図１、図２および図３を参照してスクリーン印刷装置の構造を説明する。このスクリーン印刷装置は、電子部品が実装される基板の複数の半田印刷位置ににクリーム半田を印刷する印刷機構のみならず、後述するように、半田印刷後の基板を対象として半田の印刷状態の検査を行う半田検査装置としての機能を併せ持った構成となっている。 First, the structure of the screen printing apparatus will be described with reference to FIG. 1, FIG. 2, and FIG. In this screen printing apparatus, not only a printing mechanism that prints cream solder at a plurality of solder printing positions on a board on which electronic components are mounted, but also a solder printed state for a board after solder printing, as will be described later. It has a structure that also has a function as a solder inspection apparatus for performing inspection.

図１、図２において、基板位置決め部１は、Ｙ軸テーブル２およびＸ軸テーブル３よりなる移動テーブル上にθ軸テーブル４を段積みし、さらにその上にＺ軸テーブル５を配設して構成されており、Ｚ軸テーブル５上にはクランパ７によって挟み込まれた基板８を下方から保持する基板保持部６が設けられている。印刷対象の基板８は、図１，図３に示す搬入コンベア１４によって基板位置決め部１に搬入される。基板位置決め部１を駆動することにより、基板８はＸＹ方向に移動し、後述する印刷位置、基板認識位置に位置決めされる。印刷後の基板８は、搬出コンベア１５によって搬出される。 1 and 2, the substrate positioning unit 1 includes a θ-axis table 4 stacked on a moving table composed of a Y-axis table 2 and an X-axis table 3, and a Z-axis table 5 disposed thereon. The substrate holder 6 is provided on the Z-axis table 5 to hold the substrate 8 sandwiched by the clamper 7 from below. The substrate 8 to be printed is carried into the substrate positioning unit 1 by the carry-in conveyor 14 shown in FIGS. By driving the substrate positioning unit 1, the substrate 8 moves in the XY directions and is positioned at a printing position and a substrate recognition position described later. The printed substrate 8 is carried out by the carry-out conveyor 15.

基板位置決め部１の上方には、スクリーンマスク１０が配設されており、スクリーンマスク１０はホルダ１１にマスクプレート１２を装着して構成されている。基板８は基板位置決め部１によってマスクプレート１２に対して位置合わせされ下方から当接する。基板８の回路形成面には、図５（ａ）に示すように種類の異なる電子部品を接合するための電極８ａ、８ｂ、８ｃ、８ｄが設けられている。 A screen mask 10 is disposed above the substrate positioning unit 1, and the screen mask 10 is configured by attaching a mask plate 12 to a holder 11. The substrate 8 is aligned with the mask plate 12 by the substrate positioning unit 1 and abuts from below. As shown in FIG. 5A, electrodes 8a, 8b, 8c, and 8d for joining different types of electronic components are provided on the circuit forming surface of the substrate 8.

スクリーンマスク１０上には、スキージヘッド１３が水平方向に往復動自在に配設されている。図２に示すように、スキージヘッド１３は２つのスキージ１８を備えており、スキージ１８は水平な移動プレート１６に保持されたスキージ昇降機構１７によってそれぞれ昇降する。スキージヘッド１３による印刷動作は、図４（ａ）に示すように、基板８を保持した基板位置決め部１をスクリーンマスク１０の下方の印刷位置に移動させた状態で行われる。 On the screen mask 10, a squeegee head 13 is disposed so as to be able to reciprocate in the horizontal direction. As shown in FIG. 2, the squeegee head 13 includes two squeegees 18, and each squeegee 18 is raised and lowered by a squeegee lifting mechanism 17 held on a horizontal moving plate 16. The printing operation by the squeegee head 13 is performed in a state where the substrate positioning unit 1 holding the substrate 8 is moved to a printing position below the screen mask 10 as shown in FIG.

印刷動作においては、まず基板８をマスクプレート１２の下面に当接させ、マスクプレート１２上にクリーム半田９を供給する。そしてスキージヘッド１３の２つのスキージ１８のいずれかをマスクプレート１２の表面に当接させて摺動させることにより、基板８の印刷面にはマスクプレート１２に設けられたパターン孔（図示省略）を介してクリーム半田９が印刷される。これにより、図５（ｂ）に示すように、電極８ａ、８ｂ、８ｃ、８ｄ上にはそれぞれ半田印刷部Ｓ１，Ｓ２，Ｓ３，Ｓ４が形成される。 In the printing operation, first, the substrate 8 is brought into contact with the lower surface of the mask plate 12, and the cream solder 9 is supplied onto the mask plate 12. Then, by sliding one of the two squeegees 18 of the squeegee head 13 in contact with the surface of the mask plate 12, pattern holes (not shown) provided in the mask plate 12 are formed on the printing surface of the substrate 8. The cream solder 9 is printed through. As a result, as shown in FIG. 5B, solder printing portions S1, S2, S3, and S4 are formed on the electrodes 8a, 8b, 8c, and 8d, respectively.

スクリーンマスク１０の上方には、カメラ２０が設けられている。図３に示すように、カメラ２０はＸ軸テーブル２１およびＹ軸テーブル２２によってＸＹ方向に水平移動する。Ｘ軸テーブル２１およびＹ軸テーブル２２は、カメラ２０を移動させるカメラ移動手段となっている。 A camera 20 is provided above the screen mask 10. As shown in FIG. 3, the camera 20 is horizontally moved in the XY directions by the X-axis table 21 and the Y-axis table 22. The X-axis table 21 and the Y-axis table 22 are camera moving means for moving the camera 20.

基板位置決め部１は、図２に示すようにＹ軸テーブル３によってスクリーンマスク１０の下方からＹ方向に移動して、保持した基板８を基板認識位置まで移動させることができるようになっている。この状態で図４（ｂ）に示すように、カメラ２０を基板位置決め部１に保持された基板８の上方に移動させることにより、カメラ２０によって基板８の任意の位置を撮像して、印刷された半田のカラー画像をＲＧＢ画像データとして取り込む。カメラ２０は、半田印刷後の基板において半田を撮像してカラー画像を取り込む撮像手段となっている。 As shown in FIG. 2, the substrate positioning unit 1 is moved in the Y direction from the lower side of the screen mask 10 by the Y-axis table 3 to move the held substrate 8 to the substrate recognition position. In this state, as shown in FIG. 4B, by moving the camera 20 above the substrate 8 held by the substrate positioning unit 1, an arbitrary position of the substrate 8 is imaged and printed by the camera 20. The color image of the solder is captured as RGB image data. The camera 20 is an imaging unit that captures a color image by capturing an image of the solder on the substrate after solder printing.

次に図６を参照して、スクリーン印刷装置に組み込まれた半田検査装置の制御系の構成について説明する。制御部２３は、機構制御部２５を介して基板位置決め部１やスクリーン印刷機構などの機構部２６を制御するとともに、カメラ２０の撮像制御を行うＣＣＵ（カメラコントロールユニット）２４や表示部２８を制御し、さらに操作・入力部２７からの入力を制御する。制御部２３は、上述の全体制御装置としての機能のほか、以下に説明する内部機能としてのＨＳＩ画像データ変換部２３ａ、色抽出フィルタ２３ｂ、画像合成処理部２３ｆ、画像認識処理部２３ｇ、良否判定部２３ｈ、表示処理部２３ｉ、パラメータ変更部２３ｊを備えている。 Next, the configuration of the control system of the solder inspection apparatus incorporated in the screen printing apparatus will be described with reference to FIG. The control unit 23 controls the mechanism unit 26 such as the substrate positioning unit 1 and the screen printing mechanism via the mechanism control unit 25, and controls the CCU (camera control unit) 24 and the display unit 28 that control the imaging of the camera 20. Further, the input from the operation / input unit 27 is controlled. In addition to the functions as the overall control device described above, the control unit 23 includes an HSI image data conversion unit 23a, a color extraction filter 23b, an image composition processing unit 23f, an image recognition processing unit 23g, and pass / fail determination as internal functions described below. 23h, a display processing unit 23i, and a parameter changing unit 23j.

ＨＳＩ画像データ変換部２３ａ（画像変換処理手段）は、カメラ２０によって取得されたＲＧＢ画像データをＣＣＵ２４を介して受信し、色相（Ｈ）、彩度（Ｓ）、明度（Ｉ）からなるＨＳＩ画像データに変換する。色抽出フィルタ２３ｂは、Ｈフィルタ２３ｃ、Ｓフィルタ２３ｄ、Ｉフィルタ２３ｅより構成され、ＨＳＩ画像データ変換部２３ａにより変換されたＨＳＩ画像データを、色相、彩度、明度の各要素について個別の色抽出フィルタ（Ｈフィルタ２３ｃ、Ｓフィルタ２３ｄ、Ｉフィルタ２３ｅ）によってデータ変換する。なお、本実施の形態においては、これらの３種類の色抽出フィルタのうち、Ｓフィルタ
２３ｄについては通常はデータ変換特性が固定され、Ｈフィルタ２３ｃ、Ｉフィルタ２３ｅのみについてデータ変換特性を操作するようにしている。 The HSI image data conversion unit 23a (image conversion processing means) receives RGB image data acquired by the camera 20 via the CCU 24, and an HSI image composed of hue (H), saturation (S), and brightness (I). Convert to data. The color extraction filter 23b includes an H filter 23c, an S filter 23d, and an I filter 23e. The HSI image data converted by the HSI image data conversion unit 23a is subjected to individual color extraction for each element of hue, saturation, and brightness. Data conversion is performed by filters (H filter 23c, S filter 23d, and I filter 23e). In the present embodiment, among these three types of color extraction filters, the data conversion characteristics are usually fixed for the S filter 23d, and the data conversion characteristics are manipulated only for the H filter 23c and the I filter 23e. I have to.

画像合成処理部２３ｆは、色抽出フィルタ２３ｂによってデータ変換されたＨＳＩ画像を合成して、所望の色を抽出した色抽出画像を入手する。ここでは、Ｈ，Ｓ，Ｉの各画像を合成することにより、２値化されたモノクロ画像を得る。すなわち、色抽出フィルタ２３ｂおよび画像合成処理部２３ｆは、色相、彩度、明度の各要素について画像データを個別の色抽出フィルタによってデータ変換することにより、ＨＳＩ画像データから所望の色を抽出した色抽出画像を入手する色抽出手段を構成する。 The image synthesis processing unit 23f synthesizes the HSI image data converted by the color extraction filter 23b, and obtains a color extraction image obtained by extracting a desired color. Here, a binarized monochrome image is obtained by combining the H, S, and I images. That is, the color extraction filter 23b and the image composition processing unit 23f convert the image data with respect to each element of hue, saturation, and lightness using individual color extraction filters, thereby extracting a desired color from the HSI image data. Color extraction means for obtaining the extracted image is configured.

画像認識処理部２３ｇは、画像合成処理部２３ｆから出力された色抽出画像、すなわち検査対象となる半田部分が背景部分から識別されたモノクロ画像を対象として、半田形状検出などの所定の画像処理を行う。良否判定部２３ｈは画像認識処理部２３ｇによって処理された画像処理結果に基づいて、印刷状態の良否を検査し判定結果を出力する。すなわち、画像認識処理部２３ｇ、良否判定部２３ｈは、色抽出画像に基づいて半田の印刷状態の良否を判定（検査）する良否判定手段となっている。そして良否判定結果すなわち検査結果は、表示処理部２３ｉによって所定の表示処理がなされた後、表示部２８のモニタに表示される。 The image recognition processing unit 23g performs predetermined image processing such as solder shape detection on the color extraction image output from the image composition processing unit 23f, that is, the monochrome image in which the solder portion to be inspected is identified from the background portion. Do. The quality determination unit 23h inspects the quality of the printing state based on the image processing result processed by the image recognition processing unit 23g and outputs the determination result. That is, the image recognition processing unit 23g and the quality determination unit 23h are quality determination means for determining (inspecting) the quality of the solder printing state based on the color extraction image. Then, the pass / fail judgment result, that is, the inspection result is displayed on the monitor of the display unit 28 after a predetermined display process is performed by the display processing unit 23i.

表示処理部２３ｉは、検査結果を表示するのみならず、後述する色抽出ティーチを操作画面上で行うための表示処理を行う。この色抽出ティーチ用の操作画面表示においては、ＣＣＵ２４から出力されるＲＢＧ画像データによる原画像および画像合成処理部２３ｆから出力される抽出画像が合わせて表示される。また色抽出フィルタ２３ｂによるデータ変換特性は、操作・入力部２７から操作入力することによりパラメータ変更部２３ｊによって可変に設定できるようになっており、これによりＨＳＩ画像から色抽出画像を抽出する際の色抽出特性を任意に設定できる。 The display processing unit 23i not only displays the inspection result, but also performs display processing for performing color extraction teach described later on the operation screen. In the operation screen display for color extraction teaching, the original image based on the RBG image data output from the CCU 24 and the extracted image output from the image composition processing unit 23f are displayed together. Further, the data conversion characteristic by the color extraction filter 23b can be variably set by the parameter changing unit 23j by performing an operation input from the operation / input unit 27, and thereby, when extracting the color extraction image from the HSI image. Color extraction characteristics can be set arbitrarily.

次に記憶部３０について説明する。記憶部３０は、プログラム記憶部３１およびデータ記憶部３２を備えている。プログラム記憶部３１には、制御部２３によって実行される各種処理のための処理プログラムが記憶される。データ記憶部３２には、色抽出フィルタ２３ｂによる色抽出に用いられるパラメータを記憶する抽出パラメータ記憶部３２ａと、画像認識処理部２３ｇによる認識処理や良否判定部２３ｈによる良否検査に使用されるデータを記憶する検査用データ記憶部３２ｄより構成される。 Next, the storage unit 30 will be described. The storage unit 30 includes a program storage unit 31 and a data storage unit 32. The program storage unit 31 stores processing programs for various processes executed by the control unit 23. The data storage unit 32 stores an extraction parameter storage unit 32a for storing parameters used for color extraction by the color extraction filter 23b, and data used for recognition processing by the image recognition processing unit 23g and pass / fail inspection by the pass / fail determination unit 23h. It comprises an inspection data storage unit 32d for storing.

抽出パラメータ記憶部３２ａは、色抽出ティーチを行わない場合における推奨条件として予め記憶された推奨パラメータ３２ｂと、色抽出ティーチによって適正色抽出条件に設定した後の確定パラメータ３２ｃを記憶する。色抽出ティーチ後に実行される実際の半田検査実行に際しては、確定パラメータ３２ｃが使用される。検査用データ記憶部３２ｄには、検査対象の基板８における半田印刷部の位置を示す半田位置データや、個々の半田印刷部に印刷されるべき半田の形状・量に関連した半田量データ、良否判定において用いられる検査しきい値データなどが記憶される。 The extraction parameter storage unit 32a stores a recommended parameter 32b stored in advance as a recommended condition when color extraction teaching is not performed, and a finalized parameter 32c after the color extraction teaching sets the appropriate color extraction condition. The deterministic parameter 32c is used when the actual solder inspection is executed after the color extraction teaching. In the inspection data storage unit 32d, solder position data indicating the position of the solder printing unit on the substrate 8 to be inspected, solder amount data related to the shape and amount of solder to be printed on each solder printing unit, pass / fail Inspection threshold data used in determination is stored.

次に、色抽出ティーチについて説明する。色抽出ティーチは、対象とする基板８において検査対象となる半田印刷部を背景画像から明瞭に識別するために、色抽出フィルタ２３ｂのデータ変換特性を当該撮像部位のカラー画像特性に応じて適宜設定するものである。本実施の形態に示す半田検査装置は、以下に説明するように、色抽出フィルタ２３ｂのパラメータを変更する処理をパラメータ変更部２３ｊを介して行うことにより、色抽出特性設定処理を行う色抽出特性設定手段を有している。そしてこの色抽出特性設定処理は、後述するように、表示部２８に表示処理部２３ｉによって表示される操作画面上で行うことが可能になっている。 Next, the color extraction teach will be described. The color extraction teach sets the data conversion characteristics of the color extraction filter 23b as appropriate in accordance with the color image characteristics of the imaging region in order to clearly identify the solder print portion to be inspected on the target substrate 8 from the background image. To do. As will be described below, the solder inspection apparatus according to the present embodiment performs the process of changing the parameters of the color extraction filter 23b via the parameter changing unit 23j, thereby performing the color extraction characteristic setting process. It has setting means. The color extraction characteristic setting process can be performed on the operation screen displayed on the display unit 28 by the display processing unit 23i, as will be described later.

まず色抽出ティーチ用の操作画面について説明する。図７において、操作画面３４にはＣＣＵ２４からのＲＧＢ画像をそのまま表示した原画像３５および画像合成処理部２３ｆによって合成処理された抽出画像３６が並列表示される。色抽出のための最適な抽出パラメータの設定を目的として行われる色抽出ティーチは、オペレータが原画像３５と抽出画像３６とを観察対比することにより行われ、画面上の自動設定ボタン３４ａを操作することにより色抽出ティーチが開始され、オペレータが原画像３５と抽出画像３６とを観察して抽出が適正に行われていると判断して、確定ボタン３４ｂを操作することによって終了する。 First, an operation screen for color extraction teach will be described. In FIG. 7, on the operation screen 34, an original image 35 in which the RGB image from the CCU 24 is displayed as it is and an extracted image 36 synthesized by the image synthesis processing unit 23f are displayed in parallel. The color extraction teaching performed for the purpose of setting an optimum extraction parameter for color extraction is performed by an operator observing and comparing the original image 35 and the extracted image 36, and the automatic setting button 34a on the screen is operated. Thus, the color extraction teach is started, and the operator observes the original image 35 and the extracted image 36, determines that the extraction is properly performed, and ends by operating the confirmation button 34b.

操作画面３４には、操作・入力部２７の操作入力機能の一部を構成する色相フィルタ操作部３７、明度フィルタ操作部３８が設定されている。色相フィルタ操作部３７、明度フィルタ操作部３８は、色抽出フィルタ２３ｂによるデータ変換において、色相、明度についてのデータ変換特性をそれぞれ操作画面３４上で指定入力する機能を有している。色相フィルタ操作部３７は、Ｈフィルタ２３ｃの抽出範囲を設定表示する色相抽出範囲設定表示枠４０および４つの操作スイッチ３９ａ、３９ｂ、３９ｃ、３９ｄを備えている。また明度フィルタ操作部３８は、Ｉフィルタ２３ｅの抽出範囲を設定表示する明度抽出範囲設定表示枠４２および４つの操作スイッチ４１ａ、４１ｂ、４１ｃ、４１ｄを備えている。 On the operation screen 34, a hue filter operation unit 37 and a lightness filter operation unit 38 that constitute a part of the operation input function of the operation / input unit 27 are set. The hue filter operation unit 37 and the lightness filter operation unit 38 have a function of designating and inputting data conversion characteristics for hue and lightness on the operation screen 34 in the data conversion by the color extraction filter 23b. The hue filter operation unit 37 includes a hue extraction range setting display frame 40 for setting and displaying the extraction range of the H filter 23c and four operation switches 39a, 39b, 39c, and 39d. Further, the lightness filter operation unit 38 includes a lightness extraction range setting display frame 42 for setting and displaying the extraction range of the I filter 23e and four operation switches 41a, 41b, 41c, and 41d.

色相抽出範囲設定表示枠４０の横軸はＨ値に対応しており、この横軸に沿ってＨフィルタ２３ｃによる抽出範囲の下限および上限を示す下限パラメータ４０ａ、上限パラメータ４０ｂが表示されている。すなわち、ＨＳＩ画像データ変換部２３ａから出力されたＨＳＩ画像データをＨフィルタ２３ｃでデータ変換することにより、下限パラメータ４０ａ未満または上限パラメータ４０ｂを越えるＨ値は０に変換され、下限パラメータ４０ａ〜上限パラメータ４０ｂのＨ値はＨｍａｘに変換される。そして操作スイッチ３９ａ、３９ｂを操作すると、下限パラメータ４０ａを任意のＨ値に移動させることができ、同様に操作スイッチ３９ｃ、３９ｄを操作すると上限パラメータ４０ｂを任意のＨ値に移動させることができる。 The horizontal axis of the hue extraction range setting display frame 40 corresponds to the H value, and a lower limit parameter 40a and an upper limit parameter 40b indicating the lower limit and upper limit of the extraction range by the H filter 23c are displayed along the horizontal axis. That is, by converting the HSI image data output from the HSI image data converter 23a by the H filter 23c, the H value less than the lower limit parameter 40a or exceeding the upper limit parameter 40b is converted to 0, and the lower limit parameter 40a to the upper limit parameter The H value of 40b is converted to Hmax. When the operation switches 39a and 39b are operated, the lower limit parameter 40a can be moved to an arbitrary H value. Similarly, when the operation switches 39c and 39d are operated, the upper limit parameter 40b can be moved to an arbitrary H value.

明度抽出パラメータ設定表示枠４２の横軸はＩ値に対応しており、この横軸に沿ってＩフィルタ２３ｅによる抽出範囲操作の下限および上限を示す下限パラメータ４２ａ、上限パラメータ４２ｂが表示されている。すなわち、ＨＳＩ画像データ変換部２３ａから出力されたＨＳＩ画像データをＩフィルタ２３ｅでデータ変換することにより、下限パラメータ４２ａ未満または上限パラメータ４２ｂを越えるＩ値は０に変換され、下限パラメータ４２ａ〜上限パラメータ４２ｂのＩ値はＩｍａｘに変換される。そして操作スイッチ４１ａ、４１ｂを操作すると、下限パラメータ４２ａを任意のＩ値に移動させることができ、同様に操作スイッチ４１ｃ、４１ｄを操作すると上限パラメータ４２ｂを任意のＩ値に移動させることができる。 The horizontal axis of the lightness extraction parameter setting display frame 42 corresponds to the I value, and along this horizontal axis, a lower limit parameter 42a and an upper limit parameter 42b indicating the lower limit and upper limit of the extraction range operation by the I filter 23e are displayed. . That is, by converting the HSI image data output from the HSI image data converter 23a by the I filter 23e, the I value less than the lower limit parameter 42a or exceeding the upper limit parameter 42b is converted to 0, and the lower limit parameter 42a to the upper limit parameter The I value of 42b is converted to Imax. When the operation switches 41a and 41b are operated, the lower limit parameter 42a can be moved to an arbitrary I value. Similarly, when the operation switches 41c and 41d are operated, the upper limit parameter 42b can be moved to an arbitrary I value.

このように、色相フィルタ操作部３７、明度フィルタ操作部３８を操作することにより、色抽出において抽出対象とするＨ，Ｉの範囲を操作画面３４上で任意に設定することができるようになっている。そして、操作画面３４と同一画面に、設定された色抽出パラメータによって抽出された抽出画像３６が表示される。なお、ここで彩度（Ｓ）についてのＳフィルタ２３ｄを色抽出ティーチの対象としていないのは、ティーチ作業を極力簡略化する観点から、Ｈ、Ｓ、Ｉの３要素のうち、半田を検出対象とする場合に最も影響の少ない１つの要素と考えられる彩度（Ｓ）を除外したことによる。 As described above, by operating the hue filter operation unit 37 and the lightness filter operation unit 38, the range of H and I to be extracted in color extraction can be arbitrarily set on the operation screen 34. Yes. Then, the extracted image 36 extracted by the set color extraction parameter is displayed on the same screen as the operation screen 34. Note that the S filter 23d for saturation (S) is not targeted for color extraction teaching because the soldering is detected among the three elements H, S, and I from the viewpoint of simplifying the teaching work as much as possible. This is because the saturation (S) considered to be one element having the least influence is excluded.

上記構成において、色抽出特性設定手段は、色抽出フィルタ２３ｂのうち色相、明度についてのデータ変換特性をそれぞれ操作画面３４上で指定入力する色相フィルタ操作部３７および明度フィルタ操作部３８と、検査対象の半田の画像をＲＧＢ画像データで表示し
た原画像３５およびこの原画像に基づく抽出画像３６とを、操作画面３４とともに一覧表示可能な表示手段（表示処理部２３ｉ、表示部２８）とを有する形態となっている。 In the above configuration, the color extraction characteristic setting means includes a hue filter operation unit 37 and a lightness filter operation unit 38 for designating and inputting data conversion characteristics for hue and lightness on the operation screen 34 of the color extraction filter 23b, and an inspection target. A display unit (display processing unit 23i, display unit 28) capable of displaying a list of the original image 35 in which the image of the solder is displayed as RGB image data and the extracted image 36 based on the original image together with the operation screen 34. It has become.

次に、図８を参照して、上記半田検査装置によって行われる半田検査処理について図８のフローに沿って説明する。まず検査実行に先立って、前述の色抽出ティーチが実行され、これにより色抽出フィルタ２３ｂによる色抽出特性が設定される（色抽出特性設定工程）（ＳＴ１）。次いで、基板８に印刷された半田をカメラ２０によって撮像してＲＧＢ画像よりなるカラー画像を取り込む（撮像工程）（ＳＴ２）。そして取り込まれたＲＧＢ画像データをＨＳＩ画像データ変換部２３ａによってＨ，Ｓ，ＩからなるＨＳＩ画像データに変換する（画像変換処理工程）（ＳＴ３）。 Next, a solder inspection process performed by the solder inspection apparatus will be described with reference to FIG. First, prior to the execution of the inspection, the above-described color extraction teach is executed, whereby the color extraction characteristic by the color extraction filter 23b is set (color extraction characteristic setting step) (ST1). Next, the solder printed on the substrate 8 is imaged by the camera 20, and a color image composed of RGB images is captured (imaging process) (ST2). The captured RGB image data is converted into HSI image data composed of H, S, and I by the HSI image data conversion unit 23a (image conversion processing step) (ST3).

この後、Ｈ，Ｓ，Ｉの各要素について、画像データを個別の色抽出フィルタによってデータ変換することにより、ＨＳＩ画像データから所望の色を抽出した色抽出画像を入手する（色抽出工程）（ＳＴ４）。次いでこの色抽出画像に基づいて、半田の印刷状態の良否を判定する（良否判定工程）（ＳＴ５）。そして判定結果を表示部２８に表示して半田検査の１サイクルを終了する。 Thereafter, for each of the elements H, S, and I, the image data is converted by an individual color extraction filter to obtain a color extraction image obtained by extracting a desired color from the HSI image data (color extraction step) ( ST4). Next, the quality of the solder printing state is determined based on the color extraction image (quality determination step) (ST5). Then, the determination result is displayed on the display unit 28, and one cycle of the solder inspection is completed.

次に、上記フローの（ＳＴ１）において実行される色抽出ティーチ処理について、図９のフローに沿って説明する。まず、ティーチ処理の対象となる検査位置へカメラ２０を移動させる（ＳＴ１１）。次いで、印刷された半田の原画像を取得する（ＳＴ１２）。そして半田検査認識用画像を抽出する（ＳＴ１３）。このとき、抽出パラメータ記憶部３２ａに記憶された推奨パラメータ３２ｂにて抽出を行う。 Next, the color extraction teach process executed in (ST1) of the above flow will be described along the flow of FIG. First, the camera 20 is moved to the inspection position that is the target of the teaching process (ST11). Next, an original image of the printed solder is acquired (ST12). Then, a solder inspection recognition image is extracted (ST13). At this time, extraction is performed using the recommended parameters 32b stored in the extraction parameter storage unit 32a.

そして原画像と抽出画像を表示部２８のモニタに色抽出ティーチ用の操作画面３４とともに表示する（ＳＴ１４）。表示された原画像と抽出画像はオペレータによって観察対比される。ここで、抽出画像がＯＫでないと判断されたならば、オペレータは次のパラメータ変更処理を実行する。すなわち、色相の抽出パラメータ（下限パラメータ４０ａ、上限パラメータ４０ｂ）を操作画面３４上で色相フィルタ操作部３７によって指定し（ＳＴ１７）、次いで明度の抽出パラメータ（下限パラメータ４２ａ、上限パラメータ４２ｂ）を明度フィルタ操作部３８によって指定する（ＳＴ１８）。 Then, the original image and the extracted image are displayed on the monitor of the display unit 28 together with the operation screen 34 for color extraction teaching (ST14). The displayed original image and extracted image are compared with each other by an operator. If it is determined that the extracted image is not OK, the operator executes the following parameter change process. That is, the hue extraction parameters (lower limit parameter 40a, upper limit parameter 40b) are designated by the hue filter operation unit 37 on the operation screen 34 (ST17), and then the brightness extraction parameters (lower limit parameter 42a, upper limit parameter 42b) are set as the brightness filter. It designates with the operation part 38 (ST18).

そして半田検査認識用画像抽出を上記指定パラメータにて抽出し（ＳＴ１９）、（ＳＴ１４）に戻って再び抽出画像３６をモニタに表示する。このパラメータ変更を反復実行し、（ＳＴ１５）にてオペレータが観察により抽出画像３６がＯＫであると判断したならば、確定ボタン３４ｂを操作する。これにより、色相フィルタ操作部３７、明度フィルタ操作部３８によって新たに変更された抽出パラメータが確定パラメータ３２ｃとして抽出パラメータ記憶部３２ａに記憶される。 Then, the image extraction for solder inspection recognition is extracted with the specified parameters (ST19), and the process returns to (ST14) to display the extracted image 36 on the monitor again. This parameter change is repeatedly executed, and if the operator determines that the extracted image 36 is OK by observation in (ST15), the confirm button 34b is operated. As a result, the extraction parameter newly changed by the hue filter operation unit 37 and the lightness filter operation unit 38 is stored in the extraction parameter storage unit 32a as the confirmed parameter 32c.

すなわち、上述の色抽出ティーチ処理での色抽出特性設定工程においては、前抽出フィルタ２３ｂのうち色相、明度についてのデータ変換特性をそれぞれ色相フィルタ操作部３７および明度フィルタ操作部３８によって操作画面３４上で指定入力するとともに、検査対象の半田の画像をＲＧＢ画像データで表示した原画像およびこの原画像に基づく色抽出画像とを操作画面３４とともに一覧表示させるようにしている。 That is, in the color extraction characteristic setting step in the color extraction teach process described above, the data conversion characteristics for the hue and lightness of the pre-extraction filter 23b are displayed on the operation screen 34 by the hue filter operation unit 37 and the lightness filter operation unit 38, respectively. In addition, the original image in which the image of the solder to be inspected is displayed as RGB image data and the color extraction image based on this original image are displayed in a list together with the operation screen 34.

このような色抽出特性設定方法を採用することにより、色抽出フィルタ２３ｂの抽出パラメータ設定作業を、操作画面３４上で原画像３５および抽出画像３６を常に観察対比しながら行うことができ、パラメータ変更による効果を常に確認しながら色抽出特性を設定することができる。 By adopting such a color extraction characteristic setting method, the extraction parameter setting operation of the color extraction filter 23b can be performed while always comparing the original image 35 and the extracted image 36 on the operation screen 34, and parameter change can be performed. The color extraction characteristics can be set while constantly checking the effect of the above.

また、本実施の形態においては、色抽出ティーチにおいて抽出パラメータ設定の対象と
するフィルタを、Ｈフィルタ２３ｃ、Ｉフィルタ２３ｅに限定するようにしている。これにより、カラーモデル変換応用の検査においてＨ，Ｓ，Ｉの３要素について複雑な色抽出ティーチ操作を必要とした従来装置と比較して、色抽出条件設定の操作性を向上させることが可能となっている。 Further, in the present embodiment, the filters targeted for extraction parameter setting in the color extraction teach are limited to the H filter 23c and the I filter 23e. As a result, it is possible to improve the operability of setting the color extraction condition as compared with the conventional apparatus that requires a complicated color extraction teaching operation for the three elements H, S, and I in the inspection of the color model conversion application. It has become.

本発明の半田検査方法は、カラーモデル変換を応用した半田検査において色抽出条件設定の操作性を向上させることができるという効果を有し、半田印刷後の基板を撮像して得られたカラー画像に基づいて所定の半田検査を行う分野に有用である。 Handa inspection method of the present invention has the effect that it is possible to improve the operability of the color extraction condition set in solder inspection that applies color model conversion, obtained by imaging the substrate after the solder printing color This is useful in the field of performing a predetermined solder inspection based on an image.

本発明の一実施の形態のスクリーン印刷装置の正面図1 is a front view of a screen printing apparatus according to an embodiment of the present invention. 本発明の一実施の形態のスクリーン印刷装置の側面図The side view of the screen printing apparatus of one embodiment of this invention 本発明の一実施の形態のスクリーン印刷装置の平面図The top view of the screen printing apparatus of one embodiment of this invention 本発明の一実施の形態のスクリーン印刷装置の動作説明図Operation explanatory diagram of a screen printing apparatus according to an embodiment of the present invention 本発明の一実施の形態のスクリーン印刷装置による基板印刷面の平面図The top view of the substrate printing surface by the screen printing apparatus of one embodiment of this invention 本発明の一実施の形態のスクリーン印刷装置に組み込まれた半田検査装置の制御系の構成を示すブロック図The block diagram which shows the structure of the control system of the solder inspection apparatus incorporated in the screen printing apparatus of one embodiment of this invention 本発明の一実施の形態の半田検査装置の色抽出ティーチ用の操作画面を示す図The figure which shows the operation screen for color extraction teaching of the solder inspection apparatus of one embodiment of this invention 本発明の一実施の形態の半田検査方法のフロー図The flowchart of the solder test | inspection method of one embodiment of this invention 本発明の一実施の形態の半田検査装置の色抽出ティーチ処理のフロー図Flow diagram of color extraction teach process of solder inspection apparatus according to an embodiment of the present invention

符号の説明Explanation of symbols

８基板
９クリーム半田
２０カメラ
２３制御部
２３ａＨＳＩ画像データ変換部
２３ｂ色抽出フィルタ
２３ｆ画像合成処理部
２３ｇ画像認識処理部
２３ｈ良否判定部
３４操作画面
３５原画像
３６抽出画像
３７色相フィルタ操作部
３８明度フィルタ操作部 8 Substrate 9 Cream solder 20 Camera 23 Control unit 23a HSI image data conversion unit 23b Color extraction filter 23f Image composition processing unit 23g Image recognition processing unit 23h Pass / fail judgment unit 34 Operation screen 35 Original image 36 Extracted image 37 Hue filter operation unit 38 Lightness Filter operation section

Claims

基板に印刷された半田の印刷状態の検査を行う半田検査方法であって、前記半田を撮像してカラー画像を取り込む撮像工程と、撮像手段により取り込まれたＲＧＢ画像データを色相、彩度、明度からなるＨＳＩ画像データに変換する画像変換処理工程と、前記色相、彩度、明度の各要素について画像データを個別の色抽出フィルタによってデータ変換することにより前記ＨＳＩ画像データから所望の色を抽出した色抽出画像を入手する色抽出工程と、前記色抽出画像に基づいて半田の印刷状態の良否を判定する良否判定工程と、検査実行に先立って前記色抽出フィルタのデータ変換特性を設定することにより所望の色抽出特性を設定する色抽出特性設定工程とを含み、
前記色抽出特性設定工程において、前記色抽出フィルタのうち彩度についてのデータ変換特性が固定され、前記色抽出フィルタのうち色相、明度についてのデータ変換特性をそれぞれ色相フィルタ操作部および明度フィルタ操作部によって操作画面上で指定入力するとともに、検査対象の半田の画像をＲＧＢ画像データで表示した原画像およびこの原画像に基づく前記色抽出画像とを前記操作画面とともに一覧表示させるものであり、前記色相フィルタ操作部が、色相の抽出範囲をその上限および下限で設定表示する色相抽出範囲設定表示枠を備え、前記明度フィルタ操作部が、明度の抽出範囲をその上限および下限で設定表示する明度抽出範囲設定表示枠を備え、更に、前記色抽出特性設定工程において、前記指定入力と前記一覧表示とを反復実行することを特徴とする半田検査方法。 A solder testing method for inspecting printed state of the solder printed on the substrate, said an imaging step of capturing a color image by capturing solder, hue RGB image data captured by an imaging unit, saturation, Image conversion processing step for converting to HSI image data consisting of lightness, and extracting desired colors from the HSI image data by converting the image data with respect to each element of hue, saturation and lightness by individual color extraction filters A color extraction step for obtaining the color extraction image, a quality determination step for determining the quality of the solder printing state based on the color extraction image, and setting the data conversion characteristics of the color extraction filter prior to the execution of the inspection. And a color extraction characteristic setting step for setting a desired color extraction characteristic by
In the color extraction characteristic setting step, a data conversion characteristic for saturation of the color extraction filter is fixed, and a data conversion characteristic for hue and lightness of the color extraction filter is set to a hue filter operation unit and a lightness filter operation unit, respectively. And displaying a list of the original image in which the image of the solder to be inspected is displayed as RGB image data and the color extraction image based on the original image together with the operation screen. The filter operation unit includes a hue extraction range setting display frame for setting and displaying the hue extraction range at its upper and lower limits, and the lightness filter operation unit sets and displays the brightness extraction range at its upper and lower limits A setting display frame; and in the color extraction characteristic setting step, the designation input and the list display are Solder inspection method, characterized by recovery run.