JP2010061539A - Method of registering model data for substrate visual inspection and substrate visual inspection apparatus - Google Patents
Method of registering model data for substrate visual inspection and substrate visual inspection apparatus Download PDFInfo
- Publication number
- JP2010061539A JP2010061539A JP2008228527A JP2008228527A JP2010061539A JP 2010061539 A JP2010061539 A JP 2010061539A JP 2008228527 A JP2008228527 A JP 2008228527A JP 2008228527 A JP2008228527 A JP 2008228527A JP 2010061539 A JP2010061539 A JP 2010061539A
- Authority
- JP
- Japan
- Prior art keywords
- model data
- component
- pixel
- degree
- density gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、部品が実装された基板（はんだ付け前の基板およびはんだ付け後の基板の双方を含む。）を検査対象として撮像し、生成された画像中の部品の特徴を抽出し、その特徴抽出結果に基づき各種検査領域の設定位置を定めて外観検査を行うように構成された基板外観検査装置に関する。特にこの発明では、部品の特徴を抽出する処理に用いられるモデルデータを装置に登録するための方法、およびこの登録機能を備えた基板外観検査装置に関する。 According to the present invention, a board on which a component is mounted (including both a board before soldering and a board after soldering) is imaged as an inspection target, and the feature of the component in the generated image is extracted. The present invention relates to a substrate visual inspection apparatus configured to perform visual inspection by determining set positions of various inspection areas based on extraction results. In particular, the present invention relates to a method for registering model data used in a process for extracting a feature of a component in the apparatus, and a board appearance inspection apparatus having this registration function.
部品が実装された基板を対象にした外観検査では、部品の実装状態を種々の観点から判断するために、部品およびその周囲の複数箇所を対象に、それぞれ内容の異なる検査を実施するようにしている。 In the appearance inspection for the board on which the component is mounted, in order to determine the mounting state of the component from various viewpoints, inspections with different contents are performed on the component and its surroundings. Yes.
図７は、出願人が開発した基板外観検査装置における検査領域の設定例と、各検査領域において実施される検査の内容を表すフローチャートとを、対応づけて示したものである。 FIG. 7 shows an example of setting of inspection areas in the substrate appearance inspection apparatus developed by the applicant and a flowchart showing the contents of inspection performed in each inspection area.
図７では、個々の検査領域を、「○○ウィンドウ」のように名称を付けて示す。この例によれば、部品１００の全体を含む範囲に部品本体ウィンドウが設定され、さらにこの部品本体ウィンドウ内に、実装ウィンドウ、文字ウィンドウ、極性ウィンドウの３種類のウィンドウが設定されている。また部品１００の周辺のうち、隣接位置に他の部品がある箇所（この例では部品１００の上側および左側）に、ブリッジウィンドウが設定されている。さらに、上記の検査領域がすべて包含されるように、自動抽出ウィンドウが設定されている。
In FIG. 7, each inspection area is shown with a name such as “XX window”. According to this example, a component main body window is set in a range including the
各検査領域は、あらかじめ検査装置に登録された設定データ（領域の位置および大きさを表すデータ、たとえば、検査領域の対向関係にある２頂点の座標が設定データとなる。）に基づき、自動的に設定される。しかし、実際の部品が実装される位置にはばらつきがあるため、各検査領域の位置が部品の実際の位置に合うように調整する必要がある。この点に鑑み、図７の例では、自動抽出ウィンドウを、ある程度の余裕をもった大きさに設定して、このウィンドウから部品の特徴を抽出し（図７（Ｂ）のステップ＜１＞）、この特徴抽出結果に基づき、自動抽出ウィンドウ以外の各ウィンドウの設定位置を調整し（ステップ＜２＞）、その後に、検査領域毎に検査を実行するようにしている。 Each inspection area is automatically set based on setting data registered in advance in the inspection apparatus (data indicating the position and size of the area, for example, coordinates of two vertices that are opposite to each other in the inspection area). Set to However, since the position where the actual component is mounted varies, it is necessary to adjust the position of each inspection region so as to match the actual position of the component. In view of this point, in the example of FIG. 7, the automatic extraction window is set to a size having a certain margin, and the feature of the part is extracted from this window (step <1> in FIG. 7B). Based on this feature extraction result, the setting position of each window other than the automatic extraction window is adjusted (step <2>), and then the inspection is executed for each inspection region.
部品本体ウィンドウでは、電極の有無、角度ずれ、および縦・横ずれの有無を判別する検査が実施される（ステップ＜３＞＜４＞＜５＞）。また実装ウィンドウでは、部品の有無を判別する検査が実施され（ステップ＜６＞）、ブリッジウィンドウでは、ブリッジを表す特徴の有無を判別する検査が実施される（ステップ＜７＞）。また、極性ウィンドウでは、部品の極性を表すマークの有無によって、部品が正しい方向に実装されているかどうかを判別する検査が実施される（ステップ＜８＞）。また、文字ウィンドウでは、部品に印刷された文字列を認識し、その文字列により部品の実装間違いがないかどうかを判別する検査が実施される（ステップ＜９＞）。 In the component main body window, an inspection is performed to determine the presence / absence of electrodes, angular deviation, and vertical / lateral deviation (steps <3> <4> <5>). In the mounting window, an inspection for determining the presence / absence of a component is performed (step <6>), and in the bridge window, an inspection for determining the presence / absence of a feature representing a bridge is performed (step <7>). In the polarity window, an inspection is performed to determine whether the component is mounted in the correct direction based on the presence or absence of a mark indicating the polarity of the component (step <8>). In the character window, a character string printed on the component is recognized, and an inspection is performed to determine whether or not there is a component mounting error based on the character string (step <9>).
なお、検査の順序は図示に限定されるものではなく、検査領域単位で処理が実行されるのであれば、他の順序で検査を行ってもよい。また、部品によっては、図７（Ａ）に示した検査領域のすべてが設定されないものもあり、また図７（Ａ）には示されていない検査領域が設定される部品もある。ただし、部品の特徴を抽出するための自動抽出ウィンドウと、検査領域の位置調整の基準となる部品本体ウィンドウとは、いずれの部品でも設定される。 Note that the order of inspection is not limited to that shown in the figure, and the inspection may be performed in another order as long as processing is performed in units of inspection regions. Some parts may not have all of the inspection areas shown in FIG. 7A set, and some parts may have an inspection area not shown in FIG. 7A. However, the automatic extraction window for extracting the feature of the component and the component main body window that is the reference for the position adjustment of the inspection area are set for both components.
図７（Ｂ）のフローチャート中のステップ＜１＞では、自動抽出ウィンドウ内の画像を対象に、あらかじめ登録されたモデルデータを用いた照合処理を実行することによって、部品の特徴を抽出する。たとえば、部品全体のモデル画像をモデルデータとして正規化相関演算による照合を実行し、一致度が最も高くなったときにモデルデータに対応づけられた領域を抽出する。または、部品のエッジ部分の濃度勾配方向のパターンを表すモデルデータを設定して、このモデルデータにより自動抽出ウィンドウ内の濃度勾配方向のパターンを照合し（下記の特許文献１を参照。）、一致度が最も高くなったときのモデルデータに対応づけられている画素を部品のエッジとして抽出する。いずれの場合も、モデルデータは、あらかじめ、良好な状態で実装されている部品のモデルの画像（この明細書では、「サンプル画像」という。）から作成され、検査装置のメモリ内に登録される。
In step <1> in the flowchart of FIG. 7B, a feature of a part is extracted by executing a matching process using model data registered in advance for an image in the automatic extraction window. For example, collation by normalized correlation calculation is executed using the model image of the entire part as model data, and an area associated with the model data is extracted when the degree of coincidence becomes the highest. Alternatively, model data representing a pattern in the density gradient direction of the edge portion of the part is set, and the pattern in the density gradient direction in the automatic extraction window is collated with this model data (refer to
従来のモデルデータの登録処理では、サンプル画像を表示して、その表示画面上で作業者に部品に相当する範囲や部品とは関係のない範囲を指定させ、これらの指定に基づいてモデルデータを作成している。しかし、このような方法では、作業者の技量や採用されたサンプル画像によって、モデルデータの精度にばらつきが生じる可能性があり、また作業者の労力が多大なものになる。 In the conventional model data registration process, a sample image is displayed, and on the display screen, the operator designates a range corresponding to the part or a range unrelated to the part, and the model data is obtained based on these designations. Creating. However, in such a method, there is a possibility that the accuracy of the model data varies depending on the skill of the worker and the sample image adopted, and the labor of the worker becomes great.
また、はんだ付け後の基板では、部品側電極の端縁部がはんだに覆われて、部品とはんだとの境界を判別しにくい状態になるため、部品に相当するとして指定された範囲の中にノイズが含まれる可能性が高くなる。特に、採用されたサンプル画像に特有のノイズを含む範囲が指定され、そのノイズを反映したモデルデータが作成されると、部品の特徴抽出の精度が低下するおそれがある。 Also, in the board after soldering, the edge of the component side electrode is covered with solder, making it difficult to distinguish the boundary between the component and the solder. There is a high possibility that noise will be included. In particular, if a range including noise peculiar to the adopted sample image is specified and model data reflecting the noise is created, the accuracy of component feature extraction may be reduced.
この発明は上記の問題点に着目し、相当数のサンプル画像を用いた演算処理によって、部品の特徴抽出処理に適したモデルデータを容易に作成できるようにすることを課題とする。 An object of the present invention is to make it possible to easily create model data suitable for component feature extraction processing by arithmetic processing using a considerable number of sample images.
上記の課題を解決するために、この発明では、部品が実装された基板を撮像し、生成された画像中の各部品につき、それぞれ予め登録されたモデルデータを用いた照合処理により当該部品の特徴を抽出し、この特徴抽出結果に基づき当該部品およびその周囲に所定数の検査領域を設定して外観検査を実行する基板外観検査装置に、照合処理のためのモデルデータを登録する方法において、検査対象の基板に実装される各種部品種について、それぞれ以下の第１〜第４のステップを実行することを特徴とする。 In order to solve the above-described problem, in the present invention, the board on which a component is mounted is imaged, and each component in the generated image is characterized by a matching process using pre-registered model data. In a method of registering model data for verification processing in a board visual inspection apparatus that performs visual inspection by setting a predetermined number of inspection regions around the part and its surroundings based on the feature extraction result, The following first to fourth steps are executed for various types of components mounted on the target board.
第１ステップでは、処理対象の部品種の部品のサンプル画像を相当数準備する。第２ステップでは、準備したサンプル画像のうちの２つを組み合わせて対応関係にある画素の組毎に画素間の濃度勾配方向の一致度を算出する処理を、各サンプル画像がそれぞれ少なくとも一度は処理対象となるように組み合わせを変更しながら繰り返し実行し、組み合わせ毎の一致度の算出結果に基づき、各サンプル画像における濃度勾配方向のばらつきが所定の許容値以内になる画素を特定する。第３ステップでは、第２ステップで特定された画素の座標を、少なくとも１つのサンプル画像または当該サンプル画像から求めた特徴量データに適用してモデルデータを作成し、第４ステップでは、第３ステップで作成されたモデルデータを基板外観検査装置のメモリに登録する。
In the first step, a considerable number of sample images of parts of the part type to be processed are prepared. In the second step, two sample images are combined to calculate the degree of coincidence of the density gradient directions between the pixels for each set of corresponding pixels, and each sample image is processed at least once. The process is repeatedly executed while changing the combination so as to be a target, and a pixel whose variation in the density gradient direction in each sample image is within a predetermined allowable value is specified based on the calculation result of the matching degree for each combination. In the third step, model data is created by applying the coordinates of the pixel specified in the second step to at least one sample image or feature amount data obtained from the sample image, and in the fourth step, the third step The model data created in
画像中の濃度勾配は、部品のエッジ部分に生じるほか、部品の周囲の色彩や輝度の差異が大きい箇所（特にはんだの部分）にも生じる。ここで同一種の部品の画像における濃度勾配方向のパターン（濃度勾配が生じる画素の位置とその濃度勾配の方向とを対応づけたものをいう。）を比較すると、部品のエッジ部分に関しては、各画像間での一致度が高いパターンが得られる可能性が高い。これに対し、部品の周囲の濃度勾配方向は、はんだの形状や傾斜角度などによって異なるため、部品間におけるばらつきが大きくなる可能性が高い。 The density gradient in the image is generated not only at the edge portion of the component but also at a portion (particularly a solder portion) where there is a large difference in color and brightness around the component. Here, when comparing patterns of density gradient directions in an image of the same type of component (which refers to the correspondence between the position of a pixel in which the density gradient occurs and the direction of the density gradient), each edge portion of the component is There is a high possibility of obtaining a pattern having a high degree of coincidence between images. On the other hand, since the concentration gradient direction around the component differs depending on the shape of the solder, the inclination angle, and the like, there is a high possibility that the variation among the components will increase.
したがって第１ステップで相当数のサンプル画像を準備して、これらのサンプル画像を用いて第２ステップの処理を実行することによって、部品のエッジを構成する画素を特定することが可能になる。さらに、特定された画素の座標に基づき第３ステップを実行することによって、部品に対応する画像データまたは特徴量データを構成要素とするモデルデータを作成することが可能になる。 Therefore, by preparing a considerable number of sample images in the first step and performing the process in the second step using these sample images, it is possible to specify the pixels that constitute the edge of the component. Furthermore, by executing the third step based on the coordinates of the specified pixel, it is possible to create model data having image data or feature data corresponding to the component as a constituent element.
なお、濃度勾配方向の一致度を求める際には、一致度合が高くなるほど値が高くなるような演算に限らず、一致度合が高くなるほど値が低くなるような演算を実行してもよい。 Note that, when obtaining the degree of coincidence in the density gradient direction, the calculation is not limited to a value that increases as the degree of coincidence increases, but may be performed such that the value decreases as the degree of coincidence increases.
上記方法の第２ステップについて、好ましい実施態様では、組み合わせられたサンプル画像間で対応関係にある画素の組毎に濃度勾配方向の一致度を算出しながら、毎時の組み合わせにより算出された一致度を対応するもの毎に累計し、最終の累計値が表す一致度が所定の基準値を上回っている画素を、各サンプル画像における濃度勾配方向のばらつきが所定の許容値以内になる画素として特定する。 Regarding the second step of the above method, in a preferred embodiment, the degree of coincidence calculated by the hourly combination is calculated while calculating the degree of coincidence in the density gradient direction for each set of pixels corresponding to each other between the combined sample images. A pixel that is accumulated for each corresponding one and whose degree of coincidence represented by the final accumulated value exceeds a predetermined reference value is specified as a pixel whose variation in density gradient direction in each sample image is within a predetermined allowable value.
濃度勾配方向の一致度は、画像間における濃度勾配方向のばらつきが小さくなるほど高くなるから、一致度の累計値を基準値と比較する処理によって、濃度勾配方向のばらつき度合が許容値以内であるかどうかを判断することができる。上記の態様は、この原理に基づき、画像間における濃度勾配方向のばらつきが小さい画素を容易に特定することができる。 Since the degree of coincidence in the density gradient direction increases as the density gradient direction variation between images decreases, whether or not the degree of variation in the density gradient direction is within the allowable value by the process of comparing the cumulative value of the degree of coincidence with the reference value. It can be judged. Based on this principle, the above aspect can easily identify a pixel having a small variation in density gradient direction between images.
より好ましい態様では、第２ステップでは、処理対象の部品の標準の実装範囲を所定幅分拡張した範囲を有効領域として、この有効領域から各サンプル画像における濃度勾配方向のばらつきが許容値以内になる画素を特定する。たとえば、いずれかのサンプル画像を表示して、その表示画面上で十分な余裕度をもって部品を包含する範囲を指定する操作を受け付け、指定された範囲を有効領域とすればよい。また、標準の実装範囲に位置ずれ量や大きさのばらつきに応じた余裕度が加味された範囲が部品本体ウィンドウとして設定された場合には、この部品本体ウィンドウに対応する領域を有効領域としてもよい。
このように、標準の実装範囲に基づく有効領域を設定して、この有効領域を対象に、各サンプル画像における濃度勾配方向のばらつきが許容値以内になる画素を特定すれば、部品から離れた場所にサンプル画像間での濃度勾配方向のばらつきが許容値以内になる画素が存在しても、その画素をノイズとして除外することができる。また、有効領域内で特定された画素の中にノイズに相当するものが含まれていても、この画素は、部品の近傍や部品の画像内にあり、また相当数のサンプル画像の間の濃度勾配方向に高い一致度が認められた画素であるので、部品の特徴を検出するのに特段の支障は生じない。
In a more preferable aspect, in the second step, a range obtained by extending the standard mounting range of the component to be processed by a predetermined width is set as an effective area, and the variation in the density gradient direction in each sample image is within an allowable value from the effective area. Identify the pixel. For example, any one of the sample images may be displayed, an operation for designating a range that includes a part with sufficient margin on the display screen may be accepted, and the designated range may be set as an effective area. In addition, when a range in which a margin according to the amount of displacement and size variation is added to the standard mounting range is set as the component body window, the area corresponding to this component body window is set as the effective area. Good.
In this way, if an effective area based on the standard mounting range is set, and a pixel whose variation in the density gradient direction in each sample image is within an allowable value is specified for this effective area, a place away from the part Even if there is a pixel in which the variation in the density gradient direction between sample images is within an allowable value, the pixel can be excluded as noise. In addition, even if a pixel corresponding to noise is included in the pixel specified in the effective area, this pixel is in the vicinity of the part or in the part image, and the density between a considerable number of sample images. Since the pixels have a high degree of coincidence in the gradient direction, no particular trouble occurs in detecting the feature of the component.
上記方法の第３ステップについて、好ましい実施態様では、第２ステップで特定された画素について少なくとも１つのサンプル画像から求めた濃度勾配方向を用いて、部品のエッジ部分の濃度勾配方向の標準のパターンを表すモデルデータを作成する。この態様によれば、濃度勾配方向のパターン照合によって部品のエッジを抽出する処理に適したモデルデータを、容易に作成することが可能になる。 For the third step of the above method, in a preferred embodiment, the density gradient direction determined from the at least one sample image for the pixel identified in the second step is used to generate a standard pattern of the density gradient direction of the edge portion of the part. Create model data to represent. According to this aspect, it is possible to easily create model data suitable for processing for extracting the edge of a component by pattern matching in the density gradient direction.
つぎに、この発明による基板外観検査装置は、部品が実装された基板を撮像し、生成された画像中の各部品につき、それぞれ予め登録されたモデルデータを用いた照合処理により当該部品の特徴を抽出し、この特徴抽出結果に基づき当該部品およびその周囲に所定数の検査領域を設定して外観検査を実行するもので、検査対象の基板に実装される各種部品種を対象に、それぞれ所定数のサンプル画像を入力し、これらのサンプル画像を用いて照合処理に用いるモデルデータを作成するモデルデータ作成手段と、モデルデータ作成手段が作成したモデルデータを登録する登録手段とを備える。さらにモデルデータ作成手段は、入力したサンプル画像のうちの２つを組み合わせて対応関係にある画素の組毎に画素間の濃度勾配方向の一致度を算出する処理を、各サンプル画像がそれぞれ少なくとも一度は処理対象となるように組み合わせを変更しながら繰り返し実行し、組み合わせ毎の一致度の算出結果に基づき、各サンプル画像における濃度勾配方向のばらつきが所定の許容値以内になる画素を特定し、特定された画素の座標を、少なくとも１つのサンプル画像または当該サンプル画像から求めた特徴量データに適用してモデルデータを作成する。 Next, the board appearance inspection apparatus according to the present invention images the board on which the component is mounted, and for each part in the generated image, the characteristic of the part is verified by a matching process using model data registered in advance. Based on this feature extraction result, a predetermined number of inspection areas are set around the part and its surroundings, and an appearance inspection is performed. A predetermined number of parts are mounted on various types of components mounted on the board to be inspected. Model data generating means for inputting the sample images and generating model data for use in the matching process using these sample images, and registration means for registering the model data generated by the model data generating means. Further, the model data creation means performs a process of calculating the degree of coincidence of the density gradient directions between the pixels for each set of corresponding pixels by combining two of the input sample images, and each sample image is at least once each. Is executed repeatedly while changing the combination so that it becomes the processing target, and based on the calculation result of the matching degree for each combination, the pixel in which the variation in the density gradient direction in each sample image falls within a predetermined allowable value is specified and specified. The model data is created by applying the coordinate of the pixel thus obtained to at least one sample image or feature amount data obtained from the sample image.
上記の構成によれば、相当数のサンプル画像を入力してモデルデータ作成手段による処理を行うことによって、部品の特徴抽出に適したモデルデータを作成して登録することが可能になる。 According to the above configuration, it is possible to create and register model data suitable for component feature extraction by inputting a considerable number of sample images and performing processing by the model data creating means.
上記のモデルデータの登録方法および基板外観検査装置によれば、相当数のサンプル画像の間で濃度勾配方向に高い一致度が得られた画素を自動抽出することによって、部品を表すエッジを容易に特定して、精度の良いモデルデータを作成することが可能になる。よって、熟練者がいない現場でも、精度の良いモデルデータを容易に作成して登録することができ、利便性を高めることができる。また、精度の高いモデルデータを用いることによって精度の良い特徴抽出を行い、その結果をもって部品の位置を正しく認識して、各種検査領域の設定位置を調整することが可能になるので、信頼度の高い検査を行うことができる。 According to the model data registration method and the board appearance inspection apparatus described above, an edge representing a part can be easily extracted by automatically extracting pixels having a high degree of coincidence in a density gradient direction between a considerable number of sample images. It is possible to identify and create highly accurate model data. Therefore, accurate model data can be easily created and registered even at a site where there is no skilled person, and convenience can be improved. In addition, it is possible to perform accurate feature extraction by using highly accurate model data, and to correctly recognize the position of the parts based on the result, and to adjust the setting position of various inspection areas. High inspection can be performed.
図１は、基板外観検査装置の構成例を示す。
この基板外観検査装置（以下、単に「検査装置」という。）は、はんだ付け後のプリント基板５を撮像し、生成された画像を用いて、各部品およびはんだの状態を検査するためのもので、カメラ１、照明装置２、制御処理装置３、基板ステージ４、入力部６、表示部７などにより構成される。なお、この検査装置は、はんだ付け前の基板を対象にした検査に使用することもできる。
FIG. 1 shows a configuration example of a substrate visual inspection apparatus.
This board appearance inspection apparatus (hereinafter, simply referred to as “inspection apparatus”) is for imaging the printed
基板ステージ４には、基板５を支持するコンベア部（図示せず。）を含む基板支持テーブル４１と、この基板支持テーブル４１を基板５の長さ方向（図中の左右方向）に沿って移動可能に支持するステージ部４２とが含まれる。
The
カメラ１は、カラー静止画像を生成するＣＣＤカメラである。照明装置２は、径が異なる３個の円環状光源２Ｒ，２Ｇ，２Ｂを、上から下に向かうにつれて径が大きくなるように順に配置した構成のものである。一番高い位置に配置される光源２Ｒは赤色光を発し、中央の光源２Ｇは緑色光を発し、一番下に配置される光源２Ｂは青色光を発する。
The
カメラ１は、基板ステージ４の上方に受光面を真下に向けて配置され、照明装置２は、基板ステージ４とカメラ１との間に、各光源２Ｒ，２Ｇ，２Ｂの中心部をカメラ１の光軸に合わせた状態で配置される。このようにカメラ１および照明装置２を配置することによって、鏡面反射性の高いはんだ部分について、その表面の傾斜の状態が赤、緑、青の各色彩パターンにより表された画像を生成することができる、
The
さらに、カメラ１および照明装置２は、図示しない支持部およびステージ部により、上記の関係を維持した状態で、基板支持テーブル４１の移動方向に直交する方向に沿って移動可能に支持される。
Furthermore, the
制御処理装置３には、コンピュータによる制御部３０のほか、画像入力部３１、撮像制御部３２、照明制御部３３、ＸＹステージ制御部３４、メモリ３５、検査結果出力部３６などが含まれる。
The
照明制御部３３は、照明装置２の各光源２Ｒ，２Ｇ，２Ｂの点灯・消灯動作の制御や光量の調整などを行う。ＸＹステージ制御部３４は、基板ステージ４のステージ部４２および光学系側のステージ部の移動のタイミングや移動量を制御する。
The
メモリ３５には、検査にかかる一連の処理手順が記述されたプログラムや検査データファイルなどが格納される。検査データファイルには、被検査部位毎に、検査領域の設定データ、その検査領域で被検査部位の特徴を抽出するための２値化しきい値、抽出された特徴に対する計測値の適否を判定するための判定基準値などが格納される。なお、各部品に適用される検査領域は、部品の種によって異なるが、部品の特徴抽出に用いられる自動抽出ウィンドウ、および部品の実装範囲全体に設定される部品本体ウィンドウは、いずれの部品種でも登録される
さらにこの実施例のメモリ３５には、部品種毎に、部品のエッジの濃度勾配方向の標準のパターンを表すモデルデータが登録される。
The
制御部３０は、ＸＹステージ制御部３４を介して各ステージ部の移動を制御することにより、カメラ１および照明装置２を基板５のあらかじめ定めた撮像対象領域に位置合わせする。位置合わせが完了すると、照明装置２の各光源２Ｒ，２Ｇ，２Ｂの光量を調整しながらカメラ１に撮像を行わせる。この撮像により生成されたカラー画像は、画像入力部３１によりディジタル変換されて、制御部３０の内部メモリ（ＲＡＭ）に格納される。制御部３０は、検査データファイルを用いて、内部メモリに格納されたカラー画像中の各被検査部位に検査領域を設定し、検査領域毎に、その領域内の被検査部位に対する検査を実行する。上記のモデルデータは、各検査領域を適切な位置に調整するために、検査対象の部品の特徴を抽出する際の照合処理に用いられる。
The
図２は、各種部品に共通する処理手順を、実質的な検査に入る前の処理を中心にして表した概略フローチャートである。この図２を参照して検査に関する処理の流れを説明すると、まず処理対象の部品に自動抽出ウィンドウを設定する（ＳＴ１）。つぎに、自動抽出ウィンドウ内のカラー画像をモノクロ画像に変換し（ＳＴ２）、モノクロ画像中の各画素について、それぞれその画素を基準にした濃度勾配方向を表す角度データを算出する（ＳＴ３）。 FIG. 2 is a schematic flowchart showing processing procedures common to various components, centering on processing before entering a substantial inspection. The flow of processing relating to inspection will be described with reference to FIG. 2. First, an automatic extraction window is set for a part to be processed (ST1). Next, the color image in the automatic extraction window is converted into a monochrome image (ST2), and for each pixel in the monochrome image, angle data representing the density gradient direction based on that pixel is calculated (ST3).
以下、特許文献１に倣って、上記の濃度勾配方向を表す角度データを「エッジコード」という。ＳＴ３では、算出されたエッジコードについて、それぞれ自動抽出ウィンドウ内の各画素の座標に算出値を対応づけた２次元パターンデータ（以下、「エッジコードパターン」という。）を生成するようにしている。
Hereinafter, according to
つぎに、エッジコードパターンを登録されたモデルデータと照合することによって、部品の位置ずれ量を特定する（ＳＴ４）。つぎに、特定された位置ずれ量に基づいて部品本体ウィンドウの位置を変更することにより、部品と部品本体ウィンドウとの相対位置関係があらかじめ定めた基準データと同一になるようにする。（ＳＴ５）。さらに、部品本体ウィンドウおよび自動抽出ウィンドウを除く各ウィンドウについても、変更後の部品本体ウィンドウに対する相対位置関係が基準データが示すものと同一になるように、設定位置を変更する（ＳＴ６）。 Next, by comparing the edge code pattern with the registered model data, the positional deviation amount of the component is specified (ST4). Next, by changing the position of the component main body window based on the specified positional deviation amount, the relative positional relationship between the component and the component main body window is made the same as the predetermined reference data. (ST5). Further, the setting positions of the windows other than the component main body window and the automatic extraction window are changed so that the relative positional relationship with respect to the changed component main body window is the same as that indicated by the reference data (ST6).
この後は、各検査領域を変更後の位置に設定して、所定の順序で検査領域毎にその領域に対応する検査を実行する（ＳＴ７）。最後に検査結果を外部に出力し（ＳＴ８）、処理を終了する。 Thereafter, each inspection area is set to a changed position, and inspection corresponding to the area is executed for each inspection area in a predetermined order (ST7). Finally, the inspection result is output to the outside (ST8), and the process is terminated.
上記のＳＴ４では、特許文献１の段落００４７〜００７３に記載された方法に準じた照合処理を行う。この処理について、以下に簡単に説明する。
この実施例のモデルデータは、自動抽出ウィンドウと同じサイズに設定されるが、部品から離れた場所や部品の内部に生じた濃度勾配によるエッジコードが無効化された状態に調整されている。ＳＴ４では、照合対象のエッジコードのパターンとモデルデータとの画素の対応関係を変更しながら、両者間の不一致度を求める演算を繰り返し実行し、不一致度が最小となったときのモデルデータに対する照合対象のエッジコードパターンの位置ずれ量を、部品の位置ずれ量として特定する。
In the above ST4, collation processing according to the method described in paragraphs 0047 to 0073 of
The model data of this embodiment is set to the same size as the automatic extraction window, but is adjusted to a state where the edge code due to the density gradient generated in the place away from the part or inside the part is invalidated. In ST4, while changing the correspondence relationship between the pattern of the edge code to be collated and the pixel of the model data, the calculation for obtaining the degree of inconsistency between the two is repeatedly performed, and the collation for the model data when the degree of inconsistency is minimized The positional deviation amount of the target edge code pattern is specified as the positional deviation amount of the component.
エッジコードパターンの不一致度は、対応づけられた画素の組毎に不一致度を算出しながら（以下、この不一致度を「画素単位の不一致度」という。）、各不一致度を累計することにより求められる。また画素単位の不一致度は、対応する画素間のエッジコードの差θを正弦の絶対値を求める関数ｈ（θ）（ｈ（θ）＝｜ｓｉｎθ｜）にあてはめることにより求められる。ただし、モデルデータ中に有効なエッジコードが設定されていない画素については、画素単位の不一致度の算出および累計処理はスキップされる。 The mismatch degree of the edge code pattern is obtained by calculating the mismatch degree for each pair of associated pixels (hereinafter, this mismatch degree is referred to as “the mismatch degree in pixel unit”) and accumulating each mismatch degree. It is done. Further, the degree of inconsistency in pixel units is obtained by fitting the edge code difference θ between corresponding pixels to a function h (θ) (h (θ) = | sin θ |) for obtaining the absolute value of the sine. However, for pixels for which no valid edge code is set in the model data, the calculation of the degree of inconsistency in pixel units and the accumulation process are skipped.
上記の関数ｈ（θ）は、θが９０度または２７０度のときに最大値の＋１となり、θが０度または１８０度のときに最小値の０となる。また最小値に対応する角度から最大値に対応する角度に向かうにつれて、徐々に値が増加する。よって、照合対象のエッジコードパターンとモデルデータとが正しく位置合わせされると、これらのパターン間の画素単位の不一致度は０または０に近い値になり、エッジコードパターン全体の不一致度（累計の不一致度）も、その他の位置合わせ状態にあるときより低い値になる。またこのときにモデルデータ中のエッジコードが有効に設定されている画素に対応づけられている画素を、部品のエッジを表す画素として特定することができる。 The function h (θ) has a maximum value of +1 when θ is 90 degrees or 270 degrees, and has a minimum value of 0 when θ is 0 degrees or 180 degrees. Further, the value gradually increases from the angle corresponding to the minimum value toward the angle corresponding to the maximum value. Therefore, when the edge code pattern to be collated and the model data are correctly aligned, the degree of inconsistency in pixel units between these patterns becomes 0 or a value close to 0, and the degree of inconsistency of the entire edge code pattern (total The degree of inconsistency is also lower than in other alignment states. Further, at this time, a pixel associated with a pixel for which the edge code in the model data is set to be valid can be specified as a pixel representing the edge of the component.
つぎに、図３（１）は、代表的な部品であるチップ部品およびその周囲の外観を模式的に示したものである。図中、５１が部品本体であって、その両側の５２が部品の電極、５３がはんだ、５４がランドである。ただし、画像中の電極５２とはんだ５３との境界は、図３（１）のように明確に判別できるものではない。特に、はんだ付け後の基板では、電極５２の一部がはんだ５３に覆われる上に、図１に示した光学系によって、電極５２やはんだ５３が実際とは異なる色彩で表された画像が生成されるので、これらの境界位置を画像上で判断するのが困難になる。
Next, FIG. 3A schematically shows a chip component which is a representative component and the external appearance of the chip component. In the figure, 51 is a component main body, 52 on both sides thereof is an electrode of the component, 53 is solder, and 54 is a land. However, the boundary between the
従来の検査装置では、サンプル画像を表示して、その表示画面上で作業者が部品に対応する範囲を指定し、指定された範囲内のエッジコードパターンをモデルデータとして登録していたため、部品に対応する範囲が正しく指定されなかったり、サンプル画像に特有のノイズを含むモデルデータが作成されるなど、作業者の技量や採用したサンプル画像によってモデルデータの精度にばらつきが生じていた。この実施例では、この問題を解決するために、部品種毎にサンプル画像を相当数準備して、これらのサンプル画像を処理することによって、部品に対応する範囲で各サンプル画像間における濃度勾配方向の一致度が高いエッジを自動抽出し、抽出されたエッジに対応するエッジコードを用いてモデルデータを自動作成するようにしている。 In a conventional inspection apparatus, a sample image is displayed, the operator specifies a range corresponding to the part on the display screen, and the edge code pattern within the specified range is registered as model data. The accuracy of the model data varied depending on the skill of the operator and the sample image adopted, such as the corresponding range was not correctly specified or model data including noise peculiar to the sample image was created. In this embodiment, in order to solve this problem, by preparing a considerable number of sample images for each component type and processing these sample images, the direction of the density gradient between the sample images within the range corresponding to the components. Edges with a high degree of coincidence are automatically extracted, and model data is automatically created using edge codes corresponding to the extracted edges.
図３（２）は、図３（１）に示したチップ部品について、サンプル画像から抽出されたエッジのパターンを示す。このパターンは、複数のサンプル画像を用いて以下に説明する処理を実行することによって、抽出されたものである。このエッジパターンには部品の周辺の明暗差や反射の状態により生じたエッジが若干含まれているが、部品本体５１や電極５２のエッジが精度良く反映された状態にある。この実施例では、このエッジパターンに対応する画素のエッジコードの標準パターンをモデルデータとして登録するようにしている。
FIG. 3 (2) shows an edge pattern extracted from the sample image for the chip part shown in FIG. 3 (1). This pattern is extracted by executing processing described below using a plurality of sample images. Although this edge pattern includes some edges caused by the difference in brightness and reflection around the component, the edges of the component
上記の処理に用いられるサンプル画像は、各部品の実装状態が良好なモデルの基板を複数枚撮像し、生成された画像を部品種毎に切り出すことにより作成されたものである。メモリ３５には、あらかじめ各サンプル画像や、これらの画像から求めたエッジコードパターンが登録される。また、各サンプル画像の切り出し範囲は自動抽出ウィンドウの設定データに基づき定められる。
The sample image used for the above processing is created by capturing a plurality of model boards with good mounting states of each component and cutting out the generated images for each component type. Each sample image and an edge code pattern obtained from these images are registered in the
加えてこの実施例では、サンプル画像のうちの１つを基準画像として表示部７に表示し、その表示画面上で作業者に後記する有効領域の設定を行わせるようにしている。
この設定操作は、具体的には部品本体ウィンドウを設定する操作として行われる。たとえば、あらかじめ、処理対象部品の標準の大きさに当該部品に想定される位置ずれ量や大きさのばらつき量を加味したものを部品本体ウィンドウのサイズとして定めておき、このサイズに応じた枠画像を画面上の所定位置に設定することによって、部品本体ウィンドウを設定する。このような方法によれば、部品のエッジが現れている範囲を正しく特定できない作業者でも、部品の大まかな位置に基づいて、部品全体が包含される範囲に部品本体ウィンドウを設定することができる。
さらに、上記の部品本体ウィンドウの設定に基づき、検査時の当該ウィンドウの基準の設定データを作成してもよい。
In addition, in this embodiment, one of the sample images is displayed on the
Specifically, this setting operation is performed as an operation for setting the component main body window. For example, the size of the part body window is determined in advance by adding the amount of positional deviation or size variation assumed for the part to the standard size of the processing target part, and a frame image corresponding to this size. Is set to a predetermined position on the screen to set the component main body window. According to such a method, even an operator who cannot correctly specify the range in which the edge of the component appears can set the component main body window in a range in which the entire component is included based on the rough position of the component. .
Further, based on the setting of the component main body window, reference setting data for the window at the time of inspection may be created.
図４はモデルデータの作成および登録に関する一連の処理手順を示す。この処理は、上記のサンプル画像やパターンデータの登録や有効領域の設定が終了した段階で、基準画像を含む複数のサンプル画像を用いて実行されるものである。 FIG. 4 shows a series of processing procedures related to creation and registration of model data. This processing is executed using a plurality of sample images including the reference image at the stage where the registration of the sample image and pattern data and the setting of the effective area are completed.
以下、図４を参照して、モデルデータの登録処理を詳細に説明する。
この実施例では、基準画像以外の各サンプル画像を基準画像に順に組み合わせながら、組み合わせ毎に、ＳＴ１１〜１９のループを実行する。
The model data registration process will be described in detail below with reference to FIG.
In this embodiment, the sample images other than the reference image are sequentially combined with the reference image, and the loop of ST11 to ST19 is executed for each combination.
このループでは、まず処理対象のサンプル画像のエッジコードパターンを基準画像のエッジコードパターンと照合することによって、画素の対応関係を特定する（ＳＴ１１）。具体的には、双方の画素の対応関係を変更しながら、不一致度を算出する処理（先の図２のＳＴ４と同様に、画素単位の不一致度を算出しながら、各算出値を累計する。）を繰り返し、不一致度が最小になったときの対応関係を正しい関係として特定する。 In this loop, first, the correspondence relationship between the pixels is specified by collating the edge code pattern of the sample image to be processed with the edge code pattern of the reference image (ST11). More specifically, a process for calculating the degree of inconsistency while changing the correspondence between both pixels (similar to ST4 in FIG. 2 above, each calculated value is accumulated while calculating the degree of inconsistency in units of pixels. ) Is repeated, and the correspondence when the degree of inconsistency is minimized is specified as the correct relationship.
つぎに、この最小の不一致度が得られたときに画素単位で求めた各不一致度（ｈ（θ））をそれぞれ基準画像側の座標（ｘ，ｙ）に対応づけることによって、画素単位の不一致度の配列ｕｒ（ｘ，ｙ）を設定する（ＳＴ１２）。 Next, the inconsistency in pixel units is obtained by associating each inconsistency (h (θ)) obtained in pixel units with the coordinates (x, y) on the reference image side when the minimum inconsistency degree is obtained. An array of degrees ur (x, y) is set (ST12).
つぎに、ｘ，ｙの値を０から最大値ｘｍａｘ，ｙｍａｘの範囲で更新しながら、毎時の（ｘ，ｙ）により特定される不一致度ｕｒ（ｘ，ｙ）の値を、累計値を表す配列Ｓｕｒ（ｘ，ｙ）に加算する（ＳＴ１３〜１８）。なお、図４には示していないが、累計値を表す配列Ｓｕｒ（ｘ，ｙ）の各値は、図４の処理を開始する前にゼロクリアされる。 Then, x, the maximum value x max y values from 0, while updating the range of y max, the value of the inconsistency degree ur specified (x, y) by per hour (x, y), total value Is added to the array Sur (x, y) representing (ST13-18). Although not shown in FIG. 4, each value of the array Sur (x, y) representing the cumulative value is cleared to zero before starting the processing of FIG.
ＳＴ１１，１２の各ステップによる処理は、組み合わせられたサンプル画像と基準画像との間での画素単位のエッジコードの不一致度を求める処理に相当する。またＳＴ１３〜１８の処理は、各サンプル画像につき求めた画素単位の不一致度を、対応するもの毎に累計する処理に相当する。 The processing in each step of ST11 and ST12 corresponds to processing for obtaining the degree of mismatch of edge codes in pixel units between the combined sample image and the reference image. The processing of ST13 to 18 corresponds to processing for accumulating the degree of inconsistency in pixel units obtained for each sample image for each corresponding image.
すべてのサンプル画像に対する処理が終了すると（ＳＴ１９が「ＹＥＳ」の場合）、配列Ｓｕｒ（ｘ，ｙ）を２次元画像とみなして、この疑似画像に、前出の有効領域を設定する。 When the processing for all the sample images is completed (when ST19 is “YES”), the array Sur (x, y) is regarded as a two-dimensional image, and the above-described effective area is set in this pseudo image.
つぎに、上記の有効領域の中からＳｕｒ（ｘ，ｙ）の値が所定のしきい値Ｓ以下となる画素を抽出する（ＳＴ２１）。ついで、基準画像のエッジコードを対象に、ＳＴ２１で抽出した画素に対応するエッジコードを維持し、その他の座標に対応するエッジコードをｎｕｌｌ値に変更する（ＳＴ２２）。これにより、基準画像のエッジコードパターンは、有効領域内で抽出された画素のエッジコードが有効で、その他の画素のエッジコードが無効化されたパターンに変更される。最後のＳＴ２３では、この変更後のエッジコードパターンをモデルデータとして登録する。 Next, a pixel in which the value of Sur (x, y) is equal to or smaller than a predetermined threshold value S is extracted from the above effective area (ST21). Next, for the edge code of the reference image, the edge code corresponding to the pixel extracted in ST21 is maintained, and the edge code corresponding to other coordinates is changed to a null value (ST22). As a result, the edge code pattern of the reference image is changed to a pattern in which the edge code of the pixel extracted in the effective region is valid and the edge code of the other pixels is invalidated. In the last ST23, the changed edge code pattern is registered as model data.
配列Ｓｕｒ（ｘ，ｙ）による疑似画像の各座標（ｘ，ｙ）はそれぞれ基準画像の同じ座標に対応しているので、部品が確実に包含されるように有効領域が設定されていれば、部品のエッジに対応する画素はすべて有効領域に含まれることになる。よって、有効領域の設定が適切であれば、図４の処理によって、部品のエッジに対応するエッジコードを確実に抽出し、これらを含むエッジコードパターンをモデルデータに設定することが可能になる。 Since each coordinate (x, y) of the pseudo image by the array Sur (x, y) corresponds to the same coordinate of the reference image, if the effective area is set so that the part is surely included, All the pixels corresponding to the edge of the part are included in the effective area. Therefore, if the setting of the effective area is appropriate, it is possible to reliably extract the edge code corresponding to the edge of the component and set the edge code pattern including these in the model data by the processing of FIG.
図５は、図３に示したチップ部品を例に、図４のＳＴ１１〜１９のループにより算出される不一致度の累計値とサンプル画像の処理数との関係を模式的に示したものである。この図では、画素毎に算出された不一致度の累計値Ｓｕｒ（ｘ，ｙ）を各累計値の中の最大値で除算することにより正規化し、正規化後の累計値を３つのレベルに分けて、最小レベルの不一致度が得られた領域および中レベルの不一致度が得られた領域を、それぞれ異なる塗りパターンにより表している。 FIG. 5 schematically shows the relationship between the cumulative value of the inconsistency calculated by the loop of ST11 to ST19 in FIG. 4 and the number of processed sample images, taking the chip part shown in FIG. 3 as an example. . In this figure, the cumulative value Sur (x, y) of the inconsistency calculated for each pixel is normalized by dividing by the maximum value among the cumulative values, and the normalized cumulative value is divided into three levels. Thus, the area where the minimum level of mismatch is obtained and the area where the medium level of mismatch are obtained are represented by different coating patterns.
各レベルの分布状態を比較すると、サンプル画像の処理数が増加するにつれて、最小レベルに対応する領域が少なくなっている、また、４０枚のサンプル画像を処理した段階で最小レベルの不一致度が得られる領域は、部品のエッジに対応する箇所にほぼ絞り込まれた状態になっている。したがって、画素単位の不一致度を対応関係にある画素の組毎に累計する処理を繰り返すにつれて、部品のエッジに対応する場所に生じた濃度勾配とそれ以外の場所に生じた濃度勾配とを切り分けることが可能になる。 Comparing the distribution state of each level, as the number of sample images processed increases, the area corresponding to the minimum level decreases, and the degree of inconsistency at the minimum level is obtained when 40 sample images are processed. The region to be obtained is almost narrowed down to a location corresponding to the edge of the component. Therefore, as the process of accumulating the degree of inconsistency in pixel units for each set of pixels in correspondence is repeated, the density gradient generated at the location corresponding to the edge of the component is separated from the density gradient generated at other locations. Is possible.
図５の（４）に示した矩形領域１０は、前出の有効領域である。図５（４）によれば、４０個のサンプル画像の処理が終了した時点でも、有効領域の外側に不一致度が最小レベルとなる箇所がいくつか生じているが、これらの箇所のエッジコードは、ＳＴ２２の処理によってｎｕｌｌ値に変更されるので、モデルデータに反映されることはない。
A
ただし、図５の例では、有効領域１０内にも、部品のエッジに相当するとは考えにくいものが若干含まれている。しかし、仮にノイズであっても、相当数の部品の画像間におけるエッジコードの一致度が十分に高い場合には、実際の検査対象の部品の画像においても、同様のノイズが生じる可能性が高い。また、このノイズは部品の近傍や部品の画像内に存在するので、部品の実際のエッジを表す多数の画素とともに部品本体ウィンドウ内に含まれるものであれば、ノイズ部分のエッジコードを含むモデルデータによりエッジコードパターンの照合を行っても、部品の検出に特段の支障は生じない。よって、有効領域内でサンプル画像間のエッジコードの不一致度がしきい値Ｓ以下となる画素の中にノイズが含まれており、そのノイズを反映したモデルデータが作成されたとしても、部品の位置ずれ検出や検査領域の調整を支障なく行うことが可能になる。
However, in the example of FIG. 5, some of the
また、上記の実施例では、画素単位の不一致度を累計し、その累計値により、エッジコードの一致度のばらつきが所定範囲内にある画素を抽出するようにしたが、これに代えて、画素単位の不一致度が所定の基準値以下となった回数を画素毎に計数し、最終的な計数値が所定のしきい値以上となった画素を抽出してもよい。 Further, in the above-described embodiment, the degree of inconsistency in units of pixels is accumulated, and pixels having variations in the degree of coincidence of edge codes within a predetermined range are extracted based on the accumulated value. The number of times that the unit mismatch is less than or equal to a predetermined reference value may be counted for each pixel, and a pixel having a final count value greater than or equal to a predetermined threshold value may be extracted.
また、上記の実施例では、サンプル画像のうちの１つを基準画像として、この基準画像に対する他のサンプル画像の不一致度を求めたが、さらに、基準画像以外のサンプル画像同士を組み合わせて画素単位の不一致度を求めてもよい。この場合にも、既に、基準画像との照合で判明している各サンプル画像と基準画像との対応関係に基づき、サンプル画像間の対応関係の整合をとることができるので、画素の対応関係が一致するもの毎に不一致度の累計演算を行うことができる。
このようにすれば、少ないサンプル数でも十分な数の組み合わせを設定することが可能になり、不一致度の累計演算結果の信頼度を確保することができる。
In the above embodiment, one of the sample images is used as a reference image, and the degree of inconsistency of the other sample images with respect to the reference image is obtained. The degree of inconsistency may be obtained. Also in this case, since the correspondence between the sample images can be matched based on the correspondence between each sample image and the reference image that has already been found by the comparison with the reference image, the correspondence between the pixels is It is possible to perform a cumulative calculation of the mismatch degree for each match.
In this way, it is possible to set a sufficient number of combinations even with a small number of samples, and it is possible to ensure the reliability of the cumulative calculation result of the mismatch degree.
つぎに、上記の実施例では、基準画像のエッジコードパターンからモデルデータの構成要素を抽出したが、これに代えて、図６に示すような処理を行ってもよい。 Next, in the above embodiment, the constituent elements of the model data are extracted from the edge code pattern of the reference image. However, instead of this, processing as shown in FIG. 6 may be performed.
この実施例でも、まず、画素単位の不一致度を算出しながら、各不一致を対応関係にあるもの毎に累計する。図６では、簡単に１つのステップ（ＳＴ３１）として表しているが、具体的な処理内容は、図４のＳＴ１１〜１９と同様である。 Also in this embodiment, first, while calculating the degree of inconsistency in units of pixels, the inconsistencies are accumulated for each of the correspondences. In FIG. 6, although it is simply expressed as one step (ST31), the specific processing content is the same as ST11-19 of FIG.
一連の演算が終了すると、図４のＳＴ２０と同じ手法により、有効領域を設定する（ＳＴ３２）。そして、ｘ，ｙを、それぞれ初期値の０から最大値ｘｍａｘ，ｙｍａｘまでの範囲で更新することによって各画素に順に着目し、着目画素毎に、モデルデータＭＤ（ｘ，ｙ）の値を決定する処理（ＳＴ３３〜４２）を実行する。
When a series of calculations are completed, an effective area is set by the same method as ST20 in FIG. 4 (ST32). Then, x and y are respectively updated in the range from the
各着目画素に対する処理では、まず、着目画素が有効領域内にあるかどうかを判断し（ＳＴ３４）、有効領域内にあると判断した場合には、着目画素に対応する不一致度の累計値Ｓｕｒ（ｘ，ｙ）をしきい値Ｓと比較する（ＳＴ３５）。ここで、着目画素が有効領域内にあり、かつＳｕｒ（ｘ，ｙ）≦Ｓであれば（ＳＴ３４，３５が「ＹＥＳ」の場合）、各サンプル画像のエッジコードパターンから着目画素に対応するエッジコードを読み出してヒストグラムを作成し、そのヒストグラムのピークに対応するエッジコードをＭＤ（ｘ，ｙ）とする（ＳＴ３６，３７）。 In the processing for each pixel of interest, first, it is determined whether or not the pixel of interest is in the effective region (ST34). If it is determined that it is in the effective region, the cumulative value Sur ( x, y) is compared with a threshold value S (ST35). Here, if the target pixel is in the effective region and Sur (x, y) ≦ S (when ST34 and 35 are “YES”), the edge corresponding to the target pixel from the edge code pattern of each sample image The code is read to create a histogram, and the edge code corresponding to the peak of the histogram is set to MD (x, y) (ST36, 37).
一方、着目画素が有効領域の外にある場合（ＳＴ３４が「ＮＯ」の場合）、または有効領域内にあるがＳｕｒ（ｘ，ｙ）がＳより大きい場合（ＳＴ３４が「ＹＥＳ」、ＳＴ３５が「ＮＯ」の場合）には、ＭＤ（ｘ，ｙ）にｎｕｌｌ値を格納することにより（ＳＴ３８）、着目画素のエッジコードを無効にする。 On the other hand, when the pixel of interest is outside the effective area (when ST34 is “NO”) or within the effective area but Sur (x, y) is greater than S (ST34 is “YES”, ST35 is “ In the case of “NO”, the null value is stored in MD (x, y) (ST38), thereby invalidating the edge code of the pixel of interest.
すべての画素に対する処理が終了すると（ＳＴ３９およびＳＴ４０が「ＹＥＳ」の場合）、各画素につき設定されたＭＤ（ｘ，ｙ）による配列を、モデルデータとして登録する（ＳＴ４０）。 When processing for all the pixels is completed (when ST39 and ST40 are “YES”), an array based on MD (x, y) set for each pixel is registered as model data (ST40).
上記の例によれば、相当数のサンプル画像のエッジコードパターンに最も高い頻度で出現したエッジコードを用いてモデルデータを作成することができるから、モデルデータの精度をより向上することができる。 According to the above example, the model data can be created using the edge code that appears most frequently in the edge code patterns of a considerable number of sample images, so that the accuracy of the model data can be further improved.
ただし、Ｓｕｒ（ｘ，ｙ）≦Ｓの場合にＭＤ（ｘ，ｙ）に格納されるエッジコードは、ヒストグラムのピークに限定されるものではない。たとえば、ピークを中心とする所定範囲のエッジコードとこれらに対応する度数データとを用いて、当該範囲におけるエッジコードの平均値を求め、これをＭＤ（ｘ，ｙ）に格納してもよい。 However, the edge code stored in MD (x, y) when Sur (x, y) ≦ S is not limited to the peak of the histogram. For example, an edge code in a predetermined range centered on a peak and frequency data corresponding thereto may be used to obtain an average value of the edge code in the range, and this may be stored in MD (x, y).
つぎに、上記の図４，６に示した各実施例では、基準画像に対して行った有効領域の設定を画素単位での不一致度の累計結果に適用したが、これに代えて、不一致度の累計処理の終了後にその結果を表す画像（たとえば図５に示した画像、または不一致度のレベルが最小レベルになる領域のみを表す画像）を表示し、この段階で作業者が部品に対応する領域を手動設定するようにしてもよい。このような表示によれば、エッジコードの一致度が高い領域が明示された画像を表示することができるから、熟練した作業者でなくとも、処理対象の部品の外観（図３（１）参照）を認識する者であれば、部品に対応する範囲を容易に判別して適切な有効領域を指定することができる。またこの場合には、表示された画像の中からノイズと考えられる部分を除去することも可能である。 Next, in each of the embodiments shown in FIGS. 4 and 6 described above, the setting of the effective area performed on the reference image is applied to the cumulative result of the inconsistency degree in units of pixels. After the cumulative processing is completed, an image representing the result (for example, the image shown in FIG. 5 or an image representing only the region where the level of mismatch is the minimum level) is displayed, and the worker corresponds to the component at this stage. The area may be set manually. According to such a display, an image in which a region having a high degree of coincidence of edge codes can be clearly displayed can be displayed, so that an appearance of a component to be processed (see FIG. 3 (1)) can be used even by a skilled worker. ) Can easily determine the range corresponding to the part and specify an appropriate effective area. In this case, it is also possible to remove a portion considered to be noise from the displayed image.
また、図４，６に示した各実施例では、サンプル画像と基準画像との間の画素の対応関係を特定した後に、全ての画素の組み合わせを対象に、画素単位の不一致度の算出や累計演算を行ったが、有効領域のみを対象として、画素単位の不一致度の算出ならびにその累計演算を行うようにしてもよい。
またモデルデータについても、自動抽出ウィンドウに対応するサイズではなく、有効領域に対応する範囲のみのモデルデータを作成してもよい。このようにすれば、検査時のエッジコードパターンの照合処理では、処理対象画像からモデルデータに対応する領域を検出することができるから、この領域をそのまま部品本体ウィンドウとして設定することが可能になる。
In each embodiment shown in FIGS. 4 and 6, after specifying the correspondence relationship between the sample image and the reference image, calculation of the inconsistency degree in pixel units and the cumulative total are performed for all pixel combinations. Although the calculation is performed, it is also possible to calculate the degree of inconsistency in pixel units and the total calculation thereof only for the effective area.
As for model data, model data for only the range corresponding to the effective area may be created instead of the size corresponding to the automatic extraction window. In this way, since the area corresponding to the model data can be detected from the processing target image in the edge code pattern matching process at the time of inspection, it is possible to set this area as it is as the component body window. .
また、図４，６の各実施例は、いずれもエッジコードパターンのモデルデータを登録するものであるが、エッジコードパターン以外のモデルデータを作成する場合にも、同様の方法を適用することができる。たとえば、正規化相関演算のために部品の濃淡画像のモデルを作成する場合であれば、サンプル画像間での不一致度の算出およびその累計処理を行って、有効領域内で累計値Ｓｕｒ（ｘ，ｙ）の値がしきい値Ｓ以下となる画素を抽出した後に、抽出された各画素に外接する矩形領域を設定し、サンプル画像の１つから矩形領域に対応する画像を切り出し、これをモデルデータとして登録すればよい。 Each of the embodiments in FIGS. 4 and 6 registers model data of an edge code pattern, but the same method can be applied when creating model data other than an edge code pattern. it can. For example, when creating a model of a gray image of a part for normalization correlation calculation, the degree of inconsistency between sample images is calculated and the accumulation process thereof is performed, and the accumulated value Sur (x, After extracting pixels whose value of y) is equal to or less than the threshold value S, a rectangular area circumscribing each extracted pixel is set, and an image corresponding to the rectangular area is cut out from one of the sample images, and this is modeled Register as data.
１ カメラ
３ 制御処理装置
５ 基板
３０ 制御部
３５ メモリ
DESCRIPTION OF
Claims (5)
検査対象の基板に実装される各種部品種について、
当該部品種の部品のサンプル画像を相当数準備する第１ステップ、
準備したサンプル画像のうちの２つを組み合わせて対応関係にある画素の組毎に画素間の濃度勾配方向の一致度を算出する処理を、各サンプル画像がそれぞれ少なくとも一度は処理対象となるように組み合わせを変更しながら繰り返し実行し、組み合わせ毎の一致度の算出結果に基づき、各サンプル画像における濃度勾配方向のばらつきが所定の許容値以内になる画素を特定する第２ステップ、
前記第２ステップで特定された画素の座標を、少なくとも１つのサンプル画像または当該サンプル画像から求めた特徴量データに適用して前記モデルデータを作成する第３ステップ、
前記第３ステップで作成されたモデルデータを前記基板外観検査装置のメモリに登録する第４ステップ、
の各ステップをそれぞれ実行することを特徴とする、基板外観検査のためのモデルデータの登録方法。 The board on which the component is mounted is imaged, and for each component in the generated image, the feature of the component is extracted by collation processing using pre-registered model data. Based on the feature extraction result, the component and A method of registering model data for the collation processing in a substrate visual inspection apparatus that performs visual inspection by setting a predetermined number of inspection regions around the area,
Regarding various types of components mounted on the board to be inspected,
A first step of preparing a considerable number of sample images of parts of the part type;
A process of calculating the degree of coincidence in the density gradient direction between pixels for each set of pixels in a correspondence relationship by combining two of the prepared sample images so that each sample image is a target to be processed at least once A second step of repeatedly executing while changing the combination, and specifying a pixel in which the variation in the density gradient direction in each sample image is within a predetermined allowable value based on the calculation result of the matching degree for each combination;
A third step of creating the model data by applying the coordinates of the pixel specified in the second step to at least one sample image or feature amount data obtained from the sample image;
A fourth step of registering the model data created in the third step in the memory of the substrate visual inspection apparatus;
A method for registering model data for visual inspection of a board, characterized in that each of the steps is executed.
検査対象の基板に実装される各種部品種を対象に、それぞれ所定数のサンプル画像を入力し、これらのサンプル画像を用いて前記照合処理に用いるモデルデータを作成するモデルデータ作成手段と、モデルデータ作成手段が作成したモデルデータを登録する登録手段とを備え、
前記モデルデータ作成手段は、
入力したサンプル画像のうちの２つを組み合わせて対応関係にある画素の組毎に画素間の濃度勾配方向の一致度を算出する処理を、各サンプル画像がそれぞれ少なくとも一度は処理対象となるように組み合わせを変更しながら繰り返し実行し、組み合わせ毎の一致度の算出結果に基づき、各サンプル画像における濃度勾配方向のばらつきが所定の許容値以内になる画素を特定し、特定された画素の座標を、少なくとも１つのサンプル画像または当該サンプル画像から求めた特徴量データに適用して前記モデルデータを作成する、
ことを特徴とする基板外観検査装置。 The board on which the component is mounted is imaged, and for each component in the generated image, the feature of the component is extracted by collation processing using pre-registered model data. Based on the feature extraction result, the component and A board appearance inspection apparatus that performs appearance inspection by setting a predetermined number of inspection areas around the periphery,
Model data creating means for inputting a predetermined number of sample images for various component types mounted on the board to be inspected, and creating model data used for the collation processing using these sample images, and model data Registration means for registering the model data created by the creation means,
The model data creation means includes
A process of calculating the degree of coincidence of the density gradient directions between pixels for each set of pixels having a corresponding relationship by combining two of the input sample images so that each sample image becomes a processing target at least once It is repeatedly executed while changing the combination, and based on the calculation result of the matching degree for each combination, the pixel in which the variation in the density gradient direction in each sample image is within a predetermined allowable value is specified, and the coordinates of the specified pixel are Applying to at least one sample image or feature data obtained from the sample image to create the model data,
A substrate visual inspection apparatus characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008228527A JP2010061539A (en) | 2008-09-05 | 2008-09-05 | Method of registering model data for substrate visual inspection and substrate visual inspection apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008228527A JP2010061539A (en) | 2008-09-05 | 2008-09-05 | Method of registering model data for substrate visual inspection and substrate visual inspection apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010061539A true JP2010061539A (en) | 2010-03-18 |
Family
ID=42188243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008228527A Pending JP2010061539A (en) | 2008-09-05 | 2008-09-05 | Method of registering model data for substrate visual inspection and substrate visual inspection apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010061539A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112684319A (en) * | 2020-12-16 | 2021-04-20 | 海光信息技术股份有限公司 | Chip inspection tracking method and device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0869533A (en) * | 1994-06-14 | 1996-03-12 | Nippon Telegr & Teleph Corp <Ntt> | Image inspection and recognition method, and reference data generating method used for same and device for them |
| JP2001148021A (en) * | 1999-11-22 | 2001-05-29 | Nippon Telegr & Teleph Corp <Ntt> | Method for image processing, method of generating three- dimensional model data, and their devices |
| JP2002230549A (en) * | 2001-02-05 | 2002-08-16 | Omron Corp | Image processing method and device |
| JP2006072913A (en) * | 2004-09-06 | 2006-03-16 | Omron Corp | Model registration method for component inspection, and inspection data preparing device using the method |
-
2008
- 2008-09-05 JP JP2008228527A patent/JP2010061539A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0869533A (en) * | 1994-06-14 | 1996-03-12 | Nippon Telegr & Teleph Corp <Ntt> | Image inspection and recognition method, and reference data generating method used for same and device for them |
| JP2001148021A (en) * | 1999-11-22 | 2001-05-29 | Nippon Telegr & Teleph Corp <Ntt> | Method for image processing, method of generating three- dimensional model data, and their devices |
| JP2002230549A (en) * | 2001-02-05 | 2002-08-16 | Omron Corp | Image processing method and device |
| JP2006072913A (en) * | 2004-09-06 | 2006-03-16 | Omron Corp | Model registration method for component inspection, and inspection data preparing device using the method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112684319A (en) * | 2020-12-16 | 2021-04-20 | 海光信息技术股份有限公司 | Chip inspection tracking method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10083522B2 (en) | Image based measurement system | |
| TWI416064B (en) | Method of measuring a three-dimensional shape | |
| US8295588B2 (en) | Three-dimensional vision sensor | |
| US8041104B2 (en) | Pattern matching apparatus and scanning electron microscope using the same | |
| JP3870872B2 (en) | Inspection data creation method and substrate inspection apparatus using this method | |
| US20150355103A1 (en) | Inspection Apparatus, Inspection Method, And Program | |
| US6751361B1 (en) | Method and apparatus for performing fixturing in a machine vision system | |
| WO2012096004A1 (en) | Solder-attachment inspection method, solder-attachment inspection device, and pcb-inspection system | |
| CN105718931B (en) | System and method for determining clutter in acquired images | |
| WO2017071406A1 (en) | Method and system for detecting pin of gold needle element | |
| US20090290788A1 (en) | System and method for performing multi-image training for pattern recognition and registration | |
| WO2017050088A1 (en) | Method and device for locating electronic component | |
| US7139421B1 (en) | Methods and apparatuses for detecting similar features within an image | |
| CN110274911B (en) | Image processing system, image processing apparatus, and storage medium | |
| US6614926B1 (en) | Methods and apparatuses for generating from an image a model of an object | |
| JP6425406B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP2009008502A (en) | Data registering method for surface state inspection and surface state inspection device | |
| JP2002140713A (en) | Image processing method and image processor | |
| JP2007033126A (en) | Substrate inspection device, parameter adjusting method thereof and parameter adjusting device | |
| JP2010061539A (en) | Method of registering model data for substrate visual inspection and substrate visual inspection apparatus | |
| CN116908185A (en) | Method and device for detecting appearance defects of article, electronic equipment and storage medium | |
| JP2003207461A (en) | Solder inspection method and board inspection apparatus using the same | |
| JP2007026423A (en) | Image processor and image processing method | |
| JP2003156311A (en) | Method and apparatus for detection and registration of alignment mark | |
| JP4872930B2 (en) | Character recognition device, fuel pump module assembling device equipped with such device, and character recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110705 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120611 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121106 |