JP6546125B2 - Defect inspection device - Google Patents
Defect inspection device Download PDFInfo
- Publication number
- JP6546125B2 JP6546125B2 JP2016127958A JP2016127958A JP6546125B2 JP 6546125 B2 JP6546125 B2 JP 6546125B2 JP 2016127958 A JP2016127958 A JP 2016127958A JP 2016127958 A JP2016127958 A JP 2016127958A JP 6546125 B2 JP6546125 B2 JP 6546125B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- defect
- aligned
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 70
- 230000007547 defect Effects 0.000 title claims description 39
- 238000012545 processing Methods 0.000 claims description 25
- 230000002950 deficient Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 7
- 238000010130 dispersion processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は欠陥検査装置に関する。 The present invention relates to a defect inspection apparatus.
自動車ボデーの外板面にある傷や凹凸といった表面欠陥を検査する手法として、検査対象物を撮影し、画像処理をする手法が知られている。例えば特許文献１によれば、撮影した検査対象物の画像を複数の領域に分割し、各領域に含まれる画素の輝度値を平均して分割画像を作成する。そして、各領域の輝度値と周囲に存在する領域の輝度値とを比較して、欠陥候補領域を抽出する。 As a method of inspecting a surface defect such as a flaw or unevenness on an outer surface of an automobile body, a method of photographing an inspection object and performing image processing is known. For example, according to Patent Document 1, a photographed image of an inspection object is divided into a plurality of areas, and the luminance values of pixels included in each area are averaged to create a divided image. Then, a defect candidate area is extracted by comparing the luminance value of each area with the luminance value of the area present in the periphery.
従来の検査装置は、局所的な傷や凹凸は検出可能であった。しかしながら、従来の検査装置は、例えば１メートル四方のパネル表面に存在する１０ｃｍ四方程度における１０μｍ程度の僅かな凹凸（緩やかなうねり、あるいは微小の面歪み）に対して、欠陥品か否かを画像処理を用いて検出することは困難であった。そのため、従来は経験を積んだ検査員の目視による判断に頼る検査を実施していた。 Conventional inspection devices can detect local flaws and irregularities. However, in the conventional inspection apparatus, for example, it is an image of whether it is a defect or not with respect to a slight unevenness of about 10 μm (loose undulation or minute surface distortion) in about 10 cm square existing on the panel surface of 1 meter square. It was difficult to detect using the process. Therefore, conventionally, inspections relying on visual judgment of experienced inspectors have been performed.
本発明は、このような問題を解決するためになされたものであり、良品のばらつき範囲内に存在する個体差の影響を抑え、僅かな面歪みを検出することが可能な欠陥検出装置を提供することを目的とする。 The present invention has been made to solve such a problem, and provides a defect detection device capable of detecting slight surface distortion while suppressing the influence of individual differences existing within the variation range of non-defective products. The purpose is to
本発明に係る欠陥検査装置は、所定の光の照射パターンが投影された検査対象物の検査画像を撮影する撮影手段と、前記撮影手段によって撮影された前記検査画像を画像処理する処理手段と、を備え、前記処理手段は、前記検査画像と、当該検査画像と同一の部位を前記撮影手段によって撮影した複数の良品画像と、を並べて第１の整列画像を作成し、前記第１の整列画像を複数の領域に分割し、前記領域の平均輝度値をそれぞれ算出し、互いに隣接する前記領域の前記平均輝度値を比較し、前記平均輝度値の差が基準値を超えた場合に前記領域に点数を加算し、前記第１の整列画像の、前記検査画像及び前記複数の良品画像を並べ替えて第２の整列画像を作成し、前記第２の整列画像に対して前記領域の分割から前記点数の加算までを繰り返し、累積した前記点数に基づいて、前記検査画像の中に欠陥が含まれるか否かを出力する。 A defect inspection apparatus according to the present invention comprises: an imaging unit configured to capture an inspection image of an inspection object on which an irradiation pattern of predetermined light is projected; a processing unit configured to process the inspection image captured by the imaging unit; The processing means arranges the inspection image and a plurality of non-defective images obtained by photographing the site identical to the inspection image by the imaging means to create a first alignment image, and the first alignment image Is divided into a plurality of areas, the average luminance value of each of the areas is calculated, the average luminance values of the adjacent areas are compared, and the difference between the average luminance values exceeds the reference value. A score is added, and the inspection image and the plurality of non-defective images of the first aligned image are rearranged to create a second aligned image, and the division of the area is performed on the second aligned image Repeat up to the point addition And, based on the accumulated the number, and outputs whether include defects in the inspection image.
本発明によれば、複数の整列画像に対して画像処理を行うことによって、良品のばらつき範囲内に面歪みを有する領域と比べて、良品のばらつき範囲を超えた面歪みを有する領域に対して、より多くの点数が加算される。したがって、良品のばらつき範囲内に存在する個体差の影響を抑え、僅かな面歪みを検出することが可能な欠陥検出装置を提供することができる。 According to the present invention, by performing image processing on a plurality of aligned images, compared to a region having surface distortion within the variation range of non-defective products, to a region having surface distortion exceeding the variation range of non-defective products More points will be added. Therefore, it is possible to provide a defect detection device capable of detecting a slight surface distortion by suppressing the influence of individual differences existing in the non-defective product variation range.
実施の形態１
まず、本発明に係る実施の形態１について説明する。
Embodiment 1
First, a first embodiment according to the present invention will be described.
図１は、実施の形態１にかかる欠陥検出方法を実現するための装置、すなわち、欠陥検査装置の構成を示す図である。欠陥検査装置１０は、撮影手段と処理手段とからなる。撮影手段は撮像部１１、照明部１３、レンズ１４を備えている。処理手段はＰＣ（personal computer）１２である。撮像部１１は、検査対象物１５を撮影して画像を生成する。撮像部１１としては、ＣＣＤ（charge-coupled device）等の撮像素子を備えるカメラ等を用いることができる。撮像部１１で撮影する際、レンズ１４を備える照明部１３が検査対象物１５を照射する。本実施の形態１においては、レンズ１４を備える照明部１３によって、検査対象物１５の表面には所定の光の照射パターンが投影される。照射パターンは、例えば縞模様である。撮像部１１で撮影された画像は、ＰＣ１２に取り込まれる。ＰＣ１２は取り込んだ画像を基に後述する処理によって欠陥候補の抽出を実行する。 FIG. 1 is a diagram showing the configuration of an apparatus for realizing the defect detection method according to the first embodiment, that is, a defect inspection apparatus. The defect inspection apparatus 10 includes an imaging unit and a processing unit. The photographing means comprises an imaging unit 11, an illumination unit 13 and a lens 14. The processing means is a PC (personal computer) 12. The imaging unit 11 shoots the inspection object 15 and generates an image. As the imaging unit 11, a camera or the like provided with an imaging device such as a CCD (charge-coupled device) can be used. When photographing with the imaging unit 11, the illumination unit 13 including the lens 14 irradiates the inspection target 15. In the first embodiment, the illumination unit 13 including the lens 14 projects an irradiation pattern of predetermined light on the surface of the inspection object 15. The irradiation pattern is, for example, a stripe pattern. The image taken by the imaging unit 11 is taken into the PC 12. The PC 12 executes defect candidate extraction by a process described later based on the captured image.
欠陥候補の抽出を実行するに際し、取り込んだ画像について以下に説明する画像処理を行う。図２は、取り込んだ画像に対して行う画像処理の例を示したフローチャートである。 When the defect candidate extraction is performed, the image processing described below is performed on the captured image. FIG. 2 is a flowchart showing an example of image processing performed on a captured image.
まず、撮像部１１が、縞投影画像を撮影する（ステップＳ１０１）。次に、ＰＣ１２は縞投影画像を取り込み、局所分散処理を行う（ステップＳ１０２）。局所分散処理を行うことによって、ＰＣ１２は縞投影画像からシェーディングなど撮影時に生じた画像のムラを低減させる。図３は、局所分散処理を行う前の縞投影画像の例である。画像２１には左上部に影が存在するため、画像内のコントラストは不均一である。図４は、局所分散処理を行った後の縞投影画像の例である。画像２１は影によるムラが低減し、画像内のコントラストは均一になっている。なお、局所分散処理については一般的な手法であるため、ここでの詳細な説明は省略する。 First, the imaging unit 11 captures a fringe projection image (step S101). Next, the PC 12 takes in a fringe projection image and performs local dispersion processing (step S102). By performing the local dispersion processing, the PC 12 reduces unevenness of the image generated at the time of shooting, such as shading, from the fringe projection image. FIG. 3 is an example of a fringe projection image before the local dispersion processing is performed. Since the image 21 has a shadow at the upper left, the contrast in the image is uneven. FIG. 4 is an example of a fringe projection image after local dispersion processing. The image 21 has reduced unevenness due to shadows, and the contrast in the image is uniform. In addition, since the local distributed processing is a general method, the detailed description here is omitted.
次に、ＰＣ１２は画像をフーリエ変換する（ステップＳ１０３）。フーリエ変換することにより、ＰＣ１２は画像を周波数成分に分解する。次に、ＰＣ１２はフーリエ変換した画像データから低周波および高周波の成分をカットするフィルタリングを行う（ステップＳ１０４）。さらに、ＰＣ１２はフィルタリングを行った後の画像データをフーリエ逆変換する（ステップＳ１０５）。 Next, the PC 12 Fourier-transforms the image (step S103). By Fourier transform, the PC 12 decomposes the image into frequency components. Next, the PC 12 performs filtering to cut low frequency and high frequency components from the image data subjected to Fourier transform (step S104). Furthermore, the PC 12 performs inverse Fourier transform on the image data that has been subjected to the filtering (step S105).
図５はステップＳ１０４におけるフィルタリングの原理を説明するための図であり、フーリエ変換後のパワースペクトルを表したものである。局所分散処理を行った後の画像において、検査対象物表面の歪みが比較的小さい部分は、フーリエ変換後に、例えば曲線２６のような曲線となる。一方、検査対象物表面の歪みが比較的大きい部分は、その歪みによって画像のコントラストが悪化している場合がある。そのような場合、例えば、フーリエ変換後の曲線は曲線２５のようになる。そこでＰＣ１２は、曲線２５および曲線２６の周波数ｆａよりも低周波成分と、周波数ｆｂよりも高周波成分とをカットする。すると、逆フーリエ変換（ステップＳ１０５）後の画像はコントラストが改善し、この後に行う画像処理において誤検出が抑えられる。 FIG. 5 is a diagram for explaining the principle of filtering in step S104, which shows the power spectrum after Fourier transform. In the image after the local dispersion processing, a portion with a relatively small distortion on the surface of the inspection object becomes a curve such as a curve 26 after Fourier transform. On the other hand, in a portion where the distortion of the surface of the inspection object is relatively large, the distortion of the image may deteriorate the contrast of the image. In such a case, for example, the curve after Fourier transform looks like the curve 25. Therefore, the PC 12 cuts lower frequency components than the frequency fa of the curves 25 and 26 and higher frequency components than the frequency fb. Then, the contrast of the image after the inverse Fourier transform (step S105) is improved, and false detection is suppressed in the image processing to be performed later.
以上のように、図２に例示した処理をＰＣ１２が行うことにより、画像のムラやコントラストを改善し、その後の画像処理において、欠陥候補の抽出時に誤検出する可能性を抑えることができる。ＰＣ１２は以上の処理によって画質調整された画像を保存する（ステップＳ１０６）。ＰＣ１２はこの画質調整された画像を複数保存し、欠陥候補の抽出を実行するための処理へ進む。 As described above, when the PC 12 performs the process illustrated in FIG. 2, it is possible to improve the unevenness and the contrast of the image, and to suppress the possibility of erroneous detection when extracting a defect candidate in the subsequent image processing. The PC 12 stores the image whose image quality has been adjusted by the above process (step S106). The PC 12 stores a plurality of the image quality-adjusted images, and proceeds to a process for extracting defect candidates.
次に、ＰＣ１２が行う欠陥候補の抽出処理について説明する。図６は本実施の形態１に係る画像処理のフローチャートである。 Next, the defect candidate extraction process performed by the PC 12 will be described. FIG. 6 is a flowchart of image processing according to the first embodiment.
まず、ＰＣ１２は、画質調整された画像を整列させて、整列画像を生成する（ステップＳ２１０）。図７はＰＣ１２によって生成された整列画像３０を示している。整列画像３０は、画質調整された画像をＸ列に４枚と、Ｙ列に４枚とを整列させて結合したものである。本実施の形態１では、整列画像３０を４×４枚で例示したが、整列する枚数は複数枚であればよいし、Ｘ列とＹ列の枚数は同じでなくともよい。ここで、欠陥検査装置１０は、検査画像３１について欠陥があるか否か検査を行う。検査画像３１以外の１５枚の画像は、検査画像と同一の部位をそれぞれ撮影した１５種類の良品画像である。各良品画像は製品の設計公差内でそれぞれ面歪みなどを有している。図７の例示では、検査画像３１は整列画像のＸ３Ｙ３の位置に配置されている。ＰＣ１２はこの配置をランダムに行う。 First, the PC 12 aligns the image quality-adjusted images to generate an aligned image (step S210). FIG. 7 shows the aligned image 30 generated by the PC 12. The alignment image 30 is formed by aligning and combining four images in the X row and four images in the Y row. In the first embodiment, the alignment image 30 is illustrated as 4 × 4 sheets, but the number of sheets to be aligned may be two or more, and the number of X columns and Y columns may not be the same. Here, the defect inspection apparatus 10 inspects whether or not there is a defect in the inspection image 31. The 15 images other than the inspection image 31 are 15 types of non-defective images obtained by photographing the same portions as the inspection image. Each non-defective image has surface distortion and the like within the design tolerance of the product. In the example of FIG. 7, the inspection image 31 is arranged at the position of X3Y3 of the alignment image. The PC 12 randomly performs this arrangement.
次に、ＰＣ１２は整列画像３０を所定の領域に分割し、各領域内の輝度値を平均化する（ステップＳ２２０）。なお、本実施の形態１において、領域のことをグリッドと呼ぶ。図８は整列画像３０をグリッドに分割した状態の例示である。図８において、ＰＣ１２はｘ列にｐ個のグリッドを、ｙ列にｑ個のグリッドを割り当てており、ｘ列ｉ番目、ｙ列ｊ番目のグリッドをＧ（ｉ，ｊ）と呼ぶこととする。ＰＣ１２は、各グリッド内の画素について輝度値の平均を算出する。また、本実施の形態１においては、グリッドＧ（ｉ，ｊ）における平均輝度値をＢ（ｉ，ｊ）と呼ぶこととする。 Next, the PC 12 divides the aligned image 30 into predetermined areas, and averages the luminance values in each area (step S220). In the first embodiment, the area is called a grid. FIG. 8 is an example of a state in which the alignment image 30 is divided into grids. In FIG. 8, the PC 12 assigns p grids in the x column and q grids in the y column, and let it be assumed that the i-th grid in the x-th column and the j-th grid in the y-column are G (i, j). . The PC 12 calculates the average of the luminance values for the pixels in each grid. Further, in the first embodiment, the average luminance value in the grid G (i, j) is referred to as B (i, j).
次に、ＰＣ１２は各グリッドの平均輝度値を比較するための開始グリッドを決定する（ステップＳ２３０）。例えば、図８に示す整列画像３０において、ＰＣ１２はＧ（１，１）を開始グリッドとすることができる。 Next, the PC 12 determines the start grid for comparing the average luminance value of each grid (step S230). For example, in the aligned image 30 shown in FIG. 8, the PC 12 can set G (1, 1) as the start grid.
次に、ＰＣ１２は検査グリッドの平均輝度値と、隣接グリッドの平均輝度値とを比較する（ステップＳ２４０）。例えば、Ｇ（ｉ，ｊ）が検査グリッドである場合、隣接グリッドとは、Ｇ（ｉ−１，ｊ）、Ｇ（ｉ＋１，ｊ）、Ｇ（ｉ，ｊ−１）、Ｇ（ｉ，ｊ＋１）である。よって、ＰＣ１２はＢ（ｉ，ｊ）と、Ｂ（ｉ−１，ｊ）とを比較する。同様に、ＰＣ１２は、Ｂ（ｉ，ｊ）と、Ｂ（ｉ＋１，ｊ）、Ｂ（ｉ，ｊ−１）、Ｂ（ｉ，ｊ＋１）とについてもそれぞれ比較を行う。 Next, the PC 12 compares the average luminance value of the inspection grid with the average luminance value of the adjacent grid (step S240). For example, when G (i, j) is an inspection grid, adjacent grids are G (i-1, j), G (i + 1, j), G (i, j-1), G (i, j + 1). ). Thus, the PC 12 compares B (i, j) with B (i-1, j). Similarly, the PC 12 compares B (i, j) with B (i + 1, j), B (i, j-1), and B (i, j + 1), respectively.
次に、ＰＣ１２は比較した結果に基づき、その差が基準値よりも大きいか否かを判定する（ステップＳ２５０）。例えば、Ｂ（ｉ，ｊ）とＢ（ｉ−１，ｊ）とを比較した結果、その差が基準値よりも大きい場合は（ステップＳ２５０：Ｙｅｓ）、ＰＣ１２は、点数を加算する（ステップＳ２６０）。そして、Ｂ（ｉ，ｊ）とＢ（ｉ＋１，ｊ）とを比較した結果、その差が基準値よりも大きくない場合は（ステップＳ２５０：Ｎｏ）、ＰＣ１２は、点数を加算しない。このように、ＰＣ１２は検査グリッドにおいて全ての隣接グリッドについての平均輝度値の比較を行い、比較結果の判定および点数の加算を行う。そしてＰＣ１２は次のステップへと進む。 Next, based on the comparison result, the PC 12 determines whether the difference is larger than the reference value (step S250). For example, as a result of comparing B (i, j) and B (i-1, j), if the difference is larger than the reference value (step S250: Yes), the PC 12 adds points (step S260). ). And as a result of comparing B (i, j) and B (i + 1, j), when the difference is not larger than a reference value (Step S250: No), PC12 does not add a score. As described above, the PC 12 compares the average luminance values of all adjacent grids in the inspection grid, and determines the comparison result and adds points. The PC 12 then proceeds to the next step.
次に、ＰＣ１２は全てのグリッドについて検査を行ったか否かを判定する（ステップＳ２７０）。ＰＣ１２が整列画像３０内の全てのグリッドについて処理を行った場合（ステップＳ２７０：Ｙｅｓ）、ＰＣ１２は次のステップＳ２９０へと進む。ＰＣ１２が整列画像３０内の全てのグリッドについて処理を行っていない場合（ステップＳ２７０：Ｎｏ）、ＰＣ１２は検査グリッドを変更する処理を行う（ステップＳ２８０）。そして、ＰＣ１２は再びステップＳ２４０へと戻り、隣接グリッドとの平均輝度値の比較を行う。例えば、検査グリッドがＧ（ｉ，ｊ）の場合、ＰＣ１２は検査グリッドをＧ（ｉ＋１，ｊ）に変更する。 Next, the PC 12 determines whether or not all grids have been inspected (step S270). If the PC 12 has performed processing for all the grids in the aligned image 30 (step S270: Yes), the PC 12 proceeds to the next step S290. If the PC 12 has not processed all the grids in the aligned image 30 (step S270: No), the PC 12 performs a process of changing the inspection grid (step S280). Then, the PC 12 returns to step S240 again, and compares the average luminance value with the adjacent grid. For example, when the inspection grid is G (i, j), the PC 12 changes the inspection grid to G (i + 1, j).
ＰＣ１２が整列画像３０内の全てのグリッドについて処理を行った場合（ステップＳ２７０：Ｙｅｓ）、ＰＣ１２は既定の回数の検査を行ったか否かを判定する（ステップＳ２９０）。検査回数が既定に達していない場合（ステップＳ２９０：Ｎｏ）、ＰＣ１２は整列画像３０内にある１６枚の画質調整された画像をランダムに並び替える（Ｓ２９２）。そして、ＰＣ１２はランダムに並び替えた配列に基づいて新たな整列画像を生成する（ステップＳ２１０）。そして、ＰＣ１２は再びグリッド内の平均輝度値を隣接グリッドと比較し、点数を加算する処理を繰り返す。そして、検査回数が既定に達した場合（ステップＳ２９０：Ｙｅｓ）、ＰＣ１２は検査結果を出力する（ステップＳ２９５）。 If the PC 12 has performed processing for all the grids in the aligned image 30 (step S270: Yes), the PC 12 determines whether a predetermined number of inspections have been performed (step S290). If the number of examinations has not reached the predetermined number (Step S290: No), the PC 12 randomly sorts 16 image quality-adjusted images in the aligned image 30 (S292). Then, the PC 12 generates a new aligned image based on the randomly rearranged array (step S210). Then, the PC 12 compares the average luminance value in the grid with the adjacent grid again, and repeats the process of adding the score. Then, when the number of examinations has reached a predetermined number (step S290: Yes), the PC 12 outputs the examination result (step S295).
検査結果は、ステップＳ２６０において行った点数の加算を累積したものとなる。ＰＣ１２は、検査画像３１の各画素に累積された点数を出力する。点数の加算は整列画像内の全ての画素に対して行っているので、図９および図１０に例示するように、結果の出力としては、検査画像３１の各画素に累積された点数だけでなく、整列画像内の全ての画素について行ってもよい。 The inspection result is obtained by accumulating the addition of the points performed in step S260. The PC 12 outputs the number of points accumulated in each pixel of the inspection image 31. Since the addition of points is performed on all the pixels in the aligned image, as illustrated in FIGS. 9 and 10, not only the points accumulated in each pixel of the inspection image 31 but also the result output. , For all pixels in the aligned image.
なお、検査回数は２以上の回数であって、ユーザーが設定することができる。検査回数を多くすれば、検査画像と隣接する良品画像との組み合わせが増えることになる。すなわち、欠陥検査装置１０は、設計公差内で個別の面歪みを有する良品画像との比較を多くすることにより、欠陥画像か否かの判定精度を向上させることができる。 The number of examinations is two or more and can be set by the user. If the number of inspections is increased, the combination of the inspection image and the adjacent non-defective image will increase. That is, the defect inspection apparatus 10 can improve the determination accuracy as to whether or not it is a defect image by increasing the comparison with a non-defective image having individual surface distortion within the design tolerance.
図９及び図１０は、本実施の形態１に係る発明者らが実施した実験結果を示したものである。図９及び図１０の例では、Ｘ列に７枚と、Ｙ列に７枚の画像を整列させることによって整列画像を生成する。検査画像はＸ３Ｙ５に配置されている。本実施の形態１に基づく平均輝度値の比較を行う際には、検査画像の位置はランダムに配列される。しかしここでは結果を分かりやすく表示するために、画像処理後の検査画像をＸ３Ｙ５に固定して説明する。 9 and 10 show the results of experiments conducted by the inventors according to the first embodiment. In the example of FIG. 9 and FIG. 10, an aligned image is generated by aligning seven images in the X column and seven images in the Y column. The examination image is arranged at X3Y5. When the comparison of the average luminance value based on this Embodiment 1 is performed, the position of a test | inspection image is arranged at random. However, here, in order to display the result in an easy-to-understand manner, the inspection image after image processing is fixed to X3Y5 and described.
図９は整列画像を１回生成し、各グリッドの輝度値比較を行った結果である。図９に示す結果によれば、点数が高いエリアとしてエリア５０及びエリア５１とが挙げられ、欠陥とみられる部分が広範囲にみられる。すなわち、ＰＣ１２は本来の検査対象画像に加えて、良品画像に対しても高い点数を加算している。よって、この結果が示しているのは、良品画像に欠陥が含まれる可能性が高いというものである。 FIG. 9 shows the result of generating the alignment image once and comparing the brightness values of the respective grids. According to the result shown in FIG. 9, the area 50 and the area 51 can be mentioned as an area having a high score, and a part which is considered to be a defect can be widely seen. That is, the PC 12 adds a high score to the non-defective image in addition to the original inspection target image. Therefore, this result indicates that the non-defective image is highly likely to contain a defect.
一方、図１０に示す結果は、整列画像を複数回生成して各グリッドの輝度値比較を繰り返し行った結果である。図１０に示す結果によれば、ＰＣ１２はエリア６０に対して高い点数を加算している。この結果より、Ｘ３Ｙ５に位置する画像に欠陥が含まれていることが示される。 On the other hand, the result shown in FIG. 10 is the result of generating the aligned image a plurality of times and repeatedly comparing the brightness values of the respective grids. According to the result shown in FIG. 10, the PC 12 adds a high score to the area 60. This result indicates that the image located at X3Y5 contains a defect.
以上に説明した実施の形態１によれば、良品のばらつき範囲内に存在する個体差の影響を抑え、僅かな面歪みを検出する欠陥検査装置を提供することが可能となる。 According to the first embodiment described above, it is possible to provide a defect inspection apparatus that detects slight surface distortion while suppressing the influence of individual differences existing in the variation range of non-defective products.
実施の形態２
次に、本発明に係る実施の形態２について説明する。まず、本実施の形態２に係る装置の構成は、本実施の形態１において図１に例示した欠陥検査装置１０の構成と同じである。
Embodiment 2
Next, Embodiment 2 according to the present invention will be described. First, the configuration of the apparatus according to the second embodiment is the same as the configuration of the defect inspection apparatus 10 illustrated in FIG. 1 in the first embodiment.
次に本実施の形態２に係る処理について説明する。図１１は実施の形態２に係る処理を説明するためのフローチャートである。本実施の形態２において、実施の形態１と重複する各ステップについては同じ番号を付し、それぞれ重複する説明は省略する。 Next, the process according to the second embodiment will be described. FIG. 11 is a flowchart for explaining the process according to the second embodiment. In the second embodiment, the same steps as those in the first embodiment are denoted by the same reference numerals, and the redundant description will be omitted.
まず、ＰＣ１２は実施の形態１と同様に、整列画像を生成する（ステップＳ２１０）。次に、ＰＣ１２はグリッドサイズを決定する（ステップＳ２１５）。本実施の形態２では、例えば、初期値として図８に示すグリッドを採用することとする。図８に関する説明は実施の形態１と同様のため省略する。 First, as in the first embodiment, the PC 12 generates an aligned image (step S210). Next, the PC 12 determines the grid size (step S215). In the second embodiment, for example, a grid shown in FIG. 8 is adopted as an initial value. The description related to FIG. 8 is the same as that of the first embodiment and thus will be omitted.
次に、ＰＣ１２は、実施の形態１と同様に、ステップＳ２２０からステップＳ２８０までの処理を行う。これらの処理は実施の形態１と同様であるため、説明は省略する。 Next, the PC 12 performs the processing from step S220 to step S280 as in the first embodiment. Since these processes are the same as in the first embodiment, the description will be omitted.
次に、ステップＳ２７０において、全グリッドに対する輝度値比較が完了した場合（ステップＳ２７０：Ｙｅｓ）、ＰＣ１２は全てのグリッドサイズについて検査したか否かを判定する（ステップＳ２７５）。全てのグリッドサイズについて検査していない場合（ステップＳ２７５：Ｎｏ）、ＰＣ１２はグリッドサイズを変更する（ステップＳ２７６）。図１２は、ＰＣ１２によってグリッドサイズが変更された整列画像３０の例示である。図１２において、ＰＣ１２はｘ列にｍ個のグリッドを、ｙ列にｎ個のグリッドを割り当てている。図１２は、図８と比較してグリッドサイズが大きくなっている。グリッドサイズの設定は、検査画像のサイズや検査対象となる欠陥の大きさに応じて、ユーザーにより適宜決定される。なお、図１２では検査画像はＸ２Ｙ３に配置されている。 Next, in step S270, when the luminance value comparison for all grids is completed (step S270: Yes), the PC 12 determines whether or not all grid sizes have been checked (step S275). If all grid sizes have not been checked (step S275: No), the PC 12 changes the grid size (step S276). FIG. 12 is an illustration of the aligned image 30 whose grid size has been changed by the PC 12. In FIG. 12, the PC 12 assigns m grids in x columns and n grids in y columns. The grid size in FIG. 12 is larger than that in FIG. The setting of the grid size is appropriately determined by the user according to the size of the inspection image and the size of the defect to be inspected. In FIG. 12, the inspection image is arranged at X2Y3.
ＰＣ１２は、ステップＳ２７６においてグリッドサイズを変更した後、グリッド内の平均輝度値を算出するステップＳ２２０へと戻り、再び、全ての隣接グリッドについての平均輝度値の比較を行い、比較結果の判定および点数の加算を行う。そして、全てのグリッドサイズについて検査した場合（ステップＳ２７５：Ｙｅｓ）、ＰＣ１２は次のステップへと進む。 After changing the grid size in step S276, the PC 12 returns to step S220 for calculating the average luminance value in the grid, and again compares the average luminance values for all adjacent grids, and determines the comparison result and scores Perform the addition of When all grid sizes have been checked (step S275: Yes), the PC 12 proceeds to the next step.
これ以降は本実施の形態１と同様に、ＰＣ１２は検査回数が規定に達するまで、グリッドの平均輝度値の比較を行い、点数の加算を行う。ただし、実施の形態２においては、ＰＣ１２はグリッドサイズの変更も行う。そして検査回数が規定に達すると（ステップＳ２９０：Ｙｅｓ）、ＰＣ１２は検査結果を出力する（ステップＳ２９５）。 After that, as in the first embodiment, the PC 12 compares the average luminance values of the grids and adds the points until the number of inspections reaches a predetermined number. However, in the second embodiment, the PC 12 also changes the grid size. When the number of inspections reaches a predetermined number (Step S290: Yes), the PC 12 outputs the inspection result (Step S295).
なお、実施の形態２において、グリッドサイズの変更をする処理ループと、整列画像をランダムに生成する処理ループとは、入れ替わっても構わない。 In the second embodiment, the processing loop for changing the grid size and the processing loop for randomly generating the aligned image may be interchanged.
以上に説明した実施の形態２によれば、グリッドサイズを変更して検査を行うことにより、欠陥検査装置１０は様々な欠陥を検出することが可能となる。すなわち、グリッドサイズを小さく設定することにより、欠陥検査装置１０は局所的な傷や凹凸について検出することが可能となる。そして、グリッドサイズを大きく設定することにより、欠陥検査装置１０はこれまで検出が困難であった僅かな面歪みも検出することが可能となる。 According to the second embodiment described above, the defect inspection apparatus 10 can detect various defects by changing the grid size and performing inspection. That is, by setting the grid size to be small, the defect inspection apparatus 10 can detect local flaws and irregularities. Then, by setting the grid size to a large size, the defect inspection apparatus 10 can also detect slight surface distortion that has been difficult to detect.
以上に説明した実施の形態において、グリッドの割り当てと、グリッド内の平均輝度値の比較については、これまで説明してきたように、整列画像の全ての範囲にグリッドを割り当ててもよいが、別の方法を用いても良い。例えば、ＰＣ１２は整列画像よりも小さく、グリッドサイズよりも大きい範囲を設定し、この範囲毎に平均輝度値の比較を行い、点数の加算を行ってもよい。例えば、この範囲のことをブロックと呼ぶことにする。このような手法を採用することにより、処理の繰り返し頻度は上がるが、ブロックサイズごとに処理できる。そのため、ＰＣ１２は少ないメモリサイズで計算を実行することが可能になる。 In the embodiment described above, the grid assignment and the comparison of the average luminance value in the grid may assign the grid to the entire range of the aligned image as described above, but another A method may be used. For example, the PC 12 may set a range smaller than the aligned image and larger than the grid size, compare the average luminance value for each range, and perform score addition. For example, this range is called a block. By adopting such a method, although the repetition frequency of processing is increased, processing can be performed for each block size. Therefore, the PC 12 can execute calculations with a small memory size.
なお、本発明は上記実施の形態に限られたものではなく、ここで説明した内容に加えて、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図２を参照して説明した撮影画像の画質調整は、ここで説明した例示に限られないし、検出精度が確保できる場合にはこれらの処理を省略してもよい。また図６のステップＳ２６０において説明した点数の加算については、重みづけを用いた点数の加算を採用してもよいし、乗算を採用しても良い。欠陥候補を検出する目的の計算であれば、様々な演算を行ってもよい。 The present invention is not limited to the above-described embodiment, and in addition to the contents described above, the present invention can be appropriately modified without departing from the scope of the present invention. For example, the image quality adjustment of the photographed image described with reference to FIG. 2 is not limited to the example described here, and these processes may be omitted if the detection accuracy can be ensured. Moreover, about addition of the score demonstrated in FIG.6 S260, addition of the score which used weighting may be employ | adopted and you may employ | adopt multiplication. Various calculations may be performed as long as the calculation is for the purpose of detecting a defect candidate.
１０ 欠陥検査装置
１１ 撮像部
１２ ＰＣ
１３ 照明部
１４ レンズ
１５ 検査対象物
３０ 整列画像
３１ 検査画像
Ｇ（ｉ，ｊ） 領域
Ｂ（ｉ，ｊ） 平均輝度値
10 defect inspection apparatus 11 imaging unit 12 PC
13 illumination unit 14 lens 15 inspection object 30 aligned image 31 inspection image G (i, j) area B (i, j) average luminance value
Claims (2)
前記撮影手段によって撮影された前記検査画像を画像処理する処理手段と、
を備え、
前記処理手段は、
前記検査画像と、当該検査画像と同一の部位を前記撮影手段によって撮影した複数の良品画像と、を並べて第１の整列画像を作成し、
前記第１の整列画像を複数の領域に分割し、
前記領域の平均輝度値をそれぞれ算出し、
互いに隣接する前記領域の前記平均輝度値を比較し、前記平均輝度値の差が基準値を超えた場合に前記領域に点数を加算し、
前記第１の整列画像の、前記検査画像及び前記複数の良品画像を並べ替えて第２の整列画像を作成し、
前記第２の整列画像に対して前記領域の分割から前記点数の加算までを繰り返し、
累積した前記点数に基づいて、前記検査画像の中に欠陥が含まれるか否かを出力する、
欠陥検査装置。 An imaging unit configured to capture an inspection image of an inspection object on which an irradiation pattern of a predetermined light is projected;
Processing means for performing image processing on the inspection image photographed by the photographing means;
Equipped with
The processing means
The first inspection image is created by arranging the inspection image and a plurality of non-defective images in which the same portion as the inspection image is captured by the imaging unit.
Dividing the first aligned image into a plurality of regions;
Calculating the average luminance value of the area,
Comparing the average luminance values of the regions adjacent to each other, and adding a score to the regions when the difference between the average luminance values exceeds a reference value;
The inspection image and the plurality of non-defective images of the first alignment image are rearranged to create a second alignment image,
The division of the area to the addition of the score is repeated for the second aligned image,
Based on the accumulated points, it is output whether or not a defect is included in the inspection image.
Defect inspection device.
前記点数の加算をした後、
前記領域のサイズを変更して前記平均輝度値の算出から前記点数の加算までを繰り返し、
さらに前記第１の整列画像の、前記検査画像及び前記複数の良品画像を並べ替えて第２の整列画像を作成する、
請求項１に記載の欠陥検査装置。 The processing means
After adding the points,
Changing the size of the area and repeating the calculation of the average luminance value to the addition of the points;
Furthermore, the inspection image and the plurality of non-defective images of the first aligned image are rearranged to create a second aligned image.
The defect inspection apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016127958A JP6546125B2 (en) | 2016-06-28 | 2016-06-28 | Defect inspection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016127958A JP6546125B2 (en) | 2016-06-28 | 2016-06-28 | Defect inspection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018004324A JP2018004324A (en) | 2018-01-11 |
| JP6546125B2 true JP6546125B2 (en) | 2019-07-17 |
Family
ID=60946567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016127958A Active JP6546125B2 (en) | 2016-06-28 | 2016-06-28 | Defect inspection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6546125B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109900723A (en) * | 2019-04-26 | 2019-06-18 | 李配灯 | Glass surface defects detection method and device |
| JP7344155B2 (en) | 2020-02-21 | 2023-09-13 | 日鉄テックスエンジ株式会社 | Crack detection device, crack detection method and program for hole expansion test |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003065964A (en) * | 2001-08-28 | 2003-03-05 | Daihatsu Motor Co Ltd | Coating-irregularity inspecting method |
| JP2006220644A (en) * | 2005-01-14 | 2006-08-24 | Hitachi High-Technologies Corp | Method and apparatus for inspecting pattern |
| JP2006308376A (en) * | 2005-04-27 | 2006-11-09 | Tokyo Seimitsu Co Ltd | Visual inspection device and visual inspection method |
| JP2007132757A (en) * | 2005-11-09 | 2007-05-31 | Osaka City | Visual examination method and device |
| KR20090100615A (en) * | 2008-03-20 | 2009-09-24 | 삼성전자주식회사 | Method of detecting a defect on an object |
| JP5821708B2 (en) * | 2012-03-06 | 2015-11-24 | トヨタ自動車株式会社 | Defect inspection apparatus and defect inspection method |
-
2016
- 2016-06-28 JP JP2016127958A patent/JP6546125B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018004324A (en) | 2018-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018025565A5 (en) | ||
| JP4174536B2 (en) | Image correction apparatus, image inspection apparatus, and image correction method | |
| JP2014167476A5 (en) | ||
| JP2006030518A (en) | Pattern inspection method | |
| JP2008051617A (en) | Image inspection device, image inspection method and recording medium | |
| JP6546125B2 (en) | Defect inspection device | |
| JP2014215163A (en) | Inspection apparatus | |
| JP2005172559A (en) | Method and device for detecting line defect on panel | |
| KR102440742B1 (en) | Inspecting system for semiconductor device and operating method of the same | |
| KR101261016B1 (en) | method and apparatus for automatic optical inspection of flat panel substrate | |
| JP2010287442A (en) | Inspection method for battery, and inspection device for battery | |
| JP2009139133A (en) | Flaw detection method and flaw detector | |
| JP5557271B2 (en) | Radiation inspection apparatus, radiation inspection method, and radiation inspection program | |
| JP2005165387A (en) | Method and device for detecting stripe defective of picture and display device | |
| US9230337B2 (en) | Analysis of the digital image of the internal surface of a tyre and processing of false measurement points | |
| JP2005106725A (en) | Method and apparatus for visual inspection of object to be inspected | |
| JP4277026B2 (en) | Pattern inspection apparatus and pattern inspection method | |
| JP2002310937A (en) | Method and apparatus for inspection of defect | |
| TWI477768B (en) | Method and apparatus for automatic optical inspection of flat panel substrate | |
| TWI689869B (en) | Image inspection method | |
| JP7258509B2 (en) | Image processing device, image processing method, and image processing program | |
| TW201514474A (en) | Method of detecting defect on optical film with periodic structure and device thereof | |
| JP2006145228A (en) | Unevenness defect detecting method and unevenness defect detector | |
| JP6324289B2 (en) | Surface inspection device | |
| JP2004219072A (en) | Method and apparatus for detecting streak defect of screen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6546125 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |