JP2013200238A - Image inspection method and image inspection device - Google Patents
Image inspection method and image inspection device Download PDFInfo
- Publication number
- JP2013200238A JP2013200238A JP2012069227A JP2012069227A JP2013200238A JP 2013200238 A JP2013200238 A JP 2013200238A JP 2012069227 A JP2012069227 A JP 2012069227A JP 2012069227 A JP2012069227 A JP 2012069227A JP 2013200238 A JP2013200238 A JP 2013200238A
- Authority
- JP
- Japan
- Prior art keywords
- image
- defective
- mahalanobis distance
- feature amount
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、検査対象物の画像から良否を判断する画像検査装置に関する。 The present invention relates to an image inspection apparatus that determines pass / fail from an image of an inspection object.
従来、対象物を撮影して画像を取得し、取得した画像について処理を実行することで、製品の検査や対象物の検出を行なう技術が知られている。例えば、ＭＴＳ（Mahalanobis-Taguchi System：マハラノビスタグチシステム）法を用いた技術が開示されている。 2. Description of the Related Art Conventionally, a technique for inspecting a product and detecting an object by capturing an image of an object and acquiring an image and executing processing on the acquired image is known. For example, a technique using an MTS (Mahalanobis-Taguchi System) method is disclosed.
特開２０１０−２７６４８１号公報（特許文献１）には、画像処理装置が開示されている。画像処理装置は、検査対象品を撮影して多数の画素からなる画像を取得する撮影部と、撮影部で取得した画像に基づき検査対象品が良品であるか不良品であるかを判別する判別部とを含む。記憶部の算出パラメータは、良品画像群を構成する各画像の各画素における輝度値と、良品画像群を構成する各画像の各画素における当該画素と隣接する画素との間の輝度の差分値と、良品画像群を構成する各画像の各画素における当該画素及び周囲の画素との輝度の積分値との、相関係数行列から算出される。判別部は、検査対象品の画像について、良品画像群のデータとの統計的距離を算出し、該算出された統計的距離が所定範囲にあるか否かを判別する。 Japanese Patent Laying-Open No. 2010-276481 (Patent Document 1) discloses an image processing apparatus. The image processing apparatus captures an inspection target product and acquires an image composed of a large number of pixels, and determines whether the inspection target product is a non-defective product or a defective product based on the image acquired by the imaging unit. Part. The calculation parameter of the storage unit includes a luminance value at each pixel of each image constituting the non-defective image group and a luminance difference value between the pixel adjacent to the pixel at each pixel of each image constituting the non-defective image group. Then, it is calculated from a correlation coefficient matrix of the luminance value of the pixel and surrounding pixels in each pixel of each image constituting the non-defective image group. The determination unit calculates a statistical distance between the image of the inspection target product and the non-defective image group data, and determines whether or not the calculated statistical distance is within a predetermined range.
また、特開平１１−３０６３２５号公報（特許文献２）には、対象物検出装置が開示されている。対象物検査装置は、画像入力部から取り込んだ顔画像を含む入力画像に対して、照合領域位置指定部により領域モデルを当て嵌める被照合局所領域の位置を指定する。対象物検査装置は、指定した被照合局所領域毎に輝度正規化部により輝度正規化を行い、さらに、画像処理部によりエッジ検出等の画像処理を行う。そして、対象物検査装置は、判定要素取得部により被照合局所領域の正規化され、画像処理された画像に対して顔の領域モデルを当て嵌めて領域モデル内の各判定要素取得領域の特徴量を抽出し、マハラノビス距離判定部にて抽出した特徴量に基づいて各被照合局所領域毎にマハラノビス距離を算出し、この算出結果により顔の検出を行う。 Japanese Patent Laid-Open No. 11-306325 (Patent Document 2) discloses an object detection device. The target object inspection apparatus designates the position of the collation local region to which the region model is fitted by the collation region position designation unit with respect to the input image including the face image captured from the image input unit. The object inspection apparatus performs luminance normalization by the luminance normalization unit for each designated local region to be verified, and further performs image processing such as edge detection by the image processing unit. Then, the object inspection apparatus normalizes the local area to be verified by the determination element acquisition unit and applies the face area model to the image that has been subjected to image processing, so that the feature amount of each determination element acquisition area in the area model And the Mahalanobis distance is calculated for each local area to be checked based on the feature quantity extracted by the Mahalanobis distance determination unit, and the face is detected based on the calculation result.
しかしながら、上記の技術によると、良品の画像に特徴量がほとんどない（すなわち、フィルムや金属板等の良品画像においては、画像ごとのコントラストの面内変化の差など、画像ごとの特徴量の差がほとんどない）場合には、マハラノビス距離を算出するために必要となる、良品画像を用いた逆行列計算を実行することができず、良品画像のマハラノビス距離を算出できないという問題があった。 However, according to the above technique, there is almost no feature amount in a non-defective image (that is, a non-defective image such as a film or a metal plate has a difference in feature amount for each image such as a difference in in-plane contrast change for each image. In the case where there is almost no image, the inverse matrix calculation using the non-defective image necessary for calculating the Mahalanobis distance cannot be executed, and the Mahalanobis distance of the good image cannot be calculated.
本発明は、上記のような問題点を解決するためになされたものであって、画像の特徴量から算出されるマハラノビス距離による良否判断をより正確に実行することが可能な画像検査方法、および画像検査装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and is an image inspection method capable of more accurately executing pass / fail judgment based on the Mahalanobis distance calculated from the image feature amount, and An object is to provide an image inspection apparatus.
本発明のある局面に従うと、検査対象物の良否を判断する画像検査方法が提供される。画像検査方法は、予め良品であることが判っている複数の良品対象物を撮像して複数の良品画像を取得するステップと、複数の良品画像の各々について複数の特徴量を取得するステップと、複数の良品画像の各々について、複数の良品画像の全体についての特徴量ごとの平均値と、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、に基づいて、第１のパラメータを算出するステップと、複数の良品画像の各々について、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、当該良品画像の各特徴量の２乗和と、に基づいて、第２のパラメータを算出するステップと、複数の良品画像の各々についての第１および第２のパラメータに基づいて、良品画像ごとのマハラノビス距離を算出するとともに、良品画像ごとのマハラノビス距離から基準マハラノビス距離を算出するステップと、検査対象物を撮像して被検査画像を取得するステップと、被検査画像について複数の特徴量を取得するステップと、被検査画像についての第１および第２のパラメータを算出するとともに、算出した第１および第２のパラメータに基づいて、被検査画像のマハラノビス距離を算出するステップと、被検査画像のマハラノビス距離と基準マハラノビス距離とに基づいて、検査対象物の良否を判断するステップとを含む。 According to a certain aspect of the present invention, an image inspection method for determining the quality of an inspection object is provided. The image inspection method includes a step of acquiring a plurality of non-defective images by imaging a plurality of non-defective objects known to be non-defective in advance, a step of acquiring a plurality of feature amounts for each of the plurality of non-defective images, For each of the plurality of non-defective images, based on the product sum of the average value for each feature amount for the entire non-defective image and the average value for each feature amount corresponding to the plurality of feature amounts of the non-defective image. The step of calculating the first parameter, for each of the plurality of non-defective images, the product sum of the plurality of feature amounts of the non-defective image and the average value for each corresponding feature amount, and the feature amount of the non-defective image Calculating a second parameter based on the sum of squares; calculating a Mahalanobis distance for each good image based on the first and second parameters for each of the plurality of good images; A step of calculating a reference Mahalanobis distance from a Mahalanobis distance for each product image, a step of capturing an inspection object to acquire an inspection image, a step of acquiring a plurality of feature quantities for the inspection image, and an inspection image And calculating the Mahalanobis distance of the inspected image based on the calculated first and second parameters, and the Mahalanobis distance and the reference Mahalanobis distance of the inspected image. And determining whether the inspection object is good or bad.
好ましくは、画像検査方法は、予め不良品であること、および対応する異常モードが判っている複数の不良品対象物を撮像して、異常モードごとに複数の不良品画像を取得するステップと、複数の不良品画像の各々について複数の特徴量を取得するステップと、複数の不良品画像の各々について、第１のパラメータおよび第２のパラメータを算出するステップと、各異常モードに属する不良品画像の第１および第２のパラメータに基づいて、異常モードごとのマハラノビス距離を算出するステップと、被検査画像のマハラノビス距離と異常モードごとのマハラノビス距離とに基づいて、不良品であると判断された検査対象物の異常モードを判断するステップとを含む。 Preferably, the image inspection method captures a plurality of defective product objects that are previously defective products and the corresponding abnormal modes are known, and acquires a plurality of defective product images for each abnormal mode; Acquiring a plurality of feature quantities for each of a plurality of defective product images, calculating a first parameter and a second parameter for each of the plurality of defective product images, and a defective product image belonging to each abnormal mode Based on the first and second parameters, the step of calculating the Mahalanobis distance for each abnormal mode and the Mahalanobis distance of the inspected image and the Mahalanobis distance for each abnormal mode were determined to be defective. Determining an abnormal mode of the inspection object.
好ましくは、複数の特徴量を取得するステップは、対象の画像を基準閾値に基づいて２値化処理することによって２値化画像を生成し、２値化画像に基づいて不良品と判断される要因とは異なる要因で生じたノイズを除外した実効検査領域を抽出し、実効検査領域に基づいて特徴量を取得するステップを含む。 Preferably, in the step of acquiring a plurality of feature amounts, a binarized image is generated by binarizing the target image based on a reference threshold, and the defective image is determined based on the binarized image. The method includes a step of extracting an effective inspection area from which noise caused by a factor different from the factor is excluded, and acquiring a feature amount based on the effective inspection area.
好ましくは、特徴量は、実効検査領域の各画素における輝度、各画素における濃度、面積、縦横比、縦横の長さの少なくとも１つを含む。 Preferably, the feature amount includes at least one of luminance in each pixel of the effective inspection region, density in each pixel, area, aspect ratio, and length in length and width.
好ましくは、特徴量を取得するステップは、実効検査領域に対してハフ変換を行ない、異常領域の直線成分を検出し、検出された直線成分に基づいて特徴量を取得するステップを含む。 Preferably, the step of acquiring the feature amount includes a step of performing Hough transform on the effective inspection region, detecting a linear component of the abnormal region, and acquiring the feature amount based on the detected linear component.
好ましくは、特徴量は、直線成分の長さ、本数の少なくとも１つを含む。
好ましくは、基準マハラノビス距離を算出するステップは、良品画像ごとのマハラノビス距離を平均するステップを含む。
Preferably, the feature amount includes at least one of the length and number of linear components.
Preferably, the step of calculating the reference Mahalanobis distance includes a step of averaging the Mahalanobis distance for each good product image.
本発明の別の局面に従うと、検査対象物の良否を判断する画像検査装置が提供される。画像検査装置は、予め良品であることが判っている複数の良品対象物を撮像して得られる複数の良品画像の各々について複数の特徴量を取得する第１の特徴量取得部と、複数の良品画像の各々について、複数の良品画像の全体についての特徴量ごとの平均値と、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、に基づいて、第１のパラメータを算出し、複数の良品画像の各々について、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、当該良品画像の各特徴量の２乗和と、に基づいて、第２のパラメータを算出する第１の算出部と、複数の良品画像の各々についての第１および第２のパラメータに基づいて、良品画像ごとのマハラノビス距離を算出するとともに、良品画像ごとのマハラノビス距離から基準マハラノビス距離を算出する第１の距離算出部と、検査対象物を撮像して得られる被検査画像について複数の特徴量を取得する第２の特徴量取得部と、被検査画像についての第１および第２のパラメータを算出する第２の算出部と、算出した第１および第２のパラメータに基づいて、被検査画像のマハラノビス距離を算出する第２の距離算出部と、被検査画像のマハラノビス距離と基準マハラノビス距離とに基づいて、検査対象物の良否を判断する判断部とを備える。 If another situation of this invention is followed, the image inspection apparatus which judges the quality of a test object will be provided. The image inspection apparatus includes: a first feature amount acquisition unit that acquires a plurality of feature amounts for each of a plurality of non-defective images obtained by imaging a plurality of non-defective products that are known to be non-defective items; For each non-defective image, based on the product sum of the average value for each feature amount for the entire non-defective image and the average value for each feature amount corresponding to the plurality of feature amounts of the good image, For each of a plurality of non-defective images, a product sum of a plurality of feature amounts of the non-defective image and an average value for each corresponding feature amount, and a square sum of each feature amount of the non-defective image are calculated. , Based on the first calculation unit for calculating the second parameter, the Mahalanobis distance for each non-defective image based on the first and second parameters for each of the non-defective images, Mahalanobis per image A first distance calculation unit that calculates a reference Mahalanobis distance from the distance, a second feature amount acquisition unit that acquires a plurality of feature amounts for an inspected image obtained by imaging an inspection object, and an inspected image A second calculation unit that calculates the first and second parameters, a second distance calculation unit that calculates the Mahalanobis distance of the inspection image based on the calculated first and second parameters, and the inspection image And a determination unit that determines the quality of the inspection object based on the Mahalanobis distance and the reference Mahalanobis distance.
以上のように、ある局面によれば、画像の特徴量から算出されるマハラノビス距離による良否判断をより正確に実行することが可能となる。 As described above, according to a certain aspect, it is possible to more accurately execute the pass / fail judgment based on the Mahalanobis distance calculated from the feature amount of the image.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての同一部分については、その詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, the detailed description of the same parts will not be repeated.
＜Ａ．概要＞
本実施の形態に従う画像検査装置は各種の製造ラインに配置され、製造ラインを流れる製品／半製品などを撮像して非破壊で検査する。
<A. Overview>
The image inspection apparatus according to the present embodiment is arranged on various production lines, and images products / semi-products and the like flowing through the production lines to inspect non-destructively.
具体的には、画像検査装置は、予め良品であることが判っている複数の良品対象物を撮像して得られた複数の良品画像の各々について複数の特徴量を取得し、当該特徴量に基づいて良品画像ごとの基準マハラノビス距離を算出する。次に、画像検査装置は、複数の検査対象物を撮像して得られた被検査画像の複数の特徴量を取得し、当該特徴量に基づいて被検査画像のマハラノビス距離を算出する。そして、画像検査装置は、被検査画像のマハラノビス距離と基準マハラノビス距離とに基づいて、検査対象物の良否を判断する。 Specifically, the image inspection apparatus acquires a plurality of feature amounts for each of a plurality of non-defective images obtained by imaging a plurality of non-defective products that are known to be non-defective items in advance, Based on this, the reference Mahalanobis distance for each good image is calculated. Next, the image inspection apparatus acquires a plurality of feature amounts of an inspection image obtained by imaging a plurality of inspection objects, and calculates a Mahalanobis distance of the inspection image based on the feature amounts. Then, the image inspection apparatus determines pass / fail of the inspection object based on the Mahalanobis distance of the image to be inspected and the reference Mahalanobis distance.
以下、上記のような画像検査装置およびその検査方式について詳細に説明する。
＜Ｂ．ハードウェア構成＞
図１は、本実施の形態に従う画像検査装置１００のハードウェア構成を示すブロック図である。
Hereinafter, the image inspection apparatus and the inspection method thereof will be described in detail.
<B. Hardware configuration>
FIG. 1 is a block diagram showing a hardware configuration of image inspection apparatus 100 according to the present embodiment.
図１を参照して、画像検査装置１００は、主たる構成として、ＣＰＵ（Central Processing Unit）１０２と、画像検査装置１００の使用者による指示の入力を受けるキーボード１０４およびマウス１０６と、メモリ１０８と、各種情報を表示するためのディスプレイ１１０と、メモリインターフェイス（Ｉ／Ｆ）１１２と、通信インターフェイス（Ｉ／Ｆ）１１６とを含む。各ハードウェアは、相互にデータバスによって接続されている。 Referring to FIG. 1, an image inspection apparatus 100 mainly includes a CPU (Central Processing Unit) 102, a keyboard 104 and a mouse 106 that receive an instruction input by a user of the image inspection apparatus 100, a memory 108, A display 110 for displaying various information, a memory interface (I / F) 112, and a communication interface (I / F) 116 are included. Each hardware is mutually connected by a data bus.
ＣＰＵ１０２は、メモリ１０８に記憶されたプログラムを読み出して実行することで、画像検査装置１００の各部を制御する。より詳細にはＣＰＵ１０２は、当該プログラムを実行することによって、後述する画像検査装置１００の処理（ステップ）の各々を実現する。ＣＰＵ１０２は、例えば、マイクロプロセッサ（Microprocessor）である。なお、当該ハードウェアは、ＣＰＵ以外のＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）およびその他の演算機能を有する回路などであってもよい。 The CPU 102 controls each unit of the image inspection apparatus 100 by reading and executing a program stored in the memory 108. More specifically, the CPU 102 implements each process (step) of the image inspection apparatus 100 described later by executing the program. The CPU 102 is, for example, a microprocessor. The hardware may be an FPGA (Field Programmable Gate Array) other than the CPU, an ASIC (Application Specific Integrated Circuit), a circuit having other arithmetic functions, or the like.
メモリ１０８は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ハードディスクなどによって実現される。メモリ１０８は、ＣＰＵ１０２によって実行されるプログラム、データなどを記憶する。 The memory 108 is realized by a RAM (Random Access Memory), a ROM (Read-Only Memory), a hard disk, or the like. The memory 108 stores programs and data executed by the CPU 102.
画像検査装置１００における処理は、各ハードウェアおよびＣＰＵ１０２により実行されるプログラムによって実現される。このようなプログラムは、メモリ１０８に予め記憶されている場合がある。また、プログラムは、記録媒体１１４に格納されて流通している場合もある。あるいは、プログラムは、いわゆるインターネットに接続されている情報提供事業者によって、ダウンロード可能なものとして提供される場合もある。このようなプログラムは、メモリインターフェイス１１２を介して、あるいは、通信インターフェイス１１６を介してダウンロードされた後、メモリ１０８に格納される。 The processing in the image inspection apparatus 100 is realized by each hardware and a program executed by the CPU 102. Such a program may be stored in the memory 108 in advance. The program may be stored in the recording medium 114 and distributed. Alternatively, the program may be provided as a downloadable program by an information provider connected to the so-called Internet. Such a program is stored in the memory 108 after being downloaded through the memory interface 112 or the communication interface 116.
図１に示される画像検査装置１００を構成する各ハードウェアは、一般的なものである。したがって、画像検査装置１００の各ハードウェアの動作は周知であるので、詳細な説明は行なわない。 Each hardware which comprises the image inspection apparatus 100 shown by FIG. 1 is common. Therefore, the operation of each hardware of the image inspection apparatus 100 is well-known and will not be described in detail.
＜Ｃ．検査対象物＞
ここでは、本実施の形態に従う画像検査装置１００が金属板を検査対象物とする場合について説明する。
<C. Inspection object>
Here, a case where image inspection apparatus 100 according to the present embodiment uses a metal plate as an inspection object will be described.
（ｃ１．金属板の製造工程）
上述したように、本実施の形態に従う画像検査装置１００は各種の製造ラインに配置され、製造ラインを流れる製品／半製品などを検査工程において撮像して非破壊で検査する。
(C1. Metal plate manufacturing process)
As described above, the image inspection apparatus 100 according to the present embodiment is arranged on various production lines, and inspects non-destructively by imaging products / semi-products and the like flowing through the production line in an inspection process.
まず、このような製造ラインの一例として金属板の製造工程について説明する。
図２は、金属板の製造工程の一例を示すフローチャートである。ここでは、金属板は、１ｍｍ以下の金属薄膜であるものとする。
First, a metal plate manufacturing process will be described as an example of such a manufacturing line.
FIG. 2 is a flowchart showing an example of a metal plate manufacturing process. Here, the metal plate is assumed to be a metal thin film of 1 mm or less.
金属板の製造工程では、まず、溶融装置が、銅や金などの金属板を溶融し（ステップＳ１）、鋳造装置が、インゴット状に鋳造する（ステップＳ３）。次に、圧延装置が、鋳造されたインゴットを複数のロールで圧延し、当該金属板を薄板化する（ステップＳ５）。次に、脱脂洗浄装置が、金属表面に付着した油脂分を除去するとともに（脱脂）、洗浄する（ステップＳ７）。このとき、金属板には、薄板化される過程において、金属溶融時に内包された欠陥、表面に付着した汚れ、傷等が生じる場合がある。 In the metal plate manufacturing process, first, the melting device melts a metal plate such as copper or gold (step S1), and the casting device casts it into an ingot (step S3). Next, the rolling device rolls the cast ingot with a plurality of rolls to thin the metal plate (step S5). Next, the degreasing and cleaning device removes the fat and oil adhering to the metal surface (degreasing) and cleans (step S7). At this time, in the process of thinning the metal plate, there may be a defect included during melting of the metal, a stain attached to the surface, a scratch, or the like.
次に、レベリング工程において、小径ローラによって金属板の表面が平坦化される（ステップＳ９）。次に、検査装置が、金属板の外観を検査し、良品と不良品とを判断する（ステップＳ１１）。そして、金属板は、所定の幅で切断され（ステップＳ１３）、製品として出荷される（ステップＳ１５）。 Next, in the leveling step, the surface of the metal plate is flattened by the small diameter roller (step S9). Next, the inspection device inspects the appearance of the metal plate to determine whether the product is good or defective (step S11). Then, the metal plate is cut with a predetermined width (step S13) and shipped as a product (step S15).
（ｃ２．検査工程）
次に、ラインカメラにより撮像された金属板の画像に基づいて、当該金属板を検査する検査工程について説明する。
(C2. Inspection process)
Next, an inspection process for inspecting the metal plate based on the image of the metal plate taken by the line camera will be described.
図３は、検査工程の概要を示す図である。
図３を参照して、金属板は、レベリング工程において、表面が平坦化されると、検査工程に搬送される。そして、金属板は、ライトから光が照射された状態で、上下方向に設置されたラインカメラにより撮像された後、ロールに巻き取られていく。ラインカメラは、例えば、ＣＣＤ（Charge Coupled Device）カメラである。なお、ラインカメラにより撮像された金属板の画像は、画像検査装置１００に保存される。
FIG. 3 is a diagram showing an outline of the inspection process.
Referring to FIG. 3, the metal plate is transported to the inspection process when the surface is flattened in the leveling process. And a metal plate is taken up by the roll, after imaged with the line camera installed in the up-down direction in the state irradiated with light from the light. The line camera is, for example, a CCD (Charge Coupled Device) camera. Note that the image of the metal plate captured by the line camera is stored in the image inspection apparatus 100.
図４は、ラインカメラによって撮像された金属板の正常部の画像の一例である。
図４（Ａ）、（Ｂ）を参照して、金属板の正常部の画像（以下「良品画像」とも称す。）に関しては、画像に特徴的な部分がないことがわかる。すなわち、図４（Ａ）に示された良品画像と、図４（Ｂ）に示された良品画像には、特徴的な差がないことがわかる。
FIG. 4 is an example of an image of a normal part of a metal plate imaged by a line camera.
With reference to FIGS. 4A and 4B, it can be seen that there is no characteristic part in the image of the normal part of the metal plate (hereinafter also referred to as “non-defective image”). That is, it can be seen that there is no characteristic difference between the non-defective image shown in FIG. 4A and the good image shown in FIG.
図５は、ラインカメラによって撮像された金属板において異常部を有する画像の一例である。 FIG. 5 is an example of an image having an abnormal part on a metal plate imaged by a line camera.
図５を参照して、金属板の異常部を有する画像（以下「不良品画像」とも称す。）に関しては、画像に特徴的な部分があることがわかる。具体的には、図５（Ａ）を参照すると、画像の中央付近に縦方向に比較的細く黒い線状領域が存在し、これは、金属溶融時における微小な気泡等による金属欠陥によるものである。また、図５（Ｂ）を参照すると、中央付近に黒い微小領域が存在し、これは、圧延時のゴミ等の付着によるものである。図５（Ｃ）を参照すると、中央付近に黒い円状領域が存在し、これは、製造時の打痕によるものである。図５（Ｄ）を参照すると、中央付近に縦方向に比較的太く黒い線状領域が存在し、これは、製造時における傷によるものである。図５（Ａ）〜（Ｄ）のように、異常モードによって、画像の特徴となる異常部の形状、大きさが異なっていることがわかる。 Referring to FIG. 5, it can be seen that an image having an abnormal portion of a metal plate (hereinafter also referred to as “defective product image”) has a characteristic portion in the image. Specifically, referring to FIG. 5A, there is a relatively thin black line region in the vertical direction near the center of the image, which is due to a metal defect caused by a minute bubble or the like during metal melting. is there. Further, referring to FIG. 5B, there is a black minute region near the center, which is due to adhesion of dust or the like during rolling. Referring to FIG. 5C, there is a black circular region near the center, which is due to a dent during manufacture. Referring to FIG. 5D, there is a relatively thick and black linear region in the vertical direction in the vicinity of the center, which is due to scratches during manufacturing. As shown in FIGS. 5A to 5D, it can be seen that the shape and size of the abnormal portion that is a feature of the image are different depending on the abnormal mode.
＜Ｄ．マハラノビス距離、およびその算出方式＞
このような金属板を検査対象物として、画像検査する際には、上記のような異常モードの個々の個別判断は、その形状が無数にあるため、判断が困難となる。そこで、本願発明者らは、検査対象物の良否を判断には、良品画像データから算出した単位空間に対する距離を指標とする、マハラノビス距離による判断が適していることを見出した。
<D. Mahalanobis distance and calculation method>
When performing an image inspection using such a metal plate as an inspection object, it is difficult to make individual determinations in the abnormal mode as described above because there are innumerable shapes. Therefore, the inventors of the present application have found that the determination based on the Mahalanobis distance using the distance to the unit space calculated from the non-defective image data as an index is suitable for determining the quality of the inspection object.
（ｄ１．比較例）
まず、本実施の形態に従うマハラノビス距離の算出方式とは異なる比較例のマハラノビス距離の算出方式について、簡単に説明する。具体的には、これは、ＭＴ（Mahalanobis-Taguchi）法に基づく算出方式である。
(D1. Comparative example)
First, a Mahalanobis distance calculation method of a comparative example different from the Mahalanobis distance calculation method according to the present embodiment will be briefly described. Specifically, this is a calculation method based on the MT (Mahalanobis-Taguchi) method.
例えば、取得されたデータをＹｉｐ、データ項目数をｉ＝１〜ｋ、データセット数をｐ＝１〜ｎとし、データ項目ごとにデータＹｉｐの平均値Ｍｉと、標準偏差σｉとを計算する。 For example, the acquired data is Y ip , the number of data items is i = 1 to k, the number of data sets is p = 1 to n, the average value M i of the data Y ip for each data item, and the standard deviation σ i Calculate
次に、平均値Ｍｉおよび標準偏差σｉを用いて、次式（１）により基準化値ｙｉｐを計算する。 Next, the standardized value y ip is calculated by the following equation (1) using the average value M i and the standard deviation σ i .
次に、基準化値ｙｉｐを用いて、次式（２）および（３）により基準化値の相関行列Ｒを作成する。 Next, using the normalized value y ip , a correlation matrix R of the normalized values is created by the following equations (2) and (3).
次に、次式（４）により相関行列Ｒの逆行列ＡＭＴを作成する。 Next, an inverse matrix A MT of the correlation matrix R is created by the following equation (4).
最後に、次式（５）によりマハラノビス距離ＤＭＴ ２を計算する。 Finally, the Mahalanobis distance D MT 2 is calculated by the following equation (5).
（ｄ２．本実施の形態に従う算出例）
上記のｃ１に示した比較例によるマハラノビス距離の算出方式では、マハラノビス距離を算出するための基準単位である単位空間を算出するためには、複数の良品画像データを用いた逆行列計算が必要となる。しかし、図４で示したように、良品画像は画像上、特徴的な部分が少ないため、各良品画像ごとの特徴の差も小さい。このような場合、例えば、各良品画像における各画素の輝度や濃度を数値化したデータを用いた逆行列計算は、良品画像データ間の相関が高く、多重共線性が発生しまい、逆行列計算ができない。したがって、比較例のような算出方式では、マハラノビス距離を用いた良否判断が困難となる。なお、比較例で示したＭＴ法では特徴量間の相関性を考慮するために、相関逆行列の計算が数理上の制約となる。この制約が、具体的には「良品サンプル数が特徴項目数より多く必要である」、「特徴項目間の相関性が大きすぎると計算できない」といった問題を発生させる。
(D2. Calculation example according to the present embodiment)
In the Mahalanobis distance calculation method according to the comparative example shown in the above c1, in order to calculate a unit space that is a reference unit for calculating the Mahalanobis distance, an inverse matrix calculation using a plurality of non-defective image data is required. Become. However, as shown in FIG. 4, since the non-defective image has few characteristic parts on the image, the difference in the features for each non-defective image is small. In such a case, for example, the inverse matrix calculation using data obtained by quantifying the brightness and density of each pixel in each good product image has a high correlation between the good product image data, multi-collinearity occurs, and the inverse matrix calculation is performed. Can not. Therefore, it is difficult to make a pass / fail judgment using the Mahalanobis distance in the calculation method as in the comparative example. In the MT method shown in the comparative example, the calculation of the inverse correlation matrix is a mathematical constraint in order to consider the correlation between the feature quantities. Specifically, this restriction causes problems such as “the number of non-defective samples needs to be larger than the number of feature items” and “cannot be calculated if the correlation between feature items is too large”.
以上から、発明者らは、以下のような算出方式に従って、マハラノビス距離を算出した。 From the above, the inventors calculated the Mahalanobis distance according to the following calculation method.
ここでは、逆行列計算を実行することなく、マハラノビス距離が算出可能なＲＴ（Recognition-Taguchi）法を適用した算出方式について説明する。ＲＴ法は「品質工学のＳＮ比」の数理を導入することで特徴項目を感度とＳＮ比に集約するため、上述したＭＴ法における制約を受けない。 Here, a calculation method using an RT (Recognition-Taguchi) method capable of calculating the Mahalanobis distance without executing an inverse matrix calculation will be described. The RT method is not subject to the limitations of the MT method described above because the feature items are aggregated into the sensitivity and the S / N ratio by introducing the mathematical formula of “SNR of quality engineering”.
ＲＴ法では、判断する基準となる正常な状態のサンプル群（良品サンプル群）を「単位空間」として分類し、特徴項目のデータをＳＮ比と感度に変換する。各々ｋ個の特徴項目を有するｎ個のサンプルを例としたデータ例を以下の表１に示す。 In the RT method, a normal sample group (non-defective sample group) serving as a criterion for determination is classified as a “unit space”, and feature item data is converted into an SN ratio and sensitivity. Table 1 below shows an example of data using n samples each having k feature items as an example.
まず、特徴項目Ｘｋの各々について単位空間の特徴量Ｘｎｋの平均値「−Ｘｋ」を算出し、次式（６）により算出される有効除数ｒと、次式（７）により算出される線形式Ｌｊとに基づいて次式（８）により各々のサンプルについての感度βｊを算出する。なお、本来であれば、上記の平均値「−Ｘｋ」では、所要の文字の上にバーを付した表現をするべきであるが、表現方式に制約があるため、本明細書においては、所要の文字の上にバーを付す表現の代わりに、所要の文字の前に「−」を付して表現している。たとえば、単位空間の特徴量Ｘｎｋの平均値はＸｋの上にバーを記載するところを、便宜上「−Ｘｋ」と表記する。 First, the average value “−X k ” of the feature quantity X nk of the unit space is calculated for each feature item X k , and the effective divisor r calculated by the following equation (6) and the following equation (7) are calculated. The sensitivity β j for each sample is calculated by the following equation (8) based on the linear format L j . Originally, the above average value “−Xk” should be expressed with a bar on the required character, but the expression method is limited, so in this specification Instead of the expression with a bar above the character, the symbol “−” is added in front of the required character. For example, the average value of the feature quantity X nk of the unit space is expressed as “−X k ” for convenience, where a bar is written on X k .
次に、各々サンプルについてのＳＮ比ηjを求める。次式（９）により算出される全変動ＳＴｊと、次式（１０）により算出される比例項の変動Ｓβｊと、次式（１１）により算出される誤差変動Ｓｅｊと、次式（１２）により算出される誤差分散Ｖｅｊとに基づいて次式（１３）により各々サンプルについてのＳＮ比ηjを算出する。 Next, the SN ratio η j for each sample is obtained. Total variation S Tj calculated by the following equation (9), proportional term variation S βj calculated by the following equation (10), error variation S ej calculated by the following equation (11), Based on the error variance V ej calculated by 12), the SN ratio η j for each sample is calculated by the following equation (13).
上記のように算出された感度βｊとＳＮ比ηjを次式（１４）、（１５）によりそれぞれＹｊ１と、Ｙｊ２とに置き換える。 The sensitivity β j and SN ratio η j calculated as described above are replaced with Y j1 and Y j2 by the following equations (14) and (15), respectively.
そして、この感度βｊとＳＮ比ηjを相関性も考慮できる特徴量として集約する。集約後のデータを以下の表２に示す。 Then, the sensitivity β j and the SN ratio η j are collected as feature amounts that can also consider the correlation. The data after aggregation is shown in Table 2 below.
次に、この特徴量の相関関係を、次式（１６）により算出されるＹｊ１の分散Ｖ１１と、次式（１７）により算出されるＹｊ２の分散Ｖ２２と、次式（１８）により算出されるＹｊ１、Ｙｊ２の分散Ｖ１２と、次式（１９）により算出される分散・共分散行列Ｖとに基づいて次式（２０）により余因子行列Ａを算出することにより、多変量解析を行なう。 Next, the correlation between the feature amounts is expressed by the following equation (16): Y j1 variance V 11 calculated by the following equation (17): Y j2 variance V 22 calculated by the following equation (17): By calculating the cofactor matrix A by the following equation (20) based on the variance V 12 of Y j1 and Y j2 calculated by the following equation and the variance / covariance matrix V calculated by the following equation (19): Perform multivariate analysis.
そして、次式（２１）により相関関係を考慮した各サンプルの単位空間内のマハラノビス距離Ｄｊを算出し、次式（２２）によりマハラノビス距離の平均値Ｄを算出する。 Then, the Mahalanobis distance D j in the unit space of each sample in consideration of the correlation is calculated by the following equation (21), and the average value D of the Mahalanobis distance is calculated by the following equation (22).
次に、検査対象データのマハラノビス距離の算出方式について説明する。
検査対象サンプルのデータ例を以下の表３に示す。
Next, a method for calculating the Mahalanobis distance of inspection target data will be described.
Table 3 below shows an example of data of the sample to be inspected.
ここで、検査対象データのマハラノビス距離の算出方式は、上記の単位空間内のマハラノビス距離の算出方式と基本的に同様である。 Here, the calculation method of the Mahalanobis distance of the inspection target data is basically the same as the calculation method of the Mahalanobis distance in the unit space.
具体的には、まず、特徴項目ｘｋについての特徴量ｘk ２と、単位空間の特徴量Ｘｎｋの平均値「−Ｘｋ」とに基づいて線形式Ｌ’を算出し、線形式Ｌ’と有効除数ｒに基づいて、感度β’を算出する。次に、全変動ＳＴ’と、比例項の変動Ｓβ’と、誤差変動Ｓｅ’と、誤差分散Ｖｅ’とに基づいてＳＮ比η’を算出する。次に、感度β’とＳＮ比η’をそれぞれＹｊ１’と、Ｙｊ２’とに置き換える。そして、検査対象データのマハラノビス距離Ｄ’を算出する。具体的には、マハラノビス距離Ｄ’は、次式（２３）〜（３２）によって算出される。 Specifically, first, the line format L ′ is calculated based on the feature quantity x k 2 for the feature item x k and the average value “−X k ” of the feature quantity X nk of the unit space. Based on 'and the effective divisor r, the sensitivity β' is calculated. Next, the SN ratio η ′ is calculated on the basis of the total variation S T ′ , the variation S β ′ of the proportional term, the error variation S e ′, and the error variance V e ′ . Next, the sensitivity β ′ and the SN ratio η ′ are replaced with Y j1 ′ and Y j2 ′ , respectively. Then, the Mahalanobis distance D ′ of the inspection object data is calculated. Specifically, the Mahalanobis distance D ′ is calculated by the following equations (23) to (32).
上記のように、本実施の形態に従う算出方式によると、逆行列計算を実行することなくマハラノビス距離を算出できることがわかる。 As described above, according to the calculation method according to the present embodiment, it can be understood that the Mahalanobis distance can be calculated without executing the inverse matrix calculation.
＜Ｅ．特徴量の抽出＞
次に、上記のＲＴ法による画像解析に必要となる画像の特徴量を抽出するために、以下のような画像処理を実施する。
<E. Feature Extraction>
Next, in order to extract image feature amounts necessary for image analysis by the RT method, the following image processing is performed.
（ｅ１．画像の平滑化と判別分析法による２値化処理）
ここでは、ガウシアン分布に基づく画像の平滑化と、判別分析法を用いた画像処理による２値化処理について説明する。
(E1. Image smoothing and binarization by discriminant analysis)
Here, smoothing of an image based on a Gaussian distribution and binarization processing by image processing using a discriminant analysis method will be described.
まず、画像のノイズを除去するために、ガウシアン分布に基づいて、画像の輝度値を平坦化させる。 First, in order to remove image noise, the luminance value of the image is flattened based on the Gaussian distribution.
次に、判別分析法を適用した２値化処理を実行する。なお、判別分析法は、分離度（separation metrics）が最大となる閾値を求め、自動的に２値化を行う手法である。分離度はクラス間分散（between-class variance）とクラス内分散（within-class variance）との比で算出することができる。 Next, binarization processing to which the discriminant analysis method is applied is executed. The discriminant analysis method is a method of obtaining a threshold value that maximizes the separation metrics and automatically performing binarization. The degree of separation can be calculated by the ratio of between-class variance and within-class variance.
閾値ｔで２値化したとき、閾値ｔよりも輝度値が小さい側（黒クラス）の画素数をω１、平均をｍ１、分散をσ１、輝度値が大きい側（白クラス）の画素数をω２、平均をｍ２、分散をσ２、画像全体の画素数をωｔ、平均をｍｔ、分散をσｔとしたときクラス内分散σｗ ２は、次式（３３）によって算出される。 When binarization is performed with the threshold value t, the number of pixels on the side having a smaller luminance value than the threshold value t (black class) is ω 1 , the average is m 1 , the variance is σ 1 , and the pixel having the larger luminance value (white class) When the number is ω 2 , the average is m 2 , the variance is σ 2 , the number of pixels of the entire image is ω t , the average is m t , and the variance is σ t , the intraclass variance σ w 2 is expressed by the following equation (33): Calculated.
次に、クラス間分散σｂ ２および全分散（total variance）σｔは、それぞれ次式（３４）、（３５）によって算出される。 Next, the interclass variance σ b 2 and the total variance σ t are calculated by the following equations (34) and (35), respectively.
したがって、クラス間分散σb ２とクラス内分散σｗ ２との比である分離度は、次式（３６）によって算出される。 Therefore, the degree of separation, which is the ratio between the interclass variance σ b 2 and the intraclass variance σ w 2 , is calculated by the following equation (36).
そして、この分離度が最大となる閾値ｔを算出して、自動的に２値化処理がなされる。
次に、ラインカメラによって撮像された画像から検査対象となる金属板部分を抽出するために、予め抽出したい領域（金属板部分）が定められた、上記方式で２値化処理を行なった２値化画像を用いて、マスク処理を行なった。すなわち、以下の図６に示すように、ラインカメラによって撮像された画像から、金属板以外の部分を削除した（金属板部分を抽出した）。なお、ラインカメラによって撮像された各画像について、２値化処理の実施後に、処理前の状態に戻して金属板部分を抽出してもよい。
Then, a threshold value t that maximizes the degree of separation is calculated, and binarization processing is automatically performed.
Next, in order to extract the metal plate portion to be inspected from the image captured by the line camera, the binarization processing is performed by the above method in which the region (metal plate portion) to be extracted is determined in advance. Mask processing was performed using the converted image. That is, as shown in FIG. 6 below, portions other than the metal plate were deleted from the image captured by the line camera (the metal plate portion was extracted). In addition, about each image imaged with the line camera, after implementation of a binarization process, you may return to the state before a process and may extract a metal plate part.
図６は、本実施の形態に従う画像処理により、撮像された画像から金属板以外の部分を削除することを説明するための図である。 FIG. 6 is a diagram for explaining that a portion other than the metal plate is deleted from the captured image by the image processing according to the present embodiment.
図６を参照して、金属板以外の部分である画像の右端の黒領域が（図６（Ａ））、削除されていることがわかる（図６（Ｂ））。 Referring to FIG. 6, it can be seen that the black region at the right end of the image, which is a portion other than the metal plate (FIG. 6A), has been deleted (FIG. 6B).
（ｅ２．平均値による２値化処理、ラベリング処理および膨張処理）
次に、図６のように金属以外の部分を削除後、画像ノイズを削除し実効検査領域を抽出する。ここで、実効検査領域とは、２値化画像に基づいて不良品と判断される要因とは異なる要因で生じたノイズを除外したものである。すなわち、画像上、実際に検査すべき領域とは別の領域を除外したものである。ここでは、画像処理により、画像ノイズとして異常部ではない金属端のうねりによる影部が除外されることについて説明する。
(E2. Binarization processing by average value, labeling processing and expansion processing)
Next, as shown in FIG. 6, after removing portions other than metal, image noise is deleted and an effective inspection region is extracted. Here, the effective inspection area is obtained by excluding noise generated by a factor different from the factor determined as a defective product based on the binarized image. That is, an area other than the area to be actually inspected is excluded from the image. Here, it will be described that a shadow portion due to metal edge undulation that is not an abnormal portion is excluded as image noise by image processing.
図７は、本実施の形態に従う画像処理により、画像ノイズを削除し特徴量を抽出するための領域を特定することを説明するための図である。 FIG. 7 is a diagram for explaining that an area for deleting image noise and extracting a feature amount is specified by image processing according to the present embodiment.
図７を参照して、まず、画素の輝度の平均値を閾値として、画像に対して２値化処理が実施される（図７（Ａ））。 Referring to FIG. 7, first, binarization processing is performed on an image using an average value of luminance of pixels as a threshold (FIG. 7A).
次に、２値化処理後の画像に対して、ラベリング処理を実施する。ここで、ラベリング処理とは、２値化処理された画像において、白領域（または黒領域）が連続した画素に同じ番号を割り振る処理のことであり、同じ番号が割り振られた画素はひとつのオブジェクトと捉えることが可能となる。 Next, a labeling process is performed on the image after the binarization process. Here, the labeling process is a process of assigning the same number to pixels in which a white area (or black area) is continuous in a binarized image, and a pixel assigned the same number is a single object. It is possible to grasp.
次に、図７（Ａ）に示される中心の白い線状領域を画像の特徴量を取得する領域（以下「特徴量取得領域」とも称す。）として特定する。これは、例えば、画像をラベリング処理したときに抽出される白領域のオブジェクトが、画像上におけるどの位置に存在するかを解析することで特定される。この場合には、画像の端領域には、異常ではない金属端のうねりによる影部ができることが予め判っているため、画像の端にある比較的面積の大きい白領域（白いオブジェクト）が画像ノイズと判断される。したがって、中央の白い線状領域が画像の特徴量を取得する領域となる。 Next, the central white linear region shown in FIG. 7A is specified as a region for acquiring the feature amount of the image (hereinafter also referred to as “feature amount acquisition region”). This is specified, for example, by analyzing the position on the image where the object of the white area extracted when the image is labeled. In this case, since it is known in advance that a shadow portion due to undulation of a metal edge that is not abnormal is formed in the edge area of the image, a relatively large white area (white object) at the edge of the image is image noise. It is judged. Therefore, the central white linear region is a region for acquiring the feature amount of the image.
そして、特定された特徴量を抽出する領域における周辺部分に関しても白黒を逆転する膨張処理を実施する。膨張処理により互いに白、黒が異なる隣接した画素同士を白または黒に統一することなどにより、画像上の当該領域の特徴を強調する（図７（Ｂ））。 Then, expansion processing for reversing black and white is also performed on the peripheral portion in the region where the specified feature amount is extracted. The feature of the region on the image is emphasized by unifying adjacent pixels that are different in white and black into white or black by expansion processing (FIG. 7B).
上記のような画像処理により特定された特徴量取得領域における、画素ごとの輝度または濃度、面積、縦横比、縦横の最大長さの少なくとも１つを画像の特徴量として抽出する。 At least one of luminance or density, area, aspect ratio, and maximum horizontal and vertical length for each pixel in the characteristic amount acquisition region specified by the image processing as described above is extracted as an image characteristic amount.
（ｅ３．ハフ変換処理）
さらに、特定された特徴量抽出領域について、ハフ変換処理を実施する。
(E3. Hough conversion process)
Further, a Hough transform process is performed on the identified feature amount extraction region.
図８は、本実施の形態に従う画像処理により、特徴量抽出領域について直線成分を検出することを説明するための図である。 FIG. 8 is a diagram for explaining that a linear component is detected for a feature amount extraction region by image processing according to the present embodiment.
図８を参照して、図８（Ａ）に示す画像の中央の白い線状領域（特徴量抽出領域）について、ハフ変換処理を実施することにより、当該領域の直線成分を検出する（図８（Ｂ））。ここで、ハフ変換とは、いかなる点をとっても、その点を通る直線は無限個存在し、それぞれが様々な方向を向くという考え方を基本原理としている。ハフ変換を実施する場合、ある点に対して通る直線の本数を画素の解像度で規定し、各直線を、原点（画像の場合左上の画素）から直線に引いた法線の長さと角度である（ｌ，ｒ）をパラメータとして解析する。このような変換を実施することにより、あるオブジェクトがどのような方向と角度を有するのかを解析することができる。 Referring to FIG. 8, the Hough transform process is performed on the white linear region (feature amount extraction region) at the center of the image shown in FIG. 8A to detect the linear component of the region (FIG. 8). (B)). Here, the Hough transform is based on the concept that there is an infinite number of straight lines passing through any point and each point in various directions. When performing the Hough transform, the number of straight lines passing through a certain point is defined by the pixel resolution, and each straight line is the length and angle of a normal drawn from the origin (upper left pixel in the case of an image) to a straight line. (L, r) is analyzed as a parameter. By performing such conversion, it is possible to analyze what direction and angle a certain object has.
上記のようなハフ変換処理により検出された直線成分から、直線成分の長さ、本数の少なくとも１つを画像の特徴量として取得する。 At least one of the length and the number of the straight line components is acquired as the image feature amount from the straight line components detected by the Hough transform process as described above.
さらに、別途、画像のＸ軸（横方向）、Ｙ軸（縦方向）に関して、特定のＸ座標におけるＹ方向の画素輝度を積分した値、または、特定のＹ座標におけるＸ方向の画素輝度を積分した値を特徴量として取得する。例えば、上記の白い線状領域を含む、Ｘ座標におけるＹ方向の画素輝度の積分値、Ｙ座標におけるＸ方向の画素輝度の積分値を特徴量として取得する。なお、複数の座標ごとに算出される上記の複数の積分値を、それぞれ特徴量として取得してもよい。すなわち、例えば、Ｘ座標におけるＹ方向の画素輝度の積分値を１つの特徴量（特徴項目Ｘ１）、Ｙ座標におけるＸ方向の画素輝度の積分値を別の特徴量（特徴項目Ｘ２）として取得してもよい。 Furthermore, separately, with respect to the X axis (horizontal direction) and Y axis (vertical direction) of the image, a value obtained by integrating the pixel luminance in the Y direction at a specific X coordinate or the pixel luminance in the X direction at a specific Y coordinate is integrated. The obtained value is acquired as a feature value. For example, the integral value of the pixel luminance in the Y direction in the X coordinate and the integral value of the pixel luminance in the X direction in the Y coordinate including the white linear region described above are acquired as feature amounts. Note that the plurality of integral values calculated for each of a plurality of coordinates may be acquired as feature amounts. That is, for example, the integral value of the pixel luminance in the Y direction in the X coordinate is one feature amount (feature item X 1 ), and the integral value of the pixel luminance in the X direction in the Y coordinate is another feature amount (feature item X 2 ). You may get it.
＜Ｆ．機能構成＞
次に、本実施の形態に従う画像検査装置１００の機能構成について説明する。
<F. Functional configuration>
Next, a functional configuration of image inspection apparatus 100 according to the present embodiment will be described.
図９は、本実施の形態に従う画像検査装置１００の機能構成を示すブロック図である。
図９を参照して、画像検査装置１００は、複数の良品画像のマハラノビス距離の算出に関する機能構成として良品画像特徴量取得部１０（以下、単に「特徴量取得部１０」とも称す。）と、良品画像パラメータ算出部１２（以下、単に「パラメータ算出部１２」とも称す。）と、良品画像距離算出部１４（以下、単に「距離算出部１４」とも称す。）を含む。
FIG. 9 is a block diagram showing a functional configuration of image inspection apparatus 100 according to the present embodiment.
Referring to FIG. 9, image inspection apparatus 100 has a non-defective image feature quantity acquisition unit 10 (hereinafter, also simply referred to as “feature quantity acquisition unit 10”) as a functional configuration relating to calculation of Mahalanobis distances of a plurality of non-defective images. A non-defective image parameter calculation unit 12 (hereinafter also simply referred to as “parameter calculation unit 12”) and a non-defective image distance calculation unit 14 (hereinafter also simply referred to as “distance calculation unit 14”).
また、画像検査装置１００は、被検査画像のマハラノビス距離の算出に関する機能構成として特徴量取得部２０と、パラメータ算出部２２と、距離算出部２４とを含む。 Further, the image inspection apparatus 100 includes a feature amount acquisition unit 20, a parameter calculation unit 22, and a distance calculation unit 24 as a functional configuration related to the calculation of the Mahalanobis distance of the image to be inspected.
また、画像検査装置１００は、複数の不良品画像のマハラノビス距離の算出に関する機能構成として不良品画像特徴量取得部３０（以下、単に「特徴量取得部３０」とも称す。）と、不良品画像パラメータ算出部３２（以下、単に「パラメータ算出部３２」とも称す。）と、不良品画像距離算出部３４（以下、単に「距離算出部３４」とも称す。）を含む。 Further, the image inspection apparatus 100 has a defective product image feature amount acquisition unit 30 (hereinafter, also simply referred to as “feature amount acquisition unit 30”) and a defective product image as a functional configuration related to calculation of the Mahalanobis distance of a plurality of defective product images. A parameter calculation unit 32 (hereinafter also simply referred to as “parameter calculation unit 32”) and a defective product image distance calculation unit 34 (hereinafter also simply referred to as “distance calculation unit 34”) are included.
さらに、画像検査装置１００は、情報格納部４０と、判断部５０と、異常モード判断部５２とを含む。上述したこれらの機能は、基本的には、画像検査装置１００のＣＰＵ１０２がメモリ１０８に格納されたプログラムを実行し、画像検査装置１００の構成要素へ指令を与えることなどによって実現される。すなわち、ＣＰＵ１０２は画像検査装置１００の動作全体を制御する制御部としての機能を有する。なお、これらの機能構成の一部または全部はハードウェアで実現されていてもよい。 Furthermore, the image inspection apparatus 100 includes an information storage unit 40, a determination unit 50, and an abnormal mode determination unit 52. These functions described above are basically realized by the CPU 102 of the image inspection apparatus 100 executing a program stored in the memory 108 and giving instructions to the components of the image inspection apparatus 100. That is, the CPU 102 has a function as a control unit that controls the entire operation of the image inspection apparatus 100. Note that some or all of these functional configurations may be realized by hardware.
特徴量取得部１０は、予め良品であることがわかっている複数の良品対象物を撮像して得られた複数の良品画像の各々について複数の特徴量を取得する。具体的には、特徴量取得部１０は、対象の画像を基準閾値に基づいて２値化処理することによって２値化画像を生成し、２値化画像に基づいて不良品と判断される要因とは異なる要因で生じたノイズを除外した実効検査領域を抽出し、実効検査領域に基づいて特徴量を取得する。特徴量取得部１０は、実効検査領域から特定された特徴量取得領域の各画素における輝度、各画素における濃度、面積、縦横比、縦横の長さの少なくとも１つを特徴量として取得する。特徴量取得部１０は、特徴量取得領域に対してハフ変換を行ない、特徴量取得領域の直線成分を検出し、検出された直線成分に基づいて特徴量を取得する。特徴量取得部１０は、直線成分の長さ、本数の少なくとも１つを特徴量として取得する。 The feature amount acquisition unit 10 acquires a plurality of feature amounts for each of a plurality of non-defective images obtained by imaging a plurality of non-defective products that are known to be non-defective products in advance. Specifically, the feature amount acquisition unit 10 generates a binarized image by binarizing the target image based on the reference threshold value, and the factor that is determined as a defective product based on the binarized image An effective inspection area excluding noise caused by a different factor is extracted, and a feature amount is acquired based on the effective inspection area. The feature quantity acquisition unit 10 acquires at least one of the luminance, density, area, aspect ratio, and aspect ratio of each pixel in the feature quantity acquisition area specified from the effective inspection area as a feature quantity. The feature amount acquisition unit 10 performs Hough transform on the feature amount acquisition region, detects a linear component of the feature amount acquisition region, and acquires a feature amount based on the detected linear component. The feature quantity acquisition unit 10 acquires at least one of the length and number of linear components as a feature quantity.
パラメータ算出部１２は、複数の良品画像の各々について、複数の良品画像の全体についての特徴量ごとの平均値と、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、に基づいて、感度を算出する。パラメータ算出部１２は、複数の良品画像の各々について、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、当該良品画像の各特徴量の２乗和と、に基づいて、ＳＮ比を算出する。 The parameter calculation unit 12 calculates, for each of the plurality of non-defective images, a product of an average value for each feature amount for the entire plurality of non-defective images and an average value for each feature amount corresponding to the plurality of feature amounts of the non-defective image. Sensitivity is calculated based on the sum. For each of the plurality of non-defective images, the parameter calculation unit 12 adds a product sum of a plurality of feature amounts of the non-defective image and an average value for each corresponding feature amount, and a square sum of each feature amount of the non-defective image. Based on the above, the SN ratio is calculated.
距離算出部１４は、複数の良品画像の各々についての感度およびＳＮ比に基づいて、良品画像ごとのマハラノビス距離を算出する。距離算出部１４は、良品画像ごとのマハラノビス距離を平均した基準マハラノビス距離Ｄｇを算出する。 The distance calculation unit 14 calculates the Mahalanobis distance for each good product image based on the sensitivity and the SN ratio for each of the plurality of good product images. Distance calculating unit 14 calculates a reference Mahalanobis distance D g obtained by averaging the Mahalanobis distance for each non-defective image.
特徴量取得部２０は、検査対象物を撮像して得られた被検査画像について複数の特徴量を取得する。特徴量取得部２０は、各々の良品画像に対して特徴量取得部１０が実現する機能と同様の機能を被検査画像に対して実現する。 The feature amount acquisition unit 20 acquires a plurality of feature amounts for the inspected image obtained by imaging the inspection object. The feature quantity acquisition unit 20 realizes a function similar to the function realized by the feature quantity acquisition unit 10 for each non-defective image for the inspected image.
パラメータ算出部２２は、被検査画像についての感度とＳＮ比を算出する。
距離算出部２４は、被検査画像のマハラノビス距離Ｄоを算出する。
The parameter calculation unit 22 calculates the sensitivity and SN ratio for the image to be inspected.
The distance calculation unit 24 calculates the Mahalanobis distance Dо of the image to be inspected.
特徴量取得部３０は、予め不良品であること、および対応する異常モードが判っている複数の不良品対象物を撮像して、異常モードごとに得られる複数の不良品画像の各々について複数の特徴量を取得する。特徴量取得部３０は、各々の良品画像に対して特徴量取得部１０が実現する機能と同様の機能を異常モードごとに得られる複数の不良品画像の各々に対して実現する。 The feature amount acquisition unit 30 captures a plurality of defective product objects that are previously defective products and the corresponding abnormal modes are known, and a plurality of defective product images obtained for each abnormal mode. Get feature values. The feature quantity acquisition unit 30 realizes the same function as that realized by the feature quantity acquisition unit 10 for each good product image for each of the plurality of defective product images obtained for each abnormal mode.
パラメータ算出部３２は、複数の不良品画像の各々について感度とＳＮ比を算出する。
距離算出部３４は、各異常モードに属する不良品画像の感度およびＳＮ比に基づいて、異常モードごとのマハラノビス距離を算出する。距離算出部３４は、異常モードごとのマハラノビス距離を平均した異常モード基準マハラノビス距離Ｄｂｊを算出する。
The parameter calculation unit 32 calculates the sensitivity and the SN ratio for each of the plurality of defective product images.
The distance calculation unit 34 calculates the Mahalanobis distance for each abnormal mode based on the sensitivity and SN ratio of the defective product image belonging to each abnormal mode. The distance calculation unit 34 calculates an abnormal mode reference Mahalanobis distance D bj obtained by averaging the Mahalanobis distances for each abnormal mode.
情報格納部４０は、基準マハラノビス距離、異常モードごとのマハラノビス距離を格納する。情報格納部４０は、主にメモリ１０８によって実現される機能である。 The information storage unit 40 stores the reference Mahalanobis distance and the Mahalanobis distance for each abnormal mode. The information storage unit 40 is a function mainly realized by the memory 108.
判断部５０は、被検査画像のマハラノビス距離Ｄоと基準マハラノビス距離Ｄｇとに基づいて、検査対象物の良否を判断する。具体的には、判断部５０は、基準マハラノビス距離Ｄｇが被検査画像のマハラノビス距離Ｄоよりも大きい場合には、検査対象物が良品であると判断し、小さい場合には、検査対象物が不良品であると判断する。 Determining section 50, based on the Mahalanobis distance D o and the reference Mahalanobis distance D g of the inspection image to determine the quality of the inspection object. Specifically, the determining unit 50, when the reference Mahalanobis distance D g is larger than the Mahalanobis distance D o inspection image, it is determined that the inspection object is a good, if small, test object Is determined to be defective.
異常モード判断部５２は、被検査画像のマハラノビス距離Ｄоと異常モードごとの異常モード基準マハラノビス距離Ｄｂｊとに基づいて、不良品であると判断された検査対象物の異常モードを判断する。異常モード判断部５２は、具体的には、例えば、被検査画像のマハラノビス距離Ｄоと最も値が近い異常モード基準マハラノビス距離Ｄｂｊに対応する異常モードを、検査対象物の異常モードであると判断する。 The abnormal mode determination unit 52 determines the abnormal mode of the inspection object determined to be defective based on the Mahalanobis distance D о of the image to be inspected and the abnormal mode reference Mahalanobis distance D bj for each abnormal mode. Specifically, the abnormal mode determination unit 52 specifically determines that the abnormal mode corresponding to the abnormal mode reference Mahalanobis distance D bj having the closest value to the Mahalanobis distance D о of the image to be inspected is the abnormal mode of the inspection object. to decide.
＜Ｇ．処理手順＞
ここでは、画像検査装置１００が実行する一連の処理手順について説明する。
<G. Processing procedure>
Here, a series of processing procedures executed by the image inspection apparatus 100 will be described.
まず、本実施の形態に従う画像検査装置１００が実行するマハラノビス距離の算出処理手順（マハラノビス算出工程）について説明する。 First, the Mahalanobis distance calculation processing procedure (Mahalanobis calculation step) executed by image inspection apparatus 100 according to the present embodiment will be described.
図１０は、本実施の形態に従う画像検査装置１００が実行するマハラノビス距離の算出処理手順を示すフローチャートである。概略として、画像検査装置１００は、ラインカメラによって撮像されることにより、取得した撮像画像に基づいて、金属板画像の特徴量を取得し、取得した特徴量に基づいてマハラノビス距離を算出する。図１０に示す各ステップは、基本的には、ＣＰＵ１０２がプログラムを実行することで実現される。 FIG. 10 is a flowchart showing a Mahalanobis distance calculation processing procedure executed by image inspection apparatus 100 according to the present embodiment. As an outline, the image inspection apparatus 100 is captured by a line camera, acquires a feature amount of a metal plate image based on the acquired captured image, and calculates a Mahalanobis distance based on the acquired feature amount. Each step shown in FIG. 10 is basically realized by the CPU 102 executing a program.
図１０を参照して、ＣＰＵ１０２は、撮像画像について、ガウシアンフィルタによる平滑化を行なう（ステップＳ２０）。続いて、ＣＰＵ１０２は、当該平滑化がされた画像について、判別分析法による２値化処理を用いて、金属板以外の部分（画像端領域）を削除して、検査対象となる金属板部分を抽出する（ステップＳ２２）。続いて、ＣＰＵ１０２は、当該金属板部分が抽出された画像について、画素の輝度の平均値を閾値として２値化処理を実施するとともに、ラベリング処理により画像ノイズを削除して実効検査領域を抽出する（ステップＳ２４）。続いて、ＣＰＵ１０２は、当該実効検査領域を抽出された画像について、特徴量を取得する領域を特定し、当該領域について膨張処理を実施し、画像の特徴量を強調化する（ステップＳ２６）。続いて、ＣＰＵ１０２は、特徴量取得領域について、ハフ変換処理を行ない、当該領域の直線成分を検出する（ステップＳ２８）。そして、ＣＰＵ１０２は、金属板画像についての特徴量を取得する（ステップＳ３０）。具体的には、ＣＰＵ１０２は、特徴量取得領域から画素ごとの輝度または濃度、面積、縦横比、縦横の最大長さの少なくとも１つを画像の特徴量として取得する。また、ＣＰＵ１０２は、ハフ変換処理により検出された直線成分から、直線成分の長さ、本数の少なくとも１つを画像の特徴量として取得する。 Referring to FIG. 10, CPU 102 smoothes the captured image using a Gaussian filter (step S20). Subsequently, the CPU 102 uses the binarization processing by the discriminant analysis method for the smoothed image to delete a portion (image end region) other than the metal plate, and to detect the metal plate portion to be inspected. Extract (step S22). Subsequently, the CPU 102 performs a binarization process on the image from which the metal plate portion is extracted, using the average value of the luminance of the pixels as a threshold value, and deletes the image noise by the labeling process to extract an effective inspection area. (Step S24). Subsequently, the CPU 102 specifies a region from which the feature amount is acquired for the image from which the effective inspection region is extracted, performs an expansion process on the region, and emphasizes the feature amount of the image (step S26). Subsequently, the CPU 102 performs a Hough conversion process on the feature amount acquisition region, and detects a linear component of the region (step S28). And CPU102 acquires the feature-value about a metal plate image (step S30). Specifically, the CPU 102 acquires at least one of luminance or density, area, aspect ratio, and maximum vertical and horizontal length for each pixel from the feature amount acquisition region as the feature amount of the image. Further, the CPU 102 acquires at least one of the length and the number of straight line components as the image feature amount from the straight line components detected by the Hough transform process.
次に、ＣＰＵ１０２は、当該取得した特徴量を表１または２のように正規化する（ステップＳ３２）。続いて、ＣＰＵ１０２は、＜Ｄ．マハラノビス距離、およびその算出方式＞で説明したように、対象画像についての感度を算出し（ステップＳ３４）、同様にＳＮ比を算出する（ステップＳ３６）。続いて、ＣＰＵ１０２は、対象画像について、マハラノビス距離を算出する（ステップＳ３８）。具体的には、ＣＰＵ１０２は、対象画像が良品画像群のときには、基準マハラノビス距離Ｄｇを算出し、対象画像が不良品画像群のときには、異常モード基準マハラノビス距離Ｄｂｊを算出し、対象画像が被検査画像のときには、マハラノビス距離Ｄоを算出する。そして、処理は、終了する。 Next, the CPU 102 normalizes the acquired feature amount as shown in Table 1 or 2 (step S32). Subsequently, the CPU 102 determines that <D. As described in “Mahalanobis distance and calculation method thereof”, the sensitivity of the target image is calculated (step S34), and the SN ratio is calculated in the same manner (step S36). Subsequently, the CPU 102 calculates a Mahalanobis distance for the target image (step S38). Specifically, CPU 102, when the target image is a non-defective image group, calculates the standard Mahalanobis distance D g, when the target image is a defective image group, calculates the abnormal mode reference Mahalanobis distance D bj, the target image For an image to be inspected, the Mahalanobis distance Dо is calculated. Then, the process ends.
次に、画像検査装置１００が実行する検査処理手順について説明する。
図１１は、本実施の形態に従う画像検査装置１００が実行する検査処理手順を示すフローチャートである。概略として、画像検査装置１００は、基準マハラノビス距離Ｄｇおよび異常モードごとの異常モード基準マハラノビス距離Ｄｂｊと、マハラノビス距離Ｄоとを比較することにより、検査対象物の良否判断や、異常モードの判断を行なう。図１１に示す各ステップは、基本的には、ＣＰＵ１０２がプログラムを実行することで実現される。ここで、複数の良品対象物における複数の良品画像と複数の不良品対象物における複数の不良品画像とが、メモリ１０８に格納されているものとする。
Next, an inspection processing procedure executed by the image inspection apparatus 100 will be described.
FIG. 11 is a flowchart showing an inspection processing procedure executed by image inspection apparatus 100 according to the present embodiment. As schematically, an image inspection apparatus 100 includes a reference Mahalanobis distance D g and abnormal mode reference Mahalanobis distance for each abnormal mode D bj, by comparing the Mahalanobis distance D o, the quality determination and the test object, the abnormal mode Make a decision. Each step shown in FIG. 11 is basically realized by the CPU 102 executing a program. Here, it is assumed that a plurality of non-defective images of a plurality of non-defective products and a plurality of defective images of the plurality of defective products are stored in the memory 108.
図１１を参照して、ＣＰＵ１０２は、複数の良品対象物における複数の良品画像をメモリ１０８から取得する（ステップＳ１０２）。続いて、ＣＰＵ１０２は、上述したマハラノビス距離算出工程により、基準マハラノビス距離Ｄｇを算出する（ステップＳ１０４）。 Referring to FIG. 11, CPU 102 obtains a plurality of non-defective images of a plurality of non-defective products from memory 108 (step S102). Subsequently, CPU 102 is a Mahalanobis distance calculating step described above, calculates the reference Mahalanobis distance D g (step S104).
次に、ＣＰＵ１０２は、複数の不良品対象物における複数の不良品画像をメモリ１０８から取得する（ステップＳ１０６）。続いて、ＣＰＵ１０２は、上述したマハラノビス距離算出工程により、異常モードごとの異常モード基準マハラノビス距離Ｄｂｊを算出する（ステップＳ１０８）。 Next, the CPU 102 acquires a plurality of defective product images of the plurality of defective products from the memory 108 (step S106). Subsequently, the CPU 102 calculates the abnormal mode reference Mahalanobis distance D bj for each abnormal mode by the above-described Mahalanobis distance calculating step (step S108).
次に、ＣＰＵ１０２は、撮像された検査対象物の被検査画像を、カメラ（または当該画像が格納されたメモリ１０８）を介して取得する（ステップＳ１１０）。続いて、ＣＰＵ１０２は、上述したマハラノビス距離算出工程により、マハラノビス距離Ｄоを算出する（ステップＳ１１２）。 Next, the CPU 102 acquires an image to be inspected of the inspected inspection object via the camera (or the memory 108 in which the image is stored) (step S110). Subsequently, CPU 102 is a Mahalanobis distance calculating step described above, calculates the Mahalanobis distance D o (step S112).
次に、ＣＰＵ１０２は、被検査画像のマハラノビス距離Ｄоと基準マハラノビス距離Ｄｇとを比較する（ステップＳ１１４）。続いて、ＣＰＵ１０２は、マハラノビス距離Ｄоの値が、基準マハラノビス距離Ｄｇの値以下か否かを判断する（ステップＳ１１６）。マハラノビス距離Ｄоが、基準マハラノビス距離Ｄｇの値以下の場合（ステップＳ１１６においてＹＥＳの場合）には、ＣＰＵ１０２は、検査対象物を良品と判断する（ステップＳ１１８）。そして、処理は、終了する。 Next, CPU 102 compares the Mahalanobis distance D o and the reference Mahalanobis distance D g of the test image (step S114). Subsequently, CPU 102, the value of the Mahalanobis distance D o is, determines whether reference Mahalanobis distance D g values below (step S116). Mahalanobis distance D o is the case of less than or equal to the value of the reference Mahalanobis distance D g (YES in step S116), the CPU 102 determines that good a test object (step S118). Then, the process ends.
これに対して、マハラノビス距離Ｄоの値が、基準マハラノビス距離Ｄｇの値よりも大きい場合（ステップＳ１１６においてＮＯの場合）には、ＣＰＵ１０２は、検査対象物を不良品と判断する（ステップＳ１２０）。続いて、ＣＰＵ１０２は、被検査画像のマハラノビス距離Ｄоと異常モードごとの異常モード基準マハラノビス距離Ｄｂｊとを比較する（ステップＳ１２２）。続いて、ＣＰＵ１０２は、異常モードを判断する（ステップＳ１２４）。具体的には、ＣＰＵ１０２は、被検査画像のマハラノビス距離Ｄоと最も値が近い異常モード基準マハラノビス距離Ｄｂｊに対応する異常モードを、検査対象物の異常モードであると判断する。そして、処理は、終了する。 In contrast, the value of the Mahalanobis distance D o is greater than the value of the reference Mahalanobis distance D g (NO in step S116), the CPU 102 determines inspection target defective (step S120 ). Subsequently, CPU 102 compares the abnormal mode reference Mahalanobis distance D bj per Mahalanobis distance D o and an abnormal mode of the test image (step S122). Subsequently, the CPU 102 determines an abnormal mode (step S124). Specifically, the CPU 102 determines that the abnormal mode corresponding to the abnormal mode reference Mahalanobis distance D bj having the closest value to the Mahalanobis distance D о of the image to be inspected is the abnormal mode of the inspection object. Then, the process ends.
＜Ｈ．具体例＞
ここで、上記のようなフローチャートにより検査対象物の良否判断や異常モード判断を行なう具体例について説明する。
<H. Specific example>
Here, a specific example of performing the pass / fail determination of the inspection object or the abnormal mode determination using the flowchart as described above will be described.
（ｈ１．その１）
まず、発明者らは、複数の良品対象物における良品画像と、複数の不良品対象物における異常モードごとの複数の不良品画像とについて、それぞれ基準マハラノビス距離Ｄｇと異常モード基準マハラノビス距離Ｄｂｊとを算出した。その結果を、以下の表４に示す。ここでは、異常モードについては、熟練の検査員が目視で検査した結果を正しいものとして判断するものとする。
(H1. Part 1)
First, we, the acceptable image in a plurality of non-defective objects, for a plurality of defective images for each abnormal mode in the plurality of defective object, each reference Mahalanobis distance D g and abnormal mode reference Mahalanobis distance D bj And calculated. The results are shown in Table 4 below. Here, regarding the abnormal mode, the result of visual inspection by a skilled inspector is determined to be correct.
このように、良品、異常モードごとに算出されたマハラノビス距離が異なることが確認された。 In this way, it was confirmed that the Mahalanobis distance calculated for each non-defective product and abnormal mode was different.
従って、例えば、被検査画像のマハラノビス距離Ｄоの値が、１．０であった場合には、この値は、基準マハラノビス距離Ｄｇ（１．３５）よりも小さいため、検査対象物は良品と判断される。一方、被検査画像のマハラノビス距離Ｄоの値が、６．０であった場合には、この値は、基準マハラノビス距離Ｄｇ（１．３５）よりも大きいため、検査対象物は不良品と判断される。そして、この値は、異常モード「ゴミ付着」の基準マハラノビス距離Ｄｂ１の値である６．８に最も近いため、検査対象物は異常モードが「ゴミ付着」の不良品として判断される。 Therefore, for example, when the value of the Mahalanobis distance Dо of the image to be inspected is 1.0, this value is smaller than the reference Mahalanobis distance D g (1.35). It is judged. On the other hand, when the value of Mahalanobis distance Dо of the image to be inspected is 6.0, this value is larger than the reference Mahalanobis distance D g (1.35). To be judged. Then, this value for closest to the abnormal mode is the value of the reference Mahalanobis distance D b1 of "dust adhesion" 6.8, the inspection object abnormal mode is judged as defective "dust adhesion".
（ｈ２．その２）
上記では、金属板を検査対象物として説明したが、画像として取得できるものであればこれに限られない。例えば、液晶パネルに用いられる偏光フィルムを検査対象物としてもよい。発明者らは、上述した検査方式を液晶パネル用の偏光フィルム検査工程、液晶パネルへの貼付後のパネル検査工程に適用した。
(H2. Part 2)
In the above description, the metal plate is described as the inspection object, but the present invention is not limited to this as long as it can be acquired as an image. For example, it is good also considering the polarizing film used for a liquid crystal panel as a test subject. The inventors applied the above-described inspection method to a polarizing film inspection process for a liquid crystal panel and a panel inspection process after being attached to a liquid crystal panel.
偏光フィルムの製造工程においては、フィルムの表面の傷、ゴミの付着等による変色の問題がある。特に液晶パネルへ貼付後に、静電気等を与えて液晶に配向性を与える際に、静電気を与えるための接触物により、細かな傷や配向の乱れが発生する。 In the manufacturing process of a polarizing film, there is a problem of discoloration due to scratches on the film surface, adhesion of dust, and the like. In particular, when the liquid crystal panel is attached to the liquid crystal panel by applying static electricity or the like to give orientation to the liquid crystal, a fine scratch or disorder of alignment occurs due to the contact object for applying static electricity.
発明者らは、偏光フィルムについて、良品画像と、不良品画像とに対応する基準マハラノビス距離Ｄｇ’と異常モード基準マハラノビス距離Ｄｂｊ’とを算出した。その結果を、以下の表５に示す。 The inventors calculated a reference Mahalanobis distance D g ′ and an abnormal mode reference Mahalanobis distance D bj ′ corresponding to a good product image and a defective product image for the polarizing film. The results are shown in Table 5 below.
ここでも、良品、異常モードごとに算出されたマハラノビス距離が異なることが確認された。液晶パネル用の偏光フィルム検査工程、液晶パネルへの貼付後のパネル検査工程に、上述した検査方式を導入することで、これまで特定の部位で発生する特定の異常の検査に終始していた検査工程が、未知の異常に関しても高速に、精度良く異常を検出することができるようになった。 Here again, it was confirmed that the Mahalanobis distance calculated for each non-defective product and abnormal mode was different. Inspection that has been conducted for inspection of specific abnormalities that have occurred so far in specific parts by introducing the inspection method described above into the polarizing film inspection process for liquid crystal panels and the panel inspection process after being attached to the liquid crystal panel. The process can detect anomalies with high speed and accuracy even with unknown anomalies.
＜Ｉ．利点＞
本実施の形態とすることで、画像などにおいて特徴量の次元が同じ場合でも少ない計算量でマハラノビス距離を算出することができる。また、逆行列計算を必要としないため、画像に特徴量がほとんどない場合であっても、マハラノビス距離を算出することができる。
<I. Advantage>
With this embodiment, the Mahalanobis distance can be calculated with a small amount of calculation even when the dimensions of the feature amount are the same in an image or the like. Further, since no inverse matrix calculation is required, the Mahalanobis distance can be calculated even when the image has almost no feature.
本実施の形態とすることで、多数の特徴量を２変数に集約することで計算量を減らして精度よく検査することができる。また、算出したマハラノビス距離から、単に良品、不良品を判断するだけではなく、不良品の異常モードを判断することもできる。 By adopting the present embodiment, it is possible to reduce the amount of calculation by consolidating a large number of feature quantities into two variables and to inspect with high accuracy. Further, from the calculated Mahalanobis distance, it is possible to determine not only a non-defective product and a defective product but also an abnormal mode of the defective product.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１０ 良品画像特徴量取得部、１２ 良品画像パラメータ算出部、１４ 良品画像距離算出部、２０ 特徴量取得部、２２ パラメータ算出部、２４ 距離算出部、３０ 不良品画像特徴量取得部、３２ 不良品画像パラメータ算出部、３４ 不良品画像距離算出部、４０ 情報格納部、５０ 判断部、５２ 異常モード判断部、１００ 画像検査装置、１０２ ＣＰＵ、１０４ キーボード、１０６ マウス、１０８ メモリ、１１０ ディスプレイ、１１２ メモリインターフェイス、１１４ 記録媒体、１１６ 通信インターフェイス。 DESCRIPTION OF SYMBOLS 10 Good product image feature-value acquisition part, 12 Good product image parameter calculation part, 14 Good product image distance calculation part, 20 Feature-value acquisition part, 22 Parameter calculation part, 24 Distance calculation part, 30 Defective product image feature-value acquisition part, 32 Defective product Image parameter calculation unit, 34 Defective product image distance calculation unit, 40 Information storage unit, 50 Judgment unit, 52 Abnormal mode judgment unit, 100 Image inspection device, 102 CPU, 104 Keyboard, 106 Mouse, 108 Memory, 110 Display, 112 Memory Interface, 114 recording medium, 116 communication interface.
Claims (8)
予め良品であることが判っている複数の良品対象物を撮像して複数の良品画像を取得するステップと、
前記複数の良品画像の各々について複数の特徴量を取得するステップと、
前記複数の良品画像の各々について、前記複数の良品画像の全体についての特徴量ごとの平均値と、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、に基づいて、第１のパラメータを算出するステップと、
前記複数の良品画像の各々について、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、当該良品画像の各特徴量の２乗和と、に基づいて、第２のパラメータを算出するステップと、
前記複数の良品画像の各々についての前記第１および第２のパラメータに基づいて、良品画像ごとのマハラノビス距離を算出するとともに、前記良品画像ごとのマハラノビス距離から基準マハラノビス距離を算出するステップと、
前記検査対象物を撮像して被検査画像を取得するステップと、
前記被検査画像について複数の特徴量を取得するステップと、
前記被検査画像についての前記第１および第２のパラメータを算出するとともに、算出した第１および第２のパラメータに基づいて、被検査画像のマハラノビス距離を算出するステップと、
前記被検査画像のマハラノビス距離と前記基準マハラノビス距離とに基づいて、前記検査対象物の良否を判断するステップとを含む、画像検査方法。 An image inspection method for determining the quality of an inspection object,
Capturing a plurality of non-defective images by imaging a plurality of non-defective objects known to be non-defective in advance;
Acquiring a plurality of feature amounts for each of the plurality of non-defective images;
For each of the plurality of non-defective images, a product sum of an average value for each feature amount for the entire non-defective image and an average value for each feature amount corresponding to the plurality of feature amounts of the non-defective image. Calculating a first parameter based on:
For each of the plurality of non-defective images, a product sum of a plurality of feature amounts of the non-defective image and an average value for each corresponding feature amount and a square sum of each feature amount of the non-defective image are Calculating two parameters;
Calculating a Mahalanobis distance for each non-defective image based on the first and second parameters for each of the plurality of non-defective images, and calculating a reference Mahalanobis distance from the Mahalanobis distance for each non-defective image;
Capturing the inspection object and obtaining an inspection image;
Obtaining a plurality of feature quantities for the inspected image;
Calculating the first and second parameters for the inspected image and calculating the Mahalanobis distance of the inspected image based on the calculated first and second parameters;
An image inspection method including: determining whether the inspection object is good based on the Mahalanobis distance of the image to be inspected and the reference Mahalanobis distance.
前記複数の不良品画像の各々について複数の特徴量を取得するステップと、
前記複数の不良品画像の各々について、前記第１のパラメータおよび第２のパラメータを算出するステップと、
各異常モードに属する不良品画像の第１および第２のパラメータに基づいて、異常モードごとのマハラノビス距離を算出するステップと、
前記被検査画像のマハラノビス距離と前記異常モードごとのマハラノビス距離とに基づいて、不良品であると判断された検査対象物の異常モードを判断するステップとを含む、請求項１に記載の画像検査方法。 Capturing a plurality of defective products for each abnormal mode by imaging a plurality of defective products whose defective modes are known in advance and corresponding abnormal modes;
Obtaining a plurality of feature amounts for each of the plurality of defective images;
Calculating the first parameter and the second parameter for each of the plurality of defective product images;
Calculating a Mahalanobis distance for each abnormal mode based on the first and second parameters of the defective product image belonging to each abnormal mode;
2. The image inspection according to claim 1, further comprising: determining an abnormal mode of an inspection object determined to be defective based on a Mahalanobis distance of the image to be inspected and a Mahalanobis distance for each abnormal mode. Method.
対象の画像を基準閾値に基づいて２値化処理することによって２値化画像を生成し、前記２値化画像に基づいて不良品と判断される要因とは異なる要因で生じたノイズを除外した実効検査領域を抽出し、前記実効検査領域に基づいて前記特徴量を取得するステップを含む、請求項１または２に記載の画像検査方法。 The step of acquiring the plurality of feature amounts includes:
A binarized image is generated by binarizing the target image based on a reference threshold, and noise generated by a factor different from a factor determined to be defective based on the binarized image is excluded. The image inspection method according to claim 1, further comprising a step of extracting an effective inspection area and acquiring the feature amount based on the effective inspection area.
前記実効検査領域から特定された特徴量取得領域に対してハフ変換を行ない、前記特徴量取得領域の直線成分を検出し、前記検出された直線成分に基づいて前記特徴量を取得するステップを含む、請求項３または４に記載の画像検査方法。 The step of acquiring the feature amount includes:
Performing a Hough transform on the feature amount acquisition region specified from the effective inspection region, detecting a linear component of the feature amount acquisition region, and acquiring the feature amount based on the detected linear component The image inspection method according to claim 3 or 4.
予め良品であることが判っている複数の良品対象物を撮像して得られる複数の良品画像の各々について複数の特徴量を取得する第１の特徴量取得部と、
前記複数の良品画像の各々について、前記複数の良品画像の全体についての特徴量ごとの平均値と、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、に基づいて、第１のパラメータを算出し、前記複数の良品画像の各々について、当該良品画像の複数の特徴量と対応する特徴量ごとの平均値との積和と、当該良品画像の各特徴量の２乗和と、に基づいて、第２のパラメータを算出する第１の算出部と、
前記複数の良品画像の各々についての前記第１および第２のパラメータに基づいて、良品画像ごとのマハラノビス距離を算出するとともに、前記良品画像ごとのマハラノビス距離から基準マハラノビス距離を算出する第１の距離算出部と、
前記検査対象物を撮像して得られる被検査画像について複数の特徴量を取得する第２の特徴量取得部と、
前記被検査画像についての前記第１および第２のパラメータを算出する第２の算出部と、
前記算出した第１および第２のパラメータに基づいて、被検査画像のマハラノビス距離を算出する第２の距離算出部と、
前記被検査画像のマハラノビス距離と前記基準マハラノビス距離とに基づいて、前記検査対象物の良否を判断する判断部とを備える、画像検査装置。 An image inspection apparatus for determining the quality of an inspection object,
A first feature amount acquisition unit that acquires a plurality of feature amounts for each of a plurality of non-defective images obtained by imaging a plurality of non-defective products that are known to be non-defective items in advance;
For each of the plurality of non-defective images, a product sum of an average value for each feature amount for the entire non-defective image and an average value for each feature amount corresponding to the plurality of feature amounts of the non-defective image. A first parameter is calculated, and for each of the plurality of non-defective images, a product sum of a plurality of feature amounts of the non-defective image and an average value for each corresponding feature amount, and each feature amount of the non-defective image A first calculation unit that calculates a second parameter based on the square sum of
Based on the first and second parameters for each of the plurality of non-defective images, a Mahalanobis distance for each non-defective image and a first distance for calculating a reference Mahalanobis distance from the Mahalanobis distance for each non-defective image A calculation unit;
A second feature amount acquisition unit that acquires a plurality of feature amounts for an inspection image obtained by imaging the inspection object;
A second calculator for calculating the first and second parameters for the image to be inspected;
A second distance calculating unit that calculates a Mahalanobis distance of the image to be inspected based on the calculated first and second parameters;
An image inspection apparatus comprising: a determination unit that determines the quality of the inspection object based on the Mahalanobis distance of the image to be inspected and the reference Mahalanobis distance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012069227A JP2013200238A (en) | 2012-03-26 | 2012-03-26 | Image inspection method and image inspection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012069227A JP2013200238A (en) | 2012-03-26 | 2012-03-26 | Image inspection method and image inspection device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013200238A true JP2013200238A (en) | 2013-10-03 |
Family
ID=49520587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012069227A Pending JP2013200238A (en) | 2012-03-26 | 2012-03-26 | Image inspection method and image inspection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013200238A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019124633A (en) * | 2018-01-18 | 2019-07-25 | Ｊｆｅスチール株式会社 | Flaw inspection apparatus and flaw inspection method for steel sheet |
| CN112504137A (en) * | 2020-12-07 | 2021-03-16 | 北京智博联科技股份有限公司 | Multi-target digital image detection method based on cloud computing |
| JP7142991B1 (en) | 2022-01-18 | 2022-09-28 | 成都理工大学 | Method and apparatus for detecting surface defects of bar-shaped cigarette packs |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10274626A (en) * | 1997-03-28 | 1998-10-13 | Mitsubishi Electric Corp | Image-processing apparatus |
| JP2009014352A (en) * | 2007-06-29 | 2009-01-22 | Olympus Corp | Condensed image automatic determination method and device by mt system, program, and recording medium |
-
2012
- 2012-03-26 JP JP2012069227A patent/JP2013200238A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10274626A (en) * | 1997-03-28 | 1998-10-13 | Mitsubishi Electric Corp | Image-processing apparatus |
| JP2009014352A (en) * | 2007-06-29 | 2009-01-22 | Olympus Corp | Condensed image automatic determination method and device by mt system, program, and recording medium |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019124633A (en) * | 2018-01-18 | 2019-07-25 | Ｊｆｅスチール株式会社 | Flaw inspection apparatus and flaw inspection method for steel sheet |
| CN112504137A (en) * | 2020-12-07 | 2021-03-16 | 北京智博联科技股份有限公司 | Multi-target digital image detection method based on cloud computing |
| CN112504137B (en) * | 2020-12-07 | 2022-07-26 | 北京智博联科技股份有限公司 | Multi-target digital image detection method based on cloud computing |
| JP7142991B1 (en) | 2022-01-18 | 2022-09-28 | 成都理工大学 | Method and apparatus for detecting surface defects of bar-shaped cigarette packs |
| JP2023104829A (en) * | 2022-01-18 | 2023-07-28 | 成都理工大学 | Rod-shaped cigarette surface defect detection method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6620477B2 (en) | Method and program for detecting cracks in concrete | |
| Valença et al. | Characterisation of concrete cracking during laboratorial tests using image processing | |
| JP4006007B2 (en) | Crack detection method | |
| TWI597689B (en) | Defect classification using topographical attributes | |
| JP2007114843A (en) | Quality deciding device | |
| JP6317725B2 (en) | System and method for determining clutter in acquired images | |
| JP2015197396A (en) | Image inspection method and image inspection device | |
| EP3350574B1 (en) | Image analysis system and method | |
| US20130297232A1 (en) | Method and device for inspecting an object for the detection of surface damage | |
| CN113155839A (en) | Steel plate outer surface defect online detection method based on machine vision | |
| KR101677070B1 (en) | System and Method for Automatically Detecting a Mura Defect using Morphological Image Processing and Labeling | |
| Konovalenko et al. | Error analysis of an algorithm for identifying thermal fatigue cracks | |
| Li et al. | An innovative primary surface profile-based three-dimensional pavement distress data filtering approach for optical instruments and tilted pavement model-related noise reduction | |
| JP2013200238A (en) | Image inspection method and image inspection device | |
| KR100899259B1 (en) | Drill inspection apparatus, drill inspection method, and redording media recording the program | |
| KR101966075B1 (en) | Apparatus and Method for Detection MURA in Display Device | |
| JP6199799B2 (en) | Self-luminous material image processing apparatus and self-luminous material image processing method | |
| TWI303527B (en) | Image inspecting apparatus, image inspecting method and computer-readable storage medium | |
| KR20160097651A (en) | Apparatus and Method for Testing Pattern of Sample using Validity Image Processing Technique, and computer-readable recording medium with program therefor | |
| JP6818263B2 (en) | Fracture surface analysis device and fracture surface analysis method | |
| Prabha et al. | Defect detection of industrial products using image segmentation and saliency | |
| JP2014174003A (en) | Image inspection method and image inspection device | |
| JP5452035B2 (en) | Defect inspection method and defect inspection apparatus | |
| Zhu et al. | Image quality evaluation method for surface crack detection based on standard test chart | |
| Monroe et al. | The spacing transform: Application and validation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150331 |