JP5130257B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP5130257B2 JP5130257B2 JP2009129545A JP2009129545A JP5130257B2 JP 5130257 B2 JP5130257 B2 JP 5130257B2 JP 2009129545 A JP2009129545 A JP 2009129545A JP 2009129545 A JP2009129545 A JP 2009129545A JP 5130257 B2 JP5130257 B2 JP 5130257B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- luminance
- data
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、検査対象品の外観画像から良品と不良品を判別する画像処理装置に関し、特に良品画像群と検査対象品の画像との相関関係に基づく評価式により判別を行う画像処理装置に関する。 The present invention relates to an image processing apparatus that discriminates a non-defective product and a defective product from an appearance image of a product to be inspected, and more particularly to an image processing device that performs discrimination by an evaluation formula based on a correlation between a good product image group and an image of a product to be inspected.
従来、製造した電気部品について検査を行うために、電気部品を撮影して画像を取得し、取得した画像について処理を行うことが知られている。そのための手法としてまず考えられるのは、正常に製造された良品について、例えば配線部分の面積や寸法、角度などを予め規定しておき、検査対象品を撮影して得た画像からこれらを検出して、合致しなければ異常を有するものと判定するものである。この手法では、予めどのような異常が発生するかを定義しておく必要があり、未知の外観異常については検出することができない。また、発生場所が予めある程度特定されている必要もある。さらには、部品毎に特有なソフトウェアが必要であり、設計変更などの度にソフトウェアを変更する必要も生じる。 Conventionally, in order to inspect a manufactured electrical component, it is known to take an image of the electrical component, acquire an image, and perform processing on the acquired image. The first possible method for this is to pre-define, for example, the area, dimensions, and angle of the wiring portion of a good product that has been successfully manufactured, and detect these from the image obtained by photographing the product to be inspected. If they do not match, it is determined that there is an abnormality. In this approach, it is necessary to be defined or pre what abnormality occurs, it is impossible to detect abnormality unknown appearance. In addition, the location of occurrence needs to be specified to some extent in advance. Furthermore, specific software is required for each part, and the software needs to be changed every time the design is changed.
これに対し、良品の画像を予め取得しておき、検査対象品を撮影して得た画像と重ね合わせて、両者の濃度の差分画像を作成し、異常を検出する手法も考えられる。この手法によれば、良品の画像を取得しておけば、部品毎にソフトウェアを変更する必要がなく、またどの場所にどのような異常が発生するかを予め定義しておく必要もないので、様々な異常に対応することができる。 On the other hand, a method is also conceivable in which an image of a non-defective product is acquired in advance and is superimposed on an image obtained by photographing a product to be inspected to create a difference image of the density of both to detect an abnormality. According to this method, if a good product image is acquired, it is not necessary to change the software for each part, and it is not necessary to previously define what kind of abnormality occurs in which place. It can cope with various abnormalities.
しかし、良品の画像と検査対象品を撮影して得た画像とを重ね合わせる場合、画像同士の位置決めが少しでもずれると、差分画像に輪郭線が発生し、良品を不良品と判定しかねない。このため、輪郭部分の一定領域については、検査を行わないことで、この問題を回避することができる。ただし、検査を行わない領域については、異常を検出することができず、また輪郭線の位置、形状は部品毎に異なるので、これを個々に設定する必要も生じる。 However, when superimposing a non-defective image and an image obtained by photographing the inspection target product, if the positioning of the images is slightly shifted, a contour line is generated in the difference image, and the non-defective product may be determined as a defective product. . For this reason, this problem can be avoided by not inspecting a certain region of the contour portion. However, in the area where the inspection is not performed, the abnormality cannot be detected, and the position and shape of the contour line are different for each part, so that it is necessary to set them individually.
これらの問題を解決するものとして、複数の良品画像を取得しておき、これらの画像について画素毎に輝度の平均値と標準偏差を算出し、この予め取得して算出したデータと検査対象品を撮影して取得した画像から得られるデータとを用いて、検査対象品が良品か否かの判別を行うことが知られている。このような手法を用いた画像処理装置としては、例えば特許文献１に挙げるようなものがある。
In order to solve these problems, a plurality of non-defective images are acquired, the average value and the standard deviation of the luminance are calculated for each pixel for these images, and the data acquired and the inspection target product are acquired in advance. It is known to determine whether or not a product to be inspected is a non-defective product using data obtained from a captured image. As an image processing apparatus using such a method, for example, there is an apparatus described in
従来の統計的な手法を用いた画像処理装置においては、予め取得した良品画像群と検査対象品から得られた画像との、画素毎の違いは検出することができる。しかし、この手法においては、異常を検出する精度が必ずしも高いとは言えなかった。特に、取得された画像における輝度が、正常のときと異常のときで差が小さい場合や、パターンの境界部分における異常の検出が充分ではなかった。このため、ごく局所的な異常や、逆に広い範囲に渡って良品と少しずつ異なる大局的な異常などは検出が難しい。 In an image processing apparatus using a conventional statistical method, a pixel-by-pixel difference between a previously acquired non-defective image group and an image obtained from an inspection target product can be detected. However, with this method, it cannot be said that the accuracy of detecting an abnormality is necessarily high. In particular, when the brightness of the acquired image is small and normal, or when the difference is small, detection of abnormality at the boundary of the pattern is not sufficient. For this reason, it is difficult to detect a very local abnormality or a global abnormality that is slightly different from a non-defective product over a wide range.
異常検出の精度を高くするためには、対象となる画素と画像を構成するそれ以外の全ての画素との差分を、良品画像群について予め算出しておくと共に、検査対象品から得られた画像についても算出し、これらから得られる統計的な距離を用いるとよいことが分かっている。これは、他の画素との差分を取って統計的に処理することで、対象画素とそれ以外の画素との関連性が累積的に考慮されることとなるためである。しかし、この場合には演算数が非常に多くなるため、実際の検査に用いるのは現実的ではない。 In order to increase the accuracy of abnormality detection, the difference between the target pixel and all other pixels constituting the image is calculated in advance for the non-defective image group, and the image obtained from the inspection target product It has been found that it is better to calculate and to use the statistical distance obtained from these. This is because the relevance between the target pixel and the other pixels is considered cumulatively by statistically processing the difference from the other pixels. However, in this case, since the number of operations is very large, it is not realistic to use for actual inspection.
本発明は前記課題を鑑みてなされたものであり、演算数を抑えつつ局所的な異常と大局的な異常を充分な精度で検出できる画像処理装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide an image processing apparatus capable of detecting local abnormality and global abnormality with sufficient accuracy while suppressing the number of operations.
前記課題を解決するため、本発明に係る画像処理装置は、検査対象品を撮影して多数の画素からなる画像を取得する撮影部と、該撮影部で取得した画像に基づき前記検査対象品が良品であるか不良品であるかを判別する判別部とを備えた画像処理装置において、
前記判別部は、良品画像群のデータとの統計的距離を算出するための画素毎の算出パラメータを記憶する記憶部を備え、該記憶部の算出パラメータは、良品画像群を構成する各画像の各画素における輝度または濃度の値と、良品画像群を構成する各画像の各画素における当該画素と隣接する画素との間の輝度または濃度の差分値と、良品画像群を構成する各画像の各画素における当該画素及び周囲の画素との輝度または濃度の積分値との、相関係数行列から算出され、
前記判別部は、前記撮影部で取得した検査対象品の画像について、画素毎に輝度または濃度の値と、各画素における当該画素と隣接する画素との間の輝度または濃度の差分値と、各画素における当該画素及び周囲の画素との輝度または濃度の積分値とを検査データとして検出し、前記記憶部から対応する画素の前記算出パラメータを読み出して、前記検査データと良品画像群のデータとの統計的距離を算出し、該算出された統計的距離が所定範囲にあるか否かを判別することを特徴として構成されている。
In order to solve the above problems, an image processing apparatus according to the present invention includes an imaging unit that captures an image of an inspection target product to acquire an image including a large number of pixels, and the inspection target product based on the image acquired by the imaging unit. In an image processing apparatus including a determination unit that determines whether the product is a non-defective product or a defective product,
The determination unit includes a storage unit that stores a calculation parameter for each pixel for calculating a statistical distance from the data of the non-defective image group, and the calculation parameter of the storage unit includes the calculation parameter of each image constituting the non-defective image group. The luminance or density value in each pixel, the luminance or density difference value between the pixel in each pixel of each image constituting the non-defective image group and the adjacent pixel, and each image constituting each non-defective image group Calculated from the correlation coefficient matrix of the luminance or density integrated value of the pixel and surrounding pixels in the pixel,
The discriminating unit has a luminance or density value for each pixel, a luminance or density difference value between the pixel adjacent to the pixel in each pixel, and an image of the inspection target product acquired by the imaging unit, An integrated value of luminance or density of the pixel and surrounding pixels in the pixel is detected as inspection data, the calculation parameter of the corresponding pixel is read from the storage unit, and the inspection data and non-defective image group data are A statistical distance is calculated, and it is configured to determine whether or not the calculated statistical distance is within a predetermined range.
また、本発明に係る画像処理装置は、前記判別部で算出する輝度または濃度の積分値は、対象画素が属する所定領域の画素の輝度または濃度を足し合わせて算出されると共に、当該所定領域内の他の画素も同じ値となるように算出されることを特徴として構成されている。 In the image processing apparatus according to the present invention, the integrated value of the luminance or density calculated by the determination unit is calculated by adding the luminance or density of the pixels in the predetermined area to which the target pixel belongs, and within the predetermined area. The other pixels are calculated so as to have the same value.
さらに、本発明に係る画像処理装置は、前記輝度または濃度は画素毎に３つの値からなり、前記判別部が算出する輝度または濃度の差分値と積分値も、それぞれ３つの値が算出されることを特徴として構成されている。 Furthermore, in the image processing apparatus according to the present invention, the luminance or density includes three values for each pixel, and the luminance or density difference value and integral value calculated by the determination unit are also calculated as three values. It is configured as a feature.
さらにまた、本発明に係る画像処理装置は、前記判別部で算出する統計的距離はマハラノビス距離であることを特徴として構成されている。 Furthermore, the image processing apparatus according to the present invention is characterized in that the statistical distance calculated by the determination unit is a Mahalanobis distance.
本発明に係る画像処理装置によれば、記憶部の算出パラメータは、良品画像群を構成する各画像の各画素における輝度または濃度の値と、良品画像群を構成する各画像の各画素における当該画素と隣接する画素との間の輝度または濃度の差分値と、良品画像群を構成する各画像の各画素における当該画素及び周囲の画素との輝度または濃度の積分値との、相関係数行列から算出され、判別部は、撮影部で取得した検査対象品の画像について、画素毎に輝度または濃度の値と、各画素における当該画素と隣接する画素との間の輝度または濃度の差分値と、各画素における当該画素及び周囲の画素との輝度または濃度の積分値とを検査データとして検出し、記憶部から対応する画素の算出パラメータを読み出して、検査データと良品画像群のデータとの統計的距離を算出し、該算出された統計的距離が所定範囲にあるか否かを判別することにより、差分値のデータを統計的に考慮することによる局所的な異常の発見が可能であると共に、積分値のデータを統計的に考慮することによる大局的な異常の発見も可能となり、局所的な異常と大局的な異常を充分な精度で検出することができる。また、差分値や積分値は対象画素の周囲の画素との関係のみ考慮するので、演算数を抑えて実用的な処理とすることができる。 According to the image processing apparatus of the present invention, the calculation parameter of the storage unit includes the luminance or density value in each pixel of each image constituting the non-defective image group, and the value in each pixel of each image constituting the non-defective image group. Correlation coefficient matrix of luminance or density difference value between a pixel and an adjacent pixel, and integrated value of luminance or density of the pixel and surrounding pixels in each pixel of each image constituting the non-defective image group The determination unit calculates the luminance or density value for each pixel and the luminance or density difference value between the pixel adjacent to the pixel in each pixel and the image of the inspection target product acquired by the imaging unit. In addition, the integrated value of the luminance or density of the pixel and surrounding pixels in each pixel is detected as inspection data, and the calculation parameters of the corresponding pixel are read from the storage unit, and the inspection data and the non-defective image group data By calculating the statistical distance between and calculating whether or not the calculated statistical distance is within a predetermined range, it is possible to discover local anomalies by statistically considering the difference value data In addition, global abnormalities can be found by statistically considering the integral value data, and local abnormalities and global abnormalities can be detected with sufficient accuracy. In addition, since the difference value and the integral value are only considered in relation to the surrounding pixels of the target pixel, it is possible to reduce the number of calculations and make the processing practical.
また、本発明に係る画像処理装置によれば、判別部で算出する輝度または濃度の積分値は、対象画素が属する所定領域の画素の輝度または濃度を足し合わせて算出されると共に、当該所定領域内の他の画素も同じ値となるように算出されることにより、積分画像を所定領域の大きさを一単位としたモザイク状の画像として、大局的な異常を確実に検出できるようにすることができる。 Further, according to the image processing apparatus of the present invention, the integrated value of the luminance or density calculated by the determination unit is calculated by adding the luminance or density of the pixels in the predetermined area to which the target pixel belongs, and the predetermined area By calculating the other pixels in the same value to be the same value, the integrated image can be detected as a mosaic image with the size of the predetermined area as a unit, so that global abnormalities can be reliably detected. Can do.
さらに、本発明に係る画像処理装置によれば、輝度または濃度は画素毎に３つの値からなり、判別部が算出する輝度または濃度の差分値と積分値も、それぞれ３つの値が算出されることにより、カラー画像からなる良品画像及び検査対象の画像に対しても適用することができる。 Further, according to the image processing apparatus of the present invention, the luminance or density is composed of three values for each pixel, and the luminance or density difference value and integral value calculated by the determination unit are also calculated as three values. Thus, the present invention can be applied to a non-defective image composed of a color image and an image to be inspected.
さらにまた、本発明に係る画像処理装置によれば、判別部で算出する統計的距離はマハラノビス距離であることにより、統計的処理による良否判別を容易かつ確実に行うことができる。 Furthermore, according to the image processing apparatus of the present invention, the statistical distance calculated by the determination unit is the Mahalanobis distance, so that the quality determination by the statistical processing can be performed easily and reliably.
本発明の実施形態について図面に沿って詳細に説明する。図１には、本実施形態の画像処理装置で検査する電気部品の平面図を示している。図１（ａ）は、正常に製造された良品の平面図であり、図１（ｂ）と図１（ｃ）は、製造時に異常があった不良品の平面図である。図１（ａ）に示すように、検査する電気部品１には、長方形の四隅が切り欠かれた形状を有する基板１０上に、複数の配線１１ａが並列的に配置されてなる配線部１１が形成されている。
Embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows a plan view of an electrical component to be inspected by the image processing apparatus of this embodiment. FIG. 1A is a plan view of a non-defective product manufactured normally, and FIGS. 1B and 1C are plan views of a defective product having an abnormality during manufacture. As shown in FIG. 1A, the
図１（ｂ）に示す不良品の状態の電気部品１は、配線部１１を構成する左端の配線１１ａと隣接する配線１１ａの間が、１箇所短絡するという局所的な異常部３０を有している。また、図１（ｃ）に示す不良品の状態の電気部品１は、配線部１１の略中央領域に、薄いシミ状の汚れが付着するという比較的大局的な異常部３１を有している。本実施形態の画像処理装置は、これらの不良品を良品と見分けることができるように構成される。
The
図２には、画像処理装置の概念的なブロック図を示している。この図に示すように、画像処理装置は、検査対象の電気部品１を撮影して画像のデータを取得する撮影部２０と、撮影部２０で取得したデータに基づいて検査対象の電気部品１が良品であるか不良品であるかを判別する判別部２１とを有して構成される。
FIG. 2 shows a conceptual block diagram of the image processing apparatus. As shown in this figure, the image processing apparatus includes an
撮影部２０は、電気部品１を載置して順次移動させる載置部２２と、載置部２２の電気部品１のうち所定位置の一つについて全体を撮影する撮影カメラ２３を有している。撮影カメラ２３は、ＣＣＤ等の撮像素子を備え、多数の画素からなる画像をデータとして得ることができる。撮影カメラ２３により撮影された電気部品１の映像は、Ａ／Ｄ変換部２５でディジタル信号の画像データに変換される。ディジタル信号の画像データは、判別部２１に送られる。
The
判別部２１は、取得した画像について判別を行うための演算に用いるパラメータを記憶した記憶部２４を有している。記憶部２４には、予め取得された良品についてのデータに基づいて算出されたパラメータが、画素毎に記憶されており、判別部２１は取得した画像について画素毎にパラメータを記憶部２４から読み出し、演算を行う。なお、判別部２１は中央演算処理装置を備える。
The
画像処理装置における判別の手法は、大まかには以下の通りである。まず、予め記憶部２４に記憶させるためのパラメータを算出する。そのために、良品であることが確認されている複数の電気部品１について、それぞれ画像を取得する。本実施形態においては、画像はモノクロであるものとする。このため、得られた画像は画素毎に輝度のデータを１つずつ有している。
The method of discrimination in the image processing apparatus is roughly as follows. First, parameters for storing in the
得られた複数の画像について画素毎に、生データとしての輝度データと、隣接する画素の輝度との差分を取った差分値データと、当該画素の輝度と周囲の所定領域の画素の輝度とを加算して得られる積分値データとを算出し、これらのデータについてそれぞれ画素毎に平均値と標準偏差も算出しておく。これらの値を基に、統計的距離を算出するためのパラメータを求め、これを記憶部２４に記憶させる。
For each of the obtained images, for each pixel, luminance data as raw data, difference value data obtained by taking the difference between the luminance of adjacent pixels, the luminance of the pixel and the luminance of the pixels in the surrounding predetermined area The integrated value data obtained by the addition is calculated, and the average value and the standard deviation are also calculated for each of these data for each pixel. Based on these values, a parameter for calculating the statistical distance is obtained and stored in the
電気部品１の検査を行う際には、撮影部２０で取得した画像について、画素毎に良品画像群から算出されたパラメータを適用して、良品画像群との統計的距離を算出し、これが所定範囲内にあるか否かによって異常の有無を検出する。
When the
以下、画像処理装置における判別について、より詳細に説明する。まず、予め取得される良品画像群に関するデータについて説明する。図３には、画像の取得及び位置決めのフローチャート及び各ステップにおける画像の状態について示している。画像の位置決めは、良品画像群を得てパラメータを算出する際と、検査対象の電気部品１の画像を得て判別を行う際の、両方において同様に行われる。
Hereinafter, the determination in the image processing apparatus will be described in more detail. First, data related to a good image group acquired in advance will be described. FIG. 3 shows an image acquisition and positioning flowchart and an image state in each step. Image positioning is performed in the same manner both when obtaining a good image group and calculating parameters, and when obtaining and determining an image of the
まず、撮影カメラ２３からの画像データを取り込んで記憶部２４に記憶させる（ステップ１−１）。判別部２１は、取得した画像データについて、基準位置を検出する（ステップ１−２）。ここでは、右側の図に示すように、電気部品１の左上の角部を基準位置としており、この位置を基準として画像を矩形状の所定の大きさに切り出す（ステップ１−３）。この画像を、改めて記憶部２４に記憶させる。本実施形態ではこの段階での画像の画素数はＰ画素あるものとする。
First, image data from the photographing
次に、良品画像群の取得について説明する。図４には、良品画像群の取得のフローチャートを示している。ここでは、良品画像をＮ枚取得するものとする。まず、取得枚数のカウントを１とし（ステップ２−１）、１つめの良品について図３で説明した画像の取得及び位置決めのフローを実行する（ステップ２−２）。１つめの良品について画像を記憶したら、取得枚数が所定のＮ枚であるか否かを判断する（ステップ２−３）。取得枚数がＮ枚より小さい場合には、取得枚数のカウントに１を加えて（ステップ２−４）、再度ステップ２−２以降を実行する。取得枚数がＮ枚であった場合には、そこで画像取得を終了する。 Next, acquisition of a non-defective image group will be described. FIG. 4 shows a flowchart for obtaining a non-defective image group. Here, N non-defective images are acquired. First, the acquisition count is set to 1 (step 2-1), and the image acquisition and positioning flow described with reference to FIG. 3 is executed for the first good product (step 2-2). When the image is stored for the first non-defective product, it is determined whether or not the acquired number is N (step 2-3). When the number of acquired sheets is smaller than N, 1 is added to the number of acquired sheets (step 2-4), and step 2-2 and subsequent steps are executed again. If the number of acquired images is N, the image acquisition ends there.
続いて、良品画像群から画素毎のデータ算出を行う。まず輝度データについてデータ算出を行う。図５には、１つの画素に対する輝度データ取得のフローチャートを示している。画像全体についてデータ算出を行うには、以下のフローを全ての画素について行うこととなる。まず、画像の枚数のカウントを１とし（ステップ３−１）、１枚目の良品画像を読み出す（ステップ３−２）。読み出した良品画像について、画素毎に輝度データＭを記憶する（ステップ３−３）。画素には、それぞれ固有の符号が割り振られており、ここでは、符号が１〜Ｐまで割り振られているものとし、１枚目の画像における画素ｎについての輝度の生データを、Ｍ11、ｍ枚目の画像における画素ｎについての輝度のデータをＭ1mと表記する。以下、画素ｎについてのデータ算出を説明するが、他の画素についても同様にデータが算出される。
Subsequently, data for each pixel is calculated from the non-defective image group. First, data calculation is performed for luminance data. FIG. 5 shows a flowchart of obtaining luminance data for one pixel. In order to calculate data for the entire image, the following flow is performed for all pixels. First, the count of the number of images is set to 1 (step 3-1), and the first non-defective image is read (step 3-2). For the read non-defective image, the luminance data M is stored for each pixel (step 3-3). Each pixel is assigned a unique code. Here, it is assumed that
読み出した画像の枚数が所定のＮ枚であるか否かを判断し（ステップ３−４）、枚数がＮ枚より小さい場合には、画像の枚数のカウントに１を加えて（ステップ３−５）、再度ステップ３−２以降を実行する。画像の枚数がＮ枚であった場合には、画素毎に輝度の平均値Ｍ1aveと、輝度の標準偏差Ｍ1stdを算出し、記憶部２４に記憶させる（ステップ３−６）。例えば、画素ｎについての輝度の平均値と標準偏差は、以下の式で表される。 It is determined whether or not the number of read images is a predetermined N (step 3-4). If the number is smaller than N, 1 is added to the count of the number of images (step 3-5). ), Step 3-2 and subsequent steps are executed again. If the number of images is N, the average brightness value M 1ave and the standard brightness deviation M 1std are calculated for each pixel and stored in the storage unit 24 (step 3-6). For example, the average value and standard deviation of the luminance for the pixel n are expressed by the following equations.
次に、良品画像群について差分画像を作成する。図６には、差分画像作成のフローチャートを示している。まず、画像の枚数のカウントを１とし（ステップ４−１）、１枚目の良品画像を読み出す（ステップ４−２）。読み出した良品画像について、画素毎に輝度の差分値を取って差分画像を生成する（ステップ４−３）。本実施形態では、輝度の差分値は左側に隣接する画素との差分を取ることによって得るものとする。ここでは、ｍ枚目の画像における画素ｎについての差分値データをＭ2mと表記する。 Next, a difference image is created for the non-defective image group. FIG. 6 shows a flowchart for creating a difference image. First, the count of the number of images is set to 1 (step 4-1), and the first non-defective image is read (step 4-2). For the read non-defective image, a difference image is generated by taking a luminance difference value for each pixel (step 4-3). In the present embodiment, it is assumed that the luminance difference value is obtained by taking the difference from the adjacent pixel on the left side. Here, the difference value data for the pixel n in the m-th image is denoted as M 2m .
図７には、画像の一部における生データと差分値データを示している。図７の各マスは画素を表しており、各マス内の数値は、図７（ａ）においては輝度の生データを、図７（ｂ）においては差分値データを、それぞれ表している。図７（ａ）に示す輝度の生データに対し、各画素について左側に隣接する画素との差分Ｍ2mを算出し、その値を差分画像におけるデータとする。これを、それぞれの画素において行い、差分画像を生成する。なお、この場合には図７（ｂ）の左端１列については、差分を取る対象がないため、差分値の算出はなされない。 FIG. 7 shows raw data and difference value data in a part of an image. Each square in FIG. 7 represents a pixel, and the numerical value in each square represents the raw luminance data in FIG. 7A and the difference value data in FIG. 7B. For the luminance raw data shown in FIG. 7A, a difference M 2m between each pixel and the adjacent pixel on the left side is calculated, and that value is used as data in the difference image. This is performed at each pixel to generate a difference image. In this case, the difference value is not calculated for the leftmost column in FIG. 7B because there is no target for the difference.
差分画像を生成したら、読み出した画像の枚数が所定のＮ枚であるか否かを判断し（ステップ４−４）、枚数がＮ枚より小さい場合には、画像の枚数のカウントに１を加えて（ステップ４−５）、再度ステップ４−２以降を実行する。画像の枚数がＮ枚であった場合には、画素毎に差分値の平均値Ｍ2aveと、差分値の標準偏差Ｍ2stdを算出し、記憶部２４に記憶させる（ステップ４−６）。 When the difference image is generated, it is determined whether or not the number of read images is a predetermined N (step 4-4). If the number is smaller than N, 1 is added to the count of the number of images. (Step 4-5), Step 4-2 and subsequent steps are executed again. If the number of images is N, an average value M 2ave of difference values and a standard deviation M 2std of difference values are calculated for each pixel and stored in the storage unit 24 (step 4-6).
次に、良品画像の積分画像を作成する。図８には、積分画像作成のフローチャートを示している。まず、画像の枚数のカウントを１とし（ステップ５−１）、１枚目の良品画像を読み出す（ステップ５−２）。読み出した良品画像について、画素毎に輝度の積分値を算出して積分画像を生成する（ステップ５−３）。輝度の積分値は、所定領域毎の輝度データを足し合わせたものであり、所定領域内の各画素のデータは、いずれも同じ値とされる。 Next, an integral image of non-defective images is created. FIG. 8 shows a flowchart for creating an integral image. First, the count of the number of images is set to 1 (step 5-1), and the first non-defective image is read (step 5-2). For the read non-defective image, an integrated value of luminance is calculated for each pixel to generate an integrated image (step 5-3). The integral value of luminance is a sum of luminance data for each predetermined area, and the data of each pixel in the predetermined area is the same value.
図９には、画像の一部における生データと積分値データを示している。図９の各マスは画素を表しており、各マス内の数値は、図９（ａ）においては輝度の生データを、図９（ｂ）においては積分値データを、それぞれ表している。本実施形態では、輝度データを足し合わせる所定領域は、縦３つ横３つの９画素分の領域とする。ここでは、ｍ枚目の画像における画素ｎについての積分値データをＭ3mと表記する。 FIG. 9 shows raw data and integral value data in a part of an image. Each square in FIG. 9 represents a pixel, and the numerical value in each square represents the raw luminance data in FIG. 9A and the integral data in FIG. 9B. In the present embodiment, the predetermined area where luminance data is added is an area corresponding to nine pixels, three vertically and three horizontally. Here, the integral value data for the pixel n in the m-th image is denoted as M 3m .
図９では、太い実線で表された領域毎に輝度データが加算されて積分値Ｍ3mが算出される。図９の最も左上の領域は、領域内の輝度データがいずれも５であるため、当該領域内の画素の積分値Ｍ3mはいずれも４５となる。この領域の右隣の領域は、領域内の輝度データが１つだけ６でありそれ以外は５であるため、当該領域内の画素の積分値Ｍ3mはいずれも４６となる。同様に他の領域についても順次積分値の算出がなされ、積分画像が生成される。 In FIG. 9, the luminance data is added for each area represented by a thick solid line, and the integral value M 3m is calculated. In the upper left area of FIG. 9, since the luminance data in the area is all 5, the integral value M 3m of the pixels in the area is 45. In the area immediately to the right of this area, only one piece of luminance data in the area is 6 and the others are 5, so that the integral value M 3m of the pixels in the area is 46 in all cases. Similarly, integral values are sequentially calculated for other regions, and an integral image is generated.
積分画像を生成したら、読み出した画像の枚数が所定のＮ枚であるか否かを判断し（ステップ５−４）、枚数がＮ枚より小さい場合には、画像の枚数のカウントに１を加えて（ステップ５−５）、再度ステップ５−２以降を実行する。画像の枚数がＮ枚であった場合には、画素毎に差分値の平均値Ｍ3aveと、差分値の標準偏差Ｍ3stdを算出し、記憶部２４に記憶させる（ステップ５−６） When the integral image is generated, it is determined whether or not the number of read images is a predetermined N (step 5-4). If the number is smaller than N, 1 is added to the count of the number of images. (Step 5-5), Step 5-2 and subsequent steps are executed again. When the number of images is N, an average value M 3ave of difference values and a standard deviation M 3std of difference values are calculated for each pixel and stored in the storage unit 24 (step 5-6).
ここまでで得た良品画像群についての各データは、画素ｎについては以下の表１に示すとおりである。また他の画素についても同様にデータが得られる。このデータを基に、良品画像群との統計的距離を算出するための算出パラメータを画素毎に求める。 The data for the non-defective image group obtained so far are as shown in Table 1 below for the pixel n. Similarly, data is obtained for other pixels. Based on this data, a calculation parameter for calculating a statistical distance from the good image group is obtained for each pixel.
算出パラメータを求める際は、まずこれらのデータから画素毎の相関係数行列を算出する。相関係数行列は以下の式で表される。 When obtaining the calculation parameters, first, a correlation coefficient matrix for each pixel is calculated from these data. The correlation coefficient matrix is expressed by the following formula.
ｒに付された符号は、どのデータ同士の相関係数であるかを表している。符号１は輝度データに、符号２は差分値データに、符号３は積分値データに、それぞれ対応する。例えば、ｒ12は符号１に対応する輝度データと符号２に対応する差分値データの相関係数であって、以下の式で表される。他の相関係数も同様に算出される。
The code | symbol attached | subjected to r represents which data is a correlation coefficient.
次に、相関係数行列の逆行列Ａを作成する。逆行列Ａは次式で表される。 Next, an inverse matrix A of the correlation coefficient matrix is created. The inverse matrix A is expressed by the following equation.
次式で定義されるマハラノビス距離ＭＤにより、取得した画像と良品画像群について、統計的にどの程度相違するかを画素毎に評価することができる。 By the Mahalanobis distance MD defined by the following equation, it is possible to evaluate for each pixel how much the acquired image and the non-defective image group are statistically different.
この式において、ｘ1は検査対象画像における画素ｎの輝度Ｘ1を、ｘ2は検査対象画像における画素ｎの差分Ｘ2を、ｘ3は検査対象画像における画素ｎの積分値Ｘ3を、それぞれ良品画像群の平均値及び標準偏差で正規化したものであり、それぞれ次式で表される。 In this equation, x 1 is the luminance X 1 of the pixel n in the inspection target image, x 2 is the difference X 2 of the pixel n in the inspection target image, x 3 is the integrated value X 3 of the pixel n in the inspection target image, Each is normalized by the average value and standard deviation of the non-defective image group, and each is expressed by the following equations.
以上のように、良品画像群からのマハラノビス距離を算出するための算出パラメータを求めたら、これを記憶部２４に記憶しておくことで、検査の際にこの算出パラメータを読み出して用いることができる。
As described above, when the calculation parameter for calculating the Mahalanobis distance from the non-defective image group is obtained, the calculation parameter can be read out and used in the inspection by storing it in the
このように準備しておいた上で、実際の検査を行う。図１０には、実際の検査におけるフローチャートを示している。実際の検査においても、良品画像の取得と同様に、検査対象の電気部品１を撮影部２０で撮影して画像を取得する（ステップ６−１）。その取得フローは図４で説明したものと同様である。続いて、判別部２１において、取得した画像の全ての画素につき、輝度データと差分値データ及び積分値データを求める（ステップ６−２）。
The actual inspection is performed after preparing in this way. FIG. 10 shows a flowchart in an actual inspection. In the actual inspection, as in the acquisition of the non-defective image, the image of the
求めた輝度データと差分値データ及び積分値データにつき、前述の計算式により正規化する（ステップ６−３）。次にマハラノビス距離ＭＤを算出するが、この際には対象とする画素毎に記憶部２４から算出パラメータを読み出し、当該算出パラメータを検査対象の電気部品１の画像から得た輝度データと差分値データ及び積分値データが正規化された値に適用する。これにより、画素毎に良品画像群との統計的距離となるマハラノビス距離ＭＤが算出される（ステップ６−４）。
The obtained luminance data, difference value data, and integral value data are normalized by the above-described calculation formula (step 6-3). Next, the Mahalanobis distance MD is calculated. At this time, the calculation parameter is read from the
ここでは、上述の計算式の通り、ＭＤ2が算出されるので、この値が所定値より小さいか否かにより、判別を行う（ステップ６−５）。ＭＤ2が所定値よりも小さい場合は、異常なしと判断し（ステップ６−６）、ＭＤ2が所定値より大きい場合は、異常ありと判断する（ステップ６−７）。このフローを全ての画素について行い、最終的にはいずれの画素についてもＭＤ2が所定値より小さい場合には、良品と判定し、いずれかの画素についてＭＤ2が所定値より大きい場合には、不良品と判定する。 Here, as described above formulas, because MD 2 is calculated, depending on whether this value is less than the predetermined value, it performs the determination (step 6-5). If MD 2 is smaller than the predetermined value, it is determined that there is no abnormality (step 6-6), and if MD 2 is larger than the predetermined value, it is determined that there is an abnormality (step 6-7). This flow is performed for all the pixels. Finally, if MD 2 is smaller than a predetermined value for any pixel, it is determined as non-defective, and if MD 2 is larger than the predetermined value for any pixel, Judged as defective.
本発明の画像処理装置では、輝度データに加えて差分値データと積分値データについて取得し、これらの相関係数を考慮した統計的距離を算出することで、検査対象の電気部品１について取得された画像の画素毎に異常の有無を判定することとしたので、差分値データを考慮することによる局所的な異常の発見が可能であると共に、積分値データを考慮することによる大局的な異常の発見も可能となる。特に、図１（ｃ）に示すような、良品画像群との輝度差がそれほど大きくないものの、広い範囲に渡って発生した大局的な異常について、精度よく検出することができる。
In the image processing apparatus of the present invention, in addition to the luminance data, the difference value data and the integral value data are acquired, and the statistical distance in consideration of these correlation coefficients is calculated, so that it is acquired for the
本実施形態では、良品画像群と検査対象画像のいずれもモノクロの画像であり、輝度データは１つの場合について説明したが、カラーの画像に対しても本発明を適用することができる。カラーの画像の場合、赤色（Ｒ）と青色（Ｂ）及び緑色（Ｇ）の各色について、それぞれ輝度データＲ1、Ｂ1、Ｇ1を取得することができる。つまり、生データとしての輝度データが１つの画素に対して３つ取得される。また、差分値データＲ2、Ｂ2、Ｇ2と積分値データＲ3、Ｂ3、Ｇ3も、各色に対応して３つずつが算出される。 In the present embodiment, the non-defective image group and the inspection target image are both monochrome images, and one luminance data has been described. However, the present invention can also be applied to a color image. In the case of a color image, luminance data R 1 , B 1 , and G 1 can be acquired for each color of red (R), blue (B), and green (G). That is, three pieces of luminance data as raw data are acquired for one pixel. Also, three difference value data R 2 , B 2 , G 2 and integral value data R 3 , B 3 , G 3 are calculated corresponding to each color.
したがって、良品画像群について算出される相関係数行列は、モノクロ画像の場合は前述のように３×３の行列であるが、カラー画像の場合は９×９の行列となる。また、検査対象の電気部品１から得られるデータも、輝度データと差分値データ及び積分値データがそれぞれ３つずつの合計９つとなる。これらについても、モノクロ画像の場合と同様の手法で統計的距離を算出することができる。
Accordingly, the correlation coefficient matrix calculated for the non-defective image group is a 3 × 3 matrix as described above for a monochrome image, but a 9 × 9 matrix for a color image. Also, the data obtained from the
また、カラーの画像の場合に、輝度データＲ1、Ｂ1、Ｇ1と差分値データＲ2、Ｂ2、Ｇ2及び積分値データＲ3、Ｂ3、Ｇ3をそれぞれ１つずつのデータとしてもよい。この場合には、各色の輝度データに対し、差分値データ及び積分値データを算出し、それぞれ次式で１つのデータとすることで、カラー画像であっても相関係数行列を３×３の行列とすることができて、演算数を減らすことができる。 Further, in the case of a color image, luminance data R 1 , B 1 , G 1 , difference value data R 2 , B 2 , G 2 and integral value data R 3 , B 3 , G 3 are each one data. It is good. In this case, the difference value data and the integral value data are calculated for the luminance data of each color, and each is made into one data by the following equation, so that the correlation coefficient matrix is 3 × 3 even for a color image. It can be a matrix, and the number of operations can be reduced.
以上、本発明の実施形態について説明したが、本発明の適用は本実施形態には限られず、その技術的思想の範囲内において様々に適用されうるものである。例えば、本実施形態では、画像の輝度データを基に判別を行っているが、画像の濃淡を表す濃度データに基づいて判別を行うようにしてもよい。 Although the embodiment of the present invention has been described above, the application of the present invention is not limited to this embodiment, and can be applied in various ways within the scope of its technical idea. For example, in the present embodiment, the determination is performed based on the luminance data of the image, but the determination may be performed based on density data representing the density of the image.
また、本実施形態において、差分値データは図７に示すように各画素について左側に隣接する画素との差分を取ることとしたが、上下右あるいは斜め方向など他の方向の画素との差分を取ることにしてもよく、また複数の方向の差分を取って平均値を算出し、その値を差分値データとしてもよい。さらには、積分値データを算出する領域は、図９では縦方向に画素３つと横方向に画素３つの領域としたが、領域はさらに小さくてもよく、また大きくてもよい。この領域を大きくすることで、より大局的な異常を検出しやすくなる。 Further, in the present embodiment, the difference value data is obtained by taking a difference from a pixel adjacent to the left side for each pixel as shown in FIG. Alternatively, the average value may be calculated by taking a difference in a plurality of directions, and the value may be used as difference value data. Furthermore, although the area for calculating the integral value data is the area of three pixels in the vertical direction and three pixels in the horizontal direction in FIG. 9, the area may be smaller or larger. By enlarging this region, it becomes easier to detect a more global abnormality.
１ 電気部品
１０ 基板
１１ 配線部
１１ａ 配線
２０ 撮影部
２１ 判別部
２２ 載置部
２３ 撮影カメラ
２４ 記憶部
DESCRIPTION OF
Claims (4)
前記判別部は、良品画像群のデータとの統計的距離を算出するための画素毎の算出パラメータを記憶する記憶部を備え、該記憶部の算出パラメータは、良品画像群を構成する各画像の各画素における輝度または濃度の値と、良品画像群を構成する各画像の各画素における当該画素と隣接する画素との間の輝度または濃度の差分値と、良品画像群を構成する各画像の各画素における当該画素及び周囲の画素との輝度または濃度の積分値との、相関係数行列から算出され、
前記判別部は、前記撮影部で取得した検査対象品の画像について、画素毎に輝度または濃度の値と、各画素における当該画素と隣接する画素との間の輝度または濃度の差分値と、各画素における当該画素及び周囲の画素との輝度または濃度の積分値とを検査データとして検出し、前記記憶部から対応する画素の前記算出パラメータを読み出して、前記検査データと良品画像群のデータとの統計的距離を算出し、該算出された統計的距離が所定範囲にあるか否かを判別することを特徴とする画像処理装置。 A photographing unit that photographs an inspection target product and acquires an image composed of a large number of pixels, and a determination unit that determines whether the inspection target product is a non-defective product or a defective product based on the image acquired by the photographing unit. In the image processing apparatus provided,
The determination unit includes a storage unit that stores a calculation parameter for each pixel for calculating a statistical distance from the data of the non-defective image group, and the calculation parameter of the storage unit includes the calculation parameter of each image constituting the non-defective image group. The luminance or density value in each pixel, the luminance or density difference value between the pixel in each pixel of each image constituting the non-defective image group and the adjacent pixel, and each image constituting each non-defective image group Calculated from the correlation coefficient matrix of the luminance or density integrated value of the pixel and surrounding pixels in the pixel,
The discriminating unit has a luminance or density value for each pixel, a luminance or density difference value between the pixel adjacent to the pixel in each pixel, and an image of the inspection target product acquired by the imaging unit, An integrated value of luminance or density of the pixel and surrounding pixels in the pixel is detected as inspection data, the calculation parameter of the corresponding pixel is read from the storage unit, and the inspection data and non-defective image group data are An image processing apparatus that calculates a statistical distance and determines whether the calculated statistical distance is within a predetermined range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009129545A JP5130257B2 (en) | 2009-05-28 | 2009-05-28 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009129545A JP5130257B2 (en) | 2009-05-28 | 2009-05-28 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010276481A JP2010276481A (en) | 2010-12-09 |
| JP5130257B2 true JP5130257B2 (en) | 2013-01-30 |
Family
ID=43423580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009129545A Expired - Fee Related JP5130257B2 (en) | 2009-05-28 | 2009-05-28 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5130257B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014106109A (en) * | 2012-11-27 | 2014-06-09 | Sharp Corp | Inspection device, inspection method, inspection program and recording medium |
| US10685432B2 (en) * | 2017-01-18 | 2020-06-16 | Ricoh Company, Ltd. | Information processing apparatus configured to determine whether an abnormality is present based on an integrated score, information processing method and recording medium |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4218291B2 (en) * | 2002-09-09 | 2009-02-04 | セイコーエプソン株式会社 | Image processing device |
| JP2004295691A (en) * | 2003-03-27 | 2004-10-21 | Pentax Corp | Method, program, and device for image quality determination |
| JP2005291988A (en) * | 2004-04-01 | 2005-10-20 | Seiko Epson Corp | Method and apparatus for inspecting wiring pattern |
| JP2005309878A (en) * | 2004-04-23 | 2005-11-04 | Hitachi Zosen Corp | Image inspection condition deciding apparatus and image inspecting apparatus |
-
2009
- 2009-05-28 JP JP2009129545A patent/JP5130257B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010276481A (en) | 2010-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6701118B2 (en) | Image processing apparatus and image processing method | |
| JP4378746B2 (en) | Digital image sensor and method capable of detecting defective pixels | |
| US20060018534A1 (en) | Technique for detecting a defect of an object by area segmentation of a color image of the object | |
| JP5956814B2 (en) | Appearance inspection apparatus, appearance inspection method, and computer program | |
| CN109920003B (en) | Camera calibration detection method, device and equipment | |
| JP2007201530A (en) | Pixel defect correction apparatus | |
| JP2010237210A (en) | Method of inspection | |
| CN103369347A (en) | Camera blemish defects detection | |
| JP2008185514A (en) | Substrate visual inspection apparatus | |
| JP5660861B2 (en) | Foreign matter inspection method and foreign matter inspection apparatus on substrate | |
| KR20110040965A (en) | Visual examination apparatus | |
| JP4230880B2 (en) | Defect inspection method | |
| KR101261016B1 (en) | method and apparatus for automatic optical inspection of flat panel substrate | |
| KR20200106854A (en) | Pixel correction | |
| JP5600812B2 (en) | Imaging device | |
| JP5130257B2 (en) | Image processing device | |
| JP5466099B2 (en) | Appearance inspection device | |
| JP2002140694A (en) | Image processor, its method and recording medium with recorded image processing program | |
| JP2006245891A (en) | Chart for inspecting image of camera module, and image inspecting method and image inspecting device for the camera module using the chart for inspecting image | |
| JP2006155579A (en) | Image processing method and image processing apparatus | |
| JP5446285B2 (en) | Image processing apparatus and image processing method | |
| KR101559338B1 (en) | System for testing camera module centering and method for testing camera module centering using the same | |
| JP4605582B2 (en) | Stereo image recognition apparatus and method | |
| JP2009017158A (en) | Camera inspection device | |
| JP2009139166A (en) | Image flaw inspection method and image flaw inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110915 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121029 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5130257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |