JP2013072777A - Different kind intrusion inspection method and different kind intrusion inspection device - Google Patents

Different kind intrusion inspection method and different kind intrusion inspection device Download PDF

Info

Publication number
JP2013072777A
JP2013072777A JP2011212641A JP2011212641A JP2013072777A JP 2013072777 A JP2013072777 A JP 2013072777A JP 2011212641 A JP2011212641 A JP 2011212641A JP 2011212641 A JP2011212641 A JP 2011212641A JP 2013072777 A JP2013072777 A JP 2013072777A
Authority
JP
Japan
Prior art keywords
inspected
value
hue
pattern matching
master data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011212641A
Other languages
Japanese (ja)
Inventor
Takumi Taoka
琢巳 田岡
Junichi Saito
純一 斉藤
Kenji Fukuda
健次 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP2011212641A priority Critical patent/JP2013072777A/en
Publication of JP2013072777A publication Critical patent/JP2013072777A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a highly accurate and inexpensive different kind intrusion inspection method and different kind intrusion inspection device for intrusion of a different kind.SOLUTION: There are provided a different kind intrusion inspection method and a different kind intrusion inspection device. The different kind intrusion inspection method is for determining an inspection object as a normal kind or a different kind by acquiring an image of the inspection object and comparing it with master data. Pattern matching using a luminance value is performed based on the master data having a characteristic pattern in the pattern of the inspection object to search the entire image area of the inspection object for a pattern coincidence area, and the inspection object is determined as the regular kind or the different kind by matching of an average hue in the pattern coincidence area and an average hue of the master data.

Description

本発明は異品種の混入検査に関し、被検査対象物の画像を取得し、正規品種との比較を行い、良否判定を行う混入検査方法およびその方法を用いる異品種混入検査装置に関する。   The present invention relates to a mixing inspection of different varieties, and more particularly to a mixing inspection method for acquiring an image of an object to be inspected, comparing it with a normal varieties, and determining pass / fail, and a different varieties mixing inspection apparatus using the method.

一般的に、工業製品の生産ラインにおいて最終工程から集積・出荷部の間に、出荷前検査機として異品種混入検査機が設置される場合がある。例えば、円筒容器の生産ラインなどがそのケースに当てはまり、円筒容器の絵柄・文字検査とは別に、異品種の混入検査が行われている。ここで、混入検査が行われているのは、円筒容器の生産工程において異品種の混入が発生すると、円筒容器に表示されている品名と内容物に不一致が生じ、重大な製品事故またはクレームの発生要因となるからである。   In general, in the production line of industrial products, there is a case where a different kind mixing inspection machine is installed as a pre-shipment inspection machine between the final process and the accumulation / shipping department. For example, a production line of a cylindrical container is applied to the case, and different types of mixed inspection are performed separately from the pattern / character inspection of the cylindrical container. Here, the contamination inspection is carried out because when a mixed product of different types occurs in the production process of the cylindrical container, the product name displayed on the cylindrical container does not match the contents, resulting in a serious product accident or complaint. This is because it becomes a generation factor.

従来、混入検査は主に人間の目による目視検査で行われることが多いが、その場合人為的なミスによる異品種の混入が発生する可能性が排除できない。また、一般的に、実際に異品種混入が発生する頻度は極めて低いため、検査員が異品種混入を見逃す可能性も排除できない。そのため、検査装置による自動化が試みられている。   Conventionally, contamination inspection is often performed mainly by visual inspection with human eyes. In this case, the possibility of mixing different varieties due to human error cannot be excluded. In general, since the frequency of actual mixing of different varieties is extremely low, the possibility that the inspector misses mixing of different varieties cannot be excluded. For this reason, automation using an inspection apparatus has been attempted.

このような、画像の端部を認識することが容易でない円筒状などの被検査対象物の場合の異品種混入の検知のためには、下記の特許文献1や特許文献2に示すような被検査対象物の外周画像の一部もしくは全周を取得し、予め登録しておいた正規品種の画像と比較し、良否判定を行うというものが常套手段となっている。   In order to detect the mixing of different varieties in the case of such an object to be inspected such as a cylindrical shape in which it is not easy to recognize the edge of the image, the object as shown in Patent Document 1 and Patent Document 2 below is used. A conventional method is to acquire a part or the whole circumference of the outer peripheral image of the inspection object and compare with a pre-registered image of a normal product type to determine pass / fail.

特開平5−164706号公報JP-A-5-164706 特開2008−151720号公報JP 2008-151720 A

本発明の目指すところは、安価かつ多品種対応可能な混入検査機を提供することである。まず、検査機専用の搬送機構を必要としない、既存生産ラインでも検査可能となる手法の開発が課題となる。そのためには、ワーク姿勢のばらつきに伴う検査画像中のシェーディングの影響をある程度許容する必要がある。また、近年生産される品種の中には、外周絵柄パターンのうち、印字部分のほとんどは同一で、背景色のみ異なるという品種が存在する。それらの品種を区分するためには、色情報を正確に抽出する手法の開発が必要となる。   The aim of the present invention is to provide a low-priced and mixed-type inspection machine that can handle various types. First of all, the development of a technique that does not require a dedicated transport mechanism for inspection machines and that can be inspected even on existing production lines becomes an issue. For this purpose, it is necessary to allow to some extent the influence of shading in the inspection image due to variations in the work posture. Among varieties produced in recent years, there are varieties in which most of the printed portion of the outer peripheral pattern is the same and only the background color is different. In order to classify these varieties, it is necessary to develop a method for accurately extracting color information.

上記の課題を解決するための手段として、請求項1に記載の発明は、被検査対象物の画像を取得し、マスターデータとの比較を行うことにより、前記被検査対象物を正規品種もしくは異品種と判定する異品種混入検査方法であって、
前記被検査対象物のパターンから特徴あるパターンを有するマスターデータ領域により、被検査対象物の全画像領域に対して、輝度値を用いたパターンマッチングをして、パターン一致領域を探索し、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングにより、正規品種もしくは異品種と判定することを特徴とする異品種混入検査方法。
As means for solving the above-mentioned problems, the invention according to claim 1 is characterized in that an image of an object to be inspected is acquired and compared with master data to make the object to be inspected a regular product or a different product. A method for inspecting a mixed product of different varieties,
By using the master data area having a characteristic pattern from the pattern of the object to be inspected, pattern matching using a luminance value is performed on the entire image area of the object to be inspected, and a pattern matching area is searched,
A method for inspecting a mixed product of different varieties, wherein a normal product type or a different product type is determined by matching an average hue in the pattern matching area with the master data average hue.

請求項2に記載の発明は、輝度値を用いたパターンマッチングが、予め取得してある前
記マスターデータ輝度値と、正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出を、被検査対象物の全画像領域にわたって行い、最も正規化相関係数の値が大きい領域が前記マスターデータ領域と一致したと判断し、前記正規化相関係数の値が予め設定された閾値以上であった場合、前記最も正規化相関係数の値が大きい領域をパターン一致領域であると判断することによって行われるとともに、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングが、前記パターン一致領域内の平均色相と前記マスターデータ平均色相との差分値を算出し、前記差分値が予め設定された閾値以下の場合は、前記被検査対象物を正規品種と判定し、前記正規化相関係数の値が予め設定された閾値未満であった場合、もしくは前記差分値が閾値以上であった場合、前記被検査対象物を異品種と判定することを特徴とする請求項1記載の異品種混入検査方法を提供するものである。
In the invention according to claim 2, the pattern matching using the luminance value normalizes the master data luminance value acquired in advance and the luminance value in the object to be inspected to be determined as a normal product type or a different product type. The correlation coefficient is calculated over the entire image area of the object to be inspected, and it is determined that the area having the largest normalized correlation coefficient value matches the master data area, and the normalized correlation coefficient value is When the threshold value is equal to or greater than a preset threshold value, it is performed by determining that the region having the largest normalized correlation coefficient value is a pattern matching region,
Matching between the average hue in the pattern matching area and the master data average hue calculates a difference value between the average hue in the pattern matching area and the master data average hue, and the difference value is a preset threshold value. In the following cases, the inspection object is determined as a normal product and when the value of the normalized correlation coefficient is less than a preset threshold value, or when the difference value is equal to or greater than a threshold value, 2. The method for inspecting mixing of different varieties according to claim 1, wherein the object to be inspected is determined to be different varieties.

請求項3に記載の発明は、前記マスターデータ輝度値が、前記マスターデータ領域の複数の画素の輝度値をマスターデータ輝度値として予め取得したものであり、
正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出が、正規品種もしくは異品種と判定する被検査対象物内の複数の画素の輝度値との正規化相関係数の算出であり、
前記パターン一致領域内の平均色相が、前記パターン一致領域内の複数の画素の輝度値をもとに平均色相を算出したものであり、
前記平均色相と前記マスターデータ輝度値の複数の画素から算出されるマスターデータ平均色相との差分値を算出したものであることを特徴とする請求項2記載の異品種混入検査方法を提供するものである。
In the invention according to claim 3, the master data luminance value is acquired in advance as the master data luminance value of the luminance values of a plurality of pixels in the master data area,
The calculation of the normalized correlation coefficient with the luminance value in the inspected object determined to be the normal type or different type is normal to the luminance value of multiple pixels in the inspected object determined to be the normal type or different type Calculation of the correlation coefficient
The average hue in the pattern matching area is an average hue calculated based on the luminance values of a plurality of pixels in the pattern matching area,
3. The method for inspecting a mixed product of different types according to claim 2, wherein a difference value between the average hue and a master data average hue calculated from a plurality of pixels of the master data luminance value is calculated. It is.

請求項4に記載の発明は、前記パターン一致領域内の前期平均色相を求める際に、画素ごとに彩度を算出し、前記彩度が予め設定された閾値未満だった場合、前記画素の色相値を前記平均色相の算出対象画素から除外することを特徴とする請求項3に記載の異品種混入検査方法を提供するものである。   According to a fourth aspect of the present invention, when obtaining the previous average hue in the pattern matching region, the saturation is calculated for each pixel, and when the saturation is less than a preset threshold, the hue of the pixel 4. The method according to claim 3, wherein a value is excluded from pixels for which the average hue is calculated.

請求項5に記載の発明は、前記パターン一致領域内の前記平均色相の値を用いて、前記パターン一致領域内の複数の画素の色相値から求まる色相偏差を算出し、前記色相偏差の値が予め設定した閾値以上の場合、前記正規化相関係数のみを用いて前記被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項2から請求項4のいずれかに記載の異品種混入検査方法を提供するものである。   According to a fifth aspect of the present invention, a hue deviation obtained from hue values of a plurality of pixels in the pattern matching area is calculated using the average hue value in the pattern matching area, and the hue deviation value is calculated. 5. The method according to claim 2, wherein, when the threshold value is equal to or greater than a preset threshold value, the object to be inspected is determined to be either a normal product or a different product using only the normalized correlation coefficient. It is intended to provide the inspection method for mixing different kinds described.

請求項6に記載の発明は、前記平均色相を求める際に、前記パターン一致領域内で前記平均色相の算出対象となる画素の占める割合、すなわち色面積比率が、予め設定した閾値以下の場合、前記正規化相関係数のみを用いて前記被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項2から請求項5に記載の異品種混入検査方法を提供するものである。   In the invention according to claim 6, when the average hue is obtained, a ratio of pixels to be calculated for the average hue in the pattern matching region, that is, a color area ratio is equal to or less than a preset threshold value, 6. The method according to claim 2, wherein only the normalized correlation coefficient is used to determine whether the object to be inspected is a normal variety or a different variety. It is.

請求項7に記載の発明は、前記平均色相を求める際に、前記パターン一致領域内の輝度補正処理を行うことを特徴とする請求項1から請求項6のいずれかに記載の異品種混入検査方法を提供するものである。   The invention according to claim 7 is characterized in that, when obtaining the average hue, luminance correction processing in the pattern matching region is performed, and the different product mixture inspection according to any one of claims 1 to 6 A method is provided.

請求項8に記載の発明は、被検査対象物を撮像する撮像手段と、前記撮像手段により撮像された被検査対象物の画像を請求項1から請求項7のいずれかに記載の異品種混入検査方法を用いて異品種混入の判定を行う画像判定手段により構成されることを特徴とする異品種混入検査装置を提供するものである。   According to an eighth aspect of the present invention, there is provided imaging means for imaging an inspection target object, and an image of the inspection target object imaged by the imaging means. It is an object of the present invention to provide an apparatus for inspecting mixing with different types of products, characterized by comprising image determining means for determining the mixing of different types using an inspection method.

請求項9に記載の発明は、被検査対象物を撮像する撮像手段が、複数方向から被検査対
象物を撮像する撮像手段であり、前記撮像手段により撮像された複数方向からの被検査対象物の画像を合成して被検査対象物の画像とすることを特徴とする請求項8記載の異品種混入検査装置を提供するものである。
According to the ninth aspect of the present invention, the imaging means for imaging the inspection object is an imaging means for imaging the inspection object from a plurality of directions, and the inspection object from the plurality of directions imaged by the imaging means. 9. An apparatus for inspecting a mixed product of different types according to claim 8, wherein said image is synthesized into an image of an object to be inspected.

本発明の異品種混入検査装置により、被検査対象物の姿勢のばらつきの影響を受けずに検査画像中から色情報を抽出し、外周絵柄パターンのうち背景色のみが異なるような品種を含めた多品種での正規品種・異品種の判定を精度よく行うことが可能となる。   By using the different kind mixed inspection apparatus of the present invention, color information is extracted from the inspection image without being affected by variations in the posture of the object to be inspected, and the kinds of outer peripheral pattern that differ only in the background color are included. It is possible to accurately determine regular and different varieties in a wide variety.

異品種混入検査装置の模式図であり、(a)は、装置全体を上方から見た模式図で、(b)は、装置全体を側面から見た模式図で被検査対象物と撮像手段、光照射手段の位置関係を示す模式図である。It is a schematic diagram of a different kind mixing inspection apparatus, (a) is a schematic view of the entire apparatus as viewed from above, (b) is a schematic view of the entire apparatus as viewed from the side, an object to be inspected and an imaging means, It is a schematic diagram which shows the positional relationship of a light irradiation means. 被検査対象物の全周画像とマスターデータ領域の設定例である。It is the example of a setting of the perimeter image and master data area | region of a to-be-inspected target object. 被検査対象物の外周絵柄パターンのうち、背景色のみが異なる品種の組み合わせ例である。This is a combination example of varieties that differ only in the background color among the outer peripheral pattern of the object to be inspected. 良否判定を行うフローチャートのうち、色相判定までのフローチャートである。It is a flowchart until a hue determination among the flowcharts which perform a quality determination. 良否判定を行うフローチャートのうち、色相判定以降のフローチャートである。It is a flowchart after hue determination among the flowcharts which perform quality determination.

図1は本発明の異品種混入検査装置を模式的に表す図である。図1(a)は上方から見た図、図1(b)は側面から見た図である。被検査対象物1は、例えば、円筒型の紙カップであり、周囲に品種固有の絵柄や品名が印字されている。このように、端部が明確に判断できない被検査対象物に本発明は効果的である。
例えば、上流装置にて製造された被検査対象物1はシューター2内を空圧で矢印12に示される方向に移動し、下流装置へと搬送される。もちろん、本願は検査装置単独でも使用可能である。
本発明の異品種混入検査装置は撮像手段3、光照射手段4、画像判定手段5からなり、撮像手段3にて得られた被検査対象物1の画像データを画像判定手段5に伝送し、被検査対象物1が正規品種もしくは異品種かを判定する。
この実施の形態においては、単純な閾値を用いる例で以下説明する。
なお、他の照明装置などにより十分な光量が得られる場合は、光照射手段は不要である。
FIG. 1 is a diagram schematically showing a different kind mixing inspection apparatus of the present invention. FIG. 1A is a view from above, and FIG. 1B is a view from the side. The inspected object 1 is, for example, a cylindrical paper cup, and a pattern and product name unique to the product type are printed around it. As described above, the present invention is effective for an object to be inspected whose end portion cannot be clearly determined.
For example, the inspection object 1 manufactured in the upstream device moves in the shooter 2 by air pressure in the direction indicated by the arrow 12 and is transported to the downstream device. Of course, the present application can also be used with an inspection apparatus alone.
The different kind mixed inspection apparatus of the present invention comprises an image pickup means 3, a light irradiation means 4 and an image determination means 5, and transmits the image data of the inspection object 1 obtained by the image pickup means 3 to the image determination means 5. It is determined whether the inspection object 1 is a regular product or a different product.
In this embodiment, an example using a simple threshold will be described below.
Note that when a sufficient amount of light can be obtained by another lighting device or the like, the light irradiation means is not necessary.

本発明では、コストおよび簡便性を考慮して、装置固有の搬送機構を設けず上流、下流の装置間での搬送経路(シューター2)に装置を設置している。被検査対象物1の全周画像を必要とするため、一般には、撮像手段3および光照射手段4は複数配置する必要がある。本実施例では、撮像手段3および光照射手段4を被検査対象物1の周囲に4つ配置した例を示しているが、特にこの配置に限定されるものではなく、被検査対象物1の全周画像を得られる配置であればどのような配置でも良い。   In the present invention, in consideration of cost and simplicity, the apparatus is installed on the conveyance path (shooter 2) between the upstream and downstream apparatuses without providing the apparatus-specific conveyance mechanism. Since an entire circumference image of the object 1 to be inspected is required, it is generally necessary to arrange a plurality of imaging means 3 and light irradiation means 4. In the present embodiment, an example is shown in which four imaging means 3 and light irradiation means 4 are arranged around the object 1 to be inspected. However, the present invention is not particularly limited to this arrangement. Any arrangement may be used as long as it can obtain an all-round image.

撮像手段3には電荷結合素子(Charge Coupled Device)を用いているが、これに限定されるものではない。ただし、撮像手段3から得られる撮像データを構成するピクセルデータは赤(R)・緑(G)・青(B)の3色の光強度情報を持つことが必要である。各色の光強度分解能は0〜255の256階調で表現されるが、これに限定されるものではない。色情報の光照射手段4にはLED光源のストロボ発光を使用し短時間露光を可能としている。これにより、被検査対象物1が搬送中であっても静止状態の画像を得ることが可能であるが、これに限定されるものではない。   The imaging means 3 uses a charge coupled device, but is not limited to this. However, the pixel data constituting the imaging data obtained from the imaging means 3 needs to have light intensity information of three colors of red (R), green (G), and blue (B). The light intensity resolution of each color is expressed by 256 gradations from 0 to 255, but is not limited to this. The color information light irradiating means 4 uses strobe light emission from an LED light source to enable short-time exposure. Thereby, it is possible to obtain a stationary image even when the inspection object 1 is being transported, but the present invention is not limited to this.

撮像手段3において得られた被検査対象物1からの反射光を電気信号に変換し、画像判定手段5に伝送する。画像判定手段5にて、以下で示すようなデータ処理を行い、被検査対象物1の品種判定を行う。   The reflected light from the object to be inspected 1 obtained in the imaging means 3 is converted into an electric signal and transmitted to the image determination means 5. The image determination means 5 performs the following data processing to determine the type of the inspection object 1.

品種判定は、本実施の形態では、予め登録しておいたマスターデータを用いて被検査対象物1の全周画像中のパターンと比較することで、被検査対象物1を正規品種もしくは異品種混入と判定する。マスターデータはRGBデータをモノクロデータに変換することに得られる。輝度値を用いたパターン形状情報、RGBデータから求められるパターン色相情報の2種類を使用する。   In the present embodiment, the type determination is performed by comparing the inspection target object 1 with a normal or different type by comparing the pattern in the entire circumference image of the inspection target object 1 with master data registered in advance. Judge as mixed. Master data is obtained by converting RGB data into monochrome data. Two types of pattern shape information using luminance values and pattern hue information obtained from RGB data are used.

図2に被検査対象物1の全周画像及びマスターデータ設定領域の例を2例挙げている。図2(a)及び図2(b)に示すように、マスターデータは被検査対象物1の全周画像全領域を設定する必要はなく、被検査対象物の特徴あるパターンを含む絵柄領域8をマスターデータ設定領域として選定すればよい。これにより処理負荷が軽減される。また、全周画像6、全周画像8で示された品種の組み合わせではマスターデータ中のパターン形状は異なるが、背景色情報は同一である。そのため、異品種混入検査に有効なのはパターン形状情報のみとなる。   FIG. 2 shows two examples of the entire circumference image of the inspection object 1 and the master data setting area. As shown in FIGS. 2A and 2B, the master data does not need to set the entire area of the entire circumference image of the object 1 to be inspected, and the picture area 8 including a characteristic pattern of the object to be inspected. May be selected as the master data setting area. As a result, the processing load is reduced. In addition, the combination of the types shown in the all-round image 6 and the all-round image 8 has different pattern shapes in the master data, but the background color information is the same. Therefore, only the pattern shape information is effective for the inspection for mixing different types.

一方、図3にはマスターデータ設定領域中のパターン形状は同一であるが、背景色が異なる品種の組み合わせを示している。この場合、異品種混入検査にはパターン形状情報のみではなく、加えてパターン色相情報も必要となる。以上のような品種の混入検査に対応するため、図4、図5で示すフローチャートのような判定ステップを用いている。以下に、その詳細を説明する。   On the other hand, FIG. 3 shows combinations of varieties having the same pattern shape in the master data setting area but different background colors. In this case, not only the pattern shape information but also the pattern hue information is required for the inspection for mixing different types. In order to deal with the kind inspection of the kind as described above, determination steps as shown in the flowcharts of FIGS. 4 and 5 are used. The details will be described below.

まず、輝度値を用いたパターンマッチングを行う。本実施の形態では、画像判定手段5に画像データが入力されてきたら(S1)、画像データとマスターデータの間の正規化相関係数を算出する(S2)。正規化相関係数は、数1で表される係数であり、マスターデータと検査領域の輝度分布関数間の距離を表している。正規化相関係数の算出を算出位置を移動しながら(S4)、被検査対象物1の全領域の画像にわたって行い(S3)、正規化相関係数が最も大きい領域を探索する。
以下に数1の例を示す。
First, pattern matching using luminance values is performed. In the present embodiment, when image data is input to the image determination means 5 (S1), a normalized correlation coefficient between the image data and the master data is calculated (S2). The normalized correlation coefficient is a coefficient expressed by Equation 1, and represents the distance between the master data and the luminance distribution function of the inspection area. While calculating the normalized correlation coefficient (S4), the normalized correlation coefficient is calculated over the entire area image of the inspection object 1 (S3), and the area having the largest normalized correlation coefficient is searched.
An example of Equation 1 is shown below.

Figure 2013072777
Figure 2013072777

ここで、
r・・・正規化相関係数
M・・・マスターデータ輝度
I・・・検査画像輝度
N・・・画像サイズ(画素数)である。
here,
r: normalized correlation coefficient M: master data luminance I: inspection image luminance N: image size (number of pixels).

ここで、正規化相関係数の算出はRGBデータではなくモノクロデータを用いる。正規化相関係数はマスターパターンの形状サーチに用いるので、RGBデータよりモノクロデータのほうが取り扱い・計算負荷ともに適しているためである。   Here, the normalized correlation coefficient is calculated using monochrome data instead of RGB data. This is because the normalized correlation coefficient is used for the shape search of the master pattern, so that monochrome data is more suitable for handling and calculation load than RGB data.

S3により求まった最も高い正規化相関係数が予め設定した閾値を超えるかどうか判定を行う(S5)。閾値を超える場合は、マスターデータの形状パターンと一致した領域が被検査対象物にありと判定し(S6)、該当する領域をパターン一致領域と判断し、色相判定ステップ(S8)に移行する。閾値を超えない場合は、マスターデータの形状パターンと一致する領域がないと判定し、被検査対象物1を異品種混入と判定する。   It is determined whether or not the highest normalized correlation coefficient obtained in S3 exceeds a preset threshold value (S5). If the threshold value is exceeded, it is determined that there is a region that matches the shape pattern of the master data in the inspection object (S6), the corresponding region is determined as the pattern matching region, and the process proceeds to the hue determination step (S8). When the threshold value is not exceeded, it is determined that there is no region that matches the shape pattern of the master data, and the inspection target object 1 is determined to be mixed with different products.

平均色相を用いたマッチングである、色相判定ステップについて図5のフローチャートを用いて説明する。色相判定とは、パターン一致領域内における平均色相を求め、マスターデータ領域内の平均色相との比較を行うものである。まず、パターン一致領域内の輝度補正処理(S9)を行う。被検査対象物1は前記したようにシューター2内を空圧のみで搬送されてくるので、ワーク姿勢にかなりの変動が生じているのが一般的である。そのため、撮像画像の明るさ変動が大きく、色相を正しく算出することが出来ない。そのため、輝度補正処理(S9)により明るさ変動を除去することが多くの場合必要である。   The hue determination step, which is matching using the average hue, will be described with reference to the flowchart of FIG. Hue determination is to obtain an average hue in the pattern matching area and compare it with the average hue in the master data area. First, luminance correction processing (S9) in the pattern matching area is performed. As described above, since the inspection object 1 is transported in the shooter 2 only by air pressure as described above, it is general that a considerable variation occurs in the work posture. Therefore, the brightness variation of the captured image is large, and the hue cannot be calculated correctly. For this reason, it is often necessary to remove brightness fluctuations by the luminance correction process (S9).

輝度補正処理(S9)に関しては、数2で示すように、パターン一致領域内の狙い平均輝度値を予め設定しておき、各画素の輝度値を狙い平均輝度値からのオフセット量で補正する処理を行っているが、この方法に限定されるものではない。数2の処理はパターン一致領域内の全画素に渡って、RGBデータそれぞれに対して実施する。
以下に数2を示す。
With respect to the luminance correction process (S9), as shown in Equation 2, a target average luminance value in the pattern matching area is set in advance, and the luminance value of each pixel is corrected with an offset amount from the target average luminance value. However, the present invention is not limited to this method. The processing of Formula 2 is performed on each of the RGB data over all the pixels in the pattern matching area.
Equation 2 is shown below.

Figure 2013072777
Figure 2013072777

ここで、
I’・・・補正後輝度値
T・・・狙い平均輝度値
I・・・補正前輝度値
V・・・補正前平均輝度値、である。
here,
I ′: corrected luminance value T: target average luminance value I: uncorrected luminance value V: uncorrected average luminance value

次にパターン一致領域内のRGBデータから各画素の彩度・色相を算出する(S10)。本発明ではRGB色空間からL*a*b*色空間への変換を行った後に、彩度・色相を算出しているが、この方法に限定されるものではない。L*a*b*色空間から彩度および色相は数3で算出される。
以下に数3を示す。
Next, the saturation and hue of each pixel are calculated from the RGB data in the pattern matching area (S10). In the present invention, the saturation and the hue are calculated after the conversion from the RGB color space to the L * a * b * color space. However, the present invention is not limited to this method. From the L * a * b * color space, the saturation and hue are calculated by Equation 3.
Equation 3 is shown below.

Figure 2013072777
Figure 2013072777

ここで、
a*・・・L*a*b*色空間でのa*値
b*・・・L*a*b*色空間でのb*値
S・・・彩度
H・・・色相、である。
here,
a * ... a * value in L * a * b * color space b * ... b * value in L * a * b * color space S ... saturation H ... hue .

次に、パターン一致領域内の平均色相および色相偏差を算出する(S11)。その際、算出対象となる画素データを、彩度が予め設定された閾値を超えるもののみに限定する。それと同時に、パターン一致領域内にて、前記算出対象となる画素数をカウントし、パターン一致領域内に占める割合(色面積比率)を算出する。
次に、算出された色相偏差を予め設定された閾値と比較し(S12)、閾値以下だった場合は次のステップに進む(S13)。閾値を超えた場合は色相判定は実施しない(S14)。
次に、算出された色面積比率を予め設定された閾値と比較し(S13)、閾値以上だった場合は次のステップに進む(S15)。閾値未満だった場合は色相判定は実施しない(S14)。以下に、S11〜S14までの処理について説明する。
Next, the average hue and hue deviation in the pattern matching area are calculated (S11). At that time, the pixel data to be calculated is limited to only those whose saturation exceeds a preset threshold value. At the same time, the number of pixels to be calculated is counted in the pattern matching area, and the ratio (color area ratio) in the pattern matching area is calculated.
Next, the calculated hue deviation is compared with a preset threshold value (S12), and if it is equal to or less than the threshold value, the process proceeds to the next step (S13). If the threshold value is exceeded, the hue determination is not performed (S14).
Next, the calculated color area ratio is compared with a preset threshold value (S13), and if it is equal to or greater than the threshold value, the process proceeds to the next step (S15). If it is less than the threshold, the hue determination is not performed (S14). Below, the process from S11 to S14 will be described.

一般的に、彩度が弱い場合、数3からも明らかなように、a*値・b*値の多少の揺らぎにより色相が大きく変化してしまう。そのため、平均色相を正確に算出するためには、彩度の強い画素のみを対象とするのが好ましい。また、パターン一致領域内に彩度の強い画
素が存在していてもそれらの色相偏差が大きい場合、パターン一致領域内の平均色相を算出してもその領域内の特徴を表すことは容易でない。そのため、色相偏差が大きい場合は色相判定を行わないことが有効である。また、色面積比率が小さい場合、パターン一致領域内の色相情報が少数の画素データでのみ表わされ、全体を正しく表現できない可能性がある。そのため、色面積比率が小さいものも色相判定を行わない。
以上のことから、色相判定を行うためには、パターン一致領域内の色情報において、一定以上の彩度を持つエリアが一定以上の割合を占め、なおかつそのエリア内は単一に近い色相であることが好ましい。
In general, when the saturation is weak, as is apparent from Equation 3, the hue changes greatly due to slight fluctuations in the a * value and the b * value. Therefore, in order to accurately calculate the average hue, it is preferable to target only pixels with high saturation. Also, even if pixels with strong saturation exist in the pattern matching area, if the hue deviation thereof is large, it is not easy to represent the characteristics in that area even if the average hue in the pattern matching area is calculated. Therefore, it is effective not to perform hue determination when the hue deviation is large. Further, when the color area ratio is small, the hue information in the pattern matching region is represented only by a small number of pixel data, and there is a possibility that the whole cannot be represented correctly. Therefore, the hue determination is not performed even for a color area ratio that is small.
From the above, in order to perform the hue determination, in the color information in the pattern matching area, an area having a certain saturation or more occupies a certain ratio or more, and the area has a near-single hue. It is preferable.

次に、パターン一致領域内の平均色相とマスターデータの平均色相との差分値を算出し(S15)、前記差分値を予め設定された閾値と比較し(S16)、閾値以下だった場合は被検査対象物1を正規品種と判定し、閾値を超えた場合は被検査対象物1を異品種と判定する。   Next, a difference value between the average hue in the pattern matching area and the average hue of the master data is calculated (S15), and the difference value is compared with a preset threshold value (S16). The inspection object 1 is determined as a regular product, and if the threshold value is exceeded, the inspection object 1 is determined as a different product.

以上の判定フローにより、被検査対象物の絵柄パターンに依らず、品種判定を行うことが出来る。ただし、色相判定を必要とする品種の場合、S14のように色相判定に適さないと判定されたパターン一致領域は色相判定が実施されないので、見逃しが発生する可能性がある。そのため、マスターデータを設定する際に、予め色相判定に適した領域かどうかをマスターデータ内の色情報を参照して見極める必要がある。
以上述べてきた通り、輝度値を用いたパターンマッチングと、平均色相を用いたマッチッグをするだけである程度の効果は得られるが、被検査対象物の画像の特性に応じて適宜カスタマイズを施すと、より精度が向上するか、処理速度が向上する異品種混入検査方法が提供できるとともに、この異品種混入検査の実施に有効な装置を提供できる。
According to the above determination flow, it is possible to determine the type regardless of the pattern of the inspection object. However, in the case of a product type that requires hue determination, the pattern matching region that is determined to be unsuitable for hue determination as in S14 is not subjected to hue determination, and may be overlooked. Therefore, when setting the master data, it is necessary to determine in advance whether the region is suitable for hue determination with reference to color information in the master data.
As described above, a certain degree of effect can be obtained only by performing pattern matching using the luminance value and matching using the average hue, but if appropriately customized according to the characteristics of the image of the inspection object, It is possible to provide a different kind mixing inspection method that improves the accuracy or the processing speed, and can provide an apparatus that is effective for performing this different kind mixing inspection.

1・・・被検査対象物
2・・・シューター
3・・・撮像手段
4・・・光照射手段
5・・・画像判定手段
6・・・被検査対象物の全周画像例1
7・・・被検査対象物の全周画像例2
8・・・マスターデータ設定領域
9・・・被検査対象物の全周画像例3(背景色有り)
10・・・被検査対象物の全周画像例4(背景色有り)
DESCRIPTION OF SYMBOLS 1 ... Test object 2 ... Shooter 3 ... Imaging means 4 ... Light irradiation means 5 ... Image determination means 6 ... Whole circumference image example 1 of test object
7 ... Example 2 of all-round image of inspection object
8: Master data setting area 9: Example 3 of all-round image of the object to be inspected (with background color)
10 ... Example 4 of all-around image of the object to be inspected (with background color)

Claims (9)

被検査対象物の画像を取得し、マスターデータとの比較を行うことにより、前記被検査対象物を正規品種もしくは異品種と判定する異品種混入検査方法であって、
前記被検査対象物のパターンから特徴あるパターンを有するマスターデータ領域により、被検査対象物の全画像領域に対して、輝度値を用いたパターンマッチングをして、パターン一致領域を探索し、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングにより、正規品種もしくは異品種と判定することを特徴とする異品種混入検査方法。
By obtaining an image of an object to be inspected and performing comparison with master data, the inspection method includes a different product mixing inspection method for determining the object to be inspected as a regular product or a different product,
By using the master data area having a characteristic pattern from the pattern of the object to be inspected, pattern matching using a luminance value is performed on the entire image area of the object to be inspected, and a pattern matching area is searched,
A method for inspecting a mixed product of different varieties, wherein a normal product type or a different product type is determined by matching an average hue in the pattern matching area with the master data average hue.
輝度値を用いたパターンマッチングが、予め取得してある前記マスターデータ輝度値と、正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出を、被検査対象物の全画像領域にわたって行い、最も正規化相関係数の値が大きい領域が前記マスターデータ領域と一致したと判断し、前記正規化相関係数の値が予め設定された閾値以上であった場合、前記最も正規化相関係数の値が大きい領域をパターン一致領域であると判断することによって行われるとともに、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングが、前記パターン一致領域内の平均色相と前記マスターデータ平均色相との差分値を算出し、前記差分値が予め設定された閾値以下の場合は、前記被検査対象物を正規品種と判定し、前記正規化相関係数の値が予め設定された閾値未満であった場合、もしくは前記差分値が閾値以上であった場合、前期被検査対象物を異品種と判定することを特徴とする請求項1記載の異品種混入検査方法。
Pattern matching using a luminance value calculates a normalized correlation coefficient between the master data luminance value acquired in advance and a luminance value in an object to be inspected determined to be a normal product or a different product. Performed over the entire image area of the object, determined that the area with the largest normalized correlation coefficient value matched the master data area, and the normalized correlation coefficient value was greater than or equal to a preset threshold value A region having the largest normalized correlation coefficient value is determined as a pattern matching region, and
Matching between the average hue in the pattern matching area and the master data average hue calculates a difference value between the average hue in the pattern matching area and the master data average hue, and the difference value is a preset threshold value. In the following cases, it is determined that the object to be inspected is a normal product, and when the value of the normalized correlation coefficient is less than a preset threshold value, or when the difference value is greater than or equal to a threshold value, 2. The method for inspecting mixing of different varieties according to claim 1, wherein the object to be inspected is determined to be different varieties.
前記マスターデータ輝度値が、前記マスターデータ領域の複数の画素の輝度値をマスターデータ輝度値として予め取得したものであり、
正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出が、正規品種もしくは異品種と判定する被検査対象物内の複数の画素の輝度値との正規化相関係数の算出であり、
前記パターン一致領域内の平均色相が、前記パターン一致領域内の複数の画素の輝度値をもとに平均色相を算出したものであり、
前記平均色相と前記マスターデータ輝度値の複数の画素から算出されるマスターデータ平均色相との差分値を算出したものであることを特徴とする請求項2記載の異品種混入検査方法。
The master data luminance value is acquired in advance as the master data luminance value of the luminance values of a plurality of pixels in the master data area,
The calculation of the normalized correlation coefficient with the luminance value in the inspected object determined to be the normal type or different type is normal to the luminance value of multiple pixels in the inspected object determined to be the normal type or different type Calculation of the correlation coefficient
The average hue in the pattern matching area is an average hue calculated based on the luminance values of a plurality of pixels in the pattern matching area,
3. The method for inspecting mixing of different varieties according to claim 2, wherein a difference value between the average hue and a master data average hue calculated from a plurality of pixels of the master data luminance value is calculated.
前記パターン一致領域内の前期平均色相を求める際に、画素ごとに彩度を算出し、前記彩度が予め設定された閾値未満だった場合、前記画素の色相値を前記平均色相の算出対象画素から除外することを特徴とする請求項3に記載の異品種混入検査方法。   When obtaining the previous average hue in the pattern matching region, the saturation is calculated for each pixel, and if the saturation is less than a preset threshold, the hue value of the pixel is calculated as the average hue calculation target pixel. 4. The method for inspecting mixing of different varieties according to claim 3, wherein 前記パターン一致領域内の前記平均色相の値を用いて、前記パターン一致領域内の複数の画素の色相値から求まる色相偏差を算出し、前記色相偏差の値が予め設定した閾値以上の場合、前記正規化相関係数のみを用いて前記被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項2から請求項4何れかに記載の異品種混入検査方法。   Using the average hue value in the pattern matching area, calculating a hue deviation obtained from the hue values of a plurality of pixels in the pattern matching area, and when the hue deviation value is greater than or equal to a preset threshold value, 5. The method for inspecting mixing of different varieties according to claim 2, wherein the object to be inspected is determined to be either a normal cultivar or a different cultivar using only a normalized correlation coefficient. 前記平均色相を求める際に、前記パターン一致領域内で前記平均色相の算出対象となる画素の占める割合が、予め設定した閾値以下の場合、前記正規化相関係数のみを用いて前期被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項2から請求項5に記載の異品種混入検査方法。   When the average hue is obtained, if the ratio of the pixels for which the average hue is calculated in the pattern matching area is equal to or less than a preset threshold value, only the normalized correlation coefficient is used for the previous inspection target. 6. The method for inspecting mixing of different varieties according to claim 2, wherein the product is determined to be either a regular product or a different product. 前記平均色相を求める際に、前記パターン一致領域内の輝度補正処理を行うことを特徴
とする請求項1から請求項6のいずれかに記載の異品種混入検査方法。
7. The method for inspecting mixing of different varieties according to claim 1, wherein a luminance correction process in the pattern matching area is performed when the average hue is obtained.
被検査対象物を撮像する撮像手段と、前記撮像手段により撮像された被検査対象物の画像を請求項1から請求項7のいずれかに記載の異品種混入検査方法を用いて異品種混入の判定を行う画像判定手段により構成されることを特徴とする異品種混入検査装置。   An imaging unit for imaging an object to be inspected, and an image of the object to be inspected captured by the imaging unit is mixed with a different kind using the different kind mixing inspection method according to any one of claims 1 to 7. An apparatus for inspecting mixing of different varieties characterized by comprising image determining means for performing determination. 被検査対象物を撮像する撮像手段が、複数方向から被検査対象物を撮像する撮像手段であり、前記撮像手段により撮像された複数方向からの被検査対象物の画像を合成して被検査対象物の画像とすることを特徴とする請求項8記載の異品種混入検査装置。   The image pickup means for picking up the object to be inspected is an image pickup means for picking up the object to be inspected from a plurality of directions, and combines the images of the object to be inspected from the plurality of directions picked up by the image pickup means. 9. The apparatus for inspecting mixing of different varieties according to claim 8, wherein the apparatus is an image of an object.
JP2011212641A 2011-09-28 2011-09-28 Different kind intrusion inspection method and different kind intrusion inspection device Withdrawn JP2013072777A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011212641A JP2013072777A (en) 2011-09-28 2011-09-28 Different kind intrusion inspection method and different kind intrusion inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011212641A JP2013072777A (en) 2011-09-28 2011-09-28 Different kind intrusion inspection method and different kind intrusion inspection device

Publications (1)

Publication Number Publication Date
JP2013072777A true JP2013072777A (en) 2013-04-22

Family

ID=48477391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011212641A Withdrawn JP2013072777A (en) 2011-09-28 2011-09-28 Different kind intrusion inspection method and different kind intrusion inspection device

Country Status (1)

Country Link
JP (1) JP2013072777A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218760A (en) * 2015-05-20 2016-12-22 株式会社日立製作所 Object detection system, object detection method, poi information creation system, warning system, and guiding system
JP2019516068A (en) * 2016-03-04 2019-06-13 スリーエム イノベイティブ プロパティズ カンパニー Device, system, and recording medium for measuring color difference
JP2020194443A (en) * 2019-05-29 2020-12-03 株式会社マーケットヴィジョン Image processing system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218760A (en) * 2015-05-20 2016-12-22 株式会社日立製作所 Object detection system, object detection method, poi information creation system, warning system, and guiding system
JP2019516068A (en) * 2016-03-04 2019-06-13 スリーエム イノベイティブ プロパティズ カンパニー Device, system, and recording medium for measuring color difference
JP2020194443A (en) * 2019-05-29 2020-12-03 株式会社マーケットヴィジョン Image processing system

Similar Documents

Publication Publication Date Title
EP2713596B1 (en) Image evaluation device, image evaluation method and program storage medium
JP5776085B2 (en) Method and system for item identification
US20110249116A1 (en) Color measuring apparatus and color measuring method
JP6325520B2 (en) Unevenness inspection system, unevenness inspection method, and unevenness inspection program
US20140092419A1 (en) Image evaluation device, image evaluation method and program storage medium
JP2007293809A (en) Displacement detecting device, displacement detecting method, displacement detecting program, and recording medium
CN103808731A (en) Defect detection method applied to presswork detection system
US20100039510A1 (en) Method and DEVICE for PRINT INSPECTION
JP2016206760A (en) Color discrimination method and color discrimination device, as well as printer color tone control method
JP2013072777A (en) Different kind intrusion inspection method and different kind intrusion inspection device
WO2015198401A1 (en) Method for setting inspection condition for fastener element, and method for inspecting fastener element
JP2006266750A (en) Method and device for defect inspection
JP6357864B2 (en) Printing inspection apparatus and printing inspection method
US9667812B2 (en) Image reading device and correction method for image reading device
JP2005252451A (en) Image quality inspection method and image quality inspection apparatus
JP4392268B2 (en) Surface inspection device
JP2005172649A (en) Apparatus for inspecting defect
CN109975299B (en) Light source detection system and method
CN111402341A (en) Camera parameter determination method and device, electronic equipment and readable storage medium
JP2009047465A (en) Image quality inspection device
JP4961370B2 (en) Inspection method and inspection apparatus
JP2016166826A (en) Inspection device, inspection method, and program for inspection device
TWI447382B (en) Wood inspection methods and apparatus and program
JP6813749B1 (en) How to quantify the color of an object, signal processor, and imaging system
US20230237640A1 (en) Classification condition setting support apparatus

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141202