JP2020181532A - Image determination device and image determination method - Google Patents

Abstract

To improve the determination accuracy of processing that determines the normality of an image.SOLUTION: A storage unit 711 stores a restoration model 721 that extracts a feature from input data and creates output data restored from the extracted feature. The storage unit 711 further stores a reference value 722 that is obtained by causing the restoration model to learn a normal image at a plurality of times, and is based on a plurality of values of a function indicating a difference between the input data and the output data. A learning processing unit 712 causes the restoration model 721 to learn an image to be determined at a plurality of times to acquire the plurality of values of the function. A determination unit 713 determines the normality of the image to be determined by using the reference value 722 and the plurality of values of the function acquired by causing the restoration model 721 to learn the image to be determined at a plurality of times, and an output unit 714 outputs a determination result indicating the normality of the image to be determined.SELECTED DRAWING: Figure 7

Description

本発明は、画像判定装置及び画像判定方法に関する。 The present invention relates to an image determination device and an image determination method.

工場の生産ライン等において、製造された製品の傷、凹み、汚れ等の不良部分を検出するために、外観検査が実施されている。この外観検査では、各生産ラインに配置された検査員が、あらかじめ規定された検査基準に基づいて目視で判別を行うことにより、製品が不良品であるか否かが判定される。 Visual inspections are carried out on production lines of factories and the like in order to detect defective parts such as scratches, dents, and stains on manufactured products. In this visual inspection, an inspector assigned to each production line visually determines whether or not the product is defective based on a predetermined inspection standard.

しかし、検査基準は、「視力○○で○ｍ離れて傷がみえないこと」、「○×○ミリ範囲の傷が○個以下」のような、テキストで表現されることが多い。この場合、様々な形態を取る不良部分に対して、限られた検査時間内で個人の感覚に依存して判定が行われるため、判定結果にばらつきが生じる。このため、段階的に複数の検査員を配置して誤判定を防ぐ等の対策が行われることが多く、人件費がかさむ要因となる。 However, the inspection criteria are often expressed in texts such as "no scratches can be seen at a distance of XX m with visual acuity XX" and "less than XX scratches in the XX mm range". In this case, since the determination is made depending on the individual's sense within the limited inspection time for the defective portion taking various forms, the determination result varies. For this reason, measures such as allocating a plurality of inspectors in stages to prevent erroneous judgments are often taken, which causes an increase in labor costs.

そこで、近年では、パターンマッチング法、特徴抽出法等の画像処理技術を用いた自動判定システムの導入が進んでいる。 Therefore, in recent years, the introduction of an automatic determination system using image processing techniques such as a pattern matching method and a feature extraction method has been progressing.

異常検知に関連して、自己符号化器を用いて異常を検知する技術が知られている（例えば、特許文献１及び特許文献２を参照）。ディープラーニング等を用いてコンクリート構造物の施工品質を評価する技術も知られている（例えば、特許文献３を参照）。 In relation to abnormality detection, a technique for detecting an abnormality using a self-encoder is known (see, for example, Patent Document 1 and Patent Document 2). A technique for evaluating the construction quality of a concrete structure using deep learning or the like is also known (see, for example, Patent Document 3).

特開２０１８−７３２５８号公報JP-A-2018-73258 特開２０１８−１１２８６３号公報Japanese Unexamined Patent Publication No. 2018-12863 特開２０１６−１４２６０１号公報Japanese Unexamined Patent Publication No. 2016-142601

画像処理技術を用いた自動判定システムでは、製品を撮影した撮影画像に対する判定結果の精度を、検査基準に沿った実用的なレベルまで向上させることは困難である。 With an automatic determination system using image processing technology, it is difficult to improve the accuracy of the determination result for the captured image of the product to a practical level in line with the inspection standard.

なお、かかる問題は、工場の生産ライン等における製品の外観検査に限らず、様々な撮影対象を撮影した撮影画像の正常性を判定する処理において生ずるものである。 It should be noted that such a problem occurs not only in the visual inspection of the product on the production line of the factory but also in the process of determining the normality of the photographed images of various photographed objects.

１つの側面において、本発明は、画像の正常性を判定する処理の判定精度を向上させることを目的とする。 In one aspect, the present invention aims to improve the determination accuracy of a process for determining the normality of an image.

１つの案では、画像判定装置は、記憶部、学習処理部、判定部、及び出力部を含む。記憶部は、入力データから特徴を抽出し、抽出された特徴から復元された出力データを生成する、復元モデルを記憶する。さらに、記憶部は、復元モデルに正常画像を複数回学習させることで取得された、入力データと出力データとの誤差を示す関数の複数の値に基づく、基準値を記憶する。 In one proposal, the image determination device includes a storage unit, a learning processing unit, a determination unit, and an output unit. The storage unit stores a restored model that extracts features from the input data and generates output data restored from the extracted features. Further, the storage unit stores a reference value based on a plurality of values of a function indicating an error between the input data and the output data, which is acquired by having the restoration model learn the normal image a plurality of times.

学習処理部は、復元モデルに判定対象画像を複数回学習させることで、関数の複数の値を取得する。判定部は、復元モデルに判定対象画像を複数回学習させることで取得された関数の複数の値と、基準値とを用いて、判定対象画像の正常性を判定し、出力部は、判定対象画像の正常性を示す判定結果を出力する。 The learning processing unit acquires a plurality of values of the function by causing the restoration model to learn the image to be determined a plurality of times. The judgment unit determines the normality of the judgment target image using the plurality of values of the function acquired by training the restoration model multiple times and the reference value, and the output unit determines the judgment target. Outputs the judgment result indicating the normality of the image.

１つの側面において、画像の正常性を判定する処理の判定精度を向上させることができる。 In one aspect, the determination accuracy of the process for determining the normality of the image can be improved.

画像処理装置の学習時における機能的構成図である。It is a functional block diagram at the time of learning of an image processing apparatus. 損失関数の値の変化を示す図である。It is a figure which shows the change of the value of a loss function. 正常画像の復元処理を示す図である。It is a figure which shows the restoration process of a normal image. 画像処理装置の判定時における機能的構成図である。It is a functional block diagram at the time of determination of an image processing apparatus. 正常画像に対する判定処理を示す図である。It is a figure which shows the determination process for a normal image. 異常画像に対する判定処理を示す図である。It is a figure which shows the determination process for an abnormal image. 画像判定装置の機能的構成図である。It is a functional block diagram of an image determination device. 画像判定処理のフローチャートである。It is a flowchart of an image determination process. 外観検査システムの機能的構成図である。It is a functional block diagram of a visual inspection system. 判定対象画像を示す図である。It is a figure which shows the image to be determined. 正常画像及び判定対象画像に対する損失関数の値の変化を示す図である。It is a figure which shows the change of the value of the loss function with respect to a normal image and a judgment target image. 正常画像に対する損失関数の値を示す図である。It is a figure which shows the value of the loss function with respect to a normal image. 判定対象画像に対する損失関数の値を示す図である。It is a figure which shows the value of the loss function with respect to the image to be determined. 学習処理のフローチャートである。It is a flowchart of a learning process. 判定処理のフローチャートである。It is a flowchart of a determination process. 情報処理装置の構成図である。It is a block diagram of an information processing apparatus.

以下、図面を参照しながら、実施形態を詳細に説明する。
上述したように、近年の外観検査では、パターンマッチング法、特徴抽出法等の画像処理技術の導入が進んでいる。 Hereinafter, embodiments will be described in detail with reference to the drawings.
As described above, in recent visual inspections, the introduction of image processing techniques such as a pattern matching method and a feature extraction method is progressing.

パターンマッチング法では、撮影画像と正常画像との重ね合わせにより、差分の有無が判定される。正常画像は、傷、凹み、汚れ等の不良部分を含まない、良好な製品（良品）が写っている画像である。このようなパターンマッチング法では、撮影画像と正常画像との間における位置ずれが生じない撮影環境を整備するか、又は別の画像処理により位置ずれ補正を行うことが望ましく、整備コスト又は処理負荷が増加する。また、照明の明るさ又は方向によって撮影画像と正常画像との間に差分が生じる場合、誤判定が増加する。 In the pattern matching method, the presence or absence of a difference is determined by superimposing the captured image and the normal image. A normal image is an image showing a good product (good product) that does not include defective parts such as scratches, dents, and stains. In such a pattern matching method, it is desirable to prepare a shooting environment in which no positional deviation occurs between the captured image and the normal image, or to correct the positional deviation by another image processing, which increases the maintenance cost or processing load. To increase. Further, when a difference occurs between the captured image and the normal image depending on the brightness or direction of the illumination, the erroneous determination increases.

特徴抽出法では、異常パターンとしてあらかじめ想定される特徴が撮影画像から探索される。このため、傷又は汚れの場所、太さ、傾き、面積等が異なる多数の異常パターンが存在する場合、すべての異常パターンを漏れなく検出することは難しい。 In the feature extraction method, a feature assumed in advance as an abnormal pattern is searched from the captured image. Therefore, when there are many abnormal patterns having different scratches or stains, thickness, inclination, area, etc., it is difficult to detect all the abnormal patterns without omission.

最近では、機械学習に代表される人工知能を活用した画像判定技術の導入も検討されている。この画像判定技術は、大きく以下の２つの方法に分けられる。
（Ｍ１）ＳＶＭ（Support Vector Machine）、ＣＮＮ（Convolutional Neural Network）等のモデルに、正常画像及び異常画像と教師ラベルとを学習させ、学習後のモデルを用いて撮影画像を分類する分類方法。
（Ｍ２）畳み込み自己符号化器（Convolutional Auto Encoder，ＣＡＥ）に正常画像を学習させ、学習後のＣＡＥに対する入力画像と出力画像との差分に基づいて、入力画像が正常か否かを判別する判別方法。 Recently, the introduction of image judgment technology utilizing artificial intelligence represented by machine learning is also being considered. This image determination technique can be roughly divided into the following two methods.
(M1) A classification method in which a model such as SVM (Support Vector Machine) or CNN (Convolutional Neural Network) is made to learn a normal image and an abnormal image and a teacher label, and the photographed image is classified using the model after learning.
(M2) A convolutional autoencoder (CAE) is trained to learn a normal image, and a determination is made to determine whether the input image is normal or not based on the difference between the input image and the output image for the learned CAE. Method.

異常画像は、不良部分を含む不良品が写っている画像である。（Ｍ１）の分類方法には、以下のような問題がある。
（ａ）大量の正常画像及び大量の異常画像をモデルに学習させることが望ましいが、不良品の発生数が少ない場合、学習に十分な量の異常画像を用意することが困難である。
（ｂ）学習されていない異常パターンを含む撮影画像の分類精度が低下する。
（ｃ）正常画像及び異常画像に対する教師ラベルは、各画像が正常画像又は異常画像のいずれであるかを示し、作業者によって付与される。このため、目視検査の場合と同様のばらつきが教師ラベルに生じ、分類結果に影響を及ぼす。 An abnormal image is an image showing a defective product including a defective portion. The classification method of (M1) has the following problems.
(A) It is desirable to train a model with a large amount of normal images and a large number of abnormal images, but when the number of defective products is small, it is difficult to prepare a sufficient amount of abnormal images for learning.
(B) The classification accuracy of captured images including unlearned abnormal patterns is reduced.
(C) A teacher label for a normal image and an abnormal image indicates whether each image is a normal image or an abnormal image, and is given by an operator. For this reason, the same variation as in the case of visual inspection occurs in the teacher label, which affects the classification result.

一方、（Ｍ２）の判別方法では、正常画像のみを使用して学習が行われ、教師ラベルも不要なため、（ａ）〜（ｃ）のような問題が生じない利点がある。 On the other hand, the discrimination method (M2) has an advantage that the problems (a) to (c) do not occur because learning is performed using only normal images and no teacher label is required.

図１は、（Ｍ２）の判別方法を用いる画像処理装置の学習時における機能的構成例を示している。図１の画像処理装置１０１は、ＣＡＥ１１１及び損失関数１１２を含み、ＣＡＥ１１１は、符号化部１２１及び復号部１２２を含む。 FIG. 1 shows an example of a functional configuration at the time of learning of an image processing apparatus using the discrimination method (M2). The image processing apparatus 101 of FIG. 1 includes a CAE 111 and a loss function 112, and the CAE 111 includes a coding unit 121 and a decoding unit 122.

符号化部１２１は、入力画像から特徴を抽出して、抽出された特徴を符号化する。復号部１２２は、符号化された特徴を復号し、特徴から復元された復元画像を出力画像として出力する。符号化部１２１及び復号部１２２は、ニューラルネットワークを用いて生成され、重み及びバイアスをパラメータとして含む。 The coding unit 121 extracts features from the input image and encodes the extracted features. The decoding unit 122 decodes the encoded feature and outputs the restored image restored from the feature as an output image. The coding unit 121 and the decoding unit 122 are generated using a neural network and include weights and biases as parameters.

学習時には、入力画像として正常画像がＣＡＥ１１１に入力され、ＣＡＥ１１１は、正常画像の特徴から復元された復元画像を出力する。損失関数１１２は、ＣＡＥ１１１に入力される入力画像と、ＣＡＥ１１１から出力される出力画像との誤差を示す関数である。画像処理装置１０１は、損失関数１１２を用いて、正常画像と復元画像との誤差を評価し、損失関数の値が小さくなるように、ＣＡＥ１１１内部のパラメータを調整しながら、正常画像に対する学習を繰り返す。 At the time of learning, a normal image is input to CAE111 as an input image, and CAE111 outputs a restored image restored from the features of the normal image. The loss function 112 is a function indicating an error between the input image input to the CAE 111 and the output image output from the CAE 111. The image processing device 101 evaluates the error between the normal image and the restored image by using the loss function 112, and repeats learning for the normal image while adjusting the parameters inside the CAE 111 so that the value of the loss function becomes small. ..

図２は、学習時における損失関数の値の変化の例を示している。横軸の学習回数は、同じ正常画像に対する学習の繰り返し回数を表し、縦軸は、計算された損失関数の値を表す。この例では、学習回数が増加するにつれて損失関数の値が減少しており、学習回数が５回を超えると、損失関数の値は十分に小さな値に収束している。 FIG. 2 shows an example of a change in the value of the loss function during learning. The horizontal axis represents the number of times of learning for the same normal image, and the vertical axis represents the value of the calculated loss function. In this example, the value of the loss function decreases as the number of learnings increases, and when the number of learnings exceeds 5, the value of the loss function converges to a sufficiently small value.

図３は、学習が進んだ状態における正常画像の復元処理の例を示している。ＣＡＥ１１１は、複数の正常画像３０１各々の特徴を学習して、正常画像３０２を復元する。このように、十分に学習が進んだ状態になると、ＣＡＥ１１１内部に正常画像３０２を復元するためのパラメータが蓄積され、正常画像３０１を入力すれば、同様の正常画像３０２が復元画像として出力されるようになる。 FIG. 3 shows an example of a normal image restoration process in a state where learning has progressed. The CAE 111 learns the characteristics of each of the plurality of normal images 301 and restores the normal image 302. In this way, when the learning is sufficiently advanced, the parameters for restoring the normal image 302 are accumulated inside the CAE 111, and if the normal image 301 is input, the same normal image 302 is output as the restored image. Will be.

図４は、図１の画像処理装置１０１の判定時における機能的構成例を示している。図４の画像処理装置１０１は、学習後のＣＡＥ１１１、画像差分抽出部４０１、及び異常判定部４０２を含む。 FIG. 4 shows an example of a functional configuration at the time of determination of the image processing device 101 of FIG. The image processing device 101 of FIG. 4 includes a CAE 111 after learning, an image difference extraction unit 401, and an abnormality determination unit 402.

判定時には、入力画像として判定対象画像がＣＡＥ１１１に入力され、ＣＡＥ１１１は、判定対象画像の特徴から復元された復元画像を出力する。画像差分抽出部４０１は、判定対象画像の画素値と復元画像の画素値との直接的な差分を計算し、異常判定部４０２は、計算された差分の大きさに基づいて、判定対象画像が正常画像又は異常画像のいずれであるかを判定する。 At the time of determination, the determination target image is input to CAE111 as an input image, and CAE111 outputs the restored image restored from the features of the determination target image. The image difference extraction unit 401 calculates the direct difference between the pixel value of the determination target image and the pixel value of the restored image, and the abnormality determination unit 402 determines that the determination target image is based on the calculated difference magnitude. Determine whether it is a normal image or an abnormal image.

図５は、正常画像に対する判定処理の例を示している。判定対象画像５０１が正常画像である場合、ＣＡＥ１１１は、判定対象画像５０１とほぼ同様の正常画像を復元画像５０２として出力する。この場合、判定対象画像５０１と復元画像５０２との差分は、比較的小さくなる。 FIG. 5 shows an example of determination processing for a normal image. When the determination target image 501 is a normal image, the CAE 111 outputs a normal image substantially the same as the determination target image 501 as the restored image 502. In this case, the difference between the determination target image 501 and the restored image 502 is relatively small.

図６は、異常画像に対する判定処理の例を示している。傷６１１が写っている異常画像が判定対象画像６０１である場合、ＣＡＥ１１１は、判定対象画像６０１をなんとか正常画像に合わせ込もうとする。ところが、ＣＡＥ１１１によって復元された復元画像６０２は、傷６１１の名残りを示す異常部分６１２がある程度残った画像となる。この場合、判定対象画像６０１と復元画像６０２との差分は、図５の場合よりも大きくなる。 FIG. 6 shows an example of determination processing for an abnormal image. When the abnormal image in which the scratch 611 is shown is the determination target image 601, the CAE 111 manages to match the determination target image 601 with the normal image. However, the restored image 602 restored by CAE111 is an image in which an abnormal portion 612 showing the remnants of the scratch 611 remains to some extent. In this case, the difference between the determination target image 601 and the restored image 602 is larger than that in the case of FIG.

異常判定部４０２は、判定対象画像と復元画像との差分が一定値以下である場合、判定対象画像が正常画像であると判定し、差分が一定値よりも大きい場合、判定対象画像が異常画像であると判定する。 The abnormality determination unit 402 determines that the determination target image is a normal image when the difference between the determination target image and the restored image is less than a certain value, and when the difference is larger than a certain value, the determination target image is an abnormality image. Is determined to be.

しかしながら、（Ｍ２）の判別方法には、以下のような問題がある。
上述したように、外観検査の現場では、あらかじめ規定された検査基準に基づいて製品が検査されるため、例えば、傷の程度（濃淡、深さ、又は反射）を考慮して製品を検査することが望ましい。傷の程度を考慮した検査基準としては、次のようなものが挙げられる。
（Ｃ１）目立つ傷の場合は、傷の長さ、幅、又は範囲が小さくても異常とみなす。
（Ｃ２）薄くかすれた傷のように、傷が小さい場合は異常とみなさず、傷が所定範囲以上に広がっている場合、又は複数個所に点在している場合に、初めて異常とみなす。 However, the discrimination method of (M2) has the following problems.
As mentioned above, in the field of visual inspection, the product is inspected based on the inspection standard specified in advance. Therefore, for example, the product should be inspected in consideration of the degree of scratches (shade, depth, or reflection). Is desirable. The following are examples of inspection criteria that take into account the degree of scratches.
(C1) In the case of a conspicuous scratch, even if the length, width, or range of the scratch is small, it is regarded as abnormal.
(C2) If the scratch is small, such as a thin and faint scratch, it is not considered to be abnormal, and if the scratch spreads beyond a predetermined range or is scattered in multiple places, it is considered to be abnormal for the first time.

しかし、（Ｍ２）の判別方法では、判定対象画像と復元画像との差分に基づいて、判定対象画像に対する判定が行われる。このため、判定対象画像に、製品の位置ずれ、傾き、明るさの差異等のように、不良部分ではないが正常画像とは異なる部分が含まれている場合、判定対象画像と復元画像との差分が大きくなり、異常画像であると誤判定されやすくなる。また、本来の検出対象である傷に由来する差分が、傷以外の部分に由来する差分の中に埋もれてしまい、異常画像の見逃しが発生することもあり得る。 However, in the determination method (M2), the determination target image is determined based on the difference between the determination target image and the restored image. For this reason, if the judgment target image includes a part that is not a defective part but is different from the normal image, such as a product misalignment, inclination, difference in brightness, etc., the judgment target image and the restored image The difference becomes large, and it becomes easy to be erroneously determined as an abnormal image. In addition, the difference derived from the scratch that is the original detection target may be buried in the difference derived from the portion other than the scratch, and the abnormal image may be overlooked.

したがって、判定対象画像に対する判定結果の精度を、傷の程度を考慮した検査基準に沿った実用的なレベルまで向上させることは困難である。 Therefore, it is difficult to improve the accuracy of the judgment result for the judgment target image to a practical level in line with the inspection standard considering the degree of scratches.

図７は、実施形態の画像判定装置の機能的構成例を示している。図７の画像判定装置７０１は、記憶部７１１、学習処理部７１２、判定部７１３、及び出力部７１４を含む。 FIG. 7 shows an example of a functional configuration of the image determination device of the embodiment. The image determination device 701 of FIG. 7 includes a storage unit 711, a learning processing unit 712, a determination unit 713, and an output unit 714.

記憶部７１１は、入力データから特徴を抽出し、抽出された特徴から復元された出力データを生成する、復元モデル７２１を記憶する。さらに、記憶部７１１は、復元モデル７２１に正常画像を複数回学習させることで取得された、入力データと出力データとの誤差を示す関数の複数の値に基づく、基準値７２２を記憶する。学習処理部７１２及び判定部７１３は、復元モデル７２１及び基準値７２２を用いて画像判定処理を行う。 The storage unit 711 stores the restoration model 721 that extracts features from the input data and generates output data restored from the extracted features. Further, the storage unit 711 stores a reference value 722 based on a plurality of values of a function indicating an error between the input data and the output data, which is acquired by causing the restoration model 721 to learn the normal image a plurality of times. The learning processing unit 712 and the determination unit 713 perform image determination processing using the restoration model 721 and the reference value 722.

図８は、図７の画像判定装置７０１が行う画像判定処理の例を示すフローチャートである。まず、学習処理部７１２は、復元モデル７２１に判定対象画像を複数回学習させることで、関数の複数の値を取得する（ステップ８０１）。次に、判定部７１３は、復元モデル７２１に判定対象画像を複数回学習させることで取得された関数の複数の値と、基準値とを用いて、判定対象画像の正常性を判定する（ステップ８０２）。そして、出力部７１４は、判定対象画像の正常性を示す判定結果を出力する（ステップ８０３）。 FIG. 8 is a flowchart showing an example of the image determination process performed by the image determination device 701 of FIG. 7. First, the learning processing unit 712 acquires a plurality of values of the function by causing the restoration model 721 to learn the image to be determined a plurality of times (step 801). Next, the determination unit 713 determines the normality of the determination target image by using the plurality of values of the function acquired by training the restoration model 721 a plurality of times and the reference value (step). 802). Then, the output unit 714 outputs a determination result indicating the normality of the determination target image (step 803).

図７の画像判定装置７０１によれば、画像の正常性を判定する処理の判定精度を向上させることができる。 According to the image determination device 701 of FIG. 7, the determination accuracy of the process for determining the normality of the image can be improved.

図９は、図７の画像判定装置７０１を含む外観検査システムの機能的構成例を示している。図９の外観検査システムは、画像判定装置９０１及び撮像装置９０２を含み、学習モード及び判定モードの２種類の動作モードを有する。外観検査の検査対象は、生産ライン９０４上の製品９０３である。 FIG. 9 shows a functional configuration example of the visual inspection system including the image determination device 701 of FIG. The visual inspection system of FIG. 9 includes an image determination device 901 and an image pickup device 902, and has two types of operation modes, a learning mode and a determination mode. The inspection target of the visual inspection is the product 903 on the production line 904.

画像判定装置９０１は、図７の画像判定装置７０１に対応し、記憶部９１１、画像取得部９１２、画像加工部９１３、学習処理部９１４、計算部９１５、判定部９１６、及び出力部９１７を含む。記憶部９１１、学習処理部９１４、判定部９１６、及び出力部９１７は、図７の記憶部７１１、学習処理部７１２、判定部７１３、及び出力部７１４にそれぞれ対応する。 The image determination device 901 corresponds to the image determination device 701 of FIG. 7, and includes a storage unit 911, an image acquisition unit 912, an image processing unit 913, a learning processing unit 914, a calculation unit 915, a determination unit 916, and an output unit 917. .. The storage unit 911, the learning processing unit 914, the determination unit 916, and the output unit 917 correspond to the storage unit 711, the learning processing unit 712, the determination unit 713, and the output unit 714 of FIG. 7, respectively.

撮像装置９０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、判定モードにおいて製品９０３を撮影する。画像取得部９１２は、撮影された画像を撮像装置９０２から取得し、取得した画像を判定対象画像９２６として記憶部９１１に格納する。 The image pickup device 902 is a camera having an image pickup element such as a CCD (Charged-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor), and photographs the product 903 in the determination mode. The image acquisition unit 912 acquires the captured image from the image pickup apparatus 902, and stores the acquired image as the determination target image 926 in the storage unit 911.

画像加工部９１３は、判定対象画像９２６を複数の領域に分割する。例えば、複数の領域としては、ｎ×ｎ（ｎは２以上の整数）のブロックが用いられる。判定対象画像９２６に写っている判定対象の不良部分は、製品全体の大きさと比較して小さいことが多い。この場合、判定対象画像９２６を分割して領域毎に画像を評価することで、判定精度をより向上させることができる。 The image processing unit 913 divides the determination target image 926 into a plurality of regions. For example, as a plurality of regions, blocks of n × n (n is an integer of 2 or more) are used. The defective portion of the determination target shown in the determination target image 926 is often small compared to the size of the entire product. In this case, the determination accuracy can be further improved by dividing the determination target image 926 and evaluating the image for each region.

図１０は、複数のブロックに分割された判定対象画像９２６の例を示している。判定対象画像１００１は、縦横の境界線によって８×８（６４個）のブロック１００２に分割されている。 FIG. 10 shows an example of the determination target image 926 divided into a plurality of blocks. The determination target image 1001 is divided into 8 × 8 (64 pieces) blocks 1002 by vertical and horizontal boundaries.

画像加工部９１３は、判定対象画像９２６に写っている不良部分を目立たせるために、ソーベルフィルタ、エッジフィルタ等によるフィルタ加工のような画像変換を施すこともできる。 The image processing unit 913 can also perform image conversion such as filter processing by a sobel filter, an edge filter, or the like in order to make the defective portion reflected in the determination target image 926 stand out.

記憶部９１１は、ＣＡＥ９２１、損失関数９２２、画像集合９２３−１、及び画像集合９２３−２を記憶する。 The storage unit 911 stores the CAE921, the loss function 922, the image set 923-1 and the image set 923-2.

ＣＡＥ９２１は、学習前の復元モデルの一例であり、入力画像から特徴を抽出し、抽出された特徴から復元された出力画像を生成する。判定対象画像９２６が複数の領域に分割される場合、ＣＡＥ９２１も領域毎に用意される。例えば、判定対象画像９２６が６４個の領域に分割される場合、記憶部９１１は、６４個のＣＡＥ９２１を記憶する。 CAE921 is an example of a restoration model before learning, extracts features from an input image, and generates an output image restored from the extracted features. When the determination target image 926 is divided into a plurality of regions, CAE921 is also prepared for each region. For example, when the determination target image 926 is divided into 64 areas, the storage unit 911 stores 64 CAE921s.

損失関数９２２は、ＣＡＥ９２１の損失関数である。例えば、損失関数９２２としては、入力画像と出力画像との間のクロスエントロピー誤差、最小二乗誤差等を示す関数が用いられる。 The loss function 922 is the loss function of CAE921. For example, as the loss function 922, a function indicating a cross entropy error between an input image and an output image, a least squares error, and the like is used.

画像集合９２３−１は、ＣＡＥ９２１に入力される学習用の正常画像の集合であり、画像集合９２３−２は、学習後のＣＡＥ９２４に入力される正常画像の集合である。不良部分を含まない良品を撮像装置９０２によって撮影することで、これらの正常画像を取得することができる。 The image set 923-1 is a set of normal images for learning input to CAE921, and the image set 923-2 is a set of normal images input to CAE924 after learning. These normal images can be obtained by photographing a non-defective product that does not include a defective portion with the image pickup apparatus 902.

学習モードにおいて、画像加工部９１３は、画像集合９２３−１及び画像集合９２３−２に含まれる各正常画像を複数の領域に分割し、領域毎の正常画像を生成する。学習処理部９１４は、領域毎のＣＡＥ９２１に、画像集合９２３−１から生成された領域毎の正常画像を複数回学習させることで、ＣＡＥ９２１内部のパラメータを決定する。 In the learning mode, the image processing unit 913 divides each normal image included in the image set 923-1 and the image set 923-2 into a plurality of regions, and generates a normal image for each region. The learning processing unit 914 determines the parameters inside the CAE921 by causing the CAE921 for each region to learn the normal image for each region generated from the image set 923-1 a plurality of times.

学習処理部９１４は、領域毎の損失関数９２２の値が小さくなるように、ＣＡＥ９２１内部のパラメータを調整しながら学習を繰り返し、損失関数９２２の値の変化量が所定値よりも小さくなると、得られたパラメータを学習結果に決定する。そして、学習処理部９１４は、領域毎のＣＡＥ９２１に決定されたパラメータを設定することで、学習後における領域毎のＣＡＥ９２４を生成して、記憶部９１１に格納する。 The learning processing unit 914 repeats learning while adjusting the parameters inside CAE921 so that the value of the loss function 922 for each region becomes small, and when the amount of change in the value of the loss function 922 becomes smaller than a predetermined value, it is obtained. The parameters are determined as the learning result. Then, the learning processing unit 914 generates a CAE 924 for each area after learning by setting the parameters determined in the CAE 921 for each area, and stores the CAE 924 in the storage unit 911.

次に、学習処理部９１４は、領域毎のＣＡＥ９２４に、画像集合９２３−２から生成された領域毎の正常画像を複数回学習させることで、領域毎の損失関数９２２の複数の値を取得する。これらの値は、画像集合９２３−２の学習における損失関数９２２の履歴情報を表す。計算部９１５は、取得された領域毎の損失関数９２２の複数の値を用いて、領域毎の基準値９２５を計算し、記憶部９１１に格納する。 Next, the learning processing unit 914 acquires a plurality of values of the loss function 922 for each region by causing the CAE 924 for each region to learn the normal image for each region generated from the image set 923-2 a plurality of times. .. These values represent the historical information of the loss function 922 in the training of the image set 923-2. The calculation unit 915 calculates a reference value 925 for each area using a plurality of values of the acquired loss function 922 for each area, and stores the reference value 925 for each area in the storage unit 911.

ＣＡＥ９２４及び基準値９２５は、図７の復元モデル７２１及び基準値７２２にそれぞれ対応する。復元モデル７２１としてＣＡＥ９２４を用いることで、入力画像と出力画像との誤差を示す関数として、損失関数９２２を用いることが可能になる。 The CAE 924 and the reference value 925 correspond to the restoration model 721 and the reference value 722 of FIG. 7, respectively. By using CAE924 as the restoration model 721, it becomes possible to use the loss function 922 as a function indicating the error between the input image and the output image.

画像集合９２３−２に含まれる正常画像の枚数は、画像集合９２３−１に含まれる学習用の正常画像の枚数よりも少数でよい。例えば、１００個の良品を撮影することで１００枚の正常画像が取得された場合、そのうち９０枚〜９９枚の正常画像を画像集合９２３−１として用い、残りの１０枚〜１枚の正常画像を画像集合９２３−２として用いることができる。画像集合９２３−２は、画像集合９２３−１の一部分であっても構わない。多数の正常画像を含む画像集合９２３−１をＣＡＥ９２１に学習させることで、高い復元性能を有するＣＡＥ９２４を生成することができる。 The number of normal images included in the image set 923-2 may be smaller than the number of normal images for learning included in the image set 923-1. For example, when 100 normal images are obtained by shooting 100 good products, 90 to 99 normal images are used as an image set 923-1 and the remaining 10 to 1 normal images are used. Can be used as the image set 923-2. The image set 923-2 may be a part of the image set 923-1. By training CAE921 with an image set 923-1 containing a large number of normal images, CAE924 having high restoration performance can be generated.

また、画像集合９２３−２の各正常画像に対する学習の繰り返し回数（エポック数）は、画像集合９２３−１の各正常画像に対する学習のエポック数よりも少数でよい。例えば、画像集合９２３−１に対するエポック数が数千回〜数万回である場合でも、画像集合９２３−２に対するエポック数は数回〜１０回程度で構わない。 Further, the number of repetitions of learning (number of epochs) for each normal image of the image set 923-2 may be smaller than the number of learning epochs for each normal image of the image set 923-1. For example, even if the number of epochs for the image set 923-1 is several thousand to tens of thousands, the number of epochs for the image set 923-2 may be several to ten times.

判定モードにおいて、画像加工部９１３は、判定対象画像９２６を複数の領域に分割し、領域毎の判定対象画像を生成する。学習処理部９１４は、領域毎のＣＡＥ９２４に領域毎の判定対象画像を複数回学習させることで、領域毎の損失関数９２２の複数の値を取得する。これらの値は、領域毎の判定対象画像の学習における損失関数９２２の履歴情報を表す。判定対象画像９２６に対するエポック数としては、画像集合９２３−２に対するエポック数を用いることができる。 In the determination mode, the image processing unit 913 divides the determination target image 926 into a plurality of regions and generates a determination target image for each region. The learning processing unit 914 acquires a plurality of values of the loss function 922 for each region by causing the CAE 924 for each region to learn the determination target image for each region a plurality of times. These values represent the history information of the loss function 922 in learning the image to be determined for each region. As the number of epochs for the image to be determined 926, the number of epochs for the image set 923-2 can be used.

判定部９１６は、領域毎の判定対象画像を用いて取得された損失関数９２２の複数の値と、領域毎の基準値９２５とを用いて、その判定対象画像の正常性を示す指標を計算する。そして、判定部９１６は、領域毎に計算された指標と閾値Ｔ１とを比較することで、判定対象画像９２６の正常性を判定し、判定対象画像９２６の正常性を示す判定結果９２７を記憶部９１１に格納する。判定結果９２７は、判定対象画像９２６が正常画像又は異常画像のいずれであるかを示す。出力部９１７は、判定結果９２７を出力する。 The determination unit 916 calculates an index indicating the normality of the determination target image using a plurality of values of the loss function 922 acquired using the determination target image for each region and the reference value 925 for each region. .. Then, the determination unit 916 determines the normality of the determination target image 926 by comparing the index calculated for each region with the threshold value T1, and stores the determination result 927 indicating the normality of the determination target image 926. Store in 911. The determination result 927 indicates whether the determination target image 926 is a normal image or an abnormal image. The output unit 917 outputs the determination result 927.

図１１は、画像集合９２３−２の領域毎の正常画像に対する学習と、領域毎の判定対象画像に対する学習における、損失関数９２２の値の変化の例を示している。横軸は、学習回数を表し、縦軸は、計算された損失関数９２２の値を表す。 FIG. 11 shows an example of the change in the value of the loss function 922 in the learning for the normal image for each region of the image set 923-2 and the learning for the determination target image for each region. The horizontal axis represents the number of learnings, and the vertical axis represents the calculated value of the loss function 922.

判定対象画像Ｑは異常画像であり、いずれの学習回数においても、判定対象画像Ｑに対する損失関数９２２の値は、画像集合９２３−２に含まれる正常画像Ｐ１〜正常画像Ｐ５に対する損失関数９２２の値よりも大きくなっている。 The judgment target image Q is an abnormal image, and the value of the loss function 922 for the judgment target image Q is the value of the loss function 922 for the normal images P1 to the normal image P5 included in the image set 923-2 at any number of learning times. Is bigger than.

図１２は、画像集合９２３−２の領域毎の正常画像に対する学習における、損失関数９２２の値の例を示している。図１２では、正常画像Ｐ１〜正常画像Ｐ５に対する損失関数９２２の値が示されており、正常画像Ｐ６〜正常画像Ｐ１０に対する損失関数９２２の値は省略されている。ｍ回（ｍ＝１〜１０）の列の数値は、ｍ回目の学習が終了した時点における損失関数９２２の値を表し、累計は、１回〜１０回の列の数値の総和を表す。 FIG. 12 shows an example of the value of the loss function 922 in learning the normal image for each region of the image set 923-2. In FIG. 12, the values of the loss function 922 for the normal images P1 to P5 are shown, and the values of the loss function 922 for the normal images P6 to P10 are omitted. The numerical value in the column of m times (m = 1 to 10) represents the value of the loss function 922 at the time when the m-th learning is completed, and the cumulative total represents the sum of the numerical values in the columns of 1 to 10 times.

計算部９１５は、例えば、画像集合９２３−２の各正常画像に対する損失関数９２２の累計の統計値Ｓ及び標準偏差σを用いて、次式により、領域毎の基準値Ｒを計算する。
Ｒ＝Ｓ＋σ （１） The calculation unit 915 calculates the reference value R for each region by the following equation, for example, using the cumulative statistical value S and the standard deviation σ of the loss function 922 for each normal image of the image set 923-2.
R = S + σ (1)

式（１）の統計値Ｓとしては、複数の累計の平均値、中央値、総和等が用いられる。そして、計算部９１５は、計算された基準値Ｒを基準値９２５として記録する。 As the statistical value S of the equation (1), the average value, the median value, the total value, etc. of a plurality of cumulative totals are used. Then, the calculation unit 915 records the calculated reference value R as the reference value 925.

図１３は、領域毎の判定対象画像Ｑに対する学習における、損失関数９２２の値の例を示している。 FIG. 13 shows an example of the value of the loss function 922 in learning for the determination target image Q for each region.

判定部９１６は、領域毎の判定対象画像に対する損失関数９２２の累計Ｌと基準値Ｒとを用いて、次式により、その判定対象画像の正常性を示す指標Ｋを計算する。
Ｋ＝Ｌ／Ｒ （２） The determination unit 916 calculates an index K indicating the normality of the determination target image by the following equation using the cumulative L of the loss function 922 and the reference value R for the determination target image for each region.
K = L / R (2)

判定対象画像が正常画像と近似しているほど、指標Ｋは小さくなり、判定対象画像が正常画像と異なっているほど、指標Ｋは大きくなる。そこで、判定部９１６は、すべての領域について指標Ｋを計算し、いずれか１つ以上の領域において指標Ｋが閾値Ｔ１よりも大きい場合、判定対象画像９２６は異常画像であると判定する。この場合、判定対象画像９２６に写っている製品は、不良品と判定される。指標Ｋに基づく判定を行うことで、複数回の学習における損失関数９２２の履歴情報を用いて、領域毎の判定対象画像の正常性を判定することができる。 The closer the judgment target image is to the normal image, the smaller the index K, and the more different the judgment target image is from the normal image, the larger the index K. Therefore, the determination unit 916 calculates the index K for all the regions, and if the index K is larger than the threshold value T1 in any one or more regions, the determination target image 926 is determined to be an abnormal image. In this case, the product shown in the determination target image 926 is determined to be a defective product. By performing the determination based on the index K, it is possible to determine the normality of the image to be determined for each region by using the history information of the loss function 922 in the multiple learnings.

一方、すべての領域において指標Ｋが閾値Ｔ１以下である場合、判定部９１６は、すべての領域における指標Ｋの総和を求め、指標Ｋの総和と閾値Ｔ２とを比較することで、判定対象画像９２６の正常性を判定する。 On the other hand, when the index K is equal to or less than the threshold value T1 in all the regions, the determination unit 916 obtains the sum of the index K in all the regions and compares the sum of the index K with the threshold value T2 to determine the image to be determined 926. Judge the normality of.

例えば、判定部９１６は、指標Ｋの総和が閾値Ｔ２よりも大きい場合、判定対象画像９２６は異常画像であると判定し、指標Ｋの総和が閾値Ｔ２以下である場合、判定対象画像９２６は正常画像であると判定する。判定対象画像９２６が正常画像と判定された場合、判定対象画像９２６に写っている製品は、良品と判定される。指標Ｋの総和に基づく判定を行うことで、製品の表面に薄く広がったかすり傷、汚れ等を有する不良品を検出することが可能になる。 For example, the determination unit 916 determines that the determination target image 926 is an abnormal image when the total sum of the index K is larger than the threshold value T2, and the determination target image 926 is normal when the total sum of the index K is equal to or less than the threshold value T2. Judged as an image. When the determination target image 926 is determined to be a normal image, the product shown in the determination target image 926 is determined to be a non-defective product. By making a judgment based on the sum of the indexes K, it becomes possible to detect a defective product having scratches, stains, etc. that have spread thinly on the surface of the product.

閾値Ｔ１及び閾値Ｔ２は、外観検査における検査基準が変更された場合に微調整されるチューニング用パラメータであり、検査対象の製品に合わせて設定される。例えば、生産ラインにおいて発生する不良のレベル、製品の撮影環境等に合わせて閾値Ｔ１及び閾値Ｔ２を設定してもよい。 The threshold value T1 and the threshold value T2 are tuning parameters that are finely adjusted when the inspection standard in the visual inspection is changed, and are set according to the product to be inspected. For example, the threshold value T1 and the threshold value T2 may be set according to the level of defects generated in the production line, the shooting environment of the product, and the like.

図９の画像判定装置９０１によれば、判定対象画像９２６の画素値と復元画像の画素値との直接的な差分の代わりに、判定対象画像９２６に対する損失関数９２２の履歴情報を用いて、判定対象画像９２６の正常性が判定される。これにより、判定対象画像９２６に、製品の位置ずれ、傾き、明るさの差異等の撮影環境の差異が発生している場合であっても、その影響を吸収することが可能になる。このため、指標Ｋが閾値Ｔ１を超えたり、指標Ｋの総和が閾値Ｔ２を超えたりすることが抑制され、異常画像であると誤判定される可能性が低下する。 According to the image determination device 901 of FIG. 9, the determination is made by using the history information of the loss function 922 for the determination target image 926 instead of the direct difference between the pixel value of the determination target image 926 and the pixel value of the restored image. The normality of the target image 926 is determined. As a result, even if there is a difference in the shooting environment such as a position shift, an inclination, or a difference in brightness of the product in the determination target image 926, it is possible to absorb the influence. Therefore, it is suppressed that the index K exceeds the threshold value T1 and the total sum of the index K exceeds the threshold value T2, and the possibility of erroneous determination as an abnormal image is reduced.

また、複数の正常画像を画像集合９２３−２として用いることで、様々な正常画像に対する損失関数９２２の履歴情報を、基準値Ｒ及び指標Ｋに反映させることができる。これにより、判定対象画像９２６の画素値と復元画像の画素値との差分だけでは区別することが難しい、傷の濃淡、傷の範囲、別の物体の写り込み等の差異を、指標Ｋに反映させることができる。 Further, by using a plurality of normal images as the image set 923-2, the history information of the loss function 922 for various normal images can be reflected in the reference value R and the index K. As a result, the difference in the shade of the scratch, the range of the scratch, the reflection of another object, etc., which is difficult to distinguish only by the difference between the pixel value of the image to be judged 926 and the pixel value of the restored image, is reflected in the index K. Can be made to.

したがって、図９の画像判定装置９０１によれば、製品の画像を用いた外観検査における不良品の判定精度が、図４の画像処理装置１０１よりも向上する。 Therefore, according to the image determination device 901 of FIG. 9, the accuracy of determining a defective product in the visual inspection using the image of the product is improved as compared with the image processing device 101 of FIG.

図１４は、学習モードにおいて画像判定装置９０１が行う学習処理の例を示すフローチャートである。画像集合９２３−１及び画像集合９２３−２に含まれる各正常画像は、画像加工部９１３によって、ｎ×ｎのブロックに分割される。 FIG. 14 is a flowchart showing an example of learning processing performed by the image determination device 901 in the learning mode. Each normal image included in the image set 923-1 and the image set 923-2 is divided into n × n blocks by the image processing unit 913.

まず、学習処理部９１４は、画像集合９２３−１の正常画像を対象として、ブロック毎にステップ１４０１〜ステップ１４０３の処理を繰り返す。 First, the learning processing unit 914 repeats the processing of steps 1401 to 1403 for each block for the normal image of the image set 923-1.

学習処理部９１４は、ブロック毎の正常画像の色諧調を０〜２５５の階調値で正規化し（ステップ１４０１）、ブロック毎のＣＡＥ９２１に、正規化された正常画像を学習させる（ステップ１４０２）。ステップ１４０２の学習におけるエポック数は、例えば、数千回〜数万回であり、バッチサイズは、例えば、１６枚、３２枚等である。そして、学習処理部９１４は、学習により決定されたパラメータをブロック毎のＣＡＥ９２１に設定することで、学習後におけるブロック毎のＣＡＥ９２４を生成する（ステップ１４０３）。 The learning processing unit 914 normalizes the color tone of the normal image for each block with a gradation value of 0 to 255 (step 1401), and causes CAE921 for each block to learn the normalized normal image (step 1402). The number of epochs in the learning of step 1402 is, for example, several thousand to tens of thousands, and the batch size is, for example, 16 or 32. Then, the learning processing unit 914 generates CAE924 for each block after learning by setting the parameter determined by learning to CAE921 for each block (step 1403).

次に、学習処理部９１４は、画像集合９２３−２の正常画像を対象として、ブロック毎にステップ１４０４〜ステップ１４０７の処理を繰り返す。 Next, the learning processing unit 914 repeats the processes of steps 1404 to 1407 for each block with respect to the normal image of the image set 923-2.

学習処理部９１４は、ステップ１４０１と同様にして、ブロック毎の正常画像の色諧調を正規化し（ステップ１４０４）、ブロック毎のＣＡＥ９２４に、正規化された正常画像を学習させる（ステップ１４０５）。ステップ１４０５の学習におけるエポック数は、例えば、数回〜１０回である。そして、計算部９１５は、ブロック毎の損失関数９２２の値の累計を計算する（ステップ１４０６）。ステップ１４０４〜ステップ１４０６の処理は、画像集合９２３−２の正常画像毎に繰り返される。 The learning processing unit 914 normalizes the color tone of the normal image for each block in the same manner as in step 1401 (step 1404), and causes the CAE 924 for each block to learn the normalized normal image (step 1405). The number of epochs in the learning of step 1405 is, for example, several to 10 times. Then, the calculation unit 915 calculates the cumulative value of the loss function 922 for each block (step 1406). The processes of steps 1404 to 1406 are repeated for each normal image of the image set 923-2.

次に、計算部９１５は、ブロック毎の損失関数９２２の値の累計を用いて、式（１）によりブロック毎の基準値９２５を計算する（ステップ１４０７）。 Next, the calculation unit 915 calculates the reference value 925 for each block by the equation (1) using the cumulative value of the loss function 922 for each block (step 1407).

図１５は、判定モードにおいて画像判定装置９０１が行う判定処理の例を示すフローチャートである。判定対象画像９２６は、画像加工部９１３によって、ｎ×ｎのブロックに分割される。 FIG. 15 is a flowchart showing an example of the determination process performed by the image determination device 901 in the determination mode. The determination target image 926 is divided into n × n blocks by the image processing unit 913.

まず、学習処理部９１４は、判定対象画像９２６のブロック毎にステップ１５０１〜ステップ１５０４の処理を繰り返す。 First, the learning processing unit 914 repeats the processes of steps 1501 to 1504 for each block of the determination target image 926.

学習処理部９１４は、図１４のステップ１４０１と同様にして、ブロック毎の判定対象画像の色諧調を正規化し（ステップ１５０１）、ブロック毎のＣＡＥ９２４に、正規化された判定対象画像を学習させる（ステップ１５０２）。ステップ１５０２の学習におけるエポック数は、ステップ１４０５におけるエポック数と同様である。そして、判定部９１６は、ブロック毎の損失関数９２２の値の累計を計算し（ステップ１５０３）、計算された累計とブロック毎の基準値９２５とを用いて、式（２）によりブロック毎の指標Ｋを計算する（ステップ１５０４）。 The learning processing unit 914 normalizes the color tone of the judgment target image for each block (step 1501) in the same manner as in step 1401 of FIG. 14, and causes the CAE 924 for each block to learn the normalized judgment target image (step 1501). Step 1502). The number of epochs in the learning in step 1502 is the same as the number of epochs in step 1405. Then, the determination unit 916 calculates the cumulative value of the loss function 922 for each block (step 1503), and uses the calculated cumulative total and the reference value 925 for each block to use the index for each block according to the equation (2). Calculate K (step 1504).

次に、判定部９１６は、ブロック毎に計算された指標Ｋ、閾値Ｔ１、及び閾値Ｔ２を用いて、判定対象画像９２６の正常性を判定し、判定結果９２７を生成する（ステップ１５０５）。そして、出力部９１７は、判定結果９２７を出力する。 Next, the determination unit 916 determines the normality of the determination target image 926 using the index K, the threshold value T1, and the threshold value T2 calculated for each block, and generates a determination result 927 (step 1505). Then, the output unit 917 outputs the determination result 927.

図１及び図４の画像処理装置１０１の構成は一例に過ぎず、画像処理装置１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。 The configuration of the image processing device 101 of FIGS. 1 and 4 is only an example, and some components may be omitted or changed depending on the use or conditions of the image processing device 101.

図７の画像判定装置７０１の構成は一例に過ぎず、画像判定装置７０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。 The configuration of the image determination device 701 in FIG. 7 is only an example, and some components may be omitted or changed depending on the use or conditions of the image determination device 701.

図９の外観検査システムの構成は一例に過ぎず、外観検査システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、事前に画像集合９２３−１、画像集合９２３−２、及び判定対象画像９２６が記憶部９１１に格納されている場合は、画像取得部９１２を省略することができる。画像集合９２３−１の正常画像、画像集合９２３−２の正常画像、及び判定対象画像９２６それぞれを分割する必要がない場合は、画像加工部９１３を省略することができる。事前に基準値９２５が記憶部９１１に格納されている場合は、計算部９１５を省略することができる。 The configuration of the visual inspection system of FIG. 9 is only an example, and some components may be omitted or changed depending on the use or conditions of the visual inspection system. For example, when the image set 923-1, the image set 923-2, and the determination target image 926 are stored in the storage unit 911 in advance, the image acquisition unit 912 can be omitted. When it is not necessary to divide the normal image of the image set 923-1, the normal image of the image set 923-2, and the determination target image 926, the image processing unit 913 can be omitted. If the reference value 925 is stored in the storage unit 911 in advance, the calculation unit 915 can be omitted.

図７の復元モデル７２１として、ＣＡＥ以外のモデルを用いても構わない。例えば、図９のＣＡＥ９２１及びＣＡＥ９２４の代わりに、ＶＡＥ（Variational Auto Encoder）等の自己符号化器を用いることもできる。損失関数９２２の代わりに、入力データと出力データとの誤差を示す別の関数を用いることもできる。 As the restoration model 721 of FIG. 7, a model other than CAE may be used. For example, instead of CAE921 and CAE924 in FIG. 9, a self-encoder such as VAE (Variational Auto Encoder) can be used. Instead of the loss function 922, another function indicating the error between the input data and the output data can be used.

図９の画像判定装置９０１は、製品の外観検査に限らず、様々な撮影対象を撮影した撮影画像の正常性を判定する処理に適用することができる。例えば、判定対象の撮影画像は、監視カメラの映像に含まれる画像であってもよい。 The image determination device 901 of FIG. 9 can be applied not only to the appearance inspection of the product but also to the process of determining the normality of the captured images obtained by capturing various imaging targets. For example, the captured image to be determined may be an image included in the image of the surveillance camera.

図８、図１４、及び図１５のフローチャートは一例に過ぎず、画像判定装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図９の画像判定装置９０１において、画像集合９２３−１及び画像集合９２３−２の正常画像を正規化する必要がない場合は、図１４のステップ１４０１及びステップ１４０４の処理を省略することができる。判定対象画像９２６を正規化する必要がない場合は、図１５のステップ１５０１の処理を省略することができる。ＣＡＥ９２４及び基準値９２５が外部の装置によって生成される場合は、図１４の学習処理を省略することができる。 The flowcharts of FIGS. 8, 14 and 15 are merely examples, and some processes may be omitted or changed depending on the configuration or conditions of the image determination device. For example, in the image determination device 901 of FIG. 9, when it is not necessary to normalize the normal images of the image set 923-1 and the image set 923-2, the processes of steps 1401 and 1404 of FIG. 14 may be omitted. it can. When it is not necessary to normalize the determination target image 926, the process of step 1501 in FIG. 15 can be omitted. When the CAE 924 and the reference value 925 are generated by an external device, the learning process of FIG. 14 can be omitted.

図２及び図１１〜図１３に示した損失関数の値は一例に過ぎず、損失関数の値は、ＣＡＥの学習対象の画像に応じて変化する。図３に示した復元処理と図５及び図６に示した判定処理は一例に過ぎず、復元処理及び判定処理は、ＣＡＥの学習対象の画像に応じて変化する。図１０に示した判定対象画像１００１の分割方法は一例に過ぎず、画像加工部９１３は、判定対象画像１００１を別の形状の領域に分割することもできる。 The value of the loss function shown in FIGS. 2 and 11 to 13 is only an example, and the value of the loss function changes according to the image to be learned by CAE. The restoration process shown in FIG. 3 and the determination process shown in FIGS. 5 and 6 are merely examples, and the restoration process and the determination process change according to the image to be learned by CAE. The method of dividing the determination target image 1001 shown in FIG. 10 is only an example, and the image processing unit 913 can also divide the determination target image 1001 into regions having different shapes.

式（１）及び式（２）は一例に過ぎず、画像判定装置９０１は、別の数式を用いて基準値Ｒ及び指標Ｋを計算してもよい。例えば、式（１）の右辺の標準偏差σを省略しても構わない。 Equations (1) and (2) are merely examples, and the image determination device 901 may calculate the reference value R and the index K using another mathematical expression. For example, the standard deviation σ on the right side of the equation (1) may be omitted.

図１６は、図７の画像判定装置７０１及び図９の画像判定装置９０１として用いられる情報処理装置の構成例を示している。図１６の情報処理装置は、ＣＰＵ（Central Processing Unit）１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、補助記憶装置１６０５、媒体駆動装置１６０６、及びネットワーク接続装置１６０７を含む。これらの構成要素はバス１６０８により互いに接続されている。図９の撮像装置９０２は、バス１６０８に接続されていてもよい。 FIG. 16 shows a configuration example of an information processing device used as the image determination device 701 of FIG. 7 and the image determination device 901 of FIG. The information processing device of FIG. 16 includes a CPU (Central Processing Unit) 1601, a memory 1602, an input device 1603, an output device 1604, an auxiliary storage device 1605, a medium drive device 1606, and a network connection device 1607. These components are connected to each other by bus 1608. The image pickup apparatus 902 of FIG. 9 may be connected to the bus 1608.

メモリ１６０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１６０２は、図７の記憶部７１１又は図９の記憶部９１１として用いることができる。 The memory 1602 is, for example, a semiconductor memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), or a flash memory, and stores a program and data used for processing. The memory 1602 can be used as the storage unit 711 of FIG. 7 or the storage unit 911 of FIG.

ＣＰＵ１６０１（プロセッサ）は、例えば、メモリ１６０２を利用してプログラムを実行することにより、図７の学習処理部７１２及び判定部７１３として動作する。ＣＰＵ１６０１は、メモリ１６０２を利用してプログラムを実行することにより、図９の画像取得部９１２、画像加工部９１３、学習処理部９１４、計算部９１５、及び判定部９１６としても動作する。 The CPU 1601 (processor) operates as the learning processing unit 712 and the determination unit 713 in FIG. 7 by executing a program using, for example, the memory 1602. The CPU 1601 also operates as the image acquisition unit 912, the image processing unit 913, the learning processing unit 914, the calculation unit 915, and the determination unit 916 in FIG. 9 by executing the program using the memory 1602.

入力装置１６０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１６０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、判定結果９２７であってもよい。出力装置１６０４は、図９の出力部９１７として用いることができる。 The input device 1603 is, for example, a keyboard, a pointing device, or the like, and is used for inputting instructions or information from an operator or a user. The output device 1604 is, for example, a display device, a printer, a speaker, or the like, and is used for inquiries or instructions to an operator or a user, and output of a processing result. The processing result may be the determination result 927. The output device 1604 can be used as the output unit 917 of FIG.

補助記憶装置１６０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１６０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１６０５にプログラム及びデータを格納しておき、それらをメモリ１６０２にロードして使用することができる。補助記憶装置１６０５は、図７の記憶部７１１又は図９の記憶部９１１として用いることができる。 The auxiliary storage device 1605 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like. The auxiliary storage device 1605 may be a hard disk drive or a flash memory. The information processing device can store programs and data in the auxiliary storage device 1605 and load them into the memory 1602 for use. The auxiliary storage device 1605 can be used as the storage unit 711 of FIG. 7 or the storage unit 911 of FIG.

媒体駆動装置１６０６は、可搬型記録媒体１６０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１６０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１６０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１６０９にプログラム及びデータを格納しておき、それらをメモリ１６０２にロードして使用することができる。 The medium drive device 1606 drives the portable recording medium 1609 and accesses the recorded contents. The portable recording medium 1609 is a memory device, a flexible disk, an optical disk, a magneto-optical disk, or the like. The portable recording medium 1609 may be a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), a USB (Universal Serial Bus) memory, or the like. The operator or the user can store programs and data in the portable recording medium 1609 and load them into the memory 1602 for use.

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１６０２、補助記憶装置１６０５、又は可搬型記録媒体１６０９のような、物理的な（非一時的な）記録媒体である。 In this way, the computer-readable recording medium that stores the programs and data used for processing is physical (non-temporary) recording such as memory 1602, auxiliary storage device 1605, or portable recording medium 1609. It is a medium.

ネットワーク接続装置１６０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１６０７を介して受信し、それらをメモリ１６０２にロードして使用することができる。ネットワーク接続装置１６０７は、図９の出力部９１７として用いることができる。 The network connection device 1607 is a communication interface circuit that is connected to a communication network such as a LAN (Local Area Network) or WAN (Wide Area Network) and performs data conversion associated with communication. The information processing device can receive programs and data from an external device via the network connection device 1607, load them into the memory 1602, and use them. The network connection device 1607 can be used as the output unit 917 of FIG.

なお、情報処理装置が図１６のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１６０３及び出力装置１６０４を省略してもよい。可搬型記録媒体１６０９又は通信ネットワークを使用しない場合は、媒体駆動装置１６０６又はネットワーク接続装置１６０７を省略してもよい。 It is not necessary for the information processing apparatus to include all the components of FIG. 16, and some components may be omitted depending on the application or conditions. For example, if an interface with an operator or a user is not required, the input device 1603 and the output device 1604 may be omitted. When the portable recording medium 1609 or the communication network is not used, the medium driving device 1606 or the network connecting device 1607 may be omitted.

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 Having described in detail the embodiments of the disclosure and its advantages, those skilled in the art will be able to make various changes, additions and omissions without departing from the scope of the invention as expressly stated in the claims. Let's do it.

図１乃至図１６を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
入力データから特徴を抽出し、抽出された特徴から復元された出力データを生成する、復元モデルを記憶するとともに、前記復元モデルに正常画像を複数回学習させることで取得された、前記入力データと前記出力データとの誤差を示す関数の複数の値に基づく、基準値を記憶する記憶部と、
前記復元モデルに判定対象画像を複数回学習させることで、前記関数の複数の値を取得する学習処理部と、
前記復元モデルに前記判定対象画像を複数回学習させることで取得された前記関数の複数の値と、前記基準値とを用いて、前記判定対象画像の正常性を判定する判定部と、
前記判定対象画像の正常性を示す判定結果を出力する出力部と、
を備えることを特徴とする画像判定装置。
（付記２）
前記基準値は、前記復元モデルに前記正常画像を複数回学習させることで取得された前記関数の複数の値から計算され、
前記判定部は、前記復元モデルに前記判定対象画像を複数回学習させることで取得された前記関数の複数の値と、前記基準値とを用いて、前記判定対象画像の正常性を示す指標を計算し、前記指標と閾値とを比較することで、前記判定対象画像の正常性を判定することを特徴とする付記１記載の画像判定装置。
（付記３）
前記正常画像は、第１画像内の複数の領域それぞれの正常画像のうち、いずれかの正常画像であり、
前記判定対象画像は、第２画像内の複数の領域それぞれの判定対象画像のうち、いずれかの判定対象画像であり、
前記記憶部は、領域毎の復元モデルを記憶するとともに、前記領域毎の復元モデルに領域毎の正常画像を複数回学習させることで取得された、領域毎の関数の複数の値に基づく、領域毎の基準値を記憶し、
前記領域毎の基準値は、前記領域毎の関数の複数の値から計算され、
前記学習処理部は、前記領域毎の復元モデルに領域毎の判定対象画像を複数回学習させることで、領域毎の関数の複数の値を取得し、
前記判定部は、領域毎の判定対象画像を用いて取得された前記領域毎の関数の複数の値と、前記領域毎の基準値とを用いて、前記領域毎の判定対象画像の正常性を示す指標を計算し、前記指標と第１閾値とを比較することで、前記第２画像の正常性を判定し、
前記出力部は、前記第２画像の正常性を示す判定結果を出力することを特徴とする付記１記載の画像判定装置。
（付記４）
前記判定部は、前記領域毎の判定対象画像の正常性を示す指標の総和を求め、前記指標の総和と第２閾値とを比較することで、前記第２画像の正常性を判定することを特徴とする付記３記載の画像判定装置。
（付記５）
前記復元モデルは、学習前の復元モデルに正常画像の集合を学習させることで生成されることを特徴とする付記１乃至４のいずれか１項に記載の画像判定装置。
（付記６）
前記復元モデルは自己符号化器であり、前記関数は、前記自己符号化器の損失関数であることを特徴とする付記１乃至５のいずれか１項に記載の画像判定装置。
（付記７）
コンピュータによって実行される画像判定方法であって、
前記コンピュータが、
入力データから特徴を抽出し、抽出された特徴から復元された出力データを生成する、復元モデルに、判定対象画像を複数回学習させることで、前記入力データと前記出力データとの誤差を示す関数の複数の値を取得し、
前記復元モデルに正常画像を複数回学習させることで取得された前記関数の複数の値に基づく基準値と、前記復元モデルに前記判定対象画像を複数回学習させることで取得された前記関数の複数の値とを用いて、前記判定対象画像の正常性を判定し、
前記判定対象画像の正常性を示す判定結果を出力する、
ことを特徴とする画像判定方法。
（付記８）
前記基準値は、前記復元モデルに前記正常画像を複数回学習させることで取得された前記関数の複数の値から計算され、
前記コンピュータは、前記復元モデルに前記判定対象画像を複数回学習させることで取得された前記関数の複数の値と、前記基準値とを用いて、前記判定対象画像の正常性を示す指標を計算し、前記指標と閾値とを比較することで、前記判定対象画像の正常性を判定することを特徴とする付記７記載の画像判定方法。
（付記９）
前記正常画像は、第１画像内の複数の領域それぞれの正常画像のうち、いずれかの正常画像であり、
前記判定対象画像は、第２画像内の複数の領域それぞれの判定対象画像のうち、いずれかの判定対象画像であり、
前記コンピュータは、領域毎の復元モデルを記憶するとともに、前記領域毎の復元モデルに領域毎の正常画像を複数回学習させることで取得された、領域毎の関数の複数の値に基づく、領域毎の基準値を記憶し、
前記領域毎の基準値は、前記領域毎の関数の複数の値から計算され、
前記コンピュータは、前記領域毎の復元モデルに領域毎の判定対象画像を複数回学習させることで、領域毎の関数の複数の値を取得し、領域毎の判定対象画像を用いて取得された前記領域毎の関数の複数の値と、前記領域毎の基準値とを用いて、前記領域毎の判定対象画像の正常性を示す指標を計算し、前記指標と第１閾値とを比較することで、前記第２画像の正常性を判定し、前記第２画像の正常性を示す判定結果を出力することを特徴とする付記７記載の画像判定方法。
（付記１０）
前記コンピュータは、前記領域毎の判定対象画像の正常性を示す指標の総和を求め、前記指標の総和と第２閾値とを比較することで、前記第２画像の正常性を判定することを特徴とする付記９記載の画像判定方法。
（付記１１）
前記復元モデルは、学習前の復元モデルに正常画像の集合を学習させることで生成されることを特徴とする付記７乃至１０のいずれか１項に記載の画像判定方法。
（付記１２）
前記復元モデルは自己符号化器であり、前記関数は、前記自己符号化器の損失関数であることを特徴とする付記７乃至１１のいずれか１項に記載の画像判定方法。 The following additional notes will be further disclosed with respect to the embodiments described with reference to FIGS. 1 to 16.
(Appendix 1)
With the input data obtained by extracting features from the input data and generating the output data restored from the extracted features, storing the restored model, and training the restored model multiple times for normal images. A storage unit that stores a reference value based on a plurality of values of a function indicating an error from the output data, and a storage unit.
A learning processing unit that acquires a plurality of values of the function by causing the restoration model to learn the image to be determined a plurality of times.
A determination unit that determines the normality of the determination target image by using the plurality of values of the function acquired by training the restoration model a plurality of times and the reference value.
An output unit that outputs a judgment result indicating the normality of the judgment target image, and
An image determination device comprising.
(Appendix 2)
The reference value is calculated from a plurality of values of the function obtained by training the restoration model a plurality of times of the normal image.
The determination unit uses a plurality of values of the function acquired by causing the restoration model to learn the determination target image a plurality of times and the reference value to obtain an index indicating the normality of the determination target image. The image determination device according to Appendix 1, wherein the normality of the image to be determined is determined by calculating and comparing the index and the threshold value.
(Appendix 3)
The normal image is one of the normal images of each of the plurality of regions in the first image.
The determination target image is one of the determination target images of each of the plurality of regions in the second image.
The storage unit stores the restoration model for each area, and is based on a plurality of values of the function for each area, which is acquired by having the restoration model for each area learn a normal image for each area a plurality of times. Memorize each reference value and
The reference value for each region is calculated from a plurality of values of the function for each region.
The learning processing unit acquires a plurality of values of the function for each region by causing the restoration model for each region to learn the image to be determined for each region a plurality of times.
The determination unit uses a plurality of values of the function for each region acquired by using the determination target image for each region and a reference value for each region to determine the normality of the determination target image for each region. The normality of the second image is determined by calculating the indicated index and comparing the index with the first threshold value.
The image determination device according to Appendix 1, wherein the output unit outputs a determination result indicating the normality of the second image.
(Appendix 4)
The determination unit determines the normality of the second image by obtaining the sum of the indexes indicating the normality of the determination target image for each region and comparing the total of the indexes with the second threshold value. The image determination device according to Appendix 3, which is a feature.
(Appendix 5)
The image determination device according to any one of Supplementary note 1 to 4, wherein the restoration model is generated by training a set of normal images in a restoration model before learning.
(Appendix 6)
The image determination device according to any one of Supplementary note 1 to 5, wherein the restoration model is a self-encoder, and the function is a loss function of the self-encoder.
(Appendix 7)
An image determination method performed by a computer
The computer
A function that indicates an error between the input data and the output data by having the restored model train the image to be judged multiple times to extract features from the input data and generate the output data restored from the extracted features. Get multiple values of
A reference value based on a plurality of values of the function acquired by having the restoration model learn a normal image a plurality of times, and a plurality of the functions acquired by having the restoration model learn the determination target image a plurality of times. The normality of the image to be determined is determined by using the value of.
Outputs a judgment result indicating the normality of the judgment target image.
An image determination method characterized by this.
(Appendix 8)
The reference value is calculated from a plurality of values of the function obtained by training the restoration model a plurality of times of the normal image.
The computer calculates an index indicating the normality of the determination target image by using the plurality of values of the function acquired by having the restoration model learn the determination target image a plurality of times and the reference value. The image determination method according to Appendix 7, wherein the normality of the determination target image is determined by comparing the index with the threshold value.
(Appendix 9)
The normal image is one of the normal images of each of the plurality of regions in the first image.
The determination target image is one of the determination target images of each of the plurality of regions in the second image.
The computer stores the restoration model for each area and trains the restoration model for each area a plurality of times to learn a normal image for each area, and is based on a plurality of values of the function for each area. Memorize the reference value of
The reference value for each region is calculated from a plurality of values of the function for each region.
The computer acquires a plurality of values of the function for each region by causing the restoration model for each region to learn the image to be determined for each region a plurality of times, and obtains the image to be determined for each region. By using a plurality of values of the function for each region and a reference value for each region, an index indicating the normality of the image to be determined for each region is calculated, and the index is compared with the first threshold value. The image determination method according to Appendix 7, wherein the normality of the second image is determined, and a determination result indicating the normality of the second image is output.
(Appendix 10)
The computer is characterized in that the totality of indicators indicating the normality of the determination target image for each region is obtained, and the normality of the second image is determined by comparing the total sum of the indicators with the second threshold value. The image determination method according to Appendix 9.
(Appendix 11)
The image determination method according to any one of Supplementary note 7 to 10, wherein the restoration model is generated by training a set of normal images in a restoration model before learning.
(Appendix 12)
The image determination method according to any one of Supplementary note 7 to 11, wherein the restoration model is a self-encoder, and the function is a loss function of the self-encoder.

１０１ 画像処理装置
１１１、９２１、９２４ ＣＡＥ
１１２ 損失関数
１２１ 符号化部
１２２ 復号部
３０１、３０２ 正常画像
４０１ 画像差分抽出部
４０２ 異常判定部
５０１、６０１ 判定対象画像
５０２、６０２ 復元画像
７０１、９０１ 画像判定装置
７１１、９１１ 記憶部
７１２、９１４ 学習処理部
７１３、９１６ 判定部
７１４、９１７ 出力部
７２１ 復元モデル
７２２ 基準値
９０２ 撮像装置
９０３ 製品
９０４ 生産ライン
９１２ 画像取得部
９１３ 画像加工部
９１５ 計算部
９２２ 損失関数
９２３−１、９２３−２ 画像集合
９２５ 基準値
９２６、１００１ 判定対象画像
９２７ 判定結果
１００２ ブロック
１６０１ ＣＰＵ
１６０２ メモリ
１６０３ 入力装置
１６０４ 出力装置
１６０５ 補助記憶装置
１６０６ 媒体駆動装置
１６０７ ネットワーク接続装置
１６０８ バス
１６０９ 可搬型記録媒体 101 Image processing equipment 111, 921, 924 CAE
112 Loss function 121 Encoding unit 122 Decoding unit 301, 302 Normal image 401 Image difference extraction unit 402 Abnormality determination unit 501, 601 Judgment target image 502, 602 Restored image 701, 901 Image determination device 711, 911 Storage unit 712, 914 Learning Processing unit 713, 916 Judgment unit 714, 917 Output unit 721 Restoration model 722 Reference value 902 Image pickup device 903 Product 904 Production line 912 Image acquisition unit 913 Image processing unit 915 Calculation unit 922 Loss function 923-1, 923-2 Image set 925 Reference value 926, 1001 Judgment target image 927 Judgment result 1002 block 1601 CPU
1602 Memory 1603 Input device 1604 Output device 1605 Auxiliary storage device 1606 Media drive device 1607 Network connection device 1608 Bus 1609 Portable recording medium

Claims (6)

入力データから特徴を抽出し、抽出された特徴から復元された出力データを生成する、復元モデルを記憶するとともに、前記復元モデルに正常画像を複数回学習させることで取得された、前記入力データと前記出力データとの誤差を示す関数の複数の値に基づく、基準値を記憶する記憶部と、
前記復元モデルに判定対象画像を複数回学習させることで、前記関数の複数の値を取得する学習処理部と、
前記復元モデルに前記判定対象画像を複数回学習させることで取得された前記関数の複数の値と、前記基準値とを用いて、前記判定対象画像の正常性を判定する判定部と、
前記判定対象画像の正常性を示す判定結果を出力する出力部と、
を備えることを特徴とする画像判定装置。 With the input data obtained by extracting features from the input data and generating the output data restored from the extracted features, storing the restored model, and training the restored model multiple times for normal images. A storage unit that stores a reference value based on a plurality of values of a function indicating an error from the output data, and a storage unit.
A learning processing unit that acquires a plurality of values of the function by causing the restoration model to learn the image to be determined a plurality of times.
A determination unit that determines the normality of the determination target image by using the plurality of values of the function acquired by training the restoration model a plurality of times and the reference value.
An output unit that outputs a judgment result indicating the normality of the judgment target image, and
An image determination device comprising. 前記基準値は、前記復元モデルに前記正常画像を複数回学習させることで取得された前記関数の複数の値から計算され、
前記判定部は、前記復元モデルに前記判定対象画像を複数回学習させることで取得された前記関数の複数の値と、前記基準値とを用いて、前記判定対象画像の正常性を示す指標を計算し、前記指標と閾値とを比較することで、前記判定対象画像の正常性を判定することを特徴とする請求項１記載の画像判定装置。 The reference value is calculated from a plurality of values of the function obtained by training the restoration model a plurality of times of the normal image.
The determination unit uses a plurality of values of the function acquired by having the restoration model learn the determination target image a plurality of times and the reference value to obtain an index indicating the normality of the determination target image. The image determination device according to claim 1, wherein the normality of the determination target image is determined by calculating and comparing the index with the threshold value. 前記正常画像は、第１画像内の複数の領域それぞれの正常画像のうち、いずれかの正常画像であり、
前記判定対象画像は、第２画像内の複数の領域それぞれの判定対象画像のうち、いずれかの判定対象画像であり、
前記記憶部は、領域毎の復元モデルを記憶するとともに、前記領域毎の復元モデルに領域毎の正常画像を複数回学習させることで取得された、領域毎の関数の複数の値に基づく、領域毎の基準値を記憶し、
前記領域毎の基準値は、前記領域毎の関数の複数の値から計算され、
前記学習処理部は、前記領域毎の復元モデルに領域毎の判定対象画像を複数回学習させることで、領域毎の関数の複数の値を取得し、
前記判定部は、領域毎の判定対象画像を用いて取得された前記領域毎の関数の複数の値と、前記領域毎の基準値とを用いて、前記領域毎の判定対象画像の正常性を示す指標を計算し、前記指標と第１閾値とを比較することで、前記第２画像の正常性を判定し、
前記出力部は、前記第２画像の正常性を示す判定結果を出力することを特徴とする請求項１記載の画像判定装置。 The normal image is one of the normal images of each of the plurality of regions in the first image.
The determination target image is one of the determination target images of each of the plurality of regions in the second image.
The storage unit stores the restoration model for each area, and is based on a plurality of values of the function for each area, which is acquired by having the restoration model for each area learn a normal image for each area a plurality of times. Memorize each reference value and
The reference value for each region is calculated from a plurality of values of the function for each region.
The learning processing unit acquires a plurality of values of the function for each region by causing the restoration model for each region to learn the image to be determined for each region a plurality of times.
The determination unit uses a plurality of values of the function for each region acquired by using the determination target image for each region and a reference value for each region to determine the normality of the determination target image for each region. The normality of the second image is determined by calculating the indicated index and comparing the index with the first threshold value.
The image determination device according to claim 1, wherein the output unit outputs a determination result indicating the normality of the second image. 前記判定部は、前記領域毎の判定対象画像の正常性を示す指標の総和を求め、前記指標の総和と第２閾値とを比較することで、前記第２画像の正常性を判定することを特徴とする請求項３記載の画像判定装置。 The determination unit determines the normality of the second image by obtaining the sum of the indexes indicating the normality of the determination target image for each region and comparing the total of the indexes with the second threshold value. The image determination device according to claim 3, which is characterized. 前記復元モデルは、学習前の復元モデルに正常画像の集合を学習させることで生成されることを特徴とする請求項１乃至４のいずれか１項に記載の画像判定装置。 The image determination device according to any one of claims 1 to 4, wherein the restoration model is generated by training a set of normal images in a restoration model before learning. コンピュータによって実行される画像判定方法であって、
前記コンピュータが、
入力データから特徴を抽出し、抽出された特徴から復元された出力データを生成する、復元モデルに、判定対象画像を複数回学習させることで、前記入力データと前記出力データとの誤差を示す関数の複数の値を取得し、
前記復元モデルに正常画像を複数回学習させることで取得された前記関数の複数の値に基づく基準値と、前記復元モデルに前記判定対象画像を複数回学習させることで取得された前記関数の複数の値とを用いて、前記判定対象画像の正常性を判定し、
前記判定対象画像の正常性を示す判定結果を出力する、
ことを特徴とする画像判定方法。 An image determination method performed by a computer
The computer
A function that indicates an error between the input data and the output data by having the restored model train the image to be judged multiple times to extract features from the input data and generate the output data restored from the extracted features. Get multiple values of
A reference value based on a plurality of values of the function acquired by having the restoration model learn a normal image a plurality of times, and a plurality of the functions acquired by having the restoration model learn the determination target image a plurality of times. The normality of the image to be determined is determined by using the value of.
Outputs a judgment result indicating the normality of the judgment target image.
An image determination method characterized by this.

Images