JP2024018241A - 教師あり機械学習用の訓練画像データ生成システムと生成方法及びプログラム - Google Patents
教師あり機械学習用の訓練画像データ生成システムと生成方法及びプログラム Download PDFInfo
- Publication number
- JP2024018241A JP2024018241A JP2022121443A JP2022121443A JP2024018241A JP 2024018241 A JP2024018241 A JP 2024018241A JP 2022121443 A JP2022121443 A JP 2022121443A JP 2022121443 A JP2022121443 A JP 2022121443A JP 2024018241 A JP2024018241 A JP 2024018241A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- image data
- model
- test surface
- data generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 110
- 238000010801 machine learning Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000007547 defect Effects 0.000 claims abstract description 225
- 230000003287 optical effect Effects 0.000 claims abstract description 81
- 238000003860 storage Methods 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000011179 visual inspection Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims description 100
- 238000005286 illumination Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 14
- 238000013041 optical simulation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 abstract description 14
- 239000002131 composite material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 239000003973 paint Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 239000000428 dust Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【課題】教師あり機械学習を用いて欠陥分類を行うための訓練画像データを容易に生成できる教師あり機械学習用の訓練画像データ生成システムと方法、プログラムを提供する。【解決手段】外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成システム１は、欠陥の形状と光学特性をモデル化した欠陥モデルを保持する記憶部７から任意選択された欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルを保持する記憶部７から任意選択された被検面モデルを、照明光学系、撮像光学系６０、複数の画素で構成される撮像センサ６３がモデル化された光線追跡シミュレーションソフトで光線追跡される任意の空間に配置し、複数の光線を追跡して、画素に入射した光線の強度と本数をベースに各画素における照度を算出し、その照度を基に訓練画像データである疑似撮像画像データを生成するデータ生成手段８を備えている。【選択図】図１
Description
この発明は、ワークの外観検査において表面欠陥の種別を分類するのに適用される欠陥分類器を訓練するための訓練画像データを生成する、教師あり機械学習用の訓練画像データ生成システムと生成方法およびプログラムに関する。
コントロールされた照明手段によって照明されたワークの被検面をデジタルカメラで撮影し、その撮影画像を処理して表面欠陥を検出するいわゆる外観検査装置が様々な産業分野で用いられている。近年、欠陥の発生原因の解析や、修理工程への情報提供の目的で、撮影画像から欠陥種別を分類したいという要望が多くあり、教師あり機械学習を用いた欠陥種別分類機能の開発が進められている。
分類したい欠陥種ごとに十分な訓練データ（ラベル付き画像）を収集し、教師あり機械学習アルゴリズムを訓練して分類器を生成する。画像分類の分野においては、CNN（Convolutional Neural Network）というディープラーニングの一手法が、その性能的優位性の理由で広く用いられている。
教師あり機械学習を用いて所望の欠陥分類性能を得ようとすると十分な訓練データが必要となるが、それに関して以下のような課題がある。
１．欠陥についての知見を有した人間が、大量の画像に正解ラベルを付与する必要があり、必要な労力が大きく、また、人によって同じ画像でも異なるラベルを付ける場合がある。
２．発生頻度が低い欠陥については画像データを集めるのに時間がかかる。
３．被検物の特性（例えば、形状や色）が違うと画像が変化するため、同じ欠陥だとしても被検物の特性ごとに画像を集めて学習させる必要がある。
４．照明条件や撮影画像解像度などの撮影条件が異なると画像が変化するため、同じ欠陥であっても撮影条件ごとに画像を集めて学習させる必要がある。
１．欠陥についての知見を有した人間が、大量の画像に正解ラベルを付与する必要があり、必要な労力が大きく、また、人によって同じ画像でも異なるラベルを付ける場合がある。
２．発生頻度が低い欠陥については画像データを集めるのに時間がかかる。
３．被検物の特性（例えば、形状や色）が違うと画像が変化するため、同じ欠陥だとしても被検物の特性ごとに画像を集めて学習させる必要がある。
４．照明条件や撮影画像解像度などの撮影条件が異なると画像が変化するため、同じ欠陥であっても撮影条件ごとに画像を集めて学習させる必要がある。
なお、特許文献１には、外観検査に適用するための最適な光学条件を導出することを課題として、外観検査の対象とする対象物の表面性状をモデル化した表面性状モデル、及び前記対象物の欠陥をモデル化した欠陥モデルそれぞれに対し、複数の光学条件下にて光学シミュレーションを行うことによって表面性状画像及び欠陥画像を生成するシミュレーション実行部と、同一の光学条件下の光学シミュレーションによって生成された前記表面性状画像及び前記欠陥画像を合成して合成画像を生成する画像合成部と、前記合成画像における前記欠陥の検出し易さを表す評価値を算出する評価値算出部と、前記合成画像に対応する光学条件と前記評価値との相関を解析する相関解析部と、前記相関の解析結果に基づき、前記外観検査に適した前記光学条件を探索する最適条件探索部と、を有する光学条件決定システムが開示されている。
また特許文献２には、照明部及び撮像部それぞれの配置位置及び光軸方向を第１及び第２配置情報として設定し、照明部、撮像部及び欠陥を含む被検査物の外観それぞれを数値化した各情報に基づき第１配置情報による照明部で被検査物を照明し第２配置情報による撮像部で検査領域を撮像して得られる画像を数値演算で求め、この画像に基づき欠陥を検出する、表面欠陥検査装置の配置決定方法が開示されている。
しかし、特許文献１及び２に記載された技術は、いずれも、外観検査に最適な光学条件を導出することを目的とするものであり、教師あり機械学習アルゴリズムを訓練するための訓練画像データを生成する技術ではなかった。このため、上述したような、訓練データの取得に関する課題を解決することはできなかった。
この発明は、このような技術的背景に鑑みてなされたものであって、教師あり機械学習を用いて欠陥分類を行うための適正な訓練画像データを容易に生成することができる教師あり機械学習用の訓練画像データ生成システムと生成方法及びプログラムの提供を目的とする。
上記目的は以下の手段によって達成される。
（１）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成システムであって、
欠陥の形状と光学特性をモデル化した欠陥モデルを保持する欠陥モデル記憶部と、
被検面の形状と光学特性をモデル化した被検面モデルを保持する被検面モデル記憶部と、
欠陥モデル記憶部に保持されている欠陥モデルの中から任意に選択された欠陥モデルと、被検面モデル記憶部に保持されている被検面モデルの中から任意に選択された被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成手段と、
を備えたことを特徴とする教師あり機械学習用の訓練画像データ生成システム。
（２）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成手段で生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項１に記載の教師あり機械学習用の訓練画像データ生成システム。
（３）前記データ生成手段は、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
（４）前記データ生成手段は、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の機能を有している前項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
（５）前記データ生成手段は、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
（６）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成方法であって、
欠陥モデル記憶部に保持されている、欠陥の形状と光学特性をモデル化した欠陥モデルの中から、任意に欠陥モデルを選択するステップと、
被検面モデル記憶部に保持されている、被検面の形状と光学特性をモデル化した被検面モデルの中から、任意に被検面モデルを選択するステップと、
選択された欠陥モデルと被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップと、
を含む教師あり機械学習用の訓練画像データ生成方法。
（７）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項６に記載の教師あり機械学習用の訓練画像データ生成方法。
（８）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
（９）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与を行う前項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
（１０）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
（１１）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する処理をコンピュータに実行させるためのプログラムであって、
欠陥モデル記憶部に保持されている、欠陥の形状と光学特性をモデル化した欠陥モデルの中から、任意に欠陥モデルを選択するステップと、
被検面モデル記憶部に保持されている、被検面の形状と光学特性をモデル化した被検面モデルの中から、任意に被検面モデルを選択するステップと、
選択された欠陥モデルと被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップと、
を前記コンピュータに実行させるためのプログラム。
（１２）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルを付与する処理を前記コンピュータに実行させる前項１１に記載のプログラム。
（１３）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する処理を前記コンピュータに実行させる前項１１または１２に記載のプログラム。
（１４）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の処理を前記コンピュータに実行させる前項１１または１２に記載のプログラム。
（１５）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する処理を前記コンピュータにさらに実行させる前項１１または１２に記載のプログラム。
（１）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成システムであって、
欠陥の形状と光学特性をモデル化した欠陥モデルを保持する欠陥モデル記憶部と、
被検面の形状と光学特性をモデル化した被検面モデルを保持する被検面モデル記憶部と、
欠陥モデル記憶部に保持されている欠陥モデルの中から任意に選択された欠陥モデルと、被検面モデル記憶部に保持されている被検面モデルの中から任意に選択された被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成手段と、
を備えたことを特徴とする教師あり機械学習用の訓練画像データ生成システム。
（２）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成手段で生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項１に記載の教師あり機械学習用の訓練画像データ生成システム。
（３）前記データ生成手段は、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
（４）前記データ生成手段は、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の機能を有している前項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
（５）前記データ生成手段は、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
（６）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成方法であって、
欠陥モデル記憶部に保持されている、欠陥の形状と光学特性をモデル化した欠陥モデルの中から、任意に欠陥モデルを選択するステップと、
被検面モデル記憶部に保持されている、被検面の形状と光学特性をモデル化した被検面モデルの中から、任意に被検面モデルを選択するステップと、
選択された欠陥モデルと被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップと、
を含む教師あり機械学習用の訓練画像データ生成方法。
（７）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項６に記載の教師あり機械学習用の訓練画像データ生成方法。
（８）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
（９）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与を行う前項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
（１０）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
（１１）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する処理をコンピュータに実行させるためのプログラムであって、
欠陥モデル記憶部に保持されている、欠陥の形状と光学特性をモデル化した欠陥モデルの中から、任意に欠陥モデルを選択するステップと、
被検面モデル記憶部に保持されている、被検面の形状と光学特性をモデル化した被検面モデルの中から、任意に被検面モデルを選択するステップと、
選択された欠陥モデルと被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップと、
を前記コンピュータに実行させるためのプログラム。
（１２）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルを付与する処理を前記コンピュータに実行させる前項１１に記載のプログラム。
（１３）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する処理を前記コンピュータに実行させる前項１１または１２に記載のプログラム。
（１４）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の処理を前記コンピュータに実行させる前項１１または１２に記載のプログラム。
（１５）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する処理を前記コンピュータにさらに実行させる前項１１または１２に記載のプログラム。
この発明に係る機械学習用の訓練画像データ生成システム及び生成方法によれば、欠陥の形状と光学特性をモデル化した欠陥モデルを保持する欠陥モデル記憶部から任意に選択された欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルを保持する被検面記憶部から任意に選択された被検面モデルが、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置され、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データが生成される。つまり、欠陥をモデル化して光線追跡により訓練画像データを生成するため、生成される訓練画像データはすべて欠陥モデルに対応する適正な画像データとなり、正解ラベルを付与する必要がなくなる。このため、適正な訓練画像データを容易に生成でき、訓練データ生成のコストを下げることができる。
また、欠陥形状とその他の特性（例えば被検面形状、被検面光学特性、照明条件、撮影条件など）の組み合わせを自由にモデル化することができるので、発生率の小さな欠陥についても十分な量の訓練データを容易に得ることができる。
この発明に係るプログラムによれば、欠陥の形状と光学特性をモデル化した欠陥モデルを保持する欠陥モデル記憶部から、任意に選択された前記欠陥モデルを取得し、被検面の形状と光学特性をモデル化した被検面モデルを保持する被検面モデル記憶部から、任意に選択された前記被検面モデルを取得し、取得した欠陥モデルと被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして訓練画像データである疑似撮像画像データを生成する処理を、コンピュータに実行させることができる。
以下、この発明の実施形態を図面に基づいて説明する。
図１はこの発明の一実施形態に係る訓練画像データ生成システム１の構成図である。この実施形態では、車体の外観検査において表面欠陥の種別を分類するのに適用される欠陥分類器を訓練するための訓練画像データを生成する場合について説明する。
この訓練画像データ生成システム１はパーソナルコンピュータ（以下ＰＣともいう）を備えており、ＰＣはハードウェア的にはＣＰＵ（Central Processing Unit）２、ＲＡＭ（Random Access Memory）３、マウスやキーボード等の入力部４、液晶等の表示部５、ネットワークを介して外部装置と通信を行うためのネットワークインターフェース（ネットワークＩ／Ｆ）６、ハードディスクやＳＳＤ（Solid State Drive）等からなる記憶部７等を備えている。記憶部７には、欠陥モデル、被検面モデル、光線追跡シミュレーションソフトウェアやその他のプログラム等が記憶されている。これらについては後述する。
一方、ＰＣは機能的にデータ生成部８を備えている。データ生成部８は、ＣＰＵ２が記憶部７に記憶されＲＡＭ３にロードされたプログラムに従って動作することにより、その機能が実現される。
記憶部７に保持されている欠陥モデルは、欠陥の形状と光学特性をモデル化したものである。望ましくは、記憶部７に記憶されている各欠陥モデルには、その欠陥種を表すラベルが付与されているのが良い。
欠陥モデルにおける光学特性の一例を図２に示す。図２に示す特性は、図２（Ａ）に示すように、車体１０における鋼板（塗装面）１１の表面に電着層１２を介してプライマー層１３、ベースコート層１４、クリアー層１５が順に塗装形成されるとともにクリアー層１５内に異物２０が混入したときに生じた塗装欠陥に対する光学特性の例であり、異物２０の光吸収率は１００％、クリアー層１５の表面の反射率は４％、ベースコート層１４での散乱特性を図２（Ｂ）に示した特性に設定したものである。ただし、反射率、吸収率、散乱特性については実際に検査される被検面に合致した特性を付与されることが望ましい。
欠陥モデルにおける欠陥の形状の一例を図３（Ａ）～（Ｃ）に示す。欠陥種別の違いは主に欠陥の形状の差に起因する。
図３（Ａ）のモデルは塗装内に埃（ダスト（Ｄｕｓｔ））が混入して円錐状の表面凸状欠陥３１になったものである。図３（Ｂ）のモデルは塗装表面にピンホール（Ｐｉｎｈｏｌｅ）が発生して円錐状の表面凹状欠陥３２になったものである。図３（Ｃ）のモデルは塗料の液滴（Ｄｒｏｐ）により縦断面が半楕円形状の表面凸状欠陥３３になったものである。各欠陥の形状は３次元座標の配列で保持される。
記憶部７に保持されている被検面モデルは、検査対象の表面である被検面の形状とその光学特性をモデル化したものである。
被検面モデルにおける被検面の形状とは、例えば図４（Ａ）～（Ｃ）に示すようなモデルである。図４（Ａ）のモデルは、図４（Ｄ）に示す車体１０のドアの部分の被検面４１の形状を示し、図４（Ｂ）のモデルは、図４（Ｄ）に示す車体１０のドアのアクセントラインの被検面４２の形状を示し、図４（Ｃ）のモデルは、図４（Ｄ）に示す車体１０のタイヤ収容部分であるホイールハウスの被検面４３の形状を示している。各被検面４１～４３の形状は３次元座標の配列で保持される。
被検面モデルにおける被検面４１～４３の光学特性とは、図２（Ａ）に示したように、被検面４１～４３におけるクリアー層１５の反射特性、ベースコート層１４の散乱特性等である。反射率、散乱特性については実際に検査される被検面に合致した特性を付与されることが望ましい。
なお、この実施形態では欠陥モデルと被検面モデルは、訓練画像データ生成システム１を構成するＰＣに内蔵されている１つの記憶部７に記憶されているものとしたが、異なる記憶部に記憶されていても良い。また、欠陥モデルと被検面モデルの少なくとも何れかはＰＣの外部に存在する記憶部に記憶されていても良い。ＰＣの外部に存在する記憶部に記憶されている場合は、ＰＣが外部の記憶部から、任意の欠陥モデルや被検面モデルを取得する。
データ生成部８は訓練画像データを生成するものであり、形状合成部８１と画像処理部８２を備えている。形状合成部８１は欠陥モデルの形状と被検面モデルの形状を合成する。画像処理部８２は生成された訓練画像データに画像処理を施す。
データ生成部８による訓練画像データの具体的な生成方法は次の通りである。
即ち、記憶部７に記憶されている欠陥モデルを任意に選択する。同じく記憶部７に記憶されている被検面モデルを任意に選択する。そして、選択した欠陥モデルと被検面モデルを、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する。光線追跡シミュレーションソフトウェアは、照明光学系５０、撮像光学系６０、複数の画素で構成される撮像センサ６３がモデル化されている。
照明光学系５０のモデル化とは、例えば図５のようなモデルで実現される。図５の例では車体１０を幅方向に取り巻いて帯状の照明からなる照明光学系５０が配置されており、照明光学系５０の角度分布：ランバート、空間分布：図５（Ｂ）で示されるもの、に設定されている。図５（Ｂ）における横軸は照明光学系５０の幅である。ただし、分類器を設置しようとする検査装置に搭載される光源の空間輝度分布、配向分布に合致したモデルを生成することが望ましい。
撮像光学系６０のモデル化とは、例えば図６のようなモデルで実現される。図６の例では、被検面４１～４３からの反射光７０をレンズ６１と絞り６２を介して撮像センサ６３に集光している。実際に発生する光学収差や周辺光量低下を画像上に再現させるため、分類器を設置しようとする検査装置に搭載されているレンズ等に合わせてモデル化することが望ましい。
欠陥モデルと被検面モデルの任意の空間への配置に際して、欠陥の形状と被検面の形状を形状合成部８１で合成する。形状の合成は例えば次の（１）～（３）の何れかの手法によって行えば良い。
（１）欠陥モデルと被検面モデルの形状は３次元座標の配列で保持されており、同一の（ｘ、ｙ）を持つ点のｚ値を足し合わせることで形状を合成する。
（２）欠陥モデルと被検面モデルの形状は値が高さである２次元の行列で保持されており、同じ行列要素同士を足し合わせることで形状を合成する。
（３）欠陥モデルと被検面モデルの形状は任意の形態で保持されており（例えば上記３次元座標の配列、上記２次元の行列、またはポリゴン）、ブーリアン演算によって形状を合成する。
（１）欠陥モデルと被検面モデルの形状は３次元座標の配列で保持されており、同一の（ｘ、ｙ）を持つ点のｚ値を足し合わせることで形状を合成する。
（２）欠陥モデルと被検面モデルの形状は値が高さである２次元の行列で保持されており、同じ行列要素同士を足し合わせることで形状を合成する。
（３）欠陥モデルと被検面モデルの形状は任意の形態で保持されており（例えば上記３次元座標の配列、上記２次元の行列、またはポリゴン）、ブーリアン演算によって形状を合成する。
光線追跡シミュレーションソフトウェアは、光線がどのように透過・屈折・反射して伝播していくかを幾何光学的にシミュレーション可能なソフトウェアであり、例えばsynopsys社の製品名「LightTools」などの公知のソフトウェアを使用すれば良い。
光線追跡シミュレーションでの、欠陥モデル及び被検面モデルの合成体９０、照明光学系５０、撮像光学系６０、撮像センサ６３の各要素の配置例を図７に示す。
このように各要素を配置した状態で、被検面から反射され撮像センサ６３の画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして疑似撮像画像データを生成し、この画像データを訓練画像データとする。
生成した疑似撮影画像データは、一般的な画像フォーマット（例えば、ビットマップ、Tiff等）によって、訓練画像データ生成システム内の記憶部７あるいはシステム外に備えられた記憶部に出力され、保存される。生成した疑似撮影画像データには、欠陥モデルに欠陥種を表すラベルが付与されている場合は、使用した欠陥モデルの欠陥種と同じラベルを付与して保存するのが、生成した疑似撮影画像データの管理のし易さの点で望ましい。
生成された疑似撮影画像データの一例を図８に示す。車体の外観検査は車体または照明装置の少なくとも一方を移動させながら撮像装置で連続的に撮像が行われる。このため、図８に示した疑似撮影画像データも、欠陥モデルと被検面モデル９０を微小量移動させて複数の異なる位置に配置しながら疑似撮像画像データを生成している。
具体的には、図８（Ａ）は車体１０のドア付近の埃による表面欠陥としての欠陥モデルと被検面モデルの合成体９０を微小量移動させたときの疑似撮像画像データである。同図（Ｂ）は車体１０のホイールハウス付近のピンホールによる表面欠陥としての欠陥モデルと被検面モデルの合成体９０を微小量移動させたときの疑似撮像画像データである。同図（Ｃ）は車体１０のアクセントライン付近の塗料の滴下による表面欠陥としての欠陥モデルと被検面モデルの合成体９０を微小量移動させたときの疑似撮像画像データである。いずれも、明帯中の黒点部分が欠陥を示している。
実際の表面欠陥の撮像画像データには、表面欠陥の種類や撮像条件等によって明るさが微妙に変化しあるいは画像にノイズが生じることがある。そこで、実際の撮像画像データに合わせるため、生成された生成した疑似撮像画像データに対し、画像処理部８２により明るさの変更及び／またはノイズ付与のための画像処理を施しても良い。
以下に、本実施形態に係る訓練画像データ生成システム１を用いた分類器設置のワークフローの一例について説明する。
［１］事前に三次元形状測定装置等を用いて量産現場で発生する欠陥の情報を取得し、欠陥モデルを複数準備しておく。現場で使用できる三次元形状測定装置としては、例えばGelSight社のGelSight Mobile等がある。また、複数の欠陥モデルから、形状や特性のばらつき分布を予測し、乱数を用いて欠陥モデルを増大させても良い。
［２］分類器を設置する検査装置が検査するワークの情報を取得し、複数の被検面モデルを準備しておく。例えば、車体の塗装欠陥検査装置の場合であれば、事前に検査装置の使用者からCAD（computer-aided design）データを提供してもらい、CADデータの表面を測定範囲ごとに切り出して被検面形状の分布を生成することができる。
［３］検査装置の照明光学系５０、撮像光学系６０、撮像センサ６３を光線追跡シミュレーションソフトウェア上に配置する。
［４］欠陥モデルと被検面モデルを任意に組み合わせ、その合成体９０を光線追跡シミュレーションソフトウェア上に配置する。欠陥モデルと被検面モデルを組み合わせる際には、現実の発生頻度に即した予め決められた確率分布に従っても良い。例えば、車体塗装欠陥の場合、車体側面で発生しやすい欠陥種と、車体上面で発生しやすい欠陥種について、被検面モデルとの組み合わせの確率を制御することが考えられる。
［５］光線追跡シミュレーションソフトウェアによる光線追跡を実施し、撮像センサ９３の各画素に到達した光線強度と本数を用いて各画素の輝度値を算出し、画像フォーマットに変換してＰＣの記憶部７、あるいは外部の記憶部に出力し保存する。
［６］欠陥モデルと被検面形状モデルの合成体９０を微小量だけ移動させ再度光線追跡を実施し、画像ファイルを出力する。微小量は実際の検査装置における撮影フレームレートと被検物や撮像手段の移動速度に合うように決められる。この移動の光線追跡を所定の回数繰り返すことで、複数の画像がセットとなった画像セットを生成する。
［７］上記の工程を経て、分類したい欠陥種ごとに複数の画像セット（通常、数百個以上）を生成し、教師あり機械学習の学習モデルを訓練する。この際、画像セットを訓練用と評価用に分け、学習モデルを検査装置に設置する前に、評価用画像セットを用いて分類性能をチェックしておくことが望ましい。
［１］事前に三次元形状測定装置等を用いて量産現場で発生する欠陥の情報を取得し、欠陥モデルを複数準備しておく。現場で使用できる三次元形状測定装置としては、例えばGelSight社のGelSight Mobile等がある。また、複数の欠陥モデルから、形状や特性のばらつき分布を予測し、乱数を用いて欠陥モデルを増大させても良い。
［２］分類器を設置する検査装置が検査するワークの情報を取得し、複数の被検面モデルを準備しておく。例えば、車体の塗装欠陥検査装置の場合であれば、事前に検査装置の使用者からCAD（computer-aided design）データを提供してもらい、CADデータの表面を測定範囲ごとに切り出して被検面形状の分布を生成することができる。
［３］検査装置の照明光学系５０、撮像光学系６０、撮像センサ６３を光線追跡シミュレーションソフトウェア上に配置する。
［４］欠陥モデルと被検面モデルを任意に組み合わせ、その合成体９０を光線追跡シミュレーションソフトウェア上に配置する。欠陥モデルと被検面モデルを組み合わせる際には、現実の発生頻度に即した予め決められた確率分布に従っても良い。例えば、車体塗装欠陥の場合、車体側面で発生しやすい欠陥種と、車体上面で発生しやすい欠陥種について、被検面モデルとの組み合わせの確率を制御することが考えられる。
［５］光線追跡シミュレーションソフトウェアによる光線追跡を実施し、撮像センサ９３の各画素に到達した光線強度と本数を用いて各画素の輝度値を算出し、画像フォーマットに変換してＰＣの記憶部７、あるいは外部の記憶部に出力し保存する。
［６］欠陥モデルと被検面形状モデルの合成体９０を微小量だけ移動させ再度光線追跡を実施し、画像ファイルを出力する。微小量は実際の検査装置における撮影フレームレートと被検物や撮像手段の移動速度に合うように決められる。この移動の光線追跡を所定の回数繰り返すことで、複数の画像がセットとなった画像セットを生成する。
［７］上記の工程を経て、分類したい欠陥種ごとに複数の画像セット（通常、数百個以上）を生成し、教師あり機械学習の学習モデルを訓練する。この際、画像セットを訓練用と評価用に分け、学習モデルを検査装置に設置する前に、評価用画像セットを用いて分類性能をチェックしておくことが望ましい。
以上説明したように、この実施形態に係る訓練画像データ生成システム１によれば、欠陥の形状と光学特性をモデル化した欠陥モデルを保持する記憶部７から任意に選択された欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルを保持する記憶部７から任意に選択された被検面モデルが、照明光学系、撮像光学系６０、複数の画素で構成される撮像センサ６３がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置され、複数の光線を追跡して、撮像センサ６３の画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして訓練画像データである疑似撮像画像データが生成される。つまり、欠陥をモデル化して光線追跡により訓練画像データを生成するため、生成される訓練画像データはすべて欠陥モデルに対応する適正な画像データとなり、正解ラベルを付与する必要がなくなる。このため、適正な訓練画像データを容易に生成でき、訓練データ生成のコストを下げることができる。
また、欠陥形状とその他の特性（例えば被検面形状、被検面光学特性、照明条件、撮影条件など）の組み合わせを自由にモデル化することができるので、発生率の小さな欠陥についても十分な量の訓練データを容易に得ることができる。
１ 訓練画像データ生成システム
２ ＣＰＵ
３ ＲＡＭ
４ 入力部
５ 表示部
６ ネットワークインターフェース
７ 記憶部
８ データ生成部
１０ 車体
１３ プライマー層
１４ ベースコート層
１５ クリアー層
２０ 異物
３１ 埃による表面凸状欠陥
３２ ピンホールによる表面凹状欠陥
３３ 塗料滴下による表面凸状欠陥
４１～４３ 被検面
５０ 照明光学系
６０ 撮像光学系
６１ レンズ
６２ 絞り
６３ 撮像センサ
７０ 反射光
８１ 形状合成部
８２ 画像処理部
９０ 欠陥モデル及び被検面モデル
２ ＣＰＵ
３ ＲＡＭ
４ 入力部
５ 表示部
６ ネットワークインターフェース
７ 記憶部
８ データ生成部
１０ 車体
１３ プライマー層
１４ ベースコート層
１５ クリアー層
２０ 異物
３１ 埃による表面凸状欠陥
３２ ピンホールによる表面凹状欠陥
３３ 塗料滴下による表面凸状欠陥
４１～４３ 被検面
５０ 照明光学系
６０ 撮像光学系
６１ レンズ
６２ 絞り
６３ 撮像センサ
７０ 反射光
８１ 形状合成部
８２ 画像処理部
９０ 欠陥モデル及び被検面モデル
上記目的は以下の手段によって達成される。
（１）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成システムであって、
欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとを、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成手段、
を備えたことを特徴とする教師あり機械学習用の訓練画像データ生成システム。
（２）前記欠陥モデルを記憶する欠陥モデル記憶部と
前記被検面モデルを記憶する被検面モデル記憶部と、
を備える前項１に記載の教師あり機械学習用の訓練画像データ生成システム。
（３）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成手段で生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項２に記載の教師あり機械学習用の訓練画像データ生成システム。
（４）前記データ生成手段は、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項１から３の何れかに記載の教師あり機械学習用の訓練画像データ生成システム。
（５）前記データ生成手段は、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の機能を有している前項１から３の何れかに記載の教師あり機械学習用の訓練画像データ生成システム。
（６）前記データ生成手段は、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項１から３の何れかに記載の教師あり機械学習用の訓練画像データ生成システム。
（７）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成方法であって、
欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとを、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップ、
を含む教師あり機械学習用の訓練画像データ生成方法。
（８）前記欠陥モデルは欠陥モデル記憶部に保持されており、
前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項７に記載の教師あり機械学習用の訓練画像データ生成方法。
（９）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項７または８に記載の教師あり機械学習用の訓練画像データ生成方法。
（１０）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与を行う前項７または８に記載の教師あり機械学習用の訓練画像データ生成方法。
（１１）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項７または８に記載の教師あり機械学習用の訓練画像データ生成方法。
（１２）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する処理をコンピュータに実行させるためのプログラムであって、
欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとを、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップ、
を前記コンピュータに実行させるためのプログラム。
（１３）全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルを付与する処理を前記コンピュータに実行させる前項１２に記載のプログラム。
（１４）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する処理を前記コンピュータに実行させる前項１２または１３に記載のプログラム。
（１５）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の処理を前記コンピュータに実行させる前項１２または１３に記載のプログラム。
（１６）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する処理を前記コンピュータにさらに実行させる前項１２または１３に記載のプログラム。
（１）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成システムであって、
欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとを、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成手段、
を備えたことを特徴とする教師あり機械学習用の訓練画像データ生成システム。
（２）前記欠陥モデルを記憶する欠陥モデル記憶部と
前記被検面モデルを記憶する被検面モデル記憶部と、
を備える前項１に記載の教師あり機械学習用の訓練画像データ生成システム。
（３）前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成手段で生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項２に記載の教師あり機械学習用の訓練画像データ生成システム。
（４）前記データ生成手段は、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項１から３の何れかに記載の教師あり機械学習用の訓練画像データ生成システム。
（５）前記データ生成手段は、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の機能を有している前項１から３の何れかに記載の教師あり機械学習用の訓練画像データ生成システム。
（６）前記データ生成手段は、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項１から３の何れかに記載の教師あり機械学習用の訓練画像データ生成システム。
（７）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成方法であって、
欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとを、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップ、
を含む教師あり機械学習用の訓練画像データ生成方法。
（８）前記欠陥モデルは欠陥モデル記憶部に保持されており、
前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される前項７に記載の教師あり機械学習用の訓練画像データ生成方法。
（９）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する前項７または８に記載の教師あり機械学習用の訓練画像データ生成方法。
（１０）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与を行う前項７または８に記載の教師あり機械学習用の訓練画像データ生成方法。
（１１）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する前項７または８に記載の教師あり機械学習用の訓練画像データ生成方法。
（１２）外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する処理をコンピュータに実行させるためのプログラムであって、
欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとを、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップ、
を前記コンピュータに実行させるためのプログラム。
（１３）全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルを付与する処理を前記コンピュータに実行させる前項１２に記載のプログラム。
（１４）前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する処理を前記コンピュータに実行させる前項１２または１３に記載のプログラム。
（１５）前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の処理を前記コンピュータに実行させる前項１２または１３に記載のプログラム。
（１６）前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する処理を前記コンピュータにさらに実行させる前項１２または１３に記載のプログラム。
この発明に係る機械学習用の訓練画像データ生成システム及び生成方法によれば、欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとが、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置され、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして前記訓練画像データである疑似撮像画像データが生成される。つまり、欠陥をモデル化して光線追跡により訓練画像データを生成するため、生成される訓練画像データはすべて欠陥モデルに対応する適正な画像データとなり、正解ラベルを付与する必要がなくなる。このため、適正な訓練画像データを容易に生成でき、訓練データ生成のコストを下げることができる。
この発明に係るプログラムによれば、欠陥の形状と光学特性をモデル化した欠陥モデルと、被検面の形状と光学特性をモデル化した被検面モデルとを、照明手段、撮像手段がモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記撮像手段においてモデル化された複数の画素それぞれに入射した光線の強度と本数を基にして訓練画像データである疑似撮像画像データを生成する処理を、コンピュータに実行させることができる。
Claims (15)
- 外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成システムであって、
欠陥の形状と光学特性をモデル化した欠陥モデルを保持する欠陥モデル記憶部と、
被検面の形状と光学特性をモデル化した被検面モデルを保持する被検面モデル記憶部と、
欠陥モデル記憶部に保持されている欠陥モデルの中から任意に選択された欠陥モデルと、被検面モデル記憶部に保持されている被検面モデルの中から任意に選択された被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成手段と、
を備えたことを特徴とする教師あり機械学習用の訓練画像データ生成システム。 - 前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成手段で生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される請求項１に記載の教師あり機械学習用の訓練画像データ生成システム。
- 前記データ生成手段は、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する請求項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
- 前記データ生成手段は、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の機能を有している請求項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
- 前記データ生成手段は、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する請求項１または２に記載の教師あり機械学習用の訓練画像データ生成システム。
- 外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する生成方法であって、
欠陥モデル記憶部に保持されている、欠陥の形状と光学特性をモデル化した欠陥モデルの中から、任意に欠陥モデルを選択するステップと、
被検面モデル記憶部に保持されている、被検面の形状と光学特性をモデル化した被検面モデルの中から、任意に被検面モデルを選択するステップと、
選択された欠陥モデルと被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップと、
を含む教師あり機械学習用の訓練画像データ生成方法。 - 前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルが付与される請求項６に記載の教師あり機械学習用の訓練画像データ生成方法。
- 前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する請求項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
- 前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与を行う請求項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
- 前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する請求項６または７に記載の教師あり機械学習用の訓練画像データ生成方法。
- 外観検査に適用する欠陥分類器を訓練するための教師あり機械学習用の訓練画像データを生成する処理をコンピュータに実行させるためのプログラムであって、
欠陥モデル記憶部に保持されている、欠陥の形状と光学特性をモデル化した欠陥モデルの中から、任意に欠陥モデルを選択するステップと、
被検面モデル記憶部に保持されている、被検面の形状と光学特性をモデル化した被検面モデルの中から、任意に被検面モデルを選択するステップと、
選択された欠陥モデルと被検面モデルを、照明光学系、撮像光学系、複数の画素で構成される撮像センサがモデル化された光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置し、複数の光線を追跡して、前記画素に入射した光線の強度と本数をベースに各画素における照度を算出し、算出された照度を基にして前記訓練画像データである疑似撮像画像データを生成するデータ生成ステップと、
を前記コンピュータに実行させるためのプログラム。 - 前記欠陥モデル記憶部に保持されている全ての欠陥モデルには、その欠陥種を表すラベルが付与されており、前記データ生成ステップで生成された疑似撮像画像データには、生成時に使用した前記欠陥モデルに付与されたものと同じラベルを付与する処理を前記コンピュータに実行させる請求項１１に記載のプログラム。
- 前記データ生成ステップでは、前記欠陥モデルと被検面モデルを前記シミュレーションソフトウェア上の複数の異なる位置に配置して前記疑似撮像画像データを生成する処理を前記コンピュータに実行させる請求項１１または１２に記載のプログラム。
- 前記データ生成ステップでは、前記光学シミュレーションによって生成された疑似撮像画像データに画像処理を施すことにより、明るさの変更及び／またはノイズ付与の処理を前記コンピュータに実行させる請求項１１または１２に記載のプログラム。
- 前記データ生成ステップでは、前記欠陥モデルと前記被検面モデルの形状を合成して、光線追跡シミュレーションソフトウェアで光線追跡される任意の空間に配置する処理を前記コンピュータにさらに実行させる請求項１１または１２に記載のプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022121443A JP2024018241A (ja) | 2022-07-29 | 2022-07-29 | 教師あり機械学習用の訓練画像データ生成システムと生成方法及びプログラム |
| CN202310914725.0A CN117475192A (zh) | 2022-07-29 | 2023-07-25 | 监督式机器学习用的训练图像数据生成***和生成方法及记录介质 |
| EP23187483.5A EP4318394A1 (en) | 2022-07-29 | 2023-07-25 | System and method for generating training image data for supervised machine learning, and program |
| US18/361,054 US20240037728A1 (en) | 2022-07-29 | 2023-07-28 | System and method for generating training image data for supervised machine learning, and non-transitory recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022121443A JP2024018241A (ja) | 2022-07-29 | 2022-07-29 | 教師あり機械学習用の訓練画像データ生成システムと生成方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024018241A true JP2024018241A (ja) | 2024-02-08 |
Family
ID=87474103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022121443A Pending JP2024018241A (ja) | 2022-07-29 | 2022-07-29 | 教師あり機械学習用の訓練画像データ生成システムと生成方法及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240037728A1 (ja) |
| EP (1) | EP4318394A1 (ja) |
| JP (1) | JP2024018241A (ja) |
| CN (1) | CN117475192A (ja) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190238796A1 (en) * | 2017-05-11 | 2019-08-01 | Jacob Nathaniel Allen | Object Inspection System And Method For Inspecting An Object |
| JPWO2018225406A1 (ja) | 2017-06-08 | 2020-04-09 | コニカミノルタ株式会社 | 表面欠陥検査装置の配置決定方法、該装置、該プログラムおよび記録媒体 |
| GB201907221D0 (en) * | 2019-05-22 | 2019-07-03 | Blancco Tech Group Ip Oy | A system and method for determining whether a camera component is damaged |
| EP4242982A3 (en) * | 2019-06-18 | 2023-11-01 | Tetra Laval Holdings & Finance S.A. | Detection of deviations in packaging containers for liquid food |
| JP7134932B2 (ja) | 2019-09-09 | 2022-09-12 | 株式会社日立製作所 | 光学条件決定システム、及び光学条件決定方法 |
-
2022
- 2022-07-29 JP JP2022121443A patent/JP2024018241A/ja active Pending
-
2023
- 2023-07-25 EP EP23187483.5A patent/EP4318394A1/en active Pending
- 2023-07-25 CN CN202310914725.0A patent/CN117475192A/zh active Pending
- 2023-07-28 US US18/361,054 patent/US20240037728A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN117475192A (zh) | 2024-01-30 |
| US20240037728A1 (en) | 2024-02-01 |
| EP4318394A1 (en) | 2024-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111272763B (zh) | 用于工件检查的***和方法 | |
| US11435297B2 (en) | Image capture method and image capture device | |
| CN111220582A (zh) | 荧光渗透检查***和方法 | |
| JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
| CN111727412A (zh) | 用于设定照明条件的方法、装置、***及程序以及存储介质 | |
| WO2018225406A1 (ja) | 表面欠陥検査装置の配置決定方法、該装置、該プログラムおよび記録媒体 | |
| JP2024020622A (ja) | 可変拡散板を利用した光学システム | |
| CN105976345A (zh) | 一种可见光遥感图像合成方法 | |
| JP7418639B2 (ja) | 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置 | |
| Hartl et al. | Automated visual inspection of friction stir welds: a deep learning approach | |
| Liu et al. | Efficient optical measurement of welding studs with normal maps and convolutional neural network | |
| CN114881998A (zh) | 一种基于深度学习的工件表面缺陷检测方法及*** | |
| CN115861156A (zh) | 缺陷检测方法、装置、计算机设备和存储介质 | |
| EP3973447B1 (en) | Surface recognition | |
| US7899236B2 (en) | Evaluation of optical distortion in a transparency | |
| JP2024018241A (ja) | 教師あり機械学習用の訓練画像データ生成システムと生成方法及びプログラム | |
| Rohe | An Optical Test Simulator Based on the Open-Source Blender Software. | |
| Ruediger-Flore et al. | CAD-based data augmentation and transfer learning empowers part classification in manufacturing | |
| US20240096059A1 (en) | Method for classifying images and method for optically examining an object | |
| CN115406414A (zh) | 一种面向空间站机械臂的动态目标测量在轨光照评估方法 | |
| Cheng et al. | Detection of defects in rice seeds using machine vision | |
| CA3223417A1 (en) | Modular apparatus for the inspection of industrial products and related methods | |
| Zhang et al. | A visual measurement method of grinding surface roughness based on aliasing region index and neural network | |
| CN116917718A (zh) | 外观检查装置、外观检查方法、图像生成装置以及图像生成方法 | |
| CN112149578B (zh) | 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240115 |