JP2021056677A - データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム - Google Patents
データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム Download PDFInfo
- Publication number
- JP2021056677A JP2021056677A JP2019178001A JP2019178001A JP2021056677A JP 2021056677 A JP2021056677 A JP 2021056677A JP 2019178001 A JP2019178001 A JP 2019178001A JP 2019178001 A JP2019178001 A JP 2019178001A JP 2021056677 A JP2021056677 A JP 2021056677A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- generator
- feature
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title claims description 507
- 238000000034 method Methods 0.000 title claims description 320
- 238000012549 training Methods 0.000 claims description 463
- 238000010801 machine learning Methods 0.000 claims description 287
- 230000008569 process Effects 0.000 claims description 184
- 230000007547 defect Effects 0.000 claims description 101
- 238000001514 detection method Methods 0.000 claims description 57
- 230000015572 biosynthetic process Effects 0.000 claims description 21
- 238000003786 synthesis reaction Methods 0.000 claims description 21
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 149
- 238000003860 storage Methods 0.000 description 141
- 239000000047 product Substances 0.000 description 88
- 238000012986 modification Methods 0.000 description 75
- 230000004048 modification Effects 0.000 description 75
- 238000004364 calculation method Methods 0.000 description 66
- 210000002569 neuron Anatomy 0.000 description 56
- 230000005856 abnormality Effects 0.000 description 54
- 238000007689 inspection Methods 0.000 description 40
- 230000001133 acceleration Effects 0.000 description 38
- 238000009826 distribution Methods 0.000 description 32
- 230000010365 information processing Effects 0.000 description 29
- 230000002159 abnormal effect Effects 0.000 description 26
- 238000013528 artificial neural network Methods 0.000 description 25
- 238000012806 monitoring device Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 22
- 230000008859 change Effects 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 15
- 238000011179 visual inspection Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 13
- 230000004913 activation Effects 0.000 description 10
- 238000010304 firing Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- COYNZOSMHHUUBU-UHFFFAOYSA-N CCCCN=C=C Chemical compound CCCCN=C=C COYNZOSMHHUUBU-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004994 reproductive system Anatomy 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
Description
図1は、本発明を適用した場面の一例を模式的に例示する。図1に示されるとおり、本実施形態に係る推定システム100は、学習装置1、データ生成装置2及び推定装置3を備えている。学習装置1及びデータ生成装置2は、学習済みの第1生成器411及び第2生成器421を生成し、生成された学習済みの第1生成器411及び第2生成器421を利用して、所定種類のデータの新たなサンプル65を生成するためのデータ生成システムを構成する。
[ハードウェア構成]
<学習装置>
図3は、本実施形態に係る学習装置1のハードウェア構成の一例を模式的に例示する。図3に示されるとおり、本実施形態に係る学習装置1は、制御部11、記憶部12、通信インタフェース13、外部インタフェース14、入力装置15、出力装置16、及びドライブ17が電気的に接続されたコンピュータである。なお、図3では、通信インタフェース及び外部インタフェースを「通信I/F」及び「外部I/F」と記載している。
図4は、本実施形態に係るデータ生成装置2のハードウェア構成の一例を模式的に例示する。図4に示されるとおり、本実施形態に係るデータ生成装置2は、制御部21、記憶部22、通信インタフェース23、外部インタフェース24、入力装置25、出力装置26、及びドライブ27が電気的に接続されたコンピュータである。
図5は、本実施形態に係る推定装置3のハードウェア構成の一例を模式的に例示する。図5に示されるとおり、本実施形態に係る推定装置3は、制御部31、記憶部32、通信インタフェース33、外部インタフェース34、入力装置35、出力装置36、及びドライブ37が電気的に接続されたコンピュータである。
<学習装置>
図6は、本実施形態に係る学習装置1のソフトウェア構成の一例を模式的に例示する。学習装置1の制御部11は、記憶部12に記憶された学習プログラム81をRAMに展開する。そして、制御部11は、RAMに展開された学習プログラム81に含まれる命令をCPUにより解釈及び実行して、各構成要素を制御する。これにより、図6に示されるとおり、本実施形態に係る学習装置1は、第1取得部111、第2取得部112、第3取得部113、第4取得部114、第1訓練部115、第2訓練部116、第3訓練部117、第4訓練部118、及び保存処理部119をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、学習装置1の各ソフトウェアモジュールは、制御部11(CPU)により実現される。
図7Aは、本実施形態に係る第1学習モデル41の機械学習の過程の一例を模式的に例示する。第1学習モデル41の構成は、入力に応じた種別の第1特徴を含む疑似サンプルを生成するように第1生成器411を訓練可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、第1学習モデル41は、第1識別器412を更に含んでいる。第1生成器411及び第1識別器412は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。
図7Bは、本実施形態に係る第2学習モデル42の機械学習の過程の一例を模式的に例示する。第2学習モデル42の構成は、入力に応じた種別の第2特徴を含む疑似サンプルを生成するように第2生成器421を訓練可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、第2学習モデル42は、第1学習モデル41と同様に、第2識別器422を更に含んでいる。第2生成器421及び第2識別器422は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。
図7Cは、本実施形態に係る第3学習モデル43の機械学習の過程の一例を模式的に例示する。第3学習モデル43の構成は、入力に応じた種別及び程度(反映レベル)の第2特徴の属性の疑似的な値(疑似値)を生成するように第3生成器431を訓練可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、第3学習モデル43は、第1学習モデル41等と同様に、第3識別器432を更に含んでいる。第3生成器431及び第3識別器432は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。
図7Dは、本実施形態に係る推定器44の機械学習の過程の一例を模式的に例示する。推定器44は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。本実施形態では、推定器44は、上記第1生成器411等と同様に、深層学習に用いられる多層構造のニューラルネットワークにより構成される。推定器44は、入力層441、中間(隠れ)層442、及び出力層443を備えている。ただし、推定器44の構造は、上記第1生成器411等と同様に、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。推定器44のニューラルネットワークを構成する層の数は、任意に選択されてよい。
図7Eは、本実施形態に係る第2サンプル521の生成過程の一例を模式的に例示する。本実施形態では、上記機械学習により生成された訓練済みの第1生成器411及び推定器44を利用することで、各第2学習データセット52の第2サンプル521を生成することができる。
図8は、本実施形態に係るデータ生成装置2のソフトウェア構成の一例を模式的に例示する。データ生成装置2の制御部21は、記憶部22に記憶されたデータ生成プログラム82をRAMに展開する。そして、制御部21は、RAMに展開されたデータ生成プログラム82に含まれる命令をCPUにより解釈及び実行して、各構成要素を制御する。これにより、図8に示されるとおり、本実施形態に係るデータ生成装置2は、受付部211、第1生成部212、第2生成部213、及びデータ合成部214をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、学習装置1と同様に、データ生成装置2の各ソフトウェアモジュールも、制御部11(CPU)により実現される。
図9は、本実施形態に係る推定装置3のソフトウェア構成の一例を模式的に例示する。推定装置3の制御部31は、記憶部32に記憶された推定プログラム83をRAMに展開する。そして、制御部31は、RAMに展開された推定プログラム83に含まれる命令をCPUにより解釈及び実行して、各構成要素を制御する。これにより、図9に示されるとおり、本実施形態に係る推定装置3は、取得部311、推定部312、出力部313、及び設定部314をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、学習装置1等と同様に、推定装置3の各ソフトウェアモジュールも、制御部11(CPU)により実現される。
学習装置1、データ生成装置2及び推定装置3の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、学習装置1、データ生成装置2及び推定装置3の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、学習装置1、データ生成装置2及び推定装置3それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
[学習装置]
(A)第1学習モデルの機械学習
図10Aは、本実施形態に係る学習装置1による第1学習モデル41の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS101では、制御部11は、第1取得部111として動作し、複数の第1学習データセット51を取得する。各第1学習データセット51は、第1特徴を含む第1サンプル511及び第1特徴の種別を示す第1ラベル512の組み合わせにより構成される。
ステップS102では、制御部11は、第1訓練部115として動作し、取得された複数の第1学習データセット51を使用して、第1生成器411を含む第1学習モデル41の機械学習を実施する。第1学習モデル41の機械学習では、制御部11は、各第1学習データセット51について、第1ラベル512から第1サンプル511に適合する疑似サンプルを生成する能力を獲得するように第1生成器411を訓練する。このように訓練可能であれば、第1学習モデル41の構成及び機械学習の方法はそれぞれ、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。本実施形態では、第1学習モデル41は、第1識別器412を更に含んでいるため、第1学習モデル41の機械学習は、以下の方法で実施することができる。
ステップS1021では、制御部11は、第1学習データセット51及び第1生成器411により生成された疑似サンプル515を使用して、入力サンプルの由来を識別するように第1識別器412を訓練する。この機械学習の訓練処理には、確率的勾配降下法、ミニバッチ勾配降下法等が用いられてよい。後述するステップS1022等の他の機械学習の処理についても同様である。
ステップS1022では、制御部11は、第1識別器412の識別性能を低下させるような疑似サンプル515を生成するように第1生成器411を訓練する。換言すると、制御部11は、第1識別器412が「真」と識別する(すなわち、学習データ由来と識別する)ような疑似サンプル515を生成するように第1生成器411を訓練する。
ステップS1023では、制御部11は、ステップS1021及びステップS1022の処理を繰り返すか否かを判定する。処理を繰り返す基準は、実施の形態に応じて適宜決定されてよい。例えば、処理を繰り返す規定回数が設定されていてもよい。規定回数は、例えば、オペレータの指定により与えられてもよいし、プログラム内の設定値として与えられてもよい。この場合、制御部11は、ステップS1021及びステップS1022の処理を実行した回数が規定回数に到達したか否かを判定する。実行回数が規定回数に到達していないと判定した場合、制御部11は、ステップS1021に処理を戻し、ステップS1021及びステップS1022の処理を再度実行する。一方、実行回数が規定回数に到達していると判定した場合には、制御部11は、第1学習モデル41の機械学習の処理を完了し、次のステップS103に処理を進める。
図10Aに戻り、ステップS103では、制御部11は、保存処理部119として動作し、機械学習により構築された訓練済みの第1生成器411に関する情報を第1学習結果データ121として生成する。そして、制御部11は、生成された第1学習結果データ121を所定の記憶領域に保存する。
図11Aは、本実施形態に係る学習装置1による第2学習モデル42の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS111では、制御部11は、第2取得部112として動作し、複数の第2学習データセット52を取得する。各第2学習データセット52は、第1特徴とは異なる第2特徴を含む第2サンプル521及び第2特徴の種別を示す第2ラベル522の組み合わせにより構成される。
ステップS112では、制御部11は、第2訓練部116として動作し、取得された複数の第2学習データセット52を使用して、第2生成器421を含む第2学習モデル42の機械学習を実施する。第2学習モデル42の機械学習では、制御部11は、各第2学習データセット52について、第2ラベル522から第2サンプル521に適合する疑似サンプルを生成する能力を獲得するように第2生成器421を訓練する。このように訓練可能であれば、第2学習モデル42の構成及び機械学習の方法はそれぞれ、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。本実施形態では、第2学習モデル42は、第2識別器422を更に含んでいるため、第2学習モデル42の機械学習は、以下の方法で実施することができる。
ステップS1121では、制御部11は、第2学習データセット52及び第2生成器421により生成された疑似サンプル525を使用して、入力サンプルの由来を識別するように第2識別器422を訓練する。
ステップS1122では、制御部11は、第2識別器422の識別性能を低下させるような疑似サンプル525を生成するように第2生成器421を訓練する。換言すると、制御部11は、第2識別器422が「真」と識別する(すなわち、学習データ由来と識別する)ような疑似サンプル525を生成するように第2生成器421を訓練する。
ステップS1123では、制御部11は、ステップS1121及びステップS1122の処理を繰り返すか否かを判定する。上記ステップS1023と同様に、処理を繰り返す基準は、実施の形態に応じて適宜決定されてよい。処理を繰り返すと判定した場合、制御部11は、ステップS1121に処理を戻し、ステップS1121及びステップS1122の処理を再度実行する。一方、処理を繰り返さないと判定した場合、制御部11は、第2学習モデル42の機械学習の処理を完了し、次のステップS113に処理を進める。
図11Aに戻り、ステップS113では、制御部11は、保存処理部119として動作し、機械学習により構築された訓練済みの第2生成器421に関する情報を第2学習結果データ122として生成する。そして、制御部11は、生成された第2学習結果データ122を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部11内のRAM、記憶部12、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。
図12Aは、本実施形態に係る学習装置1による第3学習モデル43の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS121では、制御部11は、第3取得部113として動作し、複数の第3学習データセット53を取得する。各第3学習データセット53は、第2特徴の属性のサンプル値531、第2特徴を反映する程度を示す反映レベル532、及び第2ラベル522の組み合わせにより構成される。各第3学習データセット53には、第1ラベル512が更に含まれてもよい。
ステップS122では、制御部11は、第3訓練部117として動作し、取得された複数の第3学習データセット53を使用して、第3生成器431を含む第3学習モデル43の機械学習を実施する。第3学習モデル43の機械学習では、制御部11は、各第3学習データセット53について、反映レベル532及び第2ラベル522からサンプル値531に適合する第2特徴の属性の疑似値を生成する能力を獲得するように第3生成器431を訓練する。このように訓練可能であれば、第3学習モデル43の構成及び機械学習の方法はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。本実施形態では、第3学習モデル43は、第3識別器432を更に含んでいるため、第3学習モデル43の機械学習は、以下の方法で実施することができる。
ステップS1221では、制御部11は、第3学習データセット53及び第3生成器431により生成された疑似値535を使用して、入力値の由来を識別するように第3識別器432を訓練する。
ステップS1222では、制御部11は、第3識別器432の識別性能を低下させるような疑似値535を生成するように第3生成器431を訓練する。換言すると、制御部11は、第3識別器432が「真」と識別する(すなわち、学習データ由来と識別する)ような疑似値535を生成するように第3生成器431を訓練する。
ステップS1223では、制御部11は、ステップS1221及びステップS1222の処理を繰り返すか否かを判定する。上記ステップS1023等と同様に、処理を繰り返す基準は、実施の形態に応じて適宜決定されてよい。処理を繰り返すと判定した場合、制御部11は、ステップS1221に処理を戻し、ステップS1221及びステップS1222の処理を再度実行する。一方、処理を繰り返さないと判定した場合、制御部11は、第3学習モデル43の機械学習の処理を完了し、次のステップS123に処理を進める。
図12Aに戻り、ステップS123では、制御部11は、保存処理部119として動作し、機械学習により構築された訓練済みの第3生成器431に関する情報を第3学習結果データ123として生成する。そして、制御部11は、生成された第3学習結果データ123を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部11内のRAM、記憶部12、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。
図13は、本実施形態に係る学習装置1による推定器44の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS131では、制御部11は、第4取得部114として動作し、複数の第4学習データセット54を取得する。各第4学習データセット54は、訓練済みの第1生成器411に与える入力のサンプル、及び訓練済みの第1生成器411に当該サンプルを与えることで生成される疑似サンプル542の組み合わせにより構成される。本実施形態では、入力のサンプルは、ノイズ540及びサンプル値541により構成される。
ステップS132では、制御部11は、第4訓練部118として動作し、取得された複数の第4学習データセット54を使用して、推定器44の機械学習を実施する。当該機械学習では、制御部11は、各第4学習データセット54について、訓練済みの第1生成器411に与えた入力を疑似サンプル542から推定器44により推定することで得られる各推定値が、対応するノイズ540及びサンプル値541それぞれに適合するように推定器44を訓練する。
ステップS133では、制御部11は、保存処理部119として動作し、機械学習により構築された訓練済みの推定器44に関する情報を第4学習結果データ124として生成する。そして、制御部11は、生成された第4学習結果データ124を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部11内のRAM、記憶部12、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。
図14は、当該第2サンプル521の生成に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。以下のステップS141〜ステップS144の処理は、上記ステップS111内で実行されてよい。
ステップS141では、制御部11は、第1特徴及び第2特徴をそれぞれ含む複数の第3サンプル551を取得する。
ステップS142では、制御部11は、訓練済みの推定器44に各第3サンプル551を与えることで、各第3サンプル551に対応する疑似サンプルを生成するために訓練済みの第1生成器411に与える入力の各推定値を推定する。すなわち、制御部11は、訓練済みの推定器44の入力層441に各第3サンプル551を入力し、入力側から順に各層441〜443に含まれる各ニューロンの発火判定を行う。これにより、制御部11は、各第3サンプル551に対応する疑似サンプルを訓練済みの第1生成器411により生成するならば、訓練済みの第1生成器411に与えただろう入力の各推定値に対応する出力値を出力層443から取得する。各推定値を取得すると、制御部11は、次のステップS143に処理を進める。
ステップS143では、制御部11は、得られた各推定値を訓練済みの第1生成器411に与えることで、第3サンプル551毎に疑似サンプル555を生成する。すなわち、制御部11は、訓練済みの第1生成器411の入力層4111に各推定値を入力し、入力側から順に各層4111〜4113に含まれる各ニューロンの発火判定を行う。これにより、制御部11は、各推定値から生成した疑似サンプル555に対応する出力値を出力層4113より取得する。疑似サンプル555を取得すると、制御部11は、次のステップS144に処理を進める。
ステップS144では、制御部11は、得られた疑似サンプル555と対応する第3サンプル551との差分を算出する。上記のとおり、この差分処理により、第2サンプル521として利用可能な、第1特徴を含まず、かつ第2特徴を含むサンプルを適切に生成することができる。これにより、第2サンプル521の生成が完了すると、制御部11は、第2サンプル521の生成に関する一連の処理を終了する。この一連の処理によれば、第3サンプル551から第2サンプル521を自動的に生成可能であるため、第2サンプル521を低コストで取得することができる。
図15は、本実施形態に係るデータ生成装置2の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「データ生成方法」の一例である。ただし、以下で説明する各処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、制御部21は、受付部211として動作し、第1入力値221、第2入力値223、及び第3入力値225の指定を受け付ける。サンプルの生成パートにおける第1入力値221、第2入力値223、及び第3入力値225は、学習パートにおける第1ラベル512、第2ラベル522、及び反映レベル532に対応する。すなわち、第1入力値221、第2入力値223、及び第3入力値225は、生成を所望するサンプルに含まれる第1特徴の種別、第2特徴の種別、及び第2特徴を反映する程度に応じて指定される。
ステップS202では、制御部21は、第1生成部212として動作し、第1学習結果データ121を参照して、訓練済みの第1生成器411の設定を行う。制御部21は、所定の確率分布からノイズ220を抽出する。次に、制御部21は、抽出されたノイズ220及び取得された第1入力値221を訓練済みの第1生成器411の入力層4111に入力し、入力側から順に各層4111〜4113に含まれる各ニューロンの発火判定を行う。これにより、制御部21は、ノイズ220及び第1入力値221から生成された第1疑似サンプル61であって、第1入力値221により指定される種別の第1特徴を含む第1疑似サンプル61に対応する出力値を出力層4113より取得する。第1疑似サンプル61を取得すると、制御部21は、次のステップS203に処理を進める。
ステップS203では、制御部21は、第2生成部213として動作し、第2学習結果データ122を参照して、訓練済みの第2生成器421の設定を行う。制御部21は、所定の確率分布からノイズ222を抽出する。次に、制御部21は、抽出されたノイズ222及び取得された第2入力値223を訓練済みの第2生成器421の入力層4211に入力し、入力側から順に各層4211〜4213に含まれる各ニューロンの発火判定を行う。これにより、制御部21は、ノイズ222及び第2入力値223から生成された第2疑似サンプル62であって、第2入力値223により指定される種別の第2特徴を含む第2疑似サンプル62に対応する出力値を出力層4213より取得する。第2疑似サンプル62を取得すると、制御部21は、次のステップS204に処理を進める。
ステップS204では、制御部21は、データ合成部214として動作し、第3学習結果データ123を参照して、訓練済みの第3生成器431の設定を行う。制御部21は、所定の確率分布からノイズ224を抽出する。次に、制御部21は、抽出されたノイズ224、取得された第2入力値223、及び取得された第3入力値225を訓練済みの第3生成器431の入力層4311に入力し、入力側から順に各層4311〜4313に含まれる各ニューロンの発火判定を行う。これにより、制御部21は、ノイズ224、第2入力値223及び第3入力値225から生成された疑似値63であって、第2入力値223及び第3入力値225により指定される種別及び程度の第2特徴の属性の疑似値63に対応する出力値を出力層4313より取得する。
ステップS205では、制御部21は、データ合成部214として動作し、第2疑似サンプル62に含まれる第2特徴の属性の値が生成された疑似値63に適合するように第2疑似サンプル62を変換すると共に、第1疑似サンプル61に第2疑似サンプル62を合成する。変換及び合成それぞれの具体的な処理内容は、データの種類に応じて適宜決定されてよい。例えば、所定種類のデータが画像データである場合、変換は、拡大縮小、平行移動、回転又はこれらの組み合わせにより構成されてよい。また、例えば、所定種類のデータが信号データである場合、変換は、振幅の増減、周波数の変更、出現頻度の増減又はこれらの組み合わせによって構成されてよい。合成は、例えば、重畳的に加算することにより構成されてよい。
図17Aは、本実施形態に係る推定装置3の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、推定方法の一例である。ただし、以下で説明する各処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS301では、制御部31は、取得部311として動作し、対象サンプル325を取得する。対象サンプル325を取得する方法は、データの種類に応じて適宜決定されてよい。対象サンプル325がセンシングデータである場合、第2特徴に関する推定の対象をセンサにより観測することで、対象サンプル325を取得することができる。上記図2Aの例では、検査対象の製品をカメラにより撮影することで、対象サンプル325を取得することができる。上記図2Bの例では、検査対象の機械の動作音をマイクロフォンにより録音することで、対象サンプル325を取得することができる。制御部31は、センサから直接的又は間接的に対象サンプル325を取得してよい。対象サンプル325を取得すると、制御部31は、次のステップS302に処理を進める。
ステップS302では、制御部31は、推定部312として動作し、データ群320を利用して対象サンプル325を分析することで、対象サンプル325に対して第2特徴に関する推定処理を実行する。本実施形態では、制御部31は、当該推定処理として、訓練済みの第1生成器411及び推定器44を利用して、対象サンプル325に対して第2成分を検出する処理を実行する。
図17Aに戻り、ステップS303では、制御部11は、出力部313として動作し、上記推定の結果(本実施形態では、上記第2成分の検出結果)に関する情報を出力する。
以上のとおり、本実施形態に係る学習装置1は、上記ステップS101〜ステップS103の処理により、入力値により指定される種別の第1特徴を含む疑似サンプルを生成する能力を獲得した訓練済みの第1生成器411を構築することができる。また、本実施形態に係る学習装置1は、上記ステップS111〜ステップS113の処理により、入力値により指定される種別の第2特徴を含む疑似サンプルを生成する能力を獲得した訓練済みの第2生成器421を構築することができる。本実施形態に係るデータ生成装置2では、それぞれ訓練済みの各生成器(411、421)に与える各入力値(221、223)に基づいて、生成される新たなサンプル65に含まれる第1特徴及び第2特徴それぞれの種別を制御することができる。つまり、第1特徴及び第2特徴の異なる種別の組み合わせを含む新たなサンプル65を自在に生成することができる。例えば、データ群320において、サンプル321が得られていない又はサンプル321の数の少ない組み合わせが存在する場合に、データ生成装置2により、その組み合わせを含む新たなサンプル65を生成することができる。加えて、ステップS201〜ステップS205の処理の多くの部分は自動化することができる。よって、本実施形態によれば、多様な組み合わせを含むサンプルを自在かつ自動的に生成可能であるため、少なくとも2つ以上の特徴が表れる所定種類のデータについて多様なサンプルを収集するのにかかるコストを低減することができる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態に係る学習装置1、データ生成装置2、及び推定装置3は、少なくとも2つ以上の特徴が表れ得る所定種類のデータについて、多様なサンプルを収集するあらゆる場面に適用されてよい。例えば、上記実施形態は、センサにより対象を観測することで得られるセンシングデータについて、多様なサンプルを収集する場面に適用可能である。以下、適用場面を限定した変形例を例示する。
図19は、第1変形例に係る検査システム100Aの適用場面の一例を模式的に例示する。本変形例は、図2Aに例示される製品の写る画像データを利用して、製品の外観検査を実施する場面に上記実施形態を適用した例である。本変形例に係る検査システム100Aは、学習装置1、データ生成装置2、及び検査装置3Aを備えている。上記実施形態と同様に、学習装置1、データ生成装置2、及び検査装置3Aは、ネットワークを介して互いに接続されてよい。
本変形例では、第1学習データセット51の第1サンプル511は、製品RAの写る画像データのサンプルであってよく、第1ラベル512は、製品RAの種別を示してよい。学習装置1は、上記ステップS101〜ステップS103の処理を実行することで、入力値により指定される種別の製品RAを含む背景の写る疑似サンプルを生成する能力を獲得した訓練済みの第1生成器411を構築することができる。
本変形例では、第1入力値221、第2入力値223、及び第3入力値225は、生成を所望するサンプルに写る製品RAの種別、欠陥の種別、及び欠陥を反映する程度に応じて指定されてよい。データ生成装置2は、訓練済みの各生成器(411、421、431)を利用して、上記ステップS201〜ステップS205の処理を実行することで、欠陥を反映する程度を制御しながら、指定された種別の欠陥及び製品RAの写る新たなサンプル65を生成することができる。
図20Aは、本変形例に係る検査装置3Aのハードウェア構成の一例を模式的に例示する。図20Aに示されるとおり、本変形例に係る検査装置3Aは、上記推定装置3と同様に、制御部31、記憶部32、通信インタフェース33、外部インタフェース34、入力装置35、出力装置36、及びドライブ37が電気的に接続されたコンピュータにより構成されてよい。
本変形例によれば、データ生成装置2において、製品RA及び欠陥の任意の組み合わせの写る新たなサンプル65を自在かつ自動的に生成可能である。そのため、製品RA及び欠陥の種々の組み合わせの表れる多様なサンプルを収集するのにかかるコストを低減することができる。また、生成された新たなサンプル65をデータ群320に追加することで、サンプル321の得られていない製品RA及び欠陥の組み合わせを低減又は無くすことができる。これにより、検査装置3Aにおける外観検査の精度の向上を図ることができる。
上記変形例において、製品RAの欠陥は、前景の一例である。つまり、上記変形例における検査処理は、背景及び前景を含む画像データのサンプルから目的の前景を検出する処理の一例である。つまり、取り扱われる所定種類のデータは、背景及び前景を含む画像データであってよい。第1特徴は、背景に関してよく、第2特徴は、前景に関してもよい。背景及び前景の種類はそれぞれ、製品RA及び欠陥の例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。
図21は、画像データから前景を検出する他の場面の一例を模式的に例示する。図21に例示される診断システムは、学習装置1、データ生成装置2、及び画像診断装置3A1を備えている。画像診断装置3A1は、上記検査装置3Aに対応する。画像診断装置3A1の構成は、上記検査装置3Aと同様であってよい。図21の例において取り扱われる所定種類のデータは、器官の写る医療用の画像データ(以下、医療用画像とも記載する)であってよい。器官は、例えば、消化器系、循環器系、呼吸器系、泌尿器系、生殖器系、内分泌器系、感覚器系、神経系、運動器系(骨、関節、靭帯、筋肉)等であってよい。
図22は、画像データから前景を検出する更なる他の場面の一例を模式的に例示する。図22に例示される監視システムは、学習装置1、データ生成装置2、及び監視装置3A2を備えている。監視装置3A2は、上記検査装置3Aに対応する。監視装置3A2の構成は、上記検査装置3Aと同様であってよい。図22の例において取り扱われる所定種類のデータは、監視対象の道路の写る画像データ(以下、監視画像とも記載する)であってよい。
図23は、第2変形例に係る監視システム100Bの適用場面の一例を模式的に例示する。本変形例では、車両に設けられた車載センサにより得られるセンシングデータを利用して、運転者による車両の運転態様を監視する場面に上記実施形態を適用した例である。本変形例に係る監視システム100Bは、学習装置1、データ生成装置2、及び監視装置3Bを備えている。上記実施形態と同様に、学習装置1、データ生成装置2、及び監視装置3Bは、ネットワークを介して互いに接続されてよい。
本変形例では、第1学習データセット51の第1サンプル511は、通常の運転時に生じる加速度の変容の表れる加速度データのサンプルであってよく、第1ラベル512は、運転者のタイプ、車種等の通常運転に影響を与える因子(以下、影響因子)の種別を示してもよい。運転者のタイプは、例えば、慎重である、荒っぽい等の運転に表れる性格に応じて設定されてよい。学習装置1は、上記ステップS101〜ステップS103の処理を実行することで、入力値により指定される種別の影響因子の通常運転時に生じる加速度の変容の表れる疑似サンプルを生成する能力を獲得した訓練済みの第1生成器411を構築することができる。
本変形例では、第1入力値221、第2入力値223、及び第3入力値225は、生成を所望するサンプルにおける影響因子の種別、突発的な事象の種別、及び突発的な事象を反映する程度に応じて指定されてよい。データ生成装置2は、訓練済みの各生成器(411、421、431)を利用して、上記ステップS201〜ステップS205の処理を実行することで、突発的な事象を反映する程度を制御しながら、通常の運転時に生じる加速度の変容及び突発的な事象により生じる加速度の変容を含む新たなサンプル65を生成することができる。
図24Aは、本変形例に係る監視装置3Bのハードウェア構成の一例を模式的に例示する。図24Aに示されるとおり、本変形例に係る監視装置3Bは、上記推定装置3と同様に、制御部31、記憶部32、通信インタフェース33、外部インタフェース34、入力装置35、出力装置36、及びドライブ37が電気的に接続されたコンピュータにより構成されてよい。
本変形例によれば、データ生成装置2において、影響因子の種別及び突発的な事象の任意に組み合わせにより生じる加速度の変容の表れる新たなサンプル65を自在かつ自動的に生成可能である。そのため、影響因子の種別及び突発的な事象の種々の組み合わせの表れる多様なサンプルを収集するのにかかるコストを低減することができる。また、生成された新たなサンプル65をデータ群320に追加することで、サンプル321の得られていない影響因子の種別及び突発的な事象の組み合わせを低減又は無くすことができる。これにより、監視装置3Bにおける運転者の運転態様を推定する処理の精度の向上を図ることができる。
なお、加速度センサSBは、車載センサの一例である。加速度センサSBの他、車載センサには、例えば、カメラ、Lidarセンサ、ミリ波レーダ、超音波センサ等が用いられてよい。これにより、運転者の運転態様に代えて又は運転態様と共に、車両外部の状況を推定してもよい。この場合も、上記と同様に、第1特徴は、通常運転時に生じる各種の変容に関し、第2特徴は、突発的な事象により生じる各種の変容に関してよい。第1特徴の種別は、通常運転の影響因子の種別により表現されてよく、第2特徴の種別は、突発的な事象の種別により表現されてよい。
図25は、第3変形例に係る検知システム100Cの適用場面の一例を模式的に例示する。本変形例では、図2Bに例示される機械の動作音を含む音データを利用して、機械の異常を検知する場面に上記実施形態を適用した例である。本変形例に係る検知システム100Cは、学習装置1、データ生成装置2、及び異常検知装置3Cを備えている。上記実施形態と同様に、学習装置1、データ生成装置2、及び異常検知装置3Cは、ネットワークを介して互いに接続されてよい。
本変形例では、第1学習データセット51の第1サンプル511は、環境音を含む音データのサンプルであってよく、第1ラベル512は、機械RC及び周囲環境の種別を示してもよい。上記のとおり、機械RCの周囲環境は、例えば、機械RCの駆動する場所、時間等により区別されてよい。学習装置1は、上記ステップS101〜ステップS103の処理を実行することで、入力値により指定される種別の機械RC及び周囲環境の環境音を含む疑似サンプルを生成する能力を獲得した訓練済みの第1生成器411を構築することができる。
本変形例では、第1入力値221、第2入力値223、及び第3入力値225は、生成を所望するサンプルにおける機械及び周囲環境の種別、異常の種別、並びに異常音を反映する程度に応じて指定されてよい。データ生成装置2は、訓練済みの各生成器(411、421、431)を利用して、上記ステップS201〜ステップS205の処理を実行することで、異常音を反映する程度を制御しながら、指定された種別の環境音及び異常音を含むあらたなサンプル65を生成することができる。
図26Aは、本変形例に係る異常検知装置3Cのハードウェア構成の一例を模式的に例示する。図26Aに示されるとおり、本変形例に係る異常検知装置3Cは、上記推定装置3と同様に、制御部31、記憶部32、通信インタフェース33、外部インタフェース34、入力装置35、出力装置36、及びドライブ37が電気的に接続されたコンピュータにより構成されてよい。
本変形例によれば、データ生成装置2において、任意の種別の環境音及び異常音の組み合わせを含む新たなサンプル65を自在かつ自動的に生成可能である。そのため、環境音及び異常音の種々の組み合わせを含む多様なサンプルを収集するのにかかるコストを低減することができる。また、生成された新たなサンプル65をデータ群320に追加することで、サンプル321の得られていない環境音及び異常音の組み合わせを低減又は無くすことができる。これにより、異常検知装置3Cにおける機械RCの異常を検知する処理の精度の向上を図ることができる。
なお、マイクロフォンSCは、機械RCの状態を監視するためのセンサの一例である。センシングデータにより機械RCの異常を検知する方法は、上記機械RCの動作音を含む音データによる方法に限られなくてもよい。マイクロフォンSCの他、例えば、加速度センサ、振動センサ等の機械の振動を測定するセンサが、機械RCの異常を検知するために利用されてよい。この場合、音(空気の振動)が機械RCの物理的な振動に置き換わるに過ぎず、上記と同様の方法により、機械RCの異常を検知することができる。
上記実施形態では、各生成器(411、421、431)、各識別器(412、422、432)及び推定器44には、全結合型のニューラルネットワークが用いられている。しかしながら、各生成器(411、421、431)、各識別器(412、422、432)及び推定器44それぞれを構成するニューラルネットワークの種類は、このような例に限定されなくてもよい。各生成器(411、421、431)、各識別器(412、422、432)及び推定器44には、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等が用いられてよい。
上記実施形態では、各学習モデル41〜43は、各生成器(411、421、431)及び各識別器(412、422、432)により構成されている。しかしながら、各学習モデル41〜43の構成は、対応する疑似的なデータを生成する能力を獲得するように各生成器(411、421、431)を訓練可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
上記実施形態において、第3学習モデル43は省略されてもよい。この場合、学習装置1のソフトウェア構成から第3取得部113及び第3訓練部117は省略されてよい。学習装置1の処理手順において、ステップS121〜ステップS123の処理は省略されてよい。データ生成装置2の処理手順において、ステップS204の処理は省略されてよい。制御部21は、ステップS205において、第1疑似サンプル61及び第2疑似サンプル62を適宜合成してもよい。制御部21は、例えば、第1疑似サンプル61及び第2疑似サンプル62をそのまま重畳的に加算することで、第1疑似サンプル61及び第2疑似サンプル62を合成してもよい。或いは、合成のパラメータは、オペレータの入力等により適宜指定されてもよい。制御部21は、指定されたパラメータに基づいて、第1疑似サンプル61及び第2疑似サンプル62を合成してもよい。
上記実施形態において、推定器44の機械学習は、学習装置1以外の他のコンピュータにより実行されてよい。或いは、第2サンプル521は、オペレータの操作によるデータ加工等の上記実施形態以外の方法で生成されてもよい。例えば、制御部11は、第3サンプル551と予め与えられた第1特徴のみを含むサンプルとの差分を算出することで、第2サンプル521を生成してもよい。これらの場合、学習装置1のソフトウェア構成から第4取得部114及び第4訓練部118は省略されてよい。学習装置1の処理手順において、ステップS131〜ステップS133及びステップS141〜ステップS144の処理は省略されてよい。
上記実施形態に係る推定装置3は、ステップS302における第2特徴に関する推定処理に、訓練済みの第1生成器411及び推定器44を利用している。しかしながら、第2特徴に関する推定処理は、このような例に限定されなくてもよい。例えば、対象サンプル325に対応する第1特徴を含むサンプルが予め与えられてもよい。推定装置3は、疑似サンプル326の代わりに、この予め与えられたサンプルを利用してもよい。また、例えば、推定装置3は、部分空間法等の方法で生成された別のモデルにより、対象サンプル325に対応する第1特徴を含むサンプルを当該対象サンプル325から生成してもよい。なお、これらに例示されるように、訓練済みの第1生成器411及び推定器44を推定処理に利用しない場合には、推定装置3の保持する情報から第1学習結果データ121及び第4学習結果データ124は省略されてよい。
(ハードウェア構成)
図29は、本変形例に係る他の学習装置7のハードウェア構成の一例を模式的に例示する。図29に示されるとおり、本変形例に係る他の学習装置7は、制御部71、記憶部72、通信インタフェース73、外部インタフェース74、入力装置75、出力装置76、及びドライブ77が電気的に接続されたコンピュータにより構成される。他の学習装置7の制御部71〜ドライブ77及び記憶媒体97はそれぞれ、上記学習装置1の制御部11〜ドライブ17及び記憶媒体91それぞれと同様に構成されてよい。
図30は、本変形例に係る他の学習装置7のソフトウェア構成の一例を模式的に例示する。上記学習装置1等と同様に、制御部71により学習プログラム87が実行される。これにより、他の学習装置7は、取得部711、訓練部712、及び保存処理部713をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本変形例では、他の学習装置7の各ソフトウェアモジュールは、制御部71(CPU)により実現される。
図31は、本変形例に係る他の学習装置7による機械学習モデル45の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
次に、図32A及び図32Bを用いて、本変形例に係る推定装置3Eについて説明する。図32Aは、本変形例に係る推定装置3Eのハードウェア構成の一例を模式的に例示する。図32Bは、本変形例に係る推定装置3Eのソフトウェア構成の一例を模式的に例示する。
上記実施形態において、データ生成装置2により生成される新たなサンプル65で合成される第1特徴及び第2特徴の数は、1つに限られなくてもよく、2つ以上であってもよい。制御部21は、例えば、上記ステップS205において、1つの第1疑似サンプル61に、それぞれ異なる種別の第2特徴を含む2つ以上の第2疑似サンプル62を合成してもよい。これにより、2つ以上の第2特徴の表れる新たなサンプル65を生成することができる。例えば、上記図2Aの例では、製品P1に2つ以上の欠陥P12が生じた事例に対応する新たなサンプル65を生成することができる。
上記実施形態において、各学習モデル41〜43及び推定器44はそれぞれ別々のコンピュータにより生成されてもよい。また、例えば、訓練済みの各生成器(411、421、431)及び推定器44を暫定的に生成するケース等、各学習結果データ121〜124の保存が不要な場合には、ステップS103、ステップS113、ステップS123、及びステップS133の処理は省略されてよい。この場合、学習装置1のソフトウェア構成から保存処理部119は省略されてよい。
11…制御部、12…記憶部、13…通信インタフェース、
14…外部インタフェース、
15…入力装置、16…出力装置、
17…ドライブ、91…記憶媒体、
81…学習プログラム、
111…第1取得部、112…第2取得部、
113…第3取得部、114…第4取得部、
115…第1訓練部、116…第2訓練部、
117…第3訓練部、118…第4訓練部、
119…保存処理部、
121…第1学習結果データ、122…第2学習結果データ、
123…第3学習結果データ、124…第4学習結果データ、
2…データ生成装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…外部インタフェース、
25…入力装置、26…出力装置、
27…ドライブ、92…記憶媒体、
82…データ生成プログラム、
211…受付部、212…第1生成部、
213…第2生成部、214…データ合成部、
220・222・224…ノイズ、
221…第1入力値、223…第2入力値、
225…第3入力値、
3…推定装置、
31…制御部、32…記憶部、33…通信インタフェース、
34…外部インタフェース、
35…入力装置、36…出力装置、
37…ドライブ、93…記憶媒体、
83…推定プログラム、
311…取得部、312…推定部、313…出力部、
314…設定部、
320…データ群、321…サンプル、
325…対象サンプル、326…疑似サンプル、
327…差分サンプル、
41…第1学習モデル、
411…第1生成器、412…第1識別器、
42…第2学習モデル、
421…第2生成器、422…第2識別器、
43…第3学習モデル、
431…第3生成器、432…第3識別器、
44…推定器、
51…第1学習データセット、
511…第1サンプル、512…第1ラベル、
52…第2学習データセット、
521…第2サンプル、522…第2ラベル、
53…第3学習データセット、
531…サンプル値、532…反映レベル、
54…第4学習データセット、
541…サンプル値、542…疑似サンプル(第4疑似サンプル)、
551…第3サンプル、555…疑似サンプル(第3疑似サンプル)、
61…第1疑似サンプル、62…第2疑似サンプル、
63…疑似値
Claims (17)
- 所定種類のデータの第1サンプルであって、第1特徴を含む第1サンプル、及び前記第1特徴の種別を示す第1ラベルの組み合わせによりそれぞれ構成される複数の第1学習データセットを取得する第1取得部と、
前記所定種類のデータの第2サンプルであって、前記第1特徴とは異なる第2特徴を含む第2サンプル、及び前記第2特徴の種別を示す第2ラベルの組み合わせによりそれぞれ構成される複数の第2学習データセットを取得する第2取得部と、
取得された前記複数の第1学習データセットを使用して、第1生成器を含む第1学習モデルの機械学習を実施する第1訓練部であって、前記第1学習モデルの機械学習を実施することは、前記各第1学習データセットについて、前記第1生成器により前記第1ラベルから生成される疑似サンプルが前記第1サンプルに適合するように前記第1生成器を訓練することを含む、第1訓練部と、
取得された前記複数の第2学習データセットを使用して、第2生成器を含む第2学習モデルの機械学習を実施する第2訓練部であって、前記第2学習モデルの機械学習を実施することは、前記各第2学習データセットについて、前記第2生成器により前記第2ラベルから生成される疑似サンプルが前記第2サンプルに適合するように前記第2生成器を訓練することを含む、第2訓練部と、
前記第1ラベルに対応する第1入力値を訓練済みの前記第1生成器に与えることで、前記第1特徴を含む第1疑似サンプルを生成する第1生成部と、
前記第2ラベルに対応する第2入力値を訓練済みの前記第2生成器に与えることで、前記第2特徴を含む第2疑似サンプルを生成する第2生成部と、
生成された前記第1疑似サンプルに生成された前記第2疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、
を備える、
データ生成システム。 - 前記所定種類のデータは、第1成分及び前記第1成分とは異なる第2成分であって、所定の推定の対象となる第2成分を含み、
前記第1特徴は、前記第1成分に関し、
前記第2特徴は、前記第2成分に関する、
請求項1に記載のデータ生成システム。 - 前記第1学習モデルは、第1識別器を更に含み、
前記第1生成器を訓練することは、
前記第1識別器に入力された入力サンプルが、前記複数の第1学習データセットのいずれかから得られた前記第1サンプルか前記第1生成器により生成された疑似サンプルかを識別するように前記第1識別器を訓練するステップ、及び
前記第1識別器の前記識別の性能を低下させるような疑似サンプルを生成するように前記第1生成器を訓練するステップ、
を交互に繰り返し実行することにより構成される、
請求項1又は2に記載のデータ生成システム。 - 前記第2学習モデルは、第2識別器を更に含み、
前記第2生成器を訓練することは、
前記第2識別器に入力された入力サンプルが、前記複数の第2学習データセットのいずれかから得られた前記第2サンプルか前記第2生成器により生成された疑似サンプルかを識別するように前記第2識別器を訓練するステップ、及び
前記第2識別器の前記識別の性能を低下させるような疑似サンプルを生成するように前記第2生成器を訓練するステップ、
を交互に繰り返し実行することにより構成される、
請求項1から3のいずれか1項に記載のデータ生成システム。 - 前記第2特徴の属性のサンプル値、前記第2特徴を反映する程度を示す反映レベル、及び前記第2ラベルの組み合わせによりそれぞれ構成される複数の第3学習データセットを取得する第3取得部と、
取得された前記複数の第3学習データセットを使用して、第3生成器を含む第3学習モデルの機械学習を実施する第3訓練部であって、前記第3学習モデルの機械学習を実施することは、前記各第3学習データセットについて、前記反映レベル及び前記第2ラベルから前記第3生成器により生成される前記第2特徴の属性の疑似的な値が前記サンプル値に適合するように前記第3生成器を訓練することを含む、第3訓練部と、
を更に備え、
前記合成することは、
前記第2ラベルに対応する第2入力値並びに前記反映レベルに対応する第3入力値を訓練済みの前記第3生成器に与えることで、前記第2特徴の属性の疑似値を生成すること、及び
前記第2疑似サンプルに含まれる前記第2特徴の属性の値が生成された前記疑似値に適合するように前記第2疑似サンプルを変換すると共に、前記第1疑似サンプルに前記第2疑似サンプルを合成すること、
を含む、
請求項1から4のいずれか1項に記載のデータ生成システム。 - 前記第2特徴の属性のサンプル値、前記第2特徴を反映する程度を示す反映レベル、及び前記第2ラベルの組み合わせによりそれぞれ構成される複数の第3学習データセットを取得する第3取得部と、
取得された前記複数の第3学習データセットを使用して、第3生成器を含む第3学習モデルの機械学習を実施する第3訓練部であって、前記第3学習モデルの機械学習を実施することは、前記各第3学習データセットについて、前記反映レベル及び前記第2ラベルから前記第3生成器により生成される前記第2特徴の属性の疑似的な値が前記サンプル値に適合するように前記第3生成器を訓練することを含む、第3訓練部と、
を更に備え、
前記所定種類のデータは、第1成分及び前記第1成分とは異なる第2成分であって、所定の推定の対象となる第2成分を含み、
前記第1特徴は、前記第1成分に関し、
前記第2特徴は、前記第2成分に関し、
前記所定の推定は、前記第2成分を検出することであり、
前記合成することは、
前記第2ラベルに対応する第2入力値、並びに前記反映レベルに対応する第3入力値であって、前記検出の限界に応じて与えられた第3入力値を訓練済みの前記第3生成器に与えることで、前記第2特徴の属性の疑似値を生成すること、及び
前記第2疑似サンプルに含まれる前記第2特徴の属性の値が生成された前記疑似値に適合するように前記第2疑似サンプルを変換すると共に、前記第1疑似サンプルに前記第2疑似サンプルを合成すること、
を含む、
請求項1に記載のデータ生成システム。 - 前記第3学習モデルは、第3識別器を更に含み、
前記第3生成器を訓練することは、
前記第3識別器に入力された入力値が、前記複数の第3学習データセットのいずれかから得られた前記サンプル値か前記第3生成器により生成された疑似的な値かを識別するように前記第3識別器を訓練するステップ、及び
前記第3識別器の前記識別の性能を低下させるような前記第2特徴の属性の疑似的な値を生成するように前記第3生成器を訓練するステップ、
を交互に繰り返し実行することにより構成される、
請求項5又は6に記載のデータ生成システム。 - 前記各第3学習データセットは、前記第1ラベルを更に備え、
前記第3学習モデルの機械学習を実施することは、前記反映レベル、前記第2ラベル及び前記第1ラベルから前記第3生成器により生成される前記第2特徴の属性の疑似的な値が前記サンプル値に適合するように前記第3生成器を訓練することを含む、
請求項5から7のいずれか1項に記載のデータ生成システム。 - 前記反映レベルは、連続値により構成される、
請求項5から8のいずれか1項に記載のデータ生成システム。 - 前記複数の第2学習データセットを取得することは、
前記所定種類のデータの第3サンプルであって、前記第1特徴及び前記第2特徴をそれぞれ含む複数の第3サンプルを取得するステップ、
訓練済みの前記第1生成器により生成された疑似サンプルから当該疑似サンプルを生成する際に前記第1生成器に与えられた入力を推定するように訓練された推定器に前記各第3サンプルを与えることで、前記各第3サンプルに対応する疑似サンプルを生成するために訓練済みの前記第1生成器に与える入力の推定値を推定するステップ、
推定された前記推定値を訓練済みの前記第1生成器に与えることで、前記第3サンプル毎に第3疑似サンプルを生成するステップ、並びに
前記各第3サンプルから前記第3疑似サンプルを差分することで、前記各第2学習データセットの前記第2サンプルを生成するステップ、
を含む、
請求項1から9のいずれか1項に記載のデータ生成システム。 - 訓練済みの前記第1生成器に与える入力のサンプル値、及び訓練済みの前記第1生成器に当該サンプル値を与えることで生成される第4疑似サンプルの組み合わせによりそれぞれ構成される複数の第4学習データセットを取得する第4取得部と、
取得された前記複数の第4学習データセットを使用して、前記推定器の機械学習を実施することで、訓練済みの前記推定器を構築する第4訓練部であって、前記推定器の機械学習を実施することは、前記各第4学習データセットについて、訓練済みの前記第1生成器に与えた入力を前記第4疑似サンプルから前記推定器により推定することで得られる推定値が前記サンプル値に適合するように前記推定器を訓練することを含む、第4訓練部と、
を更に備える、
請求項10に記載のデータ生成システム。 - 前記所定種類のデータは、背景及び前景を含む画像データであり、
前記第1特徴は、前記背景に関し、
前記第2特徴は、前記前景に関する、
請求項1から11のいずれか1項に記載のデータ生成システム。 - 前記所定種類のデータは、製品の写る画像データであり、
前記第1特徴は、前記製品を含む背景に関し、
前記第2特徴は、前記製品の欠陥に関する、
請求項1から11のいずれか1項に記載のデータ生成システム。 - 所定種類のデータの第1サンプルであって、第1特徴を含む第1サンプル、及び前記第1特徴の種別を示す第1ラベルの組み合わせによりそれぞれ構成される複数の第1学習データセットを取得する第1取得部と、
前記所定種類のデータの第2サンプルであって、前記第1特徴とは異なる第2特徴を含む第2サンプル、及び前記第2特徴の種別を示す第2ラベルの組み合わせによりそれぞれ構成される複数の第2学習データセットを取得する第2取得部と、
取得された前記複数の第1学習データセットを使用して、第1生成器を含む第1学習モデルの機械学習を実施する第1訓練部であって、前記第1学習モデルの機械学習を実施することは、前記各第1学習データセットについて、前記第1生成器により前記第1ラベルから生成される疑似サンプルが前記第1サンプルに適合するように前記第1生成器を訓練することを含む、第1訓練部と、
取得された前記複数の第2学習データセットを使用して、第2生成器を含む第2学習モデルの機械学習を実施する第2訓練部であって、前記第2学習モデルの機械学習を実施することは、前記各第2学習データセットについて、前記第2生成器により前記第2ラベルから生成される疑似サンプルが前記第2サンプルに適合するように前記第2生成器を訓練することを含む、第2訓練部と、
を備える、
学習装置。 - 所定種類のデータの第1サンプルであって、第1特徴を含む第1サンプル、及び前記第1特徴の種別を示す第1ラベルの組み合わせによりそれぞれ構成される複数の第1学習データセットを使用した機械学習により構築された訓練済みの第1生成器を有する第1生成部であって、
前記機械学習により、前記第1生成器は、前記各第1学習データセットについて、前記第1生成器により前記第1ラベルから生成される疑似サンプルが前記第1サンプルに適合するように訓練され、
第1生成部は、前記第1ラベルに対応する第1入力値を訓練済みの前記第1生成器に与えることで、前記第1特徴を含む第1疑似サンプルを生成する、
第1生成部と、
前記所定種類のデータの第2サンプルであって、前記第1特徴とは異なる第2特徴を含む第2サンプル、及び前記第2特徴の種別を示す第2ラベルの組み合わせによりそれぞれ構成される複数の第2学習データセットを使用した機械学習により構築された訓練済みの第2生成器を有する第2生成部であって、
前記機械学習により、前記第2生成器は、前記各第2学習データセットについて、前記第2生成器により前記第2ラベルから生成される疑似サンプルが前記第2サンプルに適合するように訓練され、
前記第2生成部は、前記第2ラベルに対応する第2入力値を訓練済みの前記第2生成器に与えることで、前記第2特徴を含む第2疑似サンプルを生成する、
第2生成部と、
生成された前記第1疑似サンプルに生成された前記第2疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、
を備える、
データ生成装置。 - コンピュータが、
訓練済みの第1生成器を利用して、第1特徴を含む第1疑似サンプルを生成するステップであって、
前記訓練済みの第1生成器は、所定種類のデータの第1サンプルであって、第1特徴を含む第1サンプル、及び前記第1特徴の種別を示す第1ラベルの組み合わせによりそれぞれ構成される複数の第1学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第1生成器は、前記各第1学習データセットについて、前記第1生成器により前記第1ラベルから生成される疑似サンプルが前記第1サンプルに適合するように訓練され、
前記コンピュータは、前記第1ラベルに対応する第1入力値を前記訓練済みの前記第1生成器に与えることで、前記第1特徴を含む前記第1疑似サンプルを生成する、
ステップと、
訓練済みの第2生成器を利用して、第2特徴を含む第2疑似サンプルを生成するステップであって、
前記訓練済みの第2生成器は、前記所定種類のデータの第2サンプルであって、前記第1特徴とは異なる第2特徴を含む第2サンプル、及び前記第2特徴の種別を示す第2ラベルの組み合わせによりそれぞれ構成される複数の第2学習データセットを使用した機械学習により構築され
前記機械学習では、前記第2生成器は、前記各第2学習データセットについて、前記第2生成器により前記第2ラベルから生成される疑似サンプルが前記第2サンプルに適合するように訓練され、
前記コンピュータは、前記第2ラベルに対応する第2入力値を前記訓練済みの前記第2生成器に与えることで、前記第2特徴を含む第2疑似サンプルを生成する、
ステップと、
生成された前記第1疑似サンプルに生成された前記第2疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、
を実行する、
データ生成方法。 - コンピュータに、
訓練済みの第1生成器を利用して、第1特徴を含む第1疑似サンプルを生成するステップであって、
前記訓練済みの第1生成器は、所定種類のデータの第1サンプルであって、第1特徴を含む第1サンプル、及び前記第1特徴の種別を示す第1ラベルの組み合わせによりそれぞれ構成される複数の第1学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第1生成器は、前記各第1学習データセットについて、前記第1生成器により前記第1ラベルから生成される疑似サンプルが前記第1サンプルに適合するように訓練され、
前記コンピュータは、前記第1ラベルに対応する第1入力値を前記訓練済みの前記第1生成器に与えることで、前記第1特徴を含む前記第1疑似サンプルを生成する、
ステップと、
訓練済みの第2生成器を利用して、第2特徴を含む第2疑似サンプルを生成するステップであって、
前記訓練済みの第2生成器は、前記所定種類のデータの第2サンプルであって、前記第1特徴とは異なる第2特徴を含む第2サンプル、及び前記第2特徴の種別を示す第2ラベルの組み合わせによりそれぞれ構成される複数の第2学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第2生成器は、前記各第2学習データセットについて、前記第2生成器により前記第2ラベルから生成される疑似サンプルが前記第2サンプルに適合するように訓練され、
前記コンピュータは、前記第2ラベルに対応する第2入力値を前記訓練済みの前記第2生成器に与えることで、前記第2特徴を含む第2疑似サンプルを生成する、
ステップと、
生成された前記第1疑似サンプルに生成された前記第2疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、
を実行させるための、
データ生成プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178001A JP7380019B2 (ja) | 2019-09-27 | 2019-09-27 | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム |
CN202080056673.2A CN114207664A (zh) | 2019-09-27 | 2020-09-02 | 数据生成***、学习装置、数据生成装置、数据生成方法及数据生成程序 |
EP20867472.1A EP4036561A4 (en) | 2019-09-27 | 2020-09-02 | DATA GENERATION SYSTEM, LEARNING DEVICE, DATA GENERATION DEVICE, DATA GENERATION METHOD AND DATA GENERATION PROGRAM |
US17/636,388 US20220300809A1 (en) | 2019-09-27 | 2020-09-02 | Data generation system, learning apparatus, data generation apparatus, data generation method, and computer-readable storage medium storing a data generation program |
PCT/JP2020/033311 WO2021059909A1 (ja) | 2019-09-27 | 2020-09-02 | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178001A JP7380019B2 (ja) | 2019-09-27 | 2019-09-27 | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021056677A true JP2021056677A (ja) | 2021-04-08 |
JP7380019B2 JP7380019B2 (ja) | 2023-11-15 |
Family
ID=75166585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019178001A Active JP7380019B2 (ja) | 2019-09-27 | 2019-09-27 | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220300809A1 (ja) |
EP (1) | EP4036561A4 (ja) |
JP (1) | JP7380019B2 (ja) |
CN (1) | CN114207664A (ja) |
WO (1) | WO2021059909A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022030088A1 (ja) * | 2020-08-04 | 2022-02-10 | Ckd株式会社 | 検査装置、ブリスター包装機及びブリスターパックの製造方法 |
WO2023162038A1 (ja) * | 2022-02-22 | 2023-08-31 | 株式会社Fuji | 基板生産システム及び基板作業機の検査方法 |
WO2024034077A1 (ja) * | 2022-08-10 | 2024-02-15 | 日本電気株式会社 | 学習システム、学習方法、およびコンピュータ可読媒体 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11900534B2 (en) * | 2021-07-30 | 2024-02-13 | The Boeing Company | Systems and methods for synthetic image generation |
CN114660917B (zh) * | 2022-03-21 | 2022-10-21 | 中国地质大学(北京) | 基于Transformer模型的自由视场红外数字全息成像方法 |
CN116663338B (zh) * | 2023-08-02 | 2023-10-20 | 中国电子信息产业集团有限公司第六研究所 | 一种基于相似算例的仿真分析方法、装置、设备及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293734A1 (en) * | 2017-04-06 | 2018-10-11 | General Electric Company | Visual anomaly detection system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012026982A (ja) | 2010-07-27 | 2012-02-09 | Panasonic Electric Works Sunx Co Ltd | 検査装置 |
JP2018024340A (ja) | 2016-08-10 | 2018-02-15 | パナソニックIpマネジメント株式会社 | 運転性向判定装置および運転性向判定システム |
JP6955303B2 (ja) | 2017-04-12 | 2021-10-27 | 富士フイルム株式会社 | 医用画像処理装置および方法並びにプログラム |
JP2018189522A (ja) | 2017-05-08 | 2018-11-29 | キユーピー株式会社 | 設備故障の予兆診断方法 |
JP2019045330A (ja) | 2017-09-04 | 2019-03-22 | 日本電産コパル株式会社 | 外観検査装置及び製品製造システム |
JP7278735B2 (ja) | 2017-10-06 | 2023-05-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2019
- 2019-09-27 JP JP2019178001A patent/JP7380019B2/ja active Active
-
2020
- 2020-09-02 CN CN202080056673.2A patent/CN114207664A/zh active Pending
- 2020-09-02 EP EP20867472.1A patent/EP4036561A4/en active Pending
- 2020-09-02 US US17/636,388 patent/US20220300809A1/en active Pending
- 2020-09-02 WO PCT/JP2020/033311 patent/WO2021059909A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293734A1 (en) * | 2017-04-06 | 2018-10-11 | General Electric Company | Visual anomaly detection system |
Non-Patent Citations (5)
Title |
---|
DONGHOON LEE ET AL.: "Context-Aware Synthesis and Placement of Object Instances", NIPS'18: PROCEEDINGS OF THE 32ND INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS, JPN6023032809, 7 December 2018 (2018-12-07), ISSN: 0005132607 * |
GIOVANNI MARIANI ET AL.: "BAGAN: Data augmentation with balancing GAN", [ONLINE], JPN6023032807, 5 June 2018 (2018-06-05), ISSN: 0005132605 * |
MARC BRAHAM ET AL.: "Deep background subtraction with scene-specific convolutional neural networks", 2016 INTERNATIONAL CONFERENCE ON SYSTEMS, SIGNALS AND IMAGE PROCESSING (IWSSIP), JPN6023032810, 25 March 2016 (2016-03-25), ISSN: 0005132608 * |
MAX JADERBERG ET AL.: "Spatial transformer networks", NIPS'15: PROCEEDINGS OF THE 28TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS -, JPN6023032808, 4 February 2016 (2016-02-04), ISSN: 0005132606 * |
SHASHANK TRIPATHI ET AL.: ""Learning to Generate Synthetic Data via Compositing"", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), JPN6023032806, 20 June 2019 (2019-06-20), US, pages 461 - 470, XP033686642, ISSN: 0005132604, DOI: 10.1109/CVPR.2019.00055 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022030088A1 (ja) * | 2020-08-04 | 2022-02-10 | Ckd株式会社 | 検査装置、ブリスター包装機及びブリスターパックの製造方法 |
WO2023162038A1 (ja) * | 2022-02-22 | 2023-08-31 | 株式会社Fuji | 基板生産システム及び基板作業機の検査方法 |
WO2024034077A1 (ja) * | 2022-08-10 | 2024-02-15 | 日本電気株式会社 | 学習システム、学習方法、およびコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2021059909A1 (ja) | 2021-04-01 |
EP4036561A4 (en) | 2023-01-25 |
EP4036561A1 (en) | 2022-08-03 |
US20220300809A1 (en) | 2022-09-22 |
CN114207664A (zh) | 2022-03-18 |
JP7380019B2 (ja) | 2023-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021059909A1 (ja) | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
JP7059883B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
JP7164028B2 (ja) | 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム | |
JP7435303B2 (ja) | 検査装置、ユニット選択装置、検査方法、及び検査プログラム | |
WO2021100483A1 (ja) | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム | |
JP7396125B2 (ja) | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム | |
JP2012018066A (ja) | 異常検査装置 | |
WO2023032665A1 (ja) | ラベル生成方法、モデル生成方法、ラベル生成装置、ラベル生成プログラム、モデル生成装置、及びモデル生成プログラム | |
WO2021182000A1 (ja) | パラメータ調整装置、推論装置、パラメータ調整方法、及びパラメータ調整プログラム | |
WO2022196433A1 (ja) | モデル生成装置、分類装置、データ生成装置、モデル生成方法、及びモデル生成プログラム | |
WO2021100482A1 (ja) | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム | |
WO2022190966A1 (ja) | 推論装置、モデル生成装置、推論方法、及び推論プログラム | |
JP2022040531A (ja) | 異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置 | |
Alhindi et al. | Orthogonal binary singular value decomposition method for automated windshield wiper fault detection | |
CN116958599A (zh) | 一种振槽连杆振动异常自动化检测方法与***、可读介质及应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7380019 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |