JP7269607B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7269607B2 JP7269607B2 JP2021060383A JP2021060383A JP7269607B2 JP 7269607 B2 JP7269607 B2 JP 7269607B2 JP 2021060383 A JP2021060383 A JP 2021060383A JP 2021060383 A JP2021060383 A JP 2021060383A JP 7269607 B2 JP7269607 B2 JP 7269607B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- normalized
- input
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 109
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003384 imaging method Methods 0.000 claims description 55
- 238000010606 normalization Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 40
- 230000005856 abnormality Effects 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 25
- 238000010276 construction Methods 0.000 claims description 21
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 34
- 230000008859 change Effects 0.000 description 27
- 238000012544 monitoring process Methods 0.000 description 25
- 230000002159 abnormal effect Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002845 discoloration Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008654 plant damage Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
図1を参照して、本実施形態に係る情報処理システムのシステム構成の一例について説明する。本実施形態に係る情報処理システムは、ネットワークを介して接続された撮像装置(例えば、ビデオカメラ等)を利用して、遠隔地に設置された監視対象(例えば、各種設備等)の状態を監視可能とする仕組みを提供する。例えば、図1は、本実施形態に係る情報処理システム1は、遠隔地に設置された設備800a~800dそれぞれの状態を、撮像装置300a~300dそれぞれによる撮像結果に応じた画像に基づき監視する場合の構成の一例を示している。具体的には、情報処理システム1は、撮像装置300a~300dと、情報処理装置100及び200と、端末装置400とを含む。なお、以降では、撮像装置300a~300dのそれぞれを特に区別しない場合には、「撮像装置300」と称する場合がある。同様に、設備800a~800dそれぞれを特に区別しない場合には、「設備800」と称する場合がある。また、撮像装置300a~300dのそれぞれと、情報処理装置100及び200のそれぞれと、端末装置400とは、ネットワークN1を介して各種情報やデータを送受信可能に構成されている。
具体的には、情報処理装置200は、撮像装置300から送信される画像データに対応する画像に対して所定の解析処理を施すことで、被写体として撮像された設備800の状態に異常が発生した場合に、当該異常の発生を検知する。この際に、情報処理装置200は、当該検知の結果に応じた報知情報を、所定の出力先(例えば、後述する端末装置400)に出力する。これにより、設備800に異常が発生した場合に、当該異常の発生をユーザ(例えば、管理者)に報知することが可能となる。
情報処理装置100は、情報処理装置200が上記解析処理に利用する学習済モデルを機械学習に基づき構築する。具体的な一例として、情報処理装置100は、敵対的生成ネットワーク(GAN:Generative Adversarial Network)と称される所謂ニューラルネットワークを利用して、上記学習済モデルの構築を行ってもよい。
なお、情報処理装置100及び200については、構成や処理について詳細を別途後述する。
図2を参照して、本実施形態に係る情報処理システム1における情報処理装置100及び200のそれぞれや端末装置400として適用可能な情報処理装置900のハードウェア構成の一例について説明する。図2に示すように、本実施形態に係る情報処理装置900は、CPU(Central Processing Unit)910と、ROM(Read Only Memory)920と、RAM(Random Access Memory)930とを含む。また、情報処理装置900は、補助記憶装置940と、ネットワークI/F970とを含む。また、情報処理装置900は、出力装置950と、入力装置960とのうち少なくともいずれかを含んでもよい。CPU910と、ROM920と、RAM930と、補助記憶装置940と、出力装置950と、入力装置960と、ネットワークI/F970とは、バス980を介して相互に接続されている。
図3を参照して、本実施形態に係る情報処理システム1の機能構成の一例について、特に情報処理装置100及び200それぞれの構成に着目して説明する。
また、上記学習済モデルの構築に使用した基準画像が、当該学習済モデルとあわせて情報処理装置200に出力されてもよい。
また、この際に、判定部203は、正規化画像と基準画像とを画素単位で当該画素を構成する要素(例えば、RGB)ごとに比較することで、当該正規化画像と当該基準画像とが略一致するか否かを判定してもよい。より具体的には、正規化画像と基準画像との間で、各画素の成分の要素値(例えば、RGB)ごとに差の絶対値を算出したうえで、各要素値について算出した差の絶対値の平均が閾値を超えるか否かに応じて、対象となる画素が略一致するか否かを判定してもよい。そのうえで、正規化画像と基準画像との間で略一致する画素の数に基づき、当該正規化画像と当該基準画像とが略一致するか否かが判定されてもよい。
なお、「成分の要素値」としては、例えば、近傍の画素の平均値、近傍の画素との差分等のように、近傍の画素との様々な計算値が適用され得る。このような計算値のより具体的な一例としては、HOG特徴量、SIFT特徴量、及びSURF特徴量等のような、エッジを強調した特徴量等が挙げられる。
具体的な一例として、情報処理装置100の一連の構成要素のうちの一部の構成要素が、当該情報処理装置100とは異なる他の装置に設けられていてもよい。また、他の一例として、情報処理装置100の一連の構成要素のうち少なくとも一部の構成要素の処理に係る負荷が、複数の装置に分散されてもよい。これらは、情報処理装置200についても同様である。
続いて、本実施形態に係る情報処理システム1の技術的特徴として、情報処理装置100による学習済モデルの構築に係る特徴と、情報処理装置200による監視対象の異常の検知に係る特徴とのそれぞれについて、以下により詳細に説明する。
判別部103は、基準画像D111と生成部101により生成された正規化画像D115とのうちのいずれかの画像が入力され、当該画像が基準画像D111と正規化画像D115とのいずれかを判定する。
このような構成に基づき、生成部101は、判別部103との組によるGANを利用して、当該判別部103が、正規化画像D115と基準画像D111との判別がより困難となる正規化処理が正常画像D113に施されるように、上記学習済モデルを構築する。
以上のようにして、生成部101は、監視対象ごとに個別に上記学習済モデルを構築し、当該学習済モデルと、当該学習済モデルの構築時に利用した基準画像D111(当該監視対象が被写体として撮像された画像)とを対応付ける。
この際に、撮像画像D123と基準画像D111との間の差が、学習済モデルの構築に利用された複数の正常画像D113それぞれの特徴に基づき類推可能な差であれば、当該差が解消された正規化画像D125を生成することが可能となる。すなわち、この場合には、判定部203が、正規化画像D125と基準画像D111とが略一致するとの判定結果を出力することとなる。
これに対して、撮像画像D123と基準画像D111との間の差が、学習済モデルの構築に利用された複数の正常画像D113それぞれの特徴に基づき類推することが困難な差である場合には、正規化画像D125の生成に際してこの差を解消することが困難となる。すなわち、この場合には、判定部203が、正規化画像D125と基準画像D111とが略一致しないとの判定結果を出力することとなる。
次いで、図5及び図6を参照して、入力画像に対して正規化処理を施すことで正規化画像を生成するために利用される学習済モデルの構築に係る仕組みについて、特にGANを利用する場合に着目して説明する。
そこで、本実施形態では、入力されるデータ(例えば、監視対象の撮像結果に応じた画像)に顕在化した変化が許容される範囲内であれば正常な状態として判定可能なロバスト性を有しつつ、許容範囲外の変化が顕在化した場合に異常な状態として検出可能とする技術を提案する。具体的には、本実施形態に係る情報処理システムでは、GANと称されるニューラルネットワークを利用することで、監視対象の異常な状態を示す異常画像を利用せずとも、上述したように、入力されるデータに顕在化した異常の検出を実現するための学習済モデルを構築する。
このような仕組みを適用することで、本実施形態に係る情報処理システムでは、異常画像を使用せずとも、正常画像を利用することで、監視対象の異常の検出に利用可能な学習済モデルの構築を可能としている。
なお、以降では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、学習用のデータとして画像が利用される場合に着目して学習済モデルの構築に係る仕組みについて説明を行うものとする。
例えば、図5に示す正常画像D113a~D113dは、照明環境の条件が互いに異なる状態での監視対象となる設備800の撮像結果に応じた画像の一例を示している。具体的には、図5に示す例では、監視対象となる設備800は正常な状態であるにも関わらず、時間の経過とともに日照条件等が変化することでその時々で照明環境の条件が変化し、結果として明度や色度等が互いに異なる画像が得られている。
また、正常な状態の設備800の撮像結果に応じた画像であれば、図5に示す例に限らず、各種条件の変化に応じた画像が正常画像として適用されてもよい。具体的な一例として、時間の経過や天候(例えば、雨や風)の変化に伴い、撮像環境や撮像装置の状態が変化し、結果として、明度や色度、日照に伴う影の形、レンズへの水滴の付着の有無、撮像装置の微細なずれ等の変化が生じ、当該変化が撮像結果に応じた画像に顕在化する場合がある。このような画像についても、対象となる設備が正常な状態で撮像された結果に応じた画像であれば、正常画像として適用されてもよい。
前述したように、生成部101と判別部103との組はGANを構成している。このような構成に基づき、生成部101は、判別部103が基準画像D111正規化画像D115との判別がより困難となる正規化処理を入力される正常画像D113に施すように、入力画像に対する当該正規化処理の適用に係る学習済モデルを構築する。また、判別部103は、基準画像D111と正規化画像D115とをより精度良く判別可能となるように、基準画像D111正規化画像D115との判別に係る精度をより向上させる。
そして、構築された上記学習済モデルと、当該学習済モデルの構築に利用された基準画像D111とは、情報処理装置200による監視対象となる設備800の監視(換言すると、当該設備800に生じた異常の検出)に利用される。
次いで、図7~図9を参照して、機械学習に基づき構築された、入力画像に対する正規化処理の適用に係る学習済モデルを利用することで、監視対象に異常が発生した場合に当該異常を検出する仕組みについて説明する。なお、以降では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、図5及び図6を参照して説明した学習済モデルを利用して監視対象に生じた異常を検出する場合の一例に着目して、上記仕組みの説明を行うものとする。
この際に、撮像画像D123の特徴と基準画像D111との特徴を上記学習済モデルの構築に利用された一連の正常画像D113(例えば、図5に示す正常画像D113a~D113d)それぞれの特徴から類推することが可能であれば、生成される正規化画像D125の特徴が基準画像D111の特徴と略一致することとなる。
このような特性を利用することで、生成される正規化画像D1251を基準画像D1111と比較して差分(例えば、差分V1251、V1252、及びV1253等)を検出することにより、監視対象となる設備800に異常が生じたことを検出することが可能となる。
また、上記に例示した異常以外にも、例えば、監視対象の傾き、一部の部品の脱落、何らかの要因による煙等の発生、油漏れや水漏れ、一部の部品の破断、及び動物や植物等の接触等のような、正常な状態では想定されない事態の発生を検出することが可能である。
なお、上記はあくまで一例であり、本開示に係る技術の適用対象を限定するものではない。
例えば、図5及び図6を参照して説明した学習済モデルの適用対象は、必ずしも、図7~図9を参照して説明したような所定の対象の監視に係るシステムのみには限定されない。具体的な一例として、所定の形式のデータに対して、当該データの特徴を、基準となる同様の形式のデータの特徴により近づけるような処理(例えば、正規化処理)が適用されるような状況下であれば、上記学習済モデルを適用することが可能である。この場合に当該処理の適用対象となるデータの種別については、前述したように、画像のデータのみには限定されない。
また、図7~図9を参照して説明したような所定の対象の監視に係るシステムにおいて、撮像画像に対する正規化処理に利用される学習済モデルについては、必ずしもGANを利用して構築された学習済モデルのみには限定されない。すなわち、入力された撮像画像に対して当該撮像画像の特徴を所定の基準画像の特徴により近づける正規化処理を施すことが可能であれば、当該正規化処理の実現に利用される学習済モデルの構築方法や種別は特に限定はされない。
このように、図5及び図6を参照して説明した学習済モデルの構築に係る技術と、図7~図9を参照して説明した所定の対象の監視に係る技術とは、それぞれ独立して実施可能である。また、各技術と組み合わせて利用される他の技術についても、特に限定はされない。
続いて、図10及び図11を参照して、本実施形態に係る情報処理システムの変形例として、本実施形態に係る情報処理システムを所謂量産品等の複製物の検品に応用した場合の一例について説明する。具体的には、本変形例に係る情報処理システムは、複製物の製造時に生じるばらつきが許容される誤差の範囲内であれば正常な状態と判定可能なロバスト性を有しつつ、許容範囲外のばらつきが生じた場合に異常な状態として検出する。
具体的には、正常画像D113fは、許容される誤差の範囲でサイズのばらつきが生じた複製物を被写体とした画像を模式的に示している。また、正常画像D113gは、許容される誤差の範囲で少なくとも一部に変色が生じた複製物を被写体とした画像を模式的に示している。また、正常画像D113hは、許容される誤差の範囲で一部に欠損または変形が生じた複製物を被写体とした画像を模式的に示している。
これにより、入力画像と上記基準画像D111との差が、正常画像D113e~D113h間における特徴の違いに基づき類推可能な範囲であれば、当該入力画像に基づき当該基準画像D111と特徴がより類似する正規化画像D115を精度良く生成可能な上記学習済モデルが構築される。
これに対して、製造された複製物に生じた製造に係るばらつきが正常画像D113e~D113h間における特徴の違いに基づき類推が困難な場合には、当該複製物の撮像画像D123に基づき生成された正規化画像D125の特徴が、基準画像D111の特徴と略一致しないこととなる。すなわち、この場合には、判定部203は、検品対象となる複製物が不良である(製造に係るばらつきが許容される誤差の範囲外である)と判定することとなる。
このような特性を利用することで、生成される正規化画像D1253を基準画像D1111と比較して差分(例えば、差分V1251、V1252、及びV1253等)を検出することにより、製造された複製物に許容される誤差の範囲外の製造に係るばらつきが生じたか否かを判定する(すなわち、複製物の検品を行う)ことが可能となる。
また、上記に例示したばらつき以外にも、例えば、ひび、汚れ、変形、異常な大きさ等のような、規格通りに製造された場合には想定され得ない製造に係るばらつきの発生を検出することが可能である。
以上説明したように、本実施形態に係る情報処理装置200は、複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成し、当該正規化画像と所定の基準画像とが略一致するか否かを判定したうえで、当該判定の結果に応じて報知情報を所定の出力先に出力する。
このような構成により、入力画像に顕在化した変化が許容される範囲内であれば正常な状態として判定可能なロバスト性を有しつつ、許容範囲外の変化が顕在化した場合に異常な状態として検出することが可能となる。これにより、例えば、撮像装置による撮像結果に応じた撮像画像を利用して所定の対象の状態を監視するような状況下においても、想定され得る状態の変化を異常として検知するような過検出の発生をより低く抑えながら、異常の発生をより高い精度で検出することが可能となる。
このような構成により、異常な状態を示す画像を準備することが困難な状況下においても、上記学習済モデルを構築することが可能となる。また、上記構成により、入力画像に顕在化した変化が上記複数の正常画像の特徴から類推可能な範囲の変化であれば、当該入力画像に基づき基準画像と特徴が略一致する正規化画像を生成可能な学習済モデルを構築することが可能となる。また、本実施形態に係る情報処理システムにおいては、正規化画像との比較対象とする基準画像を制限することで、学習済モデルの構築に係る処理負荷をより低減することが可能である。
より具体的な一例として、音響のデータを入力とする場合には、当該学習済モデルは、入力された音響のデータに対して、当該音響のデータの特徴を基準となる音響のデータの特徴により近づける正規化処理を施すように構築されることとなる。
また、学習済モデルを利用した判定時には、当該学習済モデルに入力されるデータ(すなわち、正規化処理が施されるデータ)は、主に基準となるデータと同じ種別のデータとなる。もちろん、学習済モデルに入力されるデータの種別に応じて、当該データの取得に係る構成(画像のデータを対象とする場合における撮像装置300に相当する構成)が適宜変更されてもよい。また、学習済モデルにより正規化処理が施されたデータ(正規化画像に相当するデータ)と、基準となるデータとの比較に基づき所望の判定(例えば、異常が検出されたか否かの判定等)が行われることとなる。
また、本発明には、上述した実施形態の機能を実現するための方法、プログラム、及び当該プログラムを格納したコンピュータが読み取り可能な記録媒体が含まれる。
100 情報処理装置
101 生成部
103 判別部
110 学習処理部
200 情報処理装置
201 生成部
203 判定部
205 出力制御部
300 撮像装置
400 端末装置
Claims (12)
- 複数の正常画像のうちのいずれかを基準画像として、入力画像の特徴を前記基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像を生成する学習済モデルに対して、被写体の撮像結果に応じた画像を前記入力画像として入力することで、当該入力画像の正規化画像を取得する取得手段と、
前記学習済モデルにより生成された前記正規化画像と前記基準画像とを比較し、当該比較の結果に応じた当該正規化画像と当該基準画像の差が閾値を超えていない場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていると判定し、当該正規化画像と当該基準画像の差が閾値を超えている場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていないと判定する判定手段と、
前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていないと判定された場合に、異常を示す報知情報を所定の出力先に出力する出力手段と、
を備え、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
当該学習済モデルの構築に係る機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
情報処理装置。 - 前記学習済モデルの構築に係る前記機械学習において、当該学習済モデルによる前記判別器による判別の対象とする前記正規化画像の生成に、前記基準画像との差が、前記複数の正常画像間の特徴の違いに基づき類推可能な範囲内の前記他の正常画像が適用される、
請求項1に記載の情報処理装置。 - 前記複数の正常画像は、撮像結果に変化を生じさせる要因となる条件が互いに異なる複数の画像を含む、
請求項1または2に記載の情報処理装置。 - 前記撮像結果に変化を生じさせる要因となる条件は、撮像環境に関する条件と、撮像装置の状態に関する条件と、監視対象となる被写体が正常な状態において発生する当該被写体の状態の変化に関する条件と、被写体である複製物の生成時に生じるばらつきが許容される誤差の範囲内である場合に発生する変化に関する条件と、のうちの少なくともいずれかを含む、
請求項3に記載の情報処理装置。 - 前記撮像環境に関する条件は、照明環境に関する条件を含む、
請求項4に記載の情報処理装置。 - 前記判定手段は、前記正規化画像と前記基準画像とを画素単位で比較し、当該比較の結果に応じた当該正規化画像と当該基準画像の差が閾値を超えない場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていると判定する、
請求項1~5のいずれか1項に記載の情報処理装置。 - 前記判定手段は、前記正規化画像と前記基準画像とを画素単位で当該画素を構成する色の要素ごとに比較し、当該比較の結果に応じた当該正規化画像と当該基準画像の差が閾値を超えない場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていると判定する、
請求項6に記載の情報処理装置。 - 情報処理装置が実行する情報処理方法であって、
複数の正常画像のうちのいずれかを基準画像として、入力画像の特徴を前記基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像を生成する学習済モデルに対して、被写体の撮像結果に応じた画像を前記入力画像として入力することで、当該入力画像の正規化画像を取得する取得ステップと、
前記学習済モデルにより生成された前記正規化画像と前記基準画像とを比較し、当該比較の結果に応じた当該正規化画像と当該基準画像の差が閾値を超えていない場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていると判定し、当該正規化画像と当該基準画像の差が閾値を超えている場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていないと判定する判定ステップと、
前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていないと判定された場合に、異常を示す報知情報を所定の出力先に出力する出力ステップと、
を含み、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
当該学習済モデルの構築に係る機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
情報処理方法。 - コンピュータに、
複数の正常画像のうちのいずれかを基準画像として、入力画像の特徴を前記基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像を生成する学習済モデルに対して、被写体の撮像結果に応じた画像を前記入力画像として入力することで、当該入力画像の正規化画像を取得する取得ステップと、
前記学習済モデルにより生成された前記正規化画像と前記基準画像とを比較し、当該比較の結果に応じた当該正規化画像と当該基準画像の差が閾値を超えていない場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていると判定し、当該正規化画像と当該基準画像の差が閾値を超えている場合に、前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていないと判定する判定ステップと、
前記学習済モデルにより生成された前記正規化画像において、前記基準画像と、当該学習済モデルに入力された前記入力画像と、の差が解消されていないと判定された場合に、異常を示す報知情報を所定の出力先に出力する出力ステップと、
を実行させ、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
当該学習済モデルの構築に係る機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
プログラム。 - 複数の正常画像のうちのいずれかを基準画像として、入力画像の特徴を前記基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像を生成する学習済モデルを機械学習に基づき構築する構築手段を備え、
前記構築手段は、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークにおける当該判別器が、当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルを構築する、
情報処理装置。 - 情報処理装置が実行する情報処理方法であって、
複数の正常画像のうちのいずれかを基準画像として、入力画像の特徴を前記基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像を生成する学習済モデルを機械学習に基づき構築する構築ステップを含み、
前記構築ステップにおいて、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークにおける当該判別器が、当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
情報処理方法。 - コンピュータに、
複数の正常画像のうちのいずれかを基準画像として、入力画像の特徴を前記基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像を生成する学習済モデルを機械学習に基づき構築する構築ステップを実行させ、
前記構築ステップにおいて、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークにおける当該判別器が、当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021060383A JP7269607B2 (ja) | 2021-03-31 | 2021-03-31 | 情報処理装置、情報処理方法、及びプログラム |
PCT/JP2022/004650 WO2022209301A1 (ja) | 2021-03-31 | 2022-02-07 | 情報処理装置、情報処理方法、及びプログラム |
US18/277,035 US20240046609A1 (en) | 2021-03-31 | 2022-02-07 | Information processing apparatus, information processing method, and program |
CN202280021176.8A CN117043815A (zh) | 2021-03-31 | 2022-02-07 | 信息处理装置、信息处理方法以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021060383A JP7269607B2 (ja) | 2021-03-31 | 2021-03-31 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022156604A JP2022156604A (ja) | 2022-10-14 |
JP7269607B2 true JP7269607B2 (ja) | 2023-05-09 |
Family
ID=83455845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021060383A Active JP7269607B2 (ja) | 2021-03-31 | 2021-03-31 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240046609A1 (ja) |
JP (1) | JP7269607B2 (ja) |
CN (1) | CN117043815A (ja) |
WO (1) | WO2022209301A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002288670A (ja) | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
JP2003281541A (ja) | 2002-03-20 | 2003-10-03 | Fuji Xerox Co Ltd | 認識装置および方法 |
JP2009125116A (ja) | 2007-11-20 | 2009-06-11 | Kyoraku Sangyo Kk | センター役物を有するパチンコ遊技機 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019125116A (ja) * | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2021
- 2021-03-31 JP JP2021060383A patent/JP7269607B2/ja active Active
-
2022
- 2022-02-07 WO PCT/JP2022/004650 patent/WO2022209301A1/ja active Application Filing
- 2022-02-07 CN CN202280021176.8A patent/CN117043815A/zh active Pending
- 2022-02-07 US US18/277,035 patent/US20240046609A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002288670A (ja) | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
JP2003281541A (ja) | 2002-03-20 | 2003-10-03 | Fuji Xerox Co Ltd | 認識装置および方法 |
JP2009125116A (ja) | 2007-11-20 | 2009-06-11 | Kyoraku Sangyo Kk | センター役物を有するパチンコ遊技機 |
Also Published As
Publication number | Publication date |
---|---|
WO2022209301A1 (ja) | 2022-10-06 |
CN117043815A (zh) | 2023-11-10 |
JP2022156604A (ja) | 2022-10-14 |
US20240046609A1 (en) | 2024-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6809250B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10885618B2 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
US11029260B2 (en) | Solder paste printing quality inspection system and method | |
JP6707920B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR102206698B1 (ko) | 이상 검사 장치 및 이상 검사 방법 | |
JP2019211415A (ja) | 外観検査装置および方法 | |
JP2006293820A (ja) | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム | |
JP7426261B2 (ja) | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 | |
US11663815B2 (en) | System and method for inspection of heat recovery steam generator | |
JP7269607B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7056259B2 (ja) | 検査システム、識別システム、及び識別器評価装置 | |
JP2020135051A (ja) | 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル | |
CN117745678A (zh) | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 | |
JP7359607B2 (ja) | 振動試験解析装置および振動試験解析方法 | |
JP6708695B2 (ja) | 検査装置 | |
WO2022149465A1 (ja) | 解析装置、解析システム、解析プログラム、および解析方法 | |
JP2021056004A (ja) | 画像判定装置及び画像判定方法 | |
KR20200143957A (ko) | 제품 검사를 위한 자동 학습 방법 및 시스템 | |
JP5451716B2 (ja) | 構造物の赤外線調査方法及び赤外線調査用演算装置 | |
JP2020107104A (ja) | 画像判定装置、画像判定方法及び画像判定プログラム | |
US11508143B2 (en) | Automated salience assessment of pixel anomalies | |
WO2021049119A1 (ja) | 学習装置、学習方法及び学習プログラムが格納された非一時的なコンピュータ可読媒体 | |
US11120541B2 (en) | Determination device and determining method thereof | |
WO2020158630A1 (ja) | 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法 | |
KR102172271B1 (ko) | 머신러닝 기반 고장진단 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220610 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7269607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |