JPWO2019064599A1 - 異常検知装置、異常検知方法、及びプログラム - Google Patents
異常検知装置、異常検知方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2019064599A1 JPWO2019064599A1 JP2019544195A JP2019544195A JPWO2019064599A1 JP WO2019064599 A1 JPWO2019064599 A1 JP WO2019064599A1 JP 2019544195 A JP2019544195 A JP 2019544195A JP 2019544195 A JP2019544195 A JP 2019544195A JP WO2019064599 A1 JPWO2019064599 A1 JP WO2019064599A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- parameter
- image conversion
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 262
- 238000006243 chemical reaction Methods 0.000 claims abstract description 376
- 238000007689 inspection Methods 0.000 claims abstract description 371
- 230000005856 abnormality Effects 0.000 claims abstract description 211
- 230000008859 change Effects 0.000 claims abstract description 177
- 238000004364 calculation method Methods 0.000 claims abstract description 67
- 238000012937 correction Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims description 51
- 230000007423 decrease Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 25
- 230000002159 abnormal effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000002547 anomalous effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
Description
前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、画像変換部と、
前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、画像変化検出部と、
前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、変化検出パラメータ学習部と、
前記教師画像と前記画像変化検出部が算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、画像変換パラメータ学習部と、
を備えていることを特徴とする。
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を有することを特徴とする。
前記コンピュータに、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を実行させる、命令を含むプログラムを記録している、ことを特徴とする。
以下、本発明の実施の形態1における異常検知装置、異常検知方法、及びプログラムについて、図1〜図8を参照しながら説明する。
最初に、本実施の形態1における異常検知装置の構成について図1を用いて説明する。図1は、本発明の実施の形態1における異常検知装置の概略構成を示すブロック図である。
参照文献:Spatial Transformer Networks, Max jaderberg, Karen Simonyan, AndrewZisserman, Koray Kavakcouglu, 式(7),式(10)、https://arxiv.org/abs/1506.02025
次に、本発明の実施の形態1における異常検知装置100の動作について図7及び図8を用いて説明する。以下の説明においては、適宜図1〜図6を参酌する。また、本実施の形態1では、異常検知装置100を動作させることによって、異常検知方法が実施される。よって、本実施の形態1における異常検知方法の説明は、以下の異常検知装置100の動作説明に代える。
このように、本実施の形態1で述べた構成をとることによって、検査対象に生じた変化を敏感に検出することができる。なぜならば、画像変化検出部104の出力と教師画像との差が小さくなるように、前段の画像変換部103における変換パラメータ算出用パラメータが修正され、結果、変化検知に適した画像変換パラメータ算出用パラメータが学習されるためである。即ち、本実施の形態1によれば、変化検知に適した画像変換が実現されているからである。
本実施の形態1におけるプログラムは、コンピュータに、図7に示すステップS701〜S709、及び図8に示すステップS801〜S805を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態1における異常検知装置100と異常検知方法とを実現することができる。この場合、コンピュータのプロセッサは、検査画像入力部101、基準画像入力部102、画像変換部103、画像変化検出部104、教師画像入力部105、変化検出パラメータ学習部106、修正量算出部107及び画像変換パラメータ学習部108として機能し、処理を行なう。
次に、本発明の実施の形態2における異常検知装置、異常検知方法、及びプログラムについて、図9〜図10を参照しながら説明する。
最初に、本実施の形態2における異常検知装置の構成について図9を用いて説明する。図9は、本発明の実施の形態1における異常検知装置の具体的構成を示すブロック図である。
次に、本発明の実施の形態2における異常検知装置200の動作について図10を用いて説明する。以下の説明においては、適宜図9を参酌する。また、本実施の形態2では、異常検知装置200を動作させることによって、異常検知方法が実施される。よって、本実施の形態2における異常検知方法の説明は、以下の異常検知装置200の動作説明に代える。
このように、本実施の形態2で述べた構成によれば、実施の形態1に比べ、学習モードの第1ステップにおいて画像変換パラメータの学習を積極的に進めることができ、画像変換パラメータをより高速に学習することができる。加えて、比較的良好に検査画像と基準画像との位置合わせが行われた後に、学習モードの第2ステップにおいて、変化検出パラメータの学習と画像変換パラメータの画像変化検知への適応学習とが行われる。このため、本実施の形態2によれば、後半の学習にかかる時間を短縮化でき、学習処理を高速化することが可能となる。
本実施の形態2では、学習モードを2段階のステップに分けない態様であっても良い。この態様では、学習モードは、実施の形態1において図7に示した態様と同様に、End-to-Endで学習が行われる。また、この場合、差分としては、下記の(a)及び(b)の2種類が算出可能となる。
(b)画像変化検出部104が算出する異常確信度と、教師画像として入力される理想的な異常確信度との二乗誤差の総和
また、本実施の形態2では、異常検知モードとして、2種類の方式が考えられる。1つの方式は、学習モード時においてのみ、理想的変換後検査画像入力部201を動作させ、異常検知モード時においては、理想的変換後検査画像入力部201からの入力を行わない方式である。この方式によれば、検査画像と基準画像とを入力すれば、異常を検知することが可能となる。
上述した例では、理想的変換後検査画像として、検査対象の画素位置が基準画像における検査対象の画素位置に変換された検査画像が用いられている。但し、本実施の形態2では、理想的変換後検査画像として、理想的変換後検査画像における検査画像との各対応点(点対)におけるx座標及びy座標が用いられていても良い。
本実施の形態2におけるプログラムは、コンピュータに、図10に示すステップS901〜S906、及び図8に示すステップS801〜S805を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態2における異常検知装置200と異常検知方法とを実現することができる。この場合、コンピュータのプロセッサは、検査画像入力部101、基準画像入力部102、画像変換部103、画像変化検出部104、教師画像入力部105、変化検出パラメータ学習部106、修正量算出部107、画像変換パラメータ学習部108及び理想的変換後検査画像入力部201として機能し、処理を行なう。
ここで、実施の形態1及び2におけるプログラムを実行することによって、異常検知装置を実現するコンピュータについて図11を用いて説明する。図11は、本発明の実施の形態1及び2における異常検知装置を実現するコンピュータの一例を示すブロック図である。
検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するための装置であって、
前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、画像変換部と、
前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、画像変化検出部と、
前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、変化検出パラメータ学習部と、
前記教師画像と前記画像変化検出部が算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、画像変換パラメータ学習部と、
を備えていることを特徴とする異常検知装置。
前記変化パラメータ学習部が、前記教師画像と前記異常確信度との差分を求め、求めた前記差分が減少するように前記変化検出パラメータの値を更新することによって、変化検出パラメータを学習し、
当該異常検知装置が、前記教師画像と前記画像変化検出部が算出した前記異常確信度との差分が減少するように、画像変換された前記検査画像に与えるべき修正量を算出する、修正量算出部を更に備え、
前記画像変換パラメータ学習部が、前記修正量算出部が算出した前記修正量を生じさせる画像変換が行われるように、前記画像変換パラメータ算出用パラメータを更新することによって、前記画像変換パラメータ算出用パラメータを学習する、
付記1に記載の異常検知装置。
予め作成されている、理想的な前記画像変換が行われた場合の検査画像を前記画像変換パラメータに入力する、入力部を更に備え、
前記画像変換パラメータ学習部が、前記理想的な前記画像変換が行われた場合の検査画像と、前記画像変換部によって画像変換された前記検査画像との差分を求め、求めた差分が減少するように、前記画像変換パラメータ算出用パラメータを更新する、
付記2に記載の異常検知装置。
前記入力部が、前記理想的な前記画像変換が行われた場合の検査画像と前記基準画像との間における対応点毎に、前記基準画像から前記理想的な前記画像変換が行われた場合の検査画像までの第1の移動量を求め、
前記画像変換部が、画像変換後の前記検査画像と前記基準画像との間における対応点毎に、前記基準画像から画像変換後の前記検査画像までの第2の移動量を求め、
前記画像変換パラメータ学習部が、共通の対応点毎に、前記第1の移動量と前記第2の移動量との差分を求め、更に、求めた各差分の総和が減少するように前記画像変換パラメータ算出用パラメータを更新する、
付記3に記載の異常検知装置。
検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するための方法であって、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を有することを特徴とする異常検知方法。
前記(c)のステップにおいて、前記教師画像と前記異常確信度との差分を求め、求めた前記差分が減少するように前記変化検出パラメータの値を更新することによって、変化検出パラメータを学習し、
当該異常検知方法が、(e)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分が減少するように、画像変換された前記検査画像に与えるべき修正量を算出する、ステップを更に有し、
前記(d)のステップにおいて、前記(e)のステップで算出した前記修正量を生じさせる画像変換が行われるように、前記画像変換パラメータ算出用パラメータを更新することによって、前記画像変換パラメータ算出用パラメータを学習する、
付記5に記載の異常検知方法。
(f)予め作成されている、理想的な前記画像変換が行われた場合の検査画像を前記画像変換パラメータに入力する、ステップと、
(g)前記理想的な前記画像変換が行われた場合の検査画像と、前記(a)のステップによって画像変換された前記検査画像との差分を求め、求めた差分が減少するように、前記画像変換パラメータ算出用パラメータを更新する、ステップと、
を更に有する、
付記6に記載の異常検知方法。
(h)前記理想的な前記画像変換が行われた場合の検査画像と前記基準画像との間における対応点毎に、前記基準画像から前記理想的な前記画像変換が行われた場合の検査画像までの第1の移動量を求める、ステップと、
(i)画像変換後の前記検査画像と前記基準画像との間における対応点毎に、前記基準画像から画像変換後の前記検査画像までの第2の移動量を求める、ステップと、を更に有し、
前記(g)のステップにおいて、共通の対応点毎に、前記第1の移動量と前記第2の移動量との差分を求め、更に、求めた各差分の総和が減少するように前記画像変換パラメータ算出用パラメータを更新する、
付記7に記載の異常検知方法。
コンピュータによって、検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するためのプログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を実行させる、命令を含むプログラムを記録している、ことを特徴とするコンピュータ読み取り可能な記録媒体。
前記(c)のステップにおいて、前記教師画像と前記異常確信度との差分を求め、求めた前記差分が減少するように前記変化検出パラメータの値を更新することによって、変化検出パラメータを学習し、
前記プログラムが、前記コンピュータに、(e)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分が減少するように、画像変換された前記検査画像に与えるべき修正量を算出する、ステップを更に実行させる命令を含み、
前記(d)のステップにおいて、前記(e)のステップで算出した前記修正量を生じさせる画像変換が行われるように、前記画像変換パラメータ算出用パラメータを更新することによって、前記画像変換パラメータ算出用パラメータを学習する、
付記9に記載のコンピュータ読み取り可能な記録媒体。
前記プログラムが、前記コンピュータに、
(f)予め作成されている、理想的な前記画像変換が行われた場合の検査画像を前記画像変換パラメータに入力する、ステップと、
(g)前記理想的な前記画像変換が行われた場合の検査画像と、前記(a)のステップによって画像変換された前記検査画像との差分を求め、求めた差分が減少するように、前記画像変換パラメータ算出用パラメータを更新する、ステップと、
を更に実行させる命令を含む、
付記10に記載のコンピュータ読み取り可能な記録媒体。
前記プログラムが、前記コンピュータに、
(h)前記理想的な前記画像変換が行われた場合の検査画像と前記基準画像との間における対応点毎に、前記基準画像から前記理想的な前記画像変換が行われた場合の検査画像までの第1の移動量を求める、ステップと、
(i)画像変換後の前記検査画像と前記基準画像との間における対応点毎に、前記基準画像から画像変換後の前記検査画像までの第2の移動量を求める、ステップと、を更に実行させる命令を含み、
前記(g)のステップにおいて、共通の対応点毎に、前記第1の移動量と前記第2の移動量との差分を求め、更に、求めた各差分の総和が減少するように前記画像変換パラメータ算出用パラメータを更新する、
付記11に記載のコンピュータ読み取り可能な記録媒体。
101 検査画像入力部
102 基準画像入力部
103 画像変換部
104 画像変化検出部
105 教師画像入力部
106 変化検出パラメータ学習部
107 修正量算出部
108 画像変換パラメータ学習部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
200 異常検知装置(実施の形態2)
201 理想的変換後検査画像入力部
301 部品
302 傷
501 異常が生じた部分
601 画像変換パラメータ算出部
602 変換後検査画像生成部
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記(b)のステップで算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を有することを特徴とする。
前記コンピュータに、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記(b)のステップで算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を実行させる、プログラム。
最初に、本実施の形態2における異常検知装置の構成について図9を用いて説明する。図9は、本発明の実施の形態2における異常検知装置の具体的構成を示すブロック図である。
前記変化検出パラメータ学習部が、前記教師画像と前記異常確信度との差分を求め、求めた前記差分が減少するように前記変化検出パラメータの値を更新することによって、変化検出パラメータを学習し、
当該異常検知装置が、前記教師画像と前記画像変化検出部が算出した前記異常確信度との差分が減少するように、画像変換された前記検査画像に与えるべき修正量を算出する、修正量算出部を更に備え、
前記画像変換パラメータ学習部が、前記修正量算出部が算出した前記修正量を生じさせる画像変換が行われるように、前記画像変換パラメータ算出用パラメータを更新することによって、前記画像変換パラメータ算出用パラメータを学習する、
付記1に記載の異常検知装置。
予め作成されている、理想的な前記画像変換が行われた場合の検査画像を前記画像変換パラメータ学習部に入力する、入力部を更に備え、
前記画像変換パラメータ学習部が、前記理想的な前記画像変換が行われた場合の検査画像と、前記画像変換部によって画像変換された前記検査画像との差分を求め、求めた差分が減少するように、前記画像変換パラメータ算出用パラメータを更新する、
付記2に記載の異常検知装置。
検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するための方法であって、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記(b)のステップで算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を有することを特徴とする異常検知方法。
コンピュータによって、検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するためのプログラムであって、
前記コンピュータに、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記(b)のステップで算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を実行させる、プログラム。
前記(c)のステップにおいて、前記教師画像と前記異常確信度との差分を求め、求めた前記差分が減少するように前記変化検出パラメータの値を更新することによって、変化検出パラメータを学習し、
前記コンピュータに、(e)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分が減少するように、画像変換された前記検査画像に与えるべき修正量を算出する、ステップを更に実行させ、
前記(d)のステップにおいて、前記(e)のステップで算出した前記修正量を生じさせる画像変換が行われるように、前記画像変換パラメータ算出用パラメータを更新することによって、前記画像変換パラメータ算出用パラメータを学習する、
付記9に記載のプログラム。
前記コンピュータに、
(f)予め作成されている、理想的な前記画像変換が行われた場合の検査画像を前記画像変換パラメータに入力する、ステップと、
(g)前記理想的な前記画像変換が行われた場合の検査画像と、前記(a)のステップによって画像変換された前記検査画像との差分を求め、求めた差分が減少するように、前記画像変換パラメータ算出用パラメータを更新する、ステップと、
を更に実行させる、
付記10に記載のプログラム。
前記コンピュータに、
(h)前記理想的な前記画像変換が行われた場合の検査画像と前記基準画像との間における対応点毎に、前記基準画像から前記理想的な前記画像変換が行われた場合の検査画像までの第1の移動量を求める、ステップと、
(i)画像変換後の前記検査画像と前記基準画像との間における対応点毎に、前記基準画像から画像変換後の前記検査画像までの第2の移動量を求める、ステップと、を更に実行させ、
前記(g)のステップにおいて、共通の対応点毎に、前記第1の移動量と前記第2の移動量との差分を求め、更に、求めた各差分の総和が減少するように前記画像変換パラメータ算出用パラメータを更新する、
付記11に記載のプログラム。
Claims (6)
- 検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するための装置であって、
前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、画像変換部と、
前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、画像変化検出部と、
前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、変化検出パラメータ学習部と、
前記教師画像と前記画像変化検出部が算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、画像変換パラメータ学習部と、
を備えていることを特徴とする異常検知装置。 - 前記変化パラメータ学習部が、前記教師画像と前記異常確信度との差分を求め、求めた前記差分が減少するように前記変化検出パラメータの値を更新することによって、変化検出パラメータを学習し、
当該異常検知装置が、前記教師画像と前記画像変化検出部が算出した前記異常確信度との差分が減少するように、画像変換された前記検査画像に与えるべき修正量を算出する、修正量算出部を更に備え、
前記画像変換パラメータ学習部が、前記修正量算出部が算出した前記修正量を生じさせる画像変換が行われるように、前記画像変換パラメータ算出用パラメータを更新することによって、前記画像変換パラメータ算出用パラメータを学習する、
請求項1に記載の異常検知装置。 - 予め作成されている、理想的な前記画像変換が行われた場合の検査画像を前記画像変換パラメータに入力する、入力部を更に備え、
前記画像変換パラメータ学習部が、前記理想的な前記画像変換が行われた場合の検査画像と、前記画像変換部によって画像変換された前記検査画像との差分を求め、求めた差分が減少するように、前記画像変換パラメータ算出用パラメータを更新する、
請求項2に記載の異常検知装置。 - 前記入力部が、前記理想的な前記画像変換が行われた場合の検査画像と前記基準画像との間における対応点毎に、前記基準画像から前記理想的な前記画像変換が行われた場合の検査画像までの第1の移動量を求め、
前記画像変換部が、画像変換後の前記検査画像と前記基準画像との間における対応点毎に、前記基準画像から画像変換後の前記検査画像までの第2の移動量を求め、
前記画像変換パラメータ学習部が、共通の対応点毎に、前記第1の移動量と前記第2の移動量との差分を求め、更に、求めた各差分の総和が減少するように前記画像変換パラメータ算出用パラメータを更新する、
請求項3に記載の異常検知装置。 - 検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するための方法であって、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を有することを特徴とする異常検知方法。 - コンピュータによって、検査対象が写っている検査画像と、前記検査対象が正常な状態を示す基準画像とを用いて、前記検査対象の異常を検知するためのプログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)前記検査画像、前記基準画像、及び画像変換パラメータ算出用パラメータに基づいて、画像変換パラメータを算出し、算出した前記画像変換パラメータを用いて、前記検査画像中の前記検査対象が、前記基準画像中の前記検査対象に重なるように、前記検査画像を画像変換する、ステップと、
(b)前記基準画像と画像変換された前記検査画像とを、変化検出パラメータを用いて照合して、前記検査画像の特定の領域における変化の有無を示す異常確信度を算出する、ステップと、
(c)前記特定の領域における変化の正解値を示す教師画像と、前記画像変化検出部が算出した前記異常確信度との差分に基づいて、前記変化検出パラメータを学習する、ステップと、
(d)前記教師画像と前記(b)のステップで算出した前記異常確信度との差分から求められた、画像変換された前記検査画像に与えるべき修正量に基づいて、前記画像変換パラメータ算出用パラメータを学習する、ステップと、
を実行させる、命令を含むプログラムを記録している、ことを特徴とするコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/035746 WO2019064599A1 (ja) | 2017-09-29 | 2017-09-29 | 異常検知装置、異常検知方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019064599A1 true JPWO2019064599A1 (ja) | 2020-10-22 |
JP6860079B2 JP6860079B2 (ja) | 2021-04-14 |
Family
ID=65901128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019544195A Active JP6860079B2 (ja) | 2017-09-29 | 2017-09-29 | 異常検知装置、異常検知方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11151714B2 (ja) |
JP (1) | JP6860079B2 (ja) |
WO (1) | WO2019064599A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10997712B2 (en) * | 2018-01-18 | 2021-05-04 | Canon Virginia, Inc. | Devices, systems, and methods for anchor-point-enabled multi-scale subfield alignment |
JP7200040B2 (ja) * | 2019-04-26 | 2023-01-06 | 株式会社日立ハイテク | 情報処理装置、画像解析方法 |
JP7361800B2 (ja) * | 2020-01-24 | 2023-10-16 | 三菱電機株式会社 | 物体認識装置および物体認識方法 |
CN115398474A (zh) * | 2020-04-27 | 2022-11-25 | 三菱电机株式会社 | 图像检查装置和图像检查方法 |
CN112732983B (zh) * | 2020-12-31 | 2023-09-12 | 平安科技(深圳)有限公司 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
JP2024048687A (ja) * | 2022-09-28 | 2024-04-09 | 三菱重工業株式会社 | ガス漏洩検出装置、ガス漏洩検出方法、及び、ガス漏洩検出プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0721380A (ja) * | 1993-06-23 | 1995-01-24 | Ykk Kk | 画像処理による成形品形状誤差判断方法 |
JP2009210309A (ja) * | 2008-03-03 | 2009-09-17 | Hitachi High-Technologies Corp | 欠陥検査装置およびこの欠陥検査装置に用いるパラメータ調整方法。 |
JP2012032370A (ja) * | 2010-07-29 | 2012-02-16 | Sharp Corp | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 |
JP2014126445A (ja) * | 2012-12-26 | 2014-07-07 | Sharp Corp | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3842080B2 (ja) * | 2001-07-06 | 2006-11-08 | グローリー工業株式会社 | 署名照合装置、署名照合方法および署名照合プログラム |
JP2013233772A (ja) * | 2012-05-11 | 2013-11-21 | Canon Inc | 検品システム、印刷装置、検品システムの制御方法、及びプログラム |
US20140071228A1 (en) * | 2012-09-12 | 2014-03-13 | National University of Sciences & Technology(NUST) | Color correction apparatus for panorama video stitching and method for selecting reference image using the same |
-
2017
- 2017-09-29 US US16/651,649 patent/US11151714B2/en active Active
- 2017-09-29 WO PCT/JP2017/035746 patent/WO2019064599A1/ja active Application Filing
- 2017-09-29 JP JP2019544195A patent/JP6860079B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0721380A (ja) * | 1993-06-23 | 1995-01-24 | Ykk Kk | 画像処理による成形品形状誤差判断方法 |
JP2009210309A (ja) * | 2008-03-03 | 2009-09-17 | Hitachi High-Technologies Corp | 欠陥検査装置およびこの欠陥検査装置に用いるパラメータ調整方法。 |
JP2012032370A (ja) * | 2010-07-29 | 2012-02-16 | Sharp Corp | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 |
JP2014126445A (ja) * | 2012-12-26 | 2014-07-07 | Sharp Corp | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019064599A1 (ja) | 2019-04-04 |
US20200311894A1 (en) | 2020-10-01 |
US11151714B2 (en) | 2021-10-19 |
JP6860079B2 (ja) | 2021-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6860079B2 (ja) | 異常検知装置、異常検知方法、及びプログラム | |
Lu et al. | Wound intensity correction and segmentation with convolutional neural networks | |
US10726555B2 (en) | Joint registration and segmentation of images using deep learning | |
US11314989B2 (en) | Training a generative model and a discriminative model | |
JP2020119558A (ja) | イメージ分析に基づいたロバストサーベイランスのための歩行者検出器の学習方法及び学習装置、そしてそれを利用するテスト方法及びテスト装置 | |
US20150279021A1 (en) | Video object tracking in traffic monitoring | |
US10783643B1 (en) | Segmentation-based damage detection | |
JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
EP3182365B1 (en) | Writing board detection and correction | |
WO2018163529A1 (ja) | 3次元形状計測装置、3次元形状計測方法、およびプログラム | |
CN110222641B (zh) | 用于识别图像的方法和装置 | |
Guo et al. | Low-rank matrix recovery via robust outlier estimation | |
JP5750093B2 (ja) | ダイナミックグリッドによるバンドベースのパッチ選択 | |
US8340378B2 (en) | Ribcage segmentation | |
KR101905000B1 (ko) | 이미지 데이터의 보정 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 | |
CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
JP2015179426A (ja) | 情報処理装置、パラメータの決定方法、及びプログラム | |
CN116797545A (zh) | 一种脊柱侧弯度检测方法、计算机设备及存储介质 | |
CN107862679B (zh) | 图像检测区域的确定方法及装置 | |
WO2022188102A1 (zh) | 深度图像的修复方法及装置、摄像头组件及电子设备 | |
JP2023069083A (ja) | 学習装置、学習方法、学習プログラム、物体検出装置、物体検出方法、物体検出プログラム、学習支援システム、学習支援方法及び学習支援プログラム | |
JP7349290B2 (ja) | 対象物認識装置、対象物認識方法、及び対象物認識プログラム | |
US11393069B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
Petrou et al. | Super-resolution in practice: the complete pipeline from image capture to super-resolved subimage creation using a novel frame selection method | |
US11636577B2 (en) | Method and apparatus with blur estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6860079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |