JP6693684B2 - 異常検査装置および異常検査方法 - Google Patents
異常検査装置および異常検査方法 Download PDFInfo
- Publication number
- JP6693684B2 JP6693684B2 JP2020504740A JP2020504740A JP6693684B2 JP 6693684 B2 JP6693684 B2 JP 6693684B2 JP 2020504740 A JP2020504740 A JP 2020504740A JP 2020504740 A JP2020504740 A JP 2020504740A JP 6693684 B2 JP6693684 B2 JP 6693684B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- domain
- abnormality
- unit
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims description 235
- 238000007689 inspection Methods 0.000 title claims description 122
- 238000000034 method Methods 0.000 title claims description 44
- 238000010191 image analysis Methods 0.000 claims description 128
- 238000006243 chemical reaction Methods 0.000 claims description 124
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 238000004458 analytical method Methods 0.000 claims description 46
- 238000010801 machine learning Methods 0.000 claims description 28
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 34
- 238000003860 storage Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Description
例えば、特許文献1には、同一仕様の複数の対象物のうち所定数から個別に取得されたデジタル画像について、同一座標をもつ画素毎に特性の統計量を算出して設定良画素範囲を作成し、検査しようとする対象物から取得されるデジタル画像に対して、画素毎に、特性が設定良画素範囲に属するか否かを判定する検査装置が開示されている。
実施の形態1.
以下の説明において、実施の形態1に係る異常検査装置1が異常を判定する対象となる判定対象画像(詳細は後述する。)において撮影されている、検査対象の物体を、「対象物」という。対象物は、例えば、回路基板または配線等、少なくとも外観検査できる、あらゆる物体を含む。
図1は、実施の形態1に係る異常検査装置1の構成例を示す図である。
異常検査装置1は、例えば、ネットワークを介して、カメラ2および入出力装置4と接続される。
異常検査装置1は、カメラ2から、対象物3が撮影された画像を取得し、対象物に異常が発生しているか否かを判定して、判定結果を入出力装置4に出力する。以下、対象物3が撮影された画像を、「撮影画像」という。
入出力装置4は、例えば、ディスプレイ、スピーカ、キーボード、または、マウス等を備える。
なお、実施の形態1では、図1に示すように、異常検査装置1は、カメラ2および入出力装置4とネットワークを介して接続される構成とするが、これは一例に過ぎず、異常検査装置1が、カメラ2および入出力装置4を備える構成としてもよい。
画像解析部12は、正常画像解析部121と判定対象画像解析部122と学習結果取得部123とを有する。
画像取得部11が、カメラ2から撮影画像を受け取るタイミングは、例えば、1秒間に30回等、予め決められているものとしてもよいし、制御部10からの指示に基づいて決められるものとしてもよい。なお、ここでは、画像取得部11が取得する撮影画像はデジタル化されていることを前提とするが、必ずしもこの限りではない。
画像取得部11は、取得した撮影画像を画像解析部12に出力する。
実施の形態1において、異常検査装置1は、2つの動作モードを実施する。異常検査装置1が実施する、2つの動作モードを、それぞれ「学習モード」と「検査モード」というものとする。
異常検査装置1は、「学習モード」において、異常を含まない正常な状態の対象物3が撮影された、1枚以上の撮影画像に基づき、機械学習により、対象物3が正常な状態におけるドメイン変換をどのようにすべきかを学習する。ドメイン変換については後述する。
以下、撮影画像のうち、異常を含まない正常な状態の対象物3が撮影された撮影画像を、「正常画像」という。
異常検査装置1において、「検査モード」は、「学習モード」の動作が完了した後に行われる。
また、「学習モード」において、対象物3は異常を含まない正常な状態であることを前提とする。したがって、「学習モード」において、画像取得部11が取得する撮影画像は、全て、正常画像である。
異常検査装置1は、同じ種類の物体であれば、複数の異なる物体を対象物3とし、異なる複数の対象物3が正常な状態で撮影された正常画像をカメラ2から取得し、対象物3が正常な状態を学習するようにしてもよい。
なお、「学習モード」において、カメラ2は、機械学習用として、正常画像に加え、当該正常画像に対応する別ドメインの画像を取得する。別ドメインの画像の詳細については後述する。
画像解析部12の正常画像解析部121は、「学習モード」において、画像取得部11から、指定された枚数(例えば、1000枚)の正常画像を取得し、取得した正常画像に基づきドメイン変換学習処理を実施する。
ドメイン変換学習とは、対象物3が正常な状態におけるドメイン変換をどのようにすべきかを学習する機械学習である。
正常画像解析部121がドメイン変換学習を行う際に使用する正常画像の枚数は、予め指定されていてもよいし、制御部10から指定されてもよい。
具体的には、例えば、正常画像の枚数を予め指定されている枚数とする場合、正常画像解析部121は、画像取得部11から取得している正常画像の枚数が、予め指定された枚数に達した場合に、正常画像の取得を終了する。
また、例えば、正常画像の枚数を制御部10からの指示に基づくものとする場合、正常画像解析部121は、画像取得部11から出力された正常画像を、制御部10から画像取得終了指示が出力されるまで、取得し続ける。正常画像解析部121は、制御部10から画像取得終了指示が出力されると、正常画像の取得を終了する。制御部10は、ユーザから画像取得終了指示を受け付ける。具体的には、例えば、ユーザが、入出力装置4から、画像取得終了指示を入力する。制御部10は、入力された画像取得終了指示を受け付け、正常画像解析部121に対し、画像取得終了指示を出力する。
図2は、画像のドメイン変換について説明するための図である。
画像のドメインとは、画像のタイプのことであり、画像のドメイン変換とは、あるドメインの画像を、当該あるドメインとは異なるドメインの画像に変換することである。
図2では、ドメインの例として、回路基板を一般的なカメラで撮影することで得られる画像(写真ドメインの画像。図2の201参照)と、回路基板上のパーツ毎に分離した領域ドメインの画像(図2の202参照)とが示されている。実施の形態1において、画像取得部11がカメラ2から取得する撮影画像は、写真ドメインの画像である。
図2の領域ドメインの画像の例では、回路基板上の基板領域(図2の2021参照)と、配線領域(図2の2022参照)と、IC領域(図2の2023参照)とが示されている。
ドメイン変換においては、写真ドメインの画像を変換して領域ドメインの画像を取得後、当該領域ドメインの画像を再び変換して写真ドメインの画像を取得することもできる。
図2に示すように、例えば、写真ドメインの画像から領域ドメインの画像へのドメイン変換を、「ドメイン順変換」といい、領域ドメインの画像から写真ドメインの画像へのドメイン変換を、「ドメイン逆変換」というものとする。
図3は、写真ドメインと領域ドメイン以外のドメインの画像の例を示している。
図3に示すエッジドメインの画像(図3の301参照)は、写真ドメインの画像からエッジだけを抽出した画像である。また、図3に示すCAD(Computer Aided Design)ドメインの画像(図3の302参照)は、CADソフトウェアにより描かれた画像である。
Phillip Isola,Jun−Yan Zhu,Tinghui Zhou,and Alexei A.Efros,"Image−to−Image Translation with Conditional Adversarial Nets," Conference on Computer Vision and Pattern Recognition(2017).
図4では、一例として、ニューラルネットワークを用いて、写真ドメインの画像と領域ドメインの画像との間で画像のドメイン変換を行う様子を示している。
また、図4では、ニューラルネットワークの中でも特に画像処理に高い効果を発揮することが知られている畳み込みニューラルネットワークを用いて、画像のドメイン変換を行う様子を示している。
畳み込みニューラルネットワークは、ニューラルネットワークの一種であり、多数のフィルタを入力画像に畳み込むことを繰り返し、空間方向の次元数またはチャネル数を変化させながら、最終的に所望の結果を得る。
図4では、一例として、フィルタの横方向の長さをW、高さをH、チャネル数をCとして示している。
なお、図4で示すドメイン変換の様子はあくまでも一例であり、ドメイン変換は、ニューラルネットワークを用いて行うものに限らない。
また、ドメイン変換にニューラルネットワークを用いる場合、用いられるニューラルネットワークは、畳み込みニューラルネットワークに限られない。ドメイン変換に用いられるニューラルネットワークとしては、例えば、全結合ニューラルネットワーク、または、畳み込みニューラルネットワークと全結合ニューラルネットワークとを組み合わせたニューラルネットワーク等、任意のものを用いることができる。
正常画像解析部121は、正常画像と他のドメインの画像を教師データとして用いて、写真ドメインの画像である正常画像から領域ドメインの画像へのドメイン順変換、および、領域ドメインの画像から正常画像へのドメイン逆変換を行うための学習を、ニューラルネットワークに行わせる。
ここで、ニューラルネットワークの学習とは、ネットワークの各エッジにおける重みを学習用データに対して所望の結果が得られるように最適化することであり、畳み込みニューラルネットワークの場合はフィルタの係数を最適化することに相当する。ドメイン順変換においては、入力される正常画像を変換した結果が対応する領域ドメインの画像に近くなるように学習を行い、逆変換においては、入力される領域ドメインの画像を変換した結果が対応する正常画像に近くなるように学習を行う。なお、順変換のためのニューラルネットワークと逆変換のためのニューラルネットワークは、全く同じ構成としてもよいし、異なる構成としても構わない。
なお、正常画像解析部121は、対応する他のドメインの画像を、画像に対するフィルタ処理等で取得することができる。例えば、対応する他のドメインの画像を、エッジの画像であるとすると、変換元の画像である正常画像に対してエッジ検出フィルタを適用することで、変換先の画像である他のドメインの画像を取得することができる。その他、例えば、ユーザが、対応する他のドメインの画像を予め生成しておき、正常画像解析部121は、予め生成された、他のドメインの画像を取得するようにしてもよい。例えば、対応する他のドメインの画像が、正常画像を領域毎に分割した画像であるとすると、ユーザが、正常画像に対して画像編集ソフトウェア等を用いて領域分割を行うことで、他のドメインの画像を生成することができる。
画像解析部12が記憶部13に記憶させる、ニューラルネットワークの構成を規定する情報とは、学習時のニューラルネットワークの入出力を再現するのに必要十分な情報のことである。このような情報には、具体的には、ニューラルネットワークの隠れ層の数または各層におけるユニットの数等、ニューラルネットワークの構造に関する情報と、学習によって得られた重みの情報が含まれる。
判定対象画像解析部122がドメイン変換後画像取得処理のために取得する判定対象画像の枚数は、予め指定されていてもよいし、制御部10から指定されてもよい。判定対象画像解析部122が、指定された枚数の判定対象画像を取得する具体的な方法は、正常画像解析部121が「学習モード」において、指定された枚数の正常画像を取得する具体的な方法と同様である。
具体的には、後述する学習結果取得部123が、記憶部13に記憶されている、ニューラルネットワークの構成を規定する情報を取得し、取得した情報を判定対象画像解析部122に出力する。判定対象画像解析部122は、学習結果取得部123から出力された情報を用いて、判定対象画像に対するドメイン変換を行う。
学習結果取得部123が記憶部13から取得する、ニューラルネットワークの構成を規定する情報は、「学習モード」において、正常画像解析部121が学習結果として記憶させた情報である。
図5に示すように、判定対象画像解析部122は、まず、判定対象画像をドメイン順変換によって変換し、領域ドメインの画像を取得する。以下、判定対象画像解析部122が、「検査モード」において、判定対象画像に対してドメイン順変換を行って取得した領域ドメインの画像を、「ドメイン順変換画像」ともいう。なお、上述のとおり、実施の形態1において、画像取得部11がカメラ2から取得する画像は写真ドメインの画像であるので、判定対象画像も写真ドメインの画像である。
次に、判定対象画像解析部122は、ドメイン逆変換によりドメイン順変換画像の画像を再び変換し、写真ドメインの画像を取得する。
なお、実施の形態1では、判定対象画像解析部122は、図5で示したように、写真ドメインの画像を領域ドメインの画像に変換するドメイン変換を行うものとする。しかし、これは一例に過ぎず、判定対象画像解析部122は、写真ドメインの画像を、任意のドメインの画像に変換するドメイン変換を行うことができる。
以下、判定対象画像解析部122が、「検査モード」において、判定対象画像に対してドメイン順変換およびドメイン逆変換を順次行って取得した写真ドメインの画像を、「ドメイン変換後画像」という。
なお、実施の形態1では、判定対象画像解析部122は、ドメイン順変換およびドメイン逆変換の双方にニューラルネットワークを用いるものとするが、これは一例に過ぎない。判定対象画像解析部122は、必ずしも、ドメイン順変換およびドメイン逆変換の双方にニューラルネットワークを用いる必要はなく、ドメイン順変換およびドメイン逆変換のどちらか一方にのみ、ニューラルネットワークを用いるようにしてもよい。
なお、実施の形態1では、図1に示すように、記憶部13は、異常検査装置1に備えられるものとしたが、これに限らず、記憶部13は、異常検査装置1の外部の、異常検査装置1が参照可能な場所に備えられるものとしてもよい。
まず、「学習モード」では、正常画像解析部121は、正常画像、および、当該正常画像に対応する他のドメインの画像を用いてニューラルネットワークに学習させている。そのため、「検査モード」において、判定対象画像が正常画像である場合、当該判定対象画像に基づくドメイン変換後画像は、画像取得部11から取得した判定対象画像とほぼ一致する(図5参照)。
判定部14は、判定対象画像とドメイン変換後画像とを比較することで、判定対象画像において撮影されている対象物3の異常の有無、および、異常箇所の検出が可能となる。
まず、判定部14は、判定対象画像解析部122から取得した判定対象画像とドメイン変換後画像との間で、画素値の差分絶対値を算出する。
具体的には、判定部14は、判定対象画像とドメイン変換後画像をそれぞれ構成する複数の画素のうち、互いに対応する位置にある複数の画素における各画素の画素値間の差分絶対値を算出する。なお、実施の形態1において、画素値とは、明るさ(輝度値)である。
判定対象画像が正常画像である場合、判定対象画像とドメイン変換後画像との間にはほとんど差異がないため、判定対象画像とドメイン変換後画像との差分絶対値は、画像全体にわたってほぼゼロとなる(図7参照)。
一方、判定対象画像において撮影されている対象物3に異常が発生している場合、判定対象画像とドメイン変換後画像との間で異常箇所が差異となって現れるため、判定対象画像とドメイン変換後画像との差分絶対値は、異常箇所のみ大きくなる(図8参照)。
判定部14は、算出した、判定対象画像とドメイン変換後画像との間の差分絶対値に基づいて、判定対象画像を当該差分絶対値で示した画像を生成する。
以下、判定対象画像の各画素を、当該判定対象画像とドメイン変換後画像との間の差分絶対値で示した画像を、「差分画像」という。
判定部14は、生成した差分画像に基づき、以下に説明するとおり、判定対象画像において撮影されている対象物3に対しての、異常が発生しているか否かの判定を行う。
判定部14は、差分画像に対する閾値処理を行う際の閾値を、適宜の方法で決定すればよい。例えば、判定部14は、閾値を、制御部10からの指示に基づいて決定する。具体的には、例えば、ユーザが、入出力装置4から閾値を入力し、制御部10が入力された閾値を受け付ける。判定部14は、制御部10が受け付けた閾値を、閾値処理を行う際に用いる閾値に決定する。
また、ユーザ等が予め閾値を記憶部13に記憶させておき、判定部14は、記憶部13に記憶されている閾値を用いて閾値処理を行ってもよい。
また、判定部14は、差分値の分布等に応じて適応的に閾値を決定するようにしてもよい。なお、適応的に閾値を決定する方法は、例えば、以下の非特許文献2で開示されている。
Nobuyuki Otsu,"A Threshold Selection Method from Gray−Level Histograms," IEEE Trans. on Systems, Man, and Cybernetics,1979.
なお、判定部14は、閾値処理を行った結果、差分絶対値が閾値以上となる画素の集合で形成される領域が存在しない場合は、判定対象画像において撮影されている対象物3に異常は発生していないと判定する。
図9の901で示す領域は、差分画像において、判定部14が閾値未満と判定した領域を示し、図9の902で示す領域は、差分画像において、判定部14が閾値以上と判定した領域を示している。
図9の903で示す矩形は、バウンディングボックスである。判定対象画像において、バウンディングボックスが存在する位置が、撮影されている対象物3に異常が発生している位置ということになる。
判定結果に関する情報には、少なくとも、異常あり、または、異常なし等、異常が発生しているか否かを特定する情報、および、判定対象画像の情報が含まれる。
また、判定対象画像において撮影されている対象物3に異常が発生していると判定した場合は、判定部14は、バウンディングボックスに関する情報を、判定結果に関する情報に含めて、入出力部15に出力する。
バウンディングボックスに関する情報とは、例えば、バウンディングボックスを示す画像上、左上の点の座標、バウンディングボックスの縦幅、または、バウンディングボックスの横幅等の情報である。
判定部14は、差分画像を入出力部15に出力するようにしてもよい。
判定部14は、バウンディングボックス条件を、適宜の方法で決定すればよい。
例えば、判定部14は、制御部10からの指示に基づいてバウンディングボックス条件を決定することができる。具体的には、ユーザが入出力装置4からバウンディングボックス条件を入力し、制御部10が入力されたバウンディング条件を受け付け、判定部14に指示する。
記憶部13に記憶されるバウンディング条件は、例えば、以下のような条件である。
・バウンディングボックスの縦幅が10画素以上
・バウンディングボックスの横幅が10画素以上
・対象領域を限定するための2次元マスク
図10Bの2次元マスクにおいて、図10Bの1001で示す領域が対象領域を示している。判定部14は、判定対象画像に基づいて生成した差分画像において、図10Bの1002で示す対象領域外に検出されたバウンディングボックスは無視する。
入出力部15は、判定部14から出力された、判定結果に関する情報を、入出力装置4に送信する。
ユーザは、入出力装置4のディスプレイを確認して、対象物3が異常な状態になっていないか、検査する。
実施の形態1では、一例として、入出力装置4は、例えば、ディスプレイを有するPC(Personal Computer)とする。
入出力装置4において判定結果に関する情報をディスプレイに表示させた場合の画面例については、後述する動作説明において、図面を用いて説明する。
この発明の実施の形態1において、制御部10と、画像取得部11と、画像解析部12と、判定部14の機能は、処理回路1101により実現される。すなわち、異常検査装置1は、取得した画像に基づき、当該画像にうつっている対象物3に異常が発生しているか否かを判定し、判定結果を出力する制御を行うための処理回路1101を備える。
処理回路1101は、図11Aに示すように専用のハードウェアであっても、図11Bに示すようにメモリ1106に格納されるプログラムを実行するCPU(Central
Processing Unit)1105であってもよい。
Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
記憶部13は、例えば、HDD1102を使用する。なお、これは一例にすぎず、記憶部13は、DVD、または、メモリ1106等によって構成されるものであってもよい。記憶部13は各種の記録媒体で構成される。
また、異常検査装置1は、カメラ2または入出力装置4等の装置との通信を行う入力インタフェース装置1103および出力インタフェース装置1104を有する。
入出力部15は、入力インタフェース装置1103および出力インタフェース装置1104で構成される。
以下の動作説明では、「学習モード」における異常検査装置1の動作と「検査モード」における異常検査装置1の動作とに分けて、それぞれ説明する。
まず、「学習モード」における異常検査装置1の動作について説明する。
画像取得部11は、ネットワークを介して、カメラ2から撮影画像を取得する(ステップST1201)。
上述のとおり、「学習モード」において画像取得部11が取得する撮影画像は、全て「正常画像」である。
なお、ステップST1201の処理は、制御部10が、入出力装置4から起動信号および設定信号を受け取り、画像取得部11に対して撮影画像を取得させるよう制御することで行われる。具体的には、例えば、ユーザは、入出力装置4において、異常検査装置1を起動させ「学習モード」に設定する。入出力装置4は、ユーザからの指示に基づき、異常検査装置1の起動信号、および、異常検査装置1を「学習モード」に設定する設定信号を異常検査装置1に送信する。制御部10は、ユーザから入力された起動信号および設定信号を受け取る。
画像取得部11は、取得した正常画像を画像解析部12の正常画像解析部121に出力する。
ステップST1202の処理は、制御部10が、画像解析部12に対して「学習モード」での動作を指示することで行われる。
正常画像解析部121は、図12のステップST1201において画像取得部11から出力された正常画像を取得すると(ステップST1301)、画像取得終了判定を行う(ステップST1302)。
具体的には、正常画像解析部121は、ドメイン変換学習を行う際に使用するための正常画像を、予め指定されている枚数取得したかどうかを判定する。
正常画像解析部121は、予め指定されている枚数の正常画像を取得していないと判定すると(ステップST1303の“NO”の場合)、ステップST1301に戻り、画像取得部11から出力された正常画像を取得し続ける。
正常画像解析部121は、予め指定されている枚数の正常画像を取得したと判定すると(ステップST1303の“YES”の場合)、正常画像の取得を終了し、ステップST1304に進む。
具体的には、正常画像解析部121は、制御部10を介して、ニューラルネットワークの構成を規定する情報を、記憶部13に記憶させる。制御部10が、記憶部13に対して、ニューラルネットワークの構成を規定する情報を記憶する指示を与える。
図14は、実施の形態1において、「検査モード」における異常検査装置1の動作を説明するためのフローチャートである。
画像取得部11は、ネットワークを介して、カメラ2から判定対象画像を取得する(ステップST1401)。
なお、ステップST1401の処理は、制御部10が、入出力装置4から起動信号および設定信号を受け取り、画像取得部11に対して撮影画像を取得させるよう制御することで行われる。具体的には、例えば、ユーザは、例えば、ユーザは、入出力装置4において、異常検査装置1を起動させ「検査モード」に設定する。入出力装置4は、ユーザからの指示に基づき、異常検査装置1の起動信号、および、異常検査装置1を「設定モード」に設定する設定信号を異常検査装置1に送信する。制御部10は、ユーザから入力された起動信号および設定信号を受け取る。
画像取得部11は、取得した判定対象画像を画像解析部12の判定対象画像解析部122に出力する。
ステップST1402の処理は、制御部10が、判定対象画像解析部122に対して「検査モード」での動作を指示することで行われる。
判定対象画像解析部122は、ステップST1401において画像取得部11から出力された判定対象画像を取得すると(ステップST1501)、画像取得終了判定を行う(ステップST1502)。
具体的には、判定対象画像解析部122は、異常を判定するための判定対象画像を、指定されている枚数取得したかどうかを判定する。
判定対象画像解析部122は、指定されている枚数の判定対象画像を取得していないと判定すると(ステップST1503の“NO”の場合)、ステップST1501に戻り、画像取得部11から出力された判定対象画像を取得し続ける。
判定対象画像解析部122は、指定されている枚数の判定対象画像を取得したと判定すると(ステップST1503の“YES”の場合)、判定対象画像の取得を終了し、ステップST1504に進む。
学習結果取得部123は、取得した情報を、判定対象画像解析部122に出力する。
具体的には、判定対象画像解析部122は、判定対象画像に対してドメイン順変換およびドメイン逆変換を順次行って、ドメイン変換後画像を得る。
そして、判定対象画像解析部122は、ステップST1501にて画像取得部11から取得した判定対象画像と、ステップST1505にて得られたドメイン変換後画像とを、判定部14に出力する。
判定部14は、ステップST1402において判定対象画像解析部122から出力された判定対象画像およびドメイン変換後画像を取得し、取得した判定対象画像とドメイン変換後画像とを比較して、異常判定処理を行う(ステップST1403)。
判定部14は、図14のステップST1402において判定対象画像解析部122から取得した判定対象画像とドメイン変換後画像との間で差分絶対値を算出し、差分画像を生成する(ステップST1601)。
判定部14は、判定対象画像において撮影されている対象物3に異常が発生しているか否かを判定した判定結果に関する情報を、入出力部15に出力する。
入出力部15は、ステップST1403において判定部14から出力された、判定結果に関する情報を、入出力装置4に送信する(ステップST1404)。
「検査モード」の場合、制御部10は、判定部14による異常判定処理後、入出力部15に対して、動作指示を与える。
入出力部15が判定結果に関する情報を送信すると、入出力装置4は、入出力部15から送信された情報を受信し、受信した情報を、例えば、ディスプレイに表示する。
図17は、判定部14が判定対象画像において撮影されている対象物3に異常は発生していないと判定した結果が入出力部15から送信された場合に、入出力装置4が表示させる表示画面のイメージの一例を示している。
この場合、入出力装置4は、単に判定対象画像をそのままディスプレイに表示するとともに、異常がないことを通知するためのメッセージ(図17の1701参照)をディスプレイに表示させる。
図17では、異常がないことを通知するためのメッセージの一例として、「OK」という文字が表示されるものとしている。なお、これは一例に過ぎず、入出力装置4は、ユーザに異常がないことを通知できる適宜のメッセージを表示させるようになっていればよい。
この場合、入出力装置4は、判定対象画像に対して、異常箇所を重畳表示させる(図18の1801参照)とともに、異常が発生していることを通知するためのメッセージ(図18の1802参照)をディスプレイに表示させる。図18では、一例として、入出力装置4は、異常が発生していることを通知するためのメッセージとして、「NG」と表示させるようにしている。
また、入出力装置4は、判定対象画像に対して、異常箇所を重畳表示させるとともに、異常箇所に注意を促すためのメッセージ(図18の1803参照)をディスプレイに表示させる。図18では、一例として、入出力装置4は、異常箇所に注意を促すためのメッセージとして、「CHECK!」と表示させるようにしている。 なお、入出力装置4は、異常箇所を、入出力部15から送信された判定結果に関する情報に含まれる、バウンディングボックスの情報から特定すればよい。
また、図18では、異常が発生していることを通知するためのメッセージの一例として、「NG」という文字が表示されるものとしているが、これは一例に過ぎない。入出力装置4は、ユーザに異常が発生していることを通知できる適宜のメッセージを表示させるようになっていればよい。また、図18では、異常箇所に注意を促すためのメッセージの一例として、「CHECK!」という文字が表示されるものとしているが、これは一例に過ぎない。入出力装置4は、ユーザに、異常箇所への注意を促すことができる適宜のメッセージを表示させるようになっていればよい。
判定対象画像において撮影されている対象物3に異常が発生していると判定された場合、入出力装置4は、異常箇所を、図18に示すように直接的に表示するのではなく、図19に示すように、判定対象画像に対して差分画像を合成した合成画像をディスプレイに表示させるようにしてもよい。
図19では、入出力装置4は、例えば、左側に判定対象画像、右側に上述の合成画像を、並べて表示させるものとしている。
合成画像では、判定対象画像において正常状態からの差分が大きくなっている箇所が著しく目立つ(図19の1901参照)ように表示されるため、ユーザは、異常の検査を行う際に、着目すべき箇所を容易に把握できるようになる。
例えば、入出力装置4は、差分が小さい部分を暗く、差分が大きい部分が明るく表示する合成画像を生成してもよいし(図19参照)、差分が小さい部分を青く表示し、差分が大きくなるにしたがって赤くなるようにカラー表示するようにしてもよい。
・照明条件の違い
・カメラ2と対象物3との位置関係の違い
・正常範囲内での対象物3のばらつき(異常と判定すべきではない色の違い、または、異常と判定すべきではない表面の傷等)
上述のような要因による、正常画像と判定対象画像との差異と、対象物3に異常が発生していることによる、正常画像と判定対象画像との差異とを見分けることは困難である。そのため、過去に撮影した正常画像と、判定対象画像とを、単純に比較するだけでは、高精度に異常を検出することはできない。
正常画像と判定対象画像との差異の検出精度を向上させるため、例えば、撮影システムを工夫して、照明条件、および、カメラ2と対象物3との位置関係を一定に保つようにすることも考えられる。しかし、そのようにしても、カメラ2または対象物3の周囲を覆うための遮光板、または、カメラ2または対象物3の位置を高精度に決めるための治具が必要である等、撮影システムの高コスト化を招くという問題がある。
そのため、上述したような、撮影条件の違い、または、正常範囲内でのばらつきによる画像間の差異に影響を受けない高精度な異常判定が可能になる。
また、異常検査装置1は、対象物とカメラの確実な固定、または、高精度な位置決め装置等を必要としないため、導入コストの増加を抑えることが可能になる。
また、ユーザ等は、例えば、判定対象画像において、異常とはどのような状態であるかを詳細に定義する必要がなく、どのような異常にも汎用的に適用することができる。
さらに、学習モードにおいては、対象物とカメラの位置関係が一定でない複数の画像を用いて機械学習を行うこともできる。このような機械学習を行った場合、検査モードにおいては、任意の画像を対象とすることができ、対象物とカメラの確実な固定または高精度な位置決めを必要としないという効果を奏する。
実施の形態1では、異常検査装置1は、予め正常画像に基づきニューラルネットワークの構成を学習させておき、学習結果を用いて、判定対象画像において撮影されている対象物3に異常が発生しているか否かを判定するようにした。
実施の形態2では、異常検査装置1aが、さらに、判定対象画像において撮影されている対象物3に発生している異常の解析を行う実施の形態について説明する。
図20に示す異常検査装置1aは、実施の形態1において図1を用いて説明した異常検査装置1とは、異常解析部16を備える点が異なる。異常検査装置1aの、異常解析部16以外の構成は、実施の形態1の異常検査装置1と同様であるため、同様の構成には同じ符号を付して重複した説明を省略する。
なお、判定部14による異常判定処理の具体的な内容は、実施の形態1で説明したとおりであるため重複した説明を省略する。
具体的には、異常解析部16は、判定部14から、判定対象画像において撮影されている対象物3に異常が発生している旨の判定結果に関する情報が出力された場合に、例えば、バウンディングボックスとドメイン順変換画像とを重ね合わせることで、異常が判定対象画像中のどの領域で発生したのかを解析する。
なお、バウンディングボックスに関する情報は、判定部14から出力される、判定結果に関する情報に含まれている。
図21において、図21の211は領域ドメインの画像、図21の2101は基板領域、図21の2102は配線領域、図21の2103はIC領域、図21の2014はバウンディングボックスを、それぞれ示している。
図21に示す例では、配線領域に異常が発生している。この場合、異常解析部16は、配線に異常が発生していると解析し、配線に異常があることを示す情報を、異常解析結果に関する情報として、入出力部15に出力する。
このとき、異常解析部16は、異常解析結果に関する情報ともに、判定部14から取得した、判定結果に関する情報を、入出力部15に出力する。
なお、判定部14から、判定対象画像において撮影されている対象物3に異常は発生していない旨の判定結果に関する情報が出力された場合、異常解析部16は、異常解析は行わず、判定結果に関する情報を、そのまま入出力部15に出力する。
異常解析部16が記憶部13から読み出す任意の情報とは、例えば、発生している異常に対応したエラーコード、または、発生している異常への対処マニュアル等である。
実施の形態2に係る異常検査装置1aにおいても、実施の形態1に係る異常検査装置1同様、「学習モード」と「検査モード」を実施する。
異常検査装置1aにおける「学習モード」での具体的な動作は、実施の形態1において、図12および図13を用いて説明した、異常検査装置1における「学習モード」での具体的な動作と同様であるため、重複した説明を省略する。
図22は、実施の形態2において、「検査モード」における異常検査装置1aの動作を説明するためのフローチャートである。
画像取得部11は、ネットワークを介して、カメラ2から判定対象画像を取得する(ステップST2201)。ステップST2201における画像取得部11の具体的な動作は、実施の形態1で説明した図14のステップST1401における画像取得部11の具体的な動作と同様である。
画像取得部11は、取得した判定対象画像を画像解析部12の判定対象画像解析部122に出力する。
ステップST2202において、判定対象画像解析部122は、実施の形態1で図15を用いて説明したような動作を行う。ただし、ステップST2202では、判定対象画像解析部122は、判定部14に対して、判定対象画像およびドメイン変換後画像に加え、ドメイン順変換画像も出力する。
ステップST2203において、判定部14は、実施の形態1で図16を用いて説明したような異常判定処理を行う。
判定部14は、判定結果に関する情報とともに、ステップST2202において判定対象画像解析部122から取得したドメイン順変換画像を、異常解析部16に出力する。
「検査モード」の場合、制御部10は、判定部14による異常判定処理後、異常解析部16に対して、動作指示を与える。
異常解析部16は、図22のステップST2203において、判定部14から、判定対象画像において撮影されている対象物3に異常が発生している旨の判定結果に関する情報が出力されたかどうかを判定する(ステップST2301)。
ステップST2301において、異常解析部16は、判定部14から、判定対象画像において撮影されている対象物3に異常が発生していない旨の判定結果に関する情報が出力されたと判定した場合(ステップST2301の“NO”の場合)、図23で示す処理を終了し、図22のステップST2205に進む。なお、このとき、異常解析部16は、判定部14から出力された、判定結果に関する情報を、そのまま入出力部15に出力する。
入出力部15は、ステップST2204において異常解析部16から出力された、判定結果に関する情報を、入出力装置4に送信する(ステップST2205)。
入出力部15は、異常解析部16から、異常解析結果に関する情報が出力された場合には、異常解析結果に関する情報を、判定結果に関する情報とともに、入出力装置4に送信する。
例えば、入出力部15から異常解析結果に関する情報が出力された場合、入出力装置4は、当該異常解析結果に関する情報に基づき、対象物3における異常が発生している箇所、エラーコード、または、対処マニュアルに関する情報等を、ディスプレイに表示する。
また、実施の形態2によれば、異常検査装置1aは、判定対象画像解析部122は、画像取得部11が取得した判定対象画像に対し、正常画像を教師データとして行われた機械学習の結果を用いたドメイン順変換を行い、取得したドメイン順変換画像を判定部14に出力し、判定部14が、画像取得部11が取得した判定対象画像において撮影されている対象物3に異常が発生していると判定した場合に、ドメイン順変換画像を用いて、異常の解析を行う異常解析部16をさらに備えるように構成した。そのため、判定対象画像に異常が発生していると判定した場合に、ドメイン順変換画像を用いて、発生していると判定した異常を解析するため、異常が発生していると判定した場合に、当該異常の分類または対処方法に関する情報を提供できる。
しかし、これに限らず、予め、異常検査装置1,1aによる「検査モード」の実施前に、正常画像を用いた機械学習が行われているようになっていればよい。例えば、予め機械学習が行われ、当該機械学習の結果が記憶されている状態である場合、異常検査装置1,1aは、正常画像解析部121を備えない構成とし、学習結果取得部123は、予め記憶されている機械学習の結果を取得するようにすることもできる。
Claims (6)
- 検査対象の対象物が撮影された判定対象画像を取得する画像取得部と、
正常状態の前記対象物が撮影された正常画像を教師データとして行われた、画像のドメイン順変換または画像のドメイン逆変換の機械学習の結果、を取得する学習結果取得部と、
前記画像取得部が取得した前記判定対象画像に対し、前記学習結果取得部が取得した機械学習の結果を用いてドメイン順変換およびドメイン逆変換を順次行い、ドメイン変換後画像を取得する判定対象画像解析部と、
前記画像取得部が取得した前記判定対象画像と、前記判定対象画像解析部が取得した前記ドメイン変換後画像とを比較して、前記判定対象画像において撮影されている前記対象物に、異常が発生しているか否かを判定する判定部
とを備え、
前記判定対象画像解析部は、前記画像取得部が取得した前記判定対象画像に対し、前記正常画像を教師データとして行われた機械学習の結果を用いたドメイン順変換を行い、ドメイン順変換画像を取得し、
前記判定部が、前記画像取得部が取得した前記判定対象画像において撮影されている前記対象物に前記異常が発生していると判定した場合に、前記ドメイン順変換画像を用いて、前記異常の解析を行う異常解析部
をさらに備えた異常検査装置。 - 前記画像取得部は、前記判定対象画像に加え、正常状態の前記対象物が撮影された正常画像を取得することができるものであり、
当該画像取得部が取得した正常画像を教師データとして、前記機械学習を行う正常画像解析部をさらに備え、
前記学習結果取得部は、前記正常画像解析部が行った前記機械学習の結果を取得する
ことを特徴とする請求項1記載の異常検査装置。 - 前記判定部は、
前記ドメイン順変換または前記ドメイン逆変換を、ニューラルネットワークを用いて行う
ことを特徴とする請求項1記載の異常検査装置。 - 前記判定部は、
前記判定対象画像と前記ドメイン変換後画像をそれぞれ構成する複数の画素のうち、互いに対応する位置にある複数の画素における各画素の画素値間の差分を絶対値で示した差分画像を生成し、当該差分画像の複数画素のうち前記絶対値が閾値以上となる画素の集合で形成される領域を、前記判定対象画像において撮影されている前記対象物に異常が発生している領域と判定する
ことを特徴とする請求項1記載の異常検査装置。 - 前記判定部による、前記判定対象画像において撮影されている前記対象物に、異常が発生しているか否かの判定結果に関する情報を、表示装置に出力する入出力部
を備えた請求項1記載の異常検査装置。 - 画像取得部が、検査対象の対象物が撮影された判定対象画像を取得するステップと、
学習結果取得部が、正常状態の前記対象物が撮影された正常画像を教師データとして行われた、画像のドメイン順変換または画像のドメイン逆変換の機械学習の結果、を取得するステップと、
判定対象画像解析部が、前記画像取得部が取得した前記判定対象画像に対し、前記学習結果取得部が取得した機械学習の結果を用いてドメイン順変換およびドメイン逆変換を順次行い、ドメイン変換後画像を取得するステップと、
判定部が、前記画像取得部が取得した前記判定対象画像と、前記判定対象画像解析部が取得した前記ドメイン変換後画像とを比較して、前記判定対象画像において撮影されている前記対象物に、異常が発生しているか否かを判定するステップ
とを備え、
前記判定対象画像解析部は、前記画像取得部が取得した前記判定対象画像に対し、前記正常画像を教師データとして行われた機械学習の結果を用いたドメイン順変換を行い、ドメイン順変換画像を取得し、
異常解析部が、前記判定部により、前記画像取得部が取得した前記判定対象画像において撮影されている前記対象物に前記異常が発生していると判定した場合に、前記ドメイン順変換画像を用いて、前記異常の解析を行うステップ
をさらに備えた異常検査方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/013305 WO2019186915A1 (ja) | 2018-03-29 | 2018-03-29 | 異常検査装置および異常検査方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6693684B2 true JP6693684B2 (ja) | 2020-05-13 |
JPWO2019186915A1 JPWO2019186915A1 (ja) | 2020-05-28 |
Family
ID=68059606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504740A Active JP6693684B2 (ja) | 2018-03-29 | 2018-03-29 | 異常検査装置および異常検査方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11386549B2 (ja) |
JP (1) | JP6693684B2 (ja) |
KR (1) | KR102206698B1 (ja) |
CN (1) | CN111902712B (ja) |
DE (1) | DE112018007171T5 (ja) |
TW (1) | TWI719357B (ja) |
WO (1) | WO2019186915A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112020006786T5 (de) * | 2020-04-27 | 2023-01-12 | Mitsubishi Electric Corporation | Bilduntersuchungsvorrichtung und Bilduntersuchungsverfahren |
CN115461612A (zh) * | 2020-04-28 | 2022-12-09 | 三菱电机株式会社 | 外观检查装置和外观检查方法 |
JP7505256B2 (ja) * | 2020-05-15 | 2024-06-25 | オムロン株式会社 | 画像検査装置、画像検査方法及び学習済みモデル生成装置 |
US11272097B2 (en) * | 2020-07-30 | 2022-03-08 | Steven Brian Demers | Aesthetic learning methods and apparatus for automating image capture device controls |
JP2022108855A (ja) * | 2021-01-14 | 2022-07-27 | オムロン株式会社 | 部品検査装置 |
TWI779836B (zh) * | 2021-09-15 | 2022-10-01 | 英業達股份有限公司 | 基於影像處理的鍵盤檔案驗證方法 |
KR102656162B1 (ko) * | 2021-12-16 | 2024-04-11 | 의료법인 성광의료재단 | 인공지능을 이용한 라디오믹스 기반의 골건강 상태 평가 장치 및 방법 |
JP2023141721A (ja) * | 2022-03-24 | 2023-10-05 | 株式会社Screenホールディングス | 検査システム、教師データ生成装置、教師データ生成方法およびプログラム |
CN114825636A (zh) * | 2022-05-26 | 2022-07-29 | 深圳博浩远科技有限公司 | 一种光伏逆变器健康状态监控与告警***及方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06281592A (ja) * | 1993-03-29 | 1994-10-07 | Sumitomo Metal Ind Ltd | 表面検査方法 |
JP4146971B2 (ja) * | 1999-07-07 | 2008-09-10 | アピックヤマダ株式会社 | リードフレーム検査装置 |
US7295695B1 (en) * | 2002-03-19 | 2007-11-13 | Kla-Tencor Technologies Corporation | Defect detection via multiscale wavelets-based algorithms |
EP2012273B1 (en) * | 2006-04-26 | 2019-05-29 | Mitsubishi Electric Corporation | Object detection device, and object detection device for elevator |
JP4369961B2 (ja) * | 2007-03-23 | 2009-11-25 | 株式会社日立製作所 | 異常検知装置及び異常検知プログラム |
JP2009250777A (ja) * | 2008-04-07 | 2009-10-29 | Fuji Electric Holdings Co Ltd | 表面検査装置および表面検査方法 |
JP2010055194A (ja) * | 2008-08-26 | 2010-03-11 | Sony Corp | 画像処理装置および方法、学習装置および方法、並びにプログラム |
KR101057525B1 (ko) * | 2009-07-09 | 2011-08-17 | 삼성에스디아이 주식회사 | 배터리 팩 |
WO2011004534A1 (ja) * | 2009-07-09 | 2011-01-13 | 株式会社 日立ハイテクノロジーズ | 半導体欠陥分類方法,半導体欠陥分類装置,半導体欠陥分類プログラム |
US8473223B2 (en) * | 2009-10-07 | 2013-06-25 | Iyun Leu | Method for utilizing fabrication defect of an article |
JP2012098181A (ja) * | 2010-11-02 | 2012-05-24 | Sumitomo Electric Ind Ltd | 検出装置及び検出方法 |
JP5804834B2 (ja) | 2011-08-03 | 2015-11-04 | 株式会社オービット | 検査プログラム、同プログラムを格納した記録媒体及び検査装置 |
US9076233B2 (en) * | 2012-02-03 | 2015-07-07 | Seiko Epson Corporation | Image processing device and electronic apparatus using the same |
JP5661833B2 (ja) * | 2013-02-28 | 2015-01-28 | ファナック株式会社 | 線状パターンを含む対象物の外観検査装置及び外観検査方法 |
JP6303352B2 (ja) * | 2013-09-18 | 2018-04-04 | 株式会社デンソーウェーブ | 外観検査システム |
JP6251647B2 (ja) | 2014-07-15 | 2017-12-20 | 株式会社ニューフレアテクノロジー | マスク検査装置及びマスク検査方法 |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
JP6281592B2 (ja) | 2016-04-06 | 2018-02-21 | 大日本印刷株式会社 | レプリカテンプレートの製造方法 |
JP2017215277A (ja) * | 2016-06-02 | 2017-12-07 | 住友化学株式会社 | 欠陥検査システム、フィルム製造装置及び欠陥検査方法 |
JP6702064B2 (ja) * | 2016-06-07 | 2020-05-27 | 株式会社デンソー | 外観異常検査装置、方法、及びプログラム |
US11645744B2 (en) | 2016-12-06 | 2023-05-09 | Mitsubishi Electric Corporation | Inspection device and inspection method |
JP2020053771A (ja) * | 2018-09-25 | 2020-04-02 | オリンパス株式会社 | 画像処理装置、撮像装置 |
CN109829904B (zh) * | 2019-01-29 | 2022-01-14 | 京东方科技集团股份有限公司 | 检测屏幕上灰尘的方法、装置、电子设备、可读存储介质 |
CN111260545B (zh) * | 2020-01-20 | 2023-06-20 | 北京百度网讯科技有限公司 | 生成图像的方法和装置 |
-
2018
- 2018-03-29 WO PCT/JP2018/013305 patent/WO2019186915A1/ja active Application Filing
- 2018-03-29 KR KR1020207027495A patent/KR102206698B1/ko active IP Right Grant
- 2018-03-29 JP JP2020504740A patent/JP6693684B2/ja active Active
- 2018-03-29 DE DE112018007171.5T patent/DE112018007171T5/de active Pending
- 2018-03-29 CN CN201880091679.6A patent/CN111902712B/zh active Active
- 2018-11-07 TW TW107139476A patent/TWI719357B/zh active
-
2020
- 2020-09-24 US US17/031,004 patent/US11386549B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN111902712A (zh) | 2020-11-06 |
KR20200116532A (ko) | 2020-10-12 |
JPWO2019186915A1 (ja) | 2020-05-28 |
KR102206698B1 (ko) | 2021-01-22 |
CN111902712B (zh) | 2023-07-25 |
US11386549B2 (en) | 2022-07-12 |
TWI719357B (zh) | 2021-02-21 |
US20210012476A1 (en) | 2021-01-14 |
DE112018007171T5 (de) | 2021-01-28 |
TW201942567A (zh) | 2019-11-01 |
WO2019186915A1 (ja) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6693684B2 (ja) | 異常検査装置および異常検査方法 | |
JP5102374B2 (ja) | 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置 | |
US20210281748A1 (en) | Information processing apparatus | |
JP2006020275A (ja) | Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
KR102559021B1 (ko) | 불량 이미지 생성 장치 및 방법 | |
JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
JP4442413B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP5242248B2 (ja) | 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体 | |
JP7270842B2 (ja) | 外観検査装置および外観検査方法 | |
JP2008014842A (ja) | シミ欠陥検出方法及び装置 | |
JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
WO2021186672A1 (ja) | 画像処理方法 | |
US20220414826A1 (en) | Image processing apparatus, image processing method, and medium | |
JP2008171142A (ja) | シミ欠陥検出方法及び装置 | |
US11039096B2 (en) | Image processing device, image processing method and storage medium | |
JP7154786B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20090091578A (ko) | 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치 | |
CN113554586A (zh) | 像素异常的显著性自动评估 | |
JP2013153392A (ja) | 画像処理装置および画像処理方法、プログラム | |
CN112543950A (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
TWI576789B (zh) | 影像處理方法、非暫態電腦可讀取記錄媒體及電子裝置 | |
JP2021061513A (ja) | 装置及び方法、プログラム、記憶媒体 | |
KR102323602B1 (ko) | 보안영상 출력 장치 및 방법 | |
JP2004219072A (ja) | 画面のスジ欠陥検出方法及び装置 | |
US20240155210A1 (en) | Data generation apparatus and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200129 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200129 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6693684 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |