JP2015197396A - 画像検査方法および画像検査装置 - Google Patents
画像検査方法および画像検査装置 Download PDFInfo
- Publication number
- JP2015197396A JP2015197396A JP2014076190A JP2014076190A JP2015197396A JP 2015197396 A JP2015197396 A JP 2015197396A JP 2014076190 A JP2014076190 A JP 2014076190A JP 2014076190 A JP2014076190 A JP 2014076190A JP 2015197396 A JP2015197396 A JP 2015197396A
- Authority
- JP
- Japan
- Prior art keywords
- abnormal
- image
- inspection object
- inspection
- mapping data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】検査対象物の異常部が発生した工程を容易に特定することが可能な画像検査方法および画像検査装置を提供する。【解決手段】この画像検査装置100は、複数の工程の各々の終了後に撮像された検査対象物の画像に基づいて、各工程の終了後の検査対象物に存在する異常部の異常モードを判別し、異常部の異常モードと検査対象物における異常部の座標とを含むマッピングデータを生成し、複数の工程における検査対象物の寸法変化に基づいて複数のマッピングデータのサイズを規格化し、規格化された複数のマッピングデータのうちの2つ以上のマッピングデータに含まれる同一異常部をグループ化し、異常部が発生した工程を特定する。【選択図】図10
Description
この発明は画像検査方法および画像検査装置に関し、特に、検査対象物を製造する複数の工程を含む製造ラインにおいて検査対象物を検査する画像検査方法および画像検査装置に関する。
従来より、対象物を撮影して画像を取得し、取得した画像について処理を実行することで、製品の検査や対象物の検出を行なう技術が知られている。そのような技術として、たとえば、MTS(Mahalanobis-Taguchi System:マハラノビス・タグチ・システム)法を用いた技術がある。
特開2010−276481号公報(特許文献1)には、画像処理装置が開示されている。画像処理装置は、検査対象品を撮影して多数の画素からなる画像を取得する撮影部と、撮影部で取得した画像に基づき検査対象品が良品であるか不良品であるかを判別する判別部とを含む。記憶部の算出パラメータは、良品画像群を構成する各画像の各画素における輝度値と、良品画像群を構成する各画像の各画素における当該画素と隣接する画素との間の輝度の差分値と、良品画像群を構成する各画像の各画素における当該画素及び周囲の画素との輝度の積分値との、相関係数行列から算出される。判別部は、検査対象品の画像について、良品画像群のデータとの統計的距離を算出し、該算出された統計的距離が所定範囲にあるか否かを判別する。
また、特開平11−306325号公報(特許文献2)には、対象物検査装置が開示されている。対象物検査装置は、画像入力部から取り込んだ顔画像を含む入力画像に対して、照合領域位置指定部により領域モデルを当て嵌める被照合局所領域の位置を指定する。対象物検査装置は、指定した被照合局所領域毎に輝度正規化部により輝度正規化を行い、さらに、画像処理部によりエッジ検出等の画像処理を行う。そして、対象物検査装置は、判定要素取得部により被照合局所領域の正規化され、画像処理された画像に対して顔の領域モデルを当て嵌めて領域モデル内の各判定要素取得領域の特徴量を抽出し、マハラノビス距離判定部にて抽出した特徴量に基づいて各被照合局所領域毎にマハラノビス距離を算出し、この算出結果により顔の検出を行う。
また、特開平8−327561号公報(特許文献3)には、ガラス板の欠点検査装置が開示されている。欠点検査装置は、ガラス板の搬送方向に設けられた複数の1次元ラインカメラを用いてガラス板の明視野画像、暗視野画像、および透過画像を連続的に撮像し、得られた3種類の画像に基づいて、ガラス板に存在する異物、泡、表面傷、表面凹凸を判別する。。
しかし、従来の技術では、検査対象物の良否を判定することは可能であるが、複数の工程を経て製造される検査対象物に異常部が発生した場合に、その異常部がどの工程で発生したかを特定することは困難であった。
それゆえに、この発明の主たる目的は、検査対象物の異常部が発生した工程を容易に特定することが可能な画像検査方法および画像検査装置を提供することである。
この発明に係る画像検査方法は、検査対象物を製造する複数の工程を含む製造ラインにおいて検査対象物を検査する画像検査方法であって、複数の工程の各々の終了後に撮像された検査対象物の画像に基づいて、各工程の終了後の検査対象物に存在する異常部が複数の異常モードのうちのいずれの異常モードに属するかを判別し、異常部の異常モードと検査対象物における異常部の座標とを含むマッピングデータを生成する第1のステップと、複数の工程における検査対象物の寸法変化に基づいて、複数のマッピングデータに含まれる同一異常部の座標が一致するように複数のマッピングデータのサイズを規格化する第2のステップと、規格化された複数のマッピングデータのうちの2つ以上のマッピングデータに含まれる同一異常部をグループ化し、異常部が発生した工程を特定する第3のステップとを備えたものである。
この発明に係る画像検査方法によれば、検査対象物の異常部がどの工程で発生したかを容易に特定することができる。
<A.概要>
本実施の形態の画像検査装置は、検査対象物を製造する複数の工程を含む製造ラインにおいて検査対象物を検査する画像検査装置であって、複数の工程の各々の終了後に撮像された検査対象物の画像に基づいて、各工程の終了後の検査対象物に存在する異常部が複数の異常モードのうちのいずれの異常モードに属するかを判別し、異常部の異常モードと検査対象物における異常部の座標とを含むマッピングデータを生成するデータ生成部と、複数の工程における検査対象物の寸法変化に基づいて、複数のマッピングデータに含まれる同一異常部の座標が一致するように複数のマッピングデータのサイズを規格化する規格化部と、規格化された複数のマッピングデータのうちの2つ以上のマッピングデータに含まれる同一異常部をグループ化し、異常部が発生した工程を特定する特定部とを備えたものである。
本実施の形態の画像検査装置は、検査対象物を製造する複数の工程を含む製造ラインにおいて検査対象物を検査する画像検査装置であって、複数の工程の各々の終了後に撮像された検査対象物の画像に基づいて、各工程の終了後の検査対象物に存在する異常部が複数の異常モードのうちのいずれの異常モードに属するかを判別し、異常部の異常モードと検査対象物における異常部の座標とを含むマッピングデータを生成するデータ生成部と、複数の工程における検査対象物の寸法変化に基づいて、複数のマッピングデータに含まれる同一異常部の座標が一致するように複数のマッピングデータのサイズを規格化する規格化部と、規格化された複数のマッピングデータのうちの2つ以上のマッピングデータに含まれる同一異常部をグループ化し、異常部が発生した工程を特定する特定部とを備えたものである。
以下、上記のような画像検査装置について詳細に説明する。
<B.ハードウェア構成>
図1は、本実施の形態に従う画像検査装置のハードウェア構成を示すブロック図である。図1を参照して、画像検査装置100は、主たる構成として、CPU(Central Processing Unit)102と、画像検査装置100の使用者による指示の入力を受けるキーボード104およびマウス106と、メモリ108と、各種情報を表示するためのディスプレイ110と、メモリインターフェイス(I/F)115と、通信インターフェイス(I/F)116とを含む。各ハードウェアは、相互にデータバスによって接続されている。
<B.ハードウェア構成>
図1は、本実施の形態に従う画像検査装置のハードウェア構成を示すブロック図である。図1を参照して、画像検査装置100は、主たる構成として、CPU(Central Processing Unit)102と、画像検査装置100の使用者による指示の入力を受けるキーボード104およびマウス106と、メモリ108と、各種情報を表示するためのディスプレイ110と、メモリインターフェイス(I/F)115と、通信インターフェイス(I/F)116とを含む。各ハードウェアは、相互にデータバスによって接続されている。
CPU102は、メモリ108に記憶されたプログラムを読み出して実行することで、画像検査装置100の各部を制御する。より詳細にはCPU102は、当該プログラムを実行することによって、後述する画像検査装置100の処理(ステップ)の各々を実現する。CPU102は、例えば、マイクロプロセッサ(Microprocessor)である。なお、当該ハードウェアは、CPU以外のFPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)およびその他の演算機能を有する回路などであってもよい。
メモリ108は、RAM(Random Access Memory)、ROM(Read-Only Memory)、ハードディスクなどによって実現される。メモリ108は、CPU102によって実行されるプログラム、データなどを記憶する。
画像検査装置100における処理は、各ハードウェアおよびCPU102により実行されるプログラムによって実現される。このようなプログラムは、メモリ108に予め記憶されている場合がある。また、プログラムは、記録媒体114に格納されて流通している場合もある。あるいは、プログラムは、いわゆるインターネットに接続されている情報提供事業者によって、ダウンロード可能なものとして提供される場合もある。このようなプログラムは、メモリインターフェイス115を介して、あるいは、通信インターフェイス116を介してダウンロードされた後、メモリ108に格納される。
図1に示される画像検査装置100を構成する各ハードウェアは、一般的なものである。したがって、画像検査装置100の各ハードウェアの動作は周知であるので、詳細な説明は行なわない。
<C.検査対象物>
ここでは、本実施の形態に従う画像検査装置100が金属板を検査対象物とする場合について説明する。
ここでは、本実施の形態に従う画像検査装置100が金属板を検査対象物とする場合について説明する。
(c1.金属板の製造工程)
本実施の形態に従う画像検査装置100は、検査対象物を製造する複数の工程を含む製造ラインに配置され、複数の工程の各々で撮像された検査対象物の画像に基づいて検査対象物を非破壊で検査する。
本実施の形態に従う画像検査装置100は、検査対象物を製造する複数の工程を含む製造ラインに配置され、複数の工程の各々で撮像された検査対象物の画像に基づいて検査対象物を非破壊で検査する。
まず、このような製造ラインの一例として金属板の製造工程について説明する。検査対象物である金属板が搬送されながら製造工程を通過し、検査工程に移行する。検査工程では搬送路の一部を撮像視野に含むように配置された撮像部であるラインカメラから、撮像によって得られた対象物の撮像画像を用いて対象物の異常の有無、異常モードが検査される。
図2は、金属板の製造工程の一例を示すフローチャートである。ここでは、金属板は、1mm以下の金属薄膜であるものとする。金属板の製造工程では、まず、溶融装置が、銅や金などの金属板を溶融し(ステップST1)、鋳造装置が、インゴット状に鋳造する(ステップST3)。次に、圧延装置が、鋳造されたインゴットを複数のロールで圧延し、当該金属板を薄板化する(ステップST5)。次に、脱脂洗浄装置が、金属表面に付着した油脂分を除去するとともに(脱脂)、洗浄する(ステップST7)。このとき、金属板には、薄板化される過程において、金属溶融時に内包された欠陥、表面に付着した汚れ、傷等が生じる場合がある。
次に、レベリング工程において、小径ローラによって金属板の表面が平坦化される(ステップST9)。次に、検査装置が、金属板の外観を検査し、良品と不良品とを判断する(ステップST11)。そして、金属板は、所定の幅で切断され(ステップST13)、製品として出荷される(ステップST15)。
このような製造工程では、圧延により材料は搬送方向に引き伸ばされるが、その延伸率は金属の厚みより推定することが可能である。
また、製造工程において、金属板が幅方向に切断されることがあるが、この幅についてもモニタされている。製造工程においては、金属板が一度ロール状に巻き取られた後に、別工程において他のロールに再度巻きなおす工程が存在する。この際には撮像時の製品の裏表が逆転する。
製品は高速に搬送されるために、ロールの回転数から求めた異常部の座標位置には誤差が発生しやすい。レーザーマークによる位置情報の記入も有効であるが、製品の不具合発生原因(張力を加えた場合の製品の断裂、マーク部の使用不可)となる他、マークの読取機構、位置情報の記録等、システムが複雑となる。
また、脱脂、洗浄工程で付着した異物に関しても、その大部分が有機物の再付着であることから、紫外線またはX線領域の波長の光を金属表面に照射し、その際の発光部の画像を取得することで、圧延、レベリング時に付着する金属異物(異物発光が無い)と区別することができる。
次に、ラインカメラにより撮像された金属板の画像に基づいて、当該金属板を検査する検査工程について説明する。
図3は、検査工程の概要を示す図である。図3では、レべリング工程に設けられた検査工程が例示されている。図3を参照して、金属板は、レベリング工程において、表面が平坦化されると、検査工程に搬送される。そして、金属板は、ライトから光が照射された状態で、上下方向に設置されたラインカメラにより撮像された後、ロールに巻き取られていく。ラインカメラは、例えば、CCD(Charge Coupled Device)カメラである。なお、ラインカメラは撮像した金属板表面の画像を示す画像データを、画像検査装置100に送信する。画像検査装置100は、通信I/F116を介して撮像された画像データを受信し、メモリ108の所定領域に格納する。
ラインカメラには、同様に例えばCCDカメラを用いているが、照射する光の波長を紫外光、またはX線領域の波長とし、その際に得られる蛍光画像を撮像する機構を備えている。
参考のために、図4(A)(B)に、本実施の形態に係るラインカメラによって撮像された金属板表面の正常部の画像の一例を示す。図4(A)(B)を参照して、金属板の正常部の画像(以下「良品画像」とも称す。)に関しては、画像に特徴的な部分がないことがわかる。すなわち、図4(A)に示された良品画像と、図4(B)に示された良品画像には、特徴的な差がないことがわかる。
これに対して、図5(A)〜(F)は、ラインカメラによって撮像された金属板表面において異常部が観察される画像の一例を示す図である。図5(A)〜(F)を参照して、金属板の異常部を有する画像(以下「異常品画像」とも称す。)に関しては、図4(A)(B)の良品画像に比較して画像に特徴的な部分があることがわかる。ここでは、金属板で観察される異常部を、例えば、図5(A)〜(F)に示される6種類の異常モードM1〜モードM6に分類する。
図5(A)のモードM1の異常部は、金属溶融時に形成された析出物によるものである。また、図5(B)のモードM2の異常部は、金属板の中央付近に黒い筋構造が形成されており、これは圧延時に発生したすり傷を示す。図5(C)のモードM3の異常部は、金属板の中央付近に形成される黒い円状領域を示し、これは、製造時の打痕によるものである。
図5(D)のモードM4の異常部は、金属板の中央付近と上部分における横方向に延びる比較的太い領域を示す。これは金属板表面の変形によるものである。図5(E)のモードM5の異常部は、金属板表面に形成されている筋状の線を示し、これは金属(銅)板の切断時に発生する金属くずが付着したことによる。図5(F)のモードM6の異常部は、金属板表面の中央部から放射状に広がった模様を示す。これは、洗浄時に付着した有機物によるものである。図5(A)〜(F)から異常モードによって、画像の特徴となる異常部の形状、大きさが異なることが分かる。
なお、図5(A)のモードM1の異常部は、金属溶融時に形成された析出物によるものであるため、圧延ロールの径、ロール間の幅等、装置パラメータとの相関が無い。図5(B)のモードM2の異常部は、圧延時に発生した擦り傷であるため、特定の圧延ロールの装置パラメータとの相関がある。図5(C)のモードM3の異常部は、製造時の打痕であるため、表面と裏面の画像位置が一致している。
図5(D)のモードM4の異常部は、金属表面の微小変形によるものであるため、レベリング工程のローラー間隔やローラー径との対応が見られる。図5(E)のモードM5の異常部では、筋状の線が入っており、これは銅の切断時に発生した金属くずが付着したものであるため、切断工程で発生したものと特定できる。図5(F)のモードM6の異常部は、洗浄時に付着した有機物である。有機物である場合は蛍光画像でも通常画像と同様の異常形状が見られる。
<D.マハラノビス距離、およびその算出方式>
まず、本実施の形態に従うマハラノビスの距離の算出方式について、簡単に説明する。具体的には、これは、MT(Mahalanobis-Taguchi)法に基づく算出方式である。
まず、本実施の形態に従うマハラノビスの距離の算出方式について、簡単に説明する。具体的には、これは、MT(Mahalanobis-Taguchi)法に基づく算出方式である。
例えば、取得されたデータをYip、データ項目数をi=1〜k、データセット数をp=1〜nとし、データ項目ごとにデータYipの平均値Miと、標準偏差σiとを計算する。
次に、平均値Miおよび標準偏差σiを用いて、次式(1)により基準化値yipを計算する。
本実施の形態では、取得されたデータYipは、各異常モード当たり、後述する9種類の特徴量(1)〜(9)を用いて異常モードに分類された画像を100個とすれば、9×100の計900個になる。このように、データ項目数は、各画像の特徴量である9個、データセット数はモード毎に分類された画像個数(各100個程度)とする。
次に、基準化値yipを用いて、次式(2)および(3)により基準化値の相関行列Rを作成する。
次に、次式(4)により相関行列Rの逆行列AMTを作成する。
最後に、次式(5)によりマハラノビスの距離D2を計算する。
<E.特徴量の抽出>
次に、画像解析に必要となる画像の特徴量を抽出するために、以下のような画像処理を実施する。
次に、画像解析に必要となる画像の特徴量を抽出するために、以下のような画像処理を実施する。
まず、画像処理に際して画像解像度を変化させた画像を生成する。具体的には、解像度を高解像度、中解像度、低解像度の3段階に変化させた被検査画像を用いた。被検査画像は通常の可視光(自然光)の反射光により撮像した異常部の画像と、紫外またはX線領域の波長の光を照射した際に放出される蛍光をCCDで撮像した画像を用いる。つまり、画像数は1異常部に対して6画像である。
これら6画像について、画像の特徴量を強調するために、以下の画像処理を実施した。
(e1.画像の平滑化と判別分析法による2値化処理)
ここでは、ガウシアン分布に基づく画像の平滑化と、判別分析法を用いた画像処理による2値化処理について説明する。まず、画像のノイズを除去するために、ガウシアン分布に基づいて、画像の輝度値を平坦化させる。次に、判別分析法を適用した2値化処理を実行する。なお、判別分析法は、分離度(separation metrics)が最大となる閾値を求め、自動的に2値化を行う手法である。分離度はクラス間分散(between-class variance)とクラス内分散(within-class variance)との比で算出することができる。
(e1.画像の平滑化と判別分析法による2値化処理)
ここでは、ガウシアン分布に基づく画像の平滑化と、判別分析法を用いた画像処理による2値化処理について説明する。まず、画像のノイズを除去するために、ガウシアン分布に基づいて、画像の輝度値を平坦化させる。次に、判別分析法を適用した2値化処理を実行する。なお、判別分析法は、分離度(separation metrics)が最大となる閾値を求め、自動的に2値化を行う手法である。分離度はクラス間分散(between-class variance)とクラス内分散(within-class variance)との比で算出することができる。
閾値tで2値化したとき、閾値tよりも輝度値が小さい側(黒クラス)の画素数をω1、平均をm1、分散をσ1、輝度値が大きい側(白クラス)の画素数を画素数をω2、平均をm2、分散をσ2、画像全体の画素数をωt、平均をmt、分散をσtとしたときクラス内分散σ2 wは、次式(6)によって算出される。
次に、クラス間分散σ2 bは、全分散(total variance)σtは、それぞれ次の式(7)と式(8)によって算出される。
したがって、クラス間分散σ2 bとクラス内分散σ2 wとの比である分離度は、次式(9)によって算出される。
そして、この分離度が最大となる閾値tを算出して、自動的に2値化処理がなされる。
(e2.平均値による2値化処理、ラベリング処理および膨張処理)
次に、ラインカメラによって撮像された画像から検査対象となる金属板部分を抽出するために、予め抽出したい領域(金属板部分)が定められた、上記方式で2値化処理を行なった2値化画像を用いて、マスク処理を行なった。すなわち、ラインカメラによって撮像された画像から、金属板以外の部分を削除した(金属板部分を抽出した)。なお、ラインカメラによって撮像された各画像について、2値化処理の実施後に、処理前の状態に戻して金属板部分を抽出してもよい。
(e2.平均値による2値化処理、ラベリング処理および膨張処理)
次に、ラインカメラによって撮像された画像から検査対象となる金属板部分を抽出するために、予め抽出したい領域(金属板部分)が定められた、上記方式で2値化処理を行なった2値化画像を用いて、マスク処理を行なった。すなわち、ラインカメラによって撮像された画像から、金属板以外の部分を削除した(金属板部分を抽出した)。なお、ラインカメラによって撮像された各画像について、2値化処理の実施後に、処理前の状態に戻して金属板部分を抽出してもよい。
次に、金属以外の部分を削除後、画像ノイズを削除し実効検査領域を抽出する。ここで、実効検査領域とは、2値化画像に基づいて不良品と判断される要因とは異なる要因で生じたノイズを除外したものである。すなわち、画像上、実際に検査すべき領域とは別の領域を除外したものである。ここでは、画像処理により、画像ノイズとして異常部ではない金属端のうねりによる影部が除外されることについて説明する。
まず、画素の輝度の平均値を閾値として、画像に対して2値化処理が実施される。次に、2値化処理後の画像に対して、ラベリング処理を実施する。ここで、ラベリング処理とは、2値化処理された画像において、白領域(または黒領域)が連続した画素に同じ番号を割り振る処理のことであり、同じ番号が割り振られた画素はひとつのオブジェクトと捉えることが可能となる。次に、画像の特徴量を取得する領域(以下「特徴量取得領域」とも称す。)を特定する。これは、例えば、画像をラベリング処理したときに抽出される白領域のオブジェクトが、画像上におけるどの位置に存在するかを解析することで特定される。
次に、特定された特徴量取得領域における周辺部分に関しても白黒を逆転する膨張処理を実施する。膨張処理により互いに白、黒が異なる隣接した画素同士を白または黒に統一することなどにより、画像上の当該領域の特徴を強調する。
(e3.特徴量抽出処理)
図6(A)は上記の画像処理を施す前の元画像を示し、図6(B)は上記の画像処理を施した後の画像を示す図である。本実施の形態では、画像処理後の画像を用いて、以下の画像特徴量の抽出を実施する。
図6(A)は上記の画像処理を施す前の元画像を示し、図6(B)は上記の画像処理を施した後の画像を示す図である。本実施の形態では、画像処理後の画像を用いて、以下の画像特徴量の抽出を実施する。
上記のような画像処理により特定された特徴量取得領域における、画像毎の以下の特徴量(1)〜(9)を抽出する。
(1)1画像内の異常部の個数
(2)異常部の横幅
(3)異常部の縦横比
(4)異常部の画素面積
(5)異常部の周囲長さ
(6)異常部の円形度を含む(円形度は4πS/Lで表現される)
(7)異常部の外形の曲率
(8)異常部の輝度積分値
(9)異常部の重心の位置
これら特徴量の算出には、周知の方法を用いることができるので、ここでは説明を繰り返さないが、例えば輝度積分値の算出方法を簡単に説明する。
(1)1画像内の異常部の個数
(2)異常部の横幅
(3)異常部の縦横比
(4)異常部の画素面積
(5)異常部の周囲長さ
(6)異常部の円形度を含む(円形度は4πS/Lで表現される)
(7)異常部の外形の曲率
(8)異常部の輝度積分値
(9)異常部の重心の位置
これら特徴量の算出には、周知の方法を用いることができるので、ここでは説明を繰り返さないが、例えば輝度積分値の算出方法を簡単に説明する。
特徴量取得領域の部分画像について直交するX軸(横方向)およびY軸(縦方向)を設定して、特定のX座標におけるY軸が延びる方向の画素輝度を積分した値、または、特定のY座標におけるX軸が延びる方向の画素輝度を積分した値を特徴量として取得する。なお、複数の座標ごとに算出される上記の複数の積分値を、それぞれ特徴量として取得してもよい。すなわち、例えば、X座標におけるY軸が延びる方向の画素輝度の積分値を1つの特徴量、Y座標におけるX軸が延びる方向の画素輝度の積分値を別の特徴量として取得してもよい。
なお、本実施の形態では、マハラノビスの距離の算出に際しては、上記の(1)〜(9)の特徴量のうち少なくとも1つ以上を用いればよい。また、上記の9種類とは異なる特徴量を用いてもよい。
<F.機能構成>
次に、本実施の形態に従う画像検査では、予め異常品であること、および対応する製造工程の異常モードが判っている複数の異常品対象物を撮像した、異常モード毎の複数の異常品画像からなる画像群を取得しておく。このように、上記の各異常モードについて複数の異常品画像を予め準備しておくが、本実施の形態では、これを、異常モード別の基準画像ともいう。画像検査装置100は、異常モード毎に、当該異常モードに該当する複数の基準画像のマハラノビス距離の代表値(以下、基準マハラノビスという場合がある)を計算して取得する。検査時は、被検査画像の特徴量に関し各異常モードの基準マハラノビスに対する距離から、被検査画像が帰属する異常モードを判定する。基準マハラノビスとして、ここでは複数の基準画像のマハラノビス距離の平均値を用いるが、代表値であれば、最頻値、中央値であってもよい。
次に、本実施の形態に従う画像検査では、予め異常品であること、および対応する製造工程の異常モードが判っている複数の異常品対象物を撮像した、異常モード毎の複数の異常品画像からなる画像群を取得しておく。このように、上記の各異常モードについて複数の異常品画像を予め準備しておくが、本実施の形態では、これを、異常モード別の基準画像ともいう。画像検査装置100は、異常モード毎に、当該異常モードに該当する複数の基準画像のマハラノビス距離の代表値(以下、基準マハラノビスという場合がある)を計算して取得する。検査時は、被検査画像の特徴量に関し各異常モードの基準マハラノビスに対する距離から、被検査画像が帰属する異常モードを判定する。基準マハラノビスとして、ここでは複数の基準画像のマハラノビス距離の平均値を用いるが、代表値であれば、最頻値、中央値であってもよい。
(f1.装置構成)
図7は、本実施の形態に従う画像検査装置100の機能構成を示すブロック図である。
図7は、本実施の形態に従う画像検査装置100の機能構成を示すブロック図である。
図7を参照して、画像検査装置100は、各異常モードの基準画像についてマハラノビス距離を算出する機能構成として、異常モードM1に対応する異常品特徴量抽出部32および基準空間構成部34と、異常モードM2に対応する異常品特徴量抽出部42および基準空間構成部44と、異常モードM3に対応する異常品特徴量抽出部52および基準空間構成部54を備える。ここでは、説明を簡単にするために図示は省略されるが、異常モードM4〜M6に対応する異常品特徴量抽出部と基準空間構成部も異常モードM1〜M3と同様にして備えることができる。
また、画像検査装置100は、検査対象画像のマハラノビス距離の算出に関する機能構成として特徴量抽出部20を備える。
また、画像検査装置100は、被検査画像の異常モードを判定するための情報を格納するメモリ108の所定記憶領域に相当する情報格納部70、検査対象画像の特徴量に関し各異常モードの基準マハラノビスに対する距離を算出するモード毎の距離計算部90(以下、距離計算部90という場合がある)、および距離計算部90の算出結果から検査対象画像が帰属する異常モードを分類し判定する異常モード分類部95を備える。画像検査装置100は、金属板の製造工程に適用される装置の製造に係る特性を示す装置パラメータデータ112と、各工程の検査対象画像およびプロセスデータ118とを入力し情報格納部70に格納する。
さらに、画像検査装置100は、異常部規格化マッピングデータ生成部120、同一異常特定部122、異常発生工程特定部124、異常原因判定部126、異常発生時の距離計算部128、および要因分析部130を備える。
上述した機能は、基本的には、画像検査装置100のCPU102がメモリ108に格納されたプログラムを実行し、画像検査装置100の構成要素へ指令を与えることなどによって実現される。すなわち、CPU102は画像検査装置100の動作全体を制御する制御部としての機能を有する。なお、これらの機能構成の一部または全部はハードウェアで実現されていてもよい。
(f2.情報格納部)
図8は本実施の形態に係る情報格納部70に格納される情報の一例を模式的に示す図である。情報格納部70の領域は、検査のために参照されるデータを対応づけて格納する領域E1と、異常モード毎に異常品画像を分類して格納するための領域E2と、異常原因を特定するためのデータを格納する領域E3と、各工程の検査対象画像およびプロセスデータを格納する領域E4とを含む。
図8は本実施の形態に係る情報格納部70に格納される情報の一例を模式的に示す図である。情報格納部70の領域は、検査のために参照されるデータを対応づけて格納する領域E1と、異常モード毎に異常品画像を分類して格納するための領域E2と、異常原因を特定するためのデータを格納する領域E3と、各工程の検査対象画像およびプロセスデータを格納する領域E4とを含む。
領域E1には、異常モードM1〜M6のそれぞれに対応して、当該異常モードの識別子(M1〜M6)と、算出される基準マハラノビス距離(D1g〜D6g)とが格納される。
領域E2には、各異常モードについて、当該異常モードの異常品画像が格納される。異常品画像には、予め準備された基準画像と、検査時に当該異常モードに帰属すると判定された検査対象画像とが含まれる。
領域E3には、異常モード毎に異常原因特定データ701が格納される。異常原因特定データ701は、金属板上における各異常部について異常部関連データ61を含む。異常部関連データ61は、当該異常部の発生の位置・周期を示す位置パラメータ111と、当該異常発生に起因する製造装置に関するパラメータを示す装置パラメータデータ112と、当該異常の発生原因を示す発生原因データ113とを対応付けて含む。領域E3のデータは予め実験などにより取得されて格納される。
位置パラメータ111は、単位製造量あたり例えば1ロットあたりの金属板における異常部発生位置と発生周期を示す。なお、検査時において、検査対象画像には、対応する金属板の当該1ロットにおける位置を示す位置情報が付加される。位置情報は、製造ラインの金属板の搬送速度とラインカメラの撮影速度(シャッタ速度)とを用いて算出される。これら速度は、一般的に固定値である。ラインカメラ側で両速度から位置情報を算出して撮像画像に付加する、または画像検査装置100で算出して、検査対象画像を入力する毎に当該画像に付加する。
装置パラメータデータ112としては、例えば、対応の位置パラメータ111が示す異常部の発生位置と発生周期に対応する異常部の画像と製品の位置(座標情報)関係、異常部の発生に関わる製造装置に関するパラメータ(圧延ロールの円周、圧延ロールの間隔、レベリング工程のロールの径、レベリング工程のロールの間隔など)、製品の幅、当該異常部の形状、通常モードの画像と蛍光モードの画像との対応関係などのうち、当該異常発生に起因する1つ以上のパラメータを含む。
発生原因データ113は、当該異常発生の原因(工程の種類、製造ラインにおける異常発生の場所など)を示す。
領域E4には、各工程の検査対象画像とプロセスデータ118が格納される。プロセスデータは、たとえば、製品の処理温度、製品の処理溶液のPH、製品の処理溶液の液組成、製品の処理溶液の溶存酸素量、製品の処理溶液の粘度、製品の処理時の張力、製品の処理溶液の次亜塩素酸濃度を含む。
(f3.各部の機能)
図7を参照して、異常品特徴量抽出部32は、予めモードM1に該当する異常(不良)品であることがわかっている複数の異常品対象物をラインカメラで撮像して得られた複数の異常品画像の各々について複数の特徴量を取得する。具体的には、異常品特徴量抽出部32は、対象の画像を基準閾値に基づいて2値化処理することによって2値化画像を生成し、2値化画像に基づいて異常品と判断される要因とは異なる要因で生じたノイズを除外した実効検査領域を抽出し、実効検査領域に基づいて特徴量を取得する。異常品特徴量抽出部32は、実効検査領域から特定された特徴量取得領域の各画素における上記の9種類の特徴量(1)〜(9)を取得する。
図7を参照して、異常品特徴量抽出部32は、予めモードM1に該当する異常(不良)品であることがわかっている複数の異常品対象物をラインカメラで撮像して得られた複数の異常品画像の各々について複数の特徴量を取得する。具体的には、異常品特徴量抽出部32は、対象の画像を基準閾値に基づいて2値化処理することによって2値化画像を生成し、2値化画像に基づいて異常品と判断される要因とは異なる要因で生じたノイズを除外した実効検査領域を抽出し、実効検査領域に基づいて特徴量を取得する。異常品特徴量抽出部32は、実効検査領域から特定された特徴量取得領域の各画素における上記の9種類の特徴量(1)〜(9)を取得する。
基準空間構成部34は、モードM1の複数の異常品画像の各々についての特徴量(1)〜(9)に基づいて、異常品画像ごとのマハラノビス距離を算出する。基準空間構成部34は、異常品画像ごとのマハラノビス距離を平均した基準マハラノビス距離D1gを算出する。
上記のモードM1の異常品画像についての基準マハラノビス算出方法は、モードM2の異常品画像についての異常品特徴量抽出部42および基準空間構成部44でも同様に実施されて、モードM2の異常品画像ごとのマハラノビス距離を平均した基準マハラノビス距離D2gが算出される。同様にして、モードM3の異常品画像についての異常品特徴量抽出部52および基準空間構成部54でもモードM3の異常品画像ごとのマハラノビス距離を平均した基準マハラノビス距離D3gが算出される。さらに、他の異常モードM4〜M6それぞれについても、基準マハラノビス距離D4g〜D6gが算出される。
情報格納部70は、モードM1〜M6について算出された基準マハラノビス距離D1g〜D6gを、領域E1に各異常モードに対応づけて格納する。
特徴量抽出部20は、検査時に検査対象物を撮像して得られた被検査画像について上記の9種類の特徴量(1)〜(9)を取得する。特徴量抽出部20は、各々の異常品画像に対して異常品特徴量抽出部32,42,52が実現する機能と同様の機能を被検査画像に対して実現する。
モード毎の距離計算部90は、特徴量抽出部20から出力された特徴量から被検査画像のマハラノビス距離Dоを算出する。
距離計算部90と異常モード分類部95とは、検査対象画像のマハラノビス距離Dоと領域E1の基準マハラノビス距離D1g〜D6gとから当該検査対象画像が帰属する異常モードを判定する。具体的には、基準マハラノビス距離D1g〜D6gそれぞれのうち検査対象画像のマハラノビス距離Dоと最も近い、言い換えるとマハラノビス距離Dоとの差を算出し、差の最も小さい基準マハラノビス距離に対応の異常モードを、検査対象画像が帰属する異常モードであると判定する。
CPU102は、検査対象画像を、判定された異常モードに対応づけて領域E2に格納する。
異常部規格化マッピングデータ生成部120は、異常部の異常モードと検査対象物における異常部の座標とを含むマッピングデータを生成し、複数の工程における検査対象物の寸法変化に基づいて、複数のマッピングデータに含まれる同一異常部の座標が一致するように複数のマッピングデータのサイズを同一サイズに規格化する。
同一異常特定部122は、規格化された複数のマッピングデータのうちの2つ以上のマッピングデータに含まれる同一異常部を特定してグループ化する。異常原因判定部126は、規格化された複数のマッピングデータと、グループ化された異常部とに基づいて各異常部が発生した工程を特定する。異常原因判定部126は、検査対象物に発生した異常部の異常モードと、その異常部が発生した工程とに基づいて、異常部が発生した原因を判定し、判定結果をディスプレイ110などに出力する。
(f3.原因プロセスの特定方法)
次に異常が発生した場合の原因プロセスの特定方法について述べる。各工程におけるプロセスデータは情報格納部70に保管される。情報格納部70内において、正常製品を製造した際のプロセスデータ群を基準データ群として、基準空間を作成する。
次に異常が発生した場合の原因プロセスの特定方法について述べる。各工程におけるプロセスデータは情報格納部70に保管される。情報格納部70内において、正常製品を製造した際のプロセスデータ群を基準データ群として、基準空間を作成する。
異常発生時の距離計算部128は、作成された基準空間に対して、異常製品製造時のプロセスデータを用いてマハラノビス距離を算出する。要因分析部130は、異常発生時のマハラノビス距離が大きくなる要因を要因分析により求め、そのことにより、異常の発生原因プロセスを特定する。
プロセスデータのマハラノビス距離の算出時には、プロセスデータ同士の相関係数が大きくなるため多重共線性の問題が発生する場合が多い。この問題を解決するために、通常の逆行列計算を実施するのではなく、一般化逆行列を適用する。
一般化逆行列を用いてマハラノビス距離Dを計算する方法を以下に示す。まず、相関係数行列Rは次式(10)で示される。
ここで、相関係数行列Rの要素rijは、単位データについてのi番目の項目とj番目の項目の相関係数であり、次式(11)で示される。ただし、rij=rjiであり、i=jのときはrij=1である。
次に、一般化逆行列Aを算出する。固有値行列Λ、固有ベクトル行列W、行列Vを求める。次式(12)に基づいて、相関係数行列Rの固有値を求める。
数式(12)を満たす固有値λを求め、大きい順にλ1、λ2、…λk≧0と並べ、次式(13)で示される特異値行列Λを得る。
次に、数式(14)を満たすλ1に対する固有ベクトル、すなわち数式(15)で示される固有ベクトルを求める。なお、λ1は平方根をとった特異値ではない。
同様に、λi(i=1〜k)に対して固有ベクトルを求め、次式(16)で示される固有ベクトル行列Wを得る。
次に、次式(17)で表わされる行列Vを求める。
また、次式(18)で表わされる一般化逆行列Aを求める。なお、Vtは、行列Vの転置行列である。
次に、単位データのサンプル毎にマハラノビス距離D(単)1を次式(19)に基づいて求める。
同様に、信号データのマハラノビス距離D(信)hを数式(20)に基づいて求め、道データのマハラノビス距離D(未)hを数式(21)に基づいて求める。
<G.処理手順>
図9は、画像検査装置100の動作を示すフローチャートである。まず、画像検査装置が実行するマハラノビス距離の算出処理手順(マハラノビス算出工程)について説明する。概略として、画像検査装置100は、ラインカメラによって撮像されることにより、取得した撮像画像に基づいて、金属板画像の特徴量を取得し、取得した特徴量に基づいてマハラノビス距離を算出する。以下に示す各ステップは、基本的には、CPU102がプログラムを実行することで実現される。
図9は、画像検査装置100の動作を示すフローチャートである。まず、画像検査装置が実行するマハラノビス距離の算出処理手順(マハラノビス算出工程)について説明する。概略として、画像検査装置100は、ラインカメラによって撮像されることにより、取得した撮像画像に基づいて、金属板画像の特徴量を取得し、取得した特徴量に基づいてマハラノビス距離を算出する。以下に示す各ステップは、基本的には、CPU102がプログラムを実行することで実現される。
CPU102はステップS10において、ラインカメラによって撮像された被検査画像を取得する。次にCPU102はステップS12において、取得した画像の特徴量を抽出する。すなわち、CPU102は、撮像画像について、ガウシアンフィルタによる平滑化を行なう。続いて、CPU102は、当該平滑化がされた画像について、判別分析法による2値化処理を用いて、金属板表面の異常部を抽出する。続いて、CPU102は、当該金属板部分が抽出された画像について、画素の輝度の平均値を閾値として2値化処理を実施するとともに、ラベリング処理により複数の異常部を特徴化する。続いて、CPU102は、特徴量を取得する領域を特定し、当該領域について膨張処理を実施し、画像の特徴量を強調化する。
次に、CPU102は、当該取得した特徴量を所定手順に従って正規化する(ステップS14)。次に、CPU102は、異常モード毎の異常品画像を領域E2から読み出し取得する。続いて、各異常モードに対応する異常品特徴量抽出部および基準空間構成部は、領域E2から読み出された当該異常モードに対応の複数の異常品画像について上述したマハラノビス距離算出により、当該異常モードの基準マハラノビス距離を算出する(ステップS16)。これにより、基準マハラノビス距離D1g〜D6gが算出されて、領域E1に格納される。
続いて、距離計算部90はステップS18において、検査対象画像の特徴量を抽出し、検査対象画像の各異常モード毎のマハラノビス距離Dоを算出する。異常モード分類部95は、検査対象画像のマハラノビス距離Dоと、マハラノビス距離に関する所定しきい値とを比較し、所定しきい値よりも小さい値である場合(ステップS20でYES)、検査対象画像は良品画像であると判別する。
一方、所定しきい値以上であると判定すると(ステップS20でNO)、異常モード分類部95は、検査対象画像のマハラノビス距離Dоと領域E1から読み出した異常モードM1〜M6の基準マハラノビス距離D1g〜D6gそれぞれとを比較し、異常モード分類部95は、その比較結果から、距離が最も近い基準マハラノビス距離の異常モードを特定(判定)する(ステップS22)。
CPU102は、異常モードが判定された検査対象画像を、領域E2の対応する異常モードの異常品画像として追加格納する。追加された画像を基準空間データに含めて異常モードの基準空間を再構成し、次の被検査画像の判定を実施する。このことで、被検査画像の増加とともに、検査精度は向上する。
また、ステップS24においてプロセスデータ118を取得し、情報格納部70に格納する。次にステップS26において、金属板の厚さおよび幅から各工程における形状変化を予測する。
次いでステップS28において、異常モード毎に分類された画像に関して、マッピングデータの形状を規格化する。すなわち、母材の厚み、幅から上流のプロセスにおいて規定されたサイズに規格化したマッピングデータを作成する。
ここでマッピングデータについて定義する。この実施の形態で取り扱う金属板に関しては、溶解後に板材として製造される鋳造工程においては厚さが20mm程度ある。この板材を圧延、焼き鈍しを繰り返しながら、厚さ500μm〜10μmの金属薄板、金属箔へ加工する。その際に圧延により板厚が小さくなるとともに、板の長さが増加し、最終的に長さ数100m〜数1000mの長さとなる。
画像検査装置100においては、この表面の異常部の画像をその金属薄板または金属薄膜上の座標情報に紐付けして記憶している。このデータは工程毎にまとめられ、その工程におけるサンプル表面の異常部の位置(すなわち座標)と異常部が属する異常モードと画像情報を1つのデータベースとして保存していることから、便宜上「マッピングデータ」と呼ぶ。
規格化されたマッピングデータに関して、異常モード毎の相対距離、相対角度の位置関係情報から同一異常を工程間のマッピングデータに関してグルーピング化する。ここで、相対位置、相対角度の意味について説明する。規格化前のマッピングデータにおいては、異常モードの発生点の絶対位置は工程間で異なる。また、異常点同士の相対位置関係において、ある点を基準とした他の異常点の角度は、圧延の方向、切断位置によって異なっている。そのため、サンプルの圧延率、圧延方向、切断前の形状を基準としたサンプルを各工程間で規格化する必要がある。このようにして規格化されたマッピング化を実施することで、異常部同士の相対位置、角度の比較が可能となり、そのことによって、マッピング上の異常の特定を実施することができる。
図10(A)(B)は、本実施の形態において、異常の発生工程を特定する方法を示す図である。この方法によれば、グルーピング化により特定された同一異常は工程のどの段階で発生したかを特定することができる。図10(A)は、画像検査装置により記録された各工程毎のマッピングデータを示している。鋳造時には板厚が大きく、その代わりに板の長さが短い。これが圧延、焼鈍を繰り返す中で板厚が小さく、圧延方向に長い状態に加工されていく。その過程においてロールのキズ、金属に内在されていた欠陥が顕在化し、異常部として画像のマッピングデータに記録されていく。
各画像のマッピングデータは各工程毎に1つのデーターセットとして保管されるため、その情報を比較することはできない。また、工程には切断による一部取り出しと、切断部の再圧延も加わる。各マッピングデータは工程毎のデータセットであるため、工程内の異常発生状況を別ロットで比較できるが、工程間の同一ロットの異常の発生状況を比較することはできない。
そこで、図10(B)に示すように、マッピングデータの規格化を実施する。つまり、板材の厚さ情報、切断情報からマッピングデータDAの位置情報をマッピングデータDBの位置情報に変換する。こうすることで、工程間の異常の発生位置を同一の規格化された面内情報で比較することが可能となる。
たとえば、鋳造工程終了後に金属板に存在する異常部は、圧延工程の終了後にも金属板に存在する。圧延工程の前後で金属板の長さが異なるので、マッピングデータDAでは、鋳造工程終了後における異常部の位置と、圧延工程終了後における異常部の位置は異なる。しかし、規格化されたマッピングデータDBでは、鋳造工程終了後における異常部の位置と、圧延工程終了後における異常部の位置とは同じになる。
また、先に述べた異常部の画像によるモード分類から規格化された面内情報において、異常部の座標(規格化後)とその異常モードを特定したマッピングデータDBを得ることができる。規格化後の異常モードを含むマッピングデータを用いることで、同一ロットにおける異なる工程間の特定の異常の発生有無を比較することができる。そこで、図9のステップS30で複数工程のマッピングデータを比較し、ステップS32で同一異常を特定し、ステップS34で異常発生工程を特定する。
例えば、図10(B)のマッピングデータDBにおいて、圧延工程終了後に金属板に存在する異常部の位置および異常モードが、鋳造工程終了後に金属板に存在する異常部の位置および異常モードと同じである場合、その異常部(×)は鋳造工程で発生したと判別することができる。
また、マッピングデータDBにおいて、圧延工程終了後に金属板に存在する異常部が、鋳造工程終了後に金属板に存在しない場合、その異常部(△)は圧延工程で新規に発生したものと判別することができる。
同様に、焼鈍時のマッピングデータDBで見られる☆で示す異常は圧延時には見られないので、この異常が焼鈍時に発生したものと特定できる。また、切断(1/4)工程後で見られた直線状の異常は、焼鈍時には見られないので、切断(1/4)工程で発生したものと特定できる。また、切断(1/4)部再圧延工程後で見られた★で示す異常は、切断(1/4)部取り出し工程では見られないので、切断(1/4)部再圧延工程で発生したものと特定できる。
また、各工程におけるプロセスデータは情報格納部70に保管されており、情報格納部70内において、正常製品を製造した際のプロセスデータ群を基準データ群として、基準空間を作成する。ステップS36において、作成した基準空間に対して、製品製造時のプロセスデータを用いてマハラノビス距離を算出する。異常発生時のマハラノビス距離が大きくなる要因を要因分析により求め、ステップS38において、異常の発生原因プロセスを特定する。
プロセスデータのマハラノビス距離の算出時には、プロセスデータ同士の相関係数が大きくなるために発生する多重共線性の問題が発生する場合が多い。この問題を解決するために、通常の逆行列計算を実施するのではなく、一般化逆行列を適用した。
<実施の形態の変形例>
上記では、金属板を検査対象物として説明したが、画像として取得できるものであればこれに限られない。例えば、液晶パネルに用いられる偏光フィルムを検査対象物としてもよい。発明者らは、上述した検査方式を液晶パネル用の偏光フィルム検査工程、液晶パネルへの貼付後のパネル検査工程に適用した。
上記では、金属板を検査対象物として説明したが、画像として取得できるものであればこれに限られない。例えば、液晶パネルに用いられる偏光フィルムを検査対象物としてもよい。発明者らは、上述した検査方式を液晶パネル用の偏光フィルム検査工程、液晶パネルへの貼付後のパネル検査工程に適用した。
偏光フィルムの製造工程においては、フィルムの表面の傷、ゴミの付着等による変色の問題がある。特に液晶パネルへ貼付後に、静電気等を与えて液晶に配向性を与える際に、静電気を与えるための接触物により、細かな傷や配向の乱れが発生する。
ここでも、異常モードごとに算出されたマハラノビス距離が異なることが確認された。液晶パネル用の偏光フィルム検査工程、液晶パネルへの貼付後のパネル検査工程に、上述した検査方式を導入することで、これまで特定の部位で発生する特定の異常の検査に終始していた検査工程が、未知の異常に関しても高速に、精度良く異常を検出することができるようになった。
<実施の形態の効果>
本実施の形態によれば、画像の特徴量から算出されるマハラノビス距離により、被検査画像の異常モードを特定することができる。また、被検査画像の増加とモードへの分類、新たな基準空間の構成により、モード毎の判定精度を被検査画像の増加とともに向上することができる。
本実施の形態によれば、画像の特徴量から算出されるマハラノビス距離により、被検査画像の異常モードを特定することができる。また、被検査画像の増加とモードへの分類、新たな基準空間の構成により、モード毎の判定精度を被検査画像の増加とともに向上することができる。
また、被検査画像のマハラノビスの距離から、異常が同一の原因で発生したと推定される画像グループを特定することができる。それら画像グループ同士の有する位置パラメータの相対関係から異常の発生工程を特定することができる。その際、工程間で圧延、切断によるサイズ変化が発生する場合がある。圧延により変化する母材の厚さ、切断により変化する母材の幅の変化から、母材のサイズを規格化する。規格化されたサイズにおける異常モード毎の相対的な位置関係から、特定異常が発生した工程を決定することができる。
また、異常が発生した原因工程において、正常時に取得したプロセスデータを基準空間データとして計算する。基準空間データに対する製品製造時のマハラノビス距離をモニターし、画像検査において異常が発生した際のマハラノビス距離の変化に影響する要因となったパラメータを要因分析により特定する。
上記の実施結果より、異常モード毎の発生工程、発生原因を特定することが可能となる。また、ガラス、フィルム等、マーキングが困難な製品であってもマーキングする事なしに、異常の発生工程、発生原因の特定が可能となる。
また、異常部の数、大きさではなく、多変量パターン認識を用いることで異常モードを特性することにより、圧延により大きさが変化した場合にも、CCD画像を用いた異常モード毎の分類が可能となる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
20 特徴量抽出部、32,42,52 異常品特徴量抽出部、34,44,54 基準空間構成部、70 情報格納部、90 モード毎の距離計算部、95 異常モード分類部、100 画像検査装置、102 CPU、104 キーボード、106 マウス、108 メモリ、110 ディスプレイ、111 位置パラメータデータ、112 装置パラメータデータ、113 発生原因データ、115 メモリインターフェイス、116 通信インターフェイス、118 検査対象画像およびプロセスデータ、120 異常部規格化マッピングデータ生成部、122 同一異常特定部、124 異常発生工程特定部、126 異常原因判定部、128 異常発生時の距離計算部、130 要因分析部、D1g〜D6g 基準マハラノビス距離、E1〜E4 領域、M1〜M6 異常モード。
Claims (6)
- 検査対象物を製造する複数の工程を含む製造ラインにおいて前記検査対象物を検査する画像検査方法であって、
前記複数の工程の各々の終了後に撮像された前記検査対象物の画像に基づいて、各工程の終了後の前記検査対象物に存在する異常部が複数の異常モードのうちのいずれの異常モードに属するかを判別し、異常部の異常モードと前記検査対象物における異常部の座標とを含むマッピングデータを生成する第1のステップと、
前記複数の工程における前記検査対象物の寸法変化に基づいて、複数の前記マッピングデータに含まれる同一異常部の座標が一致するように複数の前記マッピングデータのサイズを規格化する第2のステップと、
規格化された複数の前記マッピングデータのうちの2つ以上のマッピングデータに含まれる同一異常部をグループ化し、異常部が発生した工程を特定する第3のステップとを備える、画像検査方法。 - 予め、それぞれ前記複数の異常モードに属する複数群の異常部の画像が撮像され、前記複数群の異常部の画像の特徴部からそれぞれ前記複数群の異常部に対応する複数の基準マハラノビス距離が算出され、
前記第1のステップでは、前記検査対象物の画像の特徴部から第1のマハラノビス距離を算出し、算出した第1のマハラノビス距離と前記複数の基準マハラノビス距離とを比較し、比較結果に基づいて当該異常部が前記複数の異常モードのうちのいずれの異常モードに属するかを判別する、請求項1に記載の画像検査方法。 - 予め、異常部を含まない検査対象物が製造されたときのプロセスデータ群を基準データ群として基準空間が作成され、
さらに、異常部を含む検査対象物が製造されたときのプロセスデータを用いて第2のマハラノビス距離を算出し、算出結果と前記基準空間に基づいて異常部が発生する原因を特定する第4のステップを備える、請求項1または請求項2に記載の画像検査方法。 - 前記第4のステップでは、一般化逆行列を用いて前記第2のマハラノビス距離を算出する、請求項3に記載の画像検査方法。
- 前記検査対象物はフィルムであり、
前記複数の工程のうちの少なくとも1つの工程は圧延工程である、請求項1から請求項4までのいずれか1項に記載の画像検査方法。 - 検査対象物を製造する複数の工程を含む製造ラインにおいて前記検査対象物を検査する画像検査装置であって、
前記複数の工程の各々の終了後に撮像された前記検査対象物の画像に基づいて、各工程の終了後の前記検査対象物に存在する異常部が複数の異常モードのうちのいずれの異常モードに属するかを判別し、異常部の異常モードと前記検査対象物における異常部の座標とを含むマッピングデータを生成するデータ生成部と、
前記複数の工程における前記検査対象物の寸法変化に基づいて、複数の前記マッピングデータに含まれる同一異常部の座標が一致するように複数の前記マッピングデータのサイズを規格化する規格化部と、
規格化された複数の前記マッピングデータのうちの2つ以上のマッピングデータに含まれる同一異常部をグループ化し、異常部が発生した工程を特定する特定部とを備える、画像検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014076190A JP2015197396A (ja) | 2014-04-02 | 2014-04-02 | 画像検査方法および画像検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014076190A JP2015197396A (ja) | 2014-04-02 | 2014-04-02 | 画像検査方法および画像検査装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015197396A true JP2015197396A (ja) | 2015-11-09 |
Family
ID=54547178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014076190A Pending JP2015197396A (ja) | 2014-04-02 | 2014-04-02 | 画像検査方法および画像検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015197396A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018169710A (ja) * | 2017-03-29 | 2018-11-01 | 株式会社富士通アドバンストエンジニアリング | プログラム、情報処理システム、及び情報処理方法 |
CN109459438A (zh) * | 2018-11-27 | 2019-03-12 | 中国工程物理研究院激光聚变研究中心 | 一种缺陷检测设备及方法 |
CN109477803A (zh) * | 2016-07-12 | 2019-03-15 | 吉野石膏株式会社 | 检查方法、检查·通知方法、包括该检查方法的制造方法、检查装置及制造装置 |
WO2019116543A1 (ja) * | 2017-12-15 | 2019-06-20 | 日本たばこ産業株式会社 | シガレットフィルタ検査方法、シガレットフィルタ検査装置、及びシガレットフィルタ検査プログラム |
JP2019190911A (ja) * | 2018-04-20 | 2019-10-31 | ファナック株式会社 | 検査装置 |
CN112424718A (zh) * | 2018-08-06 | 2021-02-26 | 欧姆龙株式会社 | 控制***以及控制装置 |
CN114280083A (zh) * | 2021-12-16 | 2022-04-05 | 重庆日联科技有限公司 | 一种基于线阵相机自动cnc编程实现工业x光无损检测大尺寸平整铸件的检测方法 |
-
2014
- 2014-04-02 JP JP2014076190A patent/JP2015197396A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109477803A (zh) * | 2016-07-12 | 2019-03-15 | 吉野石膏株式会社 | 检查方法、检查·通知方法、包括该检查方法的制造方法、检查装置及制造装置 |
JP2018169710A (ja) * | 2017-03-29 | 2018-11-01 | 株式会社富士通アドバンストエンジニアリング | プログラム、情報処理システム、及び情報処理方法 |
WO2019116543A1 (ja) * | 2017-12-15 | 2019-06-20 | 日本たばこ産業株式会社 | シガレットフィルタ検査方法、シガレットフィルタ検査装置、及びシガレットフィルタ検査プログラム |
US11514566B2 (en) | 2017-12-15 | 2022-11-29 | Japan Tobacco Inc. | Cigarette filter inspection method, cigarette filter inspection apparatus, and cigarette filter inspection program |
JP2019190911A (ja) * | 2018-04-20 | 2019-10-31 | ファナック株式会社 | 検査装置 |
US11282229B2 (en) | 2018-04-20 | 2022-03-22 | Fanuc Corporation | Inspection apparatus |
CN112424718A (zh) * | 2018-08-06 | 2021-02-26 | 欧姆龙株式会社 | 控制***以及控制装置 |
CN109459438A (zh) * | 2018-11-27 | 2019-03-12 | 中国工程物理研究院激光聚变研究中心 | 一种缺陷检测设备及方法 |
CN109459438B (zh) * | 2018-11-27 | 2023-06-20 | 中国工程物理研究院激光聚变研究中心 | 一种缺陷检测设备及方法 |
CN114280083A (zh) * | 2021-12-16 | 2022-04-05 | 重庆日联科技有限公司 | 一种基于线阵相机自动cnc编程实现工业x光无损检测大尺寸平整铸件的检测方法 |
CN114280083B (zh) * | 2021-12-16 | 2023-11-07 | 重庆日联科技有限公司 | 一种基于线阵相机自动cnc编程实现工业x光无损检测大尺寸平整铸件的检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015197396A (ja) | 画像検査方法および画像検査装置 | |
TWI597689B (zh) | 使用表面形貌屬性之缺陷分類 | |
TWI616823B (zh) | 使用以cad為基礎之環境背景屬性之缺陷分類 | |
JP6618478B2 (ja) | 射影画像を用いた自動インライン検査及び計測 | |
US7495758B2 (en) | Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece | |
JP6794737B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび検査システム | |
JP6420529B2 (ja) | パッチ・ツー・パッチ比較を含む欠陥検出のための装置及び方法 | |
Eshkevari et al. | Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method | |
US9031312B2 (en) | Rapid processing and detection of non-uniformities in web-based materials | |
US20140376802A1 (en) | Wafer Inspection Using Free-Form Care Areas | |
KR20140031201A (ko) | 웨브 기반 재료 내의 불균일성의 검출 시스템 | |
JP2011017705A (ja) | パターン検査装置、パターン検査方法および記録媒体 | |
JP2009122939A (ja) | タイヤ検査用特徴抽出プログラム作成装置及びタイヤ検査装置 | |
CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
Zhao et al. | Defect detection of 3D printing surface based on geometric local domain features | |
US11574400B2 (en) | System and method for automated visual inspection | |
Tao et al. | Anomaly detection for fabricated artifact by using unstructured 3D point cloud data | |
JP2014174003A (ja) | 画像検査方法および画像検査装置 | |
CN110874837B (zh) | 一种基于局部特征分布的缺陷自动检测方法 | |
JP2013200238A (ja) | 画像検査方法および画像検査装置 | |
KR102022494B1 (ko) | 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법 | |
TWI793883B (zh) | 用於線材皮膜的缺陷檢測方法及系統 | |
Bermudez et al. | Automated stent defect detection and classification with a high numerical aperture optical system | |
Wu et al. | A defect detection method based on sub-image statistical feature for texture surface |