JP2006293820A - 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム - Google Patents

Abstract

【課題】 再学習を促す通知を出力できる外観検査装置を提供する。
【解決手段】 外観検査装置１００は、アルゴリズムの作成指令の入力を受けるステップ（Ｓ３１０）と、アルゴリズム作成処理を実行するステップ（Ｓ４００）と、ＲＯＣ評価値の閾値とＲＯＣ解析の条件の入力を受けるステップ（Ｓ３２０）と、作成したアルゴリズムを用いて検査を実施するステップ（Ｓ３３０）と、ＲＯＣ解析を行なう条件を満たす場合に（Ｓ３４０にてＹＥＳ）、ＲＯＣ解析を実行するステップ（Ｓ６００）と、ＲＯＣ評価値が予め定められた条件を満足する場合に（Ｓ３６０にてＹＥＳ）、再学習を促す情報を出力するステップ（Ｓ３７０）とを含む。
【選択図】 図３

Description

本発明は、画像処理を実行することにより検査対象物を検査する技術に関する。より特定的には、本発明は、最適化手法によって生成されたアルゴリズムに基づくパターン認識技術に関し、より詳しくは、検査のための画像データの学習機能を有する外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラムに関する。

従来、外観検査装置には、検査対象の外観を撮像した画像データに対して、最適化手法により生成されたアルゴリズムを用いて画像処理することによって、欠陥を自動的に検出するものがある。たとえば、半導体や液晶基板などの外観検査装置では、基板の表面に生じた割れ、かけ、異物付着、ムラなどの欠陥の画像を学習画像として用いる例がある。

この画像処理検査の過程において、学習する段階で想定していた入力パターンと異なる欠陥パターンが入力される場合や、照明の明るさが変化し、欠陥の撮像画像が全体的や部分的に暗くなりなるなど経時変化する場合があり、画像処理検査の精度が落ちることがある。よって、画像処理検査に用いるアルゴリズムを最適化手法により再学習するタイミングを知ることが重要となる。そこで、これらの課題を解決するために、画像認識あるいは画像処理に関する技術が、特許文献１〜６に開示されている。

たとえば特許第３３３４８０７号公報（特許文献１）は、パターン分類のためのニューラルネットにおける出力パターンの信頼度を判断でき、正解率の低下を検出可能なパターン分類装置を開示している。この装置は、与えられた入力パターンとニューラルネットの学習に用いる学習用データの入力パターンとを比較する入力パターン監視モジュール、学習用データを格納する学習用データファイル、与えられた入力パターンに対する上記ニューラルネットの出力パターンと当該入力パターンについての正解出力パターンとを比較して、比較結果を履歴として蓄積し、該比較結果から異常を判断する実行履歴監視モジュール、該比較結果の履歴を格納する実行履歴ファイル、および当該実行履歴ファイルの内容と上記学習用データファイルの内容を読み出し、読み出された当該実行履歴ファイルの内容を当該学習用データファイルに追加記録し、当該実行履歴ファイルと比較して矛盾が検出されない学習用データを新たに作成してファイル内容を更新する学習用データ更新処理モジュールを備える。

特許第３３３４８０７号公報に開示された装置によると、入力パターン監視モジュールによって、入力パターンとニューラルネットワークの学習に用いる各学習用データの入力パターンとが比較される。また、入力パターンと学習用データの入力パターン全体の分布とが比較される。すなわち、与えられた入力学習用データの入力パターン全体の分布における位置が計算され、かつ与えられた入力パターンに類似した入力パターンを持つ学習用データが検索される。このような監視により、与えられた入力パターンがどの学習用データの入力パターンとも類似していない場合には、この事実が検出される。これにより、当該装置の利用者は、与えられた入力パターンに対して分類結果の信頼度が低いことを知ることができるため、検査精度が低下することを検知することができる。

また、特開平１０-１７１９１０号公報（特許文献２）は、デジタル画像データによって学習がなされた人工ニューラルネットワークを用いて異常を効率よく検出することができる診断支援装置を開示している。この装置は、画像データから部分データを抽出するための抽出部と、当該抽出部によって抽出された部分データに基づいて第１信号データを出力する第１のニューラルネットワーク部と、当該第１信号データに基づいて第２信号データを出力する第２のニューラルネットワーク部と、当該第２信号データに基づいて診断結果を出力するための判定部とを備える。

特開平１０-１７１９１０号公報に開示された装置によると、ニューラルネットワークの学習の段階で、生成されたアルゴリズム（ニューラルネットワーク）の優劣を比較するものとして、レシーバオペレーティング特性（ＲＯＣ（Receiver Operating Characteristics））曲線の下側の面積を用いて、所定の下限値よりも大きくなるまで学習を継続するという技術が用いられている。
特許第３３３４８０７号公報 特開平１０-１７１９１０号公報 特開２００４−２１３５６７号公報 特開２０００−１１０９３号公報 特開平６−２３７９２５号公報 特開２００３−２０８５９５号公報

被検査物を撮影することにより得られる画像データに基づいて当該被検査物の外観を検査する場合に、特許第３３３４８０７号公報に開示された技術を適用すると、以下のような問題が生じ得る。すなわち、ニューラルネットワークの入力パターンとして画像のピクセルの濃淡値が用いられる場合、画像サイズが大きくなるにつれて入力パターンの次元も大きくなる。そのため、ニューラルネットワークの学習の収束が困難となり、実用的でなくなるという問題が生じ得る。また、その画像の中のどの部分に欠陥が存在するかによって、出力結果は大きく異なるという問題も生じ得る。さらに、入力パターンと学習に用いられた入力パターンとの比較において、画像全体に濃淡値のオフセットが乗っただけの欠陥（すなわち、見た目には同じような欠陥）や、位置が数ピクセルだけ移動したような画像データが入力されると、違うものが入力されたと判断される場合がある。そのため、検査入力パターンとして画像のピクセルの濃淡値を用いることは実用的ではないという問題があった。

そこで、検査入力パターンとして、パターン認識でクラス判定に用いられる欠陥の特徴量ベクトルを用いることが考えられる。特徴量ベクトルを用いると、入力パターンの欠陥特徴量の分布状況によって検査精度の信頼性を判断することは、ある程度可能である。しかし、特許第３３３４８０７号公報は、パターン認識における分類・識別の最適化についてを開示しており、画像処理自体の最適化に直接結びつく内容を開示していない。さらに、再学習が必要となる指標は、ニューラルネットワークの出力パターンと、正解出力パターンとの間の平均誤差であるために、定量的な評価を行なうことができない。つまり、再学習開始の閾値を設定するには、ある程度の経験が必要とされるという問題もあった。

一方、特開平１０-１７１９１０号公報に開示された装置によると、第１のニューラルネットワークの入力として、検査領域画像の水平方向のプロファイル、第２のニューラルネットワークの入力として、検査領域画像の垂直方向のプロファイルを用いて、ＲＯＣ曲線の下側の面積が所定値より大きくなるまで学習を継続する。しかしながら、特開平１０-１７１９１０号公報は、再学習の開始について開示していない。そのため、当該診断支援装置は、再学習を開始するタイミングを検知することができないという問題があった。

本発明は、上述の問題点を解決するためになされたものである。その目的は、最適化手法により生成されたアルゴリズムを用いた外観の検査を行なう場合において、当該検査の信頼性あるいは精度が確率的に保証される外観検査装置を提供することである。

本発明の他の目的は、再学習の開始のタイミングを検知可能な外観検査装置を提供することである。

本発明の他の目的は、最適化手法により生成されたアルゴリズムを用いた外観の検査を行なう場合において、当該検査の信頼性あるいは精度が確率的に保証される外観検査方法を提供することである。

本発明の他の目的は、最適化手法により生成されたアルゴリズムを用いた外観の検査を行なう場合において、当該検査の信頼性あるいは精度が確率的に保証される外観検査装置として、コンピュータを機能させるためのプログラムを提供することである。

上記の課題を解決するために、この発明のある局面に従うと、外観検査装置は、画像処理のためのアルゴリズムを生成する生成手段と、複数の検査対象物の撮影により生成された画像データの入力を受ける入力手段とを備える。複数の検査対象物の各々の外観は、たとえば、照明の劣化や振動による光学条件の変化などの原因によって、撮影の時期に応じて変動する。外観検査装置は、複数の検査対象物の各々の撮影により生成された各画像データに対してアルゴリズムに基づく画像処理を実行する処理手段と、画像データに基づいて、複数の検査対象物の各々における欠陥を検出する検出手段と、検出手段による検出の結果と、複数の検査対象物の各々について予め準備されている外観の検査の結果とに基づいて、欠陥が欠陥として検出された割合と、良品が欠陥として検出された割合とに基づく評価値を算出する評価値算出手段と、評価値と予め定められた閾値とが予め定められた条件を満足するか否かを判断する判断手段と、判断手段による判断の結果に基づいて、画像処理のためのアルゴリズムを新たに生成する必要があるか否かを判断する必要性判断手段と、必要性判断手段による判断の結果に基づいて、生成手段に新たなアルゴリズムを生成させる再学習手段とを備える。

好ましくは、判断手段は、評価値が閾値を下回るか否かを判断する。

好ましくは、必要性判断手段は、評価値と閾値とが条件を満足していない場合には、画像処理の対象となる欠陥のパターンは、アルゴリズムが生成された時に対象とされていた欠陥のクラスと良品のクラスとの母集団には含まれないと判断し、そして画像処理のためのアルゴリズムを新たに生成する必要があると判断する。

好ましくは、外観検査装置は、アルゴリズムを新たに生成する必要がある判断された場合に使用された画像データを格納する記憶手段をさらに備える。再学習手段は、再学習が必要であると判断された場合に使用された画像データに基づいて、生成手段に新たなアルゴリズムを生成させる。

好ましくは、評価値算出手段は、外観の特徴量により表現される特徴量データに基づいて、評価値を算出する。特徴量は、撮影によって生成された画像データの特徴を表わす。外観検査装置は、検査対象物を欠陥および良品のいずれかに分類するための基準である識別器データに基づいて、予め定められた条件を満足する評価値を取得することができるか否かを判断する取得性判断手段をさらに備える。再学習手段は、特徴量データに基づいて予め定められた分析処理を実行することにより識別器データの値を変更する。

好ましくは、外観検査装置は、必要性判断手段による判断の結果に基づいて、新たなアルゴリズムを生成する必要であることを通知する通知手段をさらに備える。

好ましくは、外観検査装置は、複数の検査対象物の各々の撮影により生成された各画像データに基づいて、複数の検査対象物の各々の表面に欠陥が生じているか否かを判定する欠陥判定手段をさらに備える。

好ましくは、再学習手段は、画像処理のためのアルゴリズムと識別器データとの少なくともいずれかのデータを取得するための取得手段を含む。識別器データは、複数の検査対象物の各々を欠陥および良品のいずれかに分類するための基準である。外観検査装置は、取得手段により取得されたいずれかのデータに基づいて、複数の検査対象物の各々の表面に欠陥が生じているか否かを判定する判定手段をさらに備える。

この発明の他の局面に従うと、外観検査方法は、画像処理のためのアルゴリズムを生成するステップと、複数の検査対象物の撮影により生成された画像データの入力を受けるステップとを備える。複数の検査対象物の各々の外観は、撮影の時期に応じて変動する。外観検査方法は、複数の検査対象物の各々の撮影により生成された各画像データに対してアルゴリズムに基づく画像処理を実行するステップと、画像データに基づいて、複数の検査対象物の各々における欠陥を検出するステップと、検出の結果と、複数の検査対象物の各々について予め準備されている外観の検査の結果とに基づいて、欠陥が欠陥として検出された割合と、良品が欠陥として検出された割合とに基づく評価値を算出するステップと、評価値と予め定められた閾値とが予め定められた条件を満足するか否かを判断する第１の判断ステップと、第１の判断ステップにおける判断の結果に基づいて、画像処理のためのアルゴリズムを新たに生成する必要があるか否かを判断する第２の判断ステップと、第２の判断ステップにおける判断の結果に基づいて、新たなアルゴリズムを生成するステップとを備える。

この発明のさらに他の局面に従うと、プログラムは、コンピュータを外観検査装置として機能させるためのプログラムである。このプログラムはコンピュータに、画像処理のためのアルゴリズムを生成するステップと、複数の検査対象物の撮影により生成された画像データの入力を受けるステップとを実行させる。複数の検査対象物の各々の外観は、撮影の時期に応じて変動する。プログラムは、コンピュータに、複数の検査対象物の各々の撮影により生成された各画像データに対してアルゴリズムに基づく画像処理を実行するステップと、画像データに基づいて、複数の検査対象物の各々における欠陥を検出するステップと、検出の結果と、複数の検査対象物の各々について予め準備されている外観の検査の結果とに基づいて、欠陥が欠陥として検出された割合と、良品が欠陥として検出された割合とに基づく評価値を算出するステップと、評価値と予め定められた閾値とが予め定められた条件を満足するか否かを判断する第１の判断ステップと、第１の判断ステップにおける判断の結果に基づいて、画像処理のためのアルゴリズムを新たに生成する必要があるか否かを判断する第２の判断ステップと、第２の判断ステップによる判断の結果に基づいて、新たなアルゴリズムを生成するステップとを実行させる。

本発明に係る外観検査装置によると、検査精度、信頼性を定量的に算出することができる。また、検査精度の閾値を予め設定することにより、再学習の必要性が通知されるため、外観検査装置は、学習データを迅速に更新することができる。

本発明に係るプログラムによると、コンピュータは、検査精度、信頼性を定量的に算出することができる外観検査装置として機能することができる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

図１を参照して、本発明の実施の形態に係る外観検査装置を備える検査システム１０について説明する。図１は、検査システム１０のシステム構成を概略的に表わす図である。

検査システム１０は、ステージ１１１と、ステージ１１１において予め定められた範囲に光を照射する光源１１３と、ステージ１１１において予め定められた範囲を撮影して画像信号を出力するカメラ１１４と、ステージ１１１と光源１１３とカメラ１１４との動作をそれぞれ制御するコントローラ１１５と、カメラ１１４とコントローラ１１５とに接続された外観検査装置１００とを含む。ステージ１１１には、外観の検査の対象となる被検査物１１２が予め定められた範囲に装着される。被検査物１１２の外観は、照明の劣化や振動による光学条件の変化などの原因によって、カメラ１１４による撮影の時期に応じて変動する。被検査物１１２は、予め定められた撮像処理および検査処理が終了すると、ステージ１１１から搬出される。外観検査装置１００は、画像処理部１１６と、主制御部１１７と、補助記録装置１１８と、出力部１１９とを含む。

画像処理部１１６は、カメラ１１４から出力される画像信号に対して予め定められた画像処理を実行する。主制御部１１７は、所定の動作を実行させるための制御信号を出力することによりコントローラ１１５を制御する。コントローラ１１５は、その制御信号に基づいて、ステージ１１１、光源１１３、カメラ１１４のそれぞれの動作を制御する。主制御部１１７は、画像処理部１１６に対して所定の指令を出力することにより、画像処理のためのアルゴリズムを用いた処理を実行させる。

補助記録装置１１８は、外観検査装置１００における動作に必要なデータを格納する。このデータは、後述するように、外部から入力されるデータと、主制御部１１７あるいは画像処理部１１６によって生成されたデータとを含む。出力部１１９は、主制御部１１７によって生成されたデータに基づいて外観検査装置１００の状態を出力する。出力されるデータは、たとえば外観検査装置１００における学習が必要である旨、新たなパラメータを用いて外観処理を促すメッセージなどを含む。

図２を参照して、外観検査装置１００のデータ構造について説明する。図２は、補助記録装置１１８におけるデータの格納の一態様を概念的に表わす図である。

補助記録装置１１８は、領域２１０〜２８０を含む。画像処理を実行するために予め生成されたアルゴリズムは、領域２１０に格納されている。このアルゴリズムは、外観検査装置１００の構成時に格納されたものに限られず、その後の学習処理によって更新されたアルゴリズムをも含む。当該アルゴリズムによって所定の画像処理が実行された結果である検査結果は、領域２２０に格納されている。すなわちカメラ１１４から出力される画像データに基づいて実行された処理の結果が、領域２２０に格納されている。一方、同一の被検査物１１２に対して本来出力されるべき結果である真の結果は、領域２３０に格納されている。

学習の終了条件は、領域２４０に格納されている。終了条件は、たとえば後述する処理におけるループ処理の回数、学習時間あるいは学習の評価値などを含む。ＲＯＣ解析の結果は、データが生成されるごとに順次格納される。たとえば、「ＲＯＣ解析の結果０００１．ｄａｔａ」は、領域２５０の格納されている。その後、ＲＯＣ解析処理が再度実行されると、その実行に応じてそれぞれ生成される結果が、蓄積される。図２に示される例では、たとえば１ヵ月ごとに生成されたデータが、領域２５０〜領域２８０にそれぞれ格納されている。

なお、外観検査装置１００におけるデータ構造は、図２に示される態様に限られない。たとえば補助記録装置１１８は、複数の記録装置から構成されてもよい。あるいは、図２に示されるいずれかのデータは、着脱可能な記録媒体に格納されてもよい。

図３〜図６を参照して、本実施の形態に係る外観検査装置１００の制御構造について説明する。図３〜図６は、それぞれ、画像処理部１１６および主制御部１１７が実行する処理の手順を表わすフローチャートである。

図３を参照して、ステップＳ３１０にて、主制御部１１７は、入力インターフェイス（図示しない）を介してアルゴリズムの生成指令の入力を受ける。ステップＳ４００にて、主制御部１１７は、後述するアルゴリズム生成処理を実行する。この処理が実行されると、予め定められた最適化手法に基づいて画像処理のためのアルゴリズムが生成される。

ステップＳ３２０にて、主制御部１１７は、ＲＯＣ評価値の閾値とＲＯＣ解析の条件の入力を受ける。ここで、ＲＯＣ評価値とは、ＲＯＣ曲線に基づいて算出される値をいう。ＲＯＣ評価値については、図９を参照して、詳述する。再学習を行なうＲＯＣ評価値の閾値は、入力されたデータに基づいて設定される。なお、学習時のＲＯＣ評価値を把握する必要から、ステップＳ３１０における学習評価値としてＲＯＣ評価値を使用することが好ましいが、その他の評価値が使用されてもよい。たとえば、学習画像データを用いてＲＯＣ評価を行なえば、容易に学習段階でのＲＯＣ評価値の閾値を知ることができる。そのため、学習の評価値としてＲＯＣ評価値を用いる必要はない。また、ＲＯＣ評価値の閾値は、定数値が設定されてもよく、学習段階のＲＯＣ評価値から何％下がるという条件が設定されてもよい。さらに、ＲＯＣ評価を行なう条件が設定される。当該条件は、例えば、利用者の任意のタイミングでもよく、あるいは定期的であってもよい。

ステップＳ３３０にて、主制御部１１７は、生成したアルゴリズムを用いて被検査物１１２の検査を実施する。ステップＳ３４０にて、主制御部１１７は、検査結果がＲＯＣ解析を行なう条件を満たすか否かを判断する。主制御部１１７が、検査結果はその条件を満たすと判断すると（ステップＳ３４０にてＹＥＳ）、処理はステップＳ６００に移される。そうでない場合には（ステップＳ３４０にてＮＯ）、処理はステップＳ３３０に戻される。

ステップＳ６００にて、主制御部１１７は、後述するＲＯＣ解析を実行する。この処理が実行されると、外観検査装置１００による再学習が必要であるか否かが、必要性の有無として通知される。

ステップＳ３６０にて、主制御部１１７は、ＲＯＣ評価値が予め定められた条件を満たすか否かを判断する。この判断は、たとえばＲＯＣ評価値が予め定められた閾値を上回るか否かなどに基づいて行なわれる。主制御部１１７が、ＲＯＣ評価値は当該条件を満たすと判断すると（ステップＳ３６０にてＹＥＳ）、処理はステップＳ３３０に戻される。そうでない場合には（ステップＳ３６０にてＮＯ）、処理はステップＳ３７０に移される。

ステップＳ３７０にて、主制御部１１７は、再学習を促すための情報を出力部１１９に対して出力する。その結果、出力部１１９は、当該情報を外部に出力する。これにより、外観検査装置１００の使用者は、再学習が必要なことを容易に知ることができる。その後、処理は終了する。

図４は、アルゴリズムを生成するための処理の手順を表わすフローチャートである。

ステップＳ４１０にて、主制御部１１７は、入力インターフェイス（図示しない）を介して学習画像と学習終了条件の入力を受ける。たとえば学習用に使用される欠陥の画像データと、擬似的な欠陥の画像データとが入力される。なお、入力される画像の枚数は１枚に限られない。後述するように、ＲＯＣ曲線を用いた解析の精度を考慮すれば、欠陥と良品のサンプル画像は多いのが望ましい。また、学習終了条件とは、たとえばステップＳ４２０からステップＳ４７０までのループ処理が実行される回数、学習時間、学習のための評価値、外観検査装置１００の外部からの停止命令の入力等を含む。

ステップＳ４２０にて、主制御部１１７は、予め定められた最適化手法を用いて画像処理のためのアルゴリズムを生成する。最適化手法は、公知の技術であるＳＡ（Simulated Annealing）、ＧＡ（Genetic Algorithms）、ＴＳ（Tabu Search）などを含むが、その他の手法であってもよい。係る最適化手法は、たとえば必要な処理を実現するプログラムを実行することにより実現される。

ステップＳ４３０にて、主制御部１１７は、画像処理部１１６に対して、当該アルゴリズムを用いて画像処理を実行させる。ステップＳ４４０にて、主制御部１１７は、画像処理の結果から特徴量を抽出し、さらに特徴量ベクトルをも抽出する。ステップＳ４５０にて、主制御部１１７は、特徴量を用いて、画像処理結果を分類し、そして検査結果を識別するための処理を実行する。

ステップＳ４６０にて、主制御部１１７は、予め定められた基準に基づいて、学習評価値を算出する。評価値の算出は、たとえば算式「クラス分離度＝クラス間分散／クラス内分散」により行なわれる。なお、学習評価値は、クラス分離度が用いられているが、その他の値がもちいられてもよい。たとえば、ＲＯＣ評価値が使用されてもよい。なお、この場合は、実際の検査に使用される識別器の位置、すなわち分布平面上における識別器の値を決定する必要がある。この決定のためには、たとえば判別分析法が使用できる。

ただし、本実施の形態においては、２次元の特徴量空間の情報を主成分分析により、特徴量の次元は、１次元に変換されているが、特徴量の次元を変換することなく２次元のままとし、識別器として、固定された２本の直線、複数の直線、双曲線、高次の多項式に基づいて表現される曲線の形状を用いてもよい。この場合の学習評価値は、例えば、上記の算式を２次元ベクトルのまま用いることにより、算出可能である。

ステップＳ４７０にて、主制御部１１７は、学習終了条件が成立しているか否かを判断する。主制御部１１７が、その条件は成立していると判断すると（ステップＳ４７０にてＹＥＳ）、処理はステップＳ４２０に戻される。そうでない場合には（ステップＳ４７０にてＮＯ）、処理は終了し、メイン処理（図３）に戻される。以上のような最適化手法により、画像処理アルゴリズムと識別器の形状とが決定される。

図５は、ＲＯＣ解析処理の詳細を表わすフローチャートである。

ステップＳ５１０にて、主制御部１１７は、画像データの入力を受ける。ステップＳ３３０にて、主制御部１１７は、アルゴリズム生成処理（Ｓ４００）にて生成したアルゴリズムを用いて、検査のための処理を実施する。

ステップＳ３４０にて、主制御部１１７は、検査結果がＲＯＣ解析条件を満たすか否かを判断する。主制御部１１７が、検査結果はその条件を満たすと判断すると（ステップＳ３４０にてＹＥＳ）、処理はステップＳ６００に移される。そうでない場合には（ステップＳ３４０にてＮＯ）、処理はステップＳ５５０に移される。ステップＳ５５０にて、主制御部１１７は、検査結果を出力部１１９に対して出力する。ステップＳ６００にて、主制御部１１７は、後述するＲＯＣ解析を実行する。

図６は、ＲＯＣ解析のための処理の手順を表わすフローチャートである。

ステップＳ６１０にて、主制御部１１７は、検査結果と正解結果との入力をそれぞれ受ける。ここで、正解結果とは、真の欠陥の判定結果であり、例えば、検査官が外観検査後に目視することにより得られるデータである。

ステップＳ６２０にて、主制御部１１７は、欠陥認識率と過検出率との関係をＲＯＣ曲線として表わすためのデータを導出する。ステップＳ６３０にて、主制御部１１７は、ＲＯＣ評価値を算出する。

ステップＳ６４０にて、主制御部１１７は、ＲＯＣ評価値が閾値以下であるか否かを判断する。主制御部１１７が、ＲＯＣ評価値は閾値以下であると判断する（ステップＳ６４０にてＹＥＳ）、処理はステップＳ６５０に移される。そうでない場合には（ステップＳ６４０にてＮＯ）、処理はステップＳ６６０に移される。

ステップＳ６５０にて、主制御部１１７は、ＲＯＣ評価結果を通知するためのデータを生成し、出力部１１９に対してそのデータを出力する。その結果、出力部１１９は、ＲＯＣ評価結果を通知するとともに、再学習が必要であることを示す。ここで、外観検査装置１００は、再学習の方向性を示すことができる。例えば、主制御部１１７は、ＲＯＣ評価に用いた特徴量空間のデータにより、主成分分析を再度行ない、識別器を最適化する。主制御部１１７は、ＲＯＣ評価値が改善するか否かを判断する。ＲＯＣ評価値が改善されていれば、主制御部１１７は、画像処理アルゴリズムはそのままで、新しく最適化された識別器で画像処理、外観検査を行なうように、出力部１１９を介して、利用者に通知する。これにより、利用者は、ＲＯＣ評価値によりそのアルゴリズムを用いるか否かを判断することができる。なお、当該判断は人為的に為されなくてもよい。たとえば、図３に示されるステップＳ３２０により設定されたＲＯＣ評価値の閾値を用いて、主制御部１１７が、判断してもよい。

一方、識別器の最適化のみで所望のＲＯＣ評価値が得られないときは、主制御部１１７は、最適化手法により画像処理アルゴリズムと識別器とを再学習する。例えば、主制御部１１７は、これまで検査に用いていたアルゴリズムを初期値として、最適解が得られるまで、再学習のための処理を実行する。

ステップＳ６６０にて、主制御部１１７は、ＲＯＣ評価結果を通知するためのデータを生成し、さらに出力部１１９に対してそのデータを出力する。その結果、出力部１１９は、ＲＯＣ評価結果を通知するとともに、再学習の必要がないことを表示する。

図７を参照して、外観検査装置１００が抽出した特徴量の関係について説明する。図７は、特徴量ベクトルの分布の状況を表わす図である。

ここでは説明を簡単にするために、二次元の特徴量が用いられた場合について説明する。なお、図７に示される態様に代えて、一次元の特徴量あるいは二次元以上の特徴量が用いられてもよい。ここで特徴量は、たとえばパターンの面積、コントラスト、長さ、フェレ径、周波数成分などを含む。分布７１０は、たとえば良品クラスの分布を表わす。分布７２０は、欠陥クラスの分布を表わす。第１主成分７３０は、後述する主成部分析を用いて算出される。すなわち第１主成分は、

により求められる。ステップＳ４４０にて抽出された特徴量は、上記数式１に垂直に射影される。このような射影により、二次元の特徴量は、一次元の特徴量に変換される。

ここで、図８を参照して、図７に示される２次元の特徴量が一次元の特徴量に変換される態様について説明する。図８は、確率密度の分布を表わす図である。すなわち、分布７１０と分布７２０とは、それぞれ確率密度の形で第１主成分軸上に表現される。識別器８００は、第１主成分軸上を移動することにより、設定の変更が可能であり、必要に応じて最適化の対象となり得る。ここで、識別器とは、被検査物１１２の撮影により得られた画像データから検出される欠陥の候補について、当該候補が真の欠陥であるか否かを分類するための判断基準である。

図９を参照して、本実施の形態に係る外観検査装置１００によるＲＯＣ解析における判定について説明する。図９は、欠陥認識率と過検出率との関係をＲＯＣ曲線として表わす図である。

過検出率は、画像処理の結果、本来良品として判定されるべきものが欠陥であると判定された割合、すなわち誤判定された割合を表わす。欠陥認識率は、欠陥として判定されるべき欠陥の候補が欠陥であると判定された候補の割合、すなわち正しく認識された割合を表わす。

図９に示されるＲＯＣ曲線は、図８に示される分布における欠陥クラス（分布７２０）と良品クラス（分布７１０）との交わる部分（斜線部）の評価を行なうためのものである。図８に示されるように、識別器８００をその斜線部の範囲において移動することにより、ＲＯＣ曲線を描画するためのデータが取得される。なお、ＲＯＣ曲線は、本来アルゴリズムの優劣を判定する指標として用いられているが、本実施の形態に示されるように、入力画像が変化した場合、すなわち良品と欠陥パターンと良品パターンの特徴量の分布状況が変化したか否かを表わす指標として用いられてもよい。

なお、本実施の形態におけるＲＯＣ評価値とは、図９に示される領域９００の面積が三角形ＡＯＢの面積に占める割合をいうが、これに限られない。

図１０を参照して、外観検査装置１００の出力態様について説明する。図１０は、出力部１１９において表示される検査結果と再学習の必要性の有無との表示態様を表わす図である。このような表示は、出力部１１９が、たとえば表示パネルあるいはディスプレイ装置である場合に実現される。

出力部１１９は、外観検査装置１００における処理の結果に基づいて検査結果と再学習の必要性の有無とを表示するための領域１０１０〜１０３０を含む。ＲＯＣ評価の結果は、たとえば領域１０１０に表示される。再学習の必要性の有無は、たとえば領域１０２０に表示される。さらに、評価の結果に基づいてその他の処理を促すためのメッセージは、たとえば領域１０３０に表示される。これらの表示は、補助記録装置１１８に予め格納されたメッセージ用のデータに基づいて実現される。なお、出力部１１９による出力態様は、図１０に示されるものに限られない。

以上のような、本実施の形態に係る外観検査装置１００は、各処理を実現するための回路を組み合わせることによりハードウェア的に実現される場合もあれば、各処理を実現するプログラムをＣＰＵその他の演算装置に実行させることにより、ソフトウェア的に実現することもできる。

ここで図１１を参照して、本実施の形態に係る外観検査装置１００を実現するコンピュータシステム１１００について説明する。図１１は、コンピュータシステム１１００のハードウェア構成を表わすブロック図である。

コンピュータシステム１１００は、相互にデータバスによって接続されたＣＰＵ１１１０と、外部からデータの入力を受けるためのマウス１１２０およびキーボード１１３０と、入力されるデータあるいは所定の処理の実行により一時的に生成されるデータを揮発的に格納するＲＡＭ（Random Access Memory）１１４０と、大容量のデータを不揮発的に格納可能なハードディスク１１５０と、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）駆動装置１１６０と、モニタ１１８０と、通信ＩＦ（Interface）１１９０とを含む。ＣＤ−ＲＯＭ駆動装置１１６０には、ＣＤ−ＲＯＭ１１６２が装着される。

外観検査装置１００として機能するコンピュータシステム１１００における処理は、各ハードウェアおよびＣＰＵ１１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ハードディスク１１５０に予め記憶されている場合もあれば、ＣＤ−ＲＯＭ１１６２その他の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭ駆動装置１６０その他の読み取り装置によりその記憶媒体から読み取られて、ハードディスク１１５０に一旦格納される場合もある。あるいは、そのようなソフトウェアは、通信回線に接続された通信ＩＦ１１９０を介して、ダウンロードされる場合もある。そのソフトウェアは、ハードディスク１１５０からＲＡＭ１１４０に読み出されて、ＣＰＵ１１１０によって実行される。図１１に示されるコンピュータシステム１１００のハードウェア自体は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１１４０、ハードディスク１１５０、ＣＤ−ＲＯＭ１１６２その他の記憶媒体に格納されたソフトウェアであるとも言える。なお、コンピュータシステム１２００の各ハードウェアの動作は周知であるので、詳細な説明は繰返さない。

図１２を参照して、外観検査装置１００を実現するコンピュータシステム１１００の機能的構成について説明する。図１２は、ＣＰＵ１１１０がソフトウェアの実行により実現される機能の構成を表わす図である。

ＣＰＵ１１１０は、制御部１２００と、入出力部１２１０と、生成部１２２０と、処理部１２３０と、算出部１２４０と、判断部１２５０と、必要性判断部１２６０と、学習部１２７０と、通知データ生成部１２８０とを含む。

入出力部１２１０は、データバスを介してデータの入出力を実行する。生成部１２２０は、予め定められた最適化手法を用いて画像処理のためのアルゴリズムを生成する。処理部１２３０は、検査対象物の撮影により生成された画像データに対して当該アルゴリズムを用いることによりその画像処理を実行する。算出部１２４０は、その画像処理の結果に基づいてＲＯＣ解析を実行して評価値を算出する。判断部１２５０は、その評価値と予め定められた閾値とが予め定められた条件を満足するか否かを判断する。必要性判断部１２６０は、判断部１２５０による判断の結果に基づいて学習が必要であるか否かを判断する。学習部１２７０は、画像データを学習する処理を実行する。制御部１２００は、必要性判断部１２６０による判断の結果に基づいて、学習部１２７０に再学習を実行させる。

好ましくは、当該予め定められた条件は、当該評価値が当該閾値を下回ることである。

好ましくは、必要性判断部１２６０は、当該評価値と当該閾値とが上記条件を満足していない場合には、当該画像処理の対象となる欠陥のパターンは、学習の時点で対象としていた欠陥のクラスと良品のクラスとの母集団には含まれないと判断し、そして再学習が必要であると判断する。

好ましくは、制御部１２００は、再学習が必要であると判断された場合に使用されていた画像データを用いて、学習部１２７０に再学習を実行させる。

好ましくは、算出部１２４０は、特徴量により表現される空間における特徴量データに基づいてＲＯＣ解析を実行する。特徴量は、撮影によって生成された画像データの特徴を表わす。判断部１２５０は、識別器データに基づいて、上記予め定められた条件を満足する評価値を取得することができるか否かを判断する。制御部１２００は、特徴量データに基づいて予め定められた分析処理を実行することにより、識別器データを変更する。

学習部１２７０は、たとえば学習が必要であると判断された場合に使用された画像データを用いて学習を実行する。学習部１２７０は、あるいは特徴量データに基づいて予め定められた分析処理を実行することにより識別器の値を変更する。

好ましくは、ＣＰＵ１１１０は、通知データ生成部１２８０をさらに含む。通知データ生成部１２８０は、必要性判断部１２６０による判断の結果に基づいて学習が必要であることを通知するためのデータを生成する。通知データ生成部１２８０は、たとえばＲＯＣ解析の結果を表わすデータと学習の必要性を表わすメッセージとを生成する。生成されたデータは、入出力部１２１０によってモニタ１２８０に送出される。

好ましくは、ＣＰＵ１１１０は、欠陥判定部１２９０をさらに含む。欠陥判定部１２９０は、検査対象物の撮影により生成された画像データに基づいて、当該検査対象物の表面に欠陥が生じているか否かを判定する。

好ましくは、制御部１２００は、画像処理のためのアルゴリズムと識別器データとの少なくともいずれかのデータを取得するための処理を実行する。欠陥判定部１２９０は、制御部１２００によって取得されたいずれかのデータに基づいて、検査対象物の表面に欠陥が生じているか否かを判定する。

以上のようにして、本発明の実施の形態に係る外観検査装置１００は、当該装置の利用者が意図した間隔で、検査精度、信頼性を定量的に知ることができる。また、検査精度の閾値を予め設定することにより、再学習の必要性が通知されるため、外観検査装置１００の学習データの迅速な更新が可能になる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に係る外観検査装置を備える検査システム１０のシステム構成を概略的に表わす図である。 外観検査装置１００が備える補助記録装置１１８におけるデータの格納の一態様を概念的に表わす図である。 外観検査装置１００が実行する処理の手順を表わすフローチャート（その１）である。 外観検査装置１００が実行する処理の手順を表わすフローチャート（その２）である。 外観検査装置１００が実行する処理の手順を表わすフローチャート（その３）である。 外観検査装置１００が実行する処理の手順を表わすフローチャート（その４）である。 外観検査装置１００が抽出した特徴量ベクトルの分布の状況を表わす図である。 確率密度の分布を表わす図である。 外観検査装置１００によるＲＯＣ解析における判定結果について、欠陥認識率と過検出率との関係をＲＯＣ曲線として表わす図である。 外観検査装置１００が備える出力部１１９において表示される検査結果と再学習の必要性の有無との表示態様を表わす図である。 外観検査装置１００を実現するコンピュータシステム１１００のハードウェア構成を表わすブロック図である。 コンピュータシステム１１００が備えるＣＰＵ１１１０がソフトウェアの実行により実現される機能の構成を表わす図である。

符号の説明

１０ 検査システム、１００ 外観検査装置、１１１ ステージ、１１２ 被検査物、１１３ 光源、１１４ カメラ、１１５ コントローラ、１１６ 画像処理部、１１７ 主制御部、１１８ 補助記録装置、１１９ 出力部、１１００ コンピュータシステム、１１１０ ＣＰＵ、１１２０ マウス、１１３０ キーボード、１１４０ ＲＡＭ、１１５０ ハードディスク、１１６０ ＣＤ-ＲＯＭ駆動装置、１１６２ ＣＤ-ＲＯＭ、１１９０ 通信ＩＦ、１１８０ モニタ。

Claims (10)

1. 画像処理のためのアルゴリズムを生成する生成手段と、
   複数の検査対象物の撮影により生成された画像データの入力を受ける入力手段とを備え、前記複数の検査対象物の各々の外観は、前記撮影の時期に応じて変動し、
   前記複数の検査対象物の各々の撮影により生成された各画像データに対して前記アルゴリズムに基づく画像処理を実行する処理手段と、
   前記画像データに基づいて、前記複数の検査対象物の各々における欠陥を検出する検出手段と、
   前記検出手段による検出の結果と、前記複数の検査対象物の各々について予め準備されている外観の検査の結果とに基づいて、前記欠陥が欠陥として検出された割合と、良品が欠陥として検出された割合とに基づく評価値を算出する評価値算出手段と、
   前記評価値と予め定められた閾値とが予め定められた条件を満足するか否かを判断する判断手段と、
   前記判断手段による判断の結果に基づいて、前記画像処理のためのアルゴリズムを新たに生成する必要があるか否かを判断する必要性判断手段と、
   前記必要性判断手段による判断の結果に基づいて、前記生成手段に新たなアルゴリズムを生成させる再学習手段とを備える、外観検査装置。
2. 前記判断手段は、前記評価値が前記閾値を下回るか否かを判断する、請求項１に記載の外観検査装置。
3. 前記必要性判断手段は、前記評価値と前記閾値とが前記条件を満足していない場合には、前記画像処理の対象となる欠陥のパターンは、前記アルゴリズムが生成された時に対象とされていた欠陥のクラスと良品のクラスとの母集団には含まれないと判断し、そして前記画像処理のためのアルゴリズムを新たに生成する必要があると判断する、請求項１に記載の外観検査装置。
4. 前記アルゴリズムを新たに生成する必要がある判断された場合に使用された画像データを格納する記憶手段をさらに備え、
   前記再学習手段は、前記再学習が必要であると判断された場合に使用された画像データに基づいて、前記生成手段に前記新たなアルゴリズムを生成させる、請求項１に記載の外観検査装置。
5. 前記評価値算出手段は、前記外観の特徴量により表現される特徴量データに基づいて、前記評価値を算出し、前記特徴量は、前記撮影によって生成された画像データの特徴を表わし、
   前記外観検査装置は、前記検査対象物を欠陥および良品のいずれかに分類するための基準である識別器データに基づいて、前記予め定められた条件を満足する評価値を取得することができるか否かを判断する取得性判断手段をさらに備え、
   前記再学習手段は、前記特徴量データに基づいて予め定められた分析処理を実行することにより前記識別器データの値を変更する、請求項１に記載の外観検査装置。
6. 前記必要性判断手段による判断の結果に基づいて、新たなアルゴリズムを生成する必要であることを通知する通知手段をさらに備える、請求項１に記載の外観検査装置。
7. 前記複数の検査対象物の各々の撮影により生成された各画像データに基づいて、前記複数の検査対象物の各々の表面に欠陥が生じているか否かを判定する欠陥判定手段をさらに備える、請求項１に記載の外観検査装置。
8. 前記再学習手段は、前記画像処理のためのアルゴリズムと識別器データとの少なくともいずれかのデータを取得するための取得手段を含み、前記識別器データは、前記複数の検査対象物の各々を欠陥および良品のいずれかに分類するための基準であり、
   前記外観検査装置は、前記取得手段により取得されたいずれかのデータに基づいて、前記複数の検査対象物の各々の表面に欠陥が生じているか否かを判定する判定手段をさらに備える、請求項１に記載の外観検査装置。
9. 画像処理のためのアルゴリズムを生成するステップと、
   複数の検査対象物の撮影により生成された画像データの入力を受けるステップとを備え、前記複数の検査対象物の各々の外観は、前記撮影の時期に応じて変動し、
   前記複数の検査対象物の各々の撮影により生成された各画像データに対して前記アルゴリズムに基づく画像処理を実行するステップと、
   前記画像データに基づいて、前記複数の検査対象物の各々における欠陥を検出するステップと、
   前記検出の結果と、前記複数の検査対象物の各々について予め準備されている外観の検査の結果とに基づいて、前記欠陥が欠陥として検出された割合と、良品が欠陥として検出された割合とに基づく評価値を算出するステップと、
   前記評価値と予め定められた閾値とが予め定められた条件を満足するか否かを判断する第１の判断ステップと、
   前記第１の判断ステップにおける判断の結果に基づいて、前記画像処理のためのアルゴリズムを新たに生成する必要があるか否かを判断する第２の判断ステップと、
   前記第２の判断ステップにおける判断の結果に基づいて、新たなアルゴリズムを生成するステップとを備える、外観検査方法。
10. コンピュータを外観検査装置として機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
    画像処理のためのアルゴリズムを生成するステップと、
    複数の検査対象物の撮影により生成された画像データの入力を受けるステップとを実行させ、前記複数の検査対象物の各々の外観は、前記撮影の時期に応じて変動し、
    前記複数の検査対象物の各々の撮影により生成された各画像データに対して前記アルゴリズムに基づく画像処理を実行するステップと、
    前記画像データに基づいて、前記複数の検査対象物の各々における欠陥を検出するステップと、
    前記検出の結果と、前記複数の検査対象物の各々について予め準備されている外観の検査の結果とに基づいて、前記欠陥が欠陥として検出された割合と、良品が欠陥として検出された割合とに基づく評価値を算出するステップと、
    前記評価値と予め定められた閾値とが予め定められた条件を満足するか否かを判断する第１の判断ステップと、
    前記第１の判断ステップにおける判断の結果に基づいて、前記画像処理のためのアルゴリズムを新たに生成する必要があるか否かを判断する第２の判断ステップと、
    前記第２の判断ステップにおける判断の結果に基づいて、新たなアルゴリズムを生成するステップとを実行させる、プログラム。

Images