JP2011214903A - 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム - Google Patents

Abstract

【課題】検査対象物の不良品に生じた欠陥を写した画像が少数しか得られない場合でも、検査対象物が良品か否かを識別する識別器を十分に学習させることが可能な外観検査用識別器生成装置を提供する。
【解決手段】外観検査用識別器生成装置は、検査対象物の表面に生じる欠陥の像を擬似的に表した複数の擬似欠陥画像について、擬似欠陥画像上の欠陥の像が検査対象物の良品または不良品の何れに対応するかを表す良否判定情報を取得する良否判定情報取得部（１５）と、複数の擬似欠陥画像と対応する良否判定情報から検査対象物の良品と不良品とを識別する境界を決定する境界決定部（１２）と、欠陥の像についての特徴量とその境界に従って決定されるその特徴量に対する検査対象物の良否判定結果を表す値との組である学習サンプルを複数生成するサンプル生成部（１６）と、その複数の学習サンプルを用いて外観検査用識別器を学習する識別器学習部（１７）とを有する。
【選択図】図２

Description

本発明は、検査対象物を撮影した画像を解析することにより、検査対象物の良否を判定する外観検査装置、及びそのような外観検査装置にて使用される外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラムに関する。

従来より、検査工程の省力化を図り、または検査精度を向上するために、検査対象物を撮影して得られた検査画像を解析することにより、検査対象物の表面についた疵などの欠陥を検出して検査対象物が良品か不良品かを判定する技術が研究されている。特に、そのような技術の一つとして、予め良品か否かが分かっているサンプルの画像を用いて、例えば、ニューラルネットワークのような機械学習システムを利用した識別器を学習させ、そのような識別器を用いて検査対象物が良品か否かを判定する技術が研究されている（例えば、特許文献１、２及び非特許文献１を参照）。

例えば、非特許文献１に開示された、進化的画像処理と呼ばれる方法では、検査画像上で欠陥に相当する部分を手動にて他の部分と区別できるように塗りつぶすことで目標画像が作成される。そして、その目標画像を用いて塗りつぶした部分と塗りつぶされなかった部分とを識別可能な処理フローが探索される。
また特許文献１に開示された物体検査装置は、教師無し競合型ニューラルネットワークに学習データセットを入力してカテゴリごとに分類し、クラスタリングマップを作成する。そしてこの装置は、新たな測定信号のデータが入力されると、学習後の競合型ニューラルネットワークに入力して、その新規なデータのマップ上での位置を取得するとともに、取得した位置から新規のデータが何れのカテゴリに属するかを判定して、判定結果をマップ表示する。
さらに、特許文献２に開示された擬似欠陥画像作成方法は、識別器の学習に利用可能な、欠陥が写った画像のサンプルの数を増やすために、予め検出された欠陥に相当する部分の画像を他の画像に貼り付けることで擬似的な欠陥が写った画像サンプルを作成する。

特開２００４−３５４１１１号公報 特開２００６−１９４６５７号公報

長尾、「進化的画像処理」、昭晃堂、2002年

しかしながら、一般に、不良品である検査対象物は少ないため、不良の原因となる欠陥を写した検査画像を多数入手することは困難である。そのため、識別器を学習するために使用可能な不良品についての学習サンプルを多数準備できないことがある。このような場合、非特許文献１に開示された技術では、学習サンプルに対して設定可能な良品と不良品とを識別する識別境界が無数に存在するため、識別器を十分に学習させることができないおそれがあった。また特許文献１に開示された技術についても、識別器を十分に学習させることができないため、カテゴリと入力データとの位置関係を明確化できないおそれがあった。

一方、特許文献２に開示された技術では、欠陥を表す学習サンプルを擬似的に多数準備することができるので、識別器を十分に学習させることが可能となる。しかし、検査対象物が不良品と判定される要因となる欠陥の種類も多数存在することがある。そのため、単に特定の欠陥を写した画像を他の画像に貼り付けるだけでは、不良品と判定されるべき様々な欠陥を網羅する、多様な学習サンプルを作成することはできない。特に、欠陥の像の空間周波数またはエントロピーのようなテクスチャ情報など、人が直感的に把握することができない特徴量が、検査対象物を良品か否か判定するための主要な要因である場合、適切な学習サンプルを作成することは困難であった。そのため、特許文献２に開示された技術を用いても、識別器を十分に学習させることができないおそれがあった。

そこで、本発明は、検査対象物の不良品に生じた欠陥を写した画像が少数しか得られない場合でも、検査画像に基づいて検査対象物が良品か否かを識別する識別器を十分に学習させることが可能な外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラムを提供することを目的とする。

請求項１に記載の形態によれば、本発明の一つの形態として、外観検査用識別器の生成装置が提供される。この生成装置は、検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成する擬似欠陥画像生成部（１４）と、複数の擬似欠陥画像のそれぞれについて、擬似欠陥画像上の欠陥の像が検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得する良否判定情報取得部（１５）と、複数の擬似欠陥画像のそれぞれと、擬似欠陥画像のそれぞれに対応する良否判定情報から、検査対象物の良品と検査対象物の不良品とを識別する境界を決定する境界決定部（１２）と、欠陥の像についての特徴量と、境界に従って決定されるその特徴量に対する検査対象物の良否判定結果を表す値との組を学習サンプルとして、複数生成するサンプル生成部（１６）と、検査対象物を撮影した検査画像に基づいて検査対象物が良品か否かを識別する外観検査用識別器を、複数の学習サンプルのそれぞれに含まれる特徴量をその外観検査用識別器に入力することにより、その特徴量に対応する良否判定結果を表す値を出力するように学習する識別器学習部（１７）とを有する。
この外観検査用識別器の生成装置は、欠陥品に相当する疵を写した画像である学習サンプルが少数しか存在しない場合でも、検査画像に基づいて検査対象物が良品か欠陥品かを識別する識別器を十分に学習させることができる。

また請求項２の記載によれば、擬似欠陥画像生成部（１４）は、第２の擬似欠陥画像を複数生成し、良否判定情報取得部（１５）は、複数の第２の擬似欠陥画像のそれぞれについて良否判定情報を取得し、境界決定部（１２）は、複数の擬似欠陥画像及び複数の第２の擬似欠陥画像のそれぞれと、複数の擬似欠陥画像及び複数の第２の擬似欠陥画像のそれぞれに対応する良否判定情報から境界を再決定することが好ましい。
これにより、この外観検査用識別器の生成装置は、外観検査用識別器を学習させるための学習サンプルを作成するための基準となる境界をより正確に決定できる。

さらに請求項３の記載によれば、擬似欠陥画像生成部（１４）は、境界に基づく良否判定結果が誤っている可能性がある範囲内の特徴量に対応する欠陥の像を含む擬似欠陥画像を第２の擬似欠陥画像として生成することが好ましい。
これにより、この外観検査用識別器の生成装置は、外観検査用識別器を学習させるための学習サンプルを作成するための基準となる境界を決定するためにより適切な擬似欠陥画像を生成できる。

さらに請求項４によれば、境界決定部（１２）は、擬似欠陥画像から抽出される特徴量と、その擬似欠陥画像に対応する良否判定情報との組である第２の学習サンプルを用いて学習された、特徴量を入力することにより検査対象物の良否判定値を出力する第２の識別器に基づいて境界を決定することが好ましい。
これにより、この外観検査用識別器の生成装置は、外観検査用識別器を学習させるための学習サンプルを作成するための基準となる境界が非線形な境界であっても適切に設定できる。

また、請求項５に記載の形態によれば、本発明の他の形態として、外観検査用識別器の生成装置が提供される。この生成装置は、検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成する擬似欠陥画像生成部（１４）と、検査対象物を撮影した画像から抽出される欠陥の像の特徴量を入力することにより、検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す判定値を出力する外観検査用識別器を用いて、複数の擬似欠陥画像のそれぞれについての判定値を求める識別部（２２）と、複数の擬似欠陥画像のうち、外観検査用識別器により決定される検査対象物の良品と検査対象物の不良品との識別境界に近い判定値に対応する擬似欠陥画像を複数選択するフィルタ部（２３）と、フィルタ部（２３）により選択された複数の擬似欠陥画像のそれぞれについて、擬似欠陥画像上の欠陥の像が検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得する良否判定情報取得部（１５）と、選択された複数の擬似欠陥画像から抽出される特徴量と、その特徴量に対応する良否判定値の組である複数の学習サンプルを用いて、外観検査用識別器を、複数の学習サンプルのそれぞれに含まれる特徴量を外観検査用識別器に入力することにより、その特徴量に対応する良否判定値を出力するように学習する識別器学習部（１７）とを有する。
この外観検査用識別器の生成装置は、欠陥品に相当する疵を写した画像である学習サンプルが少数しか存在しない場合でも、検査画像に基づいて検査対象物が良品か欠陥品かを識別する識別器を十分に学習させることができる。

また、請求項６に記載の形態によれば、本発明のさらに他の形態として、外観検査用識別器の生成方法が提供される。この生成方法は、検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、複数の擬似欠陥画像のそれぞれについて、擬似欠陥画像上の欠陥の像が検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、複数の擬似欠陥画像のそれぞれと、擬似欠陥画像のそれぞれに対応する良否判定情報から、検査対象物の良品と検査対象物の不良品とを識別する境界を決定するステップと、欠陥の像についての特徴量と、境界に従って決定されるその特徴量に対する検査対象物の良否判定結果を表す値との組を学習サンプルとして複数生成するステップと、検査対象物を撮影した検査画像に基づいて検査対象物が良品か否かを識別する外観検査用識別器を、複数の学習サンプルのそれぞれに含まれる特徴量をその外観検査用識別器に入力することにより、入力した特徴量に対応する良否判定結果を表す値を出力するように学習するステップと、を含む。
この外観検査用識別器の生成方法は、欠陥品に相当する疵を写した画像である学習サンプルが少数しか存在しない場合でも、検査画像に基づいて検査対象物が良品か欠陥品かを識別する識別器を十分に学習させることができる。

また、請求項７に記載の形態によれば、本発明のさらに他の形態として、外観検査用識別器の生成方法が提供される。この生成方法は、検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、検査対象物を撮影した画像から抽出される欠陥の像の特徴量を入力することにより、検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す判定値を出力する外観検査用識別器を用いて、複数の擬似欠陥画像のそれぞれについての判定値を求めるステップと、複数の擬似欠陥画像のうち、外観検査用識別器により決定される検査対象物の良品と検査対象物の不良品との識別境界に近い判定値に対応する擬似欠陥画像を複数選択するステップと、選択された複数の擬似欠陥画像のそれぞれについて、擬似欠陥画像上の欠陥の像が検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、選択された複数の擬似欠陥画像から抽出される特徴量と、その特徴量に対応する良否判定値の組である複数の学習サンプルを用いて、外観検査用識別器を、複数の学習サンプルのそれぞれに含まれる特徴量を外観検査用識別器に入力することにより、入力された特徴量に対応する良否判定値を出力するように学習するステップとを含む。
この外観検査用識別器の生成方法は、欠陥品に相当する疵を写した画像である学習サンプルが少数しか存在しない場合でも、検査画像に基づいて検査対象物が良品か欠陥品かを識別する識別器を十分に学習させることができる。

また、請求項８に記載の形態によれば、本発明のさらに他の形態として、外観検査用識別器をコンピュータに生成させる、外観検査用識別器生成用コンピュータプログラムが提供される。このコンピュータプログラムは、検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、複数の擬似欠陥画像のそれぞれについて、擬似欠陥画像上の欠陥の像が検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、複数の擬似欠陥画像のそれぞれと、擬似欠陥画像のそれぞれに対応する良否判定情報から、検査対象物の良品と検査対象物の不良品とを識別する境界を決定するステップと、欠陥の像についての特徴量と、境界に従って決定されるその特徴量に対する検査対象物の良否判定結果を表す値との組を学習サンプルとして複数生成するステップと、検査対象物を撮影した検査画像に基づいて検査対象物が良品か否かを識別する外観検査用識別器を、複数の学習サンプルのそれぞれに含まれる特徴量をその外観検査用識別器に入力することにより、入力した特徴量に対応する良否判定結果を表す値を出力するように学習するステップと、をコンピュータに実行させる命令を含む。

また、請求項９に記載の形態によれば、本発明のさらに他の形態として、外観検査用識別器をコンピュータに生成させる、外観検査用識別器生成用コンピュータプログラムが提供される。このコンピュータプログラムは、検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、検査対象物を撮影した画像から抽出される欠陥の像の特徴量を入力することにより、検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す判定値を出力する外観検査用識別器を用いて、複数の擬似欠陥画像のそれぞれについての判定値を求めるステップと、複数の擬似欠陥画像のうち、外観検査用識別器により決定される検査対象物の良品と検査対象物の不良品との識別境界に近い判定値に対応する擬似欠陥画像を複数選択するステップと、選択された複数の擬似欠陥画像のそれぞれについて、擬似欠陥画像上の欠陥の像が検査対象物の良品に対応するか、または検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、選択された複数の擬似欠陥画像から抽出される特徴量と、その特徴量に対応する良否判定値の組である複数の学習サンプルを用いて、外観検査用識別器を、複数の学習サンプルのそれぞれに含まれる特徴量を外観検査用識別器に入力することにより、入力された特徴量に対応する良否判定値を出力するように学習するステップとをコンピュータに実行させる命令を含む。

また、請求項１０に記載の形態によれば、本発明のさらに他の形態として、外観検査装置が提供される。この外観検査装置は、検査対象物を撮影してその検査対象物が写った検査画像を生成する撮像部（２）と、検査画像から検査対象物の表面に生じる欠陥の像を抽出し、その像に基づいて欠陥の像の少なくとも一つの特徴量を抽出する特徴抽出部（１１）と、上記の何れかの形態による外観検査用識別器生成装置により学習された識別器に少なくとも一つの特徴量を入力することにより、検査対象物が良品か否かを判定する良否判定部（３２）とを有する。
これにより、この外観検査装置は、検査対象物の良否を正確に判定できる。

なお、上記各手段に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

本発明の第１の実施形態に係る外観検査用識別器生成装置の概略構成図である。 第１の実施形態による制御装置が有する処理部の機能ブロック図である。 識別器の一例を示す図である。 （ａ）〜（ｃ）は、それぞれ擬似欠陥画像の一例を示す図である。 擬似欠陥画像から抽出された特徴量と良否判定結果との関係の一例を示す図である。 第１の実施形態による、外観検査用識別器生成処理の動作を示すフローチャートである。 第２の実施形態による制御装置が有する処理部の機能ブロック図である。 第２の実施形態による、外観検査用識別器生成処理の動作を示すフローチャートである。 生成された外観検査用識別器を含む、外観検査装置の概略構成図である。

以下、本発明の第１の実施形態による外観検査装置用識別器生成装置を、図を参照しつつ説明する。この外観検査装置用識別器生成装置は、検査対象物の表面についた疵などの欠陥が写っている欠陥画像を擬似的に生成する。そしてこの外観検査装置用識別器生成装置は、その擬似欠陥画像に写っている欠陥の像が、良品の検査対象物に相当するか、または不良品の検査対象物に相当するかの情報をユーザから取得し、その情報及び擬似欠陥画像を用いて、欠陥の像の特徴量に対する、良品の検査対象物と不良品の検査対象物との境界を大まかに決定する。そしてこの外観検査装置用識別器生成装置は、決定した境界に従って良品とすべき欠陥の像の特徴量と不良品とすべき欠陥の像の特徴量を学習サンプルとして多数生成し、その学習サンプルを用いて検査対象物の外観検査用の識別器を学習する。
なお、検査対象物は、良品か否かの判定基準となる欠陥が検査対象画像上で検査対象物の他の部分と識別可能に写るもの、例えば、その欠陥に相当する部分の輝度または色が他の部分の輝度または色と異なるものであればよく、例えば、ガラス、レンズ、各種の金属加工物あるいは樹脂加工物若しくはそれらを組み合わせたものの何れかとすることができる。

図１は、第１の実施形態に係る外観検査装置用識別器生成装置１の概略構成を示す図である。図１に示すように、外観検査装置用識別器生成装置１は、撮像部２と、制御装置３と、操作部４と、表示部５とを有する。
そして制御装置３は、通信部６と、インターフェース部７と、記憶部８と、処理部９とを有する。

撮像部２は、例えば、カメラを有し、検査対象物１００を撮影した２次元の検査画像を作成する。そのために、撮像部２は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に検査対象物１００表面の像を結像する結像光学系を有する。
撮像部２は、検査画像を作成する度に、その検査画像を制御装置３へ出力する。

操作部４は、例えば、キーボード、マウスなどのポインティングデバイスまたはタッチセンサなどの何れかを有する。そしてユーザインターフェース部４は、表示部５に表示された、擬似的に生成された擬似欠陥画像に対してユーザによる検査対象物を良品とすべきか不良品とすべきかの判定結果を表す信号をユーザ操作によって生成し、その信号を制御装置３へ出力する。なお、擬似欠陥画像の詳細については、処理部９の関連する機能の説明において述べる。

表示部５は、例えば、液晶ディスプレイまたは有機ELディスプレイを有する。そして表示部５は、制御装置３から受信した検査画像、擬似欠陥画像、検査対象物１００の良否判定結果などを表示する。また表示部５は、制御装置３から受信した制御信号に従って、擬似欠陥画像に対する良否判定結果を、ユーザが操作部４を介して入力することを可能にするための補助情報（例えば、判定結果を入力する操作ボタン）を表示する。
なお、操作部４と表示部５とは、例えば、タッチパネルディスプレイのように、一体的に構成されてもよい。

通信部６は、制御装置３を撮像部２と接続するためのインターフェース回路を有する。そして通信部６は、撮像部２から受け取った検査画像を処理部９へ渡す。
インターフェース部７は、操作部４及び表示部５を制御装置３に接続するためのインターフェース回路を有する。そしてインターフェース部７は、操作部４から受け取った信号を処理部９へ渡す。またインターフェース部７は、処理部９から受け取った検査画像など、表示用の信号を表示部５へ出力する。
記憶部８は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部８は、外観検査装置用識別器生成装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。
また記憶部８は、撮像部２から受け取った検査画像及び処理部９により生成された擬似欠陥画像を記憶する。さらに記憶部８は、各検査画像及び各擬似欠陥画像について、その検査画像または擬似欠陥画像に写っている欠陥の像が良品の検査対象物または不良品の検査対象物の何れに対応するかを示す良否判定情報を記憶する。
さらに記憶部８は、処理部９により生成された識別器を規定する各種のパラメータを記憶する。

処理部９は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部９は、検査対象物１００を撮影した検査画像に基づいて、検査対象物１００が良品か否かを識別する識別器を学習する。

図２は、処理部９の機能ブロック図である。処理部９は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、特徴抽出部１１と、粗境界決定部１２と、境界学習終了判定部１３と、擬似欠陥画像生成部１４と、良否判定情報取得部１５と、サンプル生成部１６と、識別器学習部１７とを有する。
なお、処理部９が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、処理部９の各部について詳細に説明する。

特徴抽出部１１は、検査画像から欠陥の特徴を表す特徴量を抽出する。そのために、特徴抽出部１１は、例えば、検査画像あるいは後述する擬似欠陥画像から欠陥が写っている欠陥領域を抽出する。そこで、例えば、記憶部８に、欠陥が無い検査対象物を撮影して得られた基準画像が予め記憶される。そして特徴抽出部１１は、検査画像または擬似欠陥画像と基準画像との間で対応画素間の差分演算を行って、画素ごとに差分値を求める。そして特徴抽出部１１は、その差分値の絶対値が所定の閾値以上となる画素を欠陥領域として抽出する。なお、所定の閾値は、例えば、差分絶対値の最小値からの累積度数が所定割合（例えば、検査画像に含まれる画素の総数の90%）に達する値とすることができる。
なお、特徴抽出部１１は、検査画像または擬似欠陥画像と基準画像間の差分演算を行う前に、検査画像または擬似欠陥画像に写っている検査対象物の位置と基準画像上の検査対象物の位置が一致するように、検査画像または擬似欠陥画像と基準画像との位置合わせを行ってもよい。その際、特徴抽出部１１は、例えば、検査対象物の特定部位を表すテンプレートと検査画像または擬似欠陥画像との間でテンプレートマッチングを行って、検査画像または擬似欠陥画像でテンプレートと最も一致する位置を検出することにより検査画像または擬似欠陥画像上の検査対象物の位置を特定できる。

また、特徴抽出部１１は、検査画像または擬似欠陥画像全体に対してラプラシアンフィルタまたはSobelフィルタなどの微分フィルタ処理を行ってエッジを抽出したエッジ画像を作成し、そのエッジ画像と、記憶部８に予め記憶された良品である検査対象物のエッジ画像である基準画像との間で、対応画素間の差分演算を行うことにより、欠陥領域のエッジを検出してもよい。この場合特徴抽出部１１は、検出されたエッジで囲まれた領域を欠陥領域とする。
あるいはまた、特徴抽出部１１は、検査画像を水平方向及び垂直方向に対してそれぞれ画素数を1/2に縮小した縮小画像を作成し、その縮小画像に対してラプラシアンフィルタ処理を行って微分画像を作成する。そして、特徴抽出部１１は、微分画像に対して所定の閾値で２値化処理を行うことにより欠陥領域を抽出してもよい。
さらにまた、処理部９は、検査画像または擬似欠陥画像を表示部５に表示させ、操作部４を介してユーザにその検査画像または擬似欠陥画像上の欠陥に相当する領域を囲ませるなどにより、手動により欠陥領域を特定してもよい。
欠陥領域は、例えば、欠陥領域に含まれる画素とその他の領域に含まれる画素とが異なる値を持つ２値画像により表される。

欠陥領域が抽出されると、特徴抽出部１１は、その欠陥領域に含まれる欠陥の像の特徴を表す特徴量を抽出する。例えば、欠陥領域の面積、欠陥領域の周囲長、欠陥領域の円形度、欠陥領域の長軸方向の長さ若しくは長軸方向と水平方向がなす角度といった、欠陥領域の形状に関する値、欠陥領域の平均輝度、平均色度など欠陥領域内の輝度または色に関する値、若しくは欠陥領域内のエネルギーまたはエントロピーといったテクスチャに関する値を特徴量とすることができる。あるいは、欠陥領域内の画素の輝度値のヒストグラム、濃度共起共起行列、または欠陥領域を例えば２次元フーリエ変換することにより得られた空間周波数画像における特定周波数帯域の画素の強度などを特徴量としてもよい。特徴抽出部１１は、これら特徴量のうちの少なくとも一つを算出する。一例として、特徴抽出部１１は、欠陥領域の面積と欠陥領域の長軸方向と水平方向とがなす角度を特徴量として抽出する。なお、特徴抽出部１１は、例えば、欠陥領域に含まれる画素数を欠陥領域の面積とすることができる。また特徴抽出部１１は、欠陥領域の長軸方向を、欠陥領域の境界に沿った二つの画素を欠陥領域内で任意に選択してその二つの画素間の距離を求め、その距離が最長となる二つの画素を結ぶ線を求めることによって決定できる。あるいは、特徴抽出部１１は、欠陥領域を楕円近似することによって求めたその楕円の長軸方向を、欠陥領域の長軸方向としてもよい。

特徴抽出部１１は、検査画像または擬似欠陥画像について抽出された特徴量を、対応する検査画像または擬似欠陥画像と関連付けて記憶部８に記憶させる。

粗境界決定部１２は、境界決定部の一例であり、特徴抽出部１１により抽出された特徴量に基づいて検査対象物１００の良品と不良品とを大まかに識別する境界である粗境界を決定する。そのために、粗境界決定部１２は、検査画像または擬似欠陥画像から抽出された、良品である検査対象物に対応する特徴量と、不良品である検査対象物に対応する特徴量と、それら特徴量に対する検査対象物の良否判定結果との組を学習サンプルとして、粗境界を決定する粗境界モデル識別器を学習する。
粗境界モデル識別器は、例えば、多層パーセプトロンのようなニューラルネットワーク、サポートベクトルマシンまたは判別関数若しくはベイジアンネットワークとすることができる。

図３は、多層パーセプトロンとして構成された粗境界モデル識別器の一例の概略構成図である。粗境界モデル識別器３００は、入力層３１０と、中間層３２０と、出力層３３０との３層を有する。各層には、それぞれ１個以上のニューロンが含まれ、そして入力層３１０の各ニューロン３１１は、中間層３２０の各ニューロン３２１とそれぞれ接続される。同様に、中間層３２０の各ニューロン３２１は、出力層３３０のニューロン３３１とそれぞれ接続される。
入力層３１０の各ニューロン３１１には、それぞれ特徴抽出部１１により抽出された特徴量の何れかが入力される。また出力層３３０のニューロン３３１は、検査対象物１００が良品か否かの判定結果を、例えば、0〜1の間の判定値として出力する。この判定値は、1に近いほど検査対象物１００が良品である確率が高いことを示す。そして判定値0.5は、検査対象物１００が良品である確率と不良品である確率が等しいことを示す。すなわち、判定値0.5が粗境界に対応し、その判定値0.5となる特徴量は粗境界上に位置することになる。

粗境界決定部１２は、学習サンプルを用いて、いわゆる教師付き学習を行うことにより、粗境界モデル識別器を学習する。例えば、粗境界モデル識別器が上記のような多層パーセプトロンである場合、粗境界決定部１２は、バックプロパゲーションによりその粗境界モデル識別器を学習する。
粗境界決定部１２は、学習された粗境界モデル識別器を表すパラメータを記憶部８に記憶させる。なお、学習された粗境界モデル識別器を表すパラメータは、例えば、粗境界モデル識別器が多層パーセプトロンである場合、各ニューロンにおける、他のニューロンからの入力に対する重み係数などである。また粗境界モデル識別器がサポートベクトルマシンである場合、パラメータは、学習サンプルとして粗境界モデル識別器に入力された特徴量のうち、検査対象物が良品である範囲の識別境界を表す各サポートベクトルに相当する特徴量と、検査対象物が不良品である範囲の識別境界を表す各サポートベクトルに相当する特徴量である。

境界学習終了判定部１３は、粗境界が確定したか否かを判定する。そこで境界学習終了判定部１３は、粗境界が確定したか否かを判定する一つの方法として、前回の学習によって生成された粗境界モデル識別器（以下、前粗境界モデル識別器と呼ぶ）によって規定される粗境界と最新の粗境界モデル識別器（以下、最新粗境界モデル識別器と呼ぶ）によって規定される粗境界との差が有るか否か判定する。そのために、境界学習終了判定部１３は、前粗境界モデル識別器と最新粗境界モデル識別器のそれぞれに、これまでに作成された擬似欠陥画像の全てと取得された検査画像の全てについて、それぞれ特徴量抽出部１１により抽出された特徴量を入力する。そして、最新粗境界モデル識別器による各検査画像及び各擬似欠陥画像についての良否判定結果が、前粗境界モデル識別器によるそれらの画像についての良否判定結果と等しければ、境界学習終了判定部１３は、粗境界が確定したと判定する。
一方、何れかの検査画像または擬似欠陥画像についての良否判定結果が最新粗境界モデル識別器と前粗境界モデル識別器とで異なっていれば、粗境界は確定していないと判定する。
境界学習終了判定部１３は、粗境界が確定したか否かの判定結果を処理部９に通知する。

擬似欠陥画像生成部１４は、粗境界モデル識別器の学習に利用するサンプルを作成するために、擬似的な欠陥の像を含む画像を、擬似欠陥画像として生成する。例えば、擬似欠陥画像生成部１４は、良品である検査対象物１００を撮影することにより得られた検査画像の一部の画素を、予め不良品であることが分かっている検査対象物１００を撮影することにより得られた検査画像から切り出された欠陥の像が写っている領域に含まれる画素の値で置換することにより、擬似欠陥画像を生成する。その際、擬似欠陥画像生成部１４は、特開２００６−１９４６５７号公報に開示されているように、輝度ムラ欠陥部分に含まれる各画素について、輝度ムラが無い場合の輝度値との輝度差を求めて、その輝度差に対してコントラスト変換などの加工を行い、加工された輝度差を良品の検査対象物に対応する検査画像に加算してもよい。

あるいは、擬似欠陥画像生成部１４は、良品である検査対象物１００を撮影することにより得られた検査画像の一部の領域について、計算モデルによって輝度を変化させることにより、擬似欠陥画像を生成してもよい。例えば、金属物の着色などのシミ状の欠陥であれば、計算モデルとしてガウス分布を用いることができる。また金属物が段差状に欠けた場合などには、計算モデルとしてステップ関数を用いることができる。ガウス分布を用いる場合、擬似欠陥画像生成部１４は、次式に従って検査画像上の一部の画素の輝度を修正することにより、擬似欠陥画像を生成する。
ここで、(x₀,y₀)は、それぞれ、擬似的な欠陥の中心位置の水平方向及び垂直方向の座標を表す。またI(x,y)は、検査画像の座標(x,y)における画素の輝度値を表す。そしてI'(x,y)は、擬似欠陥画像の座標(x,y)における画素の輝度値を表す。またN(x,y|(x₀,y₀),Σ)は、座標(x₀,y₀)を中心とする２次元のガウス分布を表す。さらにΣは共分散である。擬似欠陥画像生成部１４は、この共分散の値を様々に変えることにより、円形状の欠陥または線状の欠陥を生成できる。なお、擬似欠陥画像生成部１４は、擬似欠陥画像生成に要する演算量を減らすために、例えば、ガウス分布N(x,y|(x₀,y₀),Σ)の値が所定の閾値よりも大きい画素の値についてのみ、上記の（１）式の演算を行ってもよい。なお、所定の閾値は、検査画像の輝度値が0〜255で表される場合、例えば、1、5または10とすることができる。
また、検査画像上で欠陥の像の輝度が他の部分の輝度よりも低くなることが想定されることもある。この場合には、擬似欠陥画像生成部１４は、（１）式において、ガウス分布N(x,y|(x₀,y₀),Σ)に従って求められる輝度を検査画像の画素の輝度に加算する代わりに、そのガウス分布N(x,y|(x₀,y₀),Σ)に従って求められる輝度を検査画像の画素の輝度から減算してもよい。

図４（ａ）〜図４（ｃ）は、それぞれ、擬似欠陥画像の一例を示す図である。図４（ａ）に示された擬似欠陥画像４００では、欠陥の像４０１が楕円形状に表現されている。また図４（ｂ）に示された擬似欠陥画像４１０では、欠陥の像４１１が略円形状に表現されている。さらに図４（ｃ）に示された擬似欠陥画像４２０においても、欠陥の像４２１が略円形状に表現されている。しかし、欠陥の像４２１は、欠陥の像４１１よりも小さい。

擬似欠陥画像生成部１４は、粗境界モデル識別器の１回目の学習を行うために、擬似欠陥のサイズ、形状、コントラストまたは色などをランダムに変えた擬似欠陥画像を所定数、例えば、10枚〜20枚程度生成し、各擬似欠陥画像を記憶部８に記憶する。

また、擬似欠陥画像生成部１４は、粗境界モデル識別器の２回目以降の学習を行うために、１回前の学習により生成された粗境界モデル識別器により規定される粗境界に相当する判定値を含む所定範囲内の判定値に対応する欠陥領域の特徴量に基づいて、擬似欠陥画像を複数生成する。
所定範囲内の判定値に対応する欠陥領域の特徴量を特定するために、擬似欠陥画像生成部１４は、例えば、粗境界識別モデルに入力される特徴量が取り得る値の範囲内でその値を所定単位で変更することにより、特徴量空間全体を均一に網羅するように複数の特徴量を生成する。あるいは、擬似欠陥画像生成部１４は、特徴量をランダムに生成してもよい。
擬似欠陥画像生成部１４は、生成した特徴量をそれぞれ粗境界モデル識別器に入力して判定値を得る。そして擬似欠陥画像生成部１４は、その粗境界モデル識別器が出力する判定値が上記の所定範囲内である特徴量を、粗境界モデル識別器の学習に利用する特徴量として選択する。なお所定範囲は、例えば、粗境界に従って決定される良否判定結果が誤りとなる可能性がある範囲であり、例えば、上記のように粗境界モデル識別器が出力する判定値が0から1の間の値となる場合、0.4以上0.6以下の判定値に相当する範囲とすることができる。
また、粗境界モデル識別器がサポートベクトルマシンであれば、擬似欠陥画像生成部１４は、入力された特徴量に対して、サポートベクトルにより求められるカーネル関数により決定される識別関数により出力される判定値と粗境界に相当する判定値（例えば、０）との差の絶対値が所定の閾値以下であれば、入力された特徴量に対する判定値が所定範囲に含まれると判定してもよい。なお、所定の閾値は、例えば、良品または不良品のサポートベクトルに相当する特徴量を識別関数に入力して得られる値とすることができる。

擬似欠陥画像生成部１４は、所定範囲内の判定値に対応する特徴量を決定するとその特徴量に対応する擬似欠陥の像を生成する。例えば、特徴量が欠陥領域の面積であれば、擬似欠陥画像生成部１４は、既知の欠陥の像の面積が決定された値となるように、その欠陥の像を拡大または縮小する。あるいは、特徴量が欠陥領域の長軸方向と水平方向のなす角度であれば、擬似欠陥画像生成部１４は、既知の欠陥の像を決定された角度と一致するように回転させる。
あるいはまた、擬似欠陥画像生成部１４は、上記の（１）式における、ガウス分布の共分散のパラメータを変更して、そのガウス分布により生成される欠陥領域の特徴量を決定された特徴量と一致させてもよい。
擬似欠陥画像生成部１４は、生成した各擬似欠陥画像を記憶部８に記憶する。

良否判定情報取得部１５は、記憶部８に記憶されている擬似欠陥画像を表示部５に表示させる。そして良否判定情報取得部１５は、操作部４を介して、表示部５に表示された擬似欠陥画像に写っている欠陥の像が、検査対象物１００を良品としてもよい欠陥か、検査対象物１００を不良品とすべき欠陥か、あるいは実際に検査対象物１００を撮影した検査画像上では表れることの無い対象外かを表す良否判定情報を取得する。なお、良否判定情報には、例えば、粗境界モデル識別器が出力する判定値に対応する良否判定値が含まれる。例えば、粗境界モデル識別器が上記のように0〜1の間の値を出力する場合、不良品とすべき欠陥に対応する良否判定値は0、良品とすべき欠陥に対応する良否判定値は1の値となる。
同様に、良否判定情報取得部１５は、良品か否かが不明な検査対象物１００を撮影した検査画像を表示部５に表示させ、操作部４を介して、その検査画像に写っている欠陥の像が、検査対象物１００を良品としてもよい欠陥か、検査対象物１００を不良品とすべき欠陥かの良否判定情報を取得してもよい。
良否判定情報取得部１５は、対象外に対応する良否判定情報を得た擬似欠陥画像を記憶部８から消去する。また良否判定情報取得部１５は、それ以外の擬似欠陥画像及び検査画像について、良否判定情報を関連付けて記憶部８に記憶させる。

図５は、擬似欠陥画像から抽出された特徴量と良否判定結果との関係の一例を示す図である。図５において、横軸は、特徴量の一例である、欠陥領域の長軸方向と水平方向のなす角を表し、縦軸は、特徴量の他の一例である、欠陥領域の面積を表す。複数の白丸５０１は、それぞれ、粗境界モデル識別器の前回に用いられた、一つの擬似欠陥画像から抽出された特徴量の組を表す。また線５０２は、前回の学習によって構築された粗境界モデル識別器により規定される粗境界を表す。そして複数の黒丸５０３は、次回の学習用に生成された、粗境界に従って設定される良品の検査対象物に対応する擬似欠陥画像から抽出された特徴量を表す。また複数の菱形５０４は、次回の学習用に生成された、粗境界に従って設定される不良品の検査対象物に対応する擬似欠陥画像から抽出された特徴量を表す。
ここで、不良品の検査対象物に対応する擬似欠陥画像の一つに対する特徴量５０４ａについての良否判定情報が、ユーザによる操作部４の操作を介して、良品の検査対象物に対応すると修正されたとする。
この場合、次回の粗境界モデル識別器の学習によって、その特徴量５０４ａが検査対象物の良品に対応すると判定されるように粗境界が修正される。修正された粗境界は線５０５によって示される。
このように、粗境界近傍の特徴量に対応する擬似欠陥画像の良否判定情報がユーザによって正しい情報に逐次修正されるので、粗境界モデル識別器の学習を繰り返すことにより、擬似欠陥画像を用いても、処理部９は、ある程度正確に良品と不良品とを区別する粗境界を決定することができる。

サンプル生成部１６は、外観検査用識別器の学習用サンプルとして、検査対象物を良品とすべき欠陥に相当する特徴量と、検査対象物を不良品とすべき欠陥に相当する特徴量を作成する。そのために、サンプル生成部１６は、特徴量が取り得る値の範囲内で特徴量を所定の単位で変化させることにより、テスト用特徴量セットを作成する。例えば、特徴量の一つである欠陥領域の面積が0より大きく、かつ100以下の面積範囲内の値である場合、サンプル生成部１６は、面積をその面積範囲内で5ずつ変化させる。同様に、特徴量の他の一つである欠陥領域の長軸方向の水平方向に対する角度が0度以上180°未満の角度範囲内の値である場合、サンプル生成部１６は、角度をその角度範囲内で5°ずつ変化させる。これにより、サンプル生成部１６は、720個（=20×36）個の特徴量を含むテスト用特徴量セットを生成する。

サンプル生成部１６は、生成したテスト用特徴量セットに含まれる各特徴量を粗境界モデル識別器にそれぞれ入力することにより、各特徴量に対する判定値を得る。そしてサンプル生成部１６は、テスト用特徴量セットから、判定値が粗境界よりも検査対象物１００の不良品側に位置する特徴量と判定値が粗境界よりも検査対象物１００の良品側に位置する特徴量とをそれぞれ所定数ずつ選択し、その選択された特徴量を外観検査用識別器用の学習サンプルとする。なお、所定数は、粗境界モデル識別器の学習に利用される学習サンプルの数よりも大きい値、例えば、100、500、または1000あるいは10000とすることができる。

サンプル生成部１６は、特徴量空間において選択された特徴量の密度が全体的に均一になるように特徴量を選択することが好ましい。あるいは、サンプル生成部１６は、粗境界に近い判定値となるほど特徴量の数が多くなるように、学習サンプル用の特徴量を選択してもよい。
また、良品である検査対象物は、一般に多数存在するため、良品である検査対象物を実際に撮影して得られた検査画像を上記の所定数以上用意することは困難ではない。そこでサンプル生成部１６は、検査対象物を良品とすべき欠陥に関する特徴量として、実際に良品である検査対象物１００を撮影した検査画像から特徴抽出部１１によって抽出された特徴量を用いてもよい。
サンプル生成部１６は、選択した各特徴量と、その特徴量に対応する検査対象物の良否判定結果との組を学習サンプルとして記憶部８に記憶させる。

識別器学習部１７は、サンプル生成部１６により生成された複数の学習サンプルを用いて検査対象物１００の外観検査に利用する外観検査用識別器を学習する。なお外観検査用識別器も、例えば、多層パーセプトロンのようなニューラルネットワーク、サポートベクトルマシンまたは判別関数若しくはベイジアンネットワークとすることができる。
識別器学習部１７は、外観検査用識別器の構成に応じた教師付き学習方法に従って外観検査用識別器を学習する。例えば、外観検査用識別器が多層パーセプトロンで構成される場合、識別器学習部１７は、バックプロパゲーションを用いて外観検査用識別器を学習できる。
具体的には、識別器学習部１７は、学習サンプルのそれぞれについて、特徴量を入力としたときに、その特徴量に対応する良否判定結果に相当する判定値が出力されるように、外観検査用識別器を学習する。
これにより、検査画像から特徴抽出部１１により抽出された特徴量を入力することにより、その検査画像に写っている検査対象物１００の良否判定結果を表す判定値を出力する外観検査用識別器が構築される。

識別器学習部１７は、学習された外観検査用識別器を表すパラメータを記憶部８に記憶させる。
なお、外観検査用識別器の構造と粗境界モデル識別器の構造とは同一であってもよい。例えば、粗境界モデル識別器と外観検査用識別器は、ともに多層パーセプトロンであってもよく、または、ともにサポートベクトルマシンであってもよい。
あるいは、外観検査用識別器は粗境界モデル識別器の構造とは異なる構造を有していてもよい。例えば、粗境界モデル識別器と外観検査用識別器の何れか一方が多層パーセプトロンであり、他方がサポートベクトルマシンであってもよい。さらにまた、粗境界モデル識別器と外観検査用識別器は、ともに多層パーセプトロンであるが、学習に要する演算量を軽減するために、粗境界モデル識別器が有する中間層のニューロンの数が、外観検査用識別器が有する中間層のニューロンの数よりも少なくてもよい。

図６は、第１の実施形態による外観検査装置用識別器生成装置１における、識別器生成処理の動作フローチャートである。なお、この識別器生成処理は、処理部９によって制御される。
処理部９は、撮像部２から、良品か否かが予め分かっている１以上の検査対象物１００を撮影して得られた少なくとも１枚の検査画像を、通信部６を介して取得する（ステップＳ１０１）。そして処理部９は、得られた検査画像を記憶部８に記憶する。
次に、処理部９は、検査画像が所定数以上記憶部８に記憶されているか否か判定する（ステップＳ１０２）。例えば、所定数は、粗境界識別モデルを作成するのに十分な数であり、例えば、10枚〜20枚程度に設定される。

所定数の検査画像が記憶部８に記憶されていなければ、処理部９の擬似欠陥画像生成部１４は、擬似欠陥画像を生成する（ステップＳ１０３）。そして擬似欠陥画像生成部１４は、生成した擬似欠陥画像をそれぞれ記憶部８に記憶する。
処理部９の良否判定情報取得部１５は、記憶部８に記憶されている各擬似欠陥画像を表示部５に表示させるとともに、操作部４を介して、その擬似欠陥画像に対する良否判定情報を取得する（ステップＳ１０４）。

ステップＳ１０２にて、所定数の検査画像が記憶部８に記憶されている場合、あるいはステップＳ１０４の後、処理部９の特徴抽出部１１は、検査画像及び擬似欠陥画像から欠陥領域を抽出し、その欠陥領域についての特徴量を抽出する（ステップＳ１０５）。そして特徴抽出部１１は、抽出した特徴量を、対応する検査画像または擬似欠陥画像に関連付けて記憶部８に記憶する。
次に、処理部９の粗境界決定部１２は、それぞれの検査画像または擬似欠陥画像の特徴量と、その特徴量に対応する良否判定情報に示された良否判定結果との組である複数の学習サンプルを用いて、粗境界モデル識別器を学習する（ステップＳ１０６）。そして粗境界決定部１２は、粗境界モデル識別器を規定するパラメータを記憶部８に記憶する。

粗境界モデル識別器の学習が終了すると、処理部９の境界学習終了判定部１３は、前回の学習によって生成された粗境界モデル識別器によって規定される粗境界と最新の粗境界モデル識別器によって規定される粗境界との差が有るか否か判定する（ステップＳ１０７）。前回の学習によって生成された粗境界モデル識別器と最新の粗境界モデル識別器とによる粗境界に差が有れば、境界学習終了判定部１３は、粗境界は確定されていないと判定する。そして擬似欠陥画像生成部１４は、粗境界モデル識別器による判定値が、粗境界を含む所定範囲内の値となる特徴量に基づいて擬似欠陥画像を生成する（ステップＳ１０８）。その後、処理部９は、ステップＳ１０４〜Ｓ１０７の処理を繰り返す。

一方、前回の学習によって生成された粗境界モデル識別器と最新の粗境界モデル識別器とによる粗境界に差が無ければ、境界学習終了判定部１３は、粗境界が確定されたと判定する。そして処理部９のサンプル生成部１６は、粗境界モデル識別器により規定される粗境界に従って、良品の検査対象物に相当する擬似欠陥の特徴量及び不良品の検査対象物に相当する擬似欠陥の特徴量を、外観検査識別器用学習サンプルとして、それぞれ所定数生成する（ステップＳ１０９）。
その後、処理部９の識別器学習部１７は、外観検査識別器用学習サンプルを用いて、外観検査用識別器を学習する（ステップＳ１１０）。識別器学習部１７は、外観検査用識別器を規定するパラメータを記憶部８に記憶する。
そして処理部９は、識別器生成処理を終了する。

以上説明してきたように、第１の実施形態による外観検査装置用識別器生成装置は、擬似的に生成した擬似欠陥の良否判定情報を用いて粗境界を決定し、その粗境界に基づいて良品の検査対象物に対応する擬似欠陥と不良品の検査対象物に対応する擬似欠陥の特徴量を外観検査用識別器の学習用サンプルとして生成する。そのため、実際の不良品の検査対象物を撮影した検査画像を多数得ることができなくても、この外観検査装置用識別器生成装置は、適切な学習用サンプルを多数生成できる。そしてこのような適切な学習用サンプルを用いて外観検査用識別器を学習するので、この外観検査装置用識別器生成装置は、良品と不良品との識別精度の高い外観検査用識別器を生成できる。

次に、第２の実施形態よる外観検査装置用識別器生成装置について説明する。第２の実施形態による外観検査装置用識別器生成装置は、先に粗境界を決定する代わりに、擬似欠陥画像を用いて直接外観検査用識別器を学習する。その際、この外観検査装置用識別器生成装置は、外観検査用識別器を１回学習する度に、その識別器を用いて擬似欠陥画像に対する良否判定結果を表す判定値を求め、その判定値が識別境界近傍の所定範囲内に含まれる擬似欠陥画像について、操作部を介してユーザから良否判定情報を取得する。そしてその識別境界近傍となる擬似欠陥画像と対応する良否判定情報の組を学習サンプルとして外観検査用識別器を再学習する。
なお、第２の実施形態よる外観検査装置用識別器生成装置は、第１の実施形態による外観検査装置用識別器生成装置と比較して、制御装置３の処理部が実行する機能のみが異なる。そこで以下では、処理部についてのみ説明する。第２の実施形態よる外観検査装置用識別器生成装置の他の構成要素については、第１の実施形態による外観検査装置用識別器生成装置の対応する構成要素の説明を参照されたい。

図７は、第２の実施形態による制御装置３が有する処理部２０の機能ブロック図である。処理部２０は、特徴抽出部１１と、識別器学習部１７と、学習終了判定部２１と、擬似欠陥画像生成部１４と、良否判定情報取得部１５と、識別部２２と、フィルタ部２３とを有する。
なお、図７において、処理部２０が有するこれらの各部には、図２に示された第１の実施形態による処理部９の対応する構成要素の参照番号と同一の参照番号を付した。また以下では、処理部２０が有するこれらの各部のうち、第１の実施形態による処理部９の対応する構成要素と異なる点についてのみ説明する。

学習終了判定部２１は、前回の学習によって生成された外観検査識別器（以下、前識別器と呼ぶ）によって規定される、良品の検査対象物に対応する特徴量と不良品の検査対象物に対応する特徴量との識別境界と、最新の外観検査識別器（以下、最新識別器と呼ぶ）によって規定される識別境界との間に差が有るか否かを判定する。そのために、学習終了判定部２１は、前識別器と最新識別器のそれぞれに、これまでに作成された擬似欠陥画像の全てと取得された検査画像の全てについて、それぞれ特徴量抽出部１１により抽出された特徴量を入力する。そして、最新識別器による各検査画像及び各擬似欠陥画像についての良否判定結果が、前識別器によるそれらの画像についての良否判定結果と等しければ、学習終了判定部２１は、外観検査用識別器は十分に学習されたと判定する。
一方、何れかの検査画像または擬似欠陥画像についての良否判定結果が最新識別器と前識別器とで異なっていれば、外観検査用識別器は十分に学習されていないと判定する。
学習終了判定部２１は、外観検査用識別器は十分に学習されたか否かの判定結果を処理部２０に通知する。

識別部２２は、記憶部８に記憶されている擬似欠陥画像のうち、良否判定情報が関連付けられていない擬似欠陥画像から抽出された特徴量を最新の外観検査用識別器に入力して、その擬似欠陥画像に対する良否判定結果を表す判定値を得る。外観検査用識別器は、第１の実施形態における粗境界モデル識別器に関して説明したように、例えば、0〜1の間の判定値を出力する。この判定値は、1に近いほど検査対象物１００が良品である確率が高いことを示す。そして判定値0.5は、検査対象物１００が良品である確率と不良品である確率が等しいことを示す。すなわち、判定値0.5が識別境界に対応し、その判定値0.5となる特徴量は識別境界上に位置することになる。したがって、この場合、判定値が0.5よりも大きければ、検査対象物１００は良品と判定され、一方、判定値が0.5よりも小さければ、検査対象物１００は不良品と判定される。
そして識別部２２は、その判定値を、対応する擬似欠陥画像と関連付けてフィルタ部２３へ通知する。

フィルタ部２３は、識別境界近傍となる所定範囲内に含まれる判定値に対応する特徴量に相当する擬似欠陥画像を選択する。
具体的には、フィルタ部２３は、第１の実施形態による擬似欠陥画像生成部１４が２回目以降の粗境界モデル識別器学習用の擬似欠陥画像を生成するのと同様に、着目する擬似欠陥画像から抽出された特徴量を最新の外観検査用識別器に入力し、その外観検査用識別器が出力する判定値が所定範囲内であれば、その特徴量は識別境界の近傍に位置すると判定する。例えば、判定値が0から1の間の値をとる場合、所定範囲は0.4以上0.6以下とすることができる。
また、外観検査用識別器がサポートベクトルマシンであれば、フィルタ部２３は、入力された特徴量に対して、サポートベクトルにより求められるカーネル関数により決定される識別関数により出力される判定値と識別境界に相当する判定値（例えば、０）との差の絶対値が所定の閾値以下であれば、所定範囲に含まれると判定してもよい。なお、所定の閾値は、例えば、良品または不良品のサポートベクトルに相当する特徴量を識別関数に入力して得られる値とすることができる。
フィルタ部２３は、特徴量が識別境界の近傍に位置すると判定された擬似欠陥画像を外観検査用識別器の学習に用いるものとして選択する。そしてフィルタ部２３は、選択されなかった擬似欠陥画像を記憶部８から消去する。

良否非判定情報取得部１５は、フィルタブ２３により選択された擬似欠陥画像についての良否判定情報を操作部４を介して取得し、その良否判定情報を擬似欠陥画像に関連付けて記憶部８に記憶する。なお、良否判定情報には、例えば、外観検査用識別器が出力する判定値に対応する良否判定値が含まれる。例えば、外観検査用識別器が上記のように0〜1の間の値を出力する場合、不良品とすべき欠陥に対応する良否判定値は0、良品とすべき欠陥に対応する良否判定値は1の値となる。選択された擬似欠陥画像についての良否判定情報は、対応する擬似欠陥画像とともに学習サンプルを構成する。その際、学習サンプルには、フィルタ部２３により選択された擬似欠陥画像から抽出された特徴量と、その擬似欠陥画像に対する良否判定情報に含まれる良否判定値が含まれる。
識別器学習部１７は、その学習サンプルを用いて、外観検査用識別器を学習する。

図８は、第２の実施形態による外観検査装置用識別器生成装置における、識別器生成処理の動作フローチャートである。なお、この識別器生成処理は、処理部２０によって制御される。
処理部２０は、撮像部２から、良品か否かが予め分かっている検査対象物１００を撮影して得られた検査画像を、通信部６を介して取得する（ステップＳ２０１）。そして処理部２０は、得られた検査画像を記憶部８に記憶する。
次に、処理部２０は、検査画像が所定数以上記憶部８に記憶されているか否か判定する（ステップＳ２０２）。例えば、所定数は、粗境界識別モデルを作成するのに十分な数であり、例えば、10枚〜20枚程度に設定される。

所定数の検査画像が記憶部８に記憶されていなければ、処理部２０の擬似欠陥画像生成部１４は、擬似欠陥画像を生成する（ステップＳ２０３）。そして擬似欠陥画像生成部１４は、生成した擬似欠陥画像をそれぞれ記憶部８に記憶する。
処理部２０の良否判定情報取得部１５は、記憶部８に記憶されている各擬似欠陥画像を表示部５に表示させるとともに、操作部４を介して、その擬似欠陥画像に対する良否判定情報を取得する（ステップＳ２０４）。

ステップＳ２０２にて、所定数の検査画像が記憶部８に記憶されている場合、あるいはステップＳ２０４の後、処理部２０の特徴抽出部１１は、検査画像及び擬似欠陥画像から欠陥領域を抽出し、その欠陥領域についての特徴量を抽出する（ステップＳ２０５）。そして特徴抽出部１１は、抽出した特徴量を、対応する検査画像または擬似欠陥画像に関連付けて記憶部８に記憶する。
次に、処理部２０の識別器学習部１７は、それぞれの検査画像または擬似欠陥画像の特徴量を入力とし、良否判定情報に示された良否判定結果を出力とする学習サンプルを用いて、外観検査用識別器を学習する（ステップＳ２０６）。そして識別器学習部１７は、外観検査用識別器を規定するパラメータを記憶部８に記憶する。

外観検査用識別器の学習が終了すると、処理部２０の学習終了判定部２１は、前回の学習によって生成された外観検査用識別器によって規定される識別境界と最新の外観検査用識別器によって規定される識別境界との間に差が有るか否か判定する（ステップＳ２０７）。
前回の学習によって生成された外観検査用識別器と最新の外観検査用識別器とによる識別境界に差が有れば、学習終了判定部２１は、外観検査用識別器の学習は十分でないと判定する。この場合、擬似欠陥画像生成部１４は、様々な欠陥の像を持つ擬似欠陥画像を複数（例えば、数10〜数1000程度の枚数）生成する（ステップＳ２０８）。その際、擬似欠陥画像生成部１４は、既に生成されている擬似欠陥画像の何れとも異なる欠陥の像を持つ擬似欠陥画像を生成することが好ましい。そして擬似欠陥画像生成部１４は、生成した擬似欠陥画像を記憶部８に記憶する。

特徴量抽出部１１は、ステップＳ２０８にて新たに生成された擬似欠陥画像、すなわち、まだ特徴量が抽出されていない擬似欠陥画像から特徴量を抽出し、抽出された特徴量を対応する擬似欠陥画像と関連付けて記憶部８に記憶する（ステップＳ２０９）。
その後、処理部２０の識別部２２は、最新の外観検査用識別器に、新たに生成された擬似欠陥画像から抽出された特徴量を入力し、その擬似欠陥画像に対する良否判定結果を表す判定値を得る（ステップＳ２１０）。そして識別部２２は、その判定値を処理部２０のフィルタ部２３へ通知する。フィルタ部２３は、得られた判定値から、識別境界近傍となる判定値に相当する特徴量に対応する擬似欠陥画像を選択する（ステップＳ２１１）。そしてフィルタ部２３は、選択されなかった擬似欠陥画像を記憶部８から消去する。

その後、良否判定情報取得部１５は、記憶部８に記憶されている各擬似欠陥画像を表示部５に表示させるとともに、操作部４を介して、その擬似欠陥画像に対する良否判定情報を取得する（ステップＳ２１２）。そして良否判定情報取得部１５は、その良否判定情報を、対応する擬似欠陥画像と関連付けて記憶部８に記憶させる。その後、処理部２０は、記憶部８に記憶されている検査画像及び擬似欠陥画像を入力とし、それらの画像に対応する良否判定情報に示された良否判定結果を出力とする学習サンプルを用いて、ステップＳ２０６以降の処理を繰り返す。

一方、ステップＳ２０７において、前回の学習によって生成された外観検査用識別器と最新の外観検査用識別器とによる識別境界に差が無ければ、学習終了判定部２１は、外観検査用識別器の学習は十分であると判定する。この場合、処理部２０は、外観検査用識別器の学習が終了したことを示すメッセージを表示部５に表示させる。また処理部２０は、これまでに生成された全ての擬似欠陥画像及び検査画像に対する良否判定結果も表示部５に表示させる（ステップＳ２１３）。
その後、処理部２０は、識別器生成処理を終了する。

以上説明してきたように、第２の実施形態による外観検査装置用識別器生成装置は、擬似的に生成した擬似欠陥画像のうち、学習中の外観検査用識別器により規定される識別境界近傍の特徴量を持つ擬似欠陥画像についてユーザから良否判定情報を取得する。そのため、この外観検査装置用識別器生成装置は、外観検査用識別器の学習に有効な学習サンプルを多数得ることができる。その結果、この外観検査装置用識別器生成装置は、実際の不良品の検査対象物を撮影した検査画像を多数得ることができなくても、適切な学習用サンプルを多数用いて外観検査用識別器を学習できるので、この外観検査装置用識別器生成装置は、良品と不良品との識別精度の高い外観検査用識別器を生成できる。

なお、他の実施形態によれば、擬似欠陥画像の生成に利用される検査画像は他の装置によって生成され、予め記憶部に記憶されてもよい。この場合、撮像部は省略されてもよい。

次に、上記の実施形態の外観検査用識別器生成装置の何れかにより生成された外観検査用識別器を用いた外観検査装置について説明する。
図９は、そのような外観検査装置の概略構成図である。
図９に示されるように、外観検査装置３０は、撮像部２と、制御装置３と、操作部４と、表示部５とを有する。そして制御装置３は、通信部６と、インターフェース部７と、と、記憶部８と、処理部３１とを有する。なお、図９において、外観検査装置３０が有するこれらの各部には、図１に示された第１の実施形態による外観検査装置用識別器生成装置１の対応する構成要素の参照番号と同一の参照番号を付した。
外観検査装置３０は、第１の実施形態による外観検査装置用識別器生成装置１と比較して、処理部３１により実現される機能が異なり、外観検査装置３０の他の構成要素については、外観検査装置用識別器生成装置１の対応する構成要素と同様とすることができる。そのため、外観検査装置３０の処理部３１以外の構成要素については、第１の実施形態による外観検査装置用識別器生成装置の対応する構成要素の説明を参照されたい。

処理部３１は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部３１は、撮像部２から受け取った、検査対象物１００を撮影した検査画像に基づいて、検査対象物１００が良品か否か判定する。そのために、処理部３１は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、特徴抽出部１１と、良否判定部３２とを有する。
なお、処理部３１が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。

特徴抽出部１１は、検査画像から欠陥領域を抽出し、その欠陥領域についての特徴量を抽出する。なお、特徴抽出部１１は、検査画像から複数の欠陥領域が抽出される場合、それぞれの欠陥領域ごとに特徴量を抽出する。そして特徴抽出部１１は、抽出した特徴量を良否判定部３２へ渡す。
なお、特徴抽出部１１による欠陥領域の抽出及び特徴量の抽出処理は、第１の実施形態による外観検査装置用識別器生成装置１の処理部９が有する特徴抽出部１１による処理と同様とすることができる。そのため、特徴抽出部１１の処理の詳細は、第１の実施形態における特徴抽出部１１の説明を参照されたい。

良否判定部３２は、記憶部８から、外観検査用識別器を規定するパラメータを読み込んで、その外観検査用識別器を構築する。
そして良否判定部３２は、特徴抽出部１１から受け取った特徴量をその外観検査用識別器に入力することにより、良否判定結果を得る。
検査画像から抽出された欠陥領域全てについて、良品であるとの良否判定結果を得た場合、良否判定部３２は、検査対象物１００を良品と判定する。一方、何れか一つの欠陥領域についての特徴量が外観検査用識別器に入力されることにより、不良品であるとの良否判定結果を得た場合、良否判定部３２は、検査対象物１００を不良品と判定する。
そして良否判定部３２は、その判定結果を処理部３１へ通知する。

処理部３１は、良否判定部３２より判定結果を受け取ると、その判定結果を表示部５に表示させる。また処理部３１は、検査対象物１００が不良品であるとの判定結果を受け取った場合、検査対象物１００を撮影した検査画像を記憶部８に記憶させる。
また処理部３１は、図示しないインターフェース回路及びそのインターフェース回路を通じて接続される通信ネットワークを介して、検査対象物１００に対する良否判定結果及び検査画像を他の機器、例えば、検査対象物１００の検査工程を管理するシステムなどへ出力してもよい。

当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 外観検査装置用識別器生成装置
２ 撮像部
３ 制御装置
４ 操作部
５ 表示部
６ 通信部
７ インターフェース部
８ 記憶部
９、２０、３１ 処理部
１１ 特徴量抽出部
１２ 粗境界決定部
１３ 境界学習終了判定部
１４ 擬似欠陥画像生成部
１５ 良否判定情報取得部
１６ サンプル生成部
１７ 識別器学習部
２１ 学習終了判定部
２２ 識別部
２３ フィルタ部
３２ 良否判定部
３０ 外観検査装置

Claims (10)

1. 検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成する擬似欠陥画像生成部（１４）と、
   前記複数の擬似欠陥画像のそれぞれについて、当該擬似欠陥画像上の欠陥の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得する良否判定情報取得部（１５）と、
   前記複数の擬似欠陥画像のそれぞれと、前記擬似欠陥画像のそれぞれに対応する前記良否判定情報から、前記検査対象物の良品と前記検査対象物の不良品とを識別する境界を決定する境界決定部（１２）と、
   前記欠陥の像についての特徴量と、前記境界に従って決定される当該特徴量に対する前記検査対象物の良否判定結果を表す値との組を学習サンプルとして、複数生成するサンプル生成部（１６）と、
   前記検査対象物を撮影した検査画像に基づいて前記検査対象物が良品か否かを識別する外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定結果を表す値を出力するように学習する識別器学習部（１７）と、
   を有することを特徴とする外観検査用識別器生成装置。
2. 前記擬似欠陥画像生成部（１４）は、第２の擬似欠陥画像を複数生成し、
   前記良否判定情報取得部（１５）は、前記複数の第２の擬似欠陥画像のそれぞれについて前記良否判定情報を取得し、
   前記境界決定部（１２）は、前記複数の擬似欠陥画像及び前記複数の第２の擬似欠陥画像のそれぞれと、前記複数の擬似欠陥画像及び前記複数の第２の擬似欠陥画像のそれぞれに対応する前記良否判定情報から前記境界を再決定する、
   請求項１に記載の外観検査用識別器生成装置。
3. 前記擬似欠陥画像生成部（１４）は、前記境界に基づく前記良否判定結果が誤っている可能性がある範囲内の前記特徴量に対応する欠陥の像を含む擬似欠陥画像を前記第２の擬似欠陥画像として生成する、請求項２に記載の外観検査用識別器生成装置。
4. 前記境界決定部（１２）は、前記擬似欠陥画像から抽出される前記特徴量と、当該擬似欠陥画像に対応する前記良否判定情報との組である第２の学習サンプルを用いて学習された、前記特徴量を入力することにより前記検査対象物の良否判定値を出力する第２の識別器に基づいて前記境界を決定する、
   請求項１〜３の何れか一項に記載の外観検査用識別器生成装置。
5. 検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成する擬似欠陥画像生成部（１４）と、
   前記検査対象物を撮影した画像から抽出される前記欠陥の像の特徴量を入力することにより、前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す判定値を出力する外観検査用識別器を用いて、前記複数の擬似欠陥画像のそれぞれについての前記判定値を求める識別部（２２）と、
   前記複数の擬似欠陥画像のうち、前記外観検査用識別器により決定される前記検査対象物の良品と前記検査対象物の不良品との識別境界に近い前記判定値に対応する前記擬似欠陥画像を複数選択するフィルタ部（２３）と、
   前記フィルタ部（２３）により選択された前記複数の擬似欠陥画像のそれぞれについて、当該擬似欠陥画像上の欠陥の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得する良否判定情報取得部（１５）と、
   前記選択された前記複数の擬似欠陥画像から抽出される前記特徴量と、当該特徴量に対応する前記良否判定値の組である複数の学習サンプルを用いて、前記外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定値を出力するように学習する識別器学習部（１７）と、
   を有することを特徴とする外観検査用識別器生成装置。
6. 検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、
   前記複数の擬似欠陥画像のそれぞれについて、当該擬似欠陥画像上の欠陥の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、
   前記複数の擬似欠陥画像のそれぞれと、前記擬似欠陥画像のそれぞれに対応する前記良否判定情報から、前記検査対象物の良品と前記検査対象物の不良品とを識別する境界を決定するステップと、
   前記欠陥の像についての特徴量と、前記境界に従って決定される当該特徴量に対する前記検査対象物の良否判定結果を表す値との組を学習サンプルとして複数生成するステップと、
   前記検査対象物を撮影した検査画像に基づいて前記検査対象物が良品か否かを識別する外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定結果を表す値を出力するように学習するステップと、
   を含むことを特徴とする外観検査用識別器生成方法。
7. 検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、
   前記検査対象物を撮影した画像から抽出される前記欠陥の像の特徴量を入力することにより、前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す判定値を出力する外観検査用識別器を用いて、前記複数の擬似欠陥画像のそれぞれについての前記判定値を求めるステップと、
   前記複数の擬似欠陥画像のうち、前記外観検査用識別器により決定される前記検査対象物の良品と前記検査対象物の不良品との識別境界に近い前記判定値に対応する前記擬似欠陥画像を複数選択するステップと、
   前記選択された前記複数の擬似欠陥画像のそれぞれについて、当該擬似欠陥画像上の欠陥の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、
   前記選択された前記複数の擬似欠陥画像から抽出される前記特徴量と、当該特徴量に対応する前記良否判定値の組である複数の学習サンプルを用いて、前記外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定値を出力するように学習するステップと、
   を含むことを特徴とする外観検査用識別器生成方法。
8. 検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、
   前記複数の擬似欠陥画像のそれぞれについて、当該擬似欠陥画像上の欠陥の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、
   前記複数の擬似欠陥画像のそれぞれと、前記擬似欠陥画像のそれぞれに対応する前記良否判定情報から、前記検査対象物の良品と前記検査対象物の不良品とを識別する境界を決定するステップと、
   前記欠陥の像についての特徴量と、前記境界に従って決定される当該特徴量に対する前記検査対象物の良否判定結果を表す値との組を学習サンプルとして複数生成するステップと、
   前記検査対象物を撮影した検査画像に基づいて前記検査対象物が良品か否かを識別する外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定結果を表す値を出力するように学習するステップと、
   をコンピュータに実行させる外観検査用識別器生成用コンピュータプログラム。
9. 検査対象物の表面に生じる欠陥の像を擬似的に表した擬似欠陥画像を複数生成するステップと、
   前記検査対象物を撮影した画像から抽出される前記欠陥の像の特徴量を入力することにより、前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す判定値を出力する外観検査用識別器を用いて、前記複数の擬似欠陥画像のそれぞれについての前記判定値を求めるステップと、
   前記複数の擬似欠陥画像のうち、前記外観検査用識別器により決定される前記検査対象物の良品と前記検査対象物の不良品との識別境界に近い前記判定値に対応する前記擬似欠陥画像を複数選択するステップと、
   前記選択された前記複数の擬似欠陥画像のそれぞれについて、当該擬似欠陥画像上の欠陥の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得するステップと、
   前記選択された前記複数の擬似欠陥画像から抽出される前記特徴量と、当該特徴量に対応する前記良否判定値の組である複数の学習サンプルを用いて、前記外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定値を出力するように学習するステップと、
   をコンピュータに実行させる外観検査用識別器生成用コンピュータプログラム。
10. 検査対象物を撮影して、該検査対象物が写った検査画像を生成する撮像部（２）と、
    前記検査画像から前記検査対象物の表面に生じる欠陥の像を抽出し、該像に基づいて前記欠陥の少なくとも一つの特徴量を抽出する特徴抽出部（１１）と、
    請求項１〜５の何れか一項に記載の外観検査用識別器生成装置により学習された識別器に前記少なくとも一つの特徴量を入力することにより、前記検査対象物が良品か否かを判定する良否判定部（３２）と、
    を有することを特徴とする外観検査装置。