JP2016115331A - 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム - Google Patents

Abstract

【課題】 本発明によれば、特徴量の高次元化と演算処理時間の増加を抑えつつ、高精度に検査画像の良否判定を行う。【解決手段】 検査対象物体を含んだ検査画像を取得し、前記検査画像に周波数変換を施すことにより、複数の階層検査画像を生成し、前記複数の階層検査画像のうち、少なくとも一つの階層検査画像に対して、前記検査対象物体に含まれ得る欠陥の種類に対応した特徴量を複数抽出し、前記抽出された特徴量に基づいて、前記検査画像の良否を判定する。【選択図】 図２

Description

本発明は、物体を撮像しその撮像された画像に基づいて、物体の良否を判定する方法に関する。

一般に工場等で製造された製品は、良品か不良品かの外観検査が実施される。不良品に含まれる欠陥の出現の仕方（強度や大きさ、位置など）が予めわかっている場合、被検対象物を撮像した画像に対する画像処理での欠陥検出方法が実用化されている。しかし実際の欠陥の出現の仕方は不定な場合が多く、欠陥の強度や大きさ、位置などは多様である。従って、現状目視による検査が多く行われており、自動化はほとんど実用化されていない。

不定な欠陥に対する検査を自動化する方法の一つに、多数の特徴量を用いた検査方法がある。具体的には、学習用に用意した複数の良品と不良品のサンプルを撮影し、それらの画像から画素値の平均や分散、最大値やコントラストといった多数の特徴量を抽出し、その多次元の特徴量空間に対して良品と不良品を分類する識別器を作成する。そして実際の被検対象物に対して、この識別器を用いて良品か不良品かを判定する。

ここで、学習用のサンプル数に対して特徴量が多くなると、学習時に識別器がサンプルの良品と不良品に対してオーバーフィッティングして、被検対象物に対する汎化誤差が増大する問題が発生する。また特徴量が多いと冗長な特徴量が含まれる場合があるため、処理時間が増大する問題が発生する。従って、多数の特徴量の中から適切な特徴量を選択することにより、汎化誤差を低減させ、演算処理を高速化させる手法が知られている。特許文献１では、参照画像から複数の特徴量を抽出し、検査画像の判別に用いる特徴量を選択し、画像を判別している。

特開２００５−３０９８７８号公報

従来技術を用いた場合、多様な欠陥のうち欠陥の信号が強いものに対しては、平均や分散、最大値やコントラストといった従来の特徴量で、欠陥信号の抽出は可能であった。しかし、欠陥の信号が弱い欠陥や、欠陥の信号が強くても欠陥の数に依存するような欠陥は、そもそも特徴量として抽出することが困難であった。その為、検査画像に対する良否判定の精度が著しく落ちていた。

本発明は、上記の課題に鑑みてなされたものであり、特徴量の高次元化と演算処理時間の増加を抑えつつ、高精度に検査画像の良否判定を行うことを目的とする。

上記課題を解決するために、本発明の良品検査装置は、例えば、検査対象物体を含んだ検査画像を取得する取得手段と、前記検査画像に周波数変換を施すことにより、複数の階層検査画像を生成する生成手段と、前記複数の階層検査画像のうち、少なくとも一つの階層検査画像に対して、前記検査対象物体に含まれ得る欠陥の種類に対応した特徴量を複数抽出する抽出手段と、前記抽出された特徴量に基づいて、前記検査画像の良否を判定する判定手段とを備える。

また、本発明の識別器生成装置は、例えば、良品か不良品であるかが既知の対象物体を含んだ学習画像を取得する取得手段と、前記学習画像に周波数変換を施すことにより、複数の階層学習画像を生成する生成手段と、前記複数の階層学習画像のうち、少なくとも一つの階層学習画像に対して、欠陥の種類に対応した特徴量を複数抽出する抽出手段と、
前記抽出された特徴量に基づいて、対象物体の良否を判定する識別器を生成する生成手段とを備える。

本発明によれば、特徴量の高次元化と演算処理時間の増加を抑えつつ、高精度に検査画像の良否判定を行うことができる。

本実施形態における識別器生成装置１の機能ブロック構成を示す図である。 本実施形態における良否判定装置２の機能ブロック構成を示す図である。 本実施形態における処理のフローチャートを示す図である。 本実施形態におけるピラミッド階層画像の作成方法を示す図である。 ウェイブレット変換の説明のための画素番号を示す図である。 画像上に撮像された欠陥形状の分類図を示す図である。 点状の欠陥を強調する特徴量の算出方法の模式図である。 線状の欠陥を強調する特徴量の算出方法の模式図である。 ムラ状の欠陥を強調する特徴量の算出方法の模式図である。 ピラミッド階層画像に対する線状の欠陥を強調する特徴量を用いた場合の特徴抽出例を示す図である。 点状の欠陥、線状の欠陥、ムラ状の欠陥の３種類の特徴量と一般の統計量に対して使用する画像の種類および階層を示す図である。 本実施形態の識別器生成装置１、良否判定装置２のハードウェア構成例を示す図である。

以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

本発明にかかる各実施形態を説明するのに先立ち、本実施形態に示す識別器生成装置１または良否判定装置２が実装されるハードウェア構成について、図１２を用いて説明する。

図１２は、本実施形態における識別器生成装置１または良否判定装置２のハードウェア構成図である。同図において、ＣＰＵ１２１０は、バス１２００を介して接続する各デバイスを統括的に制御する。ＣＰＵ１２１０は、読み出し専用メモリ（ＲＯＭ）１２２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ１２２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）１２３０に一時記憶され、ＣＰＵ１２１０によって適宜実行される。また、入力Ｉ／Ｆ１２４０は、外部の装置（表示装置や操作装置など）から識別器生成装置１または良否判定装置２で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ１２５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。

これらの各機能部は、ＣＰＵ１２１０が、ＲＯＭ１２２０に格納されたプログラムをＲＡＭ１２３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ１２１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

（第１の実施形態）
図１は、本実施形態における識別器生成装置１の構成を示す図である。本実施形態の識別器生成装置１は、画像取得部１１０、階層画像生成部１２０、特徴量抽出部１３０、特徴量選択部１４０、識別器生成部１５０、記憶部１６０を備えている。また、識別器生成装置１は、撮像装置１００に接続されている。

画像取得部１１０は、撮像装置１００から画像を取得する。取得される画像は、検査対象となる物体が撮像装置１００によって撮像されて得られた学習画像である。撮像装置１００で撮像される物体は予めユーザにより良品、不良品のラベルが与えられている。本実施形態では、識別器生成装置１は、撮像装置１００に接続され、撮像装置１００から画像を取得するものとして説明するが、予め撮像した画像を記憶部に記憶しておき、記憶部から読み出すことによって取得しても構わない。

階層画像生成部１２０は、画像取得部１１０が取得した画像に基づいて、階層画像（階層学習画像）を生成する。詳細は以下で述べる。

特徴量抽出部１３０は、特徴量抽出部は、階層画像生成部１２０で生成された画像から、点状、線状、ムラ状の各欠陥を強調する特徴量を抽出する。詳細は以下で述べる。

特徴量選択部１４０は、抽出された特徴量から、良品画像と不良品画像を分離するのに有効な特徴量を選択する。詳細は以下で述べる。

識別器生成部１５０は、選択された特徴量を用いて学習処理を行うことにより、良品画像と不良品画像とを識別する識別器を生成する。詳細は以下で述べる。

記憶部１６０は、識別器生成部１５０で生成された識別器や特徴量選択部１４０で選択された特徴量の種類を記憶する。

撮像装置１００は、検査対象となる物体を撮像するカメラであり、モノクロカメラでもよいしカラーカメラでもよい。

図２は、本実施形態における欠陥検査装置２の構成を示す図である。欠陥検査装置２は、識別器生成装置１で生成された識別器を用いて、良品画像か不良品画像かが未知である画像に対して、良品不良品の判定をする装置である。本実施形態の欠陥検査装置２は、画像取得部１８０、記憶部１９０、階層画像生成部１９１、特徴量抽出部１９２、判定部１９３、出力部１９４を備えている。また、情報処理装置１は、撮像装置１７０、表示装置１９５に接続されている。

画像取得部１８０は、撮像装置１００から検査画像を取得する。取得される検査画像は、検査対象となる物体、すなわち良否が未知の物体が撮像装置１００によって撮像されて得られた画像である。

記憶部１９０は、識別器生成装置１の識別器生成部１５０で生成された識別器と、特徴量選択部１４０で選択された特徴量の種類を記憶する。

階層画像生成部１９１は、画像取得部１１０が取得した画像に基づいて、階層画像（階層検査画像）を生成する。階層画像生成部１９１の処理は、階層画像生成部１２０と同様の処理であり、詳細は以下で述べる。

特徴量抽出部１３０は、特徴量抽出部は、階層画像生成部１２０で生成された画像から、点状、線状、ムラ状の各欠陥を強調する特徴量を抽出する。詳細は以下で述べる。

判定部１４０は、抽出された特徴量から、良品画像と不良品画像を分離するのに有効な特徴量を選択する。詳細は以下で述べる。

出力部１９４は、不図示のインターフェースを介して、外部の表示装置１９５が表示可能な形式で、表示部に判定結果を送出する。なお、判定結果だけでなく、判定に用いた検査画像や階層画像等も合わせて送出してもよい。

撮像装置１７０は、検査対象となる物体を撮像するカメラであり、モノクロカメラでもよいしカラーカメラでもよい。

表示装置１９５は、出力部１９４によって出力された判定結果を表示する。出力結果は、テキスト表示で良、不良を表現しても良いし、色や音を使って表示しても良い。表示装置１９５は、例えば、液晶ディスプレイやＣＲＴディスプレイが用いられる。表示装置１９５の表示は、ＣＰＵ１２１０によって制御（表示制御）される。

図１に実施形態のフローチャートを示す。以下図１のフローチャートに従って説明する。まず本発明のフロー概略と４つの特徴となる部分を先に述べ、その後に詳細なフローを説明する。

＜実施形態のフロー概略と本発明の特徴部分＞
図３に示すように、本実施形態には大きく二つのステップ、学習ステップＳ１と、検査ステップＳ２である。学習用ステップＳ１では、まず学習用画像を取得し（ステップＳ１０１）、これらの画像に対して複数の階層と種類をもつピラミッド階層画像を作成する（ステップＳ１０２）。次に作成したピラミッド階層画像に対して全ての特徴量の抽出を実施する（ステップＳ１０３）。その後、検査に用いる特徴量を選択し（ステップＳ１０４）、良品と不良品とを判定する識別器を作成する（ステップＳ１０５）。

検査ステップＳ２では、検査用画像を取得し（ステップＳ２０１）、これらの画像に対してステップＳ１０２と同様にピラミッド階層画像を作成する（ステップＳ２０２）。次に作成したピラミッド階層画像に対して、ステップＳ１０４で選択された特徴量を抽出し（ステップＳ２０３）、識別器の作成ステップＳ１０５で作成した識別器を用いて検査用画像を良品か不良品かを判定する（ステップＳ２０４）。以上が、本実施形態のフロー概略である。

次に本発明の特徴部分を説明する。本発明において特徴的な部分は４つあり、ピラミッド階層画像作成ステップＳ１０２と特徴量抽出ステップＳ１０３において、本発明の３つの特徴的な部分が存在する。

１つ目は、欠陥の信号が弱いものや、欠陥の数に依存するものも抽出可能な特徴量を用いる点である。具体的には欠陥を３種類、点状、線状、ムラ状の各欠陥に分類し、それぞれを強調するために画像内の一定領域に演算する特徴量を用いる。具体的な欠陥の内容や特徴量については後で詳細に述べる。

２つ目は、複数の階層をもつピラミッド階層画像を準備し、各ピラミッド階層画像に対してほぼ同一のサイズの領域に対する演算を施す特徴量を用いる点である。単に欠陥を強調するためには、欠陥のサイズに合わせて様々なサイズの領域に対して演算する特徴量を用意する必要がある。本発明では、各ピラミッド階層画像に対してほぼ同一のサイズの領域に対して演算を施す特徴量を用いることで、疑似的に様々なサイズの領域に対して演算していることと等価となる。

３つ目は、特徴量ごとにピラミッド階層画像の階層と種類を有効なものだけに限定する点である。こうすることで、欠陥信号とは無関係な特徴量による識別器の精度低下と、冗長な特徴量抽出の計算による演算時間の増加を避けることができる。

特徴量選択ステップＳ１０４は、本発明の４つめの特徴的な部分が存在する。多数の特徴量の中から良品と不良品とを分離するのに有効な特徴量を選択することにより、識別器を作成するステップＳ１０５においてオーバーフィッティングの危険性を低減させることができる。また、検査ステップ２における、選択された特徴量の抽出ステップＳ２０２において、演算時間を低減することができる。以上が実施形態のフロー概略と本発明の特徴部分の説明である。

＜各ステップの詳細説明＞
以下、図３を参照して各ステップを詳細に説明する。

まず学習ステップであるステップＳ１について説明する。

（ステップＳ１）
（ステップＳ１０１）
ステップＳ１０１において、画像取得部１１０は、学習用の画像を取得する。具体的には、産業用カメラ等を用いて、良品であるか不良品であるかが予め既知である製品の外観部分を撮影し、その画像を取得する。画像の種類は良品画像と不良品画像の両方について、複数枚ずつ取得する。例えば、良品画像においては１５０枚、不良品画像においては５０枚取得する。本実施形態では、良品または不良品であるかは、予めユーザによって与えられているものとする。

（ステップＳ１０２）
Ｓ１０２において、階層画像生成部１２０は、ステップＳ１０１で取得した学習用の画像（学習画像）に対して、周波数の異なる複数の階層に分割し、さらに複数の画像の種類であるピラミッド階層画像を作成する。以下詳細に説明する。

本実施形態ではウェイブレット変換（周波数変換）を用いてピラミッド階層画像（階層学習画像）を作成する。図４にピラミッド階層画像の作成方法を示す。まず、ステップＳ１０１で取得した１枚の画像を図４の原画像２０１とし、これから低周波画像２０２、縦周波画像２０３、横周波画像２０４、対角周波画像２０５の４種類の画像を作成する。４種類の画像は全て原画像２０１の１／４倍に縮小されている。図５にウェイブレット変換の説明のための画素番号を示す。図５に示すように左上の画素をａ、右上の画素をｂ、左下の画素をｃ、右下の画素をｄとしたときに、低周波画像２０２、縦周波画像２０３、横周波画像２０４、対角周波画像２０５はそれぞれ、原画像２０１に対して
（ａ＋ｂ＋ｃ＋ｄ）／４ （１）
（ａ＋ｂ−ｃ−ｄ）／４ （２）
（ａ−ｂ＋ｃ−ｄ）／４ （３）
（ａ−ｂ−ｃ＋ｄ）／４ （４）
とする画素値の変換を行い作成する。さらに作成した、縦周波画像２０３、横周波画像２０４、対角周波画像２０５の３種類の画像から、縦周波画像の絶対値画像２０６、横周波画像の絶対値画像２０７、対角周波画像の絶対値画像２０８、縦・横・対角周波画像の二乗和画像２０９、の４種類の画像を作成する。縦周波画像の絶対値画像２０６、横周波画像の絶対値画像２０７、対角周波画像の絶対値画像２０８は、縦周波画像２０３、横周波画像２０４、対角周波画像２０５の各画像の絶対値をとることで作成する。また、縦・横・対角周波画像の二乗和画像２０９は、縦周波画像２０３、横周波画像２０４、対角周波画像２０５に対して全て二乗和を計算することで作成する。２０２〜２０９までの８種類の画像を原画像２０１に対して１階層目の画像群と呼ぶ。

次に、１階層目の画像群を作成したのと同じ画像変換を、低周波画像２０２に対して行い、２階層目の画像群８種類を作成する。さらに２階層目の低周波画像に対しても繰り返す。以上のように、この変換を各階層の低周波画像に対して、画像のサイズが一定値以下になるまで繰り返す。繰り返しを実施している部分を図４内の点線部２１０に示す。この作業を繰り返すことで、各階層に対して８種類の画像が作成される。例えば１０階層まで繰り返した場合、１枚の画像に対して８１種類（原画像１枚＋１０階層×８種類）の画像が作成される。これをステップＳ１０１において取得した全ての画像に対して行う。

本実施形態ではウェイブレット変換を用いてピラミッド階層画像を作成したが、例えばフーリエ変換などの方法を用いてもかまわない。以上が、ステップＳ１０２の説明である。

（ステップＳ１０３）
ステップＳ１０３において、特徴量抽出部１３０は、ステップＳ１０２で作成した各階層、各種類の画像から特徴量を抽出する。上述したように本ステップは、本発明における特に特徴的な部分が３つ含まれている。以下、上記３つの特徴的な部分を順番に説明する。

＜点状、線状、ムラ状の各欠陥を強調する特徴量＞
まず１つ目の特徴部分である点状、線状、ムラ状の各欠陥を強調する特徴量について説明する。図６に画像上に撮像された欠陥形状の分類図を示す。図６の横軸は欠陥に対してある一方向の長さであり、縦軸は長さとは垂直な方向（幅とする）である。図６を用いると、外観検査での欠陥形状は３種類に分類することができる。一つ目は、４０１に示す長さ・幅とも小さい点状の欠陥である。点状の欠陥は、信号そのものは強い場合がある。しかし人間の目には、１点の欠陥は欠陥として感じられないが、それがある領域に複数ある場合には、これを欠陥と感じる場合がある。また、検査する場所において、ホコリなどが外観に付着したまま撮像する場合がある。このとき、ホコリが起因である点状の欠陥は欠陥ではないが、撮像結果には点状の欠陥として現れる。従って、点状の欠陥は、その数によって欠陥となる場合、ならない場合がある。二つ目は、４０２に示すある一方向に長い線状の欠陥である。これは主にキズ起因で発生する画像である。三つ目は、４０３に示す長さ・幅の両方向に大きいムラ状の欠陥である。これは塗装での塗りムラや樹脂成型の過程などによって発生する。４０２の線状の欠陥と、４０３のムラ状の欠陥は欠陥信号が弱い場合が数多くある。

本発明では、これら３種類の形状の欠陥に対して信号を強調する特徴量を抽出する。以下、３種類それぞれに対して詳細に説明する。

１つ目の点状の欠陥を強調する特徴量について説明する。図７に点状の欠陥を強調する特徴量の算出方法の模式図を示す。矩形領域（参照領域）５０１（図７内実線の矩形枠内）は、ステップＳ１０２で作成したピラミッド階層画像の一つである。この画像５０１（階層検査画像内）に対して、所定の矩形領域内５０２（図７内点線の矩形枠内）の各画素値と、矩形領域５０２の中心画素５０３（図７内一点鎖線の矩形枠内）の画素値から、点状の欠陥を強調する特徴量を抽出する。本実施形態では、中心画素５０３を除いた矩形領域５０２内の各画素の平均値と、中心画素５０３の画素値を比較し、一定以上の比較結果となる画素を計量して特徴量とする。こうすることで、近傍の画素値よりも突出した画素がどの程度あるのかを算出でき、結果として点状の欠陥の数を特徴量とすることができる。

以下数式を用いて表す。矩形領域５０２のうち、中心画素５０３の画素を除いた平均値をａ＿Ａｖｅ、標準偏差をａ＿Ｄｅｖ、中心画素５０３の画素値をｂとする。ここで、ｍ＝４，６，８とし、
｜ａ＿Ａｖｅ−ｂ｜−ｍ×ａ＿Ｄｅｖ （５）
を計算し、（５）式が０より大きければ１、０以下であれば０とする。ｍは、標準偏差の何倍を閾値とするかで決定し、本実施形態では４倍、６倍、８倍の３種類としたが、他の数値でもよい。以上の計算を画像５０１に対してスキャンして行い（図８内矢印に相当）、（５）式が１となった画素数を計量し、点状の欠陥を強調する特徴量を得る。

２つ目の線状の欠陥を強調する特徴量について説明する。図８に線状の欠陥を強調する特徴量の算出方法の模式図を示す。図８内実線の矩形枠６０１は、ステップＳ１０２で作成したピラミッド階層画像の一つである。この画像６０１に対して、矩形領域６０２（図８内点線の矩形枠）と、一方向に連続した長い線状の矩形領域６０３（図８内一点鎖線の矩形枠）とを用いて畳み込み演算を実施して、線状の欠陥を強調する特徴量を抽出する。本実施形態では、線状の矩形領域６０３を除いた矩形領域６０２内の各画素群の平均値と線状の矩形領域６０３の平均値との比を、画像６０１全体に対してスキャンして算出し（図内矢印に相当）、その最大値および最小値を特徴量とする。矩形領域６０３は線状であるため、線状の欠陥がより強調される特徴量を抽出可能となる。また図８では、画像６０１と線状の矩形領域６０３は平行であるが、線状の欠陥は３６０度様々な方向に発生する可能性があるため、例えば１５度ごと２４方向に回転させ、それぞれの特徴量を算出する。

３つ目のムラ状の欠陥を強調する特徴量について説明する。図９にムラ状の欠陥を強調する特徴量の算出方法の模式図を示す。矩形領域７０１（図７内実線の矩形枠内）は、ステップＳ１０２で作成したピラミッド階層画像の一つである。この画像７０１に対して、矩形領域７０２（図９内点線の矩形枠内）と、矩形領域７０２の内部にムラ状の欠陥を含むような領域をもつ矩形領域７０３（図９内一点鎖線の矩形枠内）とを用いて畳み込み演算を実施して、ムラ状の欠陥を強調する特徴量を抽出する。本実施形態では、矩形領域７０３を除いた矩形領域７０２内の各画素の平均値と、矩形領域７０３の平均値との比を画像７０１全体に対してスキャンして算出し（図９内矢印に相当）、その最大値および最小値を特徴量とする。矩形領域７０３はムラ状の欠陥を含むような領域であるため、ムラ状の欠陥がより強調される特徴量を算出可能となる。

本実施形態の線状とムラ状の欠陥を強調する特徴量では、平均値の比を算出していたが、分散や標準偏差の比でもよいし、比ではなく差を用いてもよい。また本実施形態ではスキャンしたあとに、最大値および最小値を取得していたが、平均や分散など他の統計量でもよい。

また本実施形態では、画像上現れうる全ての欠陥を検出するために、欠陥を強調する３種類の特徴量を用いるとしているが、予め現れる欠陥が点状の欠陥と線状の欠陥であると分かっている場合は、ムラ状の欠陥の特徴量は用いなくてもよい。

さらに本実施形態では欠陥を強調する３種類の特徴量を用いているが、従来技術にあるようなピラミッド階層画像の画素値の平均・分散・尖度・歪度・最大値・最小値などの一般的な統計量を追加して、特徴量として用いてもよい。

＜ピラミッド階層画像を利用した特徴抽出＞
次に２つ目の特徴部分であるピラミッド階層画像を利用した特徴抽出について説明する。図１０にピラミッド階層画像に対する線状の欠陥を強調する特徴量を用いた場合の特徴抽出例を示す。矩形領域６０２と、線状の矩形領域６０３は図８で示した線状の欠陥を強調するための畳み込み演算を実施する領域である。８０１、８０２、８０３は例えば原画像、１階層目の低周波画像、２階層目の低周波画像である。それぞれの画像の中に、線状の欠陥８０４、８０５、８０６が存在する。ここで、線状を強調する特徴量は一つ、もしくは数種類程度のサイズの領域を用意し、これを各階層に対して演算する。例えば、図１０のように、矩形領域６０２と線状の矩形領域６０３の１種類のみのサイズの領域の特徴量を準備しておくと、原画像８０１や、２階層目の低周波画像８０３では、線状の欠陥は強調されづらいが、１階層目の低周波画像８０２では線状の欠陥のサイズと線状の矩形領域６０３のサイズが良く一致し、欠陥信号がより強調される。このように、各欠陥を強調する特徴量はピラミッド階層画像に対して演算するため、欠陥のサイズに合わせて様々なサイズの領域に対して演算する特徴量を用意する必要はなくなる。

＜各特徴量に合わせた階層と画像の種類の限定＞
次に本発明の３つ目の特徴部分である各特徴量に合わせた階層と画像の種類の限定について説明する。本発明では、特徴量を抽出する際に、各特徴量に合わせた階層と画像の種類を限定（選択）する。図１１に点状の欠陥、線状の欠陥、ムラ状の欠陥の３種類の特徴量と一般の統計量に対して使用する画像の種類および階層を示す。縦軸の上側の画像種類は、ステップＳ１０２で詳細に説明したピラミッド階層画像の種類であり、縦軸の下側は特徴量抽出に使用する階層である。例えば、従来技術にあるような一般的な統計量（平均や分散、最大値など）の場合、図１１に示すように画像の種類は８種類全て用い、かつ階層も原画像や１階層目から最終階層目まですべての階層の画像を用いる。これは一般的な統計量の場合、計算コストが比較的少なくて済むためである。

これに対して本発明での欠陥を強調する特徴量の場合、畳み込み演算などを実施するため計算コストが高い。また欠陥信号とは無関係な特徴量であった場合、識別器の精度低下を招く危険性がある。従って、特徴量に合わせて画像の種類と階層を限定する。以下、３種類の欠陥の特徴量について順番に説明する。

点状の欠陥を強調する特徴量では、画像の種類は低周波画像に限定する。これは上述したように、点状の欠陥の信号は強い場合が多いためである。また使用する階層は原画像及び１階層目からせいぜい２、３階層目に限定する。これは点状の欠陥であるため欠陥のサイズが小さく、従って高周波成分を含む階層で十分であるためである。

次に線状の欠陥を強調する特徴量では、画像の種類は、低周波画像、縦周波画像の絶対値画像、横周波画像の絶対値画像、対角周波画像の絶対値画像、縦・横・対角周波画像の二乗和画像に限定する。線状の欠陥は、線の方向と垂直な方向（垂直方向と呼ぶ）には距離が短い。従って、垂直方向にエッジ強調したような画像の絶対値画像に対しては線状の矩形領域６０３の中の平均値は大きくなり、特徴量としてより強調されて抽出される可能性が高くなるためである。また使用する階層は原画像及び１階層目からせいぜい２、３階層目に限定する。これは線状の欠陥の垂直方向のサイズが小さく、従って高周波成分を含む階層で十分であるためである。

次にムラ状の欠陥を強調する特徴量では、画像の種類は低周波画像に限定する。これは、ムラ状の欠陥の場合、どの方向にもある程度のサイズがあるため、エッジ強調したような画像の絶対値画像に対して、ムラ状の欠陥を含むような領域をもつ矩形領域７０３の平均値が大きくなる効果は少なくなるためである。また使用する階層は原画像と、１階層目から計算可能な階層目まで使用する。これはムラ状の欠陥が低周波成分まであるためと、ムラ状の欠陥を含むような矩形領域７０３のサイズによっては最終階層目まで計算できないためである。

本実施形態ではピラミッド階層画像の種類や階層を制限していたが、コンピュータの計算速度や許容時間によっては、画像の種類や階層をさらに制限してもよい。また、許容時間をコンピュータ側に入力し、その許容時間に収まるように画像の種類や階層を制限してもよい。

以上が３つの特徴を含む特徴量抽出ステップＳ１０３である。特徴量は原画像のサイズが１０００×２０００ピクセル程度であると、１０００〜２０００個程度となる。以上でステップＳ１０３における処理が完了する。

（ステップＳ１０４）
ステップＳ１０４において、特徴量選択部１４０は、ステップＳ１０３で抽出した特徴量のうち、良品画像と不良品画像を分離するのに有効な特徴量を選択する。これは、次のステップである識別器を作成するステップＳ１０５においてオーバーフィッティングの危険性を低減させるためである。また検査の際に選択された特徴量のみを抽出することによって高速に分離が可能となるためである。例えば、公知のフィルター法やラッパー法を用いて特徴量を選択すれば良い。また特徴量の組み合わせを評価する方法を用いてもよい。具体的には、良品と不良品を分離するのに有効な特徴量の種類のランキングを作成し、ランキングの上位から何番目までを使用するか（すなわち使用する特徴量数）を決定することで、特徴量の選択を行う。

まずランキングの作成方法について説明する。学習に用いた対象物の番号をｊ（ｊ＝１、２、・・・、２００。ただし、１〜１５０までが良品、１５１〜２００を不良品とする）、ｊ番目の対象物のｉ番目（ｉ＝１、２、・・・）の特徴量をｘ_ｉ、ｊとする。各特徴量の種類に対して、良品１５０個分における平均ｘ_{ａｖｅ＿ｉ}と標準偏差σ_{ａｖｅ＿ｉ}を算出し、特徴量ｘ_ｉ、ｊが発生する確率密度関数ｆ（ｘ_ｉ、ｊ）を正規化分布と仮定して作成する。このときｆ（ｘ_ｉ、ｊ）は以下で与えられる。

次に、学習に用いた全不良品の確率密度関数の積を算出し、これをランキング作成のための評価値とする。ここで、評価値ｇ（ｉ）は

で与えられる。評価値ｇ（ｉ）は値が小さいものほど良品と不良品を分離するのに有効な特徴量であるため、ｇ（ｉ）をソートし、値が小さいものから順番に特徴量の種類のランキングを作成する。

ランキングの作成方法として、特徴量の組み合わせを評価してもよい。特徴量の組み合わせを評価する場合は、組み合わせる特徴量の次元数分の確率密度関数を作成して評価する。例えばｉ番目とｋ番目の２次元の特徴量の組み合わせであれば、（６）式、（７）式を２次元化させ、

とする。ここで評価値ｇ（ｉ、ｋ）について、１つの特徴量ｋを固定してソートし、値が小さいものから順番に点数づけを行う。例えば、あるｋにおいて、ｇ（ｉ、ｋ）が最も値が小さければ、特徴量ｉに１０点、ｇ（ｉ’、ｋ）が次に値が小さければ特徴量ｉ’に９点、と、上位１０個について点数づけを行う。これを全てのｋについて行うことで、結合した特徴量の種類に対して、特徴量の組み合わせを考慮したランキングが作成される。

次に、ランキングの上位から何番目までの特徴量の種類を使用するか（すなわち使用する特徴量数）を決定する。まず、学習に用いた全対象物に対して、使用する特徴量数をパラメータとして、スコアを算出する。具体的には、使用する特徴量数をｐ、ランキング順にソートされた特徴量の種類をｍとし、ｊ番目の対象物のスコアｈ（ｐ、ｊ）を

とする。このスコアをもとに学習に用いた全対象物をスコア順に並べ、データの分離度を評価値として使用する特徴量数ｐを決定する。データの分離度には、ＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｏｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｃｕｒｖｅ）曲線のＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）を用いてもよいし、学習データの不良品の見逃しをゼロとしたときの良品の通過率を用いてもよい。これらの方法を用いることで、特徴抽出で計算した特徴量を５０個程度選択する。以上がステップＳ１０４の特徴量選択ステップである。

（ステップＳ１０５）
ステップＳ１０５において、識別器生成部１５０は、識別器を作成する。具体的には、（１０）式を用いて算出するスコアに対して、検査時に良品か不良品かを判定する閾値を決定する。ここで、不良品の見逃しを一部許す場合、許さない場合など、良品と不良品を分離するスコアに対する閾値は、ユーザが生産ライン状況に応じて決定する。そして、識別器生成部１５０は、生成した識別器を記憶部１６０に記憶する。他に識別器の作成方法は、ＳＶＭ（サポートベクタマシン）を用いることができる。

以上説明した方法により、識別器生成装置１は、欠陥検査に用いる識別器を生成する。次に、識別器生成装置１により生成された識別器を用いて欠陥検査を行う欠陥検査装置２による処理ついて説明する。

図３を用いて、上記の方法で生成された識別器を用いて検査を行う検査ステップＳ２について説明する。

（ステップＳ２０１）
ステップＳ２０１において、画像取得部は、検査対象物体が撮像された画像である、ｓ検査用の画像（検査画像）を取得する。

（ステップＳ２０２）
次にステップＳ２０２において、ステップＳ２０１で取得した検査画像に対してステップＳ１０２と同じようにピラミッド階層画像（階層検査画像）を作成する。この際次のステップである、選択された特徴量抽出ステップＳ２０３において使用しないピラミッド階層画像は、作成しなくてもよい。作成しない場合、検査処理時間がさらに高速化可能となる。

選択された特徴量抽出ステップＳ２０３では、検査用の各画像に対して、ステップＳ１０４で選択された特徴量をステップＳ１０３の各種方法に基づいて抽出する。そしてステップＳ２０４において、Ｓ１−５で作成した識別器をもとに、良品画像と不良品画像とを判定し、画像を分類する。具体的には、（１０）式を用いてスコアとして算出し、これがステップＳ１０５で決定した閾値以下であれば良品と判定し、閾値より大きい値であれば不良品として判定する。以上が検査ステップＳ２である。

上述したような本発明によって、特徴量の高次元化を抑えつつ、欠陥の信号が弱い欠陥や数や密度に依存する欠陥も特徴量として抽出可能である画像分類方法を提供することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

1. 検査対象物体を含んだ検査画像を取得する取得手段と、
   前記検査画像に周波数変換を施すことにより、複数の階層検査画像を生成する生成手段と、
   前記複数の階層検査画像のうち、少なくとも一つの階層検査画像に対して、前記検査対象物体に含まれ得る欠陥の種類に対応した特徴量を抽出する抽出手段と、
   前記抽出された特徴量に基づいて、前記検査画像の良否を判定する判定手段とを備えることを特徴とする良否判定装置。
2. 前記抽出手段は、前記欠陥の種類ごとに、特徴量を抽出する際に参照する参照領域を異ならせて、前記欠陥の種類に対応した特徴量を抽出することを特徴とする請求項１に記載の良否判定装置。
3. 前記抽出手段は、前記階層検査画像に含まれる画素と、前記領域内における該画素を除いた画素群とに基づいて、前記特徴量を抽出することを特徴とする請求項１または２に記載の良否判定装置。
4. 前記特徴量は、点状の欠陥を表す特徴量であることを特徴とする請求項３に記載の良否判定装置。
5. 前記抽出手段は、前記階層検査画像に含まれる所定の領域内の矩形領域内の画素群と、前記所定の領域内であって、かつ、前記矩形領域内における該画素群を除いた画素群とに基づいて、前記特徴量を抽出することを特徴とする請求項１または２に記載の良否判定装置。
6. 前記特徴量は、線状の欠陥を表す特徴量であることを特徴とする請求項５に記載の良否判定装置。
7. 前記特徴量は、ムラ状の欠陥を表す特徴量であることを特徴とする請求項５に記載の良否判定装置。
8. 更に、前記複数の階層検査画像のうちから少なくとも一つの階層検査画像を選択する選択手段を備え、
   前記選択手段は、前記欠陥の種類に応じて選択することを特徴とする請求項１乃至７のいずれか１項に記載の良否判定装置。
9. 更に、ユーザによって入力される許容時間を取得する手段を備え、
   前記選択手段は、更に、前記許容時間に応じて、前記階層検査画像を選択することを特徴とする請求項８に記載の良否判定装置。
10. 良品か不良品であるかが既知の対象物体を含んだ学習画像を取得する取得手段と、
    前記学習画像に周波数変換を施すことにより、複数の階層学習画像を生成する生成手段と、
    前記複数の階層学習画像のうち、少なくとも一つの階層学習画像に対して、欠陥の種類に対応した特徴量を抽出する抽出手段と、
    前記抽出された特徴量に基づいて、対象物体の良否を判定する識別器を生成する生成手段とを備えることを特徴とする識別器生成装置。
11. 前記抽出手段は、前記欠陥の種類ごとに、特徴量を抽出する際に参照する参照領域を異ならせて、前記欠陥の種類に対応した特徴量を抽出することを特徴とする請求項１０に記載の識別器生成装置。
12. 前記抽出手段は、前記階層検査画像内の所定の領域の画素と、前記領域内における該画素を除いた画素群とに基づいて、前記特徴量を抽出することを特徴とする請求項１０または１１に記載の識別器生成装置。
13. 前記特徴量は、点状の欠陥を表す特徴量であることを特徴とする請求項１２に記載の識別器生成装置。
14. 前記抽出手段は、前記階層学習画像に含まれる所定の領域内の矩形領域内の画素群と、前記所定の領域内であって、かつ、前記矩形領域内における該画素群を除いた画素群とに基づいて、前記特徴量を抽出することを特徴とする請求項１０または１１に記載の識別器生成装置。
15. 前記特徴量は、線状の欠陥を表す特徴量であることを特徴とする請求項１４に記載の識別器生成装置。
16. 前記特徴量は、ムラ状の欠陥を表す特徴量であることを特徴とする請求項１４に記載の識別器生成装置。
17. 検査対象物体を含んだ検査画像を取得する取得ステップと、
    前記検査画像に周波数変換を施すことにより、複数の階層検査画像を生成する生成ステップと、
    前記複数の階層検査画像のうち、少なくとも一つの階層検査画像に対して、前記検査対象物体に含まれ得る欠陥の種類に対応した特徴量を抽出する抽出ステップと、
    前記抽出された特徴量に基づいて、前記検査画像の良否を判定する判定ステップとを備えることを特徴とする良否判定方法。
18. 良品か不良品であるかが既知の対象物体を含んだ学習画像を取得する取得ステップと、
    前記学習画像に周波数変換を施すことにより、複数の階層学習画像を生成する生成ステップと、
    前記複数の階層学習画像のうち、少なくとも一つの階層学習画像に対して、欠陥の種類に対応した特徴量を抽出する抽出ステップと、
    前記抽出された特徴量に基づいて、対象物体の良否を判定する識別器を生成する生成ステップとを備えることを特徴とする識別器生成方法。
19. コンピュータを、請求項１乃至９のいずれか１項に記載の良否判定装置、または請求項１０乃至１６のいずれか１項に記載の識別器生成装置の各手段として機能させるためのプログラム。

Images