JP2011013720A - カテゴリ判定ルールの作成方法、装置およびコンピュータプログラム - Google Patents

Abstract

【課題】より正確な教示データの作成を支援することにあり、加えて、教示データの正確さを確保することによって誤判定の少ない判定ルールを作成することができる、カテゴリ判定ルールの作成方法、装置およびコンピュータプログラムを提供することを課題とする。
【解決手段】分割したグループの一つのグループに含まれる教示データを検証用データと設定し、残りの他グループに含まれる教示データに基づいて検証用カテゴリ判定ルールを作成して、検証用データに対し検証用カテゴリ判定ルールに基づいてカテゴリ判定付けを行う操作を、検証用データに設定するグループを順に変更しながら相互に行い、検証用データとそれに対するカテゴリ判定付けを提示し、修正もしくは削除を促し、指示を受けて前記教示データを修正し、修正後の教示データに基づいてカテゴリ判定ルールを作成・出力する。
【選択図】図２

Description

本発明は、カテゴリ(同じ性質をもつものごとの属する範囲、範疇)分類装置等に組み込まれるカテゴリ判定ルールを作成する、カテゴリ判定ルールの作成方法、装置およびコンピュータプログラムに関するものである。

画像もしくは信号波形などのパターンを認識して、あるカテゴリに含まれるかどうかを判定するカテゴリ判定には、例えば、表面欠陥画像から欠陥の種類、程度などを判定する処理を挙げることができる。

特許文献１には、半導体製造プロセスにおける学習型の欠陥分類検査装置に適用される欠陥分類方法に関する技術が開示されている。特許文献１によれば、ユーザが提示する教示データに含まれる矛盾や間違いが装置の判定精度を悪くするので、これを改善するために、一度教示データを学習して判別関数を作成した後、該判別関数によって教示データを判定付けし、教示データの欠陥カテゴリと判別関数が示すカテゴリが異なるデータについてユーザに提示し、教示データの欠陥カテゴリを修正することにより教示データの矛盾が除去され、結果として判別関数の判定精度が向上するというものである。

特許第４１３２２２９号公報

しかしながら、上記特許文献１に開示された技術では、教示データに含まれる矛盾が十分に見つけられない可能性がある。問題は上記方法では、教示データに基づいて作成した判別関数を用いて、同じ教示データを判定していることにある。すなわち、判別関数は教示データに当てはまりやすいようバイアスがかかっているため、矛盾した教示データであっても教示データ通りに判定されてしまう可能性が高い。よって、そのような矛盾した教示データは見つかりにくく、その分、判別関数の判定精度向上が阻害されてしまう。

本発明は、これら従来技術の問題点に鑑みなされたものであり、より正確な教示データの作成を支援することにあり、加えて、教示データの正確さを確保することによって誤判定の少ない判定ルール（あるいは判別関数）を作成することができる、カテゴリ判定ルールの作成方法、装置およびコンピュータプログラムを提供することを課題とする。

本発明の請求項１に係る発明は、画像もしくは信号波形などのパターンと、該パターンより算出された複数の特徴量と、前記パターンに基づいて予め与えられたカテゴリ判定との組からなる教示データに基づいてカテゴリ判定ルールを作成する、カテゴリ判定ルールの作成方法であって、前記教示データを読み込む、読み込みステップと、読み込んだ教示データを所定数のグループに分割する、グループ分割ステップと、分割したグループの一つを選択して、選択したグループに含まれる教示データを検証用データと設定し、残りの他のグループに含まれる教示データに基づいて検証用カテゴリ判定ルールを作成して、前記検証用データに対し前記検証用カテゴリ判定ルールに基づいてカテゴリ判定付けを行う操作を、検証用データに設定するグループを順に変更しながら全グループに対して相互に行う、相互検証ステップと、前記検証用データとそれに対する前記相互検証ステップによるカテゴリ判定付けを提示し、前記予め与えられたカテゴリ判定の修正もしくは削除を促す、比較表示ステップと、カテゴリ判定の修正もしくは削除指示を受けて前記教示データを修正する、教示データ修正ステップと、修正後の教示データに基づいてカテゴリ判定ルールを作成・出力する、カテゴリ判定ルール作成・出力ステップと、を有することを特徴とするカテゴリ判定ルール作成方法である。

また、本発明の請求項２に係る発明は、請求項１に記載のカテゴリ判定ルール作成方法において、前記相互検証ステップおよびカテゴリ判定ルール作成・出力ステップにおける、検証用カテゴリ判定ルール作成およびカテゴリ判定ルール作成に当たっては、決定木法、ニューラルネットワーク、サポートベクターマシン、およびｋ−近隣法のいずれかまたはそれらの組の機械学習アルゴリズムを用いることを特徴とするカテゴリ判定ルール作成方法である。

また、本発明の請求項３に係る発明は、請求項１または請求項２に記載のカテゴリ判定ルール作成方法において、前記パターンは、表面欠陥画像であり、前記比較表示ステップにおける表示には、リスト形式または集計表形式を用いることを特徴とするカテゴリ判定ルール作成方法である。

また、本発明の請求項４に係る発明は、画像もしくは信号波形などのパターンと、該パターンより算出された複数の特徴量と、前記パターンに基づいて予め与えられたカテゴリ判定との組からなる教示データに基づいてカテゴリ判定ルールを作成する、カテゴリ判定ルールの作成装置であって、前記教示データを取得して記憶する教示データ記憶手段と、記憶した教示データを読み込み、所定数のグループに分割する、グループ分割手段と、分割したグループの一つを選択して、選択したグループに含まれる教示データを検証用データと設定し、残りの他のグループに含まれる教示データに基づいて検証用カテゴリ判定ルールを作成して、前記検証用データに対し前記検証用カテゴリ判定ルール基づいてカテゴリ判定付けを行う操作を、検証用データに設定するグループを順に変更しながら全グループに対して相互に行う、相互検証手段と、前記検証用データとそれに対する前記相互検証手段によるカテゴリ判定付けを提示し、前記予め与えられたカテゴリ判定の修正もしくは削除を促す、比較表示手段と、カテゴリ判定の修正もしくは削除指示を受けて前記教示データを修正する、教示データ修正手段と、修正後の教示データに基づいてカテゴリ判定ルールを作成・出力する、カテゴリ判定ルール作成・出力手段と、を備えることを特徴とするカテゴリ判定ルール作成装置である。

さらに、本発明の請求項５に係る発明は、教示データ記憶手段と、グループ分割手段と、相互検証手段と、比較表示手段と、教示データ修正手段と、カテゴリ判定ルール作成・出力手段とを有するコンピュータを、カテゴリ判定ルール作成装置として機能させるためのコンピュータプログラムであって、上記コンピュータに対して、画像もしくは信号波形などのパターンと、該パターンより算出された複数の特徴量と、前記パターンに基づいて予め与えられたカテゴリ判定との組からなる教示データを取得して記憶する処理と、記憶した教示データを読み込み、所定数のグループに分割する処理と、分割したグループの一つを選択して、選択したグループに含まれる教示データを検証用データと設定し、残りの他のグループに含まれる教示データに基づいて検証用カテゴリ判定ルールを作成して、前記検証用データに対し前記検証用カテゴリ判定ルール基づいてカテゴリ判定付けを行う操作を、検証用データに設定するグループを順に変更しながら全グループに対して相互に行う処理と、前記検証用データとそれに対する前記相互検証手段によるカテゴリ判定付けを提示し、前記予め与えられたカテゴリ判定の修正もしくは削除を促す処理と、カテゴリ判定の修正もしくは削除指示を受けて前記教示データを修正する処理と、修正後の教示データに基づいてカテゴリ判定ルールを作成・出力する処理と、を行わせるコンピュータプログラムである。

本発明によれば、相互検証によって行われた判定付けを教示データの修正に用いるようにしたので、単に教示データを学習した判定ルールによる判定付けを用いる場合に比べて、修正が必要な教示データを見つける機会が増えて、より的確な教示データの修正が可能となる。そして、修正された教示データに基いて作成される判定ルールの精度向上、さらに精度向上した判定ルールによる正確なカテゴリ判定が実現できる。

本発明の一実施対象である欠陥検査システムの構成例を示す図である。 欠陥判定ルールの作成方法の処理手順例を示す図である。 教示データのリスト形式による表示例を示す図である。 教示データの集計表形式による表示例を示す図である。

以下、本発明の実施形態を図面を参照しながら説明する。図１は、本発明の一実施対象である欠陥検査システムの構成例を示す図である。図中、１は製品、１１は欠陥、２はホストコンピュータ、３は検出器、４は画像処理装置、４１は画像入力部、４２は欠陥検出部、４３は特徴量算出部、４４は欠陥判定部、５はデータベース、６は操作用端末、７は検査結果表示装置、８は解析コンピュータ、および９はネットワークをそれぞれ表す。

この欠陥検査システムは、製品１に生じる欠陥１１を検出するために、ホストコンピュータ２、検出器３、画像処理装置４、データベース５、操作用端末６、検査結果表示装置７、解析コンピュータ８の各装置と、それらをつなぐネットワーク９から構成されている。

ホストコンピュータ２は、ネットワーク９を通じて検査システム全体の制御および情報処理を行っており、ユーザは操作用端末６から指令をホストコンピュータ２に発行することで、検査開始、停止、設定変更等の操作を行うことができる。検出器３は、製品１を撮像し、画像信号等に変換して画像処理装置４へ伝送する。

そして画像処理装置４は、伝送された画像を順次処理して、製品１に生じた欠陥１１を検出し、ユーザによって設定された欠陥判定ルールに従って欠陥の種類や程度を判定する。ここでの欠陥判定結果は、ホストコンピュータ２に送られる。ホストコンピュータ２はそれらを集計して製品の合否を判定した後、検査結果表示装置７に検査結果を表示してユーザへ通知するとともに、データベース５へ判定結果および製品情報を蓄積する。

次に、画像処理装置４が行う処理について述べる。画像処理装置４では、画像入力部４１、欠陥検出部４２、特徴量算出部４３、および欠陥判定部４４の各部によって処理が行われる。まず、画像入力部４１は、製造ラインに同期して検出器３から画像信号を取り込む。次に、欠陥検出部４２が、取り込まれた画像から欠陥部を検出し、欠陥画像の切り出し処理を行う。さらに、特徴量算出部４３は、切り出された欠陥画像から欠陥の各種特徴量（大きさ、形状、濃淡等）を算出する。最後に、欠陥判定部４４は欠陥の特徴量を判定ルールに当てはめて、欠陥の種類や程度の判定付けを行う。

これら画像処理装置４の各処理で生じた、欠陥切り出し画像（以下、欠陥画像）、欠陥特徴量、欠陥判定等のデータは欠陥判定ルールを作成する際に必要な情報であるため、順次データベース５へ蓄積される。

解析コンピュータ８は、ユーザに画像処理装置４の欠陥判定部４４で用いられる欠陥判定ルールを作成する機能を提供する。解析コンピュータ８のプログラムには、いわゆる機械学習アルゴリズムが備わっていて、ユーザが与えた教示データを学習して欠陥判定ルールを作成することができる。

教示データは、ユーザがデータベース５に蓄積された欠陥画像を目視判定し、欠陥の種類や程度を解析コンピュータ８に入力して、判定と欠陥特徴量とを紐付けすることを繰り返すことで作成される。ただし、検出された欠陥の実物を見て判断するのでも良く、一般的には実物判断のほうが判定間違いは少ない。

図２は、欠陥判定ルールの作成方法の処理手順例を示す図である。カテゴリ判定として欠陥判定を例に教示データを修正し、欠陥判定ルールを作成する手順を示しており、以下図に従って説明を行っていく。

まず、解析コンピュータ８は、先にユーザが作成した教示データ（欠陥特徴量、目視判定、欠陥画像）のうちユーザが指定したものを読み込む（ステップＳ１）。

次に、ステップＳ１で読み込んだ教示データに対して、いわゆる相互検証（交差検定などとも称される）を行う（ステップＳ２〜Ｓ７）。相互検証とは、各教示データそれぞれを、それ自身を含まない他の教示データから学習し作成された判定ルールで相互に検証する方法である。具体的には以下のように行われる。

まず、教示データをＮグループに分割する（ステップＳ２）。ここで、Ｎは２以上かつ教示データ数以下の整数であり、ユーザによって指定されるか、予め決められた数であり、望ましくは、Ｎは１０以上とするのが良い。また、グループ分割は、バイアスがかからず無作為に行われるのが好ましい。さらに好ましくは、分割された各グループに含まれる欠陥カテゴリの割合が、教示データ全体での割合と同じになるように(かつ無作為に) 分割するのが良い。

次に、カウンターＫに１を代入する（ステップＳ３）。続いて、グループＫ以外の教示データに所定の機械学習アルゴリズムを適用して欠陥判定ルールＲ（Ｋ）を作成し（ステップＳ４）、Ｒ（Ｋ）に基づいてグループＫのデータに判定を付ける（ステップＳ５）。以下、欠陥判定ルールＲ（Ｋ）による判定をルール判定と呼ぶことにする。

さらに、Ｋの値を１ずつインクリメントしながら（ステップＳ６）、Ｋ≦Ｎである間（ステップＳ７）、ステップＳ４、ステップＳ５を繰り返し、全ての教示データにルール判定を行う。ここで、機械学習アルゴリズムは任意のものでよく、例えば、決定木法、ニューラルネットワーク、サポートベクターマシン、ｋ−近隣法などがよく知られている。もちろん、画像処理装置４内の欠陥判定部４４の処理に対応した学習アルゴリズムを選択するのが自然であるが、別のアルゴリズムを用いても良い。さらには、複数のアルゴリズムを用いて複数のルール判定を行っても良い。

以上説明した相互検証の方法によって、教示データに対してルール判定を付与した後、目視判定とルール判定（相互検証判定）の比較表示を行う（ステップＳ８）。ここでの表示方法には、例えば、リスト形式または集計表形式を用いるようにすると良い。図３は、教示データのリスト形式による表示例を示す図である。図４は、教示データの集計表形式による表示例を示す図である。

リスト形式においては、ユーザの目視判定に矛盾や間違いが含まれる可能性が高く、判定ルールの判定精度を悪化させる原因となる目視判定とルール判定の異なるデータ項目については異なる色で表示するなど、他のデータ項目と区別して表示すると判別しやすくなる。これにより、ユーザはすばやく悪いデータにアクセスすることができる。さらに、リスト形式ではユーザがデータ項目を選択することによって、該当する欠陥画像が表示される。ユーザは欠陥画像を見て判定に矛盾がないかを確認することができる。また、集計表形式においても同様に集計表のマスを選択すると、該当する欠陥画像を一覧が表示され確認することができる。

続いて、ユーザは目視判定とルール判定の異なるデータ項目を中心に欠陥画像を確認しながら、目視判定が間違っていると判定した項目について、修正した目視判定を順次入力する（ステップＳ９）。また、ユーザが教示データとしてふさわしくないと判断したデータについては、ユーザの指示により削除される。

そして、ユーザによる教示データの修正もしくは削除があった場合には、再度ステップＳ２に戻り（ステップＳ１０）、ステップＳ２からステップＳ９の相互検証判定とユーザによる目視判定の修正が繰り返される。この繰り返しにより、教示データから矛盾したデータが修正もしくは削除されてゆく。

最終的にユーザによる修正が行われなくなった時点で、画像処理装置４内の欠陥判定部４４の処理に対応した学習アルゴリズムによって、修正もしくは削除された新しい教示データを用いて新たな欠陥判定ルールが作成され、出力される（ステップＳ１１）。なお、ステップＳ１０における繰り返しの停止はユーザの判断によって決められても良い。ここで作成された欠陥判定ルールは、自動またはユーザの操作によって画像処理装置４にロードされて、欠陥判定部４４で新たな欠陥判定ルールによる判定が可能となる。

以上のように、本発明では相互検証によって行われた判定付けを教示データの修正に用いることで、単に教示データを学習した判定ルールによる判定付けを用いる場合に比べて、修正が必要な教示データを見つける機会が増えて、より的確な教示データの修正が可能となる。そして、修正された教示データに基いて作成される判定ルールの精度向上、さらに精度向上した判定ルールによる正確なカテゴリ判定が実現できる。

なお、上記では欠陥検査システムを例に本発明の実施形態を説明したが、本発明を適用する範囲はそれに限られるものではなく、カテゴリ(同じ性質をもつものごとの属する範囲、範疇)判定を行う対象であればいずれでもよい。例えば、教示データを与えて学習するタイプの文字読み取り装置などにも応用可能である。

１ 製品
１１ 欠陥
２ ホストコンピュータ
３ 検出器
４ 画像処理装置
４１ 画像入力部
４２ 欠陥検出部
４３ 特徴量算出部
４４ 欠陥判定部
５ データベース
６ 操作用端末
７ 検査結果表示装置
８ 解析コンピュータ
９ ネットワーク

Claims (5)

1. 画像もしくは信号波形などのパターンと、該パターンより算出された複数の特徴量と、前記パターンに基づいて予め与えられたカテゴリ判定との組からなる教示データに基づいてカテゴリ判定ルールを作成する、カテゴリ判定ルールの作成方法であって、
   前記教示データを読み込む、読み込みステップと、
   読み込んだ教示データを所定数のグループに分割する、グループ分割ステップと、
   分割したグループの一つを選択して、選択したグループに含まれる教示データを検証用データと設定し、残りの他のグループに含まれる教示データに基づいて検証用カテゴリ判定ルールを作成して、前記検証用データに対し前記検証用カテゴリ判定ルールに基づいてカテゴリ判定付けを行う操作を、検証用データに設定するグループを順に変更しながら全グループに対して相互に行う、相互検証ステップと、
   前記検証用データとそれに対する前記相互検証ステップによるカテゴリ判定付けを提示し、前記予め与えられたカテゴリ判定の修正もしくは削除を促す、比較表示ステップと、
   カテゴリ判定の修正もしくは削除指示を受けて前記教示データを修正する、教示データ修正ステップと、
   修正後の教示データに基づいてカテゴリ判定ルールを作成・出力する、カテゴリ判定ルール作成・出力ステップと、
   を有することを特徴とするカテゴリ判定ルール作成方法。
2. 請求項１に記載のカテゴリ判定ルール作成方法において、
   前記相互検証ステップおよびカテゴリ判定ルール作成・出力ステップにおける、検証用カテゴリ判定ルール作成およびカテゴリ判定ルール作成に当たっては、
   決定木法、ニューラルネットワーク、サポートベクターマシン、およびｋ−近隣法のいずれかまたはそれらの組の機械学習アルゴリズムを用いることを特徴とするカテゴリ判定ルール作成方法。
3. 請求項１または請求項２に記載のカテゴリ判定ルール作成方法において、
   前記パターンは、表面欠陥画像であり、
   前記比較表示ステップにおける表示には、リスト形式または集計表形式を用いることを特徴とするカテゴリ判定ルール作成方法。
4. 画像もしくは信号波形などのパターンと、該パターンより算出された複数の特徴量と、前記パターンに基づいて予め与えられたカテゴリ判定との組からなる教示データに基づいてカテゴリ判定ルールを作成する、カテゴリ判定ルールの作成装置であって、
   前記教示データを取得して記憶する教示データ記憶手段と、
   記憶した教示データを読み込み、所定数のグループに分割する、グループ分割手段と、
   分割したグループの一つを選択して、選択したグループに含まれる教示データを検証用データと設定し、残りの他のグループに含まれる教示データに基づいて検証用カテゴリ判定ルールを作成して、前記検証用データに対し前記検証用カテゴリ判定ルール基づいてカテゴリ判定付けを行う操作を、検証用データに設定するグループを順に変更しながら全グループに対して相互に行う、相互検証手段と、
   前記検証用データとそれに対する前記相互検証手段によるカテゴリ判定付けを提示し、前記予め与えられたカテゴリ判定の修正もしくは削除を促す、比較表示手段と、
   カテゴリ判定の修正もしくは削除指示を受けて前記教示データを修正する、教示データ修正手段と、
   修正後の教示データに基づいてカテゴリ判定ルールを作成・出力する、カテゴリ判定ルール作成・出力手段と、を備えることを特徴とするカテゴリ判定ルール作成装置。
5. 教示データ記憶手段と、グループ分割手段と、相互検証手段と、比較表示手段と、教示データ修正手段と、カテゴリ判定ルール作成・出力手段とを有するコンピュータを、カテゴリ判定ルール作成装置として機能させるためのコンピュータプログラムであって、
   上記コンピュータに対して、
   画像もしくは信号波形などのパターンと、該パターンより算出された複数の特徴量と、前記パターンに基づいて予め与えられたカテゴリ判定との組からなる教示データを取得して記憶する処理と、
   記憶した教示データを読み込み、所定数のグループに分割する処理と、
   分割したグループの一つを選択して、選択したグループに含まれる教示データを検証用データと設定し、残りの他のグループに含まれる教示データに基づいて検証用カテゴリ判定ルールを作成して、前記検証用データに対し前記検証用カテゴリ判定ルール基づいてカテゴリ判定付けを行う操作を、検証用データに設定するグループを順に変更しながら全グループに対して相互に行う処理と、
   前記検証用データとそれに対する前記相互検証手段によるカテゴリ判定付けを提示し、前記予め与えられたカテゴリ判定の修正もしくは削除を促す処理と、
   カテゴリ判定の修正もしくは削除指示を受けて前記教示データを修正する処理と、
   修正後の教示データに基づいてカテゴリ判定ルールを作成・出力する処理と、を行わせるコンピュータプログラム。