JP3896868B2 - パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置 - Google Patents
パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置 Download PDFInfo
- Publication number
- JP3896868B2 JP3896868B2 JP2002051113A JP2002051113A JP3896868B2 JP 3896868 B2 JP3896868 B2 JP 3896868B2 JP 2002051113 A JP2002051113 A JP 2002051113A JP 2002051113 A JP2002051113 A JP 2002051113A JP 3896868 B2 JP3896868 B2 JP 3896868B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- pattern
- learning
- determined
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像認識等に用いられるパターンの、特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置に関する。
【０００２】
【従来の技術】
学習用のパターンの集合から、パターン識別に用いるための特徴を決定する方法としては、判別分析法に基く方法、主成分分析法に基く方法等が良く知られており、既に広く利用されている（例えば、特開平９−２８８４９２、特開平４−２５６０８７、特開平１−３２１５９参照）。しかしながら、前記各方法は決定される特徴が線形な特徴に限定されるため、その性能には限界がある。
【０００３】
他方、非線形な特徴を扱う方法としては、ニューラルネットワークを用いた方法、特に誤差逆伝播学習法とニューラルネットワークとを組み合わせた方法が知られている（例えば、中野馨監修、”ニューロコンピュータ”、技術評論社1989、或いは、D.E.Rumelhart，"Parallel Distributed Processing"，MIT Press，1986年 参照）。これらの方法によれば、中間層のニューロンに、パターン識別に適した非線形な特徴を学習させることが可能である。しかしながら、これら方法には、特に大規模な問題では学習に膨大な時間がかかること、ニューラルネットの性能には中間層のニューロン数が大きく影響するところ、この中間層の最適なニューロン数を事前に決定するための一般的な方法がないこと等の問題点がある。
【０００４】
また、決定木を用いてパターン識別（分類）を行う方法として、決定木の各ノードにおける分類ルールを相互情報量最大化の基準で決定していくＩＤ３、Ｃ４．５等の方法が知られている(特開２０００−１２２６９０、特開昭６１−７５４８６、J.R.Quinlan，"C4.5: Programs for Machine Learning"，Morgan Kauffman，1993年 参照）。これらの方法は、上記したニューラルネットワークを用いた方法と比べると、学習が早く終了するという長所がある。その一方で、これらの方法は、学習パターン以外のパターンに対する識別性能（汎化性能）が十分ではない等、上記したニューラルネットワークを用いた方法より、性能面で、一般に劣るといわれている。
【０００５】
【発明が解決しようとする課題】
従って、本発明が解決しようとする課題は、上記した事情に鑑み、高性能のパターン識別を、膨大な学習を要することなく実現可能するためのパターン判定方法と、前記パターン判定方法の前提となる特徴選択方法並びにパターン分類方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するための手段を提供する本発明の第１の視点によれば、クラス情報が付された学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、を備えるシステムにおける特徴選択方法において、前記特徴決定手段が、前記学習パターンを特徴の値に応じて遷移させるべき、予め定めた個数の集合を用意し、前記各特徴候補に対応する各学習パターンの特徴を計算して、前記学習パターン集合のクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの最初の特徴として決定し、前記各学習パターンを、決定した特徴に応じた重みを付けて、分配するとともに、決定した特徴に対応する集合に、順次、遷移させ、前記各学習パターンが含まれる集合についての情報と、決定されている特徴とが既知であるとの条件の下で、各特徴候補に対応する各学習パターンの特徴と、前記各学習パターンのクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの次なる特徴として、順次、決定すること、を特徴とする特徴選択方法が提供される。
【０００８】
前記各特徴選択方法において、前記特徴候補生成手段は、複素ガボール関数、又は、入力規格化した複素ガボール関数を特徴抽出関数とすることが好ましい。
【０００９】
また、前記各特徴選択方法において、前記特徴決定手段は、前記各学習パターンに対して、前記特徴候補毎に予め定められたノイズパラメータによる操作を加えること、が好ましい。
【００１０】
また、前記各特徴選択方法において、前記特徴決定手段が計算する、前記各特徴候補に対応する前記各学習パターンの特徴は、前記各学習パターンの該順位の特徴が予め定めた値となる確率を示すものであることも好ましい。
【００１１】
また、本発明の第２の視点によれば、学習に用いる学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、前記特徴決定手段により決定されている特徴のセットを記憶保持する特徴記憶手段と、分類テーブルを作成する分類テーブル作成手段と、を備えるシステムにおける学習パターンの分類方法であって、前記分類テーブル作成手段が、上記した各特徴選択方法によって決定されている特徴のセットを用いて、前記各学習パターンの各特徴を計算し、前記各学習パターンの各特徴と、クラス情報と、を配置してなる分類テーブルにより学習パターンを分類すること、を特徴とするパターン分類方法が提供される。
【００１２】
上記したパターン分類方法において、前記特徴の値に関わらず、学習パターンを分類できる場合には、前記分類テーブル作成手段は、前記分類テーブルの対応する位置に、前記特徴の値に代えて、冗長項（ｄｏｎ’ｔ ｃａｒｅ項）を置くものとすることで、前記分類テーブルは、判定処理により好ましいものとなる。
【００１３】
また、本発明の第３の視点によれば、パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムにおけるパターン判定方法において、前記特徴抽出手段は、請求項１から６のいずれか一に記載の特徴選択方法によって決定されている特徴のセットを用いて、入力されたパターンの各特徴を算出し、前記算出結果に基いて、パターン判定を行うこと、を特徴とするパターン判定方法が提供される。
【００１４】
もちろん、前記パターン判定方法において、前記パターン判定手段は、上記したパターン分類方法により得られる分類テーブルを用いてパターン判定を行うことが好ましい。
【００１５】
また、前記パターン判定方法において、前記入力パターンの各特徴は、上記した特徴選択方法によって順次決定されている特徴が予め定めた値となる確率の値である場合には、前記パターン判定手段は、前記各特徴を用いて、前記分類テーブルに含まれる各特徴パターンが、予め定めたクラス情報の値となる確率を計算して汎化性能の高い判定を行うことが可能となる。
【００１６】
また、前記課題を解決するための別のパターン判定方法として、パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムにおけるパターン判定方法において、前記特徴抽出手段は、上記した各特徴選択方法によって決定されている特徴のセットを用いて、各特徴が予め定めた値となる確率を算出し、前記パターン判定手段は、前記各確率と、各特徴の決定の際に学習パターンが属する集合を、逐次記録してなる遷移テーブルと、に基いて、入力パターンの遷移を行って、前記遷移の経路に基いて、前記入力されたパターンが予め定められたクラス情報を有する確率を算出して、パターン判定を行うこと、を特徴とするパターン判定方法が提供される。
【００１７】
前記パターン判定方法において、入力されたパターンの各特徴は、前記確率を示すものでなく、確定的な値を示すものであっても、処理時間の短縮の観点から好ましいものとなる。
【００１８】
また、本発明の第４の視点によれば、上記した各方法を実施するためのプログラム並びに装置が提供される。
【００１９】
【発明の実施の形態】
続いて、本発明の好ましい実施の形態について図面を参照して説明する。
【００２０】
図１は本発明による特徴選択方法の第１の実施の形態のシステム構成を示すブロック図である。図１を参照すると、学習パターン記憶手段１０１と、特徴候補生成手段１０２と、特徴決定手段１０３と、特徴記憶手段１０４と、分類テーブル作成手段１０５と、分類テーブル１０６とが示されている。
【００２１】
学習パターン記憶手段１０１は、所望の個数の学習に用いる学習パターンを記憶保持する手段である。
【００２２】
特徴候補生成手段１０２は、予め定めた個数の特徴パラメータセットから特徴候補を順次生成する手段である。
【００２３】
特徴決定手段１０３は、特徴候補生成手段によって生成された特徴候補の中からパターン識別に最適な特徴のセットを決定する手段である。
【００２４】
特徴記憶手段１０４は、特徴決定手段１０３により決定される特徴のセットを記憶保持する手段である。
【００２５】
分類テーブル作成手段１０５は、特徴決定手段１０３により決定される特徴のセットを用いてパターン判定を行うための分類テーブル１０６を作成する手段である。
【００２６】
続いて、図面を参照して本発明の特徴選択方法の手順について説明する。図２は、本発明の特徴選択方法の処理の流れを説明するためのフローチャートである。
【００２７】
まず、図２を参照すると、まず、特徴候補生成手段１０２は、特徴候補を生成する（ステップＳ００１）。具体的には、特徴候補生成手段１０２は、予め設定しておく大量の（Ｎ個とする）特徴パラメータセットの中から、ｓ番目（ｓ＝１〜Ｎ、ｓ＝１からスタートする）の特徴パラメータセット（ｋ_ｓ，ｒ0_ｓ，σ_ｓ，th_ｓ）を（ｋ，ｒ0，σ，th）に代入し、パラメータｋ，ｒ0，σで規定される次式に例示する複素ガボール関数Ｇａｂ、及び、ガウス関数Ｇを生成する。
【数１】
【００２８】
ここで、ｒ＝（ｘ，ｙ）は位置ベクトルを表し、ｉ2＝−１である。そして、特徴候補生成手段１０２は、（１）式の複素ガボール関数Ｇａｂ、ガウス関数Ｇ、しきい値パラメータth、及び特徴候補の識別番号ｓとともに特徴決定手段１０３に送る（ステップＳ００２）。
【００２９】
学習パターン記憶手段１０１は、予め定めたＭ通りの学習パターン（画像）ｆt(ｒ)（ｔ＝１〜Ｍ）と、各学習パターンが属するクラスｑt（ｔ＝１〜Ｍ）との組を特徴決定手段１０３に対して送る（ステップＳ００３）。なお、本実施の形態においては、説明を簡単にするためクラスは、２クラス（ｑ＝０又は１）であるものとして説明する。もちろん、３クラス以上の場合にも本発明の方法は適用可能である。
【００３０】
特徴決定手段１０３は、学習パターン記憶手段１０１から順次受け取った学習パターンに対して、特徴候補（（１）式に示した複素ガボール関数及びガウス関数並びにその他パラメータ）を用いて特徴ｃを次式に従って計算する（ステップＳ００４）。ここでｔ番目の学習パターンをｆt(r)とし、すべての学習パターン（Ｍ個）について上記計算が繰り返される。
【数２】
【００３１】
（２）式の上段の式の分母はパターンの大きさ（画像の輝度）によるａの値の変動を抑えるための規格化（標準化）因子である。該分母の式は、別の形式の規格化因子に置き換えることも可能である。また、取り扱うパターンによっては、このような規格化因子を省いてもよい。
【００３２】
以上のようにｓ番目の特徴候補（特徴パラメータセット）を用いて、各学習パターンに対して特徴ｃが計算されたら、次に特徴決定手段１０３はｓ番目の特徴候補から得られる相互情報量ＭＩを次式に従って算出し、これを特徴候補の識別番号ｓとともに記憶しておく（ステップＳ００５）。
【数３】
【００３３】
なお、ここで、Ｑはクラスの集合｛ｑ＝０，ｑ＝１｝であり、Ｍは、学習パターンの総数である。また、Ｍ（ｑ）は、クラスｑに属する学習パターンの総数、Ｍ（ｃ）は、特徴がｃである学習パターンの総数、Ｍ（ｑ，ｃ）は、特徴がcでありかつクラスｑに属する学習パターンの総数である。
【００３４】
また、（３）式中の＜＞ｃはｃに関する平均化操作、即ち、
【数４】
【００３５】
である。
【００３６】
以上の操作に従って、次の（ｓ＋１）番目の特徴候補が特徴候補生成手段から送られ、同様の操作が繰り返される（ステップＳ００２〜Ｓ００５）。こうしてすべて（Ｎ個）の特徴候補に対応する相互情報量の計算が済んだ時点で、特徴決定手段１０３は、各特徴候補から得られる相互情報量を比較し、最大の相互情報量Ｍａｘ ＭＩ［Ｑ；Ｃ］が得られる特徴候補を決定すべき特徴のセットの第１番目の特徴として決定する（ステップＳ００６）。
【００３７】
こうして第１番目の特徴が決定されたら、特徴決定手段１０３は、第２番目の特徴を決定する。上記と全く同様に、特徴決定手段１０３は、特徴候補を特徴候補生成手段１０２から順次受け取り（ステップＳ００２）、各学習パターンに対して特徴ｃを算出する（ステップＳ００３、Ｓ００４）。なお、使用可能な記憶容量に応じて、上記した第１の特徴を決定する際のステップＳ００４における特徴ｃの算出結果を記憶保持しておき、特徴決定手段１０３が、該記憶保持内容を読み出す操作に代えてもよい。ｓ番目の特徴パラメータセットを用いて、各学習パターンに対して特徴ｃが計算された時点で、特徴決定手段は、既に決定されている第１番目の特徴ｃ１が既知であるという条件下で、ｓ番目の特徴候補から得られる情報量ＭＩ２を次式に従って算出し、これを特徴候補の識別番号ｓとともに記憶しておく（ステップＳ００５）。
【数５】
【００３８】
なお、ここで、Ｍ（ｃ１)は、１番目の特徴がｃ１である学習パターンの総数であり、Ｍ（ｑ，ｃ１)は、１番目の特徴がｃ１であり、かつクラスｑに属する学習パターンの総数である。また、Ｍ（ｃ，ｃ１)は、特徴がｃで、かつ１番目の特徴がｃ１である学習パターンの総数であり、Ｍ(ｑ，ｃ，ｃ１）は、特徴がｃで、１番目の特徴がｃ１で、かつクラスｑに属する学習パターンの総数である。
【００３９】
以上の操作に従って、次の（ｓ＋１）番目の特徴候補が特徴候補生成手段から送られ、同様の操作が繰り返される（ステップＳ００２〜Ｓ００５）。こうしてすべて（Ｎ個）の特徴候補に対応する相互情報量の算出が済んだ時点で、特徴決定手段１０３は各特徴候補から得られる条件付きの情報量ＭＩ２を比較し、最大の情報量が得られる特徴候補を、決定すべき特徴のセットの第２番目の特徴として決定する（ステップＳ００６）。
【００４０】
以下同様に、第ｍ番目の特徴までが決定されたら、第（ｍ＋１）番目の特徴ｃは、次式の評価関数ＭＩｍ＋１を最大にする特徴候補を採用する。
【数６】
【００４１】
上記したＭＩｍ＋１は、第ｍ番目までの特徴（ｃ１，ｃ２，．．．ｃｍ）が既知であるという条件下で、特徴ｃから得られる情報量を表している。以上の手続きは、新しい特徴を選んでも、得られる情報量（追加の情報量）が、予め設定しておく閾値ＭＩ_thよりも小さくなるまで、続けられる。例えば、前記しきい値としてゼロが設定されている場合には、得られる情報量（追加の情報量）がゼロになるまで、即ち、終了条件が満たされるまで、次なる特徴を決定すべく、上記した手順が繰り返される。
【００４２】
一方、この終了条件が満たされた時点で特徴決定手順は終了する。そして、決定された特徴のセットの各パラメータは特徴記憶手段１０４に記録される（ステップＳ００７）。
【００４３】
また、上記した特徴選択方法の一変形として、特徴候補生成手段が生成する特徴候補の数を減らす工夫を加えた、次のような構成が考えられる。例えば、各複素ガボール関数について、（２）式で算出されるａの値のクラス内平均値を、ｑ＝０のクラス、ｑ＝１のクラスそれぞれに対して予め調べておき、しきい値（th_ｓ）の値をこれら２つのクラス内平均値の中間値に固定する構成が挙げられる。また、例えば、第１番目の特徴を決定する際に（３）式で各複素ガボール関数に対して相互情報量ＭＩを計算するが、この時、各特徴候補に対してそれぞれ最大のＭＩを与えるしきい値（th_ｓ）を記録しておき、第２番目以降の特徴を決定する場合には前記しきい値（th_ｓ）の値を、そのまま固定するという構成が挙げられる。
【００４４】
また、上記した実施の形態では、特徴候補を構成する特徴抽出関数として複素ガボール関数を用いているが、他の特徴抽出関数を加えても、場合によっては他の特徴抽出関数だけで特徴候補を構成してもよい。
【００４５】
また、例えば、クラス毎に部分空間を構成し、その部分空間への距離を表す指標を特徴候補に加える変形も好ましい。また、ガウス関数を用いて計算されるある点の近傍の重み付き平均輝度、或いはガウス関数を用いて計算されるある点の近傍の重み付き平均輝度を、より広がりの大きいガウス関数を用いて計算される平均輝度で規格化したもの（即ち、ある点の近傍がその周辺よりも明るいか、暗いかを示す指標）を特徴候補に加えることも考えられる。その他、パターン判定で用いられる標準的な特徴を特徴候補に加えることが可能である。
【００４６】
特徴の決定手順が完了し、決定されている特徴のセットが特徴記憶手段１０４に記録された時点で、パターン識別に用いるための分類テーブル１０６（図４参照）の作成が可能となる。以下、所望の手段により起動された分類テーブル作成手段１０５が、分類テーブル１０６作成する手順を説明する。
【００４７】
まず、分類テーブル作成手段１０５は、学習パターン記憶手段１０１から各学習パターンを、特徴記憶手段１０４からは、上記ステップＳ００７で記録された特徴のセットの各パラメータを（以下、全部でｎ個の特徴が決定されているものとする）受け取り、各学習パターンに対しそれぞれ各特徴の値（ｃ１，ｃ２，．．．ｃｎ）、を上記（２）式に従って算出する。その上で学習パターンがｑ＝１のクラスに属していれば１の標識を、ｑ＝０のクラスに属していれば０の標識を付加して、その学習パターンに対応する特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）とともに分類テーブルに記録する。
【００４８】
上記した手順により、各学習パターンを一意に分類する分類テーブルの作成が可能であるが、より好ましくは、冗長項（ｄｏｎ’ｔ ｃａｒｅ項）を用いることが好ましい。例えば、先頭からｉ番目までの特徴の値（ｃ１，ｃ２，．．．ｃｉ）だけで、ある学習パターンの分類が可能である場合には、ｉ＋１番目以降の特徴ベクトルの値はｄｏｎ’ｔ ｃａｒｅを表す記号に置き換えて記録する。
【００４９】
上記した冗長項（ｄｏｎ’ｔ ｃａｒｅ項）を用いて、分類テーブルを作成する手順を図面を参照して説明する。図３は、本実施の形態における分類テーブルの作成処理の一例を示したフローチャートである。
【００５０】
図３を参照すると、まず、分類テーブル作成手段１０５は、入力された学習パターンに対して、決定されている特徴のセットの各パラメータを用いて、特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）の値を計算する（ステップＳ１０１、Ｓ１０２）。
【００５１】
上記特徴ベクトルと一致する特徴ベクトルを有する学習パターンが分類テーブル中に、存在するか否か照合する（ステップＳ１０３）。但し、分類テーブルにｄｏｎ’ｔ ｃａｒｅを表す記号が記されている場合には、それに対応する特徴の値はいかなるものであっても一致するものと見なして判定を行う。
【００５２】
前記照合の結果、計算した特徴ベクトルと一致する特徴ベクトルを有する学習パターンが、分類テーブル中に、既に存在する場合は、該学習パターンを記録することなく、ステップＳ１０１に戻り、次の学習パターンの入力を行う。
【００５３】
一方、一致するパターンが無い場合には、インクリメント変数ｉ＝１を設定して（ステップＳ１０４）、以下の処理を行う。まず、この学習パターンが属するクラス（例：ｑ＝０）以外のクラス（例：ｑ＝１）に属する学習パターンの中に、１番目からｉ番目までの特徴（ｃ１，ｃ２，．．．ｃｉ）のすべてが、この学習パターンと一致する学習パターンがあるか否かを調べる（ステップＳ１０５）。
【００５４】
その結果、一致する学習パターンが無い場合には、１番目からｉ番目までの特徴の値（ｃ１，ｃ２，．．．ｃｉ）をこの学習パターンが属するクラスの標識（例：ｑ＝０）とともに分類テーブルに記録し、ｉ＋１番目以後の特徴ベクトルの値にはｄｏｎ’ｔ ｃａｒｅを表す記号を記録する（ステップＳ１０６）。そして、ステップＳ１０１に戻り、次の学習パターンの入力を行う。
【００５５】
逆に、この学習パターンと一致する学習パターンが１つでもある場合には、インクリメント変数ｉを１増加してステップＳ１０５に戻る。即ち、入力した特徴パターンのｉ番目までの特徴の値により自他識別可能になるまで、ｉを増加する処理を継続することとなる。
【００５６】
以上の処理は、すべての学習パターンを入力するまで繰り返される。
【００５７】
なお、以上の手続きのみでは学習パターンのすべてが分類できない場合が生じうる。例えば、異なるクラスに属する学習パターンが同じ特徴ベクトルを持つということが起こりうる。この場合には、それぞれのクラスに属する学習パターンの数を数えて、多い方のクラスをこの特徴ベクトルが表すクラスと定める等すればよい。
【００５８】
もちろん、ｉを増加させつつ、特徴ｃ１〜ｃｉが一致するパターンをグループ化（細分化）してゆき、１のグループに１のパターンしか存在しない場合に、そのパターンのｉ＋１以降の特徴をｄｏｎ’ｔ ｃａｒｅ項とする方法等も採用しうる。
【００５９】
図４は、本発明により作成された分類テーブルの例である。図４を参照すると、各学習パターンのクラスの識別標識（ｑ）と、特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）とを格納するテーブルが示されている。なお、図４において記号「＊」はｄｏｎ’ｔ ｃａｒｅを表す記号である。
【００６０】
続いて、図面を参照して、上記したパターン判定テーブルを用いて行うパターン判定方法について説明する。
【００６１】
図５は、本発明のパターン判定方法の処理の流れを示すブロック図である。図５を参照すると、パターン入力手段２０１と、特徴抽出手段２０２と、パターン判定手段２０３とが示されている。また、特徴抽出手段２０２の特徴抽出のために用いる、決定済みの特徴のセットを記憶保持する特徴記憶手段１０４と、パターン判定手段２０３がパターン判定のために用いる、作成済みの分類テーブル１０６とが示されている。
【００６２】
パターン入力手段２０１は、所望の媒体からパターンを入力するための手段である。例えば、入力パターンは、文字、図形、音声等、特に限定するものではないが、例えば、人の顔、指紋、網膜の画像や音声等を入力して、人の認識用の情報とすることが可能である。
【００６３】
特徴抽出手段２０２は、決定された特徴のセットを用いて、パターン入力手段２０１から送られた入力パターンから、その特徴を抽出する手段である。
【００６４】
パターン判定手段２０３は、特徴抽出手段２０２により得られた特徴に基いて、入力パターンの表す情報を判定する手段である。
【００６５】
その作用は、まず、パターン入力手段２０１が、所望の媒体から入力パターンを取り込んで、特徴抽出手段２０２に対して送る。
【００６６】
続いて、特徴抽出手段２０２が、該入力パターンに対して、特徴記憶手段１０４に記憶されている特徴のセット（上記の特徴決定手法によって決定されているもの）を用いて特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）を（２）式に従って算出し、更に、前記算出結果をパターン判定手段２０３に送る。
【００６７】
パターン判定手段２０３は、分類テーブル１０６を参照しながら、この特徴ベクトルと一致するものを検索し、そこに記録されているクラスの標識を読み出しそれを判定結果として出力する。この時、分類テーブル上にｄｏｎ’ｔ ｃａｒｅを表す記号が記録されている場合には、パターン判定手段２０３は、それに対応する特徴の値がいかなるものであっても、当該部分については、一致するものとして判定を行う。
【００６８】
ここで、上記した各手順によりパターンの特徴の決定並びにパターンの判定を行う本発明の利点を一層明確にすべく、本発明と決定木を用いる従来手法（ＩＤ３、Ｃ４．５等）との相違点について述べておく。
【００６９】
ＩＤ３等も、決定木の各ノードにおける分類ルールを情報量最大化の基準に従って決定していく点においては、本発明と共通する。しかしながら、ＩＤ３やＣ４．５では、分類ルール（本発明の対応する言葉で換言すれば「特徴」）を、ノード毎に決定する。例えば、１番目の特徴ｃ１を決定した後で２番目の特徴を決定する場合を考えると、１番目の特徴ｃ１が１である場合、０である場合、それぞれの場合で異なる分類ルール（特徴）が決定されることになる。これに対して、本発明では、ノードの深さが同じ場合には、即ち、任意のｎ番目の特徴には、同一の特徴が決定される。この点が両者の大きな相違点である。
【００７０】
もちろん、いずれの方法を採用する場合でも、学習パターンは完全に分類される。しかしながら、汎化性能、即ち、学習していないパターンに対する識別性能に大きな違いが現れる。簡単のために両者の木の深さが同じ場合（ｎとする）を考えると、ＩＤ３或いはＣ４．５では２ｎ個の特徴が決定されるのに対して、本発明ではｎ個の特徴だけが決定される。従って、本発明の方が、より単純な構造を持つことになる。該決定される特徴の個数の差は、問題がより困難になり、より深い木が必要になるに従って、指数関数的に拡大していくことに注意されたい。
【００７１】
ところで、学習パターンに対する性能が同一の場合、より単純な構造の分類器の方が汎化性能に優れていることが、知られている。（「オッカムの剃刀」）。この点が、本発明による特徴選択方法及びそれを用いたパターン判定方法が、従来手法に比べて性能、とりわけ、汎化性能を大幅に向上できる理由である。
【００７２】
続いて、学習パターンに実効的ノイズを加える本発明の第２の実施の形態について説明する。
【００７３】
第２の実施の形態のシステム構成は、上記した第１の実施の形態の構成（図１参照）と略同様であり、その処理の流れも、上記した第１の実施の形態（図２〜図５参照）と略同様である。以下、第２の実施の形態が、上記した第１の実施の形態と相違する点についてのみ説明する。
【００７４】
本実施の形態では、特徴候補生成手段１０２が用いる、大量（Ｎ個とする）の特徴パラメータセットとして（ｋ_ｓ，ｒ0_ｓ，σ_ｓ，th_ｓ）に加え、更に、ノイズパラメータσn_ｓが、予め設定されている（ｓ＝１〜Ｎ）。そして、第１の実施の形態のステップＳ００１と同様に、特徴候補生成手段１０２は、ｓ番目（ｓ＝１からスタートする）の特徴パラメータセット（ｋ_ｓ，ｒ0_ｓ，σ_ｓ，th_ｓ，σｎ_ｓ）を（ｋ，ｒ0，σ，th，σｎ）に代入し、上記（１）式に従って複素ガボール関数、ガウス関数を生成する。そして、特徴候補生成手段１０２は、これらの複素ガボール関数、ガウス関数、しきい値パラメータth、ノイズパラメータσｎ及び特徴候補の識別番号ｓを特徴決定手段１０３に送る（図２のステップＳ００２）。
【００７５】
特徴決定手段１０３は、学習パターン記憶手段１０１から学習パターンを順次受け取り（図２のステップＳ００３）、上記の複素ガボール関数及びガウス関数を用いて、次式に従って、特徴ｂを各学習パターンに対して計算する（図２のステップＳ００４）。ここで、ｔ番目の学習パターンをｆｔ（ｒ）とする（ｔ＝１〜Ｍ）。
【数７】
【００７６】
（６）式のＥｒｆ（ｘ）は誤差関数である。なお、これは０以上１以下の値をとる別の非線形関数、例えば、シグモイド関数に置き換えることも可能である。
【００７７】
以上のようにｓ番目の特徴パラメータセットを用いて、各学習パターンに対して特徴ｂが計算されたら、次に特徴決定手段１０３はｓ番目の特徴候補から得られる相互情報量ＭＩを、上記（３）式に準じて、以下の要領で算出する（図２のステップＳ００５）。
【００７８】
まず、ある学習バターンに対して上記（６）式で計算される特徴の値がｂ（０≦ｂ≦１）であった場合、この学習パターンに対して特徴ｃは、確率ｂで１、確率（１−ｂ）で０をとるものと定める。そして、（３）式中のＭ（ｃ）は、特徴がｃである学習パターンの総数の期待値、同様にＭ（ｑ，ｃ）は特徴がｃでありかつクラスｑに属する学習パターンの総数の期待値、にそれぞれ置き換えて相互情報量ＭＩを算出する。
【００７９】
すべての特徴候補に対して相互情報量の計算が済んだ時点で、第１の実施の形態と全く同様に、特徴決定手段１０３は各特徴候補から得られる相互情報量を比較し、最大の情報量が得られる特徴候補を決定すべき特徴のセットの第１番目の特徴として決定する（図２のステップＳ００６）。
【００８０】
以下同様に、第ｍ番目の特徴までが決定されたら、第（ｍ＋１）番目の特徴ｃｍ＋１は、第ｍ番目までの特徴（ｃ１，ｃ２，．．．ｃｍ）が既知であるという条件下で、特徴ｃから得られる情報量ＭＩｍ＋１を最大にするように決定していく。但し、上記した第１の特徴の決定の際と同様に、相互情報量を計算する際には、学習パターンの各種総数はすべて対応する学習パターンの各種総数の期待値に置き換えて計算を行うものとする。例えば、ＭＩ２を計算する場合、（４）式においては、Ｍ（ｃ，ｃ１）は、「特徴がｃで、かつ１番目の特徴がｃ１である学習パターンの総数の期待値」に、Ｍ（ｑ，ｃ，ｃ１）は、「特徴がｃで、１番目の特徴がｃ１で、かつクラスｑに属する学習パターンの総数の期待値」にそれぞれ置き換えて計算する。
【００８１】
第１の実施の形態と同様に、以上の手続きは、新しい特徴を選んでも、得られる情報量（追加の情報量）が、予め設定しておく閾値よりも小さくなるまで、続けられる。そして、前記終了条件が満たされると、決定されている特徴のセットの各パラメータは特徴記憶手段１０４に記録される（図２のステップＳ００７）。
【００８２】
続いて、本実施の形態における別の分類テーブル作成の手順について、図面を参照して説明する。図６は、本実施の形態の分類テーブルの作成処理の一例を示したフローチャートである。なお、ｎ個の特徴が特徴決定手段によって決定され、分類テーブルは、初期化（クリア）されているものとする。
【００８３】
図６を参照すると、まず、分類テーブル作成手段１０５は、各学習パターンに対して、決定されている特徴のセットの各パラメータを用いて、各特徴ｂｓ（ｂ１，ｂ２，．．．ｂｎ）を（６）式に従って計算する（ステップＳ２０１、Ｓ２０２）。全学習パターンについての各特徴ｂｓの計算が完了すると、分類テーブル作成手段１０５は、ｓ番目の特徴ｃｓが１となる確率をｂｓ、０となる確率を（１−ｂｓ）定め、更に、ｊ＝１と初期化して、分類テーブル１０６に記録すべきパターンの選定処理を開始する（ステップＳ２０３）。
【００８４】
まず、分類テーブル作成手段１０５は、１番目からｊ番目までの特徴（ｃ１，ｃ２，．．．ｃｊ）のすべての組み合わせを生成する（ステップＳ２０４）。続いて、前記１番目からｊ番目までの特徴の全組み合わせと分類テーブル１０６に既に登録されている特徴ベクトルとを順次照合し（ステップＳ２０５）、前記１番目からｊ番目までの特徴の全組み合わせの中で、分類テーブル１０６に既に記録されている特徴ベクトルと一致している組み合わせを消去する（ステップＳ２０５−１）。この場合において、分類テーブル１０６にｄｏｎ’ｔ ｃａｒｅを表す記号が記録されている特徴は、その値に関わらず一致しているものとして、取り扱う。
【００８５】
そして、残った特徴パターン（ｃ１，ｃ２，．．．ｃｊ）について、ステップＳ２０２において各学習パターン毎に計算した特徴ｂｓを用いて期待値の計算を行い、分類テーブル１０６に記録すべき条件に合致する特徴パターンの検索を行う（ステップＳ２０６）。より具体的には、残った特徴パターンの中から、順次、適当な特徴パターン（ｃ１，ｃ２，．．．ｃｊ）を選択し、（１）前記特徴パターンであって、あるクラスｑに属する学習パターンの総数の期待値が予め定めたしきい値以上で、（２）前記特徴パターンであって、それ以外のクラスに属する学習パターンの総数の期待値が、すべて予め定めた別のしきい値以下となる場合に、該特徴パターンをクラスｑを表すパターンとし、標識ｑとともに分類テーブル１０６に記録する。その際、ｊ＋１番目からｎ番目までの特徴の欄にはｄｏｎ’ｔ ｃａｒｅを表す記号を記録する（ステップＳ２０７）。
【００８６】
上記検索の結果、条件に合致する特徴パターンが得られない場合は、ｊ＝ｊ＋１として、ステップＳ２０４に戻って、改めて、１番目からｊ番目までの特徴（ｃ１，ｃ２，．．．ｃｊ）のすべての組み合わせを生成する。一方、ｎ番目までの特徴における全組み合わせまで検索が完了した場合（ｊ＝ｎ）であれば、終了する。
【００８７】
続いて、本実施の形態における別のパターン判定の手順について、再度、図５を参照して説明する。
【００８８】
まず、パターン入力手段２０１から入力された入力パターンに対して、特徴抽出手段２０２が、特徴記憶手段１０４に記憶されている特徴のセットを用いて特徴ベクトル（ｂ１，ｂ２，．．．ｂｎ）を（６）式に従って算出し、これをパターン判定手段２０３に送る。この時、ｓ番目の特徴ｃｓ（ｓ＝１〜ｎ）が１となる確率をbｓ、０となる確率を（１−ｂｓ）と定める。
【００８９】
パターン判定手段２０３は分類テーブル１０６を参照しながら、入力パターンが各クラスに属する確率を算出する。より具体的には、以下のような手順で行われる。
【００９０】
例えば、入力パターンがクラスｑ＝０に属する確率を算出する場合を説明すると、まず、パターン判定手段２０３は、分類テーブル１０６の中からｑ＝０の標識が記されている特徴パターン（ｃ１，ｃ２，．．．ｃｎ）をすべて読み出す。ここで、その中の最初の特徴パターンが、例えば、（ｃ１，ｃ２，．．．ｃｎ）＝（１，０，＊，＊，．．．，＊）であった場合を考える（記号「＊」はｄｏｎ’ｔ ｃａｒｅを表すものとする。）。入力パターンに対して特徴ｃ１，ｃ２がｃ１＝１，ｃ２＝０となる確率は、ｂ１・（１−ｂ２)であるから、入力パターンの特徴ベクトルがこの特徴パターンと一致する確率もやはりｂ１・（１−ｂ２)と算出される。なお、この特徴パターンの３番目以降の特徴はｄｏｎ’ｔ ｃａｒｅとなっているため、３番目以降の特徴の値は、全体としての確率に影響を与えない。
【００９１】
以上の要領で、パターン判定手段２０３は、入力パターンから計算した確率ｂｓ、（１−ｂｓ）を用いて、入力パターンの特徴ベクトルが、ｑ＝０に対応する各特徴パターンと一致する確率を算出し、その総計を求める。前記各確率の総計は、入力パターンがクラスｑ＝０に属する確率と示すものとなる。パターン判定手段２０３はこうして算出された、入力パターンが各クラスに属する確率を比較し、最大の確率を与えるクラスを判定結果として出力する。
【００９２】
場合によっては、更に、予め定めておくしきい値と比較し、該しきい値との比較によって棄却判定（判定不能）を出力するという構成も当然可能である。
【００９３】
また、更に、処理時間を短縮するためには、分類テーブルだけを本実施の形態で説明した方法で作成し、パターン判定処理は第１の実施の形態で説明した方法で行うことでもよい。この場合には、入力パターンに対する特徴ベクトルは（２）式に従って算出すればよい。
【００９４】
以上説明した本発明の第２の実施の形態によれば、学習パターンに実効的にノイズを加えた効果があるので、よりマージンの大きな特徴のセットが選択される。このため、第１の実施の形態の場合よりも、更に汎化性能（学習パターン以外のパターンに対する識別性能）が向上するという特長を持つことになる。
【００９５】
続いて、本発明の第３の実施の形態について、図面を参照して説明する。本実施の形態においても、上記した第１、第２の実施の形態と同様に、３クラス以上の場合に拡張することは容易であるが、説明の便宜のため、２クラスの場合（ｑ＝０ ｏｒ １）について説明する。
【００９６】
図７は、本発明による特徴選択方法の第３の実施の形態のシステム構成を示すブロック図である。図７を参照すると、学習パターン記憶手段３０１と、特徴候補生成手段３０２と、特徴決定手段３０３と、特徴記憶手段３０４と、遷移テーブル３０５とが示されている。以下、上記した各実施の形態と同一の部分は、省略して、説明する。
【００９７】
特徴決定手段３０３は、特徴候補生成手段によって生成された特徴候補の中からパターン識別に最適な特徴のセットを決定する手段である。また、本実施の形態における特徴決定手段３０３は、本実施の形態の特徴決定手順の過程で得られるパラメータを記録してなる、遷移テーブル３０５を作成する。
【００９８】
遷移テーブル３０５は、後述するパターン判定処理に用いるパラメータを記録してなるテーブルである。
【００９９】
続いて、手順の説明の前に、各パラメータ等の説明をする。
【０１００】
学習パターンは、Ｍ個用意されているものとする。また、Ｌ個の集合群Ｄi（ｉ＝１〜Ｌ）と、これと対になる集合群Ｄ'i（ｉ＝１〜Ｌ）を用意する。ここで、Ｌは、予め定めておく自然数であり、本実施の形態では、Ｌ＝６４を採用するものとして説明する。
【０１０１】
続いて、図面を参照して、本実施の形態による特徴選択方法の手順について説明する。本実施の形態における、第１の特徴を決定するまでの手順は、上記した第２の実施の形態の場合と全く同一である。
【０１０２】
図８、図９、図１０は、本発明の特徴選択方法の処理の流れを説明するためのフローチャートである。図８を参照すると、第１の特徴が決定されると（ステップＳ３０１）、特徴決定手段３０３は、集合Ｄｉ、及びＤ'ｉ（各ｉ＝１〜Ｌ）をそれぞれ初期化する（ステップＳ３０２）。ここでは、Ｌ＝６４としているため、Ｄ１〜Ｄ64及びＤ'１〜Ｄ'64の集合について、初期化する（クリアし空集合にする）処理がなされる。
【０１０３】
特徴順位パラメータｍは、ｍ＝２とする。これは、第２の特徴から本手順を開始するためである。
【０１０４】
続いて、特徴決定手段３０３は、既に決定されている第１の特徴パラメータを用いて、各学習パターンに対して特徴ｂを（６）式に従って算出する（ステップＳ３０３〜Ｓ３０５）。
【０１０５】
続いて、特徴決定手段３０３は、各学習パターンをそれぞれ重みｂで集合Ｅ１に、重み（１−ｂ）で集合Ｅ０に分配する（ステップＳ３０６）。
【０１０６】
続いて、特徴決定手段３０３は、次式に従ってＰ（ｑ＝１｜Ｅ１）、及びＰ（ｑ＝１｜Ｅ０）を、計算する。
【数８】
【０１０７】
なお、Ｍ（Ｅ０）、Ｍ（Ｅ１）は、それぞれ集合Ｅ０，Ｅ１に属する学習パターンの重みの総計であり、Ｍ（ｑ＝１｜Ｅ０）、Ｍ（ｑ＝１｜Ｅ１）は、クラスｑ＝１に属し、かつそれぞれ集合Ｅ０，Ｅ１に属する学習パターンの重みの総計である。
【０１０８】
続いて、特徴決定手段３０３は、上記の通り分配がなされた集合Ｅ０，Ｅ１の内容を、前記予め用意した集合群（Ｄｉ）から次式により決定される集合Ｄｊ、Ｄｊ 'にそれぞれコピーする（ステップＳ３０７）。
【数９】
【０１０９】
但し、ここで、ｄ＿ｊは、次式のとおり予め定める定数である（ｊ＝１〜Ｌ−１）。次式によれば、定数ｄ＿ｊは、０以上１以下の間の値をとり、ｊの値に応じて略Ｓ字状に増加するものとなっている。例えば、Ｐ（ｑ＝１｜Ｅ０）＝０．１５であれば、ｄ＿２９＝０．１１１・・・，ｄ＿３０＝０．２より、（８）式上段の式を満たすｊ＝３０が決定され、Ｄ３０にＥ０が、コピーされる。同様に、Ｐ（ｑ＝１｜Ｅ１）＝０．７であれば、ｄ＿３３＝０．６６６・・・，ｄ＿３４＝０．８より、（８）式下段の式を満たすｊ’＝３４が決定され、Ｄ３４にＥ１がコピーされる。
【数１０】
【０１１０】
もちろん、上式は、集合Ｄi、及びＤ'iの個数に応じ、かつ、本実施の形態において取扱いが容易になるよう定めたものであって、特に限定するものではない。
【０１１１】
ここで、特徴決定手段３０３は、遷移テーブル３０５に（１，ｊ，ｊ’）を記録する（ステップＳ３０７）。例えば、ｊ＝３０，ｊ＝３４であれば、（１，３０，３４）が遷移テーブルに記録される。（図１１参照）。これは後のパターン判定処理の際に使用されるもので、１番目の特徴がｃ１＝１であったら集合Ｄｊに、ｃ１＝０であったら集合Ｄｊ 'にそれぞれ遷移すべきことを意味している。
【０１１２】
続いて、図９を参照すると、まず、特徴決定手段３０３は、ｓ番目（ｓ＝１〜Ｎ、ｓ＝１からスタートする）の特徴候補を用いて、各学習パターンに対して、（６）式に従って、特徴ｂを計算する（ステップＳ３０９〜Ｓ３１２）。この時、上記した第２の実施の形態の場合と同様に、各学習パターンに対して特徴ｃは、確率ｂで１、確率（１−ｂ）で０をとるものと定める。
【０１１３】
続いて、特徴決定手段３０３は、ｓ番目の特徴候補から得られる情報量ＭＩ’を次式に従って計算する（ステップＳ３１３）。
【数１１】
【０１１４】
なお、ここで、Ｍ（Ｄi）は、集合Ｄiに入る学習パターンの重みの総計をであり、Ｍ（ｑ，Ｄi)は、集合Ｄiに入り、かつクラスｑに属する学習パターンの重みの総計である。但し、ｉについての和は、Ｍ（Ｄi）がゼロでない場合についてのみとるものとする。また、Ｍ（ｃ，Ｄi）は、特徴がｃで、かつ集合Ｄiに入る学習パターンの重みの総計の期待値であり、Ｍ（ｑ，ｃ，Ｄi）は、特徴がcで、集合Ｄiに入り、かつクラスｑに属する学習パターンの重みの総計の期待値である。
【０１１５】
こうして、ｓ＝Ｎとなるまで、各学習パターン毎に特徴ｂの計算処理が行われ、すべての特徴候補に対して情報量ＭＩ’の計算が済んだ時点で、特徴決定手段３０３は、これらを比較し、最大の情報量が得られる特徴候補を決定すべき特徴のセットの第ｍ番目の特徴として決定する（ステップＳ３１４）。
【０１１６】
上記の通り最大の情報量が得られる第ｍ番目の特徴が決定すると、特徴決定手段３０３は、すべての集合Ｄi（Ｄ１〜Ｄ64）に対して次の操作を行う。
【０１１７】
図１０を参照すると、特徴決定手段３０３は、上記決定された第ｍ番目の特徴パラメータを用いて、各学習パターンに対して特徴ｂを（６）式に従って算出しＤiに属する各学習パターンを、重みｂ：（１−ｂ）の割合で集合Ｅ１及び、集合Ｅ０に分配する（ステップＳ３１５〜Ｓ３１８、図１３参照）。
【０１１８】
続いて、特徴決定手段３０３は、（７）式に従ってＰ（ｑ＝１｜Ｅ１）、及びＰ（ｑ＝１｜Ｅ０）を、計算する。
【０１１９】
続いて、特徴決定手段３０３は、上記の通り分配がなされた集合Ｅ０，Ｅ１の内容を、前記予め用意した集合群（Ｄ'ｉ）から（８）式により決定されるＤ'ｊ、Ｄ'ｊ 'にそれぞれ加える（ステップＳ３１９）。例えば、図１３に示されたとおり、Ｐ（ｑ＝１｜Ｅ０）＝０．０５であれば、（８）式の上段の式を満たすｊ＝２８が決定され、Ｄ'28にＥ０が加えられる。同様に、Ｐ（ｑ＝１｜Ｅ１）＝０．３であれば、（８）式の下段の式を満たすｊ’＝３１が決定され、Ｄ'31にＥ１が加えられる（図１３参照）。
【０１２０】
ここで、特徴決定手段３０３は、遷移テーブル３０５に（ｍ，ｉ，ｊ，ｊ’）を記録する（ステップＳ３２０）。例えば、ｍ＝２，ｉ＝３０，ｊ＝２８，ｊ'＝３１であれば、図１１の遷移テーブルに示されたとおり、対応する位置（ｍ＝２，ｉ＝３０）に（ｊ＝２８，ｊ'＝３１）が記録される。前記記録内容は、ｍ番目の特徴がｃｍ＝１であったら集合Ｄｊに、ｃｍ＝０であったら集合Ｄｊ 'にそれぞれ遷移すべきことを意味しており、後述するパターン判定の際に使用される。
【０１２１】
すべての集合Ｄi（ｉ＝１〜Ｌ）に対して以上の操作が終了した場合には、特徴決定手段３０３は、集合Ｄ'i（ｉ＝１〜Ｌ）を集合Ｄi（ｉ＝１〜Ｌ）にコピーし、後続する第ｍ＋１番目の特徴を決定すべく、集合Ｄ'i（ｉ＝１〜Ｌ）を初期化（クリア）する（ステップＳ３２１、図１３参照）。
【０１２２】
以上の手続きは、新しい特徴を選んでも、ステップＳ３１４で得られる情報量（追加の情報量）が、予め設定しておくしきい値ＭＩ_thよりも小さくなるまで、続けられる。従って、前記終了条件を満たしていない限り、特徴決定手段３０３は、次なる第ｍ＋１番目の特徴を決定すべく、ｍ＝ｍ＋１としてステップＳ３０９の手順に戻ることとなる（ステップＳ３２２）。
【０１２３】
一方、前記終了条件が満たされると、決定されている特徴のセットの各パラメータは特徴記憶手段３０４に記録される（ステップＳ３２３）。
【０１２４】
ここで、上記した本発明の第３の実施の形態において、生成される判定処理に用いることのできる遷移テーブルについて説明する。図１１は、こうした遷移テーブルの一例である。図１１を参照すると、第１の特徴に対する遷移先の集合を示した第１の部分と、第２の特徴以降の各特徴に対する遷移先の集合を、特徴順位パラメータｍと、集合番号パラメータｉと、各特徴の値Ｃｍと、により示した第２の部分とからなっている。
【０１２５】
更に、図１１の遷移テーブルの第１の部分を参照すると、ｃ１＝１に対応する欄に「３０」が記載され、ｃ１＝０に対応する欄に「３４」が記載されている。これは、「１番目の特徴がｃ１＝１であったら集合Ｄ３０に、ｃ１＝０であったら集合Ｄ３４にそれぞれ遷移させる」べきことを示している。また、図１１の遷移テーブルの第２の部分のｍ＝２、ｉ＝３０の欄を参照すると、ｃ１＝１に対応する欄に「２８」が記載され、ｃ１＝０に対応する欄に「３１」が記載されている。これは、「集合Ｄ３０に属しているパターンは、第２番目の特徴がｃ２＝１であったら集合Ｄ２８に、ｃ２＝０であったら集合Ｄ３１にそれぞれ遷移させる」べきことを示している。
【０１２６】
なお、図１１の第２の部分の各欄中の記号「−」は空欄であることを示している。例えば、第２番目の特徴ｃ２の値に基く遷移先を記した行（ｍ＝２）においては、集合Ｄ３０及びＤ３４に対応する列（ｉ＝３０、３４）以外の欄は空欄「−」になっている。これは、前記１番目の特徴に対応する遷移先の集合が「３０」又は「３４」となっていることに対応したものである。即ち、図１１の遷移テーブルによれば、入力パターンは、前記第１の特徴によって、必ずＤ３０或いはＤ３４の集合に遷移され、他の欄を参照する必要がないためである。
【０１２７】
なお、図１１の遷移テーブルによれば、第１の特徴と、第２番目以降の特徴に対する遷移先の集合を記載した部分を分けて記載しているが、特徴順位パラメータｍと、集合番号パラメータｉと、各特徴の値Ｃｍと、により、遷移先の集合をあらわし得るものであれば、特に限定するものではないことはもちろんである。例えば、図１２に示すように、図１１の第１の部分と第２の部分を統合させたものであってもよい。
【０１２８】
続いて、本実施の形態におけるパターン判定の手順について、図面を参照して説明する。図１４は、こうして決定されている特徴のセットを用いてパターン判定を行うパターン判定方法を示すブロック図である。図１４を参照すると、パターン入力手段４０１と、特徴抽出手段４０２と、パターン判定手段４０３とが示されている。また特徴抽出手段４０２が特徴抽出のために用いる特徴記憶手段３０４、パターン判定手段４０３がパターン判定のために用いる遷移テーブル３０５が示されている。
【０１２９】
その作用は、まず、パターン入力手段４０１が、所望の媒体から入力パターンを取り込んで、特徴抽出手段４０２に対して送る。
【０１３０】
続いて、特徴抽出手段４０２が、該入力パターンに対して、特徴記憶手段３０４に記憶されている特徴のセット（上記の特徴決定手法によって決定されているもの）を用いて特徴ベクトル（ｂ１，ｂ２，．．．ｂｎ）を（６）式に従って算出し、更に、前記算出結果をパターン判定手段４０３に送る。
【０１３１】
この時、特徴ｃｓ（ｓ＝１〜ｎ）が１となる確率をｂｓ、０となる確率を（１−ｂｓ）と定める。パターン判定手段４０３は、順次遷移テーブル３０５を参照し、入力パターンが各クラスに属する確率を算出する。この手続きは以下のように進める。
【０１３２】
まず、パターン判定手段４０３は、第１の特徴に基く遷移規則（１，ｊ、ｊ'）を読み出し、状態ｊに確率ｂ１で、状態ｊ’に確率（１−ｂ１）で遷移させる。次に、パターン判定手段４０３は、第２の特徴ｃ２が１となる確率をｂ２、ｃ２が０となる確率を（１−ｂ２）として、第２の特徴に基く遷移規則を読み出し、状態を更に遷移させる。例えば、第２の特徴に基く遷移規則に（２，ｊ、ｋ，ｋ'）、（２，ｊ'、ｋ”，ｋ'''）と記されていたら、状態ｊからは確率ｂ２で状態ｋに、確率（１−ｂ２）で状態ｋ'に、状態ｊ'からは確率ｂ２で状態ｋ”に、確率（１−ｂ２）で状態ｋ'''に、それぞれ遷移することとなる。従って、この場合、状態ｋにいる確率はｂ１・ｂ２、状態ｋ’にいる確率はｂ１・（１−ｂ２）、状態ｋ”にいる確率は（１−ｂ１）・ｂ２、状態ｋ'''にいる確率は（１−ｂ１）・（１−ｂ２）で、それぞれ与えられることになる。以下同様に、パターン判定手段４０３は、第ｎの特徴までを用いて、遷移テーブルを参照しながら状態を遷移させていく。
【０１３３】
このようにして、第ｎの特徴までを用いて状態を遷移させた結果、各状態ｊにいる確率がＰ（ｊ）（ｊ＝１〜Ｌ）と算出されたものとする。この時、入力パターンがクラスｑ＝１に属する確率Ｐ（ｑ＝１）を次式により求めることが可能となる。
【数１２】
【０１３４】
パターン判定手段４０３は、この確率Ｐ（ｑ＝１）が、予め定めておくしきい値よりも大であれば「入力はクラスｑ＝１に属する」ものと判定し、その結果を出力する。また、この確率Ｐ（ｑ＝１）が、前記しきい値よりも小であれば、棄却ないし判定不能と判定し、その結果を出力する。もちろん、前記しきい値として、採択臨界値と棄却臨界値との２つを設けること、境界領域にある場合は、判定不能とすること等、種々の変形実施が可能である。
【０１３５】
なお、本実施の形態においては、（１１）式によってＰ（ｑ＝１｜ｊ）の値を決定することとしているが、学習パターンを用いて、次のように決定することとしてもよい。即ち、各学習パターンｆi(r)（ｉ＝１〜Ｍ）を遷移テーブルに従って遷移させるとともに、各学習パターンの特徴ベクトル（ｂ１，ｂ２，．．．ｂｎ）に基いて、それぞれが最終的に状態ｊにいる確率Ｐ（ｉ，ｊ）、を算出する。次にクラスｑ＝１に属する学習パターンについてのみこのＰ（ｉ，ｊ）の値を総計したものをＰ１（ｊ）、すべての学習パターンについてＰ（ｉ，ｊ）を総計したものをＰtotal（ｊ）とし、Ｐ（ｑ＝１｜ｊ）＝Ｐ１（ｊ）／Ｐtotal（ｊ）によってＰ(ｑ＝１｜ｊ)の値を決定する。
【０１３６】
本実施の形態におけるパターン判定のための処理時間を短縮するための変形として、遷移テーブル３０５だけを本実施の形態の方法で作成し、入力パターンに対する特徴ベクトルは（２）式に従って算出する方法を採ることができる。この場合には、判定処理では確率的な動作を行わず、（２）式で得られる特徴ベクトルに従って、状態を確定的に遷移させてパターン判定を行う構成が実現される。また、この場合、遷移テーブルに従って状態を遷移させる際には、各段階において状態を確定的に遷移させることができるため、第ｎの特徴までを用いて状態を遷移させると、最終的には状態は１〜Ｌの中のある特定の状態ｊに確定する。そして、この状態ｊに対応する（１１）式のP(ｑ＝１｜ｊ)の値を調べて、これが予め定めておくしきい値よりも大であれば「入力はクラスｑ＝１に属する」ものと判定し、その結果を出力するものとすればよい。
【０１３７】
以上説明した、本発明の第３の実施の形態では、第２の実施の形態と同様に、学習パターンに実効的にノイズを加えた効果があるため、よりマージンの大きな特徴のセットが選択されるという特長が、具現される。
【０１３８】
更に、本発明の第３の実施の形態では、特徴選択のための計算が、上記した第２の実施の形態の場合と比較して大幅に削減できる、という特長が、具現される。その理由は、選択される特徴の数ｎが大きくなっても、特徴選択に必要な計算は、高々Ｌ個の集合を特徴に応じて分割した際に得られる情報量の計算（（９）式）によって実現できる点にある。
【０１３９】
また、更に、本発明の第３の実施の形態では、一旦分類された学習パターンを集合Ｄiに適時マージしながら情報量の計算が行われるため、各集合Ｄiに属する学習パターンの数が極度に少なくなることが避けられる。この結果、学習パターンに依存して特徴が選択されてしまうような現象が少なくなり、汎化性能を更に高めることができる、という特長が、具現されている。
【０１４０】
【発明の効果】
以上説明したように、本発明によれば、高性能のパターン識別を、膨大な学習を要することなく実現することが可能となる。その理由は、既に決定されている特徴の値自体には依存せずに、後続する特徴を一意に選択する手法を提供したこと、にある。
【０１４１】
また、本発明によれば、識別性能（汎化性能）の大幅な向上が実現される。その理由は、分類器としての構造を大幅に単純化できる構成を提供したことにある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の特徴選択方法を行うシステムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図３】本発明による分類テーブルの作成処理の一例を示したフローチャートである。
【図４】本発明により作成された分類テーブルの一例である。
【図５】本発明の第１の実施の形態のパターン判定方法を行うシステムの構成を示すブロック図である。
【図６】本発明による分類テーブルの作成処理の別の一例を示したフローチャートである。
【図７】本発明の第３の実施の形態の特徴選択方法を行うシステムの構成を示すブロック図である。
【図８】本発明の第３の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図９】本発明の第３の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図１０】本発明の第３の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図１１】本発明により作成された遷移テーブルの一例である。
【図１２】本発明により作成された遷移テーブルの別の一例である。
【図１３】本発明の第３の実施の形態で行われる集合間の遷移を簡便に表した図である。
【図１４】本発明の第３の実施の形態のパターン判定方法を行うシステムの構成を示すブロック図である。
【符号の説明】
１０１ 学習パターン記憶手段
１０２ 特徴候補生成手段
１０３ 特徴決定手段
１０４ 特徴記憶手段
１０５ 分類テーブル作成手段
１０６ 分類テーブル
２０１ パターン入力手段
２０２ 特徴抽出手段
２０３ パターン判定手段
３０１ 学習パターン記憶手段
３０２ 特徴候補生成手段
３０３ 特徴決定手段
３０４ 特徴記憶手段
３０５ 遷移テーブル
４０１ パターン入力手段
４０２ 特徴抽出手段
４０３ パターン判定手段
【発明の属する技術分野】
本発明は、画像認識等に用いられるパターンの、特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置に関する。
【０００２】
【従来の技術】
学習用のパターンの集合から、パターン識別に用いるための特徴を決定する方法としては、判別分析法に基く方法、主成分分析法に基く方法等が良く知られており、既に広く利用されている（例えば、特開平９−２８８４９２、特開平４−２５６０８７、特開平１−３２１５９参照）。しかしながら、前記各方法は決定される特徴が線形な特徴に限定されるため、その性能には限界がある。
【０００３】
他方、非線形な特徴を扱う方法としては、ニューラルネットワークを用いた方法、特に誤差逆伝播学習法とニューラルネットワークとを組み合わせた方法が知られている（例えば、中野馨監修、”ニューロコンピュータ”、技術評論社1989、或いは、D.E.Rumelhart，"Parallel Distributed Processing"，MIT Press，1986年 参照）。これらの方法によれば、中間層のニューロンに、パターン識別に適した非線形な特徴を学習させることが可能である。しかしながら、これら方法には、特に大規模な問題では学習に膨大な時間がかかること、ニューラルネットの性能には中間層のニューロン数が大きく影響するところ、この中間層の最適なニューロン数を事前に決定するための一般的な方法がないこと等の問題点がある。
【０００４】
また、決定木を用いてパターン識別（分類）を行う方法として、決定木の各ノードにおける分類ルールを相互情報量最大化の基準で決定していくＩＤ３、Ｃ４．５等の方法が知られている(特開２０００−１２２６９０、特開昭６１−７５４８６、J.R.Quinlan，"C4.5: Programs for Machine Learning"，Morgan Kauffman，1993年 参照）。これらの方法は、上記したニューラルネットワークを用いた方法と比べると、学習が早く終了するという長所がある。その一方で、これらの方法は、学習パターン以外のパターンに対する識別性能（汎化性能）が十分ではない等、上記したニューラルネットワークを用いた方法より、性能面で、一般に劣るといわれている。
【０００５】
【発明が解決しようとする課題】
従って、本発明が解決しようとする課題は、上記した事情に鑑み、高性能のパターン識別を、膨大な学習を要することなく実現可能するためのパターン判定方法と、前記パターン判定方法の前提となる特徴選択方法並びにパターン分類方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するための手段を提供する本発明の第１の視点によれば、クラス情報が付された学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、を備えるシステムにおける特徴選択方法において、前記特徴決定手段が、前記学習パターンを特徴の値に応じて遷移させるべき、予め定めた個数の集合を用意し、前記各特徴候補に対応する各学習パターンの特徴を計算して、前記学習パターン集合のクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの最初の特徴として決定し、前記各学習パターンを、決定した特徴に応じた重みを付けて、分配するとともに、決定した特徴に対応する集合に、順次、遷移させ、前記各学習パターンが含まれる集合についての情報と、決定されている特徴とが既知であるとの条件の下で、各特徴候補に対応する各学習パターンの特徴と、前記各学習パターンのクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの次なる特徴として、順次、決定すること、を特徴とする特徴選択方法が提供される。
【０００８】
前記各特徴選択方法において、前記特徴候補生成手段は、複素ガボール関数、又は、入力規格化した複素ガボール関数を特徴抽出関数とすることが好ましい。
【０００９】
また、前記各特徴選択方法において、前記特徴決定手段は、前記各学習パターンに対して、前記特徴候補毎に予め定められたノイズパラメータによる操作を加えること、が好ましい。
【００１０】
また、前記各特徴選択方法において、前記特徴決定手段が計算する、前記各特徴候補に対応する前記各学習パターンの特徴は、前記各学習パターンの該順位の特徴が予め定めた値となる確率を示すものであることも好ましい。
【００１１】
また、本発明の第２の視点によれば、学習に用いる学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、前記特徴決定手段により決定されている特徴のセットを記憶保持する特徴記憶手段と、分類テーブルを作成する分類テーブル作成手段と、を備えるシステムにおける学習パターンの分類方法であって、前記分類テーブル作成手段が、上記した各特徴選択方法によって決定されている特徴のセットを用いて、前記各学習パターンの各特徴を計算し、前記各学習パターンの各特徴と、クラス情報と、を配置してなる分類テーブルにより学習パターンを分類すること、を特徴とするパターン分類方法が提供される。
【００１２】
上記したパターン分類方法において、前記特徴の値に関わらず、学習パターンを分類できる場合には、前記分類テーブル作成手段は、前記分類テーブルの対応する位置に、前記特徴の値に代えて、冗長項（ｄｏｎ’ｔ ｃａｒｅ項）を置くものとすることで、前記分類テーブルは、判定処理により好ましいものとなる。
【００１３】
また、本発明の第３の視点によれば、パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムにおけるパターン判定方法において、前記特徴抽出手段は、請求項１から６のいずれか一に記載の特徴選択方法によって決定されている特徴のセットを用いて、入力されたパターンの各特徴を算出し、前記算出結果に基いて、パターン判定を行うこと、を特徴とするパターン判定方法が提供される。
【００１４】
もちろん、前記パターン判定方法において、前記パターン判定手段は、上記したパターン分類方法により得られる分類テーブルを用いてパターン判定を行うことが好ましい。
【００１５】
また、前記パターン判定方法において、前記入力パターンの各特徴は、上記した特徴選択方法によって順次決定されている特徴が予め定めた値となる確率の値である場合には、前記パターン判定手段は、前記各特徴を用いて、前記分類テーブルに含まれる各特徴パターンが、予め定めたクラス情報の値となる確率を計算して汎化性能の高い判定を行うことが可能となる。
【００１６】
また、前記課題を解決するための別のパターン判定方法として、パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムにおけるパターン判定方法において、前記特徴抽出手段は、上記した各特徴選択方法によって決定されている特徴のセットを用いて、各特徴が予め定めた値となる確率を算出し、前記パターン判定手段は、前記各確率と、各特徴の決定の際に学習パターンが属する集合を、逐次記録してなる遷移テーブルと、に基いて、入力パターンの遷移を行って、前記遷移の経路に基いて、前記入力されたパターンが予め定められたクラス情報を有する確率を算出して、パターン判定を行うこと、を特徴とするパターン判定方法が提供される。
【００１７】
前記パターン判定方法において、入力されたパターンの各特徴は、前記確率を示すものでなく、確定的な値を示すものであっても、処理時間の短縮の観点から好ましいものとなる。
【００１８】
また、本発明の第４の視点によれば、上記した各方法を実施するためのプログラム並びに装置が提供される。
【００１９】
【発明の実施の形態】
続いて、本発明の好ましい実施の形態について図面を参照して説明する。
【００２０】
図１は本発明による特徴選択方法の第１の実施の形態のシステム構成を示すブロック図である。図１を参照すると、学習パターン記憶手段１０１と、特徴候補生成手段１０２と、特徴決定手段１０３と、特徴記憶手段１０４と、分類テーブル作成手段１０５と、分類テーブル１０６とが示されている。
【００２１】
学習パターン記憶手段１０１は、所望の個数の学習に用いる学習パターンを記憶保持する手段である。
【００２２】
特徴候補生成手段１０２は、予め定めた個数の特徴パラメータセットから特徴候補を順次生成する手段である。
【００２３】
特徴決定手段１０３は、特徴候補生成手段によって生成された特徴候補の中からパターン識別に最適な特徴のセットを決定する手段である。
【００２４】
特徴記憶手段１０４は、特徴決定手段１０３により決定される特徴のセットを記憶保持する手段である。
【００２５】
分類テーブル作成手段１０５は、特徴決定手段１０３により決定される特徴のセットを用いてパターン判定を行うための分類テーブル１０６を作成する手段である。
【００２６】
続いて、図面を参照して本発明の特徴選択方法の手順について説明する。図２は、本発明の特徴選択方法の処理の流れを説明するためのフローチャートである。
【００２７】
まず、図２を参照すると、まず、特徴候補生成手段１０２は、特徴候補を生成する（ステップＳ００１）。具体的には、特徴候補生成手段１０２は、予め設定しておく大量の（Ｎ個とする）特徴パラメータセットの中から、ｓ番目（ｓ＝１〜Ｎ、ｓ＝１からスタートする）の特徴パラメータセット（ｋ_ｓ，ｒ0_ｓ，σ_ｓ，th_ｓ）を（ｋ，ｒ0，σ，th）に代入し、パラメータｋ，ｒ0，σで規定される次式に例示する複素ガボール関数Ｇａｂ、及び、ガウス関数Ｇを生成する。
【数１】
ここで、ｒ＝（ｘ，ｙ）は位置ベクトルを表し、ｉ2＝−１である。そして、特徴候補生成手段１０２は、（１）式の複素ガボール関数Ｇａｂ、ガウス関数Ｇ、しきい値パラメータth、及び特徴候補の識別番号ｓとともに特徴決定手段１０３に送る（ステップＳ００２）。
【００２９】
学習パターン記憶手段１０１は、予め定めたＭ通りの学習パターン（画像）ｆt(ｒ)（ｔ＝１〜Ｍ）と、各学習パターンが属するクラスｑt（ｔ＝１〜Ｍ）との組を特徴決定手段１０３に対して送る（ステップＳ００３）。なお、本実施の形態においては、説明を簡単にするためクラスは、２クラス（ｑ＝０又は１）であるものとして説明する。もちろん、３クラス以上の場合にも本発明の方法は適用可能である。
【００３０】
特徴決定手段１０３は、学習パターン記憶手段１０１から順次受け取った学習パターンに対して、特徴候補（（１）式に示した複素ガボール関数及びガウス関数並びにその他パラメータ）を用いて特徴ｃを次式に従って計算する（ステップＳ００４）。ここでｔ番目の学習パターンをｆt(r)とし、すべての学習パターン（Ｍ個）について上記計算が繰り返される。
【数２】
（２）式の上段の式の分母はパターンの大きさ（画像の輝度）によるａの値の変動を抑えるための規格化（標準化）因子である。該分母の式は、別の形式の規格化因子に置き換えることも可能である。また、取り扱うパターンによっては、このような規格化因子を省いてもよい。
【００３２】
以上のようにｓ番目の特徴候補（特徴パラメータセット）を用いて、各学習パターンに対して特徴ｃが計算されたら、次に特徴決定手段１０３はｓ番目の特徴候補から得られる相互情報量ＭＩを次式に従って算出し、これを特徴候補の識別番号ｓとともに記憶しておく（ステップＳ００５）。
【数３】
なお、ここで、Ｑはクラスの集合｛ｑ＝０，ｑ＝１｝であり、Ｍは、学習パターンの総数である。また、Ｍ（ｑ）は、クラスｑに属する学習パターンの総数、Ｍ（ｃ）は、特徴がｃである学習パターンの総数、Ｍ（ｑ，ｃ）は、特徴がcでありかつクラスｑに属する学習パターンの総数である。
【００３４】
また、（３）式中の＜＞ｃはｃに関する平均化操作、即ち、
【数４】
である。
【００３６】
以上の操作に従って、次の（ｓ＋１）番目の特徴候補が特徴候補生成手段から送られ、同様の操作が繰り返される（ステップＳ００２〜Ｓ００５）。こうしてすべて（Ｎ個）の特徴候補に対応する相互情報量の計算が済んだ時点で、特徴決定手段１０３は、各特徴候補から得られる相互情報量を比較し、最大の相互情報量Ｍａｘ ＭＩ［Ｑ；Ｃ］が得られる特徴候補を決定すべき特徴のセットの第１番目の特徴として決定する（ステップＳ００６）。
【００３７】
こうして第１番目の特徴が決定されたら、特徴決定手段１０３は、第２番目の特徴を決定する。上記と全く同様に、特徴決定手段１０３は、特徴候補を特徴候補生成手段１０２から順次受け取り（ステップＳ００２）、各学習パターンに対して特徴ｃを算出する（ステップＳ００３、Ｓ００４）。なお、使用可能な記憶容量に応じて、上記した第１の特徴を決定する際のステップＳ００４における特徴ｃの算出結果を記憶保持しておき、特徴決定手段１０３が、該記憶保持内容を読み出す操作に代えてもよい。ｓ番目の特徴パラメータセットを用いて、各学習パターンに対して特徴ｃが計算された時点で、特徴決定手段は、既に決定されている第１番目の特徴ｃ１が既知であるという条件下で、ｓ番目の特徴候補から得られる情報量ＭＩ２を次式に従って算出し、これを特徴候補の識別番号ｓとともに記憶しておく（ステップＳ００５）。
【数５】
なお、ここで、Ｍ（ｃ１)は、１番目の特徴がｃ１である学習パターンの総数であり、Ｍ（ｑ，ｃ１)は、１番目の特徴がｃ１であり、かつクラスｑに属する学習パターンの総数である。また、Ｍ（ｃ，ｃ１)は、特徴がｃで、かつ１番目の特徴がｃ１である学習パターンの総数であり、Ｍ(ｑ，ｃ，ｃ１）は、特徴がｃで、１番目の特徴がｃ１で、かつクラスｑに属する学習パターンの総数である。
【００３９】
以上の操作に従って、次の（ｓ＋１）番目の特徴候補が特徴候補生成手段から送られ、同様の操作が繰り返される（ステップＳ００２〜Ｓ００５）。こうしてすべて（Ｎ個）の特徴候補に対応する相互情報量の算出が済んだ時点で、特徴決定手段１０３は各特徴候補から得られる条件付きの情報量ＭＩ２を比較し、最大の情報量が得られる特徴候補を、決定すべき特徴のセットの第２番目の特徴として決定する（ステップＳ００６）。
【００４０】
以下同様に、第ｍ番目の特徴までが決定されたら、第（ｍ＋１）番目の特徴ｃは、次式の評価関数ＭＩｍ＋１を最大にする特徴候補を採用する。
【数６】
上記したＭＩｍ＋１は、第ｍ番目までの特徴（ｃ１，ｃ２，．．．ｃｍ）が既知であるという条件下で、特徴ｃから得られる情報量を表している。以上の手続きは、新しい特徴を選んでも、得られる情報量（追加の情報量）が、予め設定しておく閾値ＭＩ_thよりも小さくなるまで、続けられる。例えば、前記しきい値としてゼロが設定されている場合には、得られる情報量（追加の情報量）がゼロになるまで、即ち、終了条件が満たされるまで、次なる特徴を決定すべく、上記した手順が繰り返される。
【００４２】
一方、この終了条件が満たされた時点で特徴決定手順は終了する。そして、決定された特徴のセットの各パラメータは特徴記憶手段１０４に記録される（ステップＳ００７）。
【００４３】
また、上記した特徴選択方法の一変形として、特徴候補生成手段が生成する特徴候補の数を減らす工夫を加えた、次のような構成が考えられる。例えば、各複素ガボール関数について、（２）式で算出されるａの値のクラス内平均値を、ｑ＝０のクラス、ｑ＝１のクラスそれぞれに対して予め調べておき、しきい値（th_ｓ）の値をこれら２つのクラス内平均値の中間値に固定する構成が挙げられる。また、例えば、第１番目の特徴を決定する際に（３）式で各複素ガボール関数に対して相互情報量ＭＩを計算するが、この時、各特徴候補に対してそれぞれ最大のＭＩを与えるしきい値（th_ｓ）を記録しておき、第２番目以降の特徴を決定する場合には前記しきい値（th_ｓ）の値を、そのまま固定するという構成が挙げられる。
【００４４】
また、上記した実施の形態では、特徴候補を構成する特徴抽出関数として複素ガボール関数を用いているが、他の特徴抽出関数を加えても、場合によっては他の特徴抽出関数だけで特徴候補を構成してもよい。
【００４５】
また、例えば、クラス毎に部分空間を構成し、その部分空間への距離を表す指標を特徴候補に加える変形も好ましい。また、ガウス関数を用いて計算されるある点の近傍の重み付き平均輝度、或いはガウス関数を用いて計算されるある点の近傍の重み付き平均輝度を、より広がりの大きいガウス関数を用いて計算される平均輝度で規格化したもの（即ち、ある点の近傍がその周辺よりも明るいか、暗いかを示す指標）を特徴候補に加えることも考えられる。その他、パターン判定で用いられる標準的な特徴を特徴候補に加えることが可能である。
【００４６】
特徴の決定手順が完了し、決定されている特徴のセットが特徴記憶手段１０４に記録された時点で、パターン識別に用いるための分類テーブル１０６（図４参照）の作成が可能となる。以下、所望の手段により起動された分類テーブル作成手段１０５が、分類テーブル１０６作成する手順を説明する。
【００４７】
まず、分類テーブル作成手段１０５は、学習パターン記憶手段１０１から各学習パターンを、特徴記憶手段１０４からは、上記ステップＳ００７で記録された特徴のセットの各パラメータを（以下、全部でｎ個の特徴が決定されているものとする）受け取り、各学習パターンに対しそれぞれ各特徴の値（ｃ１，ｃ２，．．．ｃｎ）、を上記（２）式に従って算出する。その上で学習パターンがｑ＝１のクラスに属していれば１の標識を、ｑ＝０のクラスに属していれば０の標識を付加して、その学習パターンに対応する特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）とともに分類テーブルに記録する。
【００４８】
上記した手順により、各学習パターンを一意に分類する分類テーブルの作成が可能であるが、より好ましくは、冗長項（ｄｏｎ’ｔ ｃａｒｅ項）を用いることが好ましい。例えば、先頭からｉ番目までの特徴の値（ｃ１，ｃ２，．．．ｃｉ）だけで、ある学習パターンの分類が可能である場合には、ｉ＋１番目以降の特徴ベクトルの値はｄｏｎ’ｔ ｃａｒｅを表す記号に置き換えて記録する。
【００４９】
上記した冗長項（ｄｏｎ’ｔ ｃａｒｅ項）を用いて、分類テーブルを作成する手順を図面を参照して説明する。図３は、本実施の形態における分類テーブルの作成処理の一例を示したフローチャートである。
【００５０】
図３を参照すると、まず、分類テーブル作成手段１０５は、入力された学習パターンに対して、決定されている特徴のセットの各パラメータを用いて、特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）の値を計算する（ステップＳ１０１、Ｓ１０２）。
【００５１】
上記特徴ベクトルと一致する特徴ベクトルを有する学習パターンが分類テーブル中に、存在するか否か照合する（ステップＳ１０３）。但し、分類テーブルにｄｏｎ’ｔ ｃａｒｅを表す記号が記されている場合には、それに対応する特徴の値はいかなるものであっても一致するものと見なして判定を行う。
【００５２】
前記照合の結果、計算した特徴ベクトルと一致する特徴ベクトルを有する学習パターンが、分類テーブル中に、既に存在する場合は、該学習パターンを記録することなく、ステップＳ１０１に戻り、次の学習パターンの入力を行う。
【００５３】
一方、一致するパターンが無い場合には、インクリメント変数ｉ＝１を設定して（ステップＳ１０４）、以下の処理を行う。まず、この学習パターンが属するクラス（例：ｑ＝０）以外のクラス（例：ｑ＝１）に属する学習パターンの中に、１番目からｉ番目までの特徴（ｃ１，ｃ２，．．．ｃｉ）のすべてが、この学習パターンと一致する学習パターンがあるか否かを調べる（ステップＳ１０５）。
【００５４】
その結果、一致する学習パターンが無い場合には、１番目からｉ番目までの特徴の値（ｃ１，ｃ２，．．．ｃｉ）をこの学習パターンが属するクラスの標識（例：ｑ＝０）とともに分類テーブルに記録し、ｉ＋１番目以後の特徴ベクトルの値にはｄｏｎ’ｔ ｃａｒｅを表す記号を記録する（ステップＳ１０６）。そして、ステップＳ１０１に戻り、次の学習パターンの入力を行う。
【００５５】
逆に、この学習パターンと一致する学習パターンが１つでもある場合には、インクリメント変数ｉを１増加してステップＳ１０５に戻る。即ち、入力した特徴パターンのｉ番目までの特徴の値により自他識別可能になるまで、ｉを増加する処理を継続することとなる。
【００５６】
以上の処理は、すべての学習パターンを入力するまで繰り返される。
【００５７】
なお、以上の手続きのみでは学習パターンのすべてが分類できない場合が生じうる。例えば、異なるクラスに属する学習パターンが同じ特徴ベクトルを持つということが起こりうる。この場合には、それぞれのクラスに属する学習パターンの数を数えて、多い方のクラスをこの特徴ベクトルが表すクラスと定める等すればよい。
【００５８】
もちろん、ｉを増加させつつ、特徴ｃ１〜ｃｉが一致するパターンをグループ化（細分化）してゆき、１のグループに１のパターンしか存在しない場合に、そのパターンのｉ＋１以降の特徴をｄｏｎ’ｔ ｃａｒｅ項とする方法等も採用しうる。
【００５９】
図４は、本発明により作成された分類テーブルの例である。図４を参照すると、各学習パターンのクラスの識別標識（ｑ）と、特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）とを格納するテーブルが示されている。なお、図４において記号「＊」はｄｏｎ’ｔ ｃａｒｅを表す記号である。
【００６０】
続いて、図面を参照して、上記したパターン判定テーブルを用いて行うパターン判定方法について説明する。
【００６１】
図５は、本発明のパターン判定方法の処理の流れを示すブロック図である。図５を参照すると、パターン入力手段２０１と、特徴抽出手段２０２と、パターン判定手段２０３とが示されている。また、特徴抽出手段２０２の特徴抽出のために用いる、決定済みの特徴のセットを記憶保持する特徴記憶手段１０４と、パターン判定手段２０３がパターン判定のために用いる、作成済みの分類テーブル１０６とが示されている。
【００６２】
パターン入力手段２０１は、所望の媒体からパターンを入力するための手段である。例えば、入力パターンは、文字、図形、音声等、特に限定するものではないが、例えば、人の顔、指紋、網膜の画像や音声等を入力して、人の認識用の情報とすることが可能である。
【００６３】
特徴抽出手段２０２は、決定された特徴のセットを用いて、パターン入力手段２０１から送られた入力パターンから、その特徴を抽出する手段である。
【００６４】
パターン判定手段２０３は、特徴抽出手段２０２により得られた特徴に基いて、入力パターンの表す情報を判定する手段である。
【００６５】
その作用は、まず、パターン入力手段２０１が、所望の媒体から入力パターンを取り込んで、特徴抽出手段２０２に対して送る。
【００６６】
続いて、特徴抽出手段２０２が、該入力パターンに対して、特徴記憶手段１０４に記憶されている特徴のセット（上記の特徴決定手法によって決定されているもの）を用いて特徴ベクトル（ｃ１，ｃ２，．．．ｃｎ）を（２）式に従って算出し、更に、前記算出結果をパターン判定手段２０３に送る。
【００６７】
パターン判定手段２０３は、分類テーブル１０６を参照しながら、この特徴ベクトルと一致するものを検索し、そこに記録されているクラスの標識を読み出しそれを判定結果として出力する。この時、分類テーブル上にｄｏｎ’ｔ ｃａｒｅを表す記号が記録されている場合には、パターン判定手段２０３は、それに対応する特徴の値がいかなるものであっても、当該部分については、一致するものとして判定を行う。
【００６８】
ここで、上記した各手順によりパターンの特徴の決定並びにパターンの判定を行う本発明の利点を一層明確にすべく、本発明と決定木を用いる従来手法（ＩＤ３、Ｃ４．５等）との相違点について述べておく。
【００６９】
ＩＤ３等も、決定木の各ノードにおける分類ルールを情報量最大化の基準に従って決定していく点においては、本発明と共通する。しかしながら、ＩＤ３やＣ４．５では、分類ルール（本発明の対応する言葉で換言すれば「特徴」）を、ノード毎に決定する。例えば、１番目の特徴ｃ１を決定した後で２番目の特徴を決定する場合を考えると、１番目の特徴ｃ１が１である場合、０である場合、それぞれの場合で異なる分類ルール（特徴）が決定されることになる。これに対して、本発明では、ノードの深さが同じ場合には、即ち、任意のｎ番目の特徴には、同一の特徴が決定される。この点が両者の大きな相違点である。
【００７０】
もちろん、いずれの方法を採用する場合でも、学習パターンは完全に分類される。しかしながら、汎化性能、即ち、学習していないパターンに対する識別性能に大きな違いが現れる。簡単のために両者の木の深さが同じ場合（ｎとする）を考えると、ＩＤ３或いはＣ４．５では２ｎ個の特徴が決定されるのに対して、本発明ではｎ個の特徴だけが決定される。従って、本発明の方が、より単純な構造を持つことになる。該決定される特徴の個数の差は、問題がより困難になり、より深い木が必要になるに従って、指数関数的に拡大していくことに注意されたい。
【００７１】
ところで、学習パターンに対する性能が同一の場合、より単純な構造の分類器の方が汎化性能に優れていることが、知られている。（「オッカムの剃刀」）。この点が、本発明による特徴選択方法及びそれを用いたパターン判定方法が、従来手法に比べて性能、とりわけ、汎化性能を大幅に向上できる理由である。
【００７２】
続いて、学習パターンに実効的ノイズを加える本発明の第２の実施の形態について説明する。
【００７３】
第２の実施の形態のシステム構成は、上記した第１の実施の形態の構成（図１参照）と略同様であり、その処理の流れも、上記した第１の実施の形態（図２〜図５参照）と略同様である。以下、第２の実施の形態が、上記した第１の実施の形態と相違する点についてのみ説明する。
【００７４】
本実施の形態では、特徴候補生成手段１０２が用いる、大量（Ｎ個とする）の特徴パラメータセットとして（ｋ_ｓ，ｒ0_ｓ，σ_ｓ，th_ｓ）に加え、更に、ノイズパラメータσn_ｓが、予め設定されている（ｓ＝１〜Ｎ）。そして、第１の実施の形態のステップＳ００１と同様に、特徴候補生成手段１０２は、ｓ番目（ｓ＝１からスタートする）の特徴パラメータセット（ｋ_ｓ，ｒ0_ｓ，σ_ｓ，th_ｓ，σｎ_ｓ）を（ｋ，ｒ0，σ，th，σｎ）に代入し、上記（１）式に従って複素ガボール関数、ガウス関数を生成する。そして、特徴候補生成手段１０２は、これらの複素ガボール関数、ガウス関数、しきい値パラメータth、ノイズパラメータσｎ及び特徴候補の識別番号ｓを特徴決定手段１０３に送る（図２のステップＳ００２）。
【００７５】
特徴決定手段１０３は、学習パターン記憶手段１０１から学習パターンを順次受け取り（図２のステップＳ００３）、上記の複素ガボール関数及びガウス関数を用いて、次式に従って、特徴ｂを各学習パターンに対して計算する（図２のステップＳ００４）。ここで、ｔ番目の学習パターンをｆｔ（ｒ）とする（ｔ＝１〜Ｍ）。
【数７】
（６）式のＥｒｆ（ｘ）は誤差関数である。なお、これは０以上１以下の値をとる別の非線形関数、例えば、シグモイド関数に置き換えることも可能である。
【００７７】
以上のようにｓ番目の特徴パラメータセットを用いて、各学習パターンに対して特徴ｂが計算されたら、次に特徴決定手段１０３はｓ番目の特徴候補から得られる相互情報量ＭＩを、上記（３）式に準じて、以下の要領で算出する（図２のステップＳ００５）。
【００７８】
まず、ある学習バターンに対して上記（６）式で計算される特徴の値がｂ（０≦ｂ≦１）であった場合、この学習パターンに対して特徴ｃは、確率ｂで１、確率（１−ｂ）で０をとるものと定める。そして、（３）式中のＭ（ｃ）は、特徴がｃである学習パターンの総数の期待値、同様にＭ（ｑ，ｃ）は特徴がｃでありかつクラスｑに属する学習パターンの総数の期待値、にそれぞれ置き換えて相互情報量ＭＩを算出する。
【００７９】
すべての特徴候補に対して相互情報量の計算が済んだ時点で、第１の実施の形態と全く同様に、特徴決定手段１０３は各特徴候補から得られる相互情報量を比較し、最大の情報量が得られる特徴候補を決定すべき特徴のセットの第１番目の特徴として決定する（図２のステップＳ００６）。
【００８０】
以下同様に、第ｍ番目の特徴までが決定されたら、第（ｍ＋１）番目の特徴ｃｍ＋１は、第ｍ番目までの特徴（ｃ１，ｃ２，．．．ｃｍ）が既知であるという条件下で、特徴ｃから得られる情報量ＭＩｍ＋１を最大にするように決定していく。但し、上記した第１の特徴の決定の際と同様に、相互情報量を計算する際には、学習パターンの各種総数はすべて対応する学習パターンの各種総数の期待値に置き換えて計算を行うものとする。例えば、ＭＩ２を計算する場合、（４）式においては、Ｍ（ｃ，ｃ１）は、「特徴がｃで、かつ１番目の特徴がｃ１である学習パターンの総数の期待値」に、Ｍ（ｑ，ｃ，ｃ１）は、「特徴がｃで、１番目の特徴がｃ１で、かつクラスｑに属する学習パターンの総数の期待値」にそれぞれ置き換えて計算する。
【００８１】
第１の実施の形態と同様に、以上の手続きは、新しい特徴を選んでも、得られる情報量（追加の情報量）が、予め設定しておく閾値よりも小さくなるまで、続けられる。そして、前記終了条件が満たされると、決定されている特徴のセットの各パラメータは特徴記憶手段１０４に記録される（図２のステップＳ００７）。
【００８２】
続いて、本実施の形態における別の分類テーブル作成の手順について、図面を参照して説明する。図６は、本実施の形態の分類テーブルの作成処理の一例を示したフローチャートである。なお、ｎ個の特徴が特徴決定手段によって決定され、分類テーブルは、初期化（クリア）されているものとする。
【００８３】
図６を参照すると、まず、分類テーブル作成手段１０５は、各学習パターンに対して、決定されている特徴のセットの各パラメータを用いて、各特徴ｂｓ（ｂ１，ｂ２，．．．ｂｎ）を（６）式に従って計算する（ステップＳ２０１、Ｓ２０２）。全学習パターンについての各特徴ｂｓの計算が完了すると、分類テーブル作成手段１０５は、ｓ番目の特徴ｃｓが１となる確率をｂｓ、０となる確率を（１−ｂｓ）定め、更に、ｊ＝１と初期化して、分類テーブル１０６に記録すべきパターンの選定処理を開始する（ステップＳ２０３）。
【００８４】
まず、分類テーブル作成手段１０５は、１番目からｊ番目までの特徴（ｃ１，ｃ２，．．．ｃｊ）のすべての組み合わせを生成する（ステップＳ２０４）。続いて、前記１番目からｊ番目までの特徴の全組み合わせと分類テーブル１０６に既に登録されている特徴ベクトルとを順次照合し（ステップＳ２０５）、前記１番目からｊ番目までの特徴の全組み合わせの中で、分類テーブル１０６に既に記録されている特徴ベクトルと一致している組み合わせを消去する（ステップＳ２０５−１）。この場合において、分類テーブル１０６にｄｏｎ’ｔ ｃａｒｅを表す記号が記録されている特徴は、その値に関わらず一致しているものとして、取り扱う。
【００８５】
そして、残った特徴パターン（ｃ１，ｃ２，．．．ｃｊ）について、ステップＳ２０２において各学習パターン毎に計算した特徴ｂｓを用いて期待値の計算を行い、分類テーブル１０６に記録すべき条件に合致する特徴パターンの検索を行う（ステップＳ２０６）。より具体的には、残った特徴パターンの中から、順次、適当な特徴パターン（ｃ１，ｃ２，．．．ｃｊ）を選択し、（１）前記特徴パターンであって、あるクラスｑに属する学習パターンの総数の期待値が予め定めたしきい値以上で、（２）前記特徴パターンであって、それ以外のクラスに属する学習パターンの総数の期待値が、すべて予め定めた別のしきい値以下となる場合に、該特徴パターンをクラスｑを表すパターンとし、標識ｑとともに分類テーブル１０６に記録する。その際、ｊ＋１番目からｎ番目までの特徴の欄にはｄｏｎ’ｔ ｃａｒｅを表す記号を記録する（ステップＳ２０７）。
【００８６】
上記検索の結果、条件に合致する特徴パターンが得られない場合は、ｊ＝ｊ＋１として、ステップＳ２０４に戻って、改めて、１番目からｊ番目までの特徴（ｃ１，ｃ２，．．．ｃｊ）のすべての組み合わせを生成する。一方、ｎ番目までの特徴における全組み合わせまで検索が完了した場合（ｊ＝ｎ）であれば、終了する。
【００８７】
続いて、本実施の形態における別のパターン判定の手順について、再度、図５を参照して説明する。
【００８８】
まず、パターン入力手段２０１から入力された入力パターンに対して、特徴抽出手段２０２が、特徴記憶手段１０４に記憶されている特徴のセットを用いて特徴ベクトル（ｂ１，ｂ２，．．．ｂｎ）を（６）式に従って算出し、これをパターン判定手段２０３に送る。この時、ｓ番目の特徴ｃｓ（ｓ＝１〜ｎ）が１となる確率をbｓ、０となる確率を（１−ｂｓ）と定める。
【００８９】
パターン判定手段２０３は分類テーブル１０６を参照しながら、入力パターンが各クラスに属する確率を算出する。より具体的には、以下のような手順で行われる。
【００９０】
例えば、入力パターンがクラスｑ＝０に属する確率を算出する場合を説明すると、まず、パターン判定手段２０３は、分類テーブル１０６の中からｑ＝０の標識が記されている特徴パターン（ｃ１，ｃ２，．．．ｃｎ）をすべて読み出す。ここで、その中の最初の特徴パターンが、例えば、（ｃ１，ｃ２，．．．ｃｎ）＝（１，０，＊，＊，．．．，＊）であった場合を考える（記号「＊」はｄｏｎ’ｔ ｃａｒｅを表すものとする。）。入力パターンに対して特徴ｃ１，ｃ２がｃ１＝１，ｃ２＝０となる確率は、ｂ１・（１−ｂ２)であるから、入力パターンの特徴ベクトルがこの特徴パターンと一致する確率もやはりｂ１・（１−ｂ２)と算出される。なお、この特徴パターンの３番目以降の特徴はｄｏｎ’ｔ ｃａｒｅとなっているため、３番目以降の特徴の値は、全体としての確率に影響を与えない。
【００９１】
以上の要領で、パターン判定手段２０３は、入力パターンから計算した確率ｂｓ、（１−ｂｓ）を用いて、入力パターンの特徴ベクトルが、ｑ＝０に対応する各特徴パターンと一致する確率を算出し、その総計を求める。前記各確率の総計は、入力パターンがクラスｑ＝０に属する確率と示すものとなる。パターン判定手段２０３はこうして算出された、入力パターンが各クラスに属する確率を比較し、最大の確率を与えるクラスを判定結果として出力する。
【００９２】
場合によっては、更に、予め定めておくしきい値と比較し、該しきい値との比較によって棄却判定（判定不能）を出力するという構成も当然可能である。
【００９３】
また、更に、処理時間を短縮するためには、分類テーブルだけを本実施の形態で説明した方法で作成し、パターン判定処理は第１の実施の形態で説明した方法で行うことでもよい。この場合には、入力パターンに対する特徴ベクトルは（２）式に従って算出すればよい。
【００９４】
以上説明した本発明の第２の実施の形態によれば、学習パターンに実効的にノイズを加えた効果があるので、よりマージンの大きな特徴のセットが選択される。このため、第１の実施の形態の場合よりも、更に汎化性能（学習パターン以外のパターンに対する識別性能）が向上するという特長を持つことになる。
【００９５】
続いて、本発明の第３の実施の形態について、図面を参照して説明する。本実施の形態においても、上記した第１、第２の実施の形態と同様に、３クラス以上の場合に拡張することは容易であるが、説明の便宜のため、２クラスの場合（ｑ＝０ ｏｒ １）について説明する。
【００９６】
図７は、本発明による特徴選択方法の第３の実施の形態のシステム構成を示すブロック図である。図７を参照すると、学習パターン記憶手段３０１と、特徴候補生成手段３０２と、特徴決定手段３０３と、特徴記憶手段３０４と、遷移テーブル３０５とが示されている。以下、上記した各実施の形態と同一の部分は、省略して、説明する。
【００９７】
特徴決定手段３０３は、特徴候補生成手段によって生成された特徴候補の中からパターン識別に最適な特徴のセットを決定する手段である。また、本実施の形態における特徴決定手段３０３は、本実施の形態の特徴決定手順の過程で得られるパラメータを記録してなる、遷移テーブル３０５を作成する。
【００９８】
遷移テーブル３０５は、後述するパターン判定処理に用いるパラメータを記録してなるテーブルである。
【００９９】
続いて、手順の説明の前に、各パラメータ等の説明をする。
【０１００】
学習パターンは、Ｍ個用意されているものとする。また、Ｌ個の集合群Ｄi（ｉ＝１〜Ｌ）と、これと対になる集合群Ｄ'i（ｉ＝１〜Ｌ）を用意する。ここで、Ｌは、予め定めておく自然数であり、本実施の形態では、Ｌ＝６４を採用するものとして説明する。
【０１０１】
続いて、図面を参照して、本実施の形態による特徴選択方法の手順について説明する。本実施の形態における、第１の特徴を決定するまでの手順は、上記した第２の実施の形態の場合と全く同一である。
【０１０２】
図８、図９、図１０は、本発明の特徴選択方法の処理の流れを説明するためのフローチャートである。図８を参照すると、第１の特徴が決定されると（ステップＳ３０１）、特徴決定手段３０３は、集合Ｄｉ、及びＤ'ｉ（各ｉ＝１〜Ｌ）をそれぞれ初期化する（ステップＳ３０２）。ここでは、Ｌ＝６４としているため、Ｄ１〜Ｄ64及びＤ'１〜Ｄ'64の集合について、初期化する（クリアし空集合にする）処理がなされる。
【０１０３】
特徴順位パラメータｍは、ｍ＝２とする。これは、第２の特徴から本手順を開始するためである。
【０１０４】
続いて、特徴決定手段３０３は、既に決定されている第１の特徴パラメータを用いて、各学習パターンに対して特徴ｂを（６）式に従って算出する（ステップＳ３０３〜Ｓ３０５）。
【０１０５】
続いて、特徴決定手段３０３は、各学習パターンをそれぞれ重みｂで集合Ｅ１に、重み（１−ｂ）で集合Ｅ０に分配する（ステップＳ３０６）。
【０１０６】
続いて、特徴決定手段３０３は、次式に従ってＰ（ｑ＝１｜Ｅ１）、及びＰ（ｑ＝１｜Ｅ０）を、計算する。
【数８】
なお、Ｍ（Ｅ０）、Ｍ（Ｅ１）は、それぞれ集合Ｅ０，Ｅ１に属する学習パターンの重みの総計であり、Ｍ（ｑ＝１｜Ｅ０）、Ｍ（ｑ＝１｜Ｅ１）は、クラスｑ＝１に属し、かつそれぞれ集合Ｅ０，Ｅ１に属する学習パターンの重みの総計である。
【０１０８】
続いて、特徴決定手段３０３は、上記の通り分配がなされた集合Ｅ０，Ｅ１の内容を、前記予め用意した集合群（Ｄｉ）から次式により決定される集合Ｄｊ、Ｄｊ 'にそれぞれコピーする（ステップＳ３０７）。
【数９】
但し、ここで、ｄ＿ｊは、次式のとおり予め定める定数である（ｊ＝１〜Ｌ−１）。次式によれば、定数ｄ＿ｊは、０以上１以下の間の値をとり、ｊの値に応じて略Ｓ字状に増加するものとなっている。例えば、Ｐ（ｑ＝１｜Ｅ０）＝０．１５であれば、ｄ＿２９＝０．１１１・・・，ｄ＿３０＝０．２より、（８）式上段の式を満たすｊ＝３０が決定され、Ｄ３０にＥ０が、コピーされる。同様に、Ｐ（ｑ＝１｜Ｅ１）＝０．７であれば、ｄ＿３３＝０．６６６・・・，ｄ＿３４＝０．８より、（８）式下段の式を満たすｊ’＝３４が決定され、Ｄ３４にＥ１がコピーされる。
【数１０】
もちろん、上式は、集合Ｄi、及びＤ'iの個数に応じ、かつ、本実施の形態において取扱いが容易になるよう定めたものであって、特に限定するものではない。
【０１１１】
ここで、特徴決定手段３０３は、遷移テーブル３０５に（１，ｊ，ｊ’）を記録する（ステップＳ３０７）。例えば、ｊ＝３０，ｊ＝３４であれば、（１，３０，３４）が遷移テーブルに記録される。（図１１参照）。これは後のパターン判定処理の際に使用されるもので、１番目の特徴がｃ１＝１であったら集合Ｄｊに、ｃ１＝０であったら集合Ｄｊ 'にそれぞれ遷移すべきことを意味している。
【０１１２】
続いて、図９を参照すると、まず、特徴決定手段３０３は、ｓ番目（ｓ＝１〜Ｎ、ｓ＝１からスタートする）の特徴候補を用いて、各学習パターンに対して、（６）式に従って、特徴ｂを計算する（ステップＳ３０９〜Ｓ３１２）。この時、上記した第２の実施の形態の場合と同様に、各学習パターンに対して特徴ｃは、確率ｂで１、確率（１−ｂ）で０をとるものと定める。
【０１１３】
続いて、特徴決定手段３０３は、ｓ番目の特徴候補から得られる情報量ＭＩ’を次式に従って計算する（ステップＳ３１３）。
【数１１】
なお、ここで、Ｍ（Ｄi）は、集合Ｄiに入る学習パターンの重みの総計をであり、Ｍ（ｑ，Ｄi)は、集合Ｄiに入り、かつクラスｑに属する学習パターンの重みの総計である。但し、ｉについての和は、Ｍ（Ｄi）がゼロでない場合についてのみとるものとする。また、Ｍ（ｃ，Ｄi）は、特徴がｃで、かつ集合Ｄiに入る学習パターンの重みの総計の期待値であり、Ｍ（ｑ，ｃ，Ｄi）は、特徴がcで、集合Ｄiに入り、かつクラスｑに属する学習パターンの重みの総計の期待値である。
【０１１５】
こうして、ｓ＝Ｎとなるまで、各学習パターン毎に特徴ｂの計算処理が行われ、すべての特徴候補に対して情報量ＭＩ’の計算が済んだ時点で、特徴決定手段３０３は、これらを比較し、最大の情報量が得られる特徴候補を決定すべき特徴のセットの第ｍ番目の特徴として決定する（ステップＳ３１４）。
【０１１６】
上記の通り最大の情報量が得られる第ｍ番目の特徴が決定すると、特徴決定手段３０３は、すべての集合Ｄi（Ｄ１〜Ｄ64）に対して次の操作を行う。
【０１１７】
図１０を参照すると、特徴決定手段３０３は、上記決定された第ｍ番目の特徴パラメータを用いて、各学習パターンに対して特徴ｂを（６）式に従って算出しＤiに属する各学習パターンを、重みｂ：（１−ｂ）の割合で集合Ｅ１及び、集合Ｅ０に分配する（ステップＳ３１５〜Ｓ３１８、図１３参照）。
【０１１８】
続いて、特徴決定手段３０３は、（７）式に従ってＰ（ｑ＝１｜Ｅ１）、及びＰ（ｑ＝１｜Ｅ０）を、計算する。
【０１１９】
続いて、特徴決定手段３０３は、上記の通り分配がなされた集合Ｅ０，Ｅ１の内容を、前記予め用意した集合群（Ｄ'ｉ）から（８）式により決定されるＤ'ｊ、Ｄ'ｊ 'にそれぞれ加える（ステップＳ３１９）。例えば、図１３に示されたとおり、Ｐ（ｑ＝１｜Ｅ０）＝０．０５であれば、（８）式の上段の式を満たすｊ＝２８が決定され、Ｄ'28にＥ０が加えられる。同様に、Ｐ（ｑ＝１｜Ｅ１）＝０．３であれば、（８）式の下段の式を満たすｊ’＝３１が決定され、Ｄ'31にＥ１が加えられる（図１３参照）。
【０１２０】
ここで、特徴決定手段３０３は、遷移テーブル３０５に（ｍ，ｉ，ｊ，ｊ’）を記録する（ステップＳ３２０）。例えば、ｍ＝２，ｉ＝３０，ｊ＝２８，ｊ'＝３１であれば、図１１の遷移テーブルに示されたとおり、対応する位置（ｍ＝２，ｉ＝３０）に（ｊ＝２８，ｊ'＝３１）が記録される。前記記録内容は、ｍ番目の特徴がｃｍ＝１であったら集合Ｄｊに、ｃｍ＝０であったら集合Ｄｊ 'にそれぞれ遷移すべきことを意味しており、後述するパターン判定の際に使用される。
【０１２１】
すべての集合Ｄi（ｉ＝１〜Ｌ）に対して以上の操作が終了した場合には、特徴決定手段３０３は、集合Ｄ'i（ｉ＝１〜Ｌ）を集合Ｄi（ｉ＝１〜Ｌ）にコピーし、後続する第ｍ＋１番目の特徴を決定すべく、集合Ｄ'i（ｉ＝１〜Ｌ）を初期化（クリア）する（ステップＳ３２１、図１３参照）。
【０１２２】
以上の手続きは、新しい特徴を選んでも、ステップＳ３１４で得られる情報量（追加の情報量）が、予め設定しておくしきい値ＭＩ_thよりも小さくなるまで、続けられる。従って、前記終了条件を満たしていない限り、特徴決定手段３０３は、次なる第ｍ＋１番目の特徴を決定すべく、ｍ＝ｍ＋１としてステップＳ３０９の手順に戻ることとなる（ステップＳ３２２）。
【０１２３】
一方、前記終了条件が満たされると、決定されている特徴のセットの各パラメータは特徴記憶手段３０４に記録される（ステップＳ３２３）。
【０１２４】
ここで、上記した本発明の第３の実施の形態において、生成される判定処理に用いることのできる遷移テーブルについて説明する。図１１は、こうした遷移テーブルの一例である。図１１を参照すると、第１の特徴に対する遷移先の集合を示した第１の部分と、第２の特徴以降の各特徴に対する遷移先の集合を、特徴順位パラメータｍと、集合番号パラメータｉと、各特徴の値Ｃｍと、により示した第２の部分とからなっている。
【０１２５】
更に、図１１の遷移テーブルの第１の部分を参照すると、ｃ１＝１に対応する欄に「３０」が記載され、ｃ１＝０に対応する欄に「３４」が記載されている。これは、「１番目の特徴がｃ１＝１であったら集合Ｄ３０に、ｃ１＝０であったら集合Ｄ３４にそれぞれ遷移させる」べきことを示している。また、図１１の遷移テーブルの第２の部分のｍ＝２、ｉ＝３０の欄を参照すると、ｃ１＝１に対応する欄に「２８」が記載され、ｃ１＝０に対応する欄に「３１」が記載されている。これは、「集合Ｄ３０に属しているパターンは、第２番目の特徴がｃ２＝１であったら集合Ｄ２８に、ｃ２＝０であったら集合Ｄ３１にそれぞれ遷移させる」べきことを示している。
【０１２６】
なお、図１１の第２の部分の各欄中の記号「−」は空欄であることを示している。例えば、第２番目の特徴ｃ２の値に基く遷移先を記した行（ｍ＝２）においては、集合Ｄ３０及びＤ３４に対応する列（ｉ＝３０、３４）以外の欄は空欄「−」になっている。これは、前記１番目の特徴に対応する遷移先の集合が「３０」又は「３４」となっていることに対応したものである。即ち、図１１の遷移テーブルによれば、入力パターンは、前記第１の特徴によって、必ずＤ３０或いはＤ３４の集合に遷移され、他の欄を参照する必要がないためである。
【０１２７】
なお、図１１の遷移テーブルによれば、第１の特徴と、第２番目以降の特徴に対する遷移先の集合を記載した部分を分けて記載しているが、特徴順位パラメータｍと、集合番号パラメータｉと、各特徴の値Ｃｍと、により、遷移先の集合をあらわし得るものであれば、特に限定するものではないことはもちろんである。例えば、図１２に示すように、図１１の第１の部分と第２の部分を統合させたものであってもよい。
【０１２８】
続いて、本実施の形態におけるパターン判定の手順について、図面を参照して説明する。図１４は、こうして決定されている特徴のセットを用いてパターン判定を行うパターン判定方法を示すブロック図である。図１４を参照すると、パターン入力手段４０１と、特徴抽出手段４０２と、パターン判定手段４０３とが示されている。また特徴抽出手段４０２が特徴抽出のために用いる特徴記憶手段３０４、パターン判定手段４０３がパターン判定のために用いる遷移テーブル３０５が示されている。
【０１２９】
その作用は、まず、パターン入力手段４０１が、所望の媒体から入力パターンを取り込んで、特徴抽出手段４０２に対して送る。
【０１３０】
続いて、特徴抽出手段４０２が、該入力パターンに対して、特徴記憶手段３０４に記憶されている特徴のセット（上記の特徴決定手法によって決定されているもの）を用いて特徴ベクトル（ｂ１，ｂ２，．．．ｂｎ）を（６）式に従って算出し、更に、前記算出結果をパターン判定手段４０３に送る。
【０１３１】
この時、特徴ｃｓ（ｓ＝１〜ｎ）が１となる確率をｂｓ、０となる確率を（１−ｂｓ）と定める。パターン判定手段４０３は、順次遷移テーブル３０５を参照し、入力パターンが各クラスに属する確率を算出する。この手続きは以下のように進める。
【０１３２】
まず、パターン判定手段４０３は、第１の特徴に基く遷移規則（１，ｊ、ｊ'）を読み出し、状態ｊに確率ｂ１で、状態ｊ’に確率（１−ｂ１）で遷移させる。次に、パターン判定手段４０３は、第２の特徴ｃ２が１となる確率をｂ２、ｃ２が０となる確率を（１−ｂ２）として、第２の特徴に基く遷移規則を読み出し、状態を更に遷移させる。例えば、第２の特徴に基く遷移規則に（２，ｊ、ｋ，ｋ'）、（２，ｊ'、ｋ”，ｋ'''）と記されていたら、状態ｊからは確率ｂ２で状態ｋに、確率（１−ｂ２）で状態ｋ'に、状態ｊ'からは確率ｂ２で状態ｋ”に、確率（１−ｂ２）で状態ｋ'''に、それぞれ遷移することとなる。従って、この場合、状態ｋにいる確率はｂ１・ｂ２、状態ｋ’にいる確率はｂ１・（１−ｂ２）、状態ｋ”にいる確率は（１−ｂ１）・ｂ２、状態ｋ'''にいる確率は（１−ｂ１）・（１−ｂ２）で、それぞれ与えられることになる。以下同様に、パターン判定手段４０３は、第ｎの特徴までを用いて、遷移テーブルを参照しながら状態を遷移させていく。
【０１３３】
このようにして、第ｎの特徴までを用いて状態を遷移させた結果、各状態ｊにいる確率がＰ（ｊ）（ｊ＝１〜Ｌ）と算出されたものとする。この時、入力パターンがクラスｑ＝１に属する確率Ｐ（ｑ＝１）を次式により求めることが可能となる。
【数１２】
パターン判定手段４０３は、この確率Ｐ（ｑ＝１）が、予め定めておくしきい値よりも大であれば「入力はクラスｑ＝１に属する」ものと判定し、その結果を出力する。また、この確率Ｐ（ｑ＝１）が、前記しきい値よりも小であれば、棄却ないし判定不能と判定し、その結果を出力する。もちろん、前記しきい値として、採択臨界値と棄却臨界値との２つを設けること、境界領域にある場合は、判定不能とすること等、種々の変形実施が可能である。
【０１３５】
なお、本実施の形態においては、（１１）式によってＰ（ｑ＝１｜ｊ）の値を決定することとしているが、学習パターンを用いて、次のように決定することとしてもよい。即ち、各学習パターンｆi(r)（ｉ＝１〜Ｍ）を遷移テーブルに従って遷移させるとともに、各学習パターンの特徴ベクトル（ｂ１，ｂ２，．．．ｂｎ）に基いて、それぞれが最終的に状態ｊにいる確率Ｐ（ｉ，ｊ）、を算出する。次にクラスｑ＝１に属する学習パターンについてのみこのＰ（ｉ，ｊ）の値を総計したものをＰ１（ｊ）、すべての学習パターンについてＰ（ｉ，ｊ）を総計したものをＰtotal（ｊ）とし、Ｐ（ｑ＝１｜ｊ）＝Ｐ１（ｊ）／Ｐtotal（ｊ）によってＰ(ｑ＝１｜ｊ)の値を決定する。
【０１３６】
本実施の形態におけるパターン判定のための処理時間を短縮するための変形として、遷移テーブル３０５だけを本実施の形態の方法で作成し、入力パターンに対する特徴ベクトルは（２）式に従って算出する方法を採ることができる。この場合には、判定処理では確率的な動作を行わず、（２）式で得られる特徴ベクトルに従って、状態を確定的に遷移させてパターン判定を行う構成が実現される。また、この場合、遷移テーブルに従って状態を遷移させる際には、各段階において状態を確定的に遷移させることができるため、第ｎの特徴までを用いて状態を遷移させると、最終的には状態は１〜Ｌの中のある特定の状態ｊに確定する。そして、この状態ｊに対応する（１１）式のP(ｑ＝１｜ｊ)の値を調べて、これが予め定めておくしきい値よりも大であれば「入力はクラスｑ＝１に属する」ものと判定し、その結果を出力するものとすればよい。
【０１３７】
以上説明した、本発明の第３の実施の形態では、第２の実施の形態と同様に、学習パターンに実効的にノイズを加えた効果があるため、よりマージンの大きな特徴のセットが選択されるという特長が、具現される。
【０１３８】
更に、本発明の第３の実施の形態では、特徴選択のための計算が、上記した第２の実施の形態の場合と比較して大幅に削減できる、という特長が、具現される。その理由は、選択される特徴の数ｎが大きくなっても、特徴選択に必要な計算は、高々Ｌ個の集合を特徴に応じて分割した際に得られる情報量の計算（（９）式）によって実現できる点にある。
【０１３９】
また、更に、本発明の第３の実施の形態では、一旦分類された学習パターンを集合Ｄiに適時マージしながら情報量の計算が行われるため、各集合Ｄiに属する学習パターンの数が極度に少なくなることが避けられる。この結果、学習パターンに依存して特徴が選択されてしまうような現象が少なくなり、汎化性能を更に高めることができる、という特長が、具現されている。
【０１４０】
【発明の効果】
以上説明したように、本発明によれば、高性能のパターン識別を、膨大な学習を要することなく実現することが可能となる。その理由は、既に決定されている特徴の値自体には依存せずに、後続する特徴を一意に選択する手法を提供したこと、にある。
【０１４１】
また、本発明によれば、識別性能（汎化性能）の大幅な向上が実現される。その理由は、分類器としての構造を大幅に単純化できる構成を提供したことにある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の特徴選択方法を行うシステムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図３】本発明による分類テーブルの作成処理の一例を示したフローチャートである。
【図４】本発明により作成された分類テーブルの一例である。
【図５】本発明の第１の実施の形態のパターン判定方法を行うシステムの構成を示すブロック図である。
【図６】本発明による分類テーブルの作成処理の別の一例を示したフローチャートである。
【図７】本発明の第３の実施の形態の特徴選択方法を行うシステムの構成を示すブロック図である。
【図８】本発明の第３の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図９】本発明の第３の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図１０】本発明の第３の実施の形態の特徴選択方法を説明するためのフローチャートである。
【図１１】本発明により作成された遷移テーブルの一例である。
【図１２】本発明により作成された遷移テーブルの別の一例である。
【図１３】本発明の第３の実施の形態で行われる集合間の遷移を簡便に表した図である。
【図１４】本発明の第３の実施の形態のパターン判定方法を行うシステムの構成を示すブロック図である。
【符号の説明】
１０１ 学習パターン記憶手段
１０２ 特徴候補生成手段
１０３ 特徴決定手段
１０４ 特徴記憶手段
１０５ 分類テーブル作成手段
１０６ 分類テーブル
２０１ パターン入力手段
２０２ 特徴抽出手段
２０３ パターン判定手段
３０１ 学習パターン記憶手段
３０２ 特徴候補生成手段
３０３ 特徴決定手段
３０４ 特徴記憶手段
３０５ 遷移テーブル
４０１ パターン入力手段
４０２ 特徴抽出手段
４０３ パターン判定手段
Claims (27)
- クラス情報が付された学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、を備えるシステムにおける特徴選択方法において、
前記特徴決定手段が、
前記学習パターンを特徴の値に応じて遷移させるべき、予め定めた個数の集合を用意し、
前記各特徴候補に対応する各学習パターンの特徴を計算して、前記学習パターン集合のクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの最初の特徴として決定し、
前記各学習パターンを、決定した特徴に応じた重みを付けて、分配するとともに、決定した特徴に対応する集合に、順次、遷移させ、
前記各学習パターンが含まれる集合についての情報と、決定されている特徴とが既知であるとの条件の下で、各特徴候補に対応する各学習パターンの特徴と、前記各学習パターンのクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの次なる特徴として、順次、決定すること、
を特徴とする特徴選択方法。 - 請求項１に記載の特徴選択方法において、
前記特徴候補生成手段が生成する特徴候補には、複素ガボール関数を特徴抽出関数とする特徴候補が含まれること、
を特徴とする特徴選択方法。 - 請求項１に記載の特徴選択方法において、
前記特徴候補生成手段が生成する特徴候補には、複素ガボール関数を規格化した特徴抽出関数から得られる特徴候補が含まれること、
を特徴とする特徴選択方法。 - 請求項１ないし３いずれか一に記載の特徴選択方法において、
前記特徴決定手段は、
前記各学習パターンに対して、前記特徴候補毎に予め定められたノイズパラメータによる操作を加えること、
を特徴とする特徴選択方法。 - 請求項１ないし４いずれか一に記載の特徴選択方法において、
前記特徴決定手段は、
前記各特徴候補に対応する前記各学習パターンの特徴として、
前記各学習パターンの特徴が、予め定めた値をとる確率を計算すること、
を特徴とする特徴選択方法。 - 学習に用いる学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、前記特徴決定手段により決定されている特徴のセットを記憶保持する特徴記憶手段と、分類テーブルを作成する分類テーブル作成手段と、を備えるシステムにおける学習パターンの分類方法であって、
前記分類テーブル作成手段が、
請求項１ないし５のいずれか一に記載の特徴選択方法によって決定されている特徴のセットを用いて、前記各学習パターンの各特徴を計算し、
前記各学習パターンの各特徴と、クラス情報と、を配置してなる分類テーブルにより学習パターンを分類すること、
を特徴とするパターン分類方法。 - 請求項６に記載のパターン分類方法において、
前記特徴の値に関わらず、学習パターンを分類できる場合には、
前記分類テーブル作成手段は、
前記分類テーブルの対応する位置に、前記特徴の値に代えて、冗長項を置くこと、
を特徴とするパターン分類方法。 - パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムにおけるパターン判定方法において、
前記特徴抽出手段は、
請求項１から５のいずれか一に記載の特徴選択方法によって決定されている特徴のセットを用いて、入力されたパターンの各特徴を算出し、
前記算出結果に基いて、パターン判定を行うこと、
を特徴とするパターン判定方法。 - 請求項８に記載のパターン判定方法において、
前記パターン判定手段は、
請求項６又は７に記載のパターン分類方法により得られる分類テーブルを用いてパターン判定を行うこと、
を特徴とするパターン判定方法。 - 請求項９に記載のパターン判定方法において、
前記入力パターンの各特徴は、請求項１ないし５のいずれか一に記載の特徴選択方法によって順次決定されている特徴が予め定めた値となる確率の値であって、
前記パターン判定手段は、
前記各特徴を用いて、
前記分類テーブルに含まれる各特徴パターンが、予め定めたクラス情報の値となる確率を計算して判定を行うこと、
を特徴とするパターン判定方法。 - パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムにおけるパターン判定方法において、
前記特徴抽出手段は、
請求項１ないし５のいずれか一に記載の特徴選択方法によって決定されている特徴のセットを用いて、入力されたパターンの各特徴を算出し、
前記パターン判定手段は、
前記入力されたパターンの各特徴と、
請求項１に記載の特徴選択方法による特徴のセットの各特徴の決定の際に学習パターンが属する集合を、逐次記録してなる遷移テーブルと、
に基いて、入力パターンの遷移を行って、
前記遷移の結果、前記入力されたパターンが属する集合に基いてパターン判定を行うこと、
を特徴とするパターン判定方法。 - パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムにおけるパターン判定方法において、
前記特徴抽出手段は、
請求項１ないし５のいずれか一に記載の特徴選択方法によって決定されている特徴のセットを用いて、各特徴が予め定めた値となる確率を算出し、
前記パターン判定手段は、
前記各確率と、
請求項１に記載の特徴選択方法による各特徴の決定の際に学習パターンが属する集合を、逐次記録してなる遷移テーブルと、
に基いて、入力パターンの遷移を行って、
前記遷移の経路に基いて、前記入力されたパターンが予め定められたクラス情報を有する確率を算出して、パターン判定を行うこと、
を特徴とするパターン判定方法。 - クラス情報が付された学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、を備えるシステムを構成するコンピュータに実行させるプログラムであって、
前記学習パターンを特徴の値に応じて遷移させるべき、予め定めた個数の集合を用意する処理と、
前記各特徴候補に対応する各学習パターンの特徴を計算して、前記学習パターン集合のクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの最初の特徴として決定する処理と、
前記各学習パターンを、決定した特徴に応じた重みを付けて、分配するとともに、決定した特徴に対応する集合に、順次、遷移させる処理と、
前記各学習パターンが含まれる集合についての情報と、決定されている特徴とが既知であるとの条件の下で、各特徴候補に対応する各学習パターンの特徴と、前記各学習パターンのクラス情報との相互情報量が最大となる特徴候補を、特徴のセットの次なる特徴として、順次、決定する処理との、
前記各処理を前記コンピュータに実行させて特徴の選択を行うプログラム。 - 請求項１３に記載のプログラムにおいて、
前記特徴候補には、複素ガボール関数を特徴抽出関数とする特徴候補が含まれること、
を特徴とするプログラム。 - 請求項１３に記載のプログラムにおいて、
前記特徴候補生成手段が生成する特徴候補には、複素ガボール関数を規格化した特徴抽出関数から得られる特徴候補が含まれること、
を特徴とするプログラム。 - 請求項１３ないし１５いずれか一に記載のプログラムにおいて、
前記各学習パターンに対して、前記特徴候補毎に予め定められたノイズパラメータによる操作を加える処理を、更に、
前記コンピュータに実行させるプログラム。 - 請求項１３ないし１６いずれか一に記載のプログラムにおいて、
前記コンピュータは、
前記各特徴候補に対応する前記各学習パターンの特徴として、
前記各学習パターンの特徴が、予め定めた値をとる確率を計算すること、
を特徴とするプログラム。 - 学習に用いる学習パターンを記憶保持する学習パターン記憶手段と、複数の特徴候補を生成する特徴候補生成手段と、前記特徴候補生成手段によって生成される特徴候補の中からパターン識別に適した特徴のセットを決定する特徴決定手段と、前記特徴決定手段により決定されている特徴のセットを記憶保持する特徴記憶手段と、分類テーブルを作成する分類テーブル作成手段と、を備えるシステムを構成するコンピュータに実行させるプログラムであって、
請求項１３ないし１７いずれか一に記載のプログラムの実行によって決定された特徴のセットを用いて、前記各学習パターンの各特徴を計算する処理と、
前記各学習パターンの各特徴と、クラス情報と、を配置してなる分類テーブルにより学習パターンを分類する処理との、
前記各処理を前記コンピュータに実行させて学習パターンの分類を行うプログラム。 - 請求項１８に記載のプログラムにおいて、
前記特徴の値に関わらず、学習パターンを分類できる場合には、
前記分類テーブルの対応する位置に、前記特徴の値に代えて、冗長項を置くこと、
を特徴とするプログラム。 - パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムを構成するコンピュータに実行させるプログラムであって、
少なくとも、請求項１３ないし１７のいずれか一に記載のプログラムの実行によって決定された特徴のセットを用いて、入力されたパターンの各特徴を算出する処理を、前記コンピュータに実行させて、
該実行結果に基いてパターンの判定を行うプログラム。 - 請求項２０に記載のプログラムにおいて、
前記コンピュータは、請求項１８又は１９に記載のプログラムの実行により得られる分類テーブルを用いてパターン判定を行うこと、
を特徴とするプログラム。 - 請求項２１に記載のプログラムにおいて、
前記コンピュータが算出する前記入力パターンの各特徴は、請求項１３ないし１７のいずれか一に記載のプログラムの実行によって順次決定された特徴が予め定めた値となる確率の値であって、
前記コンピュータは、前記各特徴を用いて、
前記分類テーブルに含まれる各特徴パターンが、予め定めたクラス情報の値となる確率を計算して判定を行うこと、
を特徴とするプログラム。 - パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムを構成するコンピュータに実行させるプログラムであって、
請求項１３ないし１７のいずれか一に記載のプログラムの実行によって決定されている特徴のセットを用いて、入力されたパターンの各特徴を算出する処理と、
前記入力されたパターンの各特徴と、請求項１３に記載のプログラムの実行による各特徴の決定の際に学習パターンが属する集合を、逐次記録してなる遷移テーブルと、に基いて、入力パターンの遷移を行う処理との、
前記各処理を前記コンピュータに実行させて、前記入力されたパターンが属する集合に基いて入力されたパターンの判定を行うプログラム。 - パターンを入力するパターン入力手段と、前記パターンから特徴を抽出する特徴抽出手段と、前記特徴に基いてパターンを判定するパターン判定手段と、決定された特徴のセットを記憶保持する特徴記憶手段と、を備えるシステムを構成するコンピュータに実行させるプログラムであって、
請求項１３ないし１７のいずれか一に記載のプログラムの実行によって決定されている特徴のセットを用いて、各特徴が予め定めた値となる確率を算出する処理と、
前記各確率と、請求項１３に記載のプログラムの実行による各特徴の決定の際に学習パターンが属する集合を、逐次記録してなる遷移テーブルと、に基いて、入力パターンの遷移を行う処理と、
前記遷移の経路に基いて、前記入力されたパターンが予め定められたクラス情報を有する確率を算出する処理との、
前記各処理を前記コンピュータに実行させて、前記算出結果に基いて、入力されたパターンの判定を行うプログラム。 - 請求項１３ないし１７のいずれか一に記載のプログラムを実行可能に保持して、学習パターンの特徴の選択を行うパターン学習システム。
- 請求項１８又は１９に記載のプログラムを実行可能に保持して、学習パターンの分類を行うパターン分類システム。
- 請求項２０ないし２４のいずれか一に記載のプログラムを実行可能に保持して、入力されたパターンの判定を行うパターン判定システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002051113A JP3896868B2 (ja) | 2002-02-27 | 2002-02-27 | パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置 |
| CN03804780.2A CN1653486B (zh) | 2002-02-27 | 2003-02-27 | 模式的特征选择方法、分类方法、判定方法 |
| US10/505,903 US7634140B2 (en) | 2002-02-27 | 2003-02-27 | Pattern feature selection method, classification method, judgment method, program, and device |
| EP03707148A EP1480167A4 (en) | 2002-02-27 | 2003-02-27 | STRUCTURE CHARACTERISTIC SELECTION METHOD, CLASSIFICATION METHOD, JUDGING METHOD, PROGRAM, AND DEVICE |
| PCT/JP2003/002264 WO2003073381A1 (fr) | 2002-02-27 | 2003-02-27 | Procede de selection de caracteristique de structure, procede de classement, procede de jugement, programme et dispositif |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002051113A JP3896868B2 (ja) | 2002-02-27 | 2002-02-27 | パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003256839A JP2003256839A (ja) | 2003-09-12 |
| JP3896868B2 true JP3896868B2 (ja) | 2007-03-22 |
Family
ID=27764298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002051113A Expired - Lifetime JP3896868B2 (ja) | 2002-02-27 | 2002-02-27 | パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7634140B2 (ja) |
| EP (1) | EP1480167A4 (ja) |
| JP (1) | JP3896868B2 (ja) |
| CN (1) | CN1653486B (ja) |
| WO (1) | WO2003073381A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7197180B2 (en) * | 2001-05-30 | 2007-03-27 | Eaton Corporation | System or method for selecting classifier attribute types |
| US7869647B2 (en) * | 2004-04-02 | 2011-01-11 | Agilent Technologies, Inc. | System and method for processing training data for a statistical application |
| JP4496943B2 (ja) | 2004-11-30 | 2010-07-07 | 日本電気株式会社 | 病理診断支援装置、病理診断支援プログラム、病理診断支援装置の作動方法、及び病理診断支援システム |
| JP4490876B2 (ja) * | 2005-06-01 | 2010-06-30 | 日本電信電話株式会社 | コンテンツ分類方法、コンテンツ分類装置、コンテンツ分類プログラムおよびコンテンツ分類プログラムを記録した記録媒体 |
| JP4715389B2 (ja) * | 2005-08-24 | 2011-07-06 | 日本電信電話株式会社 | パターン認識方法及び装置及びプログラム |
| CN100354864C (zh) * | 2005-08-26 | 2007-12-12 | 清华大学 | 数据挖掘中一种基于混合互信息的特征选择方法 |
| US20070162505A1 (en) * | 2006-01-10 | 2007-07-12 | International Business Machines Corporation | Method for using psychological states to index databases |
| CN100367300C (zh) * | 2006-07-07 | 2008-02-06 | 华中科技大学 | 一种基于人工神经网络的特征选择方法 |
| US7853081B2 (en) * | 2007-04-02 | 2010-12-14 | British Telecommunications Public Limited Company | Identifying data patterns |
| CN102301395B (zh) * | 2009-01-29 | 2014-08-06 | 日本电气株式会社 | 特征选择设备 |
| JP6687894B2 (ja) * | 2016-05-20 | 2020-04-28 | 富士ゼロックス株式会社 | クラス推定装置及びプログラム |
| US11301733B2 (en) | 2018-05-18 | 2022-04-12 | Google Llc | Learning data augmentation strategies for object detection |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6175486A (ja) | 1984-09-21 | 1986-04-17 | Hitachi Ltd | パタ−ン認識のための決定木作成方法 |
| JPS6379192A (ja) | 1986-09-22 | 1988-04-09 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| JPH07117992B2 (ja) | 1987-09-04 | 1995-12-18 | 富士通株式会社 | 文字認織方式 |
| JPH01321591A (ja) | 1988-06-23 | 1989-12-27 | Nec Corp | 文字認識装置 |
| JP2551212B2 (ja) | 1990-07-26 | 1996-11-06 | 日本電気株式会社 | 特徴量選択方法及び装置と高速識別方法及び装置 |
| JP2945454B2 (ja) | 1990-09-03 | 1999-09-06 | 日本電信電話株式会社 | パターン識別方法 |
| JPH04256087A (ja) | 1991-02-07 | 1992-09-10 | Nec Corp | パターン認識装置 |
| US5740274A (en) * | 1991-09-12 | 1998-04-14 | Fuji Photo Film Co., Ltd. | Method for recognizing object images and learning method for neural networks |
| JP3079707B2 (ja) | 1991-10-18 | 2000-08-21 | 富士ゼロックス株式会社 | 文字認識方法および装置 |
| JPH064673A (ja) | 1992-06-23 | 1994-01-14 | N T T Data Tsushin Kk | パターン認識方法 |
| JP3163185B2 (ja) | 1992-11-27 | 2001-05-08 | 株式会社東芝 | パターン認識装置およびパターン認識方法 |
| JPH06251156A (ja) | 1993-02-26 | 1994-09-09 | Canon Inc | パターン認識装置 |
| JP3267047B2 (ja) * | 1994-04-25 | 2002-03-18 | 株式会社日立製作所 | 音声による情報処理装置 |
| JP2690027B2 (ja) | 1994-10-05 | 1997-12-10 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | パターン認識方法及び装置 |
| US5497430A (en) * | 1994-11-07 | 1996-03-05 | Physical Optics Corporation | Method and apparatus for image recognition using invariant feature signals |
| US5675710A (en) * | 1995-06-07 | 1997-10-07 | Lucent Technologies, Inc. | Method and apparatus for training a text classifier |
| JP3810469B2 (ja) | 1996-03-06 | 2006-08-16 | ヒューレット・パッカード・カンパニー | パターン認識方法 |
| JP2982689B2 (ja) | 1996-04-19 | 1999-11-29 | 日本電気株式会社 | 情報量基準を用いた標準パターン作成方式 |
| JP3411153B2 (ja) | 1996-05-16 | 2003-05-26 | 株式会社山武 | 無駄時間推定装置 |
| JPH10320402A (ja) | 1997-05-14 | 1998-12-04 | N T T Data:Kk | 検索式作成方法、検索式作成装置、及び記録媒体 |
| US6128608A (en) * | 1998-05-01 | 2000-10-03 | Barnhill Technologies, Llc | Enhancing knowledge discovery using multiple support vector machines |
| US6192360B1 (en) | 1998-06-23 | 2001-02-20 | Microsoft Corporation | Methods and apparatus for classifying text and for building a text classifier |
| JP2000122690A (ja) | 1998-10-19 | 2000-04-28 | Toshiba Corp | パターン認識方法およびパターン認識装置 |
| JP3374793B2 (ja) | 1999-07-21 | 2003-02-10 | 日本電気株式会社 | 高速認識検索システム及びそれに用いる認識検索高速化方法並びにその制御プログラムを記録した記録媒体 |
| AU1350501A (en) | 1999-10-27 | 2001-05-08 | Barnhill Technologies, Llc | Methods and devices for identifying patterns in biological systems and methods for uses thereof |
-
2002
- 2002-02-27 JP JP2002051113A patent/JP3896868B2/ja not_active Expired - Lifetime
-
2003
- 2003-02-27 CN CN03804780.2A patent/CN1653486B/zh not_active Expired - Lifetime
- 2003-02-27 US US10/505,903 patent/US7634140B2/en active Active
- 2003-02-27 WO PCT/JP2003/002264 patent/WO2003073381A1/ja active Application Filing
- 2003-02-27 EP EP03707148A patent/EP1480167A4/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| CN1653486B (zh) | 2013-01-02 |
| EP1480167A4 (en) | 2007-06-20 |
| US7634140B2 (en) | 2009-12-15 |
| EP1480167A1 (en) | 2004-11-24 |
| WO2003073381A1 (fr) | 2003-09-04 |
| CN1653486A (zh) | 2005-08-10 |
| US20050169516A1 (en) | 2005-08-04 |
| JP2003256839A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kukačka et al. | Regularization for deep learning: A taxonomy | |
| CN111079639B (zh) | 垃圾图像分类模型构建的方法、装置、设备及存储介质 | |
| CN107526785B (zh) | 文本分类方法及装置 | |
| Bishop | Neural networks for pattern recognition | |
| CN107844784A (zh) | 人脸识别方法、装置、计算机设备和可读存储介质 | |
| CN108804677A (zh) | 结合多层级注意力机制的深度学习问题分类方法及*** | |
| US11334791B2 (en) | Learning to search deep network architectures | |
| JP3896868B2 (ja) | パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置 | |
| Glauner | Comparison of training methods for deep neural networks | |
| Charitou et al. | Synthetic data generation for fraud detection using gans | |
| CN114741507B (zh) | 基于Transformer的图卷积网络的引文网络分类模型建立及分类 | |
| CN111694954A (zh) | 图像分类方法、装置和电子设备 | |
| CN112488188B (zh) | 一种基于深度强化学习的特征选择方法 | |
| CN113095501A (zh) | 一种基于深度强化学***衡分类决策树生成方法 | |
| CN111783088A (zh) | 一种恶意代码家族聚类方法、装置和计算机设备 | |
| Lauren et al. | Convolutional neural network for clinical narrative categorization | |
| CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
| CN112686306B (zh) | 基于图神经网络的icd手术分类自动匹配方法及*** | |
| CN115131646A (zh) | 基于离散系数的深度网络模型压缩方法 | |
| Lucca et al. | Analyzing the behavior of aggregation and pre-aggregation functions in fuzzy rule-based classification systems with data complexity measures | |
| Warkar et al. | A survey on multiclass image classification based on Inception-v3 transfer learning model | |
| Manokhin | Machine learning for probabilistic prediction | |
| Ronchetti et al. | A comparison of small sample methods for handshape recognition | |
| Golchha et al. | Quantum-enhanced support vector classifier for image classification | |
| Somashekhar et al. | An Hybrid Method for Fingerprint Image Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3896868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |