JP4625948B2

JP4625948B2 - パターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Info

Publication number: JP4625948B2
Application number: JP2005014580A
Authority: JP
Inventors: 稔福見
Original assignee: University of Tokushima
Current assignee: University of Tokushima
Priority date: 2005-01-21
Filing date: 2005-01-21
Publication date: 2011-02-02
Anticipated expiration: 2025-01-21
Also published as: JP2006202135A

Description

本発明は、例えばパターンサーチやパターンマッチング、位置検出等に利用される画像、音声等の入力パターンのデータ処理に関する技術であって、予め登録された所定の登録データを、サーチの対象となる入力データ中から検索するパターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。

特定の画像から得られる特徴パターンに基づき、類似の画像を検索する検索システムや、特徴パターンと入力画像とが同一であるか否かを判別する判定などに画像処理技術が利用されている。画像処理は、例えば個人認証のため顔画像の本人識別や表情分類、硬貨や紙幣などの貨幣の真贋判定、さらには工場における電子部品の製造や実装等の分野での利用が可能である。このような画像パターンの検出に関する手法は様々なものが開発されており、中でも画像データから特徴量を抽出してベクトル解析により判定を行う手法が一般的である。このような特徴量を利用する場合、予め参照データの特徴パターンを登録あるいは学習しておき、入力画像との対比を行って判定や認識、検索などを行う。例えば、予め特徴パターンから特徴量を抽出しておき、入力画像から取得された特徴量との対比や検索を行う。検索においては、入力画像から抽出した特徴量を特徴パターンの特徴量あるいは辞書を用いてパターンマッチングを行い、ユークリッド距離の近いものを所定の個数選出して、これを入力に対する近傍パターンとする。続いて、近傍パターンから上位のクラスを選択し、これを候補カテゴリーとして、主成分分析などの詳細判定を行う。

一般に画像データから詳細な特徴量抽出を行う程、正確な検出が可能となるが、その反面必要な計算量やデータ量が膨大となり、要求される仕様も高速、大容量となる。このため、組み込み機器などに実装可能な仕様で、かつ実用に耐え得る精度と速度とを兼ね備えるパターン検索システムが望まれており、この目的での研究が進められている。特に近年、統計的パターン認識手法に関して新たな方法論が多数提案されている。従来の方法としては、主成分分析、判別分析、因子分析などがよく利用されていた（例えば非特許文献１参照）。最近になり、それらの非線形高次元空間への拡張として、カーネル関数に基づく方法が提案されつつある（例えば非特許文献２，３参照）。特に、顔の検出と認識、光の影響の低減化などでそれらの有効性が示されている。

主成分分析は、相互情報量を最大にする線形変換であり、データパターンの分散を最大化するように主成分が求められる。非特許文献４では、主成分分析を利用した顔判別に有効な手法の検討として、固有値顔とフィッシャー顔の比較を行った結果、固有値顔と比較してフィッシャー顔の有効性が報告されている。しかしながら上記では、フィッシャー顔の導出に際して、画像のサイズが大きいためゼロ固有値が多数存在し、直接フィッシャー顔を導出できないため、主成分分析で次元圧縮を行った後に、フィッシャー顔の固有ベクトルを計算する方式となっている。このため、行列演算のための膨大な演算量が必要である。

一方、判別分析は、フィッシャー線形判別とも呼ばれ、特徴空間をより次元の小さい部分空間に変換する方法の一つである。この方法では、特徴空間上のクラス（カテゴリー）のパターンの分布から、このクラスを識別するのに最適な１次元軸を求める。例えば、図１に示すクラスＣ１とＣ２のパターンを判別する場合、フィッシャー比と呼ばれる（クラス間分散／クラス内分散）を最大とするような座標変換を行って最適なＹ１軸を求め、このＹ１軸に射影を行うと（Ｘ１、Ｘ２は、変換前の軸）、クラスＣ１、Ｃ２を最適に分離することのできる境界（図中、破線で示す）を定めることができる。これに対して、フィッシャー比を最大としない座標変換を行った場合には、Ｙ２軸への射影のようにクラスＣ１、Ｃ２を分離する境界を定めることはできない。つまり、フィッシャーの方法では、異なるクラスのパターンを離し、同一クラスのパターンが固まって分布するように射影することのできる射影軸を決定している。

フィッシャー線形判別は、データのクラス間分散の最大化とクラス内分散の最小化を同時に実現する固有ベクトルを求める。したがって、クラス内分散の共分散行列の逆行列が必要となる。画像信号を扱う場合など、データ数よりも画像の次元が極端に大きいため、ゼロ固有値が多数存在し、逆行列の計算が困難となる。したがって、多くの場合は上記と同様に、主成分分析による次元圧縮を前処理として利用せざるを得ないという問題があった。

一方、主成分分析の膨大な行列演算を低減するために、簡易な反復演算法がいくつか提案されている。ニューラルネットワークの分野では、Ｓａｎｇｅｒ（非特許文献５）、Ｋｕｎｇ（非特許文献６）による方法が有名である。またこれら以外にも、より簡単なＳｉｍｐｌｅ−ＰＣＡがＰａｒｔｒｉｄｇｅらにより提案されている（非特許文献７）。このＳｉｍｐｌｅ−ＰＣＡでは、行列演算は必要でなく、簡単な反復法だけで主成分ベクトルを第一主成分から順番に求めていくことが可能な近似アルゴリズムである。このようなＳｉｍｐｌｅ−ＰＣＡは、幾つもの応用でその有効性が示されており、特に顔情報処理では次元圧縮よりも特徴抽出としての利用が多い。しかしながら、Ｓｉｍｐｌｅ−ＰＣＡは主成分ベクトルに基づいた特徴生成であるため、クラス間の分布は全く考慮しておらず、必ずしもパターン分類に適した特徴生成器となっていないという問題がある。

一方、フィッシャーの線形判別分析は、主成分分析よりも顔情報処理等のパターン分類において特徴抽出機能が高いと言われている。この判別分析の反復型アルゴリズムとしては、特許文献１に示す方法が提案されている。しかしながら、この方法では勾配法に基づいてアルゴリズムを導出しているため、クラス内分散とクラス間分散の逐次計算を含めた複雑なアルゴリズムとなっており、実用的ではないという問題点があった。
特開２００１−１０１４１８号公報 R.O.Duda & P.E.Hart, Pattern Classification and Scene Analysis, John Wiley & Sons (1973) B.Scholkopf, et al., "Nonlinear Component Analysis as a Kernel Eigenvalue Problem," Technical Report No.44, Max-Planck-Institute, Germany (1996) M.H.Yang, "Kernel Eigenfaces vs. Kernel Fisherfaces: Face Recognition Using Kernel methods," Proc. of Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp.215-220, Washington,D.C. (2002) P.N.Belhumeur et al., "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.19, No.7, pp.711-720 (July 1997) T.D. Sanger, "Optimal Unsupervised Learning in a Single Layer Linear Feedforward Neural Network," Neural Networks, vol. 2, no. 6, pp. 459-473 (1989) S.Y. Kung, Digital Neural Networks, Prentice-Hall, (1993) Partridge and R. Calvo, "Fast dimentionality reduction and simple PCA", IDA, 2, pp.292-298. (1997)

本発明は、このような問題点に鑑みてなされたものである。本発明の目的は、判別分析の行列演算を利用せず、簡単な近似アルゴリズムの反復演算で固有ベクトルを順次計算可能なパターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。

上記目的を実現するために、本発明のパターン検出装置は、フィッシャーの線形判別法に基づき、入力パターンの特徴量を抽出して、予め登録された参照データの特徴パターンが属する複数のクラスのいずれに属するかを識別するためのパターン検出装置であって、入力パターンを入力するための入力部と、入力部から入力された入力パターンより、特徴量を抽出するための特徴量抽出部と、予め登録された登録データの特徴パターンを保持するための特徴パターン保持部と、特徴量抽出部で抽出された入力パターンの特徴量に基づいて、クラス内分散の最小化とクラス間分散の最大化を行う固有ベクトルを算出し、該固有ベクトルと特徴パターン保持部で保持された特徴パターンとを対比して、パターン検出を実行するためのパターン検出実行部と、パターン検出実行部のパターン検出結果を出力するための出力部とを備える。パターン検出実行部は、クラス間分散を最大化させるために各クラスのデータの平均値ベクトルを求め、次式

で平均化学習を行いクラス間分散を最大にする固有ベクトルを演算すると共に、クラス内分散を最小化させるために、入力パターンの特徴量Ｘ_ｊと固有ベクトルに収束するベクトルａ_Ｎ ^ｋ（固有ベクトルに収束）より、Ｘ_ｊの方向成分を除去した方向を次式

で演算し、さらに上式をクラス内の各入力ベクトルの重み付けで加算平均し、次式

でクラス内分散を最小にする固有ベクトルを演算し、クラス間分散の最大化とクラス内分散の最小化によって同時に学習を行い、各クラスの固有ベクトルに収束後、入力データベクトルから該固有ベクトルの成分を除去し、次いで次クラスの固有ベクトルの成分も順次除去することにより、入力パターンが属するクラスを識別する。これによって、判別分析の行列演算を利用せず、簡単な繰り返し演算でフィッシャーの判別分析の固有ベクトルを順次計算することが可能となり、低負荷で高速なパターン検出が実行できるようになる。

また、本発明のパターン検出方法は、フィッシャーの線形判別法に基づき、入力パターンの特徴量を抽出して属するクラスを識別するパターン検出方法であって、入力パターンの特徴量に基づいて、クラス内分散の最小化を行う工程と、クラス間分散の最大化を行う工程とを有し、クラス間分散の最大化を行う工程が、各クラスのデータの平均値ベクトルを求め、次式

で平均化学習を行いクラス間分散を最大にする固有ベクトルを演算する工程であり、クラス内分散の最小化を行う工程が、データＸ_ｊと固有ベクトルに収束するベクトルａ_Ｎ ^ｋ（固有ベクトルに収束）より、Ｘ_ｊの方向成分を除去した方向を次式

でクラス内分散を最小にする固有ベクトルを演算する工程であり、上記クラス間分散の最大化とクラス内分散の最小化の工程で同時に学習を行い、各クラスの固有ベクトルに収束後、入力データベクトルから該固有ベクトルの成分を除去し、次いで次クラスの固有ベクトルの成分も順次除去することに入力パターンが属するクラスを識別する。これによって、判別分析の行列演算を利用せず、簡単な繰り返し演算でフィッシャーの判別分析の固有ベクトルを順次計算することが可能となり、低負荷で高速なパターン検出が実行できるようになる。

また、本発明のパターン検出プログラムは、フィッシャーの線形判別法に基づき、入力パターンの特徴量を抽出して属するクラスを識別するパターン検出プログラムであって、コンピュータに、入力パターンの特徴量に基づいて、クラス内分散の最小化を行う機能と、クラス間分散の最大化を行う機能とを実現させ、クラス間分散の最大化を行う機能は、各クラスのデータの平均値ベクトルを求め、次式

で平均化学習を行いクラス間分散を最大にする固有ベクトルを演算するものであり、クラス内分散の最小化を行う機能は、データＸ_ｊと固有ベクトルに収束するベクトルａ_Ｎ ^ｋ（固有ベクトルに収束）より、Ｘ_ｊの方向成分を除去した方向を次式

でクラス内分散を最小にする固有ベクトルを演算するものであって、上記クラス間分散の最大化とクラス内分散の最小化の工程で同時に学習を行い、各クラスの固有ベクトルに収束後、入力データベクトルから該固有ベクトルの成分を除去し、次いで次クラスの固有ベクトルの成分も順次除去することにより、入力パターンが属するクラスを識別する。これによって、判別分析の行列演算を利用せず、簡単な繰り返し演算でフィッシャーの判別分析の固有ベクトルを順次計算することが可能となり、低負荷で高速なパターン検出が実行できるようになる。

また本発明のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕｅ−ｒａｙ、ＨＤＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラム・ソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエア・モジュールとが混在する形式で実現してもよい。

本発明のパターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器によれば、簡単な繰り返し演算でフィッシャーの判別分析の固有ベクトルを順次計算することが可能となり、このため演算処理の負荷を低減して組み込み機器などへの実装を容易にでき、処理速度の精度を両立させた実用レベルのパターン検出が実現できる。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するためのパターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明はパターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。

本明細書においてパターン検出装置とこれに接続される操作、制御、入出力、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘ、ＲＳ−４２２、ＲＳ−４２３、ＲＳ−４８５、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ、ＯＦＤＭ方式等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらに認識対象の音声データや認識後の音声データの保存や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。

図２に、本発明の一実施の形態に係るパターン検出装置のブロック図を示す。図２に示すパターン検出装置１００は、入力パターンを入力するための入力部１０と、パターン検出を実行するための演算部２０と、パターン検出結果を出力するための出力部３０を備える。演算部２０は、入力パターンの特徴量を抽出するための特徴量抽出部２２と、予め登録された登録データの特徴パターンを保持するための特徴パターン保持部２４と、入力パターンに基づいて得られた特徴と特徴パターンとを対比してパターン検出を実行するためのパターン検出実行部２６とを備える。パターン検出実行部２６は、入力パターンに基づいて、クラス内分散の最小化とクラス間分散の最大化を行う固有ベクトルを算出し、該固有ベクトルと入力パターンとの積和により抽出された特徴と、特徴パターン保持部で保持された特徴パターンとを対比して、パターン検出を実行する。演算部２０は、ＤＳＰなどのＩＣやＬＳＩで構成できる。また、上記の例では一の演算部２０で特徴量抽出部２２、特徴パターン保持部２４、パターン検出実行部２６の機能を実現しているが、別部材で構成することも可能であることはいうまでもない。

また、図３にパターン検出を実行する手順の流れを示す。この図に示すように、前処理として予め検出あるいは検索したい参照画像を、画像データベースなどから取得し、固有ベクトルを演算して特徴量を抽出する。この作業は、パターン検出装置で実行させる他、サーバマシンやホストコンピュータなど処理能力の高い別の装置で予め実行しておき、演算結果として固有ベクトルや特徴量のみをパターン検出装置に転送する構成としてもよい。また、処理能力の低いパターン検出装置であっても、パターン検出の実行前に固有ベクトル演算等の処理を済ませておくことができる。言い換えるとこの前処理はリアルタイム処理する必要がないため、この部分での処理量や要処理時間は問題とならない。

一方、パターン検出のシステム構築後には、センサなどの入力部１０からパターン検出の対象となる入力画像をパターン検出装置に取り込む。取得されたデータは、必要に応じて減色や２値化、所定のデータサイズへの切り出しなどの前処理を行う。そして演算部２０の特徴量抽出部２２にて後述するＳ−ＦＬＤに従い固有ベクトルで入力画像データの特徴抽出を行う。さらに、参照画像の特徴量と、入力画像の特徴量とを対比して、パターン検出実行部２６でパターン検出を行い、パターン検出結果を出力部３０から出力する。
（Ｓ−ＦＬＤ）

本発明の実施の形態に係るパターン検出装置の一例として、単純化したフィッシャーの線形判別分析（Ｓ−ＦＬＤ）を適用したパターン検出装置を以下説明する。Ｓ−ＦＬＤは、フィッシャーの線形判別分析において、その判別分析の行列演算を利用せず、簡単な近似アルゴリズムの反復演算で固有ベクトルを順次計算していくアルゴリズムである。この手法では、クラス間分散の最大化とクラス内分散の最小化を別々の反復式で表現することにより、簡単な繰り返し演算でフィッシャーの判別分析の固有ベクトルを順次計算することが可能となる。特に、クラス間分散の最大化とクラス内分散の最小化の幾何学的意味を考慮して近似アルゴリズムを導出しているため、収束までの反復回数も比較的少なくできる。

主成分分析の近似アルゴリズムは多数提案されている。ここでは説明のため、最も簡単な単純主成分分析（Simple-Principal Component Analysis、以下「Ｓｉｍｐｌｅ−ＰＣＡ」、「ＳＰＣＡ」等と呼ぶ。）をまず説明し、次に本実施の形態で用いたＳ−ＦＬＤを説明する。
（Ｓｉｍｐｌｅ−ＰＣＡ）

Ｓｉｍｐｌｅ−ＰＣＡ（ＳＰＣＡ）はクラス間分散を最大にする固有ベクトルを順番に求めていくアルゴリズムである。ここで、学習に用いるデータを下記の数４３に示すｍ枚のＮ×Ｎ次元の濃淡値ベクトルとする。

このベクトルデータの平均値をゼロに揃える必要があるため、下記の数４４に示す計算を行う。

したがって、学習に用いるベクトルデータは次式数４５で表現できる。

ここで、出力関数を次式数４６で定める。

上式のαＴＮは第ｎ主成分ベクトルである。上付きのＴは転置を意味する。ただし、ＳＰＣＡの学習に用いるため、任意の乱数で初期化して利用する。ここでは、その初期ベクトルをａＮ１とおく。また、ｋ回反復学習後のベクトルをａＮｋとする。このベクトルを下記の数４７と数４８で反復修正していくことで固有ベクトルに収束させる。

図４に、ＳＰＣＡの原理図を示す。この図において、黒丸は入力データのベクトル位置を示している。またａＮｋはｋ回目の反復学習後のベクトルを示している。添え字のｎはｎ番目の固有ベクトルを指し、ａＮｋはｎ番目の固有ベクトルを求めるためのｋ回目の学習後のベクトルを意味する。閾値関数としては、次式数４７、数４８を用いる。

図４において、点線が数４７をゼロにする直線（多次元では超平面）である。数５の出力が正であることは、現次点のベクトルａＮｋの向きと入力信号であるｘｊの向きが同方向であることを示す。データの分散は、数４８のｘｊでａＮｋ方向成分のノルムの合計値で示される。したがって、入力信号ベクトルの向きだけではなく、ノルムの大きさを含めた形式で加算平均される。具体的には下記に示す演算を繰り返すことになる。

ここで、ａＮｋ＋１は任意ベクトルのｋ＋１回目の反復後のベクトルであり、固有ベクトルに収束していくことが期待できる。なお、数４９を計算後、ａＮｋ＋１の大きさは１に正規化されている。

上記の処理で、ａＮｋ＋１が収束すると反復をストップし、２番目の固有ベクトルの計算に移る。ただし、１番目の固有ベクトルの影響を除去するために、入力信号ベクトルからａＮｋ＋１の方向成分を除去する操作が必要である。これはシュミットの直交化と同じ原理を利用でき、次式で行う。

上式で、ａＮｋ＋１成分を除去したら、同じ手続きを繰り返すことにより、第２、第３、・・・と主成分ベクトルを順次計算することができる。

ＳＰＣＡの結果が、通常の行列演算と比較してほぼ同じ固有ベクトルに収束することは検証されている。また収束までの計算時間も、べき乗法を利用した固有ベクトル生成と比較しても８倍程度高速であることが報告されている（例えば滝本，満倉，福見，赤松："SPCAとRGAを用いた個人認証のための特徴抽出法"，ヒューマンインタフェース学会論文誌，Vol.5，No.4，pp.499-506（2003）.、中野，満倉，福見，赤松："Simple PCAに基づく笑顔の真偽分類"，信号処理学会論文誌(JSP)，Vol.6，No.6（11月号），pp431-437（2002）等）。
（Ｓ−ＦＬＤ）

次に、本実施の形態に係るパターン検出方法の一例として、Ｓ−ＦＬＤについて説明する。Ｓ−ＦＬＤでは、上述したＳＰＣＡと異なり、クラス間分散の最大化とクラス内分散の最小化を同時に実現するようにアルゴリズムを導出する。特に、上記の評価基準を満足するようにデータ分布の意味を考慮しながらアルゴリズムを導出する。
（クラス間分散を最大化）

まず、クラス間分散の最大化を行うアルゴリズムを導出する。これは上述したＳＰＣＡのデータ分散の最大化と同様に考えることができる。まず、各クラスのデータの平均値ベクトルを求め、これをｈｊとする。図５に、クラス間分散を最大化する概念図を示す。図５において、各ｈｊは黒丸で示している。ここで、全データの平均値はゼロになっていると仮定する。以下、ＳＰＣＡと同様に、次式の形式で平均化学習を行う。

図５において、点線は数５１をゼロにする直線（多次元では超平面）である。この処理により、クラス間分散を最大にする固有ベクトルに収束することが期待できる。また図５でａＮｋは第ｎ固有ベクトルの近似ベクトルであり、ｋ回目の学習後のベクトルである。原理的には上記のＳＰＣＡと同じである。したがって、有効な固有ベクトルの数は、クラス数をｃ個とすると、最大で（ｃ−１）個となる。ただ、近似反復型アルゴリズムで固有ベクトルを導出しているため、下記のシミュレーションでは若干の数値的誤差を考慮して（ｃ−１）個を超える数の固有ベクトルを導出して使用している。
（クラス内分散の最小化）

次にクラス内分散の最小化を行う方法を示す。クラス内の分散は、各クラス内でデータの平均値を原点として考える。クラス内分散を最小化する概念を図６に示す。図６において、黒丸は同じクラス内のデータを示している。まず、データＸｊと任意のベクトルａＮｋ（固有ベクトルに収束）の位置関係を考える。Ｘｊの分散を最小にする方向はＸｊに直交する方向である。したがって、ａＮｋからＸｊの方向成分を除去した方向を求め、ｂｊとする。この計算は簡単で、次式で表現できる。

ここで、次式が成立する。

実際の修正量は、次式で表現できる。

上式をクラス内の全入力ベクトルで加算平均する。ただし、数５５は各入力ベクトルの重み付けで加算平均する。この重み付けにより、ベクトルのノルムが大きい成分の影響がより考慮された加算平均となり、クラス内分散を最小にする方向に収束することが期待できる。したがって、次式により意図する固有ベクトルに収束する。

ここで、Ｎｉはクラスｉのデータ数である。数５６で示すように、クラス間分散の最大化とクラス内分散の最小化アルゴリズムは同時に学習を行うことにより、固有ベクトルに収束する。第一固有ベクトルに収束後、上述したＳＰＣＡと同様に、入力データベクトルから第一固有ベクトルの成分を除去する。なお、次の固有ベクトルの初期ベクトルと各クラスの平均値ベクトルからも、同様に第一主成分ベクトルの成分が除去されている必要がある。以下、同様に、第２固有ベクトル、第３固有ベクトル、・・・というように、固有ベクトルを順次演算していく。

なお、アルゴリズムの導出方法は、数５１〜数５７の一通りに限られず、データ分布の意味を考慮することにより、別の形態も導出可能である。例えば、数５５でＸｊのノルムで重み付けしない形態としてもよい。この場合、固有ベクトルの向きが全サンプルの方向成分だけの平均値となり、重み付け平均と比べて固有ベクトルの向きが多少異なる。また、数５６で第一項と第二項の成分に重み付けすることにより、クラス間分散の最大化とクラス内分散の最小化のどちらを優先するかが異なってくる。通常は同じ重みでよいが、条件や目的に応じて二つの項に異なる重み付けを与えることもでき、精度と要処理時間のいずれを優先するかによっても調整できる。さらに、数５２ではＳＰＣＡと同じ計算式を用いることもできる。このように、上述した演算は一例であって、目的とする精度や処理時間に応じて、適切な演算を適宜採用できる。

本実施の形態に係るＳ−ＦＬＤでは、ＳＰＣＡと異なり、修正のための計算が二つの項から成る。したがって、ＳＰＣＡと比較して、若干、収束までの反復回数が多くなる傾向がある。

以下実施例として、本実施例のＳ−ＦＬＤの有効性を検証するために、簡単な２次元パターンの２クラス分類、硬貨画像認識問題、顔画像を用いる表情認識と個人認証に対する計算機シミュレーションを行い、比較例として主成分分析（ＳＰＣＡ）の結果と比較した。
（２次元の２クラスパターン分類問題）

まず、２次元の２クラスパターンに分類する２クラス分類問題に本実施例を適用して有用性を実証する。ここでは、図７に示す２次元問題を検討し、本実施例によってクラス１とクラス２に分類可能かどうかを検証する。図７は、２次元パターン分類問題の概念を示す説明図である。ここでクラス１は次式により生成されたデータサンプルである。

上式においてｘは乱数であり、図７において黒丸で示されている。またクラス２は、次式により生成されたデータサンプルである。

ここでｘは乱数であり、図７において四角で示されている。なお、上式でＮ（−０．０１，０．０１）は、示されている範囲の一様乱数を意味し、このデータの一例を図７に示している。この２クラス分類問題で、各クラスのサンプル数は２００個とし、実施例に係るＳ−ＦＬＤと、比較例に係るＳＰＣＡとで固有ベクトルをそれぞれ演算し、各データを固有ベクトルに射影した内積計算の結果を、図８、図９にそれぞれ示す。なお学習の反復回数は２０回とした。

図８は比較例としてＳＰＣＡの結果を示しており、ベクトルの向きは（０．７１１５６７、０．７０２６１８）である。また図９は実施例としてＳ−ＦＬＤの結果を示しており、ベクトルの向きは（０．７０５７５５、−０．７０８４５６）である。図８と図９を対比すると、実施例に係る図９では正確にクラス１、２が分類されているのに対し、比較例に係る図８では両者の境界（ＳＰＣＡ固有ベクトル）上でデータが混在し、分類が不十分である。このことから、実施例に係るＳ−ＦＬＤの固有ベクトルがパターン分類に適していることは明らかである。

実施例に係るＳ−ＦＬＤと、比較例に係るＳＰＣＡの固有ベクトルの内積を計算すると、０．００４４１８となり、ほぼ直交していることが判る。図９からは判りづらいが、Ｓ−ＦＬＤはデータを固有ベクトル上に射影することにより、簡単な閾値処理だけで１００％近い精度が得られている。一方、比較例に係る図８のＳＰＣＡの結果では、閾値処理だけでは精度が極端に低くなる。このため、非線形問題に対応可能なニューラルネットワークなどの分類器が必要になる。なお、固有ベクトルの初期値を変えた場合も実験したが、同じ固有ベクトルに収束することを確認した。
（硬貨画像認識問題）

次に、回転させた硬貨画像の認識問題で、本実施例の有効性を検証した。使用した硬貨は日本の５００円硬貨と韓国の５００ウォン硬貨の裏と表、計４種類である。これらは、色、重さ、大きさ、表面のパターンが類似しており、数年前まで偽硬貨事件で問題になっていた程であり、真贋判定のサンプルとして好適である。硬貨認識では、特にランダムに回転した状態で認識することが重要である。このため、極座標系でのフーリエ変換を用いて回転に不変な特徴を生成してから、本手法を適用する。このようなフーリエ変換については、福見，大松，西川,"ニューラルネットワークによる回転パターンの認識と回転角度の推定",電気学会論文誌，115-C巻，10号，pp.1199-1207(1995)や、M.Fukumi, S.Omatu, and Y.Nishikawa, "Rotation Invariant Neural Pattern Recognition System Estimating a Rotation Angle", IEEE Trans. on Neural Networks,Vol.8, No.3, pp.568-581(1997)等の手法が適用できる。

ここでは４クラスのパターン認識問題となり、学習サンプル数として各クラス１０枚とした。学習の後、各クラス４０枚を認識試験用として評価した。使用した硬貨画像サンプルを図１０に示す。図１０において（ａ）は５００ウォン硬貨、（ｂ）は５００円硬貨をそれぞれ示している。これらの画像から硬貨部分を約２００×２００ピクセルで切り出し、極座標系でＦＦＴを行い、周波数成分の振幅スペクトルを用いて固有ベクトル生成の学習を行った。硬貨画像はランダムに回転した状態で取り込まれるため、回転不変な特徴生成のためにフーリエ変換が必要となる。そこで半径方向、円周方向ともに、３２点の離散化を行い、３２×３２点の２次元ＦＦＴを行った。その後、計算機シミュレーションにより学習後の認識を、Ｓ−ＦＬＤ、ＳＰＣＡにつき、それぞれ固有ベクトルを１〜２０に変化させて行った。この認識率の結果を表１に示す。

上記の認識は最も簡単な最小距離分類で行った。テスト用サンプルと固有ベクトルの内積が特徴値となり、固有ベクトルの個数だけ特徴を生成した。ここで、ニューラルネットワークやサポートベクタマシンなどを利用することも可能であるが、認識器による影響を排除するため、最も単純な分類器を使用した。これは最小距離分類であり、入力パターンがデータ中で最も距離の短いサンプルのクラスと判定する方法である。表１から明らかなように、固有ベクトルの個数を２０個使用すると、寄与率は８０％を超える。クラス数が４であるため、固有ベクトル数が４以上でＳ−ＦＬＤの精度が最大値となり、ほぼ１００％で一定している。

表１の結果から明らかなように、Ｓ−ＦＬＤの方が優れた識別結果となっている。固有ベクトルの数が増加し、特徴数が増加した場合、一般的には識別率が低下することが多い（例えばA.K.Jain and B.Chandrasekaran, "Dimensionality and Sample Size Considerations," Pattern Recognition in Practice, P.R. Krishnaiah and L.N. Kanal, eds., Vol.2, Chap 39, pp.835-855, Elsevier Science (1982)、F. Ferri, et al., ""Comparative Study of Techniques for Large Scale Feature Selection," Pattern Recognition in Practice IV, E.Gelsema and L.Kanal, eds., pp.403-413. Elsevier Science B.V. (1994)、A.Jain and D.Zongker, "Feature Selection: Evaluation, Application, and Small Sample Performance," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 19, No.2 , pp.153-158 (1997)等で報告されている）。しかし、ＳＰＣＡが低下傾向を示すのに比べ、Ｓ−ＦＬＤではほぼ１００％の精度を維持できており、この点においても本発明の優位性は明らかである。
（顔表情認識及び個人認証）

次に、顔表情認識と個人認証に本実施例を適用してその有効性を検証した。図１１に、本実施例で使用した顔画像サンプルの一部を示す。図１１では顔画像サンプルとして１００×１００ピクセルの画像を使用し、表情はノーマルを含めて５種類とし、それぞれ、（ａ）はノーマル（平常）、（ｂ）は笑い、（ｃ）は驚き、（ｄ）は悲しみ、（ｅ）は怒り、の表情を示している。各被験者毎に５種類×２枚＝１０枚の画像があり、４名分の合計４０枚で検証した。この４０枚の内一部を学習サンプルとして固有ベクトルを求めた。表情認識の結果を、表２に示す。

ここでは、学習サンプル数を各クラス毎に６個、合計で２４使用した。評価は残り４枚×４名分で、合計１６枚で行った。学習と評価を５枚の画像で行っても、ほぼ同様の傾向であった。固有ベクトルの数が８個以上で寄与率が８０％を超えており、これ以上固有ベクトルを増加させても精度の改善はあまりないことが明らかとなった。

次に、個人認証を行った結果を表３に示す。個人認証では、サンプル数は各人１０枚、６名分で合計６０枚とし、６名の認証を行った。これらの画像は、表情の変化（５表情）を含めた画像とすることで、表情に不変な個人認証の精度を検証している。学習に使用した学習サンプル数は各人３枚で、合計１８枚である。したがって、評価に用いた画像は合計で４２枚である。学習に用いるサンプル数を２〜６枚で変化させて実験を行ったが傾向は変わらず、Ｓ−ＦＬＤの方が優れた結果となった。

最後に本実施の形態に係るＳ−ＦＬＤと、従来の行列計算に基づく判別分析ＦＬＤの演算要処理時間に関する比較を行った。固有ベクトルの計算に要した計算時間（単位は秒）を下記の表４に示す。従来型ＦＬＤでは、べき乗法により固有ベクトルを計算している。表中で表示される時間は、各方法に固有の計算部分の時間を示しており、データの入力時間は含んでいない。測定に使用した仕様は、計算機としてＣＰＵにＰｅｎｔｉｕｍ（登録商標）４、動作周波数２．５３ＧＨｚ、メモリは５１２ＭＢで、Ｗｉｎｄｏｗｓ（登録商標）ＸＰＨｏｍｅＥｄｉｔｉｏｎをインストールしたパーソナルコンピュータを使用し、ＭＳ−ＶｉｓｕａｌＣ＋＋６．０でコンパイルを実行した。なお、Ｗｉｎｄｏｗｓ（登録商標）パソコンで時間を計測すると、割り込みの頻度等により計測時間が変動する。表中で時間はすべて秒で示し、５回測定した結果の平均値とした。なおＳ−ＦＬＤとＳＰＣＡの計算時間については、殆ど差は見られなかった。

この表に示すように、データの次元数が小さい場合には、Ｓ−ＦＬＤと従来の行列型判別分析はほとんど変わらない。しかし、次元数が大きくなるにつれて、Ｓ−ＦＬＤの時間増加傾向は線形に時間が長くなるのに対して、従来の行列型ＦＬＤでは、データ次元の２乗に比例して計算時間が長くなる傾向を示した。したがって、データの次元が大きいほど、Ｓ−ＦＬＤの効果が大きいことが確認できた。なお、計算時間は反復の際の収束条件にも依存する。より収束条件を緩和すればさらに短時間で収束する。

また表４に示すように、５０００次元では、メモリ不足のため従来の行列型ＦＬＤは計算不可能であった。２５００次元のデータは顔画像を５０×５０ピクセルに圧縮して実行した結果である。したがって、顔画像を扱う場合のようにデータの次元が大きくなる場合には、Ｓ−ＦＬＤの優位性が顕著となる。仮に、行列計算に最適化されたＭａｔｌａｂ等のソフトウェアを用いるとしても、メモリの限界は同様であり、従来の行列型ＦＬＤは実行できない。このことからも、本実施の形態に係るＳ−ＦＬＤでは低負荷で高速な処理が実現可能であることが確認できた。

以上のように、２次元の２クラスパターン分類問題、回転硬貨識別問題、顔画像を用いた表情識別問題と個人認証問題に本実施例を適用し、主成分分析と比較してその特徴抽出の有効性を計算機シミュレーションにより定量的に検証し、その結果、パターン分類で用いられる特徴抽出システムとして、ＳＰＣＡよりも実施例に係るＳ−ＦＬＤの方が優れていることが検証された。このように、本実施例ではフィッシャーの判別分析を行うための固有ベクトルの生成を、行列演算を必要としない簡単な繰り返し型の反復アルゴリズムを実現している。本アルゴリズムはデータ分布の意味を考慮して導出されており、勾配法に基づくアルゴリズムと比較しても極めて簡単なアルゴリズムである。特にＣＰＵやメモリ量に制限のある組み込み機器にも実装可能な低負荷のパターン検索を実現できる。また、本発明をカーネル関数を用いる非線形高次空間に拡張し、非線形カーネル関数を用いた非線形特徴抽出システムに適用することも可能である。

本発明のパターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、個人認証や貨幣の真贋判定システムの他、近赤外線カメラ等を用いて車両の運転手のモニタリングを行い、居眠り運転等を検知するシステム等に適用可能である。また、画像は静止画像、動画像のいずれにも対応でき、さらに画像に限られず音声なども利用でき、これによってマルチメディア検索等への応用も可能となる。

フィッシャー線形判別による射影を説明する図である。本発明の一実施の形態に係るパターン検出装置のブロック図を示す。パターン検出を実行する手順の流れを示すブロック図である。Ｓｉｍｐｌｅ−ＰＣＡの原理を説明する図である。クラス間分散を最大化する概念を説明する図である。クラス内分散を最小化する概念を説明する図である。２次元パターン分類問題の概念を説明する図である。比較例に係るＳＰＣＡの結果を示す図である。本発明の実施例に係るＳ−ＦＬＤの結果を示す図である。硬貨画像認識試験で使用した硬貨画像サンプルであり、図１０（ａ）は５００ウォン硬貨、図１０（ｂ）は５００円硬貨をそれぞれ示すイメージ図である。顔表情認識及び個人認証試験で使用した顔画像サンプルの一部であり、図１１（ａ）はノーマル（平常）、（ｂ）は笑い、（ｃ）は驚き、（ｄ）は悲しみ、（ｅ）は怒り、の表情をそれぞれ示すイメージ図である。

符号の説明

１００…パターン検出装置
１０…入力部
２０…演算部
２２…特徴量抽出部
２４…特徴パターン保持部
２６…パターン検出実行部
３０…出力部

Claims

フィッシャーの線形判別法に基づき、入力パターンの特徴量を抽出して、予め登録された参照データの特徴パターンが属する複数のクラスのいずれに属するかを識別するためのパターン検出装置であって、
入力パターンを入力するための入力部と、
前記入力部から入力された入力パターンより、特徴量を抽出するための特徴量抽出部と、
予め登録された登録データの特徴パターンを保持するための特徴パターン保持部と、
入力パターンに基づいて、クラス内分散の最小化とクラス間分散の最大化を行う固有ベクトルを算出し、該固有ベクトルと入力パターンとの積和により抽出された特徴と、前記特徴パターン保持部で保持された特徴パターンとを対比して、パターン検出を実行するためのパターン検出実行部と、
前記パターン検出実行部のパターン検出結果を出力するための出力部と、
を備えており、
前記パターン検出実行部は、クラス間分散を最大化させるために各クラスのデータの平均値ベクトルｈ_ｊを求め、次式
で平均化学習を行いクラス間分散を最大にする固有ベクトルを演算すると共に、
クラス内分散を最小化させるために、入力パターンの特徴量Ｘ_ｊと固有ベクトルに収束するベクトルａ_Ｎ ^ｋより、Ｘ_ｊの方向成分を除去した方向を次式
で演算し、上式をクラス内の各入力ベクトルの重み付け｜｜Ｘ_ｊ｜｜で加算平均し、次式
でクラス間分散の最大化とクラス内分散の最小化によって同時に学習を行い、各クラスの固有ベクトルに収束後、入力データベクトルから該固有ベクトルの成分を除去し、次いで次クラスの平均値ベクトルから固有ベクトルの成分も順次除去することにより、２番目以降の固有ベクトルを同様の手順で演算し、これらの固有ベクトルに基づいて特徴を生成し、入力パターンが属するクラスを識別することを特徴とするパターン検出装置。
フィッシャーの線形判別法に基づき、入力パターンの特徴量を抽出して属するクラスを識別するパターン検出方法であって、
入力パターンの特徴量に基づいて、クラス内分散の最小化を行う工程と、クラス間分散の最大化を行う工程とを有し、
前記クラス間分散の最大化を行う工程が、
各クラスのデータの平均値ベクトルｈ_ｊを求め、次式
で平均化学習を行いクラス間分散を最大にする固有ベクトルを演算する工程であり、
前記クラス内分散の最小化を行う工程が、データＸ_ｊと固有ベクトルに収束するベクトルａ_Ｎ ^ｋより、Ｘ_ｊの方向成分を除去した方向を次式
で演算し、上式をクラス内の各入力ベクトル｜｜Ｘ_ｊ｜｜の重み付けで加算平均し、次式
でクラス間分散の最大化とクラス内分散を最小にする固有ベクトルを演算する工程であり、
上記クラス間分散の最大化とクラス内分散の最小化の工程で同時に学習を行い、各クラスの固有ベクトルに収束後、入力データベクトルから該固有ベクトルの成分を除去し、次いで次クラスの平均値ベクトルから固有ベクトルの成分も順次除去することにより、２番目以降の固有ベクトルを同様の手順で演算し、これらの固有ベクトルに基づいて特徴を生成し、入力パターンが属するクラスを識別することを特徴とするパターン検出装置。
フィッシャーの線形判別法に基づき、入力パターンの特徴量を抽出して属するクラスを識別するパターン検出プログラムであって、コンピュータに
入力パターンの特徴量に基づいて、クラス内分散の最小化を行う機能と、クラス間分散の最大化を行う機能とを実現させ、
前記クラス間分散の最大化を行う機能は、各クラスのデータの平均値ベクトルを求め、次式
で平均化学習を行いクラス間分散を最大にする固有ベクトルを演算するものであり、
前記クラス内分散の最小化を行う機能は、データＸ_ｊと固有ベクトルに収束するベクトルａ_Ｎ ^ｋ（固有ベクトルに収束）より、Ｘ_ｊの方向成分を除去した方向を次式
で演算し、さらに上式をクラス内の各入力ベクトルの重み付けで加算平均し、次式
で上記クラス間分散の最大化とクラス内分散の最小化の工程で同時に学習を行い、各クラスの固有ベクトルに収束後、入力データベクトルから該固有ベクトルの成分を除去し、次いで次クラスの固有ベクトルの成分も順次除去することにより、２番目以降の固有ベクトルを同様の手順で演算し、これらの固有ベクトルに基づいて特徴を生成し、入力パターンが属するクラスを識別することを特徴とするパターン検出プログラム。
請求項３に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。