JPH11154146A

JPH11154146A - パターン認識方法および記録媒体

Info

Publication number: JPH11154146A
Application number: JP9322883A
Authority: JP
Inventors: Yoshiaki Kurosawa; 由明黒沢
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-11-25
Filing date: 1997-11-25
Publication date: 1999-06-08

Abstract

(57)【要約】【課題】理論的に方式全体の整合が取れ、高速学習可能
なパターン認識辞書作成方法およびそれにより作成され
た辞書を用いた精度の高いパターン認識が行えるパター
ン認識方法を提供する。【解決手段】入力されたパターンベクトルに基づきパタ
ーン認識辞書に登録されている辞書データの更新処理を
繰り返すことによりパターン認識辞書を作成するパター
ン認識辞書作成方法において、前記更新処理は、前記パ
ターンベクトルに行列を掛け、さらに該パターンベクト
ルの転置を掛ける計算式を含む各カテゴリに対する該ベ
クトルの類似度を算出するための類似度計算式に従った
認識結果に基づく評価式の値を最適化する方向に前記行
列を更新する漸化式に従って、カテゴリ毎の前記行列を
更新することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はパターン認識分野に
おける辞書作成方法に関する。

【０００２】

【従来の技術】文献「ＴｈｅＳｅｌｆ−Ｏｒｇａｎｉ
ｚｉｎｇＭａｐ」（Ｐｒｏｃｅｅｄｉｎｇｓｏｆ
ｔｈｅＩＥＥＥ（１９９０））には、ＬＶＱ（学習
ベクトル量子化）が紹介されている。これは入力ベクト
ルをｘとし、それぞれのカテゴリに対してｍを参照ベク
トルとし、相違度ｓをｓ＝‖ｘ−ｍ‖と定義するもの
で、各カテゴリ中で最小の相違度を持つカテゴリを入力
ベクトルｘの認識結果として出力する。

【０００３】この時、ｍの学習には次の手順を使う。学
習パターンｘを認識した時、認識結果とし得られたカテ
ゴリをｃ、参照ベクトルｍｃとして、正解のとき、ｍｃ’＝ｍｃ＋α（ｘ−ｍｃ） …（６１）不正解のとき、ｍｃ’＝ｍｃ−α（ｘ−ｍｃ） …（６２）のようにして辞書を更新する。上記以外の方法にＬＶＱ
２、ＬＶＱ３があり、認識結果として得られる相違度に
基づいて、式（６１）と式（６２）を使いわけている。

【０００４】また、ＧＰＤと呼ばれる考え方をユークリ
ッド距離に適用する方式も知られている。Ｒ（ｘ）をｘ
を認識した時に得られる認識結果とし α（Ｒ（ｘ））
をＲ（ｘ）によって決まる係数として、一般的に、ｍｃ’＝ｍｃ＋α（Ｒ（ｘ））（ｘ−ｍｃ）を更新ルールとするものである。

【０００５】これらの方式では相違度がユークリッド距
離で単純であり、認識精度に問題があった。また、αを
最適に決めることも難しい課題となっており実用上、問
題があった。

【０００６】文献「パターン認識と部分空間法」（産業
図書（１９８６））にはＬＳＭ（学習部分空間法）が紹
介されている。これは、入力ベクトルをｘとし、それぞ
れのカテゴリに対してＰをプロジェクションとし、類似
度ｓをｓ＝ｘ^TＰｘと定義するものである。なお、
ｘ^T は、ｘの転置ベクトルである。そして、各カテゴリ
中で最大の類似度を持つカテゴリをｘの認識結果として
出力する。

【０００７】Ｐを構成する正規直交ベクトルをψｉとし
た時、Ｇをψｉをｒ個並べた行列としてＰ＝ＧＧ^Tと表
せるものとする。Ｒ（ｘ）をｘを認識した時に得られる
認識結果として、 ψｉ’＝ψｉ＋α（Ｒ（ｘ））（ｘ、ψ）ｘとし、ψｉをたとえばシュミットの直交化法で正規直交
化して新しい ψｉを求めることにより学習を行う。

【０００８】平均ベクトルｍを持つ形式で、ｓ＝‖ｘ−ｍ‖²−（ｘ−ｍ）^TＰ（ｘ−ｍ）も投影距離として知られているが、ψｉについては上と
同様に求め、また、ｍについて、ｍ’＝ｍ＋２α（Ｒ（ｘ））（（ｘ−ｍ）−Ｐ（ｘ−
ｍ））によって更新する方式も知られている。

【０００９】また、同じ文献に紹介されているＡＬＳＭ
（平均学習部分空間法）や特開昭第５６−１３７４８３
号に記載されている辞書作成方法は、次のようなもので
ある。

【００１０】Ｋを正値対称行列として、Ｋの固有ベクト
ルの一部を用いてＰを構成し、類似度をｓ＝ｘ^TＰｘと
定義する。学習は認識が不正解であった場合に、正解カテゴリに対してＫ’＝Ｋ＋αｘｘ^T 不正解カテゴリに対してＫ’＝Ｋ−βｘｘ^T によってＫを更新することによって行う。

【００１１】これらの方法では、理論的に何を最適化し
ようとしているものが不明確であったり、また不適当で
あって学習がうまくいかずに認識精度に問題を生じるこ
とがあった。

【００１２】これに対して理論的に最適化しようとして
いるものが明確な方式は、部分空間法にＧＰＤを適用し
たもので、文献「ＤｉｓｃｒｉｍｉｎａｔｉｖｅＭｅ
ｔｒｉｃＤｅｓｉｇｎｆｏｒＰａｔｔｅｒｎＲ
ｅｃｏｇｎｉｔｉｏｎ」（ＩＣＡＳＳＰ−９５、Ｖｏ
ｌ．５）に紹介されている。この方式は類似度ｓ＝ｘ^T
ＰｘのＰを別の複数の回転を表す行列Ｑｉの積として表
し、このＱｉを学習するように構成されている。この方
式ではＰとＱｉの変換を毎回行う必要があり、学習時間
が増大するという問題があった。

【００１３】

【発明が解決しようとする課題】本発明は、上記問題点
に鑑みなされたもので、パターン認識分野における辞書
作成方法において、理論的に方式全体の整合が取れ、高
速学習可能で、精度の高い辞書作成が行えるパターン認
識辞書作成方法およびそれにより作成された辞書を用い
た精度の高いパターン認識が行えるパターン認識方法を
提供することを目的とする。

【００１４】

【課題を解決するための手段】（１）本発明のパターン
認識方法（請求項１、特性核学習）で用いられる前記更
新処理は、入力パターンベクトルｘに行列Ｋを掛け、さ
らに該入力パターンベクトルの転置ｘ^Tを掛ける計算式
を含む各カテゴリに対する該ベクトルの類似度を算出す
るための類似度計算式ｓ＝ｘ^TＫｘに従った認識結果に
基づく評価式（式（６））の値Ｊを最適化する方向に該
行列Ｋを更新する漸化式（式（１３））に従って、カテ
ゴリ毎の前記行列Ｋを更新することより、高精度のパタ
ーン認識が可能なパターン認識辞書が高速に作成でき
る。

【００１５】（２）本発明のパターン認識方法（請求項
２、請求項１の特性核学習における初期行列の作成方
法）で用いられる前記更新処理において、前記カテゴリ
毎の行列の初期行列（Ｋ₀）は、前記パターンベクトル
の集合に基づき算出された第１の行列（Ｑ）と、各カテ
ゴリに分類された前記パターンベクトルの集合に基づき
算出された各カテゴリ毎の第２の行列（Ｐ）とから算出
される行列である。

【００１６】（３）本発明のパターン認識方法（請求項
３、ＡＬＳＭを用いた特性核学習：ウインドウ関数を用
いる場合）で用いられる前記更新処理は、前記パターン
ベクトル（ｘ）に第１の行列（Ｋ）を掛け、さらに該パ
ターンベクトルの転置を掛ける第１の計算式（ｘ^TＫ
ｘ）と前記第１の行列の固有ベクトル（ψｉ）からなる
第２の行列（Ｐ）とに基づく各カテゴリに対する該パタ
ーンベクトルの類似度を計算するための類似度計算式
（ｓ＝ｘ^TＰｘ）に従った認識結果に基づく評価式（式
（６））の値を最適化する方向に前記第１の行列を更新
する漸化式（式（１２））に従って、カテゴリ毎の前記
固有ベクトルを含む前記第１の行列を更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための関数で、前記正解カテゴリと不正解カテゴ
リの類似度の差が等しい部分で高い値を取り、前記正解
カテゴリと不正解カテゴリの類似度の差が異なる部分で
低い値をとる窓関数ｗ（ｄ）（式（８））を有すること
により、高精度のパターン認識が可能なパターン認識辞
書が高速に作成できる。

【００１７】（４）本発明のパターン認識方法（請求項
４、ＡＬＳＭを用いた特性核学習に定数、平均ベクトル
の学習を導入）で用いられる前記更新処理は、前記パタ
ーンベクトル（ｘ）に第１のベクトル（ｍ）を減算して
生成された第２のベクトル（ｘ−ｍ）に第１の行列
（Ｋ）を掛け、さらに第２のベクトルの転置を掛ける第
１の計算式（（ｘ−ｍ）^TＫ（ｘ−ｍ））と、前記第１
の行列の固有ベクトル（ψｉ）から前記第１のベクトル
を減算したベクトルとに基づく前記パターンベクトルの
相違度を計算するための相違度計算式（式（４０））に
従った認識結果に基づく評価式（式（６））の値Ｊを最
適化する方向に前記第１の行列を更新するための第１の
漸化式（式（４１））および前記第１のベクトルを更新
するための第２の漸化式（式（４２））に従って、カテ
ゴリ毎の前記固有ベクトルおよび前記カテゴリ毎の第１
のベクトルのうちの少なくとも一方を更新することによ
り、高精度のパターン認識が可能なパターン認識辞書が
高速に作成できる。

【００１８】（５）本発明のパターン認識方法（請求項
５、固有ベクトルの学習：２次形式評価式タイプで係
数、定数学習を含むもの）で用いられる前記更新処理
は、前記パターンベクトル（ｘ）と第１のベクトル（ψ
ｉ）との内積の２乗項に第１の係数（ａｉ）を乗算し、
さらに第２の係数（ｃ）を加算する第１の計算式を少な
くとも含む前記パターンベクトルの類似度を計算するた
めの類似度計算式（式（４５）〜式（４６））に従った
認識結果に基づく評価式（式（４８））の値を最適化す
る方向に前記第１のベクトルを更新するための漸化式
（式（４７））に従ってカテゴリ毎の前記第２のベクト
ルを更新することにより、高精度のパターン認識が可能
なパターン認識辞書が高速に作成できる。

【００１９】（６）本発明のパターン認識方法（請求項
６、固有ベクトルの学習：未定乗数法）で用いられる前
記更新処理は、前記パターンベクトルと予め定められた
制限のある辞書データ（正規直行ベクトルψｉ）との類
似度計算式（式（５２））に従った認識結果に基づく第
１の評価式（式（５３）の第１項）に、さらに前記辞書
データの予め定められた制限を表した式に任意の定数を
乗じたもの（式（５３）の第２項）を加算した第２の評
価式（式（５３）あるいは式（５４））を最適化する方
向に前記辞書データを更新するための漸化式（式（５
７））に従ってカテゴリ毎の前記辞書データを更新する
ことにより、高精度のパターン認識が可能なパターン認
識辞書が高速に作成できる。

【００２０】（７）本発明のパターン認識方法（請求項
７、ウインドウ関数）で用いられる前記更新処理は、前
記パターンベクトルと辞書データ（例えば、Ｋ）との類
似度計算式（ｓ）に従った認識結果に基づく評価式
（Ｊ）を最適化する方向に前記辞書データを更新するた
めの漸化式（例えば、式（１３））に従ってカテゴリ毎
の前記辞書データを更新し、前記漸化式には、少なくと
も認識結果として得られる正解カテゴリと不正解カテゴ
リの類似度によって定まる重み値を決定するための関数
で、前記正解カテゴリと不正解カテゴリの類似度の差が
等しい部分で高い値を取り、そうでない部分で低い値を
とる窓関数ｗ（ｄ）を有し、前記辞書データを更新する
際、前記正解カテゴリと不正解カテゴリの類似度の差が
所定の範囲内の時のみに前記窓関数を用いることによ
り、高精度のパターン認識が可能なパターン認識辞書が
高速に作成できる。

【００２１】（８）本発明のパターン認識方法（請求項
８、ウオッチドッグ方式、図４参照）で用いられる前記
更新処理は、前記パターンベクトルと辞書データとの類
似度計算式に従った認識結果に基づく評価式を最適化す
る方向に前記辞書データを更新するための漸化式に従っ
てカテゴリ毎の前記辞書データを更新し、前記漸化式に
は、少なくとも認識結果として得られる正解カテゴリと
不正解カテゴリの類似度によって定まる重み値を決定す
るための窓関数を有し、この窓関数の特性を定めるパラ
メータ値は、前記パターンベクトルの複数の認識結果を
比較することにより設定される。すなわち、パターン認
識処理または別のテストベクトルによる認識テストの結
果をチェックし、認識性能が向上しないか、または悪く
なる状況に相当する場合にはパラメータの値を設定しな
おして、必要な情報を復帰させて学習を再スタートさせ
るようにし、この動作を繰り返すことにより、高精度の
パターン認識が可能なパターン認識辞書が高速に作成で
きる。

【００２２】（９）本発明のパターン認識方法（請求項
９、アダプティブウィンドウ関数を用いるもの、図６参
照）で用いられる前記更新処理は、前記パターンベクト
ルと辞書データとの類似度計算式に従った認識結果に基
づく評価式を最適化する方向に前記辞書データを更新す
るための漸化式に従ってカテゴリ毎の前記辞書データを
更新し、前記漸化式には、少なくとも認識結果として得
られる正解カテゴリと不正解カテゴリの類似度によって
定まる重み値を決定するための窓関数を有し、この窓関
数の特性を定めるパラメータ値は、前記パターンベクト
ルの認識結果に基づく前記正解カテゴリと不正解カテゴ
リの類似度に関する頻度分布に基づき設定されることに
より、高精度のパターン認識が可能なパターン認識辞書
が高速に作成できる。

【００２３】（１０）本発明のパターン認識方法（請求
項１０、大分類対応）で用いられる前記更新処理は、前
記パターンベクトルと辞書データとの類似度計算式に従
った該パターンベクトルの大分類の認識結果に基づく評
価式を最適化する方向に前記辞書データを更新するため
の漸化式に従って正解カテゴリと不正解カテゴリの前記
辞書データを更新することにより、高精度の大分類パタ
ーン認識が可能な大分類パターン認識辞書が高速に作成
できる。

【００２４】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００２５】（第１の実施形態）図１は、本発明の第１
の実施形態に係るパターン認識辞書作成装置の構成例を
示したもので、学習パターンを入力するためのパターン
入力部１、認識処理部２、辞書更新部３、初期辞書作成
部４、辞書データ格納部５から構成される。

【００２６】まず、初期辞書作成部４では、パターン入
力部１から入力された学習パターンから初期辞書を作成
して、その作成された初期辞書を辞書データ格納部５に
格納すると、次に、認識処理部２では、入力された学習
パターンに対し、辞書データ格納部５に格納されている
初期辞書または学習途中の辞書を用いて認識処理を行
い、辞書更新部３で、その結果と入力された学習パター
ンに基づいて辞書データ格納部５に格納された認識辞書
を更新するようになっている。この更新を終了条件が満
たされるまで繰り返すことにより辞書の学習、改良を行
って、パターン認識辞書を作成する。

【００２７】以下、主に、認識処理部２と辞書更新部３
の処理動作について説明する。

【００２８】１）特性核学習まず、本発明のパターン認識辞書作成方法に用いられる
辞書更新方法（特性核学習）について説明する。

【００２９】入力ベクトルをｘとし、それぞれのカテゴ
リに対してＫをｘに対する変換行列、類似度ｓをｓ＝ｘ^TＫｘ …（１）と定義する。入力ベクトルｘについて各カテゴリ中で最
大の類似度を持つカテゴリをｘの認識結果として出力す
るものとする。

【００３０】Ωを全学習パターンセット、Ｃ（ｘ）をｘ
のカテゴリ名、Ｋｃをカテゴリ名ｃに対応する変換行
列、Ｍを全パターン数、ｐ（ｘ）をｘの出現確率、ｌ
（ｘ）を損失関数とする。ここで、損失関数ｌ（ｘ）
は、

【数１】

【００３１】とする。このとき、入力ベクトルｘの認識
結果に対する評価を行うための評価式を

【数２】

【００３２】とする。ここで、ｓ_ok は、ｘを各変換行
列Ｋに基づく類似度計算式（１）により認識した時の、
認識正解カテゴリに対応する変換行列に対する類似度に
対応しており、ｓ_er は不正解カテゴリに対応する類似
度である。このケースではそれぞれ最大値を示すカテゴ
リとしている。

【００３３】なお、正解カテゴリとは認識結果として正
解となるという意味ではなく、入力データの答えとなる
べきカテゴリという意味である。不正解カテゴリについ
ても同様である。

【００３４】以下、説明を分かり易くするために損失関
数ｌをｌ（ｓ_er（ｘ_k）−ｓ_ok（ｘ_k））と表すが、ｌ（ｓ_er（ｘ_k）、ｓ_ok（ｘ_k））とで定義し
ても同様な考え方で学習方式を設定することができる。

【００３５】式（４）のＫ_okは、正解カテゴリに対応す
る変換行列、Ｋ_erは、不正解カテゴリに対応する変換行
列である。

【００３６】次に、評価式（３）の値Ｊを最小化する場
合を考える。式（３）を離散的に表すと、

【数３】

【００３７】となる。これをＫの要素ｋ_ijで微分する
と、

【数４】

【００３８】また、ｄ_k＝ｓ_er（ｘ_k）−ｓ_ok（ｘ_k）
と置いて、ｗ（ｄ）＝ｌ’（ｄ）と表す。ｗ（ｄ）は対
照な関数である。Ｎを次元数とし、また、類似度ｓは式
（９）のように表せるので、

【数５】

【００３９】となる。最急降下法によれば、Ｊを最小に
するためには、

【数６】

【００４０】とすれば良い。すなわち、Ｋを更新するた
めの漸化式（学習漸化式）は、次式（１３）のように表
すことができる。

【００４１】

【数７】

【００４２】なお、行列Ｋは、辞書データ格納部５に格
納される辞書データであり、各カテゴリに対応して行列
Ｋが存在し、この行列Ｋを更新することにより、辞書を
作成するようになっている。

【００４３】次に、図３に示すフローチャートを参照し
て、図１のパターン認識辞書作成装置の処理動作を説明
する。

【００４４】まず、初期行列Ｋ₀を作成する（後述）。
各カテゴリを示す変数ｉを「０」に初期化し、以下の処
理を繰り返す。

【００４５】ステップＳ３：学習用の入力ベクトルｘが
入力されると、辞書データ格納部５に各カテゴリ毎の行
列Ｋｉを用いて類似度計算を行う。

【００４６】ステップＳ４：最大類似度を示す正解カテ
ゴリの行列Ｋｉに対しては、式（１３）に示すように、
αｗ（ｄ）ｘｘ^Tを加算し、最大類似度を示す不正解カ
テゴリの行列Ｋｉに対しては、同じく式（１３）に示す
ように、αｗ（ｄ）ｘｘ^Tを減算して、行列Ｋｉを更新
する。

【００４７】ステップＳ５〜ステップＳ６：ｉを「１」
ずつインクリメントし、所定の終了条件を満たすまで、
全てのカテゴリについて上記ステップＳ３〜ステップＳ
４の処理を実行する。

【００４８】終了条件は、たとえば、ある回数で終了さ
せるようにしても良いし、認識率などの数値データに基
づいて停止させるようにしても良い。

【００４９】２）特性核学習の第２の例辞書を更新する際、すなわち、式（１３）を用いてＫか
らＫ’を作成する際、公知例として示したＡＬＳＭと同
様に、正解の時はなにもせず、不正解の時に、正解カテゴリに対してＫ’＝Ｋ＋αｘｘ^T 不正解カテゴリに対してＫ’＝Ｋ−βｘｘ^T として、Ｋを更新することもできる。ここで、α、βは
任意の定数である。

【００５０】この方法の従来例はさきに述べたＡＬＳＭ
であるが、ＡＬＳＭでは類似度ｓの計算式がｓ＝ｘ^TＰ
ｘであるのに対して、本発明の学習漸化式を導き出す
ために用いた評価式（６）で用いる類似度ｓがｓ＝ｘ^T
Ｋｘとくい違っており、理論的に誤った学習法を提供す
るものであった。本発明では、上記の説明でわかる通り
正しい類似度計算と学習漸化式を提供している。これに
より効果的に性能の良い認識系を構成することができ
る。

【００５１】さて、前述した類似度計算式（１）や学習
漸化式（１３）に平均ベクトルに相当するベクトルｍを
導入して、相違度をｓ＝（ｘ−ｍ）^TＫ（ｘ−ｍ） …（１４）と定義することもできる。この場合の学習漸化式は、式
（１３）のｌの中のｓ_erとｓ_okが入れ替わることを考慮
して、次式（１５）のように表すことができる。

【００５２】

【数８】

【００５３】この結果を用いて認識する際には、行列Ｋ
から得られる固有ベクトルの一部を用いた類似度式を構
成して、これにより認識を行うように構成することもで
きる。

【００５４】３）初期行列Ｋ₀の作成方法図３のステップＳ１の初期行列Ｋ₀は以下のようにして
求めることができる。

【００５５】まず、全学習ベクトル（上記逐次学習に用
いたものでも、また違うものでも良い）の集合をΩ’
_allとし、

【数９】

【００５６】なる共分散行列Ｑを作成し、その固有ベク
トルを求める。そして、各固有ベクトルに対応する固有
値を比較して、その値の大きい固有ベクトルからなる行
列Ｔを作る。

【００５７】次に、各カテゴリ毎の学習ベクトルの集合
をΩ’とし、

【数１０】

【００５８】なる共分散行列Ｑ’を作成し、その固有ベ
クトル、固有値を求める。そして、固有ベクトルからな
る直交行列Ｕ、固有値を対角に並べて他を「０」とした
対角行列Λを作り、Ｑ’＝Ｕ^-1ΛＵと表すとする。こ
の直行行列Ｕを構成する固有ベクトルの中で、対応する
固有値の大きいものからなる行列Ｐを作り、初期変換行
列Ｋ₀＝Ｔ^TＰ^TＰＴ＝（ＰＴ）^T（ＰＴ）を作成する。

【００５９】上記の手法はＴの求め方としてパターン認
識分野で良く知られたＫＬ変換を用いたものであるが、
そのかわりに、やはりパターン認識分野で良く知られて
いる正準判別を用いても良い。即ち、級間共分散行列
Ｓ_b、級内共分散行列Ｓ_wを用いて、

【数１１】

【００６０】を満たす固有ベクトルからＴを作成する方
法である。

【００６１】４）特性核学習の第３の例ここでは、類似度として重み付き部分空間法を用いる場
合について説明する。

【００６２】相違度ｓをｓ＝ｘ^TＫ^-1ｘと定義する。Ｋ
は正値対称行列である。以下、Ｋ^-1＝Ｈと表記する。こ
の場合、評価式（３）は、離散的に表すと、式（２０）
に示すようになる。

【００６３】

【数１２】

【００６４】なお、評価式（３）では類似度であった
が、ここでは相違度なので、式（２０）において、ｓ_ok
（ｘ_k）とｓ_er（ｘ_k）の位置が入れ替わっている。式
（２０）をＨの要素ｈ_ijで微分すると、次式（２１）が
得られる。

【００６５】

【数１３】

【００６６】また、相違度ｓは

【数１４】

【００６７】と表されるので、

【数１５】

【００６８】が得られる。最急降下法によれば、Ｊを最
小にするためには、

【数１６】

【００６９】とすれば良い。すなわち、Ｈを更新するた
めの漸化式は、次式（２６）のように表すことができ
る。

【００７０】

【数１７】

【００７１】ここで、Ｈ’＝Ｈ＋δＨとし、（Ｈ’）^-1
＝Ｋ＋δＫと置くと、

【数１８】

【００７２】一方、

【数１９】

【００７３】なお、相違度計算として次元打ち切りを行
なって、実際には以下のような変換により類似度として
計算するのが球面疑似ベイズの考え方である。

【００７４】

【数２０】

【００７５】この場合は ‖ｘ‖²が一定なので、式（２
８）の第２項を類似度として計算すればよい。

【００７６】５）特性核学習の第４の例ここでは、ベイズ識別に対応する方法を用いた場合につ
いて説明する。

【００７７】相違度を

【数２１】

【００７８】と定義し、第３の辞書更新方法の説明と同
様にして、Ｋを更新するための学習漸化式を導くと、次
式（３０）が得られる。

【００７９】

【数２２】

【００８０】一方、ｍについては次の様にしてｍを更
新するための漸化式を求める。すなわち、評価式は

【数２３】

【００８１】疑似ベイズでは、打ち切り計算を次のよう
に行なう。

【００８２】

【数２４】

【００８３】６）ＡＬＳＭを用いた特性核学習：ウイン
ドウ関数を用いる場合公知例として示したＡＬＳＭでは、学習漸化式のなかで
は損失関数微分は使われておらず、定数値のα、βが使
われていたが、これは、学習を的確に行うには不適当で
あった。学習結果が正解と不正解のボーダーラインで的
確に行われるように損失関数の微分に相当する窓関数を
用いることが望ましい。そこで、本発明では、正解カテ
ゴリに対する類似度と不正解カテゴリに対する類似度が
等しい部分で、そうで無い時よりも高い値を取る窓関数
ｗ（ｄ）を用いて学習漸化式を

【数２５】

【００８４】で構成している。なお、窓関数としては、
例えば式（７）を用いることができる。

【００８５】ここでの類似度はｓ＝ｘ^TＰｘである。Ｐ
はＫの固有ベクトルからなる行列である。この類似度を
Ｋの固有ベクトルψを用いて書き換えると

【数２６】

【００８６】となる。

【００８７】この類似度計算式（３８）には、上記のＡ
ＬＳＭタイプ以外の方法も有効である。例えば、疑似球
面ベイズと呼ばれる、

【数２７】

【００８８】がある。ここで、λ_iはＫの固有値、δ、
ｃは固有値から決まるスカラー値である。

【００８９】７）ＡＬＳＭを用いた特性核学習に定数、
平均ベクトルの学習を導入また、前述のＡＬＳＭを用いた特性核学習に、さらに平
均ベクトルを導入する場合を考える。すなわち、辞書デ
ータ格納部５に格納される辞書データとしての行列Ｋと
平均ベクトルとを更新するＡＬＳＭを用いた特性核学習
について説明する。

【００９０】前述した類似度計算式や漸化式に平均ベク
トルに相当するベクトルｍを導入して、相違度を投影距
離、すなわち、

【数２８】

【００９１】と定義することもできる。この場合の行列
Ｋの漸化式は、

【数２９】

【００９２】であり、ｍは、実際に平均ベクトルを学習
ベクトルから計算して求めても良いが、以下のように漸
化式で更新することもできる。

【００９３】

【数３０】

【００９４】この場合に疑似ベイズタイプの相違度、す
なわち

【数３１】

【００９５】も有効である。

【００９６】式（４３）に含まれる定数ｃは、

【数３２】

【００９７】によって更新することもできる。

【００９８】８）固有ベクトルの学習（１）２次形式評価式タイプで係数、定数学習を含むも
の（ノルムが入っていてもよい）次に、Ｋの固有ベクトルψを直接逐次学習して辞書更新
を行う場合について説明する。すなわち、例えば、類似
度を、

【数３３】

【００９９】のうちのいずれかで定義し、これに基づい
た評価式を

【数３４】

【０１００】で設定し、この評価式を最適化する方向
に、逐次、ψ、ｍ、ａ_i、ｂ_i、を更新することにより、
より良い類似度や相違度計算のための辞書データを決定
する方法である。

【０１０１】従来は、ψ、ｍのみを学習していたので、
本実施形態により作成された認識辞書を用いればパター
ン認識能力は従来例よりも精度が高くなる。

【０１０２】逐次変更する手段としては、たとえば、従
来のＬＳＭと同じ手段でψｉやｍを更新すれば良い。す
なわち、

【数３５】

【０１０３】ψｉの正規直交性の保証は従来例のように
シュミットの直交化を用いてもいいし、また、後述の第
４の実施形態に示す方法を用いても良いし、その他の方
法も可能である。

【０１０４】従来例に無かったａ_i、ｂ_i、ｃについて
は、類似度を例えば式（４７）で定義するとすれば、次
の様に更新する。

【０１０５】

【数３６】

【０１０６】（２）未定乗数法一般に、正規直交ベクトルψｉに基づく類似度または相
違度としてｓ（ψｉ）を用いた時の学習の漸化式は正規
直交性を保存しなければならず、それをどうするかが問
題であり、ＬＳＭではこれをシュミットの直交化法を用
いて解決していた。本発明ではこれを、より理論的に正
しい方法に置き換えたものである。すなわち、評価式を
ある定数Ａを導入して次のように設定する。

【０１０７】

【数３７】

【０１０８】この評価式を最適化する方向に各パラメー
タ、ベクトルを学習していくことにより学習を行う。以
下、具体的に説明する。

【０１０９】まず、類似度の定義を次のように行なう．

【数３８】

【０１１０】評価式は、

【数３９】

【０１１１】である事を考慮し、正則化の考え方と同様
な手法で係数Ａを導入して

【数４０】

【０１１２】と評価式を設定する。

【０１１３】式（５３）の値Ｊを最小化することを考え
る。式（５３）を離散的に表すと、

【数４１】

【０１１４】ここで、もし、式（５４）にＸの項がない
とすると式（５４）の右辺が漸化式の増分に相当し、漸
化式は

【数４２】

【０１１５】となる。一方、

【数４３】

【０１１６】次に、Ｘについて微分する。Ｘは正解カテ
ゴリ、不正解カテゴリに対する類似度ｓ_ok、ｓ_erに関係
ない項である。

【０１１７】

【数４４】

【０１１８】これらよりψの漸化式は次の様に求まる。

【０１１９】

【数４５】

【０１２０】以上から部分空間法に変形する場合、

【数４６】

【０１２１】であり、式（５７）の漸化式がそのまま使
える。

【０１２２】９）ウィンドウ関数これまでに述べてきた学習において、漸化式で使われる
窓関数ｗ（ｄ）に工夫を加えることによって更新処理を
より高速化できる。

【０１２３】まず、ｗ（ｄ）とｄ＝０付近で高い値を取
り、周辺で低い値をとる関数（例えば、ｌ’（ｘ））を
用意する。これに対してある閾値ＴＨを用意してｗ（ｄ）＜ＴＨの時は、学習しないように制御することにより、ほとん
ど役には立たないが、処理時間の要するものをカットす
るのである。この方法はさらに、（ｄ＜ＴＨ１）ｏｒ（ＴＨ２＜ｄ）の時に学習しないように制御することもできる。もちろ
ん、ｗ（ｄ）としてｄ＝０付近で高い値を取り、周辺で
低い値をとり、ＴＨ１、ＴＨ２の外側では完全にゼロと
なる関数を用いて同じことである。

【０１２４】１０）ウォッチドッグ方式一般的に、学習則は、入力ベクトルをｘ、辞書データを
Λとした時に、類似度をｓ＝Ｓ（ｘ、Λ）と定義して、認識結果として得られるデータＲ（ｘ）か
ら決められる窓関数ｗ（Ｒ（ｘ））と、入力ベクトルと
辞書データなどから決められる学習データのＤ（ｘ、
Λ）を用いて Λ’＝Λ＋ｗ（Ｒ（ｘ）Ｄ（ｘ、Λ））と書ける。この時ｗを適切に設定しないと学習がうまく
いかないという問題点があり、この問題を解決する方法
として、ウオッチドッグ方式を採用する。すなわち、こ
こでいうウオッチドッグ方式とは、窓関数のパラメータ
値を設定する際、学習の際に行われる認識、またはテス
トデータによる認識テストの結果をチェックし、認識性
能が向上しないか、または悪くなる場合にｗ（Ｒ
（ｘ））の値が小さくなるように設定しなおして（その
際、辞書データを等を設定し直して）、学習を再スター
トさせるものである。図４に示すフローチャートを参照
して、窓関数のパラメータの設定方法にウオッチドッグ
方式を採用する場合のパターン認識辞書作成装置の処理
動作について説明する。

【０１２５】まず、予め作成された辞書を用いて認識処
理を行う（ステップＳ１２）。次に認識結果に基づき学
習を行う（ステップＳ１３）。これをＮ回繰り返す（ス
テップＳ１５〜ステップＳ１６）。

【０１２６】次に、認識結果を以前の認識結果と比較す
る。ただし比較が１回目の時は、認識精度が向上してい
るものとして以下を実行する。すなわち、ステップＳ１
７で認識処理結果を評価することにより、認識精度が以
前のときより悪くなっているか、上がらない時は、ステ
ップＳ１９に進み、保存してあった辞書やパラメータな
どを復帰させる。そして、ｗ（Ｒ（ｘ））をより小さな
値になるように設定しなおして（ステップＳ１９〜ステ
ップＳ２０）、ステップＳ１１に戻り、再度実行を行う
（ステップＳ２１）。

【０１２７】一方、ステップＳ１７での評価の結果、認
識精度が向上している時は、現在の辞書やパラメータを
保存し（ステップＳ２１）、ステップＳ１１に戻り、実
行を継続する。

【０１２８】これをＭ回繰り返しても改善が認められな
い時は学習を終了させる（ステップＳ２１）。

【０１２９】ここで、窓関数として、次式（５８）の微
分を用いる場合を例にとり、より具体的にパラメータの
設定方法について説明する。

【０１３０】

【数４７】

【０１３１】式（５８）に示した関数σ（ｘ）の概形、
および、それを微分したものσ’（ｘ）の概形を図５に
示す。図５には、式（５８）のαの値が大きくなると、
σ（ｘ）の原点付近において、ｘの値の変化に対するｙ
の値の変化が大きくなり、そのカーブが急峻になる様子
を（ａ）〜（ｃ）に示している。

【０１３２】損失関数としては、αが大きい時の形、す
なわちステップ型の方が適している。何故なら、正読の
時はどの場合も損失は同じで、誤読の時もどの場合にも
損失は同じと考えられるからである。しかしながら、完
全なステップ関数では微分がゼロになってしまい学習し
なくなってしまうので、無限大でない適当なαの値が窓
関数としては必要となる。

【０１３３】そこで、学習の最初の時期には、αの値を
小さめに取って、除々に大きくしていくことによって、
より良い学習が行われるようになる。すなわち除々に精
密な学習をおこなわせていく考え方である。図４のステ
ップＳ１９において、ｗ（Ｒ（ｘ））の大きさを変更す
る際、式（５８）のαの値を大きくするようにして学習
を実行すれば良い。

【０１３４】１１）アダプティブウィンドウ関数を用い
るもの一般的に言って、学習時の認識処理を行った時に、正解
のカテゴリに対する類似度と不正解のカテゴリに対する
類似度がきわどい時は、ｗ（ｄ）を大きめに取り、そう
でない時は小さめに取ることが望ましい。きわどい時は
正解と不正解とを分ける境界線に対し、正解、不正解の
２つパターンが近いところに存在するので、その結果を
使うことは妥当なのであるが、そうでない時は２つのパ
ターンがかけ離れた場所にあるので境界線の学習に使う
のは不適当であるからである。

【０１３５】そこで、以下のアルゴリズムによって、ｗ
（ｄ）を設定する。

【０１３６】まず、認識結果から得られる類似度値の差
ｄを各学習パターンについて求め、これについてのヒス
トグラムを作成する。その一例を図６に示す。図６から
まず、ｗ（ｄ）の幅に相当するパラメータｖを決める。
その決め方としては、例えば、以下のものが挙げられ
る。

【０１３７】・分布のピーク値Ｐの半分の値をＴとし、
その位置に相当する横軸上の値と「０」との差の絶対値
をｖとする。

【０１３８】・ｄ＝０から右側の分布部分について、横
方向に存在する位置の平均を計算し、それをｖとする。

【０１３９】・ｄ＝０から右側の全分布面積に対して、
ｄ＝０の位置からｖの位置までの面積が α（＜１）倍
の面積になる位置をｖとする。

【０１４０】・ｄ＝０における微分係数に相当する数値
からｖを定める。

【０１４１】・上記の組み合わせでｖを定める。

【０１４２】次に、このｖを用いて、窓関数ｗ（ｄ）を
例えば次式（５９）によって定義する。

【０１４３】

【数４８】

【０１４４】ここで、Ｄは、予め定められた適当な係数
で、式（５９）は、式（５８）の微分形である。式（５
９）に示した窓関数は、図５に示したような山形をして
いて、ｖの値が小さくなると山の幅が小さくなるように
変化する。したがって、Ｄを適切に選べば、ヒストグラ
ムがどのような形をしていても、ｗ（ｄ）がちょうど良
い幅をもつように設定できる。

【０１４５】学習の途中、たとえばＮ回に１回、図４
のステップＳ１３における学習のための類似度計算の際
に上記ヒストグラムを作成するようにし、そこで求まっ
たｖを使って次回以降の学習を行うようにする。

【０１４６】学習の過程で、分布の幅があまり変わらな
いようなケースでは最初にｖの設定を行い、以降それに
基づいたｗ（ｄ）によって学習を進めるような仕組みも
有効である。

【０１４７】１２）大分類対応一般に窓関数の値の決定や辞書の更新は最大類似度を取
る正解カテゴリや不正解カテゴリについて行われるが、
大分類時には別の方法が適している。大分類とは詳細認
識に先立って行われるもので、認識候補を絞り込むため
のものである。

【０１４８】以下、認識候補をｐ個に絞り込む場合を例
にとり説明する。この場合、正解カテゴリがｐ位までに
入っていれば良いので、次のように学習を行わせる。

【０１４９】正解カテゴリがｐ位までに入っている時は
ｐ＋１位のカテゴリの類似度をｓ_er、辞書をΛ_erとし、
そうで無いときは、ｐ位のカテゴリの類似度をｓ_er、辞
書をΛ_erとする。一方、正解カテゴリの類似度をｓ_ok、
辞書をΛ_okとする。窓関数をｗ（ｓ_er、ｓ_ok）とし
て、入力ベクトルと辞書データなどから求められる学習
データのＤ（ｘ、Λ）を用いて、Λ_er、Λ_okについて、漸化式 Λ’＝Λ＋ｗ（Ｒ（ｘ））Ｄ（ｘ、Λ）によって辞書の更新を行う。

【０１５０】上記の例で、正解カテゴリが大分類候補に
入っている場合には辞書の更新を行わないように制御し
ても良いし、窓関数として一定値を使うようにしても良
い。また、ｐ位以内のすべての不正解カテゴリについて
辞書更新を行うように制御しても良いし、正解カテゴリ
が大分類候補に入っていない場合に、正解カテゴリより
上位の不正解カテゴリについて辞書の更新を行うように
しても良い。たとえば、この場合、不正解カテゴリの類
似度をｓ_er、辞書をΛ_erとして上記と同様にして辞書の
更新を行う。

【０１５１】（第２の実施形態）図２は、本発明の第２
の実施形態に係るパターン認識装置の構成例を示したも
ので、前述したパターン認識辞書作成方法およびそれを
用いた図１に示したようなパターン認識辞書作成装置を
用いて作成された辞書を用いて入力パターンの認識を行
うものである。辞書データ格納部５には、前述の辞書作
成方法にて作成された辞書が格納され、認識処理部２で
は、パターン入力部１を介して入力されるパターンベク
トルに対し、辞書データ格納部５に格納された辞書デー
タを参照して、パターン認識を行い（入力パターンベク
トルと辞書データと類似度ｓあるいは相似度ｓを算
出）、類似度が最も大きいカテゴリ、あるいは、相似度
が最も小さいカテゴリを認識結果出力部６から出力する
ようになっている。

【０１５２】なお、上記第１〜第２の実施形態に記載し
た図１および図２の各構成部の処理は、コンピュータに
実行させることのできるプログラムとして磁気ディスク
（フロッピーディスク、ハードディスクなど）、光ディ
スク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなど
の記録媒体に格納して頒布することもできる。

【０１５３】また、本発明は上記実施形態に限定される
ものではなく、その要旨を逸脱しない範囲で種々変形し
て用いることができる。

【０１５４】

【発明の効果】以上説明したように、本発明によれば、
認識結果に応じて適切な方向に認識辞書が更新されてい
くことが理論的に説明できる方式を用いているので、認
識辞書は学習用パターンデータに対して認識能力が逐次
改善されていく方向に変化していく。従って、高精度の
パターン認識が可能なパターン認識辞書が作成できる。

【０１５５】すなわち、これまで理論的に不整合のあっ
た種々の辞書学習方式に対して理論的に整合のとれた学
習方式が提供されるので理論的に適切な最適な辞書作成
が行え、結果的に高精度なパターン認識装置を実現する
ことができる。

【０１５６】また学習を高速におこなう工夫（例えば、
従来方式であるＧＰＤのような行列Ｐと行列Ｑとの変換
を行わない）によって実用的な時間で辞書作成ができる
点でも効果的である。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係るパターン認識辞
書作成装置の構成例を概略的に示した図。

【図２】本発明の第２の実施形態に係るパターン認識装
置の構成例を概略的に示した図。

【図３】図１のパターン認識辞書作成装置の処理動作を
説明するためのフローチャート。

【図４】窓関数のパラメータの設定方法にウオッチドッ
グ方式を採用する場合のパターン認識辞書作成装置の処
理動作について説明するためのフローチャート。

【図５】パラメータ値の変化に伴う窓関数の概形の変化
を示した図。

【図６】パターンベクトルの認識結果に基づく正解カテ
ゴリと不正解カテゴリの類似度の差の頻度分布の一例を
示した図。

【符号の説明】

１…パターン入力部２…認識処理部３…辞書更新部４…初期辞書作成部５…辞書データ格納部６…認識結果出力部

Claims

【特許請求の範囲】

【請求項１】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルに行列を掛け、
さらに該パターンベクトルの転置を掛ける計算式を含む
各カテゴリに対する該ベクトルの類似度を算出するため
の類似度計算式に従った認識結果に基づく評価式の値を
最適化する方向に前記行列を更新する漸化式に従って、
カテゴリ毎の前記行列を更新することを特徴とするパタ
ーン認識方法。
【請求項２】前記カテゴリ毎の行列の初期行列は、前
記パターンベクトルの集合に基づき算出された第１の行
列と、各カテゴリに分類された前記パターンベクトルの
集合に基づき算出された各カテゴリ毎の第２の行列とか
ら算出される行列であることを特徴とする請求項１記載
のパターン認識方法。
【請求項３】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルに第１の行列を
掛け、さらに該パターンベクトルの転置を掛ける第１の
計算式と前記第１の行列の固有ベクトルからなる第２の
行列とに基づく各カテゴリに対する該パターンベクトル
の類似度を計算するための類似度計算式に従った認識結
果に基づく評価式の値を最適化する方向に前記第１の行
列を更新する漸化式に従って、カテゴリ毎の前記固有ベ
クトルを含む前記第１の行列を更新し、前記漸化式に
は、少なくとも認識結果として得られる正解カテゴリと
不正解カテゴリの類似度によって定まる重み値を決定す
るための関数で、前記正解カテゴリと不正解カテゴリの
類似度の差が等しい部分で高い値を取り、前記正解カテ
ゴリと不正解カテゴリの類似度の差が異なる部分で低い
値をとる窓関数を有することを特徴とするパターン認識
方法。
【請求項４】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルに第１のベクト
ルを減算して生成された第２のベクトルに第１の行列を
掛け、さらに第２のベクトルの転置を掛ける第１の計算
式と、前記第１の行列の固有ベクトルから前記第１のベ
クトルを減算したベクトルとに基づく前記パターンベク
トルの相違度を計算するための相違度計算式に従った認
識結果に基づく評価式の値を最適化する方向に前記第１
の行列を更新するための第１の漸化式および前記第１の
ベクトルを更新するための第２の漸化式に従って、カテ
ゴリ毎の前記固有ベクトルおよび前記カテゴリ毎の第１
のベクトルのうちの少なくとも一方を更新することを特
徴とするパターン認識方法。
【請求項５】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルと第１のベクト
ルとの内積の２乗項に第１の係数を乗算し、さらに第２
の係数を加算する第１の計算式を少なくとも含む各カテ
ゴリに対する前記パターンベクトルの類似度を算出する
ための類似度計算式に従った認識結果に基づく評価式の
値を最適化する方向に前記第１のベクトルを更新するた
めの漸化式に従ってカテゴリ毎の前記第１のベクトルを
更新することを特徴とするパターン認識方法。
【請求項６】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルと予め定められ
た制限のある辞書データとの類似度計算式に従った認識
結果に基づく第１の評価式に、さらに前記辞書データの
予め定められた制限を表した式に任意の定数を乗じたも
のを加算した第２の評価式を最適化する方向に前記辞書
データを更新するための漸化式に従ってカテゴリ毎の前
記辞書データを更新することを特徴とするパターン認識
方法。
【請求項７】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った認識結果に基づく評価式を最適
化する方向に前記辞書データを更新するための漸化式に
従ってカテゴリ毎の前記辞書データを更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための関数で、前記正解カテゴリと不正解カテゴ
リの類似度の差が等しい部分で高い値を取り、前記正解
カテゴリと不正解カテゴリの類似度の差が異なる部分で
低い値をとる窓関数を有し、前記辞書データを更新する
際、前記正解カテゴリと不正解カテゴリの類似度の差が
所定の範囲内の時のみに前記窓関数を用いることを特徴
とするパターン認識辞書作成方法。
【請求項８】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った認識結果に基づく評価式を最適
化する方向に前記辞書データを更新するための漸化式に
従ってカテゴリ毎の前記辞書データを更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための窓関数を有し、この窓関数の特性を定める
パラメータ値は、前記パターンベクトルの複数の認識結
果を比較することにより設定されることを特徴とするパ
ターン認識方法。
【請求項９】入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った認識結果に基づく評価式を最適
化する方向に前記辞書データを更新するための漸化式に
従ってカテゴリ毎の前記辞書データを更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための窓関数を有し、この窓関数の特性を定める
パラメータ値は、前記パターンベクトルの認識結果に基
づく前記正解カテゴリと不正解カテゴリの類似度に関す
る頻度分布に基づき決定されることを特徴とするパター
ン認識方法。
【請求項１０】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新処
理を繰り返すことにより作成された大分類パターン認識
辞書を用いて、入力されたパターンを認識するパターン
認識方法において、前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った該パターンベクトルの大分類の
認識結果に基づく評価式を最適化する方向に前記辞書デ
ータを更新するための漸化式に従って正解カテゴリと不
正解カテゴリの前記辞書データを更新することを特徴と
するパターン認識方法。
【請求項１１】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルに行列を掛け、さらに該パターン
ベクトルの転置を掛ける計算式を含む各カテゴリに対す
る該ベクトルの類似度を算出するための類似度計算式に
従った認識結果に基づく評価式の値を最適化する方向に
前記行列を更新する漸化式に従って、カテゴリ毎の前記
行列を更新させる更新手段を実行するプログラムを記録
した記録媒体。
【請求項１２】前記パターンベクトルの集合に基づき
算出された第１の行列と、各カテゴリに分類された前記
パターンベクトルの集合に基づき算出された各カテゴリ
毎の第２の行列とから前記カテゴリ毎の行列の初期行列
を算出させる算出手段を実行するプログラムをさらに記
憶した請求項１１記載の記録媒体。
【請求項１３】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルに第１の行列を掛け、さらに該パ
ターンベクトルの転置を掛ける第１の計算式と前記第１
の行列の固有ベクトルからなる第２の行列とに基づく各
カテゴリに対する該パターンベクトルの類似度を計算す
るための類似度計算式に従った認識結果に基づく評価式
の値を最適化する方向に前記第１の行列を更新する漸化
式に従って、カテゴリ毎の前記固有ベクトルを含む前記
第１の行列を更新させる更新手段を実行するプログラム
を記録し、前記漸化式には、少なくとも認識結果として
得られる正解カテゴリと不正解カテゴリの類似度によっ
て定まる重み値を決定するための関数で、前記正解カテ
ゴリと不正解カテゴリの類似度の差が等しい部分で高い
値を取り、前記正解カテゴリと不正解カテゴリの類似度
の差が異なる部分で低い値をとる窓関数を有することを
特徴とする記憶媒体。
【請求項１４】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルに第１のベクトルを減算して生成
された第２のベクトルに第１の行列を掛け、さらに第２
のベクトルの転置を掛ける第１の計算式と、前記第１の
行列の固有ベクトルから前記第１のベクトルを減算した
ベクトルとに基づく前記パターンベクトルの相違度を計
算するための相違度計算式に従った認識結果に基づく評
価式の値を最適化する方向に前記第１の行列を更新する
ための第１の漸化式および前記第１のベクトルを更新す
るための第２の漸化式に従って、カテゴリ毎の前記固有
ベクトルおよび前記カテゴリ毎の第１のベクトルのうち
の少なくとも一方を更新させる更新手段を実行するプロ
グラムを記録した記録媒体。
【請求項１５】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルと第１のベクトルとの内積の２乗
項に第１の係数を乗算し、さらに第２の係数を加算する
第１の計算式を少なくとも含む各カテゴリに対する前記
パターンベクトルの類似度を算出するための類似度計算
式に従った認識結果に基づく評価式の値を最適化する方
向に前記第１のベクトルを更新するための漸化式に従っ
てカテゴリ毎の前記第１のベクトルを更新させる更新手
段を実行するプログラムを記録した記録媒体。
【請求項１６】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルと予め定められた制限のある辞書
データとの類似度計算式に従った認識結果に基づく第１
の評価式に、さらに前記辞書データの予め定められた制
限を表した式に任意の定数を乗じたものを加算した第２
の評価式を最適化する方向に前記辞書データを更新する
ための漸化式に従ってカテゴリ毎の前記辞書データを更
新させる更新手段を実行するプログラムを記録した記録
媒体。
【請求項１７】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルと辞書データとの類似度計算式に
従った認識結果に基づく評価式を最適化する方向に前記
辞書データを更新するための漸化式に従ってカテゴリ毎
の前記辞書データを更新させる更新手段と、前記辞書データを更新する際、少なくとも認識結果とし
て得られる正解カテゴリと不正解カテゴリの類似度によ
って定まる重み値を決定するための関数で、前記正解カ
テゴリと不正解カテゴリの類似度の差が等しい部分で高
い値を取り、前記正解カテゴリと不正解カテゴリの類似
度の差が異なる部分で低い値をとる窓関数を、前記正解
カテゴリと不正解カテゴリの類似度の差が所定の範囲内
の時のみに前記漸化式に適用させる手段と、を実行するプログラムを記録した記録媒体。
【請求項１８】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルと辞書データとの類似度計算式に
従った認識結果に基づく評価式を最適化する方向に前記
辞書データを更新するための漸化式に従ってカテゴリ毎
の前記辞書データを更新させる更新手段と、前記漸化式の有する、少なくとも認識結果として得られ
る正解カテゴリと不正解カテゴリの類似度によって定ま
る重み値を決定するための窓関数の特性を定めるパラメ
ータ値を、前記パターンベクトルの複数の認識結果を比
較することにより設定させる設定手段と、を実行するプログラムを記録した記録媒体。
【請求項１９】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、前記パターンベクトルと辞書データとの類似度計算式に
従った認識結果に基づく評価式を最適化する方向に前記
辞書データを更新するための漸化式に従ってカテゴリ毎
の前記辞書データを更新させる更新手段と、前記漸化式の有する、少なくとも認識結果として得られ
る正解カテゴリと不正解カテゴリの類似度によって定ま
る重み値を決定するための窓関数の特性を定めるパラメ
ータ値を、前記パターンベクトルの認識結果に基づく前
記正解カテゴリと不正解カテゴリの類似度に関する頻度
分布に基づき設定させる設定手段と、を実行するプログラムを記録した記憶媒体。
【請求項２０】入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことにより大分類パターン認識辞書を作成する
ためのプログラムを記録した機械読み取り可能な記録媒
体であって、前記パターンベクトルと辞書データとの類似度計算式に
従った該パターンベクトルの大分類の認識結果に基づく
評価式を最適化する方向に前記辞書データを更新するた
めの漸化式に従って正解カテゴリと不正解カテゴリの前
記辞書データを更新させる更新手段を実行するプログラ
ムを記録した記憶媒体。