JPH11154146A - パターン認識方法および記録媒体 - Google Patents
パターン認識方法および記録媒体Info
- Publication number
- JPH11154146A JPH11154146A JP9322883A JP32288397A JPH11154146A JP H11154146 A JPH11154146 A JP H11154146A JP 9322883 A JP9322883 A JP 9322883A JP 32288397 A JP32288397 A JP 32288397A JP H11154146 A JPH11154146 A JP H11154146A
- Authority
- JP
- Japan
- Prior art keywords
- category
- updating
- pattern
- vector
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】理論的に方式全体の整合が取れ、高速学習可能
なパターン認識辞書作成方法およびそれにより作成され
た辞書を用いた精度の高いパターン認識が行えるパター
ン認識方法を提供する。 【解決手段】入力されたパターンベクトルに基づきパタ
ーン認識辞書に登録されている辞書データの更新処理を
繰り返すことによりパターン認識辞書を作成するパター
ン認識辞書作成方法において、前記更新処理は、前記パ
ターンベクトルに行列を掛け、さらに該パターンベクト
ルの転置を掛ける計算式を含む各カテゴリに対する該ベ
クトルの類似度を算出するための類似度計算式に従った
認識結果に基づく評価式の値を最適化する方向に前記行
列を更新する漸化式に従って、カテゴリ毎の前記行列を
更新することを特徴とする。
なパターン認識辞書作成方法およびそれにより作成され
た辞書を用いた精度の高いパターン認識が行えるパター
ン認識方法を提供する。 【解決手段】入力されたパターンベクトルに基づきパタ
ーン認識辞書に登録されている辞書データの更新処理を
繰り返すことによりパターン認識辞書を作成するパター
ン認識辞書作成方法において、前記更新処理は、前記パ
ターンベクトルに行列を掛け、さらに該パターンベクト
ルの転置を掛ける計算式を含む各カテゴリに対する該ベ
クトルの類似度を算出するための類似度計算式に従った
認識結果に基づく評価式の値を最適化する方向に前記行
列を更新する漸化式に従って、カテゴリ毎の前記行列を
更新することを特徴とする。
Description
【0001】
【発明の属する技術分野】本発明はパターン認識分野に
おける辞書作成方法に関する。
おける辞書作成方法に関する。
【0002】
【従来の技術】文献「The Self−Organi
zing Map」(Proceedings of
the IEEE (1990))には、LVQ(学習
ベクトル量子化)が紹介されている。これは入力ベクト
ルをxとし、それぞれのカテゴリに対してmを参照ベク
トルとし、相違度sをs=‖x−m‖と定義するもの
で、各カテゴリ中で最小の相違度を持つカテゴリを入力
ベクトルxの認識結果として出力する。
zing Map」(Proceedings of
the IEEE (1990))には、LVQ(学習
ベクトル量子化)が紹介されている。これは入力ベクト
ルをxとし、それぞれのカテゴリに対してmを参照ベク
トルとし、相違度sをs=‖x−m‖と定義するもの
で、各カテゴリ中で最小の相違度を持つカテゴリを入力
ベクトルxの認識結果として出力する。
【0003】この時、mの学習には次の手順を使う。学
習パターンxを認識した時、認識結果とし得られたカテ
ゴリをc、参照ベクトルmcとして、 正解のとき、 mc’=mc+α(x−mc) …(61) 不正解のとき、mc’=mc−α(x−mc) …(62) のようにして辞書を更新する。上記以外の方法にLVQ
2、LVQ3があり、認識結果として得られる相違度に
基づいて、式(61)と式(62)を使いわけている。
習パターンxを認識した時、認識結果とし得られたカテ
ゴリをc、参照ベクトルmcとして、 正解のとき、 mc’=mc+α(x−mc) …(61) 不正解のとき、mc’=mc−α(x−mc) …(62) のようにして辞書を更新する。上記以外の方法にLVQ
2、LVQ3があり、認識結果として得られる相違度に
基づいて、式(61)と式(62)を使いわけている。
【0004】また、GPDと呼ばれる考え方をユークリ
ッド距離に適用する方式も知られている。R(x)をx
を認識した時に得られる認識結果とし α(R(x))
をR(x)によって決まる係数として、一般的に、 mc’=mc+α(R(x))(x−mc) を更新ルールとするものである。
ッド距離に適用する方式も知られている。R(x)をx
を認識した時に得られる認識結果とし α(R(x))
をR(x)によって決まる係数として、一般的に、 mc’=mc+α(R(x))(x−mc) を更新ルールとするものである。
【0005】これらの方式では相違度がユークリッド距
離で単純であり、認識精度に問題があった。また、αを
最適に決めることも難しい課題となっており実用上、問
題があった。
離で単純であり、認識精度に問題があった。また、αを
最適に決めることも難しい課題となっており実用上、問
題があった。
【0006】文献「パターン認識と部分空間法」(産業
図書(1986))にはLSM(学習部分空間法)が紹
介されている。これは、入力ベクトルをxとし、それぞ
れのカテゴリに対してPをプロジェクションとし、類似
度sを s=xTPx と定義するものである。なお、
xT は、xの転置ベクトルである。そして、各カテゴリ
中で最大の類似度を持つカテゴリをxの認識結果として
出力する。
図書(1986))にはLSM(学習部分空間法)が紹
介されている。これは、入力ベクトルをxとし、それぞ
れのカテゴリに対してPをプロジェクションとし、類似
度sを s=xTPx と定義するものである。なお、
xT は、xの転置ベクトルである。そして、各カテゴリ
中で最大の類似度を持つカテゴリをxの認識結果として
出力する。
【0007】Pを構成する正規直交ベクトルをψiとし
た時、Gをψiをr個並べた行列としてP=GGTと表
せるものとする。R(x)をxを認識した時に得られる
認識結果として、 ψi’=ψi+α(R(x))(x、ψ)x とし、ψiをたとえばシュミットの直交化法で正規直交
化して新しい ψiを求めることにより学習を行う。
た時、Gをψiをr個並べた行列としてP=GGTと表
せるものとする。R(x)をxを認識した時に得られる
認識結果として、 ψi’=ψi+α(R(x))(x、ψ)x とし、ψiをたとえばシュミットの直交化法で正規直交
化して新しい ψiを求めることにより学習を行う。
【0008】平均ベクトルmを持つ形式で、 s=‖x−m‖2−(x−m)TP(x−m) も投影距離として知られているが、ψiについては上と
同様に求め、また、mについて、 m’=m+2α(R(x))((x−m)−P(x−
m)) によって更新する方式も知られている。
同様に求め、また、mについて、 m’=m+2α(R(x))((x−m)−P(x−
m)) によって更新する方式も知られている。
【0009】また、同じ文献に紹介されているALSM
(平均学習部分空間法)や特開昭第56−137483
号に記載されている辞書作成方法は、次のようなもので
ある。
(平均学習部分空間法)や特開昭第56−137483
号に記載されている辞書作成方法は、次のようなもので
ある。
【0010】Kを正値対称行列として、Kの固有ベクト
ルの一部を用いてPを構成し、類似度をs=xTPxと
定義する。学習は認識が不正解であった場合に、 正解カテゴリに対して K’=K+αxxT 不正解カテゴリに対して K’=K−βxxT によってKを更新することによって行う。
ルの一部を用いてPを構成し、類似度をs=xTPxと
定義する。学習は認識が不正解であった場合に、 正解カテゴリに対して K’=K+αxxT 不正解カテゴリに対して K’=K−βxxT によってKを更新することによって行う。
【0011】これらの方法では、理論的に何を最適化し
ようとしているものが不明確であったり、また不適当で
あって学習がうまくいかずに認識精度に問題を生じるこ
とがあった。
ようとしているものが不明確であったり、また不適当で
あって学習がうまくいかずに認識精度に問題を生じるこ
とがあった。
【0012】これに対して理論的に最適化しようとして
いるものが明確な方式は、部分空間法にGPDを適用し
たもので、文献「Discriminative Me
tric Design for Pattern R
ecognition」(ICASSP−95、Vo
l.5)に紹介されている。この方式は類似度s=xT
PxのPを別の複数の回転を表す行列Qiの積として表
し、このQiを学習するように構成されている。この方
式ではPとQiの変換を毎回行う必要があり、学習時間
が増大するという問題があった。
いるものが明確な方式は、部分空間法にGPDを適用し
たもので、文献「Discriminative Me
tric Design for Pattern R
ecognition」(ICASSP−95、Vo
l.5)に紹介されている。この方式は類似度s=xT
PxのPを別の複数の回転を表す行列Qiの積として表
し、このQiを学習するように構成されている。この方
式ではPとQiの変換を毎回行う必要があり、学習時間
が増大するという問題があった。
【0013】
【発明が解決しようとする課題】本発明は、上記問題点
に鑑みなされたもので、パターン認識分野における辞書
作成方法において、理論的に方式全体の整合が取れ、高
速学習可能で、精度の高い辞書作成が行えるパターン認
識辞書作成方法およびそれにより作成された辞書を用い
た精度の高いパターン認識が行えるパターン認識方法を
提供することを目的とする。
に鑑みなされたもので、パターン認識分野における辞書
作成方法において、理論的に方式全体の整合が取れ、高
速学習可能で、精度の高い辞書作成が行えるパターン認
識辞書作成方法およびそれにより作成された辞書を用い
た精度の高いパターン認識が行えるパターン認識方法を
提供することを目的とする。
【0014】
【課題を解決するための手段】(1)本発明のパターン
認識方法(請求項1、特性核学習)で用いられる前記更
新処理は、入力パターンベクトルxに行列Kを掛け、さ
らに該入力パターンベクトルの転置xTを掛ける計算式
を含む各カテゴリに対する該ベクトルの類似度を算出す
るための類似度計算式s=xTKxに従った認識結果に
基づく評価式(式(6))の値Jを最適化する方向に該
行列Kを更新する漸化式(式(13))に従って、カテ
ゴリ毎の前記行列Kを更新することより、高精度のパタ
ーン認識が可能なパターン認識辞書が高速に作成でき
る。
認識方法(請求項1、特性核学習)で用いられる前記更
新処理は、入力パターンベクトルxに行列Kを掛け、さ
らに該入力パターンベクトルの転置xTを掛ける計算式
を含む各カテゴリに対する該ベクトルの類似度を算出す
るための類似度計算式s=xTKxに従った認識結果に
基づく評価式(式(6))の値Jを最適化する方向に該
行列Kを更新する漸化式(式(13))に従って、カテ
ゴリ毎の前記行列Kを更新することより、高精度のパタ
ーン認識が可能なパターン認識辞書が高速に作成でき
る。
【0015】(2)本発明のパターン認識方法(請求項
2、請求項1の特性核学習における初期行列の作成方
法)で用いられる前記更新処理において、前記カテゴリ
毎の行列の初期行列(K0)は、前記パターンベクトル
の集合に基づき算出された第1の行列(Q)と、各カテ
ゴリに分類された前記パターンベクトルの集合に基づき
算出された各カテゴリ毎の第2の行列(P)とから算出
される行列である。
2、請求項1の特性核学習における初期行列の作成方
法)で用いられる前記更新処理において、前記カテゴリ
毎の行列の初期行列(K0)は、前記パターンベクトル
の集合に基づき算出された第1の行列(Q)と、各カテ
ゴリに分類された前記パターンベクトルの集合に基づき
算出された各カテゴリ毎の第2の行列(P)とから算出
される行列である。
【0016】(3)本発明のパターン認識方法(請求項
3、ALSMを用いた特性核学習:ウインドウ関数を用
いる場合)で用いられる前記更新処理は、前記パターン
ベクトル(x)に第1の行列(K)を掛け、さらに該パ
ターンベクトルの転置を掛ける第1の計算式(xTK
x)と前記第1の行列の固有ベクトル(ψi)からなる
第2の行列(P)とに基づく各カテゴリに対する該パタ
ーンベクトルの類似度を計算するための類似度計算式
(s=xTPx)に従った認識結果に基づく評価式(式
(6))の値を最適化する方向に前記第1の行列を更新
する漸化式(式(12))に従って、カテゴリ毎の前記
固有ベクトルを含む前記第1の行列を更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための関数で、前記正解カテゴリと不正解カテゴ
リの類似度の差が等しい部分で高い値を取り、前記正解
カテゴリと不正解カテゴリの類似度の差が異なる部分で
低い値をとる窓関数w(d)(式(8))を有すること
により、高精度のパターン認識が可能なパターン認識辞
書が高速に作成できる。
3、ALSMを用いた特性核学習:ウインドウ関数を用
いる場合)で用いられる前記更新処理は、前記パターン
ベクトル(x)に第1の行列(K)を掛け、さらに該パ
ターンベクトルの転置を掛ける第1の計算式(xTK
x)と前記第1の行列の固有ベクトル(ψi)からなる
第2の行列(P)とに基づく各カテゴリに対する該パタ
ーンベクトルの類似度を計算するための類似度計算式
(s=xTPx)に従った認識結果に基づく評価式(式
(6))の値を最適化する方向に前記第1の行列を更新
する漸化式(式(12))に従って、カテゴリ毎の前記
固有ベクトルを含む前記第1の行列を更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための関数で、前記正解カテゴリと不正解カテゴ
リの類似度の差が等しい部分で高い値を取り、前記正解
カテゴリと不正解カテゴリの類似度の差が異なる部分で
低い値をとる窓関数w(d)(式(8))を有すること
により、高精度のパターン認識が可能なパターン認識辞
書が高速に作成できる。
【0017】(4)本発明のパターン認識方法(請求項
4、ALSMを用いた特性核学習に定数、平均ベクトル
の学習を導入)で用いられる前記更新処理は、前記パタ
ーンベクトル(x)に第1のベクトル(m)を減算して
生成された第2のベクトル(x−m)に第1の行列
(K)を掛け、さらに第2のベクトルの転置を掛ける第
1の計算式((x−m)TK(x−m))と、前記第1
の行列の固有ベクトル(ψi)から前記第1のベクトル
を減算したベクトルとに基づく前記パターンベクトルの
相違度を計算するための相違度計算式(式(40))に
従った認識結果に基づく評価式(式(6))の値Jを最
適化する方向に前記第1の行列を更新するための第1の
漸化式(式(41))および前記第1のベクトルを更新
するための第2の漸化式(式(42))に従って、カテ
ゴリ毎の前記固有ベクトルおよび前記カテゴリ毎の第1
のベクトルのうちの少なくとも一方を更新することによ
り、高精度のパターン認識が可能なパターン認識辞書が
高速に作成できる。
4、ALSMを用いた特性核学習に定数、平均ベクトル
の学習を導入)で用いられる前記更新処理は、前記パタ
ーンベクトル(x)に第1のベクトル(m)を減算して
生成された第2のベクトル(x−m)に第1の行列
(K)を掛け、さらに第2のベクトルの転置を掛ける第
1の計算式((x−m)TK(x−m))と、前記第1
の行列の固有ベクトル(ψi)から前記第1のベクトル
を減算したベクトルとに基づく前記パターンベクトルの
相違度を計算するための相違度計算式(式(40))に
従った認識結果に基づく評価式(式(6))の値Jを最
適化する方向に前記第1の行列を更新するための第1の
漸化式(式(41))および前記第1のベクトルを更新
するための第2の漸化式(式(42))に従って、カテ
ゴリ毎の前記固有ベクトルおよび前記カテゴリ毎の第1
のベクトルのうちの少なくとも一方を更新することによ
り、高精度のパターン認識が可能なパターン認識辞書が
高速に作成できる。
【0018】(5)本発明のパターン認識方法(請求項
5、固有ベクトルの学習:2次形式評価式タイプで係
数、定数学習を含むもの)で用いられる前記更新処理
は、前記パターンベクトル(x)と第1のベクトル(ψ
i)との内積の2乗項に第1の係数(ai)を乗算し、
さらに第2の係数(c)を加算する第1の計算式を少な
くとも含む前記パターンベクトルの類似度を計算するた
めの類似度計算式(式(45)〜式(46))に従った
認識結果に基づく評価式(式(48))の値を最適化す
る方向に前記第1のベクトルを更新するための漸化式
(式(47))に従ってカテゴリ毎の前記第2のベクト
ルを更新することにより、高精度のパターン認識が可能
なパターン認識辞書が高速に作成できる。
5、固有ベクトルの学習:2次形式評価式タイプで係
数、定数学習を含むもの)で用いられる前記更新処理
は、前記パターンベクトル(x)と第1のベクトル(ψ
i)との内積の2乗項に第1の係数(ai)を乗算し、
さらに第2の係数(c)を加算する第1の計算式を少な
くとも含む前記パターンベクトルの類似度を計算するた
めの類似度計算式(式(45)〜式(46))に従った
認識結果に基づく評価式(式(48))の値を最適化す
る方向に前記第1のベクトルを更新するための漸化式
(式(47))に従ってカテゴリ毎の前記第2のベクト
ルを更新することにより、高精度のパターン認識が可能
なパターン認識辞書が高速に作成できる。
【0019】(6)本発明のパターン認識方法(請求項
6、固有ベクトルの学習:未定乗数法)で用いられる前
記更新処理は、前記パターンベクトルと予め定められた
制限のある辞書データ(正規直行ベクトルψi)との類
似度計算式(式(52))に従った認識結果に基づく第
1の評価式(式(53)の第1項)に、さらに前記辞書
データの予め定められた制限を表した式に任意の定数を
乗じたもの(式(53)の第2項)を加算した第2の評
価式(式(53)あるいは式(54))を最適化する方
向に前記辞書データを更新するための漸化式(式(5
7))に従ってカテゴリ毎の前記辞書データを更新する
ことにより、高精度のパターン認識が可能なパターン認
識辞書が高速に作成できる。
6、固有ベクトルの学習:未定乗数法)で用いられる前
記更新処理は、前記パターンベクトルと予め定められた
制限のある辞書データ(正規直行ベクトルψi)との類
似度計算式(式(52))に従った認識結果に基づく第
1の評価式(式(53)の第1項)に、さらに前記辞書
データの予め定められた制限を表した式に任意の定数を
乗じたもの(式(53)の第2項)を加算した第2の評
価式(式(53)あるいは式(54))を最適化する方
向に前記辞書データを更新するための漸化式(式(5
7))に従ってカテゴリ毎の前記辞書データを更新する
ことにより、高精度のパターン認識が可能なパターン認
識辞書が高速に作成できる。
【0020】(7)本発明のパターン認識方法(請求項
7、ウインドウ関数)で用いられる前記更新処理は、前
記パターンベクトルと辞書データ(例えば、K)との類
似度計算式(s)に従った認識結果に基づく評価式
(J)を最適化する方向に前記辞書データを更新するた
めの漸化式(例えば、式(13))に従ってカテゴリ毎
の前記辞書データを更新し、前記漸化式には、少なくと
も認識結果として得られる正解カテゴリと不正解カテゴ
リの類似度によって定まる重み値を決定するための関数
で、前記正解カテゴリと不正解カテゴリの類似度の差が
等しい部分で高い値を取り、そうでない部分で低い値を
とる窓関数w(d)を有し、前記辞書データを更新する
際、前記正解カテゴリと不正解カテゴリの類似度の差が
所定の範囲内の時のみに前記窓関数を用いることによ
り、高精度のパターン認識が可能なパターン認識辞書が
高速に作成できる。
7、ウインドウ関数)で用いられる前記更新処理は、前
記パターンベクトルと辞書データ(例えば、K)との類
似度計算式(s)に従った認識結果に基づく評価式
(J)を最適化する方向に前記辞書データを更新するた
めの漸化式(例えば、式(13))に従ってカテゴリ毎
の前記辞書データを更新し、前記漸化式には、少なくと
も認識結果として得られる正解カテゴリと不正解カテゴ
リの類似度によって定まる重み値を決定するための関数
で、前記正解カテゴリと不正解カテゴリの類似度の差が
等しい部分で高い値を取り、そうでない部分で低い値を
とる窓関数w(d)を有し、前記辞書データを更新する
際、前記正解カテゴリと不正解カテゴリの類似度の差が
所定の範囲内の時のみに前記窓関数を用いることによ
り、高精度のパターン認識が可能なパターン認識辞書が
高速に作成できる。
【0021】(8)本発明のパターン認識方法(請求項
8、ウオッチドッグ方式、図4参照)で用いられる前記
更新処理は、前記パターンベクトルと辞書データとの類
似度計算式に従った認識結果に基づく評価式を最適化す
る方向に前記辞書データを更新するための漸化式に従っ
てカテゴリ毎の前記辞書データを更新し、前記漸化式に
は、少なくとも認識結果として得られる正解カテゴリと
不正解カテゴリの類似度によって定まる重み値を決定す
るための窓関数を有し、この窓関数の特性を定めるパラ
メータ値は、前記パターンベクトルの複数の認識結果を
比較することにより設定される。すなわち、パターン認
識処理または別のテストベクトルによる認識テストの結
果をチェックし、認識性能が向上しないか、または悪く
なる状況に相当する場合にはパラメータの値を設定しな
おして、必要な情報を復帰させて学習を再スタートさせ
るようにし、この動作を繰り返すことにより、高精度の
パターン認識が可能なパターン認識辞書が高速に作成で
きる。
8、ウオッチドッグ方式、図4参照)で用いられる前記
更新処理は、前記パターンベクトルと辞書データとの類
似度計算式に従った認識結果に基づく評価式を最適化す
る方向に前記辞書データを更新するための漸化式に従っ
てカテゴリ毎の前記辞書データを更新し、前記漸化式に
は、少なくとも認識結果として得られる正解カテゴリと
不正解カテゴリの類似度によって定まる重み値を決定す
るための窓関数を有し、この窓関数の特性を定めるパラ
メータ値は、前記パターンベクトルの複数の認識結果を
比較することにより設定される。すなわち、パターン認
識処理または別のテストベクトルによる認識テストの結
果をチェックし、認識性能が向上しないか、または悪く
なる状況に相当する場合にはパラメータの値を設定しな
おして、必要な情報を復帰させて学習を再スタートさせ
るようにし、この動作を繰り返すことにより、高精度の
パターン認識が可能なパターン認識辞書が高速に作成で
きる。
【0022】(9)本発明のパターン認識方法(請求項
9、アダプティブウィンドウ関数を用いるもの、図6参
照)で用いられる前記更新処理は、前記パターンベクト
ルと辞書データとの類似度計算式に従った認識結果に基
づく評価式を最適化する方向に前記辞書データを更新す
るための漸化式に従ってカテゴリ毎の前記辞書データを
更新し、前記漸化式には、少なくとも認識結果として得
られる正解カテゴリと不正解カテゴリの類似度によって
定まる重み値を決定するための窓関数を有し、この窓関
数の特性を定めるパラメータ値は、前記パターンベクト
ルの認識結果に基づく前記正解カテゴリと不正解カテゴ
リの類似度に関する頻度分布に基づき設定されることに
より、高精度のパターン認識が可能なパターン認識辞書
が高速に作成できる。
9、アダプティブウィンドウ関数を用いるもの、図6参
照)で用いられる前記更新処理は、前記パターンベクト
ルと辞書データとの類似度計算式に従った認識結果に基
づく評価式を最適化する方向に前記辞書データを更新す
るための漸化式に従ってカテゴリ毎の前記辞書データを
更新し、前記漸化式には、少なくとも認識結果として得
られる正解カテゴリと不正解カテゴリの類似度によって
定まる重み値を決定するための窓関数を有し、この窓関
数の特性を定めるパラメータ値は、前記パターンベクト
ルの認識結果に基づく前記正解カテゴリと不正解カテゴ
リの類似度に関する頻度分布に基づき設定されることに
より、高精度のパターン認識が可能なパターン認識辞書
が高速に作成できる。
【0023】(10)本発明のパターン認識方法(請求
項10、大分類対応)で用いられる前記更新処理は、前
記パターンベクトルと辞書データとの類似度計算式に従
った該パターンベクトルの大分類の認識結果に基づく評
価式を最適化する方向に前記辞書データを更新するため
の漸化式に従って正解カテゴリと不正解カテゴリの前記
辞書データを更新することにより、高精度の大分類パタ
ーン認識が可能な大分類パターン認識辞書が高速に作成
できる。
項10、大分類対応)で用いられる前記更新処理は、前
記パターンベクトルと辞書データとの類似度計算式に従
った該パターンベクトルの大分類の認識結果に基づく評
価式を最適化する方向に前記辞書データを更新するため
の漸化式に従って正解カテゴリと不正解カテゴリの前記
辞書データを更新することにより、高精度の大分類パタ
ーン認識が可能な大分類パターン認識辞書が高速に作成
できる。
【0024】
【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。
図面を参照して説明する。
【0025】(第1の実施形態)図1は、本発明の第1
の実施形態に係るパターン認識辞書作成装置の構成例を
示したもので、学習パターンを入力するためのパターン
入力部1、認識処理部2、辞書更新部3、初期辞書作成
部4、辞書データ格納部5から構成される。
の実施形態に係るパターン認識辞書作成装置の構成例を
示したもので、学習パターンを入力するためのパターン
入力部1、認識処理部2、辞書更新部3、初期辞書作成
部4、辞書データ格納部5から構成される。
【0026】まず、初期辞書作成部4では、パターン入
力部1から入力された学習パターンから初期辞書を作成
して、その作成された初期辞書を辞書データ格納部5に
格納すると、次に、認識処理部2では、入力された学習
パターンに対し、辞書データ格納部5に格納されている
初期辞書または学習途中の辞書を用いて認識処理を行
い、辞書更新部3で、その結果と入力された学習パター
ンに基づいて辞書データ格納部5に格納された認識辞書
を更新するようになっている。この更新を終了条件が満
たされるまで繰り返すことにより辞書の学習、改良を行
って、パターン認識辞書を作成する。
力部1から入力された学習パターンから初期辞書を作成
して、その作成された初期辞書を辞書データ格納部5に
格納すると、次に、認識処理部2では、入力された学習
パターンに対し、辞書データ格納部5に格納されている
初期辞書または学習途中の辞書を用いて認識処理を行
い、辞書更新部3で、その結果と入力された学習パター
ンに基づいて辞書データ格納部5に格納された認識辞書
を更新するようになっている。この更新を終了条件が満
たされるまで繰り返すことにより辞書の学習、改良を行
って、パターン認識辞書を作成する。
【0027】以下、主に、認識処理部2と辞書更新部3
の処理動作について説明する。
の処理動作について説明する。
【0028】1)特性核学習 まず、本発明のパターン認識辞書作成方法に用いられる
辞書更新方法(特性核学習)について説明する。
辞書更新方法(特性核学習)について説明する。
【0029】入力ベクトルをxとし、それぞれのカテゴ
リに対してKをxに対する変換行列、類似度sを s=xTKx …(1) と定義する。入力ベクトルxについて各カテゴリ中で最
大の類似度を持つカテゴリをxの認識結果として出力す
るものとする。
リに対してKをxに対する変換行列、類似度sを s=xTKx …(1) と定義する。入力ベクトルxについて各カテゴリ中で最
大の類似度を持つカテゴリをxの認識結果として出力す
るものとする。
【0030】Ωを全学習パターンセット、C(x)をx
のカテゴリ名、Kcをカテゴリ名cに対応する変換行
列、Mを全パターン数、p(x)をxの出現確率、l
(x)を損失関数とする。ここで、損失関数l(x)
は、
のカテゴリ名、Kcをカテゴリ名cに対応する変換行
列、Mを全パターン数、p(x)をxの出現確率、l
(x)を損失関数とする。ここで、損失関数l(x)
は、
【数1】
【0031】とする。このとき、入力ベクトルxの認識
結果に対する評価を行うための評価式を
結果に対する評価を行うための評価式を
【数2】
【0032】とする。ここで、sok は、xを各変換行
列Kに基づく類似度計算式(1)により認識した時の、
認識正解カテゴリに対応する変換行列に対する類似度に
対応しており、ser は不正解カテゴリに対応する類似
度である。このケースではそれぞれ最大値を示すカテゴ
リとしている。
列Kに基づく類似度計算式(1)により認識した時の、
認識正解カテゴリに対応する変換行列に対する類似度に
対応しており、ser は不正解カテゴリに対応する類似
度である。このケースではそれぞれ最大値を示すカテゴ
リとしている。
【0033】なお、正解カテゴリとは認識結果として正
解となるという意味ではなく、入力データの答えとなる
べきカテゴリという意味である。不正解カテゴリについ
ても同様である。
解となるという意味ではなく、入力データの答えとなる
べきカテゴリという意味である。不正解カテゴリについ
ても同様である。
【0034】以下、説明を分かり易くするために損失関
数lを l(ser(xk)−sok(xk)) と表すが、l(ser(xk)、sok(xk))とで定義し
ても同様な考え方で学習方式を設定することができる。
数lを l(ser(xk)−sok(xk)) と表すが、l(ser(xk)、sok(xk))とで定義し
ても同様な考え方で学習方式を設定することができる。
【0035】式(4)のKokは、正解カテゴリに対応す
る変換行列、Kerは、不正解カテゴリに対応する変換行
列である。
る変換行列、Kerは、不正解カテゴリに対応する変換行
列である。
【0036】次に、評価式(3)の値Jを最小化する場
合を考える。式(3)を離散的に表すと、
合を考える。式(3)を離散的に表すと、
【数3】
【0037】となる。これをKの要素kijで微分する
と、
と、
【数4】
【0038】また、dk=ser(xk)−sok(xk)
と置いて、w(d)=l’(d)と表す。w(d)は対
照な関数である。Nを次元数とし、また、類似度sは式
(9)のように表せるので、
と置いて、w(d)=l’(d)と表す。w(d)は対
照な関数である。Nを次元数とし、また、類似度sは式
(9)のように表せるので、
【数5】
【0039】となる。最急降下法によれば、Jを最小に
するためには、
するためには、
【数6】
【0040】とすれば良い。すなわち、Kを更新するた
めの漸化式(学習漸化式)は、次式(13)のように表
すことができる。
めの漸化式(学習漸化式)は、次式(13)のように表
すことができる。
【0041】
【数7】
【0042】なお、行列Kは、辞書データ格納部5に格
納される辞書データであり、各カテゴリに対応して行列
Kが存在し、この行列Kを更新することにより、辞書を
作成するようになっている。
納される辞書データであり、各カテゴリに対応して行列
Kが存在し、この行列Kを更新することにより、辞書を
作成するようになっている。
【0043】次に、図3に示すフローチャートを参照し
て、図1のパターン認識辞書作成装置の処理動作を説明
する。
て、図1のパターン認識辞書作成装置の処理動作を説明
する。
【0044】まず、初期行列K0を作成する(後述)。
各カテゴリを示す変数iを「0」に初期化し、以下の処
理を繰り返す。
各カテゴリを示す変数iを「0」に初期化し、以下の処
理を繰り返す。
【0045】ステップS3:学習用の入力ベクトルxが
入力されると、辞書データ格納部5に各カテゴリ毎の行
列Kiを用いて類似度計算を行う。
入力されると、辞書データ格納部5に各カテゴリ毎の行
列Kiを用いて類似度計算を行う。
【0046】ステップS4:最大類似度を示す正解カテ
ゴリの行列Kiに対しては、式(13)に示すように、
αw(d)xxTを加算し、最大類似度を示す不正解カ
テゴリの行列Kiに対しては、同じく式(13)に示す
ように、αw(d)xxTを減算して、行列Kiを更新
する。
ゴリの行列Kiに対しては、式(13)に示すように、
αw(d)xxTを加算し、最大類似度を示す不正解カ
テゴリの行列Kiに対しては、同じく式(13)に示す
ように、αw(d)xxTを減算して、行列Kiを更新
する。
【0047】ステップS5〜ステップS6:iを「1」
ずつインクリメントし、所定の終了条件を満たすまで、
全てのカテゴリについて上記ステップS3〜ステップS
4の処理を実行する。
ずつインクリメントし、所定の終了条件を満たすまで、
全てのカテゴリについて上記ステップS3〜ステップS
4の処理を実行する。
【0048】終了条件は、たとえば、ある回数で終了さ
せるようにしても良いし、認識率などの数値データに基
づいて停止させるようにしても良い。
せるようにしても良いし、認識率などの数値データに基
づいて停止させるようにしても良い。
【0049】2)特性核学習の第2の例 辞書を更新する際、すなわち、式(13)を用いてKか
らK’を作成する際、公知例として示したALSMと同
様に、正解の時はなにもせず、不正解の時に、 正解カテゴリに対して K’=K+αxxT 不正解カテゴリに対して K’=K−βxxT として、Kを更新することもできる。ここで、α、βは
任意の定数である。
らK’を作成する際、公知例として示したALSMと同
様に、正解の時はなにもせず、不正解の時に、 正解カテゴリに対して K’=K+αxxT 不正解カテゴリに対して K’=K−βxxT として、Kを更新することもできる。ここで、α、βは
任意の定数である。
【0050】この方法の従来例はさきに述べたALSM
であるが、ALSMでは類似度sの計算式がs=xTP
x であるのに対して、本発明の学習漸化式を導き出す
ために用いた評価式(6)で用いる類似度sが s=xT
Kxとくい違っており、理論的に誤った学習法を提供す
るものであった。本発明では、上記の説明でわかる通り
正しい類似度計算と学習漸化式を提供している。これに
より効果的に性能の良い認識系を構成することができ
る。
であるが、ALSMでは類似度sの計算式がs=xTP
x であるのに対して、本発明の学習漸化式を導き出す
ために用いた評価式(6)で用いる類似度sが s=xT
Kxとくい違っており、理論的に誤った学習法を提供す
るものであった。本発明では、上記の説明でわかる通り
正しい類似度計算と学習漸化式を提供している。これに
より効果的に性能の良い認識系を構成することができ
る。
【0051】さて、前述した類似度計算式(1)や学習
漸化式(13)に平均ベクトルに相当するベクトルmを
導入して、相違度を s=(x−m)TK(x−m) …(14) と定義することもできる。この場合の学習漸化式は、式
(13)のlの中のserとsokが入れ替わることを考慮
して、次式(15)のように表すことができる。
漸化式(13)に平均ベクトルに相当するベクトルmを
導入して、相違度を s=(x−m)TK(x−m) …(14) と定義することもできる。この場合の学習漸化式は、式
(13)のlの中のserとsokが入れ替わることを考慮
して、次式(15)のように表すことができる。
【0052】
【数8】
【0053】この結果を用いて認識する際には、行列K
から得られる固有ベクトルの一部を用いた類似度式を構
成して、これにより認識を行うように構成することもで
きる。
から得られる固有ベクトルの一部を用いた類似度式を構
成して、これにより認識を行うように構成することもで
きる。
【0054】3)初期行列K0の作成方法 図3のステップS1の初期行列K0は以下のようにして
求めることができる。
求めることができる。
【0055】まず、全学習ベクトル(上記逐次学習に用
いたものでも、また違うものでも良い)の集合をΩ’
allとし、
いたものでも、また違うものでも良い)の集合をΩ’
allとし、
【数9】
【0056】なる共分散行列Qを作成し、その固有ベク
トルを求める。そして、各固有ベクトルに対応する固有
値を比較して、その値の大きい固有ベクトルからなる行
列 Tを作る。
トルを求める。そして、各固有ベクトルに対応する固有
値を比較して、その値の大きい固有ベクトルからなる行
列 Tを作る。
【0057】次に、各カテゴリ毎の学習ベクトルの集合
をΩ’とし、
をΩ’とし、
【数10】
【0058】なる共分散行列Q’を作成し、その固有ベ
クトル、固有値を求める。そして、固有ベクトルからな
る直交行列U、固有値を対角に並べて他を「0」とした
対角行列Λを作り、Q’=U-1ΛU と表すとする。こ
の直行行列Uを構成する固有ベクトルの中で、対応する
固有値の大きいものからなる行列Pを作り、初期変換行
列K0=TTPTPT=(PT)T(PT)を作成する。
クトル、固有値を求める。そして、固有ベクトルからな
る直交行列U、固有値を対角に並べて他を「0」とした
対角行列Λを作り、Q’=U-1ΛU と表すとする。こ
の直行行列Uを構成する固有ベクトルの中で、対応する
固有値の大きいものからなる行列Pを作り、初期変換行
列K0=TTPTPT=(PT)T(PT)を作成する。
【0059】上記の手法はTの求め方としてパターン認
識分野で良く知られたKL変換を用いたものであるが、
そのかわりに、やはりパターン認識分野で良く知られて
いる正準判別を用いても良い。即ち、級間共分散行列
Sb、級内共分散行列Swを用いて、
識分野で良く知られたKL変換を用いたものであるが、
そのかわりに、やはりパターン認識分野で良く知られて
いる正準判別を用いても良い。即ち、級間共分散行列
Sb、級内共分散行列Swを用いて、
【数11】
【0060】を満たす固有ベクトルからTを作成する方
法である。
法である。
【0061】4)特性核学習の第3の例 ここでは、類似度として重み付き部分空間法を用いる場
合について説明する。
合について説明する。
【0062】相違度sをs=xTK-1xと定義する。K
は正値対称行列である。以下、K-1=Hと表記する。こ
の場合、評価式(3)は、離散的に表すと、式(20)
に示すようになる。
は正値対称行列である。以下、K-1=Hと表記する。こ
の場合、評価式(3)は、離散的に表すと、式(20)
に示すようになる。
【0063】
【数12】
【0064】なお、評価式(3)では類似度であった
が、ここでは相違度なので、式(20)において、sok
(xk)とser(xk)の位置が入れ替わっている。式
(20)をHの要素hijで微分すると、次式(21)が
得られる。
が、ここでは相違度なので、式(20)において、sok
(xk)とser(xk)の位置が入れ替わっている。式
(20)をHの要素hijで微分すると、次式(21)が
得られる。
【0065】
【数13】
【0066】また、相違度sは
【数14】
【0067】と表されるので、
【数15】
【0068】が得られる。最急降下法によれば、Jを最
小にするためには、
小にするためには、
【数16】
【0069】とすれば良い。すなわち、Hを更新するた
めの漸化式は、次式(26)のように表すことができ
る。
めの漸化式は、次式(26)のように表すことができ
る。
【0070】
【数17】
【0071】ここで、H’=H+δHとし、(H’)-1
=K+δK と置くと、
=K+δK と置くと、
【数18】
【0072】一方、
【数19】
【0073】なお、相違度計算として次元打ち切りを行
なって、実際には以下のような変換により類似度として
計算するのが球面疑似ベイズの考え方である。
なって、実際には以下のような変換により類似度として
計算するのが球面疑似ベイズの考え方である。
【0074】
【数20】
【0075】この場合は ‖x‖2が一定なので、式(2
8)の第2項を類似度として計算すればよい。
8)の第2項を類似度として計算すればよい。
【0076】5)特性核学習の第4の例 ここでは、ベイズ識別に対応する方法を用いた場合につ
いて説明する。
いて説明する。
【0077】相違度を
【数21】
【0078】と定義し、第3の辞書更新方法の説明と同
様にして、Kを更新するための学習漸化式を導くと、次
式(30)が得られる。
様にして、Kを更新するための学習漸化式を導くと、次
式(30)が得られる。
【0079】
【数22】
【0080】一方、m については次の様にしてmを更
新するための漸化式を求める。すなわち、評価式は
新するための漸化式を求める。すなわち、評価式は
【数23】
【0081】疑似ベイズでは、打ち切り計算を次のよう
に行なう。
に行なう。
【0082】
【数24】
【0083】6)ALSMを用いた特性核学習:ウイン
ドウ関数を用いる場合 公知例として示したALSMでは、学習漸化式のなかで
は損失関数微分は使われておらず、定数値のα、βが使
われていたが、これは、学習を的確に行うには不適当で
あった。学習結果が正解と不正解のボーダーラインで的
確に行われるように損失関数の微分に相当する窓関数を
用いることが望ましい。そこで、本発明では、正解カテ
ゴリに対する類似度と不正解カテゴリに対する類似度が
等しい部分で、そうで無い時よりも高い値を取る窓関数
w(d)を用いて学習漸化式を
ドウ関数を用いる場合 公知例として示したALSMでは、学習漸化式のなかで
は損失関数微分は使われておらず、定数値のα、βが使
われていたが、これは、学習を的確に行うには不適当で
あった。学習結果が正解と不正解のボーダーラインで的
確に行われるように損失関数の微分に相当する窓関数を
用いることが望ましい。そこで、本発明では、正解カテ
ゴリに対する類似度と不正解カテゴリに対する類似度が
等しい部分で、そうで無い時よりも高い値を取る窓関数
w(d)を用いて学習漸化式を
【数25】
【0084】で構成している。なお、窓関数としては、
例えば式(7)を用いることができる。
例えば式(7)を用いることができる。
【0085】ここでの類似度はs=xTPxである。P
はKの固有ベクトルからなる行列である。この類似度を
Kの固有ベクトルψを用いて書き換えると
はKの固有ベクトルからなる行列である。この類似度を
Kの固有ベクトルψを用いて書き換えると
【数26】
【0086】となる。
【0087】この類似度計算式(38)には、上記のA
LSMタイプ以外の方法も有効である。例えば、疑似球
面ベイズと呼ばれる、
LSMタイプ以外の方法も有効である。例えば、疑似球
面ベイズと呼ばれる、
【数27】
【0088】がある。ここで、λiはKの固有値、δ、
cは固有値から決まるスカラー値である。
cは固有値から決まるスカラー値である。
【0089】7)ALSMを用いた特性核学習に定数、
平均ベクトルの学習を導入 また、前述のALSMを用いた特性核学習に、さらに平
均ベクトルを導入する場合を考える。すなわち、辞書デ
ータ格納部5に格納される辞書データとしての行列Kと
平均ベクトルとを更新するALSMを用いた特性核学習
について説明する。
平均ベクトルの学習を導入 また、前述のALSMを用いた特性核学習に、さらに平
均ベクトルを導入する場合を考える。すなわち、辞書デ
ータ格納部5に格納される辞書データとしての行列Kと
平均ベクトルとを更新するALSMを用いた特性核学習
について説明する。
【0090】前述した類似度計算式や漸化式に平均ベク
トルに相当するベクトルmを導入して、相違度を投影距
離、すなわち、
トルに相当するベクトルmを導入して、相違度を投影距
離、すなわち、
【数28】
【0091】と定義することもできる。この場合の行列
Kの漸化式は、
Kの漸化式は、
【数29】
【0092】であり、mは、実際に平均ベクトルを学習
ベクトルから計算して求めても良いが、以下のように漸
化式で更新することもできる。
ベクトルから計算して求めても良いが、以下のように漸
化式で更新することもできる。
【0093】
【数30】
【0094】この場合に疑似ベイズタイプの相違度、す
なわち
なわち
【数31】
【0095】も有効である。
【0096】式(43)に含まれる定数cは、
【数32】
【0097】によって更新することもできる。
【0098】8)固有ベクトルの学習 (1)2次形式評価式タイプで係数、定数学習を含むも
の(ノルムが入っていてもよい) 次に、Kの固有ベクトルψを直接逐次学習して辞書更新
を行う場合について説明する。すなわち、例えば、類似
度を、
の(ノルムが入っていてもよい) 次に、Kの固有ベクトルψを直接逐次学習して辞書更新
を行う場合について説明する。すなわち、例えば、類似
度を、
【数33】
【0099】のうちのいずれかで定義し、これに基づい
た評価式を
た評価式を
【数34】
【0100】で設定し、この評価式を最適化する方向
に、逐次、ψ、m、ai、bi、を更新することにより、
より良い類似度や相違度計算のための辞書データを決定
する方法である。
に、逐次、ψ、m、ai、bi、を更新することにより、
より良い類似度や相違度計算のための辞書データを決定
する方法である。
【0101】従来は、ψ、mのみを学習していたので、
本実施形態により作成された認識辞書を用いればパター
ン認識能力は従来例よりも精度が高くなる。
本実施形態により作成された認識辞書を用いればパター
ン認識能力は従来例よりも精度が高くなる。
【0102】逐次変更する手段としては、たとえば、従
来のLSMと同じ手段でψiやmを更新すれば良い。す
なわち、
来のLSMと同じ手段でψiやmを更新すれば良い。す
なわち、
【数35】
【0103】ψiの正規直交性の保証は従来例のように
シュミットの直交化を用いてもいいし、また、後述の第
4の実施形態に示す方法を用いても良いし、その他の方
法も可能である。
シュミットの直交化を用いてもいいし、また、後述の第
4の実施形態に示す方法を用いても良いし、その他の方
法も可能である。
【0104】従来例に無かったai、bi、cについて
は、類似度を例えば式(47)で定義するとすれば、次
の様に更新する。
は、類似度を例えば式(47)で定義するとすれば、次
の様に更新する。
【0105】
【数36】
【0106】(2)未定乗数法 一般に、正規直交ベクトルψiに基づく類似度または相
違度としてs(ψi)を用いた時の学習の漸化式は正規
直交性を保存しなければならず、それをどうするかが問
題であり、LSMではこれをシュミットの直交化法を用
いて解決していた。本発明ではこれを、より理論的に正
しい方法に置き換えたものである。すなわち、評価式を
ある定数 Aを導入して次のように設定する。
違度としてs(ψi)を用いた時の学習の漸化式は正規
直交性を保存しなければならず、それをどうするかが問
題であり、LSMではこれをシュミットの直交化法を用
いて解決していた。本発明ではこれを、より理論的に正
しい方法に置き換えたものである。すなわち、評価式を
ある定数 Aを導入して次のように設定する。
【0107】
【数37】
【0108】この評価式を最適化する方向に各パラメー
タ、ベクトルを学習していくことにより学習を行う。以
下、具体的に説明する。
タ、ベクトルを学習していくことにより学習を行う。以
下、具体的に説明する。
【0109】まず、類似度の定義を次のように行なう.
【数38】
【0110】評価式は、
【数39】
【0111】である事を考慮し、正則化の考え方と同様
な手法で係数Aを導入して
な手法で係数Aを導入して
【数40】
【0112】と評価式を設定する。
【0113】式(53)の値Jを最小化することを考え
る。式(53)を離散的に表すと、
る。式(53)を離散的に表すと、
【数41】
【0114】ここで、もし、式(54)にXの項がない
とすると式(54)の右辺が漸化式の増分に相当し、漸
化式は
とすると式(54)の右辺が漸化式の増分に相当し、漸
化式は
【数42】
【0115】となる。一方、
【数43】
【0116】次に、Xについて微分する。Xは正解カテ
ゴリ、不正解カテゴリに対する類似度sok、serに関係
ない項である。
ゴリ、不正解カテゴリに対する類似度sok、serに関係
ない項である。
【0117】
【数44】
【0118】これらよりψの漸化式は次の様に求まる。
【0119】
【数45】
【0120】以上から部分空間法に変形する場合、
【数46】
【0121】であり、式(57)の漸化式がそのまま使
える。
える。
【0122】9)ウィンドウ関数 これまでに述べてきた学習において、漸化式で使われる
窓関数w(d)に工夫を加えることによって更新処理を
より高速化できる。
窓関数w(d)に工夫を加えることによって更新処理を
より高速化できる。
【0123】まず、w(d)とd=0付近で高い値を取
り、周辺で低い値をとる関数(例えば、l’(x))を
用意する。これに対してある閾値THを用意して w(d)<TH の時は、学習しないように制御することにより、ほとん
ど役には立たないが、処理時間の要するものをカットす
るのである。この方法はさらに、 (d<TH1)or(TH2<d) の時に学習しないように制御することもできる。もちろ
ん、w(d)としてd=0付近で高い値を取り、周辺で
低い値をとり、TH1、TH2の外側では完全にゼロと
なる関数を用いて同じことである。
り、周辺で低い値をとる関数(例えば、l’(x))を
用意する。これに対してある閾値THを用意して w(d)<TH の時は、学習しないように制御することにより、ほとん
ど役には立たないが、処理時間の要するものをカットす
るのである。この方法はさらに、 (d<TH1)or(TH2<d) の時に学習しないように制御することもできる。もちろ
ん、w(d)としてd=0付近で高い値を取り、周辺で
低い値をとり、TH1、TH2の外側では完全にゼロと
なる関数を用いて同じことである。
【0124】10)ウォッチドッグ方式 一般的に、学習則は、入力ベクトルをx、辞書データを
Λとした時に、類似度を s=S(x、Λ) と定義して、認識結果として得られるデータR(x)か
ら決められる窓関数w(R(x))と、入力ベクトルと
辞書データなどから決められる学習データのD(x、
Λ)を用いて Λ’=Λ+w(R(x)D(x、Λ)) と書ける。この時wを適切に設定しないと学習がうまく
いかないという問題点があり、この問題を解決する方法
として、ウオッチドッグ方式を採用する。すなわち、こ
こでいうウオッチドッグ方式とは、窓関数のパラメータ
値を設定する際、学習の際に行われる認識、またはテス
トデータによる認識テストの結果をチェックし、認識性
能が向上しないか、または悪くなる場合にw(R
(x))の値が小さくなるように設定しなおして(その
際、辞書データを等を設定し直して)、学習を再スター
トさせるものである。図4に示すフローチャートを参照
して、窓関数のパラメータの設定方法にウオッチドッグ
方式を採用する場合のパターン認識辞書作成装置の処理
動作について説明する。
Λとした時に、類似度を s=S(x、Λ) と定義して、認識結果として得られるデータR(x)か
ら決められる窓関数w(R(x))と、入力ベクトルと
辞書データなどから決められる学習データのD(x、
Λ)を用いて Λ’=Λ+w(R(x)D(x、Λ)) と書ける。この時wを適切に設定しないと学習がうまく
いかないという問題点があり、この問題を解決する方法
として、ウオッチドッグ方式を採用する。すなわち、こ
こでいうウオッチドッグ方式とは、窓関数のパラメータ
値を設定する際、学習の際に行われる認識、またはテス
トデータによる認識テストの結果をチェックし、認識性
能が向上しないか、または悪くなる場合にw(R
(x))の値が小さくなるように設定しなおして(その
際、辞書データを等を設定し直して)、学習を再スター
トさせるものである。図4に示すフローチャートを参照
して、窓関数のパラメータの設定方法にウオッチドッグ
方式を採用する場合のパターン認識辞書作成装置の処理
動作について説明する。
【0125】まず、予め作成された辞書を用いて認識処
理を行う(ステップS12)。次に認識結果に基づき学
習を行う(ステップS13)。これをN回繰り返す(ス
テップS15〜ステップS16)。
理を行う(ステップS12)。次に認識結果に基づき学
習を行う(ステップS13)。これをN回繰り返す(ス
テップS15〜ステップS16)。
【0126】次に、認識結果を以前の認識結果と比較す
る。ただし比較が1回目の時は、認識精度が向上してい
るものとして以下を実行する。すなわち、ステップS1
7で認識処理結果を評価することにより、認識精度が以
前のときより悪くなっているか、上がらない時は、ステ
ップS19に進み、保存してあった辞書やパラメータな
どを復帰させる。そして、w(R(x))をより小さな
値になるように設定しなおして(ステップS19〜ステ
ップS20)、ステップS11に戻り、再度実行を行う
(ステップS21)。
る。ただし比較が1回目の時は、認識精度が向上してい
るものとして以下を実行する。すなわち、ステップS1
7で認識処理結果を評価することにより、認識精度が以
前のときより悪くなっているか、上がらない時は、ステ
ップS19に進み、保存してあった辞書やパラメータな
どを復帰させる。そして、w(R(x))をより小さな
値になるように設定しなおして(ステップS19〜ステ
ップS20)、ステップS11に戻り、再度実行を行う
(ステップS21)。
【0127】一方、ステップS17での評価の結果、認
識精度が向上している時は、現在の辞書やパラメータを
保存し(ステップS21)、ステップS11に戻り、実
行を継続する。
識精度が向上している時は、現在の辞書やパラメータを
保存し(ステップS21)、ステップS11に戻り、実
行を継続する。
【0128】これをM回繰り返しても改善が認められな
い時は学習を終了させる(ステップS21)。
い時は学習を終了させる(ステップS21)。
【0129】ここで、窓関数として、次式(58)の微
分を用いる場合を例にとり、より具体的にパラメータの
設定方法について説明する。
分を用いる場合を例にとり、より具体的にパラメータの
設定方法について説明する。
【0130】
【数47】
【0131】式(58)に示した関数σ(x)の概形、
および、それを微分したものσ’(x)の概形を図5に
示す。図5には、式(58)のαの値が大きくなると、
σ(x)の原点付近において、xの値の変化に対するy
の値の変化が大きくなり、そのカーブが急峻になる様子
を(a)〜(c)に示している。
および、それを微分したものσ’(x)の概形を図5に
示す。図5には、式(58)のαの値が大きくなると、
σ(x)の原点付近において、xの値の変化に対するy
の値の変化が大きくなり、そのカーブが急峻になる様子
を(a)〜(c)に示している。
【0132】損失関数としては、αが大きい時の形、す
なわちステップ型の方が適している。何故なら、正読の
時はどの場合も損失は同じで、誤読の時もどの場合にも
損失は同じと考えられるからである。しかしながら、完
全なステップ関数では微分がゼロになってしまい学習し
なくなってしまうので、無限大でない適当なαの値が窓
関数としては必要となる。
なわちステップ型の方が適している。何故なら、正読の
時はどの場合も損失は同じで、誤読の時もどの場合にも
損失は同じと考えられるからである。しかしながら、完
全なステップ関数では微分がゼロになってしまい学習し
なくなってしまうので、無限大でない適当なαの値が窓
関数としては必要となる。
【0133】そこで、学習の最初の時期には、αの値を
小さめに取って、除々に大きくしていくことによって、
より良い学習が行われるようになる。すなわち除々に精
密な学習をおこなわせていく考え方である。図4のステ
ップS19において、w(R(x))の大きさを変更す
る際、式(58)のαの値を大きくするようにして学習
を実行すれば良い。
小さめに取って、除々に大きくしていくことによって、
より良い学習が行われるようになる。すなわち除々に精
密な学習をおこなわせていく考え方である。図4のステ
ップS19において、w(R(x))の大きさを変更す
る際、式(58)のαの値を大きくするようにして学習
を実行すれば良い。
【0134】11)アダプティブウィンドウ関数を用い
るもの 一般的に言って、学習時の認識処理を行った時に、正解
のカテゴリに対する類似度と不正解のカテゴリに対する
類似度がきわどい時は、w(d)を大きめに取り、そう
でない時は小さめに取ることが望ましい。きわどい時は
正解と不正解とを分ける境界線に対し、正解、不正解の
2つパターンが近いところに存在するので、その結果を
使うことは妥当なのであるが、そうでない時は2つのパ
ターンがかけ離れた場所にあるので境界線の学習に使う
のは不適当であるからである。
るもの 一般的に言って、学習時の認識処理を行った時に、正解
のカテゴリに対する類似度と不正解のカテゴリに対する
類似度がきわどい時は、w(d)を大きめに取り、そう
でない時は小さめに取ることが望ましい。きわどい時は
正解と不正解とを分ける境界線に対し、正解、不正解の
2つパターンが近いところに存在するので、その結果を
使うことは妥当なのであるが、そうでない時は2つのパ
ターンがかけ離れた場所にあるので境界線の学習に使う
のは不適当であるからである。
【0135】そこで、以下のアルゴリズムによって、w
(d)を設定する。
(d)を設定する。
【0136】まず、認識結果から得られる類似度値の差
dを各学習パターンについて求め、これについてのヒス
トグラムを作成する。その一例を図6に示す。図6から
まず、w(d)の幅に相当するパラメータvを決める。
その決め方としては、例えば、以下のものが挙げられ
る。
dを各学習パターンについて求め、これについてのヒス
トグラムを作成する。その一例を図6に示す。図6から
まず、w(d)の幅に相当するパラメータvを決める。
その決め方としては、例えば、以下のものが挙げられ
る。
【0137】・分布のピーク値Pの半分の値をTとし、
その位置に相当する横軸上の値と「0」との差の絶対値
をvとする。
その位置に相当する横軸上の値と「0」との差の絶対値
をvとする。
【0138】・d=0から右側の分布部分について、横
方向に存在する位置の平均を計算し、それをvとする。
方向に存在する位置の平均を計算し、それをvとする。
【0139】・d=0から右側の全分布面積に対して、
d=0の位置からvの位置までの面積が α(<1)倍
の面積になる位置をvとする。
d=0の位置からvの位置までの面積が α(<1)倍
の面積になる位置をvとする。
【0140】・d=0における微分係数に相当する数値
からvを定める。
からvを定める。
【0141】・上記の組み合わせでvを定める。
【0142】次に、このvを用いて、窓関数w(d)を
例えば次式(59)によって定義する。
例えば次式(59)によって定義する。
【0143】
【数48】
【0144】ここで、Dは、予め定められた適当な係数
で、式(59)は、式(58)の微分形である。式(5
9)に示した窓関数は、図5に示したような山形をして
いて、vの値が小さくなると山の幅が小さくなるように
変化する。したがって、Dを適切に選べば、ヒストグラ
ムがどのような形をしていても、w(d)がちょうど良
い幅をもつように設定できる。
で、式(59)は、式(58)の微分形である。式(5
9)に示した窓関数は、図5に示したような山形をして
いて、vの値が小さくなると山の幅が小さくなるように
変化する。したがって、Dを適切に選べば、ヒストグラ
ムがどのような形をしていても、w(d)がちょうど良
い幅をもつように設定できる。
【0145】学習の途中、たとえば N回に1回、図4
のステップS13における学習のための類似度計算の際
に上記ヒストグラムを作成するようにし、そこで求まっ
たvを使って次回以降の学習を行うようにする。
のステップS13における学習のための類似度計算の際
に上記ヒストグラムを作成するようにし、そこで求まっ
たvを使って次回以降の学習を行うようにする。
【0146】学習の過程で、分布の幅があまり変わらな
いようなケースでは最初にvの設定を行い、以降それに
基づいたw(d)によって学習を進めるような仕組みも
有効である。
いようなケースでは最初にvの設定を行い、以降それに
基づいたw(d)によって学習を進めるような仕組みも
有効である。
【0147】12)大分類対応 一般に窓関数の値の決定や辞書の更新は最大類似度を取
る正解カテゴリや不正解カテゴリについて行われるが、
大分類時には別の方法が適している。大分類とは詳細認
識に先立って行われるもので、認識候補を絞り込むため
のものである。
る正解カテゴリや不正解カテゴリについて行われるが、
大分類時には別の方法が適している。大分類とは詳細認
識に先立って行われるもので、認識候補を絞り込むため
のものである。
【0148】以下、認識候補をp個に絞り込む場合を例
にとり説明する。この場合、正解カテゴリがp位までに
入っていれば良いので、次のように学習を行わせる。
にとり説明する。この場合、正解カテゴリがp位までに
入っていれば良いので、次のように学習を行わせる。
【0149】正解カテゴリがp位までに入っている時は
p+1位のカテゴリの類似度をser、辞書をΛerとし、
そうで無いときは、p位のカテゴリの類似度をser、辞
書をΛerとする。一方、正解カテゴリの類似度をsok、
辞書をΛokとする。窓関数をw(ser、sok) とし
て、入力ベクトルと辞書データなどから求められる学習
データのD(x、Λ)を用いて、Λer、Λokについて、 漸化式 Λ’=Λ+w(R(x))D(x、Λ) によって辞書の更新を行う。
p+1位のカテゴリの類似度をser、辞書をΛerとし、
そうで無いときは、p位のカテゴリの類似度をser、辞
書をΛerとする。一方、正解カテゴリの類似度をsok、
辞書をΛokとする。窓関数をw(ser、sok) とし
て、入力ベクトルと辞書データなどから求められる学習
データのD(x、Λ)を用いて、Λer、Λokについて、 漸化式 Λ’=Λ+w(R(x))D(x、Λ) によって辞書の更新を行う。
【0150】上記の例で、正解カテゴリが大分類候補に
入っている場合には辞書の更新を行わないように制御し
ても良いし、窓関数として一定値を使うようにしても良
い。また、p位以内のすべての不正解カテゴリについて
辞書更新を行うように制御しても良いし、正解カテゴリ
が大分類候補に入っていない場合に、正解カテゴリより
上位の不正解カテゴリについて辞書の更新を行うように
しても良い。たとえば、この場合、不正解カテゴリの類
似度をser、辞書をΛerとして上記と同様にして辞書の
更新を行う。
入っている場合には辞書の更新を行わないように制御し
ても良いし、窓関数として一定値を使うようにしても良
い。また、p位以内のすべての不正解カテゴリについて
辞書更新を行うように制御しても良いし、正解カテゴリ
が大分類候補に入っていない場合に、正解カテゴリより
上位の不正解カテゴリについて辞書の更新を行うように
しても良い。たとえば、この場合、不正解カテゴリの類
似度をser、辞書をΛerとして上記と同様にして辞書の
更新を行う。
【0151】(第2の実施形態)図2は、本発明の第2
の実施形態に係るパターン認識装置の構成例を示したも
ので、前述したパターン認識辞書作成方法およびそれを
用いた図1に示したようなパターン認識辞書作成装置を
用いて作成された辞書を用いて入力パターンの認識を行
うものである。辞書データ格納部5には、前述の辞書作
成方法にて作成された辞書が格納され、認識処理部2で
は、パターン入力部1を介して入力されるパターンベク
トルに対し、辞書データ格納部5に格納された辞書デー
タを参照して、パターン認識を行い(入力パターンベク
トルと辞書データと類似度sあるいは相似度sを算
出)、類似度が最も大きいカテゴリ、あるいは、相似度
が最も小さいカテゴリを認識結果出力部6から出力する
ようになっている。
の実施形態に係るパターン認識装置の構成例を示したも
ので、前述したパターン認識辞書作成方法およびそれを
用いた図1に示したようなパターン認識辞書作成装置を
用いて作成された辞書を用いて入力パターンの認識を行
うものである。辞書データ格納部5には、前述の辞書作
成方法にて作成された辞書が格納され、認識処理部2で
は、パターン入力部1を介して入力されるパターンベク
トルに対し、辞書データ格納部5に格納された辞書デー
タを参照して、パターン認識を行い(入力パターンベク
トルと辞書データと類似度sあるいは相似度sを算
出)、類似度が最も大きいカテゴリ、あるいは、相似度
が最も小さいカテゴリを認識結果出力部6から出力する
ようになっている。
【0152】なお、上記第1〜第2の実施形態に記載し
た図1および図2の各構成部の処理は、コンピュータに
実行させることのできるプログラムとして磁気ディスク
(フロッピーディスク、ハードディスクなど)、光ディ
スク(CD−ROM、DVDなど)、半導体メモリなど
の記録媒体に格納して頒布することもできる。
た図1および図2の各構成部の処理は、コンピュータに
実行させることのできるプログラムとして磁気ディスク
(フロッピーディスク、ハードディスクなど)、光ディ
スク(CD−ROM、DVDなど)、半導体メモリなど
の記録媒体に格納して頒布することもできる。
【0153】また、本発明は上記実施形態に限定される
ものではなく、その要旨を逸脱しない範囲で種々変形し
て用いることができる。
ものではなく、その要旨を逸脱しない範囲で種々変形し
て用いることができる。
【0154】
【発明の効果】以上説明したように、本発明によれば、
認識結果に応じて適切な方向に認識辞書が更新されてい
くことが理論的に説明できる方式を用いているので、認
識辞書は学習用パターンデータに対して認識能力が逐次
改善されていく方向に変化していく。従って、高精度の
パターン認識が可能なパターン認識辞書が作成できる。
認識結果に応じて適切な方向に認識辞書が更新されてい
くことが理論的に説明できる方式を用いているので、認
識辞書は学習用パターンデータに対して認識能力が逐次
改善されていく方向に変化していく。従って、高精度の
パターン認識が可能なパターン認識辞書が作成できる。
【0155】すなわち、これまで理論的に不整合のあっ
た種々の辞書学習方式に対して理論的に整合のとれた学
習方式が提供されるので理論的に適切な最適な辞書作成
が行え、結果的に高精度なパターン認識装置を実現する
ことができる。
た種々の辞書学習方式に対して理論的に整合のとれた学
習方式が提供されるので理論的に適切な最適な辞書作成
が行え、結果的に高精度なパターン認識装置を実現する
ことができる。
【0156】また学習を高速におこなう工夫(例えば、
従来方式であるGPDのような行列Pと行列Qとの変換
を行わない)によって実用的な時間で辞書作成ができる
点でも効果的である。
従来方式であるGPDのような行列Pと行列Qとの変換
を行わない)によって実用的な時間で辞書作成ができる
点でも効果的である。
【図1】本発明の第1の実施形態に係るパターン認識辞
書作成装置の構成例を概略的に示した図。
書作成装置の構成例を概略的に示した図。
【図2】本発明の第2の実施形態に係るパターン認識装
置の構成例を概略的に示した図。
置の構成例を概略的に示した図。
【図3】図1のパターン認識辞書作成装置の処理動作を
説明するためのフローチャート。
説明するためのフローチャート。
【図4】窓関数のパラメータの設定方法にウオッチドッ
グ方式を採用する場合のパターン認識辞書作成装置の処
理動作について説明するためのフローチャート。
グ方式を採用する場合のパターン認識辞書作成装置の処
理動作について説明するためのフローチャート。
【図5】パラメータ値の変化に伴う窓関数の概形の変化
を示した図。
を示した図。
【図6】パターンベクトルの認識結果に基づく正解カテ
ゴリと不正解カテゴリの類似度の差の頻度分布の一例を
示した図。
ゴリと不正解カテゴリの類似度の差の頻度分布の一例を
示した図。
1…パターン入力部 2…認識処理部 3…辞書更新部 4…初期辞書作成部 5…辞書データ格納部 6…認識結果出力部
Claims (20)
- 【請求項1】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルに行列を掛け、
さらに該パターンベクトルの転置を掛ける計算式を含む
各カテゴリに対する該ベクトルの類似度を算出するため
の類似度計算式に従った認識結果に基づく評価式の値を
最適化する方向に前記行列を更新する漸化式に従って、
カテゴリ毎の前記行列を更新することを特徴とするパタ
ーン認識方法。 - 【請求項2】 前記カテゴリ毎の行列の初期行列は、前
記パターンベクトルの集合に基づき算出された第1の行
列と、各カテゴリに分類された前記パターンベクトルの
集合に基づき算出された各カテゴリ毎の第2の行列とか
ら算出される行列であることを特徴とする請求項1記載
のパターン認識方法。 - 【請求項3】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルに第1の行列を
掛け、さらに該パターンベクトルの転置を掛ける第1の
計算式と前記第1の行列の固有ベクトルからなる第2の
行列とに基づく各カテゴリに対する該パターンベクトル
の類似度を計算するための類似度計算式に従った認識結
果に基づく評価式の値を最適化する方向に前記第1の行
列を更新する漸化式に従って、カテゴリ毎の前記固有ベ
クトルを含む前記第1の行列を更新し、前記漸化式に
は、少なくとも認識結果として得られる正解カテゴリと
不正解カテゴリの類似度によって定まる重み値を決定す
るための関数で、前記正解カテゴリと不正解カテゴリの
類似度の差が等しい部分で高い値を取り、前記正解カテ
ゴリと不正解カテゴリの類似度の差が異なる部分で低い
値をとる窓関数を有することを特徴とするパターン認識
方法。 - 【請求項4】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルに第1のベクト
ルを減算して生成された第2のベクトルに第1の行列を
掛け、さらに第2のベクトルの転置を掛ける第1の計算
式と、前記第1の行列の固有ベクトルから前記第1のベ
クトルを減算したベクトルとに基づく前記パターンベク
トルの相違度を計算するための相違度計算式に従った認
識結果に基づく評価式の値を最適化する方向に前記第1
の行列を更新するための第1の漸化式および前記第1の
ベクトルを更新するための第2の漸化式に従って、カテ
ゴリ毎の前記固有ベクトルおよび前記カテゴリ毎の第1
のベクトルのうちの少なくとも一方を更新することを特
徴とするパターン認識方法。 - 【請求項5】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルと第1のベクト
ルとの内積の2乗項に第1の係数を乗算し、さらに第2
の係数を加算する第1の計算式を少なくとも含む各カテ
ゴリに対する前記パターンベクトルの類似度を算出する
ための類似度計算式に従った認識結果に基づく評価式の
値を最適化する方向に前記第1のベクトルを更新するた
めの漸化式に従ってカテゴリ毎の前記第1のベクトルを
更新することを特徴とするパターン認識方法。 - 【請求項6】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルと予め定められ
た制限のある辞書データとの類似度計算式に従った認識
結果に基づく第1の評価式に、さらに前記辞書データの
予め定められた制限を表した式に任意の定数を乗じたも
のを加算した第2の評価式を最適化する方向に前記辞書
データを更新するための漸化式に従ってカテゴリ毎の前
記辞書データを更新することを特徴とするパターン認識
方法。 - 【請求項7】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った認識結果に基づく評価式を最適
化する方向に前記辞書データを更新するための漸化式に
従ってカテゴリ毎の前記辞書データを更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための関数で、前記正解カテゴリと不正解カテゴ
リの類似度の差が等しい部分で高い値を取り、前記正解
カテゴリと不正解カテゴリの類似度の差が異なる部分で
低い値をとる窓関数を有し、前記辞書データを更新する
際、前記正解カテゴリと不正解カテゴリの類似度の差が
所定の範囲内の時のみに前記窓関数を用いることを特徴
とするパターン認識辞書作成方法。 - 【請求項8】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った認識結果に基づく評価式を最適
化する方向に前記辞書データを更新するための漸化式に
従ってカテゴリ毎の前記辞書データを更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための窓関数を有し、この窓関数の特性を定める
パラメータ値は、前記パターンベクトルの複数の認識結
果を比較することにより設定されることを特徴とするパ
ターン認識方法。 - 【請求項9】 入力されたパターンベクトルに基づきパ
ターン認識辞書に登録されている辞書データの更新処理
を繰り返すことにより作成されたパターン認識辞書を用
いて、入力されたパターンを認識するパターン認識方法
において、 前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った認識結果に基づく評価式を最適
化する方向に前記辞書データを更新するための漸化式に
従ってカテゴリ毎の前記辞書データを更新し、前記漸化
式には、少なくとも認識結果として得られる正解カテゴ
リと不正解カテゴリの類似度によって定まる重み値を決
定するための窓関数を有し、この窓関数の特性を定める
パラメータ値は、前記パターンベクトルの認識結果に基
づく前記正解カテゴリと不正解カテゴリの類似度に関す
る頻度分布に基づき決定されることを特徴とするパター
ン認識方法。 - 【請求項10】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新処
理を繰り返すことにより作成された大分類パターン認識
辞書を用いて、入力されたパターンを認識するパターン
認識方法において、 前記更新処理は、前記パターンベクトルと辞書データと
の類似度計算式に従った該パターンベクトルの大分類の
認識結果に基づく評価式を最適化する方向に前記辞書デ
ータを更新するための漸化式に従って正解カテゴリと不
正解カテゴリの前記辞書データを更新することを特徴と
するパターン認識方法。 - 【請求項11】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルに行列を掛け、さらに該パターン
ベクトルの転置を掛ける計算式を含む各カテゴリに対す
る該ベクトルの類似度を算出するための類似度計算式に
従った認識結果に基づく評価式の値を最適化する方向に
前記行列を更新する漸化式に従って、カテゴリ毎の前記
行列を更新させる更新手段を実行するプログラムを記録
した記録媒体。 - 【請求項12】 前記パターンベクトルの集合に基づき
算出された第1の行列と、各カテゴリに分類された前記
パターンベクトルの集合に基づき算出された各カテゴリ
毎の第2の行列とから前記カテゴリ毎の行列の初期行列
を算出させる算出手段を実行するプログラムをさらに記
憶した請求項11記載の記録媒体。 - 【請求項13】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルに第1の行列を掛け、さらに該パ
ターンベクトルの転置を掛ける第1の計算式と前記第1
の行列の固有ベクトルからなる第2の行列とに基づく各
カテゴリに対する該パターンベクトルの類似度を計算す
るための類似度計算式に従った認識結果に基づく評価式
の値を最適化する方向に前記第1の行列を更新する漸化
式に従って、カテゴリ毎の前記固有ベクトルを含む前記
第1の行列を更新させる更新手段を実行するプログラム
を記録し、前記漸化式には、少なくとも認識結果として
得られる正解カテゴリと不正解カテゴリの類似度によっ
て定まる重み値を決定するための関数で、前記正解カテ
ゴリと不正解カテゴリの類似度の差が等しい部分で高い
値を取り、前記正解カテゴリと不正解カテゴリの類似度
の差が異なる部分で低い値をとる窓関数を有することを
特徴とする記憶媒体。 - 【請求項14】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルに第1のベクトルを減算して生成
された第2のベクトルに第1の行列を掛け、さらに第2
のベクトルの転置を掛ける第1の計算式と、前記第1の
行列の固有ベクトルから前記第1のベクトルを減算した
ベクトルとに基づく前記パターンベクトルの相違度を計
算するための相違度計算式に従った認識結果に基づく評
価式の値を最適化する方向に前記第1の行列を更新する
ための第1の漸化式および前記第1のベクトルを更新す
るための第2の漸化式に従って、カテゴリ毎の前記固有
ベクトルおよび前記カテゴリ毎の第1のベクトルのうち
の少なくとも一方を更新させる更新手段を実行するプロ
グラムを記録した記録媒体。 - 【請求項15】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルと第1のベクトルとの内積の2乗
項に第1の係数を乗算し、さらに第2の係数を加算する
第1の計算式を少なくとも含む各カテゴリに対する前記
パターンベクトルの類似度を算出するための類似度計算
式に従った認識結果に基づく評価式の値を最適化する方
向に前記第1のベクトルを更新するための漸化式に従っ
てカテゴリ毎の前記第1のベクトルを更新させる更新手
段を実行するプログラムを記録した記録媒体。 - 【請求項16】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルと予め定められた制限のある辞書
データとの類似度計算式に従った認識結果に基づく第1
の評価式に、さらに前記辞書データの予め定められた制
限を表した式に任意の定数を乗じたものを加算した第2
の評価式を最適化する方向に前記辞書データを更新する
ための漸化式に従ってカテゴリ毎の前記辞書データを更
新させる更新手段を実行するプログラムを記録した記録
媒体。 - 【請求項17】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルと辞書データとの類似度計算式に
従った認識結果に基づく評価式を最適化する方向に前記
辞書データを更新するための漸化式に従ってカテゴリ毎
の前記辞書データを更新させる更新手段と、 前記辞書データを更新する際、少なくとも認識結果とし
て得られる正解カテゴリと不正解カテゴリの類似度によ
って定まる重み値を決定するための関数で、前記正解カ
テゴリと不正解カテゴリの類似度の差が等しい部分で高
い値を取り、前記正解カテゴリと不正解カテゴリの類似
度の差が異なる部分で低い値をとる窓関数を、前記正解
カテゴリと不正解カテゴリの類似度の差が所定の範囲内
の時のみに前記漸化式に適用させる手段と、 を実行するプログラムを記録した記録媒体。 - 【請求項18】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルと辞書データとの類似度計算式に
従った認識結果に基づく評価式を最適化する方向に前記
辞書データを更新するための漸化式に従ってカテゴリ毎
の前記辞書データを更新させる更新手段と、 前記漸化式の有する、少なくとも認識結果として得られ
る正解カテゴリと不正解カテゴリの類似度によって定ま
る重み値を決定するための窓関数の特性を定めるパラメ
ータ値を、前記パターンベクトルの複数の認識結果を比
較することにより設定させる設定手段と、 を実行するプログラムを記録した記録媒体。 - 【請求項19】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことによりパターン認識辞書を作成するための
プログラムを記録した機械読み取り可能な記録媒体であ
って、 前記パターンベクトルと辞書データとの類似度計算式に
従った認識結果に基づく評価式を最適化する方向に前記
辞書データを更新するための漸化式に従ってカテゴリ毎
の前記辞書データを更新させる更新手段と、 前記漸化式の有する、少なくとも認識結果として得られ
る正解カテゴリと不正解カテゴリの類似度によって定ま
る重み値を決定するための窓関数の特性を定めるパラメ
ータ値を、前記パターンベクトルの認識結果に基づく前
記正解カテゴリと不正解カテゴリの類似度に関する頻度
分布に基づき設定させる設定手段と、 を実行するプログラムを記録した記憶媒体。 - 【請求項20】 入力されたパターンベクトルに基づき
パターン認識辞書に登録されている辞書データの更新を
繰り返すことにより大分類パターン認識辞書を作成する
ためのプログラムを記録した機械読み取り可能な記録媒
体であって、 前記パターンベクトルと辞書データとの類似度計算式に
従った該パターンベクトルの大分類の認識結果に基づく
評価式を最適化する方向に前記辞書データを更新するた
めの漸化式に従って正解カテゴリと不正解カテゴリの前
記辞書データを更新させる更新手段を実行するプログラ
ムを記録した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9322883A JPH11154146A (ja) | 1997-11-25 | 1997-11-25 | パターン認識方法および記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9322883A JPH11154146A (ja) | 1997-11-25 | 1997-11-25 | パターン認識方法および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11154146A true JPH11154146A (ja) | 1999-06-08 |
Family
ID=18148689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9322883A Pending JPH11154146A (ja) | 1997-11-25 | 1997-11-25 | パターン認識方法および記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11154146A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7152050B2 (en) | 2003-02-19 | 2006-12-19 | Sony Corporation | Learning system capable of performing additional learning and robot apparatus |
-
1997
- 1997-11-25 JP JP9322883A patent/JPH11154146A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7152050B2 (en) | 2003-02-19 | 2006-12-19 | Sony Corporation | Learning system capable of performing additional learning and robot apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6622117B2 (en) | EM algorithm for convolutive independent component analysis (CICA) | |
EP0448890B1 (en) | Method of processing signal data on the basis of prinicipal component transform, apparatus for performing the method | |
US5903884A (en) | Method for training a statistical classifier with reduced tendency for overfitting | |
JPH1173406A (ja) | サポートベクトル機械を使用する方法 | |
US11494689B2 (en) | Method and device for improved classification | |
Ye et al. | Learning multiple local metrics: Global consideration helps | |
US20210090552A1 (en) | Learning apparatus, speech recognition rank estimating apparatus, methods thereof, and program | |
US20230185998A1 (en) | System and method for ai-assisted system design | |
KR20170096282A (ko) | 단어 자질 가중치를 적용한 딥 러닝 기반 개체 유형 분류 방법 | |
Wang et al. | Time-weighted kernel-sparse-representation-based real-time nonlinear multimode process monitoring | |
Bernstein et al. | Manifold learning in regression tasks | |
US6578031B1 (en) | Apparatus and method for retrieving vector format data from database in accordance with similarity with input vector | |
Wang et al. | Overparameterized random feature regression with nearly orthogonal data | |
Héas et al. | Generalized kernel-based dynamic mode decomposition | |
US20230334341A1 (en) | Method for augmenting data and system thereof | |
JPH11154146A (ja) | パターン認識方法および記録媒体 | |
Abdallah et al. | An improved training algorithm for nonlinear kernel discriminants | |
Pati et al. | Independent component analysis: a review with emphasis on commonly used algorithms and contrast function | |
US20210326705A1 (en) | Learning device, learning method, and learning program | |
Nelles et al. | Linear optimization | |
JPH11161786A (ja) | パターン認識方法および記録媒体 | |
Lampinen et al. | Fast computation of Kohonen self-organization | |
Araújo et al. | Perturbation-based classifier | |
CN113688229B (zh) | 一种文本推荐方法、***、存储介质和设备 | |
Schleif et al. | Sparsification of indefinite learning models |