JP2545982B2 - パターン認識方法および標準パターン学習方法 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声信号などのように特徴ベクトルの時系列
として表されるパターンを認識するパターン認識方法に
関する。

（従来の技術） 音声などのベクトル時系列を認識する方式として、隠
れマルコフモデル（以下、「HMM」と略記する）がよく
知られている。HMMではベクトル時系列がマルコフ確率
過程によって生成されたとしてモデル化している。HMM
の標準パターンは複数の状態とその状態間の遷移で表さ
れており、各状態はあらかじめ決められた確率分布に従
ってパターンベクトルを出力し、状態間の遷移にはあら
かじめ決められた遷移確率が付随している。入力パター
ンと標準パターンの間の距離は、標準パターンであるマ
ルコフ確率モデルが入力パターンベクトル列を生成する
尤度によって与えられる。HMMの詳細に関しては「確率
モデルによる音声認識」（電子情報通進学会編、中川聖
一著、1988年）に解説されている。

（発明が解決しようとする問題点） HMMはパターンベクトル系列がマルコフ確率過程に従
って生成されたことを仮定してモデル化を行なっている
ために、パターンベクトル系列のベクトル間の時間的相
関は隣接フレーム間の相関だけしか考慮されていない。
したがって、音声パターンなどにおける時間的に離れた
相関、たとえば、発声の前半部の発声速度と後半部の発
声速度の間の相関などを直接モデル化することは困難で
ある。

またHMMは「パターンベクトル系列の時間的な構造」
と「各ベクトルのベクトル空間内の分布」を独立にモデ
ル化しているために、音声パターンなどにおける発声の
時間的構造と各時点のスペクトルパターンベクトルの間
の相互依存性（相関）を考慮にいれたモデル化を行なう
ことが難しい。

本発明の目的は認識対象とするパターンベクトル系列
の時間構造における任意の長さの時間的相関と、時間構
造と各ベクトルのベクトル空間内の分布の間の相関を取
り入れることができるような表現能力の高い標準パター
ンのモデルを用いたパターン認識方法と、学習用のパタ
ーンベクトル系列から自動学習によって標準パターンモ
デルを構築することができるような学習方法を提供する
ことにある。

（問題点を解決するための手段） 本発明は音声などのように特徴ベクトルの時系列とし
て表されたパターンを認識するパターン認識方法で、各
認識対象カテゴリ毎に順序づけられた状態モデルから構
成される標準パターンを有し、各状態モデルは固定長の
パターンベクトル列と過去の予測の際に出力された状態
ベクトルを入力として予測パターンベクトルと新しい状
態ベクトルを出力する機能を有し、認識時には入力パタ
ーンを部分的に分割して前記状態モデルを各部分列に割
り当てて、各部分列の始点から順次固定長のパターンベ
クトル列を切り出して割り当てられた状態モデルに入力
して予測パターンベクトル部分列を算出し、各状態モデ
ルによる予測パターンベクトル部分列を連結して得られ
る予測パターンベクトル系列と入力パターンベクトル系
列の間の予測誤差を最小にするような入力パターンの部
分列への分割を選び出し、その時の予測誤差を入力パタ
ーンと該標準パターンとの距離とすることを特徴とす
る。

標準パターンを学習により構成する標準パターン学習
方法は、状態モデルのパラメータの初期値を設定し、カ
テゴリ既知の学習パターンと同カテゴリの標準パターン
の間の予測誤差を認識時と同様の手順で算出し、この予
測誤差を必ず減少させる方向に各状態モデルのパタメー
タを微小量修正する機能を有し、予測誤差の算出とパラ
メータの修正を繰り返し行なうことにより標準パターン
を作成することを特徴とする。

（作用） 本発明のパターン認識方法および標準パターン学習方
法では、各認識対象カテゴリの標準パターンは順序づけ
られた複数の状態モデルから構成されている。基本単位
となる状態モデルは固定長のパターンベクトル列と過去
の予測のときに出力された状態ベクトルを入力として、
予測パターンベクトルと新しい状態ベクトルを出力す
る。この状態モデルは一種の予測器として動作し、時刻
ｔまでの入力パターンベクトル系列から次の時刻ｔ＋１
に出現すべきパターンベクトルと予測して出力する。さ
らにより良い予測を行なうために複数の予測器を予測誤
差が最小になるように動的計画法などを用いて適応的に
切り替えて、最適な予測を行なう。認識には入力パター
ンベクトル列と入力パターンベクトル列から予測された
予測パターンベクトル列の間の予測誤差（２乗距離な
ど）を距離として用いる。標準パターンの学習は予測誤
差を評価関数とした最急降下法を用いて行なう。

以下に本発明のパターン認識方法および標準パターン
学習方法の詳細を説明する。説明では音声パターンを認
識する場合を中心に議論することにする。その他の時系
列パターンに対しても音声パターンの部分をパターンベ
クトル列に読み変えれば同様に適用できる。

基本単位となる状態モデル（予測器）は時刻ｔまでの
入力音声の特徴ベクトル系列（a₁a₂…a_t）から次の時刻
ｔ＋１に出現するべき特徴ベクトルA_t+1を予測する。過
去の特徴ベクトルの履歴を予測器に与える方法としては
入力音声から切り出した過去の固定長の特徴ベクトル列
を入力するFIRフィルタ的な方法と、これにさらフィー
ドバックを導入して等価的に無限の過去の特徴ベクトル
を入力するIIRフィルタ的な方法とがある。FIRフィルタ
的な状態モデルはIIRフィルタ的な状態モデルにおい
て、フィードバックのパタラメータを０にした特別な場
合と考えられるので以下ではIIRフィルタ的な状態モデ
ル（予測器）に関して説明する。

単語ｓ（ｓ＝1,…,S）の標準パターンモデルの第ｎ番
目の状態モデル（ｎ＝1,…,N_s）の特性は次式で与えら
れる。

ここで、A_t+1（s,n）は時刻ｔ＋１の予測ベクトルh
_t+1（s,n）は時刻ｔ＋１の予測A_t+1（s,n）の際に出力
された状態ベクトル、ｆ（・）、ｇ（・）はそれぞれパ
ラメータX,Yによって特徴づけられる非線形のベクトル
値関数である。ここでX,Yはそれぞれ複数のパラメータ
を代表して表している。予測に用いる固定長のベクトル
列として表記を簡単にするために上式では１フレーム分
のベクトルa_tだけを与えているが、ここに３フレームの
ベクトル（a_t-2a_t-1a_t）を与えることも可能で、本方法
は複数フレームにしても全く同様に適用することができ
る。

また、状態モデルとして再帰型ニューラルネットワー
ク（「PDPモデル」産業図書、1989年、357頁に解説があ
る）を用いる場合は状態モデルの特性は次式で与えられ
る。

ここでｆ（・）は引き数のベクトルの各成分にシグモ
イド関数を適用して得られるベクトル、Ｕ（s,n）,V
（s,n）,W（s,n）はニューラルネットワークのユニット
間結合係数行列で、式（１）のパラメータX,Yに対応し
ており、式（２）は式（１）の特別な場合であることは
容易にわかる。この場合状態ベクトルh_t+1（s,n）はニ
ューラルネットワークの隠れ層の出力値の組に対応す
る。第１図に再帰型ニューラルネットワークを用いた状
態モデルを示す。

式（１）または（２）におては、入力に１フレーム前
の予測の際に出力された状態ベクトルh_t（s,n）を与え
ることによってフィードバックを実現しており、状態ベ
クトルh_t（s,n）を介して、予測には時刻ｔ以前の無限
の過去のベクトル系列が反映されている。以下では表記
を簡単にするために式（２）で表される状態モデル（再
帰型ニューラルネットワーク）を用いた場合に関して説
明するが、より一般的な式（１）の場合も以下の説明は
全く同様に成り立つ。

式（１）で定義される状態モデルの集合で表される標
準パターン（単語モデル）を用いて未知入力音声を認識
するアルゴリズムを述べる。未知入力音声を分析して得
られる長さＴの特徴ベクトル系列をa₁,a₂,…a_Tとする。
このとき入力音声と単語ｓのモデルの間の距離Ｄ（ｓ）
を次式で定義する。

ここで記号||・||はベクトルのノルム、ｎ（ｔ）は長
さＴの入力音声をN_s個の状態で分担して予測する際の分
割を定めるものでｎ（ｔ）は時刻ｔの予測に使われる状
態の番号ｎ（ｎ＝１…N_s）を表している。このｎ（ｔ）
は次の条件を満たす単調非減少関数である。

式（３），（４）を満足するようなｎ（ｔ）は第２図
の平面上での動的計画法（DPマッチング、文献「確率モ
デルによる音声認識」前出に詳しい）で容易に求めるこ
とができる。

しかしここでDPパス１に対応する状態間の遷移が生じ
たときの境界点（第２図の で表された格子点）での処理には注意を要する。即ち各
状態は独立した予測器であるが、予測のために１フレー
ム前の時点での状態ベクトルを必要とするので、状態間
の遷移が生じた場合はその境界点でどちらの状態の状態
ベクトルを用いるのかあらかじめ定めておかなければな
らない。以下の説明では、接続される可能性のあるすべ
ての状態の状態ベクトルの次元数を等しくしておき、境
界点では１フレーム前の予測の際に出力された状態ベク
トルをそのまま用いることにする。

次に境界点処理も含めた基本的な認識アルゴリズムを
示しておく。

・初期条件（ｔ＝１） H₁（s,1）＝ｆ（Ｕ（s,1）a₁） ……（A1） A₁（s,1）＝ｆ（Ｗ（s,1）H₁（s,1）） ……（A2） ｇ（s,1,1）＝||A₁（s,1）−a₁||² ……（A3） ・漸化式（１＜ｔ≦T,p＝（0,1）） h_t（s,n,p）＝ｆ（Ｕ（s,n）a_t-1＋Ｖ（s,n）H_t-1（s,n
−ｐ）） ……（B1） A_t（s,n,p）＝ｆ（Ｗ（s,n）h_t（s,n,p）） ……（B2） ｄ（s,t,n,p）＝||A_t（s,n,p）−a_t||² ……（B3） ｇ（s,t,n,p）＝［ｄ（s,t,n,p）＋ｇ（s,t,n−ｐ）］
……（B4） ｇ（s,t,n）＝min_p＝（0,1）［ｇ（s,t,n,p）］……（B
5） Ｐ＝argmin_p［ｇ（s,t,n,p）］ ……（B6） H_t（s,n）＝h_t（s,n,p） ……（B7） ・認識結果σ Ｄ（ｓ）＝ｇ（s,T,N_s） ……（C1） σ＝argmin_s［Ｄ（ｓ）］ ……（C2） 時刻ｔ＝１では過去の情報はないのでここでは入力a1
から同じ時刻の予測ベクトルA₁（s,1）を予測してい
る。これは入力a1のコピーをa₀としているのと同じこと
である。ｇ（s,1,1）は始端格子点（t,n）＝（1,1）で
の累積距離である。

漸化式において変数ｐはDPパスを表し、ｐ＝０がパス
０、ｐ＝１がパス１を表している。各格子点（t,n）で
はパス０とパス１のそれぞれに対応する隠れユニットの
出力h_t（s,n,p）を算出し、対応する予測ベクトルA
_t（s,n,p）とその入力特徴ベクトルa_tとの間の距離ｄ
（s,t,n,p）をそれぞれ計算しておき、DP漸化式（B
4），（B5）によって最適なDPパスＰと累積距離ｇ（s,
t,n）を求める。また最適経路上の予測に用いられた状
態ベクトルh_t（s,n,P）を格子点（t,n）における状態ベ
クトルH_t（s,n）として格納する。

認識はｇ（s,t,N_s）を単語ｓと力音声の間の距離Ｄ
（ｓ）として、認識対象単語の中で最小の距離を与える
単語σを認識結果とする。

また以上の説明から知れるように本方法では、隣接す
る状態モデルの間に直接の依存性がないために、複数の
標準パターンを連結して新たな標準パターンとして連続
音声を認識することが可能である。さらにこの場合、累
積結果を入力音声のフレームに同期して計算でき、累積
距離がフレーム数の増加に関して加法的に増加するの
で、有限状態オートマトン制御クロック同期伝播型DP法
（「クロック同期伝播DP法による連続音声認識の検討」
追江、亘理、音声研究会資料S81−65、1981年12月）を
用いて連続音声認識を非常に効率よく行なうことが可能
になる。

次に標準パターンのモデルを学習によって自動的に構
築する標準パターン学習方法について説明する。単語ｓ
のモデルをM_s個の学習用音声（単語ｓのM_s回発声ｍ＝１
…M_s）から学習するアルゴリズムは次の通りである。モ
デルのパラメータ（ニューラルネットワークの場合はユ
ニット間結合行列、閾値など）はあらかじめ乱数などで
初期化しておく。学習は最急降下法（岩波講座情報科学
「最適化」1982年）によるパラメータの繰り返し修正に
よって行なう。ｋ回目の繰り返しにおけるパラメータの
修正前の平均の予測誤差D_k（ｓ）を次式で定義する。

ここでA_t（s,n（ｔ）,m,k）は単語ｓのｍ番目の学習
データ（a₁（ｍ）…a_Tm（ｍ））を入力として、単語ｓ
のｎ（ｔ）番目の状態モデルが出力した予測ベクトルで
ある。平均予測誤差を減少させるためには、式（７）の
計算から得られる最適なDP経路上（学習データパターン
系列の最適な分割ｎ（ｔ）上）で最急降下法を行なえば
良い。すなわち、各状態モデルの出力ベクトルAt（s,n
（ｔ）,m,k）に対して、教師信号ベクトルa_t（ｍ）とし
て、２つのベクトル間の誤差（２乗距離など）を減少さ
せるように最急降下法によってパラメータを微小量修正
する。パラメータＸの修正量δＸは次式で与えられる。

ここでδは微小な正の定数である。状態モデルとして
再帰型ニューラルネットワークを用いた場合は、この最
急降下法はバックプロパゲーション学習（「PDPモデ
ル」前出）と完全に一致する。パラメータの微小量修正
の後に上記のDP経路ｎ（ｔ）上での平均予測差の値をＤ
_k,bp（ｓ）とすると、最急降下法の性質上必ず平均予測
誤差は減少しているはずである。

D_k（ｓ）≧Ｄ_k,bp（ｓ） （８） この時点ではモデルのパラメータが修正されたために
修正前と同じDP経路ｎ（ｔ）は最適な経路（最小の予測
誤差を与える経路）ではなくなっている。そこでｋ＋１
回目の繰り返しにおけるパラメータ修正前の平均予測誤
差D_k+1（ｓ）を計算すると修正されたパラメータに関す
る最適なDP経路が求められる。DPの最適性から次式が成
り立つ。

Ｄ_k,bp（ｓ）≧D_k+1（ｓ） （９） よって以上の式（８）−（９）から、繰り返し学習に
よって平均予測誤差は必ず減少することがわかる。

D_k+1（ｓ）≦D_k（ｓ） （10） このように学習の最適性が保証されるのは、予測誤差
と状態モデルの出力の誤差が同じ２次形式で、DPマッチ
ングとバックプロパゲーション学習がそれぞれこの誤差
を減少させるように働くからである。

また誤認識を減少させるために有効な学習法（反例学
習と呼ぶことにする）として、標準パターンの属するカ
テゴリとは異なるカテゴリの学習パターンを用いて、式
（７）のパラメータ修正量δＸの符号を反転させること
を除いて上記と同様の繰り返し学習を行なうことによっ
て、異なるカテゴリの入力音声に対しては予測誤差が大
きくなるような標準パターンを構成することが可能であ
る。

以上述べたように本発明によれば、状態ベクトルを介
したフィードバックを導入したことにより、認識対象と
するパターンベクトル系列の時間構造における任意の長
さの時間的相関をモデル化することができるようにな
る。また状態モデルが状態ベクトルと固定長パターンベ
クトルを一つの非線形関数への入力として処理を行なう
ため、パターンベクトル系列内の時間構造と各ベクトル
空間内の構造の間の相関もモデル内に表現することが可
能となる。さらに上記の最急降下法に基づく標準パター
ン学習方式により学習用のパターンベクトル系列から自
動学習によって標準パターンモデルを構築することがで
きるようになる。

（実施例） 第３図は本発明のパターン認識方法による認識のフロ
ーチャートを示すもので、長さＴの入力パターンベクト
ル系列および、標準パターンモデルのパラメータは外部
から与えられているとする。このフローチャートは作用
の中で説明した認識アルゴリズム（以下認識アルゴリズ
ムと呼ぶ）を具体化したものであり、変数などの表記は
そこで与えたものに従うことにする。以下流れに沿って
説明する。

ステップ101から103でカウンターの初期設定を行な
う。ステップ104は入力パターンの始端点を検出し、始
点であればステップ109に、そうでなければステップ105
へ分岐する。ステップ109で認識アルゴリズムの中の初
期条件の式（A1）から（A3）の計算を行なう。ステップ
105ではDPパスを示す変数ｐを０にして（DPパス０に対
応）、ステップ106で認識アルゴリズムの中の漸化式の
式（B1）から（B4）の計算を行なう。ステップ107でｐ
を１増やして、ｐが１を超えるまでふたたびステップ10
6で漸化式計算を行なう。ステップ110では２つのDPパス
ｐ＝０とｐ＝１に対応する累積距離の値を比較して、ス
テップ111〜112で小さい方のDPパスを最適パスＰとす
る。ステップ113では最適DPパス上の累積距離おおび状
態ベクトルを設定する（認識アルゴリズムの中の漸化始
の式（B5），（B7）に対応）。ステップ114で状態番号
ｎをインクリメントし、単語ｓの終状態N_sに達していな
ければに戻って繰り返し計算を続ける。

ステップ116では単語番号ｓをインクリメントし、単
語数の最大値Ｓに達していなければに戻って繰り返し
計算を続ける。ステップ118ではフレーム番号ｔをイン
クリメントし、入力パターンの終端点に達していなけれ
ばに戻って計算を続ける。入力パターンの終端点に達
していれば、ステップ120で認識アルゴリズムの中の認
識結果の式（B1），（B2）に従って認識結果を選出す
る。

このフローチャートより明らかなようにステップ101
から119までの間の処理はすべて入力パターンの１フレ
ーム内で行なうことができるので、入力パターンの時間
軸に沿ってフレームに同期して処理を進めることができ
る。このことを利用すれば、音声認識などで発声が終ら
ない内に処理を進めることができ、原理的には発声が終
わってから終端点の１フレーム分だけの処理時間で認識
を行なうことができ、実時間性に優れた認識システムを
構築することができる。

また連続音声認識を実現するためには標準パターンと
して、複数のカテゴリの標準パターンを並べたパターン
を連結標準パターンとして用いて、上記の認識処理を行
ない、予測誤差が最小になる連結標準パターンを認識結
果とする。

第４図は本発明の標準パターン学習方法による学習の
フローチャートを示したものである。以下処理の流れに
沿って説明する。ステップ401はモデルのパラメータを
初期設定する。ステップ402から404はカウンターを初期
化している。ｋは繰り返し学習の回数を表すカウンター
で１からＫまで、ｓは単語番号で１からＳまで、ｍは学
習データの番号で１からM_sまでの値をとる。ステップ40
5では学習回数ｋ回目で単語ｓのｍ番目のデータに対す
る予測誤差D_k（s,m）を減少させるように最急降下法で
モデルパラメータδＸの修正量を算出する。ステップ40
6は前記修正量に従ってパラメータを修正する。ステッ
プ407から412は繰り返し計算のカウンターのインクリメ
ントおよび繰り返しの終了判定を行なう。

反例学習を行なう場合には、第４図のステップ405で
計算される修正量の符号を反転すればよい。

（発明の効果） 以上述べたように本発明によれば、認識対象とするパ
ターンベクトル系列の時間構造における任意の長さの時
間的相関と、時間構造と各ベクトル空間内の構造の間の
相関を考慮した表現能力の高い標準パターンのモデルを
用いたパターン認識方法と、学習用のパターンベクトル
系列から自動学習によって標準パターンモデルを構築す
ることができるような学習方法を提供することができ
る。

【図面の簡単な説明】

第１図は再帰型ニューラルネットワークによる状態モデ
ルの構成例を示す図、第２図は単語標準パターンと入力
パターンの間の予測誤差の算出に動的計画法（DPマッチ
ング）を用いる際のマッチング平面を示した図、第３図
は本発明のパターン認識方法によって時系列パターンを
認識するためのフローチャートを示す図、第４図は本発
明の標準パターン学習方法によって学習データから標準
パターンを自動作成するためのフローチャートを示す図
である。

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】特徴ベクトルの時系列として表されたパタ
   ーンを認識するパターン認識方法で、各認識対象カテゴ
   リ毎に順序づけられた状態モデルから構成される標準パ
   ターンを有し、各状態モデルは固定長のパターンベクト
   ル列と過去の予測の際に出力された状態ベクトルを入力
   として予測パターンベクトルと新しい状態ベクトルを出
   力する機能を有し、認識時には入力パターンを部分列に
   分割して前記状態モデルを各部分列に割り当てて、各部
   分列の始点から順次固定長のパターンベクトル列を切り
   出して割り当てられた状態モデルに入力して予測パター
   ンベクトル部分列を算出し、各状態モデルによる予測パ
   ターンベクトル部分列を連結して得られる予測パターン
   ベクトル系列と入力パターンベクトル系列の間の予測誤
   差を最小にするような入力パターンの部分列への分割を
   選び出し、その時の予測誤差を入力パターンと該標準パ
   ターンとの距離とすることを特徴とするパターン認識方
   法。
2. 【請求項２】請求項１記載のパターン認識方法におい
   て、動的計画法を用いて予測誤差を最小にするような入
   力パターンの部分列への分割を選び出すことを特徴とす
   るパターン認識方法。
3. 【請求項３】請求項１記載のパターン認識方法におい
   て、状態モデルとして複数のパラメータによって特徴づ
   けられる非線形関数を用いることを特徴とするパターン
   認識方法。
4. 【請求項４】請求項３記載のパターン認識方法におい
   て、非線形関数として再帰型のニューラルネットワーク
   モデルを用いることを特徴とするパターン認識方法。
5. 【請求項５】請求項３記載のパターン認識方法における
   状態モデルを学習により構成する標準パターン学習方法
   で、状態モデルのパラメータの初期値を設定し、カテゴ
   リ既知の学習パターンと同カテゴリの標準パターンの予
   測誤差を認識時と同様の手順で算出し、この予測誤差を
   必ず減少させる方向に各状態モデルのパラメータを微小
   量修正する機能を有し、予測誤差の算出とパラメータの
   修正を繰り返し行うことを特徴とする標準パターン学習
   方法。
6. 【請求項６】請求項３記載のパターン学習方法における
   状態モデルを学習により構成する標準パターン学習方法
   で、状態モデルのパラメータの初期値を設定し、標準パ
   ターンの学習の際に該標準パターンとは異なるカテゴリ
   の学習パターンとの間の予測誤差を認識時と同様の手順
   で算出し、この予測誤差を必ず増加させる方向に各状態
   モデルのパラメータを微小量修正する機能を有し、予測
   誤差の算出とパラメータの修正を繰り返し行うことを特
   徴とする標準パターン学習方法。
7. 【請求項７】特徴ベクトルの時系列として表された音声
   パターンを認識する連続音声認識方法で各認識対象カテ
   ゴリ毎に順序づけられた状態モデルから構成される標準
   パターンを有し、各状態モデルは固定長のパターンベク
   トル列と過去の予測の際に出力された状態ベクトルを入
   力として予測パターンベクトルと新しい状態ベクトルを
   出力する機能を有し、認識時には複数の標準パターンを
   並べて連結標準パターンとし、入力パターンを部分列に
   分割して前記連結標準パターンの状態モデルを各部分列
   に割り当てて、各部分列の始点から順次固定長のパター
   ンベクトル列を切り出して割り当てられた状態モデルに
   入力して予測パターンベクトル部分列を算出し、各状態
   モデルによる予測パターンベクトル部分列を連結して得
   られる予測パターンベクトル系列と入力パターンベクト
   ル系列の間の予測誤差を最小にするような入力パターン
   の部分列への分割を選び出し、その時の予測誤差を入力
   パターンと該連結標準パターンとの距離とすることを特
   徴とするパターン認識方法。