JP4971830B2 - パーセプトロン学習装置、パーセプトロン学習装置におけるパラメータ学習方法、パーセプトロン学習プログラム、記録媒体 - Google Patents

Description

この発明はパターン識別に用いられるパーセプトロン学習装置、パーセプトロン装置におけるパラメータ学習方法、パーセプトロン学習プログラム、記録媒体に関する。

従来よりパターン識別（図形の識別、単語列の認識等）の分野でパーセプトロン装置が広く用いられている（非特許文献１）。系列の識別に広く用いられているパーセプトロンアルゴリズムでは、素性系列上での識別学習が行われる。
素性系列は識別対象となる系列から抽出されるベクトルである。つまり、パーセプトロンアルゴリズムは、識別対象の系列ではなく、素性系列の識別誤りが小さくなるようにパラメータの学習を行なっている。

図４に従来のパーセプトロン学習装置の構成を示す。１０−１は従来のパーセプトロン学習装置を示す。ここでは単語列を入力系列として学習する場合を例示して説明する。従来のパーセプトロン学習装置１０−１は例えば音声認識において入力音声の正解単語列（もしくは最も正解単語列に近い仮説）を正解系列y_Kとし、これに対応する他の仮説系列を学習データとして読み込むデータ入力手段１１と、パーセプトロンアルゴリズムに用いられているパラメータαの全ての値を初期値、例えばα＝{０}に設定するパラメータ初期設定手段１２と、データ入力手段１１に取り込まれた正解系列y_K及びそれに対応する仮説系列から素性値を算出する素性値算出手段１３と、ある仮説から得られた素性値とパラメータαの積和で与えられるスコアを最大化する仮説z_K ^*を求めるパーセプトロンアルゴリズム解析手段１５と、素性値算出手段１３で算出した素性値φ(y_K,i,j)とφ(z_K ^*,i,j)を用いてパラメータαの値を更新するパラメータ更新手段１７−１と、データ入力手段１１に取り込んだ学習データの全てについて学習したか否かを判定し、学習データの全てに関して再帰的に学習を実行させるループ制御手段１８とによって構成され、その学習結果としてパラメータαを出力する。

図５にパーセプトロン学習装置１０−１の処理手順を説明するためのフローチャートを示す。

ステップSP5-1で学習データ入力手段１１が学習データを取り込む。

ステップSP5-2でパラメータ初期設定手段１２がパラメータαの全ての値を初期値α＝{０}に設定する。

ステップSP5-3で素性値算出手段１３はデータ入力手段１１に取り込まれた正解系列と、それに対応する仮説系列から素性値を算出する。

ステップSP5-4でパーセプトロンアルゴリズム解析手段１５がパラメータαが与えられた条件の基で、ある仮説から得られた素性との累積加算値で与えられたスコアを最大化する仮説z_K ^*を求める。

ステップSP5-5でパラメータ更新手段１７−１は素性値φ(y_K,i,j)とφ(z_K ^*,i,j)を用いてパラメータαの値を更新する。

ステップSP5-6でループ制御手段１８は学習データの中の全ての仮説について学習を実行したか否かを判定し、学習が未である仮説が存在すれば再度ステップSP5-4に戻りパラメータαの更新を繰り返す。全ての仮説に関して処理が完了すると、予め設定した学習の繰り返し回数Ｔに達したか否かをステップSP5-7で判定し、学習の繰り返し回数がＴ回に達した時点で学習を終了する。

図６に図５に示した処理手順を実行するためのプログラムの記載例を示す。Ｌ−１は学習データの読み込みを実行する行、行Ｌ−２はパラメータαの初期化処理を行なう行、行Ｌ−４はＴ回の学習繰り返しを制御する行、行Ｌ−５は全Ｋ組の学習用データを順次適用する行、行Ｌ−６はパーセプトロンアルゴリズムの解析処理を実行する行である。この行Ｌ−６でスコアが最大化される仮説z_K ^*が求められる。行Ｌ−７に示される各素性のインデックスｊに対し、行Ｌ−８でパラメータα（ｊ）の更新処理を実行する。

ここで素性値算出手段１３で実行する素性値算出方法について説明する。
ある仮説Ｗ＝“おーい＿お茶＿ちょうだい”が与えられたとする。このとき単語の１〜３個の並びを抽出すると、“おーい”、“お茶”、“おーい＿お茶”、“ちょうだい”、“お茶＿ちょうだい”、“おーい＿お茶＿ちょうだい”が得られる。ここで素性値をその単語の並びが得られたか否かで「１」または「０」の２値で表すと、この例の場合、“おーい＿お茶”に対応する素性値φはφ(W,i=2,j=おーい＿お茶)=1となる。“おーい＿おじや”に対応する素性値φはφ(W,i=2,j=おーい＿おじや)=0である。ここでiは素性が得られた位置、ｊは素性を表すインデックスを表わす。
位置iにおける素性の例:(位置i-2から位置iの単語3つの組)、(位置i-1から位置iの単語２つの組)、(位置iの単語)

位置i=5における素性は｛(の+親+は),(親+は),(は)｝となる。

図４に示したパラメータ更新手段１７−１、図５に示したステップSP5-6で行われるパラメータ更新処理は図６に示す行L-8から明らかなように正解系列y_Kと仮説z_K ^*の双方に素性が存在するとき、更新値は「０」となり、パラメータα(ｊ)の値は更新されない。正解系列y_Kにのみ素性が存在した場合は更新値は「＋１」となり、パラメータα(ｊ)の値は＋１されプラス値側に更新される。仮説z_K ^*のみに素性が存在する場合は更新値は「−１」となり、パラメータα(ｊ)の値は−１されマイナス値側に更新される。ただし、実際の学習時には学習率η（＞０）を乗じ、±ηずつ更新される場合もある。パラメータα(ｊ)の値は６行目のパーセプトロンアルゴリズム解析時に利用され素性値φ(z_K,i,j)とパラメータα(ｊ)との積の累計加算値が最大となる仮説z_K ^*を求め、この条件を満たすパラメータα(ｊ)の値を学習値として保存し、パターン識別時に利用する。

実際のパターン識別時には、得られたパラメータαを直接利用するのではなく、平均パラメータα_ave(ｊ)=Σ_k,tα_k ^t(ｊ)/KTを用いた方がテストセットに対し頑健で精度良く解析できることが知られている。ただし、α_k ^t(ｊ)は、t番目のループにおいて、ｋ番目のデータを学習し終えた際のパラメータα(ｊ)である。
Michael Collins. "Discriminative Training Methods for Hidden Markov Models: Theory and Experiments with Perceptron Algorithms," Proceedings of the Conference on Empirical Methods for Natural Language Processing, pp. 1-8. 2002.

従来のパーセプトロンアルゴリズムでは、各系列から得られる素性系列の差が小さくなるように学習されているが、この学習方法によれば識別対象の系列ではなく、素性系列の識別誤りが小さくなるように学習を行なうことになる。この学習方法によれば素性系列の各要素の識別に関わる影響力を直接的に考慮することができないことになり、識別問題の解法として妥当ではない。

この発明の目的は識別対象となる系列の識別誤り率を小さくするこように学習を行ない、正当な識別問題の解法を提供しようとするものである。

この発明では正解系列からみた系列のスコアを最大化する仮説との差分を表す評価関数S(y_K,i,j)及び系列のスコアを最大化する仮説からみた正解系列との差分を表わす評価関数S(z_K ^*,i,j)を算出する評価関数算出手段を設け、この評価関数算出手段で算出した評価関数を素性値に乗算し、評価関数により素性値に重み付けを行ない、パラメータα(ｊ)の更新値に修正を加え、パラメータα(ｊ)の学習を適正に行わせるように構成する。

具体的にはこの発明によるパーセプトロン学習装置は正解系列と、それに対応する仮説系列の集合の組を学習データとして取り組むデータ入力手段と、パーセプトロンアルゴリズムに用いられるパラメータαの値を初期設定するパラメータ初期設定手段と、データ入力手段に取り込まれた正解系列と、それに対応する仮説系列から素性値を算出する素性値算出手段と、パラメータαが与えられた条件の基で、ある仮説から得られた素性値との積和で与えられるスコアを最大化する仮説z_K ^*を求めるパーセプトロンアルゴリズム解析手段と、正解系列からみたスコアを最大化する仮説との差分を表す評価関数S(y_K,i,j)及び、スコアを最大化する仮説からみた正解系列との差分を表す評価関数S(z_K ^*,i,j)を算出する評価関数算出手段と、素性値算出手段で算出した素性値φ(y_K,i,j)とφ(z_K ^*,i,j)にそれぞれ、評価関数算出手段で算出した評価関数S(y_K,i,j)及びS(z_K ^*,i,j)を乗算し、重み付けされたパラメータαの値を更新するパラメータ更新手段と、パーセプトロンアルゴリズム解析手段の解析処理と、パラメータ更新手段の更新処理とを全学習データに対して再帰的に実行させるループ制御手段とを備える構成とした。

この発明によるパーセプトロン学習装置は更に前記記載のパーセプトロン学習装置において、評価関数を表す差分は、正解系列とスコアを最大化する仮説との間の相対的な識別誤り率によって定めることを特徴とする。
更に、この発明によるパーセプトロン学習装置は更に前記記載のパーセプトロン学習装置において、評価関数を表す差分は、正解系列とスコアを最大化する仮説との間の相対的な識別誤り数によって定めることを特徴とする。

この発明によるパーセプトロン学習装置におけるパラメータ学習方法は、正解系列と、それに対応する仮説系列の集合の組を学習データとして取り組むデータ入力処理と、パーセプトロンアルゴリズムに用いられるパラメータαの値を初期設定するパラメータ初期設定処理と、データ入力処理に取り込まれた正解系列と、それに対応する仮説系列から素性値を算出する素性値算出処理と、パラメータαが与えられた条件の基で、ある仮説から得られた素性値との積和で与えられるスコアを最大化する仮説z_K ^*を求めるパーセプトロンアルゴリズム解析処理と、正解系列からみたスコアを最大化する仮説との差分を表す評価関数S(y_K,i,j)及び、スコアを最大化する仮説からみた正解系列との差分を表す評価関数S(z_K ^*,i,j)を算出する評価関数算出処理と、素性値算出処理で算出した素性値φ(y_K,i,j)とφ(z_K ^*,i,j)にそれぞれ、評価関数算出処理で算出した評価関数S(y_K,i,j)及びS(z_K ^*,i,j)を乗算し、重み付けされたパラメータαの値を更新するパラメータ更新処理と、パーセプトロンアルゴリズム解析処理の解析処理と、パラメータ更新処理の更新処理とを全学習データに対して再帰的に実行するループ制御処理とを含むことを特徴とする。

図７に図８に示す実験条件に従って従来のパーセプトロン学習方法で学習したパラメータを利用してパターン認識を行った場合の単語誤り率と、同様に図８に示す実験条件に従って本発明によるパーセプトロン学習装置で学習したパラメータを利用してパターン認識を行った場合の、単語誤り率を示す。図７に示す曲線Ａは従来技術による単語誤り率、曲線Ｂはこの発明による単語誤り率を示す。尚、図７において、横軸λは後に説明するスケーリングパラメータを示す。図７から明らかなようにこの発明によるパーセプトロン学習装置で学習したパラメータα(ｊ)を用いることにより低い単語誤り率を得ることができた。この結果認識性能の高い音声認識装置、或いはパターン認識装置等を構成することができる利点が得られる。

この発明によるパーセプトロン学習装置は全体をハードウェアによって構成することもできるが、最も簡素に実現するにはコンピュータにこの発明によるパーセプトロン学習プログラムをインストールし、コンピュータをパーセプトロン学習装置として機能させる実施形態が最良である。

コンピュータにこの発明によるパーセプトロン学習装置として機能させた場合、コンピュータにはコンピュータにインストールしたパーセプトロン学習プログラムにより正解系列と、それに対応する仮説系列の集合の組を学習データとして取り組むデータ入力手段と、パーセプトロンアルゴリズムに用いられるパラメータαの値を初期設定するパラメータ初期設定手段と、データ入力手段に取り込まれた正解系列と、それに対応する仮説系列から素性値を算出する素性値算出手段と、パラメータαが与えられた条件の基で、ある仮説から得られた素性値との積和で与えられるスコアを最大化する仮説z_K ^*を求めるパーセプトロンアルゴリズム解析手段と、正解系列からみたスコアを最大化する仮説との差分を表す評価関数S(y_K,i,j)及び、スコアを最大化する仮説からみた正解系列との差分を表す評価関数S(z_K ^*,i,j)を算出する評価関数算出手段と、素性値算出手段で算出した素性値φ(y_K,i,j)とφ(z_K ^*,i,j)にそれぞれ、評価関数算出手段で算出した評価関数S(y_K,i,j)及びS(z_K ^*,i,j)を乗算し、重み付けされたパラメータαの値を更新するパラメータ更新手段と、パーセプトロンアルゴリズム解析手段の解析処理と、パラメータ更新手段の更新処理とを全学習データに対して再帰的に実行させるループ制御手段とを構築し、コンピュータをパーセプトロン学習装置として機能させる実施形態が採られる。

図１にこの発明によるパーセプトロン学習装置１０−２の実施例を示す。この発明によるパーセプトロン学習装置１０−２の特徴とする構成はパーセプトロンアルゴリズム解析手段１５の後段に評価関数算出手段１６を設けた点と、この評価関数算出手段１６で算出した評価関数を用いてパラメータ更新手段は、重み付けされたパラメータ更新処理を実行する重み付けパラメータ更新手段１７−２とした点である。

図２に示すフローチャートではステップＳＰ１−５で実行する評価関数算出処理と、ステップＳＰ１−６で実行する重み付け乗算に基づくパラメータαの更新処理に特徴を有する。その他の構成は図４に示した従来のパーセプトロン学習装置１０−１と、図５に示したフローチャートと同じであるから、ここではこの発明の特徴とする部分についてのみ説明することにする。

従来のパーセプトロンアルゴリズムでは単に素性系列の差を小さくするように学習していたが、しかし、識別対象となる系列とは異なるため、各素性が識別対象となる系列(x_k,y_k)の識別誤り率に対しどの程度影響するかを考慮し、この誤り率を小さくするように学習を行った方が、問題の性質を陽に表現しているといえる。

そこで、この発明では各素性の識別誤りへの影響力を表現する評価関数S(z,i,j)を導入し、評価関数Sを用いて素性値φに重み付けを施し、パラメータα(ｊ)の更新値に修正を加える。
ここで評価関数算出手段１４で実行する評価関数の算出方法について説明する。この例では各素性の抽出範囲における正解系列y_kと仮説z_kとの相対的な単語不一致数にしたがって評価関数Sを算出する例を示す。

・正解系列y_kの位置i_yk=5における各素性の相対的な単語不一致数S(y_k,i=5,(の+親+は))=2,S(y_k,i=5,(親+は))=1,S(y_k,i=5,(は))=1,
・ 仮説z_kの位置i_zk=4における各素性の相対的な単語不一致数S(z_k,i=4,(私+親+と))=2,S(z_k,i=4,(親+と))=1,S(z_k,i=4,(と))=1,
これらの単語不一致数Ｓが重み付けパラメータ更新手段１７−２に引き渡され、図３に示す行Ｌ−８で素性値φ(y_k,i,j)とφ(z_k ^*,i,j)のそれぞれに乗算され、重み付けされたパラメータα(ｊ)としてその数値を更新する。
重み付けされたパラメータα(ｊ)を行なう行Ｌ−８で実行するパーセプトロンアルゴリズム解析に用いることにより正解率の高い仮説を検出できることとなり、良質のパラメータα(ｊ)の学習効果を得ることができる。

上述では評価関数を正解系列と仮説との間の相対的な単語不一致数を基に算出したが、誤り率を用いることができる。誤り率とは先に説明した不一致の単語数と、素性抽出範囲の単語数との比で求めること等もできる。但し、評価関数Sを不一致の単語数で求める場合には整数演算のみで処理できるから、高速演算が可能であるが、単語の不一致発生率を基に評価関数Sを算出する場合には小数点を含む演算が必要となる不利益が発生する。

学習で得られたパラメータα(ｊ)の利用例
以下に学習で得られたパラメータα(ｊ)を用いたパーセプトロンアルゴリズムの利用例を説明する。ここでは音声認識結果の認識精度をパーセプトロンアルゴリズム解析によって更に高めることを目的とした利用方法について説明する。
音声認識装置では複数の仮説を出力する。各仮説には既に

が付されている。一般に音声認識装置はこの

が最も大きい仮説を最尤仮説とし、認識結果として出力している。
パーセプトロンアルゴリズムを適用する場合、各仮説に付加されている

をパーセプトロンアルゴリズム解析によりリスコアし、リスコアの結果最も大きいスコアが得られる仮説を最終的な認識結果とするものである（参考文献１）。

つまり、

となる仮説z_K ^*を最終認識結果とする。λは音声認識の

とパーセプトロンのスコアΣ_i,jφ(z_K,i,j)・α(ｊ)のスケーリングを調整するパラメータであり、図７の横軸に付したスケーリングパラメータである。図７に示した例ではこのλの値を変化させ、リスコアの精度を評価する。この発明では単語誤り率がスケーリングパラメータλの値の変化に対して鋭敏である。これはこの発明において評価関数S(z,i,j)の値が大きい場合にパーセプトロンのパラメータαの値が大きく振れるため、一部のデータサンプルにオーバーフィッティングする可能性があり、その影響であると考えられる。そのための学習データが少ない場合に、従来のパーセプトロンアルゴリズムを採用した場合より単語誤り率が高くなる可能性もある。しかしながら充分なデータ量を確保できれば図７に示した結果のように単語誤り率をさらに改善することができる。

参考文献１ Brian Roark, Murat Saraclar, Michael Collins “Corrective Language Modeling for Large Vocablary ASR with the Perceptron Algorithm,” Proceedings of ICASSP, Vol.1, pp. 749-752. 2004.
参考文献2 Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, Hitoshi Isahara. ”Spontaneous Speech Corpus of Japanese,”Proceedings of The Second International Conference on Language Resources and Evaluation,pp.947-952.2000

音声認識結果の更なる精度向上に活用することができる。

この発明によるパーセプトロン学習装置の一実施例を説明するためのブロック図。 この発明によるパーセプトロン学習装置におけるパラメータ学習方法の手順を説明するためのフローチャート。 この発明によるパーセプトロン学習プログラムの概要を説明するための図。 従来のパーセプトロン学習装置を説明するためのブロック図。 従来のパーセプトロン学習装置におけるパラメータ学習方法の手順を説明するためのフローチャート。 従来のパーセプトロン学習プログラムの概要を説明するための図。 この発明の効果を説明するための実験例を示すグラフ。 図７に示した実験結果の実験条件を説明するための図。

符号の説明

１０−１ 従来のパーセプトロン学習装置
１０−２ この発明によるパーセプトロン学習装置
１１ データ入力手段
１２ パラメータ初期設定手段
１３ 素性値算出手段
１５ パーセプトロンアルゴリズム解析手段
１６ 評価関数算出手段
１７−１ パラメータ更新手段
１７−２ 重み付きパラメータ更新手段
１８ ループ制御手段

Claims (6)

1. 正解系列と、それに対応する仮説系列の集合の組を学習データとして取り組むデータ入力手段と、
   パーセプトロンアルゴリズムに用いられるパラメータαの値を初期設定するパラメータ初期設定手段と、
   前記データ入力手段により取り込まれた正解系列及びそれに対応する仮説系列とから素性値を算出する素性値算出手段と、
   前記パラメータαが与えられた条件の基で、ある仮説から得られた素性値との積和で与えられるスコアを最大化する仮説z_K ^*を求めるパーセプトロンアルゴリズム解析手段と、
   iを素性が得られた系列中の位置を表すインデックスとし、jを素性を表すインデックスとし、前記正解系列y _K の位置iにおけるインデックスjの素性と、前記スコアを最大化する仮説z _K ^* における前記正解系列の素性と対応する素性との差分を表す評価関数S(y_K,i,j)及び、前記スコアを最大化する仮説z _K ^* の位置iにおけるインデックスjの素性と、前記正解系列y _K における前記仮説の素性と対応する素性との差分を表す評価関数S(z_K ^*,i,j)を算出する評価関数算出手段と、
   前記素性値算出手段で算出した素性値φ(y_K,i,j)とφ(z_K ^*,i,j)にそれぞれ、前記評価関数算出手段で算出した評価関数S(y_K,i,j)及びS(z_K ^*,i,j)を乗算し、重み付けされたパラメータαの値を更新するパラメータ更新手段と、
   前記パーセプトロンアルゴリズム解析手段の解析処理と、前記パラメータ更新手段の更新処理とを全学習データに対して再帰的に実行させるループ制御手段と、
   を備える構成としたことを特徴とするパーセプトロン学習装置。
2. 請求項１記載のパーセプトロン学習装置において、前記評価関数を表す差分は、前記正解系列と前記スコアを最大化する仮説との間の相対的な識別誤り率によって定めることを特徴とするパーセプトロン学習装置。
3. 請求項１記載のパーセプトロン学習装置において、前記評価関数を表す差分は、前記正解系列と前記スコアを最大化する仮説との間の相対的な識別誤り数によって定めることを特徴とするパーセプトロン学習装置。
4. 正解系列と、それに対応する仮説系列の集合の組を学習データとして取り組むデータ入力処理と、
   パーセプトロンアルゴリズムに用いられるパラメータαの値を初期設定するパラメータ初期設定処理と、
   前記データ入力処理により取り込まれた正解系列及びそれに対応する仮説系列とから素性値を算出する素性値算出処理と、
   前記パラメータαが与えられた条件の基で、ある仮説から得られた素性値との積和で与えられるスコアを最大化する仮説z_K ^*を求めるパーセプトロンアルゴリズム解析処理と、
   iを素性が得られた系列中の位置を表すインデックスとし、jを素性を表すインデックスとし、前記正解系列y _K の位置iにおけるインデックスjの素性と、前記スコアを最大化する仮説z _K ^* における前記正解系列の素性と対応する素性との差分を表す評価関数S(y_K,i,j)及び、前記スコアを最大化する仮説z _K ^* の位置iにおけるインデックスjの素性と、前記正解系列y_K における前記仮説の素性と対応する素性との差分を表す評価関数S(z_K ^*,i,j)を算出する評価関数算出処理と、
   前記素性値算出処理で算出した素性値φ(y_K,i,j)とφ(z_K ^*,i,j)にそれぞれ、前記評価関数算出処理で算出した評価関数S(y_K,i,j)及びS(z_K ^*,i,j)を乗算し、重み付けされたパラメータαの値を更新するパラメータ更新処理と、
   前記パーセプトロンアルゴリズム解析処理の解析処理と、前記パラメータ更新処理の更新処理とを全学習データに対して再帰的に実行するループ制御処理と、
   を含むことを特徴とするパーセプトロン学習装置におけるパラメータ学習方法。
5. コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項１乃至３の何れかに記載のパーセプトロン学習装置として機能させるパーセプトロン学習プログラム。
6. コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項５記載のパーセプトロン学習プログラムを記録した記録媒体。

Images