JP2001083986A - 統計モデル作成方法 - Google Patents
統計モデル作成方法Info
- Publication number
- JP2001083986A JP2001083986A JP26193599A JP26193599A JP2001083986A JP 2001083986 A JP2001083986 A JP 2001083986A JP 26193599 A JP26193599 A JP 26193599A JP 26193599 A JP26193599 A JP 26193599A JP 2001083986 A JP2001083986 A JP 2001083986A
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning data
- likelihood
- learning
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 本発明は、選択した学習データのみを用いて
統計モデルを学習させて精度を向上することを目的とし
ている。 【解決手段】 ＨＭＭを学習する際にその学習データの
尤度を計算し、その尤度を基準として学習データを選択
し、その選択した結果の学習データを用いて音響モデル
を生成するようにする。
統計モデルを学習させて精度を向上することを目的とし
ている。 【解決手段】 ＨＭＭを学習する際にその学習データの
尤度を計算し、その尤度を基準として学習データを選択
し、その選択した結果の学習データを用いて音響モデル
を生成するようにする。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば音声、文
字、図形などのような認識すべき対象を、統計モデル、
例えば隠れマルコフモデル（Hidden Markov Model,以下
ＨＭＭと記す）（例えば中川他“確率モデルにおける音
声認識”，電子情報通信学会，１９９７）、を用いて表
現するパターン認識において、モデル作成時に尤度を用
いてモデル作成時の学習データを選択することによっ
て、頑健で高性能なモデルを作成し、この統計モデルを
用いて認識実行時の認識率の向上を目指し、かつＨＭＭ
作成時間を短縮できる統計モデル作成方法に関する。
字、図形などのような認識すべき対象を、統計モデル、
例えば隠れマルコフモデル（Hidden Markov Model,以下
ＨＭＭと記す）（例えば中川他“確率モデルにおける音
声認識”，電子情報通信学会，１９９７）、を用いて表
現するパターン認識において、モデル作成時に尤度を用
いてモデル作成時の学習データを選択することによっ
て、頑健で高性能なモデルを作成し、この統計モデルを
用いて認識実行時の認識率の向上を目指し、かつＨＭＭ
作成時間を短縮できる統計モデル作成方法に関する。
【０００２】
【従来の技術】本発明は、音声を例に説明しているが、
入力音声データが如何なるカテゴリに属するかを認識す
るに当たって、当該入力音声データの特徴を統計モデル
で表して、当該統計モデル（以下では、説明をより具体
的にするためにＨＭＭと記すが、他のいかなる統計（確
率）モデル、例えばニューラルネット等であってもよ
い）を用いた様々なパターン認識をする場合に作成する
モデルにおいて適用可能である。
入力音声データが如何なるカテゴリに属するかを認識す
るに当たって、当該入力音声データの特徴を統計モデル
で表して、当該統計モデル（以下では、説明をより具体
的にするためにＨＭＭと記すが、他のいかなる統計（確
率）モデル、例えばニューラルネット等であってもよ
い）を用いた様々なパターン認識をする場合に作成する
モデルにおいて適用可能である。
【０００３】音声認識では、学習用音声データから求め
たＨＭＭ（音素モデル、音節モデル、単語モデルなど）
と入力音声データとを照合して両者の整合の程度を尤度
として求め、認識結果を得る。ＨＭＭのパラメータは学
習用音声データを収録した条件（背景雑音、回線歪み、
話者など）に大きく依存する。したがって、この音声収
録条件と実際の認識時が異なる場合、入力音声パターン
とＨＭＭとの不整合が生じ、結果として認識率が低下す
る。
たＨＭＭ（音素モデル、音節モデル、単語モデルなど）
と入力音声データとを照合して両者の整合の程度を尤度
として求め、認識結果を得る。ＨＭＭのパラメータは学
習用音声データを収録した条件（背景雑音、回線歪み、
話者など）に大きく依存する。したがって、この音声収
録条件と実際の認識時が異なる場合、入力音声パターン
とＨＭＭとの不整合が生じ、結果として認識率が低下す
る。
【０００４】
【発明が解決しようとする課題】入力音声データとＨＭ
Ｍとの不整合による認識率の低下を防ぐには、認識を実
行する際の条件と同じ条件で収録した音声データを用い
て、モデルを作成すれば良い。しかし、ＨＭＭのような
統計的手法に基づくモデルは、作成処理に時間がかかる
（約４００時間以上）。またこれら音声データの中に
は、評価の対象となる音声データ（以下、評価データと
記す）と大きく特性が異なるものが含まれている。この
ような音声を学習に用いた場合、ＨＭＭの精度が悪化す
る恐れがある。
Ｍとの不整合による認識率の低下を防ぐには、認識を実
行する際の条件と同じ条件で収録した音声データを用い
て、モデルを作成すれば良い。しかし、ＨＭＭのような
統計的手法に基づくモデルは、作成処理に時間がかかる
（約４００時間以上）。またこれら音声データの中に
は、評価の対象となる音声データ（以下、評価データと
記す）と大きく特性が異なるものが含まれている。この
ような音声を学習に用いた場合、ＨＭＭの精度が悪化す
る恐れがある。
【０００５】本発明は、上記に鑑みてなされたもので、
その目的とするところは、ＨＭＭを学習する際にその学
習データの尤度を計算し、その尤度を基準として学習デ
ータを選択する方法を提供することによって認識率を向
上させ、かつＨＭＭ作成時間を短縮する事にある。
その目的とするところは、ＨＭＭを学習する際にその学
習データの尤度を計算し、その尤度を基準として学習デ
ータを選択する方法を提供することによって認識率を向
上させ、かつＨＭＭ作成時間を短縮する事にある。
【０００６】
【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明では、入力データに対応する入
力ベクトル時系列に対し、各認識カテゴリの特徴を表現
した統計モデルを用いて、各認識カテゴリに対する尤度
を計算し、最も尤度の高い統計モデルが表現するカテゴ
リを認識結果として出力するパターン認識において、モ
デル作成時に用いる学習データを、学習データの尤度を
求めるための予備統計モデルを作成し、この予備統計モ
デルを用いて、学習データに学習データと同じカテゴリ
を与えた場合での尤度を求めて、その学習データの尤度
を判断基準として選択し、選択した学習データのみを用
いて統計モデルを学習するようにする。
め、請求項１記載の発明では、入力データに対応する入
力ベクトル時系列に対し、各認識カテゴリの特徴を表現
した統計モデルを用いて、各認識カテゴリに対する尤度
を計算し、最も尤度の高い統計モデルが表現するカテゴ
リを認識結果として出力するパターン認識において、モ
デル作成時に用いる学習データを、学習データの尤度を
求めるための予備統計モデルを作成し、この予備統計モ
デルを用いて、学習データに学習データと同じカテゴリ
を与えた場合での尤度を求めて、その学習データの尤度
を判断基準として選択し、選択した学習データのみを用
いて統計モデルを学習するようにする。
【０００７】請求項１記載の発明では、このように認識
時の判断基準である尤度を用い、学習データの正解に対
する尤度を求め、閾値を設けて学習データの取捨選択を
行う。
時の判断基準である尤度を用い、学習データの正解に対
する尤度を求め、閾値を設けて学習データの取捨選択を
行う。
【０００８】請求項２記載の発明では、学習データの選
択の基準に尤度値を閾値として用いて、尤度が閾値以上
の入力データを取捨選択する。
択の基準に尤度値を閾値として用いて、尤度が閾値以上
の入力データを取捨選択する。
【０００９】また請求項３記載の発明では、学習データ
の選択の基準に、入力データを尤度の高い順番に並べ、
上位のデータを用いるようにする。
の選択の基準に、入力データを尤度の高い順番に並べ、
上位のデータを用いるようにする。
【００１０】
【発明の実施の形態】図１Ａは、３状態のＨＭＭの例を
示す。この様なモデルを音声単位（カテゴリ）ごとに作
成する。各状態Ｓ１からＳ３には、音声特徴パラメータ
の統計的な分布Ｄ１からＤ３がそれぞれ付与される。例
えば、これが音素モデルであるとすると、第１状態は音
素の始端付近、第２状態は中心付近、第３状態は終端付
近の特徴量の統計的な分布を表現する。
示す。この様なモデルを音声単位（カテゴリ）ごとに作
成する。各状態Ｓ１からＳ３には、音声特徴パラメータ
の統計的な分布Ｄ１からＤ３がそれぞれ付与される。例
えば、これが音素モデルであるとすると、第１状態は音
素の始端付近、第２状態は中心付近、第３状態は終端付
近の特徴量の統計的な分布を表現する。
【００１１】ＨＭＭの各状態の特徴量分布は、複雑な分
布形状を表現するために、複数の連続確率分布（以下、
混合連続分布と記す）の合成されたものとして表現され
る場合が多い。連続確率分布には、様々な分布が考えら
れるが、正規分布が用いられる場合が多い。また、それ
ぞれの正規分布は、特徴量と同じ次元数の多次元無相関
正規分布で表現されることが多い。
布形状を表現するために、複数の連続確率分布（以下、
混合連続分布と記す）の合成されたものとして表現され
る場合が多い。連続確率分布には、様々な分布が考えら
れるが、正規分布が用いられる場合が多い。また、それ
ぞれの正規分布は、特徴量と同じ次元数の多次元無相関
正規分布で表現されることが多い。
【００１２】図１Ｂは混合連続分布の例を示す。この図
では平均値ベクトルがμ1 、分散値がσ1 である正規分
布Ｎ（μ1 ，σ1 ）と同様なＮ（μ2 ，σ2 ）と同様な
Ｎ（μ3 ，σ3 ）との３つの正規分で表現された場合と
して示されている。例えば分布Ｄ１の如き分布が図１Ｂ
に示す如き３つの正規分で表現されたものとして与えら
れる。
では平均値ベクトルがμ1 、分散値がσ1 である正規分
布Ｎ（μ1 ，σ1 ）と同様なＮ（μ2 ，σ2 ）と同様な
Ｎ（μ3 ，σ3 ）との３つの正規分で表現された場合と
して示されている。例えば分布Ｄ１の如き分布が図１Ｂ
に示す如き３つの正規分で表現されたものとして与えら
れる。
【００１３】時刻ｔの入力特徴ベクトル Ｘt ＝（Ｘt,1, Ｘt,2, … Ｘt,p ）T （Ｐは総次元
数） に対する混合連続分布ＨＭＭの状態での出力確率ｂ（Ｘ
t ）は、
数） に対する混合連続分布ＨＭＭの状態での出力確率ｂ（Ｘ
t ）は、
【００１４】
【数１】
【００１５】のように計算される。ここでＷk は状態に
含まれるｋ番目の多次元正規分布ｋに対する重み係数を
表す。多次元正規分布ｋに対する確率密度Ｐk （Ｘt ）
は
含まれるｋ番目の多次元正規分布ｋに対する重み係数を
表す。多次元正規分布ｋに対する確率密度Ｐk （Ｘt ）
は
【００１６】
【数２】
【００１７】のように計算される。ここでμk は状態の
ｋ番目の多次元正規分布ｋに対する平均値ベクトル、Σ
k は同じく共分散行列を表す。共分散行列が対角成分の
み、つまり対角共分散行列であるとすると、Ｐ
k （Ｘt ）の対数値は、
ｋ番目の多次元正規分布ｋに対する平均値ベクトル、Σ
k は同じく共分散行列を表す。共分散行列が対角成分の
み、つまり対角共分散行列であるとすると、Ｐ
k （Ｘt ）の対数値は、
【００１８】
【数３】
【００１９】と表せる。
【００２０】ここでμk,i は状態の第ｋ番目の多次元正
規分布の平均値ベクトルの第ｉ番目の成分を，σk,i は
状態の第ｋ番目の多次元正規分布の共分散行列の第ｉ番
目の対角成分（分散値）を表す。このように尤度はＨＭ
Ｍと音声データの類似度とを表す。
規分布の平均値ベクトルの第ｉ番目の成分を，σk,i は
状態の第ｋ番目の多次元正規分布の共分散行列の第ｉ番
目の対角成分（分散値）を表す。このように尤度はＨＭ
Ｍと音声データの類似度とを表す。
【００２１】図２は音響モデル作成のフローチャートを
示す。音声データを音響分析部で分析し、その音声に対
応する正解ラベルを用いて、ＨＭＭは上記のＷ、μ、σ
を推定するように初期音響モデルから作成される。
示す。音声データを音響分析部で分析し、その音声に対
応する正解ラベルを用いて、ＨＭＭは上記のＷ、μ、σ
を推定するように初期音響モデルから作成される。
【００２２】音声データとして例えば「あらゆる現実・
・・」や「テレビゲームや・・・」の如きデータが与え
られるとき、正解ラベル（音韻列）として上記夫々の音
声データに対応する「ａｒａｙｕｒｕ・・・」や「ｔｅ
ｌｅｂｉ・・・」が用意される。そして、例えば「ａ」
や「ｒ」や・・・の夫々に対応して、学習の結果で得ら
れるべき音響モデルのいわば見本として、初期音響モデ
ルが用意される。
・・」や「テレビゲームや・・・」の如きデータが与え
られるとき、正解ラベル（音韻列）として上記夫々の音
声データに対応する「ａｒａｙｕｒｕ・・・」や「ｔｅ
ｌｅｂｉ・・・」が用意される。そして、例えば「ａ」
や「ｒ」や・・・の夫々に対応して、学習の結果で得ら
れるべき音響モデルのいわば見本として、初期音響モデ
ルが用意される。
【００２３】図示の初期音響モデルは、例えば「ａ」に
対応して、２６次元でかつ４混合で３状態のものとし
て、合計３１２個の正規分布 Ｎ（μ1 ，σ1 ），Ｎ（μ2 ，σ2 ）・・・・・Ｎ（μ312 ，σ312 ） を指定すべく μ1 （平均） ０．０；σ1 （分散） １．０ μ2 （平均） ０．０；σ2 （分散） １．０ ・・・ が指示される。図示の学習部は、（ｉ）夫々の音声デー
タについて音響分析部にて分析して得た線形予測分析
（ＬＰＣ）ケプストラムや他のＭＦＣＣ（メルケプスト
ラム）等と、（ii）正解ラベルと、（iii)初期音響モデ
ルとを与えられて、学習の結果で、例えば「ａ」が μ1 （平均） ０．０１；σ1 （分散） ０．２ μ2 （平均）−０．０３；σ2 （分散） ０．０４ ・・・ の如き複数個の正規分布の合成されたもので代表される
ものであることを得る。
対応して、２６次元でかつ４混合で３状態のものとし
て、合計３１２個の正規分布 Ｎ（μ1 ，σ1 ），Ｎ（μ2 ，σ2 ）・・・・・Ｎ（μ312 ，σ312 ） を指定すべく μ1 （平均） ０．０；σ1 （分散） １．０ μ2 （平均） ０．０；σ2 （分散） １．０ ・・・ が指示される。図示の学習部は、（ｉ）夫々の音声デー
タについて音響分析部にて分析して得た線形予測分析
（ＬＰＣ）ケプストラムや他のＭＦＣＣ（メルケプスト
ラム）等と、（ii）正解ラベルと、（iii)初期音響モデ
ルとを与えられて、学習の結果で、例えば「ａ」が μ1 （平均） ０．０１；σ1 （分散） ０．２ μ2 （平均）−０．０３；σ2 （分散） ０．０４ ・・・ の如き複数個の正規分布の合成されたもので代表される
ものであることを得る。
【００２４】なお、以後の認識処理に当たっては、認識
対象となる入力データ中の例えば「ａ」について、上記
と同様な音響モデルを得た上で、正解となる「ａ」につ
いての音響モデルとの距離を計算して、当該入力データ
中の上記「ａ」が正解「ａ」に対応するものであると認
識するようにする。
対象となる入力データ中の例えば「ａ」について、上記
と同様な音響モデルを得た上で、正解となる「ａ」につ
いての音響モデルとの距離を計算して、当該入力データ
中の上記「ａ」が正解「ａ」に対応するものであると認
識するようにする。
【００２５】図示学習部における学習処理は、従来公知
の （ｉ）学習アルゴリズム（離散ＨＭＭ） （ii）学習アルゴリズム（多次元正規分布） （iii)学習アルゴリズム（混合正規分布） （iv）学習アルゴリズム（半連続ＨＭＭ） などを用いることができる。当該夫々のアルゴリズムに
ついては、鹿野清宏、中村哲、伊勢史郎著、発行者 阿
井國昭、発行所 株式会社昭晃堂 １９９７年１１月１
０日初版１刷発行「音声・音情報のディジタル信号処理
（ディジタル信号処理シリーズ５）」の第７４頁ないし
第７９頁に解説されており、本発明者は実験に当たっ
て、上記の「学習アルゴリズム（混合正規分布）」を用
いた。
の （ｉ）学習アルゴリズム（離散ＨＭＭ） （ii）学習アルゴリズム（多次元正規分布） （iii)学習アルゴリズム（混合正規分布） （iv）学習アルゴリズム（半連続ＨＭＭ） などを用いることができる。当該夫々のアルゴリズムに
ついては、鹿野清宏、中村哲、伊勢史郎著、発行者 阿
井國昭、発行所 株式会社昭晃堂 １９９７年１１月１
０日初版１刷発行「音声・音情報のディジタル信号処理
（ディジタル信号処理シリーズ５）」の第７４頁ないし
第７９頁に解説されており、本発明者は実験に当たっ
て、上記の「学習アルゴリズム（混合正規分布）」を用
いた。
【００２６】図３は認識のフローチャートを示す。認識
では、図３のように、認識候補のモデルについて、尤度
計算を入力音声の各フレームの特徴量ベクトルに対して
行い、得られる全音声の累積をフレーム数で割った尤度
の対数値と認識候補とが記述されている単語辞書を用
い、認識結果を出力する。
では、図３のように、認識候補のモデルについて、尤度
計算を入力音声の各フレームの特徴量ベクトルに対して
行い、得られる全音声の累積をフレーム数で割った尤度
の対数値と認識候補とが記述されている単語辞書を用
い、認識結果を出力する。
【００２７】即ち、図３に示す「音響モデル」として図
２において得られている「音響モデル」が使用され、評
価データ（即ち、認識対象となる入力データ）例えば
「でもやる事について男女の差はありません」や「日米
関係は重要であろう」・・・などが与えられて、音響分
析部で上述のＬＰＣケプストラムが得られた上で、認識
部に供給される。
２において得られている「音響モデル」が使用され、評
価データ（即ち、認識対象となる入力データ）例えば
「でもやる事について男女の差はありません」や「日米
関係は重要であろう」・・・などが与えられて、音響分
析部で上述のＬＰＣケプストラムが得られた上で、認識
部に供給される。
【００２８】上述の如く、音響モデルを用意した上で
「単語辞書」と対応づけて認識処理が行われるが、本発
明では従来技術より好ましい「音響モデル」が得られ
る。
「単語辞書」と対応づけて認識処理が行われるが、本発
明では従来技術より好ましい「音響モデル」が得られ
る。
【００２９】認識部においては、音響分析部からのＬＰ
Ｃケプストラムを用いて得た音響モデルと上述の図２に
示す如き「音響モデル」との距離を計算して、例えば
「ｄ」「ｅ」「ｍ」「ｏ」「ｙ」「ａ」・・・について
の認識を得て、「単語辞書」を利用して、「認識結果」
を得る。
Ｃケプストラムを用いて得た音響モデルと上述の図２に
示す如き「音響モデル」との距離を計算して、例えば
「ｄ」「ｅ」「ｍ」「ｏ」「ｙ」「ａ」・・・について
の認識を得て、「単語辞書」を利用して、「認識結果」
を得る。
【００３０】上述した如く、音響モデルを用意した上で
「単語辞書」と対応づけて認識処理が行われるが、本発
明では、より好ましい「音響モデル」を得られる。
「単語辞書」と対応づけて認識処理が行われるが、本発
明では、より好ましい「音響モデル」を得られる。
【００３１】即ち本発明では認識時の判断基準である尤
度を用い、学習データの正解に対する尤度を求め、閾値
を設けて学習データの取捨選択を行う。このように尤度
を判断基準とすることで、正解ラベルが間違っているデ
ータや、雑音を含むデータや、音声が途中で切れている
データなどを除外する事ができる。
度を用い、学習データの正解に対する尤度を求め、閾値
を設けて学習データの取捨選択を行う。このように尤度
を判断基準とすることで、正解ラベルが間違っているデ
ータや、雑音を含むデータや、音声が途中で切れている
データなどを除外する事ができる。
【００３２】図４は尤度を基準とした学習データ選択の
フローチャートを示す。尤度を求めるために用いる「音
響モデル１（ＨＭＭ１）」を学習するための「学習デー
タ１」と、認識用の「音響モデル２（ＨＭＭ２）」を学
習するためのデータで選択対象である「学習データ２」
とを用意する。このとき学習データ２は学習データ１を
含んでも含まなくても良い。
フローチャートを示す。尤度を求めるために用いる「音
響モデル１（ＨＭＭ１）」を学習するための「学習デー
タ１」と、認識用の「音響モデル２（ＨＭＭ２）」を学
習するためのデータで選択対象である「学習データ２」
とを用意する。このとき学習データ２は学習データ１を
含んでも含まなくても良い。
【００３３】まずは学習データ１を用いて予備ＨＭＭ１
（「音響モデル１」）を作成する。ここで作成した予備
ＨＭＭ１を用いて、学習データ２の各データに対して正
解（例えば正解音素列）を与えた時の尤度を求める。次
にこの尤度に閾値を設け、閾値以上の尤度がある学習デ
ータ２’を選び出して、認識処理のための音響モデル２
を生成する。
（「音響モデル１」）を作成する。ここで作成した予備
ＨＭＭ１を用いて、学習データ２の各データに対して正
解（例えば正解音素列）を与えた時の尤度を求める。次
にこの尤度に閾値を設け、閾値以上の尤度がある学習デ
ータ２’を選び出して、認識処理のための音響モデル２
を生成する。
【００３４】図５は学習データを尤度の閾値により選択
するフローチャートを示す。図５においては「学習デー
タ２」として、「予防や健康管理リハビリテーション・
・・」や「出口のない・・・」の如きものが任意に与え
られる。そして、「音響分析部」によりＬＰＣケプスト
ラムを得て、「音響モデル１（図２の「音響モデル」；
図４の「音響モデル１」）」を用い、「正解ラベル」
（図２の如き正解ラベル）を用いて、「尤度計算部」に
て尤度を計算する。
するフローチャートを示す。図５においては「学習デー
タ２」として、「予防や健康管理リハビリテーション・
・・」や「出口のない・・・」の如きものが任意に与え
られる。そして、「音響分析部」によりＬＰＣケプスト
ラムを得て、「音響モデル１（図２の「音響モデル」；
図４の「音響モデル１」）」を用い、「正解ラベル」
（図２の如き正解ラベル）を用いて、「尤度計算部」に
て尤度を計算する。
【００３５】その結果で学習データ選択部が、「学習デ
ータ２」として入力した各学習データについて、尤度の
高いものから順に並べる。図示の場合No.3の「わずかな
収入をやりくりして」が尤度「７９．６」を得、No.5の
ものが尤度「７７．７」を得、No.2の「出口のない・・
・」が尤度「７４．８」を得・・・ていることが判った
とき、「学習データ２’」（図４の「学習データ
２’」）としてNo.3のもの、No.5のもの、No.2のもの、
No.6のもの、No.1のもの、No.7のものが夫々尤度として
「７０」以上であったとして選択される。
ータ２」として入力した各学習データについて、尤度の
高いものから順に並べる。図示の場合No.3の「わずかな
収入をやりくりして」が尤度「７９．６」を得、No.5の
ものが尤度「７７．７」を得、No.2の「出口のない・・
・」が尤度「７４．８」を得・・・ていることが判った
とき、「学習データ２’」（図４の「学習データ
２’」）としてNo.3のもの、No.5のもの、No.2のもの、
No.6のもの、No.1のもの、No.7のものが夫々尤度として
「７０」以上であったとして選択される。
【００３６】図６は学習データを尤度の上位ｘ％により
選択するフローチャートを示す。上位数％から数十％の
学習データを選択し、学習データ２’を作成する。即
ち、図６の場合には、尤度の高いものから、全体の上位
ｘ％の学習データを選択する。図示の場合には、No.3の
もの、No.5のもの、No.2のもの、No.6のもの、No.1のも
のが上位ｘ％に入るものとして選択されている。即ち
「学習データ２’」として選択されている。
選択するフローチャートを示す。上位数％から数十％の
学習データを選択し、学習データ２’を作成する。即
ち、図６の場合には、尤度の高いものから、全体の上位
ｘ％の学習データを選択する。図示の場合には、No.3の
もの、No.5のもの、No.2のもの、No.6のもの、No.1のも
のが上位ｘ％に入るものとして選択されている。即ち
「学習データ２’」として選択されている。
【００３７】上記の手法いずれかにより「学習データ
２’」を選択し、この学習データ２’を用いて再び図４
に示す如く、「音響モデル２（ＨＭＭ２）」を作成す
る。
２’」を選択し、この学習データ２’を用いて再び図４
に示す如く、「音響モデル２（ＨＭＭ２）」を作成す
る。
【００３８】この学習の際、閾値の設定により学習デー
タ２’の量を調節する事が出来、ＨＭＭ２の作成に必要
な時間を調節する事が可能になる。
タ２’の量を調節する事が出来、ＨＭＭ２の作成に必要
な時間を調節する事が可能になる。
【００３９】学習データ選択の効果を見る為に音声認識
実験を行った。ＨＭＭを作成する際に用いているマシン
はSun Ultra Enterprise ４５０MHz である。学習デー
タはニュース放送音声を用いており、評価にはニュース
音声５０文を認識させている。語彙サイズは２００００
語である。実験結果を
実験を行った。ＨＭＭを作成する際に用いているマシン
はSun Ultra Enterprise ４５０MHz である。学習デー
タはニュース放送音声を用いており、評価にはニュース
音声５０文を認識させている。語彙サイズは２００００
語である。実験結果を
【００４０】
【表１】
【００４１】に表す。学習データ１については選択を行
っていない、６６６６文を用いて３００時間かけて学習
したモデルの認識率は９３．２３％で、本発明の学習デ
ータ選択により３８９４文を用いて２４０時間かけて学
習したモデルの認識率は９３．７９％となった。上記の
ように本発明による学習データ選択を行うことでＨＭＭ
の作成時間は６０時間短縮され、また認識率も０．５６
％の改善が見られた。
っていない、６６６６文を用いて３００時間かけて学習
したモデルの認識率は９３．２３％で、本発明の学習デ
ータ選択により３８９４文を用いて２４０時間かけて学
習したモデルの認識率は９３．７９％となった。上記の
ように本発明による学習データ選択を行うことでＨＭＭ
の作成時間は６０時間短縮され、また認識率も０．５６
％の改善が見られた。
【００４２】
【発明の効果】以上説明した如く、本発明によれば、Ｈ
ＭＭを作成する場合においては学習データを特に尤度を
用いて選択する事によって、認識率が向上し、かつＨＭ
Ｍを作成する際の時間を短縮することが出来る。また学
習データとして一般に特定の話者ならびに発声状態の音
声が用いられうる。かかる音声によって作成された音響
モデルを使用して音声認識を行うと学習時とは特性の異
なる音声に対して認識率が著しく低下する。しかし、本
発明では予め学習されたモデルとの尤度を計算し、尤度
が異常な値をとる音声を学習データとして使用すること
が避けられる。そのため、作成された音響モデルを用い
た認識率の低下を抑制することが可能になる。
ＭＭを作成する場合においては学習データを特に尤度を
用いて選択する事によって、認識率が向上し、かつＨＭ
Ｍを作成する際の時間を短縮することが出来る。また学
習データとして一般に特定の話者ならびに発声状態の音
声が用いられうる。かかる音声によって作成された音響
モデルを使用して音声認識を行うと学習時とは特性の異
なる音声に対して認識率が著しく低下する。しかし、本
発明では予め学習されたモデルとの尤度を計算し、尤度
が異常な値をとる音声を学習データとして使用すること
が避けられる。そのため、作成された音響モデルを用い
た認識率の低下を抑制することが可能になる。
【図１】ＨＭＭについて説明する図である。
【図２】音響モデルを作成するフローを示す。
【図３】認識処理のフローを示す。
【図４】本発明による学習データの選択を行うフローを
示す。
示す。
【図５】学習データの選択に当たって尤度の閾値を用い
る例を示す。
る例を示す。
【図６】学習データの選択に当たって尤度の上位ｘ％を
採用するようにした例を示す。
採用するようにした例を示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松永 昭一 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5D015 GG04 HH03 HH04 HH14
Claims (3)
- 【請求項１】 入力データに対応する入力ベクトル時系
列に対し、各認識カテゴリの特徴を表現した統計モデル
を用いて、各認識カテゴリに対する尤度を計算し、最も
尤度の高い統計モデルが表現するカテゴリを認識結果と
して出力するパターン認識において、 モデル作成時に用いる学習データを、学習データの尤度
を求めるための予備統計モデルを作成し、この予備統計
モデルを用いて、学習データに学習データと同じカテゴ
リを与えた場合での尤度を求めて、その学習データの尤
度を判断基準として選択し、選択した学習データのみを
用いて統計モデルを学習することを特徴とする統計モデ
ル作成方法。 - 【請求項２】 請求項１において、学習データの選択の
基準に尤度値を閾値として用いて、尤度が閾値以上の入
力データを用いるようにしたことを特徴とする統計モデ
ル作成方法。 - 【請求項３】 請求項１において、学習データの選択の
基準に、入力データを尤度の高い順番に並べ、上位のデ
ータを用いるようにしたことを特徴とする統計モデル作
成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26193599A JP3525082B2 (ja) | 1999-09-16 | 1999-09-16 | 統計モデル作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26193599A JP3525082B2 (ja) | 1999-09-16 | 1999-09-16 | 統計モデル作成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001083986A true JP2001083986A (ja) | 2001-03-30 |
| JP3525082B2 JP3525082B2 (ja) | 2004-05-10 |
Family
ID=17368742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26193599A Expired - Lifetime JP3525082B2 (ja) | 1999-09-16 | 1999-09-16 | 統計モデル作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3525082B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007065533A (ja) * | 2005-09-02 | 2007-03-15 | Advanced Telecommunication Research Institute International | 音響モデル生成装置、およびプログラム |
| JP2008241970A (ja) * | 2007-03-27 | 2008-10-09 | Kddi Corp | 話者適応装置、話者適応方法及び話者適応プログラム |
| JP2009128490A (ja) * | 2007-11-21 | 2009-06-11 | Nippon Telegr & Teleph Corp <Ntt> | 学習データ選択装置、学習データ選択方法、プログラムおよび記録媒体、音響モデル作成装置、音響モデル作成方法、プログラムおよび記録媒体 |
| JP2009251510A (ja) * | 2008-04-10 | 2009-10-29 | Nippon Hoso Kyokai <Nhk> | 音響処理装置およびプログラム |
| JP2014109698A (ja) * | 2012-12-03 | 2014-06-12 | Nippon Telegr & Teleph Corp <Ntt> | 話者適応化装置、話者適応化方法、プログラム |
| JP2016161762A (ja) * | 2015-03-02 | 2016-09-05 | 日本電信電話株式会社 | 学習データ生成装置、方法及びプログラム |
| JP6280997B1 (ja) * | 2016-10-31 | 2018-02-14 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 疾患の罹患判定装置、疾患の罹患判定方法、疾患の特徴抽出装置及び疾患の特徴抽出方法 |
| JP2020123198A (ja) * | 2019-01-31 | 2020-08-13 | 中国電力株式会社 | 予測システム、予測方法 |
| JP2021026406A (ja) * | 2019-08-01 | 2021-02-22 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2021131528A (ja) * | 2020-02-19 | 2021-09-09 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム |
-
1999
- 1999-09-16 JP JP26193599A patent/JP3525082B2/ja not_active Expired - Lifetime
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007065533A (ja) * | 2005-09-02 | 2007-03-15 | Advanced Telecommunication Research Institute International | 音響モデル生成装置、およびプログラム |
| JP4654452B2 (ja) * | 2005-09-02 | 2011-03-23 | 株式会社国際電気通信基礎技術研究所 | 音響モデル生成装置、およびプログラム |
| JP2008241970A (ja) * | 2007-03-27 | 2008-10-09 | Kddi Corp | 話者適応装置、話者適応方法及び話者適応プログラム |
| JP2009128490A (ja) * | 2007-11-21 | 2009-06-11 | Nippon Telegr & Teleph Corp <Ntt> | 学習データ選択装置、学習データ選択方法、プログラムおよび記録媒体、音響モデル作成装置、音響モデル作成方法、プログラムおよび記録媒体 |
| JP2009251510A (ja) * | 2008-04-10 | 2009-10-29 | Nippon Hoso Kyokai <Nhk> | 音響処理装置およびプログラム |
| JP2014109698A (ja) * | 2012-12-03 | 2014-06-12 | Nippon Telegr & Teleph Corp <Ntt> | 話者適応化装置、話者適応化方法、プログラム |
| JP2016161762A (ja) * | 2015-03-02 | 2016-09-05 | 日本電信電話株式会社 | 学習データ生成装置、方法及びプログラム |
| WO2018079840A1 (ja) * | 2016-10-31 | 2018-05-03 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 疾患の罹患判定装置、疾患の罹患判定方法及び疾患の罹患判定プログラム |
| JP6280997B1 (ja) * | 2016-10-31 | 2018-02-14 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 疾患の罹患判定装置、疾患の罹患判定方法、疾患の特徴抽出装置及び疾患の特徴抽出方法 |
| JP2018077814A (ja) * | 2016-10-31 | 2018-05-17 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 疾患の罹患判定装置、疾患の罹患判定方法、疾患の特徴抽出装置及び疾患の特徴抽出方法 |
| JPWO2018079840A1 (ja) * | 2016-10-31 | 2019-09-19 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 疾患の罹患判定装置、疾患の罹患判定方法及び疾患の罹患判定プログラム |
| JP7021097B2 (ja) | 2016-10-31 | 2022-02-16 | 株式会社Preferred Networks | 疾患の罹患判定装置、疾患の罹患判定方法及び疾患の罹患判定プログラム |
| JP2020123198A (ja) * | 2019-01-31 | 2020-08-13 | 中国電力株式会社 | 予測システム、予測方法 |
| JP7342369B2 (ja) | 2019-01-31 | 2023-09-12 | 中国電力株式会社 | 予測システム、予測方法 |
| JP2021026406A (ja) * | 2019-08-01 | 2021-02-22 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP7406885B2 (ja) | 2019-08-01 | 2023-12-28 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2021131528A (ja) * | 2020-02-19 | 2021-09-09 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム |
| US11646016B2 (en) | 2020-02-19 | 2023-05-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for recognizing user intention, device, and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3525082B2 (ja) | 2004-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0831456B1 (en) | Speech recognition method and apparatus therefor | |
| Reynolds et al. | Robust text-independent speaker identification using Gaussian mixture speaker models | |
| US6868380B2 (en) | Speech recognition system and method for generating phonotic estimates | |
| US9972306B2 (en) | Method and system for acoustic data selection for training the parameters of an acoustic model | |
| EP0470245B1 (en) | Method for spectral estimation to improve noise robustness for speech recognition | |
| JP2002500779A (ja) | 識別訓練されたモデルを用いる音声認識システム | |
| JP3299408B2 (ja) | 動的特徴を使用した音声認識方法及び装置 | |
| CN106847259B (zh) | 一种音频关键词模板的筛选和优化方法 | |
| JPH09160584A (ja) | 音声適応化装置および音声認識装置 | |
| EP0709826B1 (en) | Pattern recognition method | |
| JP3298858B2 (ja) | 低複雑性スピーチ認識器の区分ベースの類似性方法 | |
| WO2022148176A1 (en) | Method, device, and computer program product for english pronunciation assessment | |
| JP3130524B2 (ja) | 音声信号認識方法およびその方法を実施する装置 | |
| US7133827B1 (en) | Training speech recognition word models from word samples synthesized by Monte Carlo techniques | |
| Lai et al. | Phone-aware LSTM-RNN for voice conversion | |
| JP2001083986A (ja) | 統計モデル作成方法 | |
| JP5091202B2 (ja) | サンプルを用いずあらゆる言語を識別可能な識別方法 | |
| Martinčić-Ipšić et al. | Croatian large vocabulary automatic speech recognition | |
| JP2982689B2 (ja) | 情報量基準を用いた標準パターン作成方式 | |
| US7454337B1 (en) | Method of modeling single data class from multi-class data | |
| JP2996925B2 (ja) | 音素境界検出装置及び音声認識装置 | |
| Sundaram | Effects of Transcription Errors on Supervised Learning in Speech Recognition | |
| US20240153493A1 (en) | Techniques for improved audio processing using combinations of clipping engines and acoustic models | |
| Kovács | Noise robust automatic speech recognition based on spectro-temporal techniques | |
| JPH07160287A (ja) | 標準パターン作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040216 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3525082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |