JP3003355B2

JP3003355B2 - 標準パターン作成装置

Info

Publication number: JP3003355B2
Application number: JP4031832A
Authority: JP
Inventors: 浩一篠田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1992-02-19
Filing date: 1992-02-19
Publication date: 2000-01-24
Anticipated expiration: 2015-01-24
Also published as: JPH05232985A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音声認識において、学習
データを用いて標準パターンを作成する標準パターン作
成装置に関する。

【０００２】

【従来の技術】現在、音声認識の分野では、誰の声でも
認識できることを目標とした不特定話者の認識システム
が盛んに研究・開発されている。これらの認識システム
では、隠れマルコフモデル、ニューラルネットワークな
どの認識方式が広く使われている。隠れマルコフモデル
の詳細については、例えば、「確率モデルによる音声認
識」中川聖一著、１９８８年、電子情報通信学会（以下
文献１とする）に詳しく解説されている。また、ニュー
ラルネットワークによる音声認識に関しては、例えば、
「音声・聴覚と神経回路網モデル」甘利俊一編、１９９
０年、オーム社（以下文献２とする）に詳しい。これら
の手法では、予め多数の話者により発声された単語、文
などからなる学習データを用いて学習を行ない、より精
度の高い標準パターンを作成することにより、高性能な
認識を実現している。

【０００３】現在のところ、音声認識システムでは、認
識装置のハードウェア的な制約のために、あるいは、認
識性能を高めるために、認識装置の用途に応じて認識対
象語彙を制限している。上限は単語数にして１０００単
語程度である。例えば、チケット予約の用途では、アー
ティスト名、コンサート会場名、予約の発話に用いる語
彙、などが対象語彙となり、それらから構成される発話
全体が、認識対象となる。ここでは、特許請求の範囲の
項における「タスク」の例として、この限定された認識
対象を挙げ、以下に説明することとする。この場合、タ
スクが違うということは認識対象語彙、及び、それから
構成される認識対象が異なるという意味である。

【０００４】さて、標準パターンが、単語単位、あるい
は、文単位で作成されている場合、異なるタスクを認識
しようとするときには、もとのタスクには存在しない
が、そのタスクには存在する未知の認識対象語彙を新た
に学習する必要が生じる。しかしながら、不特定話者認
識システムにおける標準パターンの学習には、多くの話
者の発明を必要とするため、タスクの変更の度に新たな
語彙を学習することは、データベースの構築に、多大な
コスト・時間を必要とし、現実的ではない。

【０００５】従って、通常の不特定話者システムでは、
認識単位として単語より小さいサブワード（音素、音節
など）を用い、学習時にはこれら認識単位のモデルを学
習する。違うタスクの新しい語彙のモデルは、これらの
サブワードのモデルを連結することにより、容易に作成
することが可能である。

【０００６】不特定話者認識装置では、すべての認識単
位がなるべく均等に表れるような基準となるタスクを選
び、認識単位のモデルを学習している例が多い。

【０００７】

【発明が解決しようとする課題】上述したサブワードを
認識単位として用いた認識システムでは、学習に用いた
もとのタスクとは異なるタスクを認識しようとする場
合、もとのタスクを認識する場合に比べ、認識性能が落
ちることが、最近、報告されている。

【０００８】これは、新しいタスクにおいては、サブワ
ードに対応する実際の発声が、前後のサブワードが何で
あるかなど、その周囲環境の違いにより変形を被り、学
習時のものとは異なったものとなっていることが原因で
あると考えられる。

【０００９】上述の問題点の対象としては、新しいタス
クの発声を用いて再度学習をし直すということが考えら
れる。しかしながら、タスクが変わる度に、そのタスク
を多数話者が発声したデータベースを用意することは、
大変な労力を必要とする。

【００１０】本発明は、不特定話者認識システムにおい
て、タスクの変更がある場合でも、多数の話者のタスク
の発声データ学習データに加えて、少数の話者のもとの
タスクと新しいタスクの発声データを用いることによ
り、多数の話者の新しいタスクの発声を用いずに、新し
いタスクに対する精度の高い標準パターンを作成し、新
しいタスクに対する認識装置の性能を高めることを目的
とする。

【００１１】

【課題を解決するための手段】第１の発明の標準パター
ン作成装置は、音声認識において、複数の話者の発声し
た学習データを用いて標準パターンを学習する際に、第
１のタスクの基準パターンを作成する基準パターン作成
手段と、第１のタスク及びそれとは異なる第２のタスク
をともに発声した参照話者の第１のタスクの発声データ
を用いて、参照話者に対する標準パターンを学習する参
照第１パターン作成手段と、前記参照話者の第２のタス
クの発声データを用いて、参照話者に対する標準パター
ンを学習する参照第２パターン作成手段と、前記参照第
１パターンから、前記参照第２パターンへの写像を作成
する写像作成手段と、基準パターンから、前記写像作成
手段で作成した写像を用いて、タスク依存パターンを作
成するタスク依存パターン作成手段と、から構成される
ことを特徴とする。

【００１２】第２の発明の標準パターン作成装置は、第
１の発明の標準パターン作成方式において、前記基準パ
ターン作成手段と、前記参照第１パターン作成手段と、
前記参照第２パターン作成手段と、前記写像作成手段
と、前記タスク依存パターン作成手段と、前記基準パタ
ーンと前記タスク依存パターンとをある一定の比で混合
することにより、タスク準依存パターンを作成するタス
ク準依存パターン作成手段と、から、構成されることを
特徴とする。

【００１３】

【作用】以下に第１の発明の標準パターンに作成装置の
作用について説明する。ここでは、「タスク」の例とし
て、限定された認識対象を挙げ、その場合について以下
に説明することとする。

【００１４】話者の発声は、ＡＤ変換、音声分析などの
過程を経て、ある時間長をもつフレームと呼ばれる単位
ごとの特徴ベクトルの時系列に変換される。特徴ベクト
ルはその時刻における音声スペクトルの特微量を抽出し
たもので、通常１０次元から１００次元である。この特
徴ベクトルの時系列を、ここでは発声データと呼ぶ。

【００１５】認識方式としては、隠れマルコフモデルに
おいて出力確率分布として連続確率密度分布を用いた場
合を例にとる。連続確率密度分布としては、混合ガウス
分布を用いる。この場合、学習されるパラメータとして
は、混合連続分布の平均ベクトル、及び分散、分岐確
率、遷移確率があるが、ここでは、各分布の平均ベクト
ルを学習する場合を例にとる。すなわち、本発明におけ
る標準パターンとは、各々の認識単位に対応した隠れマ
ルコフモデルにおける各状態の各分布の平均ベクトル
の、全認識単位、全状態、全分布にわたる組である。す
なわち、｛μ（ｉ，ｊ，ｋ）｜ｊ＝１，…，Ｉ，ｊ＝１，…，Ｊ（ｉ），ｋ＝１，…，Ｋ（ｉ，ｊ）｝．（１）ここで、μは平均ベクトル、Ｉ，Ｊ（ｉ），Ｋ（ｉ，
ｊ）は、それぞれ、全認識単位数、認識単位ｉにおける
状態数、認識単位ｉの状態ｊにおける分布数である。

【００１６】まず、ある標準的なタスクＡに対する標準
パターンを作成する。この標準パターンは、隠れマルコ
フモデルの場合、通常、多数の話者のタスクＡの発声デ
ータを用意し、そられを用いて各認識単位のパラメータ
を学習することにより作成される。学習方法について
は、文献１に詳しい。ここで作成されたパターンを基準
パターンと呼ぶ。基準パターン作成に用いる話者には、
以下に述べる参照話者が含まれていてもよいし、含まれ
ていなくてもよい。以上は、第１の発明における基準パ
ターン作成手段に対応する。

【００１７】次に、タスクＡと、それとは異なるタスク
Ｂとを、両方発声した話者の発声データを用意する。こ
の話者を参照話者と呼ぶ。参照話者は、単数でも複数で
もよいが、ここでは、複数の場合を例に挙げる。

【００１８】これらの参照話者のタスクＡの発声を用
い、標準パターンを作成する。作成法は通常の学習によ
ってでもよいし、あるいは、パラメータのうち、平均ベ
クトルのみを学習する方法でもよい。また、基準モデル
を用いて、発声を認識単位ごとにセグメンテーションし
て、隠れマルコフモデルの各状態の各分布に対応する発
声データを同定した上で、その発声データの特徴ベクト
ルを平均することにより、各分布に対する平均ベクトル
を作成する方法も可能である。このこようにしてできた
標準パターンを参照第１パターンと呼ぶ。参照第１パタ
ーンは、参照話者すべてについて１つだけ作成しても良
いし、参照話者各々について１つづつ作成しても良い。
また、参照話者を何人かづつの集合に分けて、それぞれ
の集合について参照第１パターンを作成しても良い。こ
の場合、各々の参照第１パターンに対する参照話者の集
合を参照話者グループとよぶ。例えば、参照話者各々に
ついて参照第１パターンを作る場合は参照話者グループ
は参照話者数だけあり、参照話者全体で１つの参照第１
パターンを作る場合には参照話者グループは１つだけで
ある。以上は第１の発明における参照第１パターン作成
手段に対応する。

【００１９】次に、上述の参照第１パターン作成手段と
同様に、参照話者のタスクＢの発声を用い、標準パター
ンを作成する。作成法は参照第１パターン作成手段に用
いた方法と同様の方法を用いる。参照第２パターンは、
先に作成された参照第１パターンと１対１に対応するよ
うに作成される。つまり、対応する参照第１パターンと
参照第２パターンにおいては、作成に用いられた参照話
者グループは同一である。以上は第１の発明における参
照第２パターン作成手段に対応する。

【００２０】次に、参照第１パターンから参照第２パタ
ーンへの写像を作成する。今、認識単位、認識単位のモ
デルの状態、状態内の分布などを総称して写像単位と呼
ぶこととする。写像はこの写像単位ごとに作成される。

【００２１】写像単位の定め方としては、上に述べた、
３種類以外にも、例えば、ある認識単位と別の認識単位
を同一の写像単位とすること、あるいは、ある認識単位
はそれ全体で写像単位とし別の認識単位では、その中の
状態を写像単位とすること、あるいは、ある認識単位の
ある状態と別の認識単位のある状態とを同じ写像単位と
すること、などが可能である。また、全標準パターンを
１つの写像単位とすることも可能である。つまり、写像
単位の定め方は任意である。例えば、写像単位として、
認識単位の状態内の各分布をとる場合には、同一の認識
単位のモデルにおける対応する状態の対応する分布の平
均ベクトルを１対１に対応させればよい。

【００２２】また、写像単位は、参照話者グループごと
に別々に作成してもよいし、全部の参照話者グループで
共通にしてもよい。ただし、各々の参照話者グループご
とに異なる写像単位を定めた場合には、全参照話者グル
ープに共通な写像は作成できない。

【００２３】また、写像は線形なものでも良いし、ま
た、ニューラルネットワーク等を用いて、非線形写像を
作成しても良い。

【００２４】以上は、第１の発明における写像作成手段
に対応する。

【００２５】次に、基準パターンを、上述の写像作成手
段で作成された写像を用いて変換し、タスク依存パター
ンを作成する。タスク依存パターンは基準パターンに１
対１に対応する。例えば、写像単位が分布の場合には、
各々の分布に対する写像を適用し、タスク依存の平均ベ
クトルを求める。すべての分布に共通の写像が定義され
ている場合には、基準パターンのすべての分布の平均ベ
クトルに対し、共通の写像を用いて、タスクに適応した
平均ベクトルを求める。このタスクに適応した平均ベク
トルの集合を、この場合、タスク依存パターンと呼ぶ。

【００２６】写像が各々の参照話者グループに対して作
成されている場合は、写像後のパターンが複数できる
が、その場合は、それら複数のパターンを何らかの方法
で重みづけすることにより、タスク依存パターンを作成
する。例えば、写像単位が各分布の場合、以下のよう
な、基準パターンの当該分布の平均ベクトルと参照第１
パターンの当該分布の平均ベクトルとの距離を用いて、
重みづけする方法が考えられる。

【００２７】

【数１】

【００２８】ここで、ｐは参照話者グループを表す添
字、μ₁（ｐ）は参照話者グループｐの参照第１パター
ンにおける当該分布の平均ベクトル、μ₂（ｐ）は参照
話者グループｐの参照第２パターンにおける当該分布の
平均ベクトル、μは基準パターンにおける当該分布の平
均ベクトル、

【００２９】

【数２】

【００３０】また、ｄ（ｐ）は、μとμ（ｐ）の距離、
ｍは適当な実数である。距離は、例えば、平均ベクトル
間のユークリッド距離などが用いられるが、当該分布間
の非類似度を表す量ならば何でも良い。

【００３１】また、タスク依存パターンの作成法として
は、例えば、

【００３２】

【数３】

【００３３】のようなものも考えられる。記号の定義は
（２）式と同じである。

【００３４】以上の説明は、写像単位が各分布であり、
参照話者グループ各々に対して写像が作成されている場
合についてであるが、写像単位が各分布以外の場合、あ
るいは参照話者グループすべてに共通な写像が作成され
ている場合についても、容易に、タスク依存パターンを
作成することが可能である。以上は、第１の発明におけ
るタスク依存パターン作成手段に対応する。

【００３５】以上が第１の発明の標準パターン作成装置
の説明である。この装置により、タスクの変更がある場
合、もとのタスクに対する標準パターンである基準パタ
ーンと、少数の参照話者のもとのタスクと新しいタスク
の発声データがあれば、それらを用いて、多数話者の新
しいタスクに対する精度の高い標準パターンを作成する
ことが可能である。

【００３６】第２の発明の標準パターン作成装置では、
上述の第１の発明の標準パターン作成装置において作成
した、基準パターンとタスク依存パターンを混合し、タ
スク準依存パターンを作成する。混合の方法は任意であ
るが、ここでは、一例として、各分布ごとに平均ベクト
ルの加重平均をとる方法を挙げる。すなわち、

【００３７】

【数４】

【００３８】ここで、０＜ｋ＜１であり、

【００３９】

【数５】

【００４０】また、ｋの値は、分布ごとに定めてもよい
し、状態ごと、あるいは、認識単位ごとに定めてもよ
い。あるいは、全認識単位において共通な値を用いても
よい。つまり、１つのｋの値が有効な音声の単位は、写
像単位と同様、任意にとることができる。以上は、タス
ク準依存データ作成手段に対応する。

【００４１】参照話者数が少ない場合、もしくは、参照
話者のタスクＡあるいはタスクＢの発声データの量が少
ない場合には、参照第１パターン、あるいは、参照第２
パターンが精度良く作成されず、写像の精度が悪くな
り、従ってタスク依存パターンの精度が落ちる可能性が
ある。そのような場合、この第２の発明の標準パターン
作成装置では、基準パターンの情報もある割合で残して
用いるので、作成されるタスク準依存パターンの精度が
上がる可能性がある。ただし、参照話者のタスクＡ、あ
るいは、タスクＢの発声データの量が十分多い場合は、
第１の発明の標準パターン作成装置のほうが、精度が高
いと推測される。

【００４２】

【実施例】以下、本発明による実施例を図面と共に説明
する。実施例は、作用の項の中で説明した例に対応して
おり、変数などの標記はそこで与えられたものと同一の
ものを用いることとする。図１は第１の発明の標準パタ
ーン学習装置の１実施例を示すブロック図である。

【００４３】基準パターン作成手段１０１では、多数話
者のタスクＡの発声が入力され、標準パターンを学習
し、学習された標準パターンを基準パターンとして、出
力している。

【００４４】参照第１パターン作成手段１０２において
は、タスクＡとタスクＢの両方を発声した参照話者のタ
スクＡの発声データが入力される。それらを用いて、各
々の参照話者に対するタスクＡに対する標準パターンが
学習され、それらが、参照第１パターンとして、出力さ
れる。

【００４５】参照第２パターン作成手段１０３において
は、参照話者のタスクＢの発声データが入力される。そ
れらを用いて、各々の標準話者に対するタスクＢに対す
る標準パターンが学習され、それらが、参照第２パター
ンとして、出力される。

【００４６】写像作成手段１０４においては、参照第１
パターンおよび参照第２パターンが入力され、それらの
間の各分布毎の写像が作成され、出力される。

【００４７】タスク依存パターン作成手段１０５におい
ては、基準パターン、及び、写像作成手段１０４で作成
された写像が入力され、作用の項の（２）式を用いてタ
スク依存パターンが作成され、出力される。

【００４８】図２は第２の発明の標準パターン学習装置
の１実施例を示すブロック図である。基準パターン作成
手段１０１では、多数話者のタスクＡの発声が入力さ
れ、標準パターンを学習し、学習された標準パターンを
基準パターンとして、出力している。

【００４９】参照第１パターン作成手段１０２において
は、タスクＡとタスクＢの両方を発声した参照話者のタ
スクＡの発声データが入力される。それらを用いて、各
々の参照話者に対するタスクＡに対する標準パターンが
学習され、それらが、参照第１パターンとして、出力さ
れる。

【００５０】参照第２パターン作成手段１０３において
は、参照話者のタスクＢの発声データが入力される。そ
れらを用いて、各々の標準話者に対するタスクＢに対す
る標準パターンが学習され、それらが、参照第２パター
ンとして、出力される。

【００５１】写像作成手段１０４においては、参照第１
パターンおよび参照第２パターンが入力され、それらの
間の各分布毎の写像が作成され、出力される。

【００５２】タスク依存パターン作成手段１０５におい
ては、基準パターン、及び、写像作成手段１０４で作成
された写像が入力され、作用の項の（２）式を用いてタ
スク依存パターンが作成され、出力される。

【００５３】タスク準依存パターン作成手段１０６にお
いては、基準パターン、及び、タスク依存パターンが入
力され、作用の項の（６）式に従って、タスク準依存パ
ターンが作成され、出力される。

【００５４】

【発明の効果】以上述べたように本発明によれば、タス
クの変更がある場合、もとのタスクに対する標準パター
ンである基準パターンと、少数話者のもとのタスクと新
しいタスクとの発声データがあれば、それらを用いて、
多数話者の新しいタスクに対して、より認識性能の高い
標準パターンを作成することが可能である。

【００５５】作用の項および実施例の項では、標準パタ
ーンとして隠れマルコフモデルの平均ベクトルを用いた
場合について説明したが、隠れマルコフモデルの分散、
遷移確率などの他の特徴量や、あるいは、複数の種類の
特徴量の組を用いた場合にも、本発明を適用することが
できる。また、隠れマルコフモデルのみでなく、音声認
識手法として、隠れマルコフモデル以外のニューラルネ
ットワークなどの他の手法を用いた場合にも、標準パタ
ーンとして、特徴量の組を抽出すれば、本発明の適用は
容易である。したがって、これらの適用も本発明の範囲
内である。

【００５６】また、作用の項及び実施例の項において
は、タスクとして、「限定された認識対象」のみを例に
とって説明したが、その他にも、「音声入力に使用する
マイク」、あるいは、「周囲雑音の大きさ」などをタス
クと見なし、それらが違う場合に対しても、「限定され
た認識対象」の違いに対してと同じように、本発明を適
用することは容易である。したがって、これらの適用も
本発明の範囲内である。また、タスクが「限定された認
識対象」以外の場合には、認識単位として、サブワード
以外のもの、例えば、文、単語などをとることも可能で
あり、その場合も本発明の範囲内である。

【図面の簡単な説明】

【図１】第１の発明の標準パターン作成装置の一実施例
を示すブロック図である。

【図２】第２の発明の標準パターン作成装置の一実施例
を示すブロック図である。

【符号の説明】

１０１基準パターン作成手段１０２参照第１パターン作成手段１０３参照第２パターン作成手段１０４写像作成手段１０５タスク依存パターン作成手段１０６タスク準依存パターン作成手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平５−224691（ＪＰ，Ａ) 特開平５−40496（ＪＰ，Ａ) 特開平３−186899（ＪＰ，Ａ) 日本音響学会平成２年度秋季研究発表会講演論文集▲Ｉ▼ １−８−12「半音節ＨＭＭによる音声認識のための話者適応」ｐ．23−24（平成２年９月19日発表) 日本音響学会平成４年度春季研究発表会講演論文集▲Ｉ▼ １−Ｐ−15「音声認識のためのタスク適応化」ｐ．133− 134（平成４年３月17日発行) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 3/00 521 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】音声認識において、複数の話者の発声し
た学習データを用いて標準パターンを学習する際に、第
１のタスクの基準パターンを作成する基準パターン作成
手段と、第１のタスク及びそれとは異なる第２のタスク
をともに発声した参照話者の第１のタスクの発声データ
を用いて、標準パターンを学習する参照第１パターン作
成手段と、前記参照話者の第２のタスクの発声データを
用いて、標準パターンを学習する参照第２パターン作成
手段と、前記参照第１パターンから、前記参照第２パタ
ーンへの写像を作成する写像作成手段と、基準パターン
から、前記写像作成手段で作成した写像を用いて、タス
ク依存パターンを作成するタスク依存パターン作成手段
と、から構成されることを特徴とする標準パターン作成
装置。
【請求項２】前記基準パターン作成手段と、前記参照
第１パターン作成手段と、前記参照第２パターン作成手
段と、前記写像作成手段と、前記データ依存パターン作
成手段と、前記基準パターンと前記タスク依存パターン
とある一定の比で混合することにより、タスク準依存パ
ターンを作成するタスク準依存パターン作成手段と、か
ら構成されることを特徴とする請求項１記載の標準パタ
ーン作成装置。