JP4711111B2 - 発話様式推定装置、発話様式推定方法及び発話様式推定プログラム - Google Patents

Description

本発明は、音声認識技術で用いられる発話様式推定装置等に関し、特に、音声の早口の度合いを示す尺度である発話速度や、音声を構成する音素や音節等の継続時間長に関する発話様式を推定するために用いる、発話様式推定装置等に関する。

従来この種の発話様式推定装置等は、音声認識システムとともに又は音声認識システムの一部として使用され、認識対象音声の発話速度、認識対象音声を構成する音節や音素の継続時間長の妥当性を推定し出力していた。音声認識システムは、これら発話速度や継続時間長の妥当性の情報を受け取り、認識結果を決定するための判断材料の一つとして利用することにより、より高精度に認識結果を出力することができる。

図４は、発話様式推定装置の第一従来例を示すブロック図である（非特許文献１）。以下、この図面に基づき説明する。

この発話様式推定装置は、音声を構成する各音素又は音節の標準的な音声信号パタンを記憶する標準パタン記憶手段３０３と、任意かつ大量の音声信号を記憶する音声信号記憶手段３０２と、音声信号記憶手段３０２に記憶された音声の発話内容を音素又は音節で記述した発音記号列を記憶する発音記号列記憶手段３０１と、標準パタン記憶手段３０３、音声信号記憶手段３０２及び発音記号列記憶手段３０１に各々記憶された情報を使用して、音声信号と発音記号列との時間的対応関係を計算するアラインメント計算手段３０４と、アラインメント計算手段３０４の結果から、音声信号を構成する音素及びその継続時間長を順次取得して記憶する継続時間長データ記憶手段３０５と、継続時間長データ記憶手段３０５に記憶された継続時間長を音素名ごとに分類し、各音素の継続時間長の分布を規定するパラメータを推定するパラメータ推定手段３０６と、パラメータ推定手段３０６の結果を記憶する継続時間長パラメータ記憶手段３０７と、から構成されている。

この発話様式推定装置は、次のように動作する。

アラインメント計算手段３０４は、標準パタン記憶手段３０３に記憶された標準パタン、音声信号記憶手段３０２に記憶された音声信号、及び発音記号列記憶手段３０１に記憶された発音記号列から、音声信号と発音記号列との時間的対応関係すなわちアラインメントを計算する。ここで発音記号列とは、例えば「こんにちは」という発声を音素で記述するならば「k/o/N/n/i/ch/i/w/a」と表されるような、音素記号の列を意味する。スラッシュで区切られた“k”、“o”などが、それぞれ1つの音素に相当する。

アラインメントとは、例えば図５［１］に概念的に示されるように、音声信号（波形）のどの部分にどの音素が対応しているかを表すものである。なお、図５［１］において“sil”は無音、つまりいかなる音声も存在しないことを意味する。実際のアラインメントは、図５［２］に具体例が示されているように、ある音素が音声信号上の何ミリ秒から始まって何ミリ秒に終わったかが明示されたテーブル形式の記憶構造を有する。なお、アラインメント計算の具体的方法については、例えば非特許文献２にビタビ法を用いた方法が記載されている。

継続時間長データ記憶手段３０５は、アラインメント計算手段３０４からアラインメントの計算結果を受け取り、音素とその継続時間長とを記憶する。ここに継続時間長とは、音声信号上での各音素の開始時刻と終了時刻との差分として計算される。継続時間長データ記憶手段３０５に記憶されるデータの形式は、図６に例示したようなテーブル形式である。

パラメータ推定手段３０６は、継続時間長データ記憶手段３０５から、音素名とその継続時間長とのデータを順次受け取り、継続時間長の値を音素名ごとに分類し、音素名ごとに継続時間長の分布を推定する。ここに分布とは、数個のパラメータで規定される確率分布を意味し、一般にはガウス分布（正規分布）、ポワソン分布、ガンマ分布等がよく用いられる。今、各音素の継続時間長がガンマ分布に従うとして、継続時間長データからガンマ分布を推定する方法の一例を示す。

ガンマ分布は一般に数１のような確率密度関数で表され、ρ及びλが分布を規定するパラメータである。ρは形状パラメータ、λは尺度パラメータと呼ばれることがある。また、Γ(・)はガンマ関数である。

ある音素、例えば音素”a”に関して継続時間長データ記憶手段３０５に記憶されている継続時間長データが、x₁, x₂,
…, x_nのn個であったとする。このとき、最尤推定法を用いれば、パラメータρ及びλは数２の連立方程式の解として得られることが知られている。ここにΨ(・)は、ディガンマ関数と呼ばれ、ガンマ関数の対数をとったものの一階導関数、すなわちΨ(x)=Γ’(x)/Γ(x)である。なお、数２からパラメータρ及びλの解析解を得ることは、一般に困難であるが、ニュートン法などのよく知られた数値解法により、計算機を用いて数値的に解くことが可能である。

継続時間長パラメータ記憶手段３０７は、音素“a”についてパラメータ推定手段３０６が計算したパラメータρ及びλの値を、音素名”a”と対にして記憶する。以下、パラメータ推定手段３０６は、“a”以外の全ての音素についても、順次継続時間長の分布を推定し、すなわち分布のパラメータρ及びλの値を推定し、継続時間長パラメータ記憶手段３０７はその結果を音素名と対にして記憶する。

本従来例では、各音素の継続時間長の分布を集めた分布のセットが、発話様式に相当し、上述したような動作により、与えられた音声信号の発話様式が推定される。また、本従来例では、未知の音声信号が与えられたときに、その音声信号の発話様式が、既に推定されている発話様式とどの程度類似しているか、又は、未知の音声信号の発話様式が、想定される発話様式とどの程度ずれているか、を測ることが可能である。

図７は、発話様式推定装置の第二従来例を示すブロック図である。以下、この図面に基づき説明する。

この発話様式推定装置は、未知の音声信号を入力するための音声入力手段４０１と、入力された音声信号に対して音声認識処理を施し、音声信号から発音記号列すなわち音素記号列とそのアラインメントとを得る音声認識手段４０２と、音声認識手段４０２が出力するアラインメント情報から各音素の継続時間長を計算して記憶する継続時間長データ記憶手段４０３と、予め多数の音声信号から推定された各音素の継続時間長分布を発話様式として記憶する継続時間長パラメータ記憶手段４０４と、未知の音声信号の発話様式を評価する継続時間長評価手段４０５と、から構成されている。

この発話様式推定装置は、次のように動作する。

音声認識手段４０２は、音声入力手段４０１から入力された音声信号に対して音声認識処理を施し、音声認識結果として音素列と、音素列と入力音声信号との時間的対応関係すなわちアラインメントとを出力する。その具体例は、前述の図５［１］［２］と同様である。このような音素列とアラインメントとは、一般に用いられる音声認識手段であれば、容易に出力することのできるものである。

継続時間長データ記憶手段４０３は、前述の継続時間長データ記憶手段３０５と同様、音声認識手段４０２からアラインメントの計算結果を受け取り、音素とその継続時間長の系列とを記憶する。その具体例は、前述の図６と同様である。

継続時間長パラメータ記憶手段４０４は、前述の継続時間長パラメータ記憶手段３０７と同一の記憶構造を持ち、なおかつ前述のパラメータ推定手段３０６が出力したのと同一の音素名とパラメータ値とを記憶しているものとする。

継続時間長評価手段４０５は、継続時間長データ記憶手段４０３に記憶された音素記号列ω₁,…,ω_T及び継続時間長系列x₁,…,x_Tと、継続時間長パラメータ記憶手段４０４に記憶された継続時間長分布とを照らし合わせ、両者がどの程度整合しているかを評価する。その際の評価尺度は、数３のように表される。

ここに、ρ_j及びλ_jは、音素jに対応する継続時間長分布のパラメータであり、継続時間長パラメータ記憶手段４０４に記憶されているものである。

継続時間長評価手段405の評価結果、すなわち数３右辺の値を知ることにより、継続時間長パラメータ記憶手段４０４に記憶された、既に得られている発話様式と、入力音声信号の発話様式とがどの程度整合しているか、を知ることができる。ひいては、音声認識手段４０２が出力した音声認識結果がどの程度正しいものであるか、を知ることができる。

図８は、本発明に係る発話様式推定装置の第三従来例を示すブロック図である。以下、この図面に基づき説明する。

この発話様式推定装置は、未知の音声信号を入力するための音声入力手段５０１と、入力された音声信号に対して音声認識処理を施し、音声信号から発音記号列すなわち音素記号列とそのアラインメントとを得る音声認識手段５０２と、音声認識手段５０２が出力するアラインメント情報から各音素の継続時間長を計算して記憶する継続時間長データ記憶手段５０３と、継続時間長データ記憶手段５０３に記憶された音素記号列を順次読み出してモーラ数を計数するモーラ数計数手段５０４と、継続時間長データ記憶手段５０３に記憶された継続時間長の系列を順次読み出して加算することにより、入力音声の総時間長を計算する継続時間長加算手段５０５と、継続時間長加算手段５０５が出力する入力音声の総時間長を、モーラ数計数手段５０４が出力するモーラ数で除し、その結果を出力する除算手段５０６と、から構成されている。

この発話様式推定装置は、次のように動作する。

音声認識手段５０２は、前述の音声認識手段４０２と同様、音声入力手段５０１から入力された音声信号に対して音声認識処理を施し、音声認識結果として音素列と、音素列と入力音声信号との時間的対応関係すなわちアラインメントとを出力する。その具体例は、前述の図５［１］［２］と同様である。このような音素列とアラインメントは、一般に用いられる音声認識手段であれば容易に出力することのできるものである。

継続時間長データ記憶手段５０３は、前述の継続時間長データ記憶手段３０５，４０３と同様、音声認識手段５０２からアラインメントの計算結果を受け取り、音素とその継続時間長の系列を記憶する。その具体例は、前述の図６と同様である。

モーラ数計数手段５０４は、継続時間長データ記憶手段５０３から音素記号列を順次読み出し、モーラ数を計数する。ここでモーラ数とは、母音、促音、撥音の数を意味する。すなわちモーラ数計数手段５０４は、処理開始時にはモーラ数を０にセットし、以後読み出した音素が母音、促音、撥音のいずれかであれば１を加算し、それ以外であれば０を加算する。

継続時間長加算手段５０５は、継続時間長データ記憶手段５０３から継続時間長の値を順次読み出し、入力音声の総時間長を計算する。すなわち継続時間長加算手段５０５は、処理開始時には総時間長を0にセットし、音素の種類によらず各音素の継続時間長を加算する。

除算手段５０６は、継続時間長データ記憶手段５０３に記憶されたデータが全て読み出された時点で、モーラ数計数手段５０４から入力音声のモーラ数を受け取り、また継続時間長加算手段５０５から入力音声の総時間長を受け取り、前者を後者で除した値を出力する。この値は、発話速度の尺度の一つである単位時間当たりモーラ数である。すなわち、本従来例は、発話様式の一要因である発話速度を推定し出力するものである。

中川聖一著「確率モデルによる音声認識」、電子情報通信学会、コロナ社、1990年、pp.74-78 ローレンス・ラビナー他著、古井貞煕監訳「音声認識の基礎(下)」、ＮＴＴアドバンステクノロジ、1995年、pp.125-126

第1の問題点は、図４の第一従来例のように、発話様式として音素の継続時間長分布を推定しようとする場合、本来発話様式の重要な特徴であるべき、音素ごとの継続時間長分布の差異が、十分に現れないということである。その理由は、第一従来例では、音素の違いによる継続時間長の変動と発話速度の変動による継続時間長の変動とを区別せずに継続時間長分布を推定しているため、個々の音素の継続時間長分布の差異が、発話速度の変動に埋没して見えなくなってしまうからである。

第２の問題点は、図８の第三従来例のように、発話様式として発話速度を、単位時間当たりモーラ数として推定する場合、音素やモーラの種類の違いを一切考慮していないために、発話速度を正確に推定できないということである。すなわち、モーラを構成する音素によって継続時間長は一般に異なるはずであるにも関わらず、モーラの種類によらない量であるモーラ数によって発話速度を計算しているため、特に短い発話において発話速度が正確に推定できない。

第３の問題点は、発話様式として発話速度を推定する場合、推定結果の信頼性を見積もる機構が存在しないということである。なぜなら、図８の第三従来例は、発話速度の推定値を与えるのみで、推定結果のばらつきを示す尺度を出力することができないからである。

第４の問題点は、継続時間長と発話速度とは互いに依存関係にあるにも関わらず、継続時間長分布と発話速度とを同時に推定することができないということである。つまり、図４の第一従来例は、音素ごとの継続時間長分布を求めるが、その際に発話速度を推定できないために、継続時間長分布が正確に推定できない。また、図８の第三従来例は、発話速度を求めるが、音素ごとの継続時間長の違いを推定できないために、発話速度が正確に推定できない。

本発明に係る第一の発話様式推定装置は、複数個の発話又は発話の部分について、それらの構成要素とその継続時間長とからなる時系列データを記憶する継続時間長データ記憶手段と、発話速度の確率分布を規定するパラメータを記憶する発話速度パラメータ記憶手段と、前記構成要素の種類ごとの継続時間長の確率分布を規定するパラメータを記憶する継続時間長パラメータ記憶手段と、前記継続時間長データ記憶手段に記憶された時系列データを読み出し、その内容に基づいて前記発話速度パラメータ記憶手段及び前記継続時間長パラメータ記憶手段に記憶されたパラメータを反復的に更新するパラメータ更新手段と、を備えたことを特徴とする。

本発明に係る第二の発話様式推定装置は、複数個の発話又は発話の部分について、それらの構成要素とその継続時間長とからなる時系列データを記憶する継続時間長データ記憶手段と、発話速度の確率分布を規定するパラメータを記憶する発話速度パラメータ記憶手段と、前記構成要素の種類ごとの継続時間長の確率分布を規定するパラメータを記憶する継続時間長パラメータ記憶手段と、前記発話速度パラメータ記憶手段及び継続時間長パラメータ記憶手段からそれぞれパラメータ値を受け取り、かつ前記継続時間長データ記憶手段から、任意の１発話を構成する構成要素とその継続時間長とからなる時系列データを順次受け取り、前記時系列データが前記パラメータ値で規定される発話様式にどの程度合致しているか、を示すスコアを出力する継続時間長評価手段と、を備えたことを特徴とする。

本発明に係る第三の発話様式推定装置は、複数個の発話又は発話の部分について、それらの構成要素とその継続時間長とからなる時系列データを記憶する継続時間長データ記憶手段と、発話速度の確率分布を規定するパラメータを記憶する発話速度パラメータ記憶手段と、前記構成要素の種類ごとの継続時間長の確率分布を規定するパラメータを記憶する継続時間長パラメータ記憶手段と、前記発話速度パラメータ記憶手段及び継続時間長パラメータ記憶手段からそれぞれパラメータ値を受け取り、かつ前記継続時間長データ記憶手段から、任意の１発話を構成する構成要素とその継続時間長からなる時系列データを順次受け取り、前記任意の１発話の発話速度の範囲を確率分布の形式で出力する発話速度分布推定手段と、を備えたことを特徴とする。

本発明に係る第四の発話様式推定装置は、発話速度の分布を規定する第一のパラメータ及び発話を構成する構成要素の継続時間長の分布を規定する第二のパラメータを初期化するパラメータ初期化手段と、適当な単位で分割された複数個の発話について、それを構成する構成要素とその継続時間長とからなる時系列データと、前記第一及び第二のパラメータとを使用して、当該第一及び第二のパラメータを更新するパラメータ更新手段と、このパラメータ更新手段による前記第一及び第二のパラメータの更新を制御する収束判定手段と、を備えたことを特徴とする。

また、本発明に係る発話様式推定方法は、本発明に係る発話様式推定装置の各手段の動作を手順として捉えたものである。本発明に係る発話様式推定プログラムは、本発明に係る発話様式推定装置の各手段をコンピュータに機能させるためのものである。

換言すると、本発明の発話様式推定装置は、パラメータ初期化手段と、パラメータ更新手段と、収束判定手段と、発話速度パラメータ記憶手段と、継続時間長パラメータ記憶手段とを備え、与えられた継続時間長データを最も良く説明するよう、発話速度の分布を規定する発話速度パラメータと、継続時間長の分布を規定する継続時間長パラメータとを、収束するまで反復的に更新するよう動作する。このような構成を採用し、発話速度パラメータと継続時間長パラメータとを同時に推定することにより、本発明の目的を達成することができる。

第１の効果は、音素等、音声を構成する各要素の継続時間長分布を精度よく推定できることにある。その理由は、発話ごとに発話速度は変動するとの仮定の下に、継続時間長と発話速度の分布を同時に推定し、発話速度の変動を除去しつつ、音声を構成する各要素の継続時間長の分布を推定するためである。

第２の効果は、発話速度を精度良く推定できることである。その理由は、音声を構成する各要素の継続時間長分布を同時に推定し、音声を構成する各要素の継続時間長分布の違いを考慮しつつ発話速度を推定できることにある。

第３の効果は、発話速度の値のみでなく発話速度の分布を推定できることである。その理由は、発話速度の分布パラメータを保持し、パラメータを推定する機構を有するためである。

次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

図１は、本発明に係る発話様式推定装置の第一実施形態を示すブロック図である。以下、この図面に基づき説明する。

この発話様式推定装置は、音声を構成する各音素の標準的な音声信号パタンを記憶する標準パタン記憶手段１０３と、任意かつ大量の音声信号を記憶する音声信号記憶手段１０２と、音声信号記憶手段１０２に記憶された音声の発話内容を音素で記述した発音記号列を記憶する発音記号列記憶手段１０１と、標準パタン記憶手段１０３、音声信号記憶手段１０２及び発音記号列記憶手段１０１に各々記憶された情報を使用して、音声信号と発音記号列との時間的対応関係を計算するアラインメント計算手段１０４と、アラインメント計算手段１０４の結果から、音声信号を構成する音素とその継続時間長とを順次取得して記憶する継続時間長データ記憶手段１０５と、発話速度の分布を規定するパラメータを記憶する発話速度パラメータ記憶手段１０９と、各音素の継続時間長の分布を規定するパラメータを記憶する継続時間長パラメータ記憶手段１１０と、発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０に記憶される各パラメータを初期化するパラメータ初期化手段１０６と、継続時間長データ記憶手段１０５に記憶された音素と継続時間長とのデータを読み出し、その内容に基づいて発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０に記憶された各パラメータを反復的に更新するパラメータ更新手段１０７と、パラメータ更新手段１０７がパラメータの更新を継続するか終了するかをパラメータの更新ごとに判定する収束判定手段１０８と、から構成されている。

これらの各手段は、それぞれ概略次のように動作する。

標準パタン記憶手段１０３は、予め準備された、音声を構成する各音素の標準的な音声信号パタンを記憶する。なお、標準パタンは、音素ごとに用意する以外にも、音節ごとに用意してもよいし、その他任意の単位で用意してよい。これ以降、音素は音節やその他任意の単位に置き換えても、本発明は実施可能である。

音声信号記憶手段１０２は、発話様式を推定しようとする音声信号を記憶し、発音記号列記憶手段１０１は、音声信号記憶手段１０２に記憶された音声の発話内容を音素で記述した発音記号列を記憶する発音記号列を記憶する。ここで発音記号列とは、例えば「こんにちは」という発声を音素で記述するならば「k/o/N/n/i/ch/i/w/a」と表されるような、音素記号の列を意味する。スラッシュで区切られた”k”、”o”などが、それぞれ1つの音素に相当する。

アラインメント計算手段１０４は、標準パタン記憶手段１０３に記憶された標準パタン、音声信号記憶手段１０２に記憶された音声信号、及び発音記号列記憶手段１０１に記憶された発音記号列から、前記音声信号と発音記号列との時間的対応関係すなわちアラインメントを計算する。ここでアラインメントとは、例えば図５［１］に概念的に示されるように、音声信号（波形）のどの部分にどの音素が対応しているかを表すものである。なお、図５［１］において“sil”は無音、つまりいかなる音声も存在しないことを意味する。実際のアラインメントは、図５［２］に具体例が示されているように、ある音素が音声信号上の何ミリ秒から始まって何ミリ秒に終わったかが明示されたテーブル形式の記憶構造を有する。

継続時間長データ記憶手段１０５は、アラインメント計算手段１０４からアラインメントの計算結果を受け取り、音素とその継続時間長を発話ごとに分けて記憶する。ここに継続時間長とは、音声信号上での各音素の開始時刻と終了時刻の差分として計算される。継続時間長データ記憶手段１０５に記憶されるデータの形式は、図６に例示したようなテーブル形式である。以下、第ｋ番目の発話の第t番目の音素をω_ktで表し、対応する継続時間長をｘ_ktで表すことにする。継続時間長データ記憶手段１０５には数４のような記憶構造でデータが記憶されているとする。ここにＮは発話総数、Ｔ_kは第ｋ番目の発話の音素数である。

なお、ここでの発話とは、単語や文等、複数個の音素から構成される任意の単位でよく、一定の音素数、音節数、モーラ数等で区切って分割したようなものであってもよい。

発話速度パラメータ記憶手段１０９は、発話速度の事前分布を規定するパラメータを記憶する。ここでパラメータは、例えば分布にガンマ分布を仮定する場合は、形状パラメータρ及び尺度パラメータλの二つである。なお、分布の種類は、必ずしもガンマ分布である必要はなく、ガウス分布（正規分布）、ポワソン分布等、任意である。

継続時間長パラメータ記憶手段１１０は、音素ごとに継続時間長の分布を規定するパラメータを記憶する。例えば継続時間長にガンマ分布を仮定する場合は、パラメータは各音素について形状パラメータρ_j及び尺度パラメータλ_jの二つとなる。ここにｊは音素を指定するインデクスである。よって継続時間長パラメータ記憶手段１１０には、音素の種類数と同数のρ_jとλ_jの組が保持される。なお、継続時間長の分布に関しても、分布の種類は必ずしもガンマ分布である必要はなく、ガウス分布（正規分布）、ポワソン分布等、任意である。

パラメータ初期化手段１０６は、発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０に記憶されたパラメータ、すなわち、（ρ,λ;ρ_j,λ_j|j=1,…,c）の値の初期化を行う。ここにcは音素の種類数である。各パラメータにどのような初期値をセットするかは原則的に任意であるが、例えばガンマ分布の場合は、その定義から各パラメータは正でなければならないので、正の値をセットすることが必須となる。

パラメータ更新手段１０７は、発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０からそれぞれパラメータを読み出し、続いて継続時間長データ記憶手段１０５から音素と継続時間長との系列を発話単位で順次読み出し、その読み出しが完了した時点で発話速度に関するパラメータ及び継続時間長に関するパラメータを更新し、それぞれ発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０に書き戻す。

以下、パラメータ更新手段１０７が発話速度及び継続時間長に関するパラメータを更新する方法について、最尤推定法（尤度最大化基準）に基づく場合を例に挙げて詳細に説明する。なお、パラメータの更新方法は、尤度最大化基準に基づく方法以外に、事後確率最大化（ＭＡＰ）基準やベイズ基準等に基づく方法でも実現可能である。

発話速度をξとすると、その事前分布はパラメータρ及びλを用いて数５のようなガンマ分布で表される。

また、発話速度ξが既知とした場合、音素ｊの継続時間長ｘは数６のようなガンマ分布で表されるとする。これは、継続時間長の平均と標準偏差とが発話速度に反比例して変化するという仮定から導出される。

同一発話内では発話速度ξは一定として、音素列ω₁,…,ω_Tで記述される１つの発話から継続時間長系列x₁,…,x_Tが得られる確率密度は、数７となる。ここにθは発話速度及び継続時間長に関する全パラメータのセット、すなわちθ＝（ρ,λ;ρ_j,λ_j|j=1,…,c）とする。

数４で示されるＮ発話にわたる数７の総和が最大となるようにパラメータθを決めるのが尤度最大化基準であるが、発話速度ξを隠れ変数とした期待値最大化法（ＥＭ法）に基づいて、以下のＥステップ及びＭステップの反復計算で実現される。

Ｅステップ）発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０に記憶されているパラメータの値を読み出して、数８に従ってξ及びlogξの期待値を、発話ごとに計算する。

Ｍステップ）数８で計算された各期待値を用いて、数９を解くことによって新しいパラメータ（ρ,λ,ρ_j,λ_jの上にバーが付加されたもの）を求め、発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０に結果を書き戻す。

ここに、δ_ijはクロネッカのデルタである。すなわち、ｉ＝ｊなら１、そうでなければ０である。また、数９からパラメータの解析解を得ることは困難だが、ニュートン法などのよく知られた数値解法により、計算機を用いて数値的に解くことが可能である。

収束判定手段１０８は、数７に基づいて、継続時間長データ記憶手段１０５に記憶された継続時間長データに対する尤度を、前記Ｅステップ及びＭステップが1回完了するごとに計算し、更に直前に計算された尤度との差分を計算する。差分が所定のしきい値を下回っていなければ、パラメータ更新手段１０７に再度のＥステップ及びＭステップを実行させる。差分が所定のしきい値を下回っていれば、パラメータ更新を終了する。

パラメータ更新が終了された時点で発話速度パラメータ記憶手段１０９及び継続時間長パラメータ記憶手段１１０に記憶されたパラメータθ＝（ρ,λ;ρ_j,λ_j|j=1,…,c）が、音声信号記憶手段１０２に記憶された音声の発話様式を示すパラメータとなる。

本実施形態では、ある１発話分の音声信号が与えられたときに、その音声信号の発話様式が、既に得られている発話様式とどの程度類似しているか、又は、前期未知の音声信号の発話様式が、想定される発話様式とどの程度ずれているかを測ることが可能である。

図２は、本発明に係る発話様式推定装置の第二実施形態を示すブロック図である。以下、この図面に基づき説明する。

この発話様式推定装置は、未知の音声信号を入力するための音声入力手段２０１と、入力された音声信号に対して音声認識処理を施し、音声信号から発音記号列すなわち音素記号列とそのアラインメントとを得る音声認識手段２０２と、音声認識手段２０２が出力するアラインメント情報から各音素の継続時間長を計算して記憶する継続時間長データ記憶手段２０３と、予め多数の音声信号から推定された発話速度の分布に関するパラメータ及び音素継続時間長の分布に関するパラメータをそれぞれ記憶する発話速度パラメータ記憶手段２０４及び継続時間長パラメータ記憶手段２０５と、前記未知の音声信号の継続時間長に関する発話様式を評価する継続時間長評価手段２０６と、前記未知の音声信号の発話速度の分布を求める発話速度分布推定手段２０７と、から構成されている。

この発話様式推定装置は、次のように動作する。

音声認識手段２０２は、音声入力手段２０１から入力された音声信号に対して音声認識処理を施し、音声認識結果として音素列と、音素列と入力音声信号との時間的対応関係すなわちアラインメントとを出力する。その具体例は、前述の図５［１］［２］と同様である。このような音素列とアラインメントは、一般に用いられる音声認識手段であれば容易に出力することのできるものである。また、音素列の正解が既知であるような場合は、音声認識手段２０２は無くてもよい。

継続時間長データ記憶手段２０３は、前述の継続時間長データ記憶手段１０５と同様、音声認識手段２０２からアラインメントの計算結果を受け取り、音素とその継続時間長の系列を記憶する。その具体例は、前述の図６と同様である。

発話速度パラメータ記憶手段２０４は、前述の発話速度パラメータ記憶手段１０９と同一の記憶構造を持ち、なおかつ前述のパラメータ更新手段１０７が出力したものと同一の音素名とパラメータ値を記憶しているものとする。

同様に継続時間長パラメータ記憶手段２０５は、前述の継続時間長パラメータ記憶手段１１０と同一の記憶構造を持ち、なおかつ前述のパラメータ更新手段１０７が出力したものと同一の音素名とパラメータ値とを記憶しているものとする。

継続時間長評価手段２０６は、継続時間長データ記憶手段２０３に記憶された音素記号列ω₁,…,ω_T及び継続時間長系列x₁,…,x_Tと、発話速度パラメータ記憶手段２０４及び継続時間長パラメータ記憶手段２０５に記憶されたパラメータを読み出し、数７の計算を行い、その結果、すなわちこれらパラメータで規定される継続時間長の発話様式と、入力された未知の音声信号の発話様式とがどの程度合致しているかを出力する。

一方、発話速度分布推定手段２０７は、継続時間長評価手段２０６と同様、継続時間長データ記憶手段２０３に記憶された音素記号列ω₁,…,ω_T及び継続時間長系列x₁,…,x_Tと、発話速度パラメータ記憶手段２０４及び継続時間長パラメータ記憶手段２０５に記憶されたパラメータを読み出し、数１０の計算を行い、結果ρ’及びλ’を出力する。

数１０のρ’及びλ’は、入力音声信号の発話速度の分布を規定するパラメータで、発話速度の事後分布は、数１１のガンマ分布となる。なお、ガンマ分布の定義から、発話速度の平均はρ’／λ’であり、この値が１より小さいほど、入力音声信号の発話速度が遅いことを意味し、逆に右辺の値が１より大きいほど、入力音声信号の発話速度が速いことを意味する。

図３は、本発明に係る発話様式推定装置の第三実施形態を示すブロック図である。以下、この図面に基づき説明する。

この発話様式推定装置は、プログラム制御により動作するデータ処理装置９０２と、入力装置９０３、出力装置９０４、記憶装置９０５とから構成されている。発話様式推定用プログラム９０１は、データ処理装置９０２に読み込まれ、データ処理装置９０２の動作を制御し、記憶装置９０５に標準パタン記憶部９０５１、継続時間長データ記憶部９０５２、発話速度パラメータ記憶部９０５３、及び継続時間長パラメータ記憶部９０５４を生成する。データ処理装置９０２は、発話様式推定用プログラム９０１の制御により、第一実施形態におけるアラインメント計算手段１０４、パラメータ初期化手段１０６、パラメータ更新手段１０７、及び収束判定手段１０８と同一の処理を実行する。

本発明によれば、音声信号中の音韻的特徴に加えて音素の継続時間長や発話速度を利用して認識を行う音声認識装置に適用できる。また、発話様式の異なる話者を区別する話者認識装置や話者認証装置といった用途にも適用可能である。

本発明に係る発話様式推定装置の第一実施形態を示すブロック図である。 本発明に係る発話様式推定装置の第二実施形態を示すブロック図である。 本発明に係る発話様式推定装置の第三実施形態を示すブロック図である。 発話様式推定装置の第一従来例を示すブロック図である。 アラインメント計算手段の出力結果の具体例を示し、図５［１］は波形図、図５［２］は図表である。 継続時間長データ記憶手段に記憶されるデータの具体例を示す図表である。 発話様式推定装置の第二従来例を示すブロック図である。 発話様式推定装置の第三従来例を示すブロック図である。

符号の説明

１０１ 発音記号列記憶手段
１０２ 音声信号記憶手段
１０３ 標準パタン記憶手段
１０４ アラインメント計算手段
１０５ 継続時間長データ記憶手段
１０６ パラメータ初期化手段
１０７ パラメータ更新手段
１０８ 収束判定手段
１０９ 発話速度パラメータ記憶手段
１１０ 継続時間長パラメータ記憶手段
２０１ 音声入力手段
２０２ 音声認識手段
２０３ 継続時間長データ記憶手段
２０４ 発話速度パラメータ記憶手段
２０５ 継続時間長パラメータ記憶手段
２０６ 継続時間長評価手段
２０７ 発話速度分布推定手段
３０１ 発音記号列記憶手段
３０２ 音声信号記憶手段
３０３ 標準パタン記憶手段
３０４ アラインメント計算手段
３０５ 継続時間長データ記憶手段
３０６ パラメータ推定手段
３０７ 継続時間長パラメータ記憶手段
４０１ 音声入力手段
４０２ 音声認識手段
４０３ 継続時間長データ記憶手段
４０４ 継続時間長パラメータ記憶手段
４０５ 継続時間長評価手段
５０１ 音声入力手段
５０２ 音声認識手段
５０３ 継続時間長データ記憶手段
５０４ モーラ数計数手段
５０５ 継続時間長加算手段
５０６ 除算手段
９０１ 発話様式推定用プログラム
９０２ データ処理装置
９０３ 入力装置
９０４ 出力装置
９０５ 記憶装置
９０５１ 標準パタン記憶部
９０５２ 継続時間長データ記憶部
９０５３ 発話速度パラメータ記憶部
９０５４ 継続時間長パラメータ記憶部

Claims (9)

1. 複数個の発話又は発話の部分について、それらの構成要素とその継続時間長とからなる時系列データを記憶する継続時間長データ記憶手段と、
   発話速度の確率分布を規定する第一のパラメータを記憶する発話速度パラメータ記憶手段と、
   前記構成要素の種類ごとの継続時間長の確率分布を規定する第二のパラメータを記憶する継続時間長パラメータ記憶手段と、
   前記発話速度パラメータ記憶手段及び継続時間長パラメータ記憶手段からそれぞれ前記第一及び第二のパラメータの値を受け取り、かつ前記継続時間長データ記憶手段から、任意の１発話を構成する構成要素とその継続時間長とからなる時系列データを順次受け取り、前記時系列データが前記第一及び第二のパラメータの値で規定される発話様式にどの程度合致しているか、を示すスコアを出力する継続時間長評価手段と、
   前記継続時間長データ記憶手段に記憶された時系列データを読み出し、その内容に基づいて前記発話速度パラメータ記憶手段及び前記継続時間長パラメータ記憶手段に記憶された前記第一及び第二のパラメータを反復的に更新するパラメータ更新手段と、
   を備えたことを特徴とする発話様式推定装置。
2. 前記発話速度パラメータ記憶手段及び継続時間長パラメータ記憶手段からそれぞれ前記第一及び第二のパラメータ値を受け取り、かつ前記継続時間長データ記憶手段から、任意の１発話を構成する構成要素とその継続時間長からなる時系列データを順次受け取り、前記任意の１発話の発話速度の範囲を確率分布の形式で出力する発話速度分布推定手段を、
   更に備えたことを特徴とする請求項１記載の発話様式推定装置。
3. 前記第一のパラメータ及び前記第二のパラメータを初期化するパラメータ初期化手段と、
   前記パラメータ更新手段による前記第一及び第二のパラメータの更新を制御する収束判定手段とを更に備え、
   前記パラメータ更新手段は、前記時系列データと、前記第一及び第二のパラメータとを使用して、当該第一及び第二のパラメータを更新する、
   ことを特徴とする請求項１記載の発話様式推定装置。
   
4. 複数個の発話又は発話の部分について、それらの構成要素とその継続時間長とからなる時系列データを記憶する第一の手順と、
   発話速度の確率分布を規定する第一のパラメータを記憶する第二の手順と、
   前記構成要素の種類ごとの継続時間長の確率分布を規定する第二のパラメータを記憶する第三の手順と、
   前記第二及び第三の手順で記憶された前記第一及び第二のパラメータの値を受け取り、かつ前記第一の手順で記憶された時系列データの中から、任意の１発話を構成する構成要素とその継続時間長とからなる時系列データを順次受け取り、前記時系列データが前記第一及び第二のパラメータ値で規定される発話様式にどの程度合致しているか、を示すスコアを出力する第四の手順と、
   前記第一の手順で記憶された時系列データを読み出し、その内容に基づいて前記第二及び第三の手順で記憶された前記第一及び第二のパラメータを反復的に更新する第六の手順と、
   を含むことを特徴とする発話様式推定方法。
5. 前記第二及び第三の手順で記憶された前記第一及び第二のパラメータの値を受け取り、かつ前記第一の手順で記憶された時系列データの中から、任意の１発話を構成する構成要素とその継続時間長からなる時系列データを順次受け取り、前記任意の１発話の発話速度の範囲を確率分布の形式で出力する第五の手順と、
   を更に含むことを特徴とする請求項４記載の発話様式推定方法。
6. 前記第一のパラメータ及び前記第二のパラメータを初期化する第七の手順と、
   前記第六の手順による前記第一及び第二のパラメータの更新を制御する第八の手順とを更に含み、
   前記第六の手順では、前記時系列データと、前記第一及び第二のパラメータとを使用して、当該第一及び第二のパラメータを更新する、
   ことを特徴とする請求項４記載の発話様式推定方法。
   
7. 複数個の発話又は発話の部分について、それらの構成要素とその継続時間長とからなる時系列データを記憶する継続時間長データ記憶手段と、
   発話速度の確率分布を規定する第一のパラメータを記憶する発話速度パラメータ記憶手段と、
   前記構成要素の種類ごとの継続時間長の確率分布を規定する第二のパラメータを記憶する継続時間長パラメータ記憶手段と、
   前記発話速度パラメータ記憶手段及び継続時間長パラメータ記憶手段からそれぞれ前記第一及び第二のパラメータの値を受け取り、かつ前記継続時間長データ記憶手段から、任意の１発話を構成する構成要素とその継続時間長とからなる時系列データを順次受け取り、前記時系列データが前記第一及び第二のパラメータの値で規定される発話様式にどの程度合致しているか、を示すスコアを出力する継続時間長評価手段と、
   前記継続時間長データ記憶手段に記憶された時系列データを読み出し、その内容に基づいて前記発話速度パラメータ記憶手段及び前記継続時間長パラメータ記憶手段に記憶された前記第一及び第二のパラメータを反復的に更新するパラメータ更新手段を、
   をコンピュータに機能させるための発話様式推定プログラム。
8. 前記発話速度パラメータ記憶手段及び継続時間長パラメータ記憶手段からそれぞれ前記第一及び第二のパラメータ値を受け取り、かつ前記継続時間長データ記憶手段から、任意の１発話を構成する構成要素とその継続時間長からなる時系列データを順次受け取り、前記任意の１発話の発話速度の範囲を確率分布の形式で出力する発話速度分布推定手段を、
   更に前記コンピュータに機能させるための請求項７記載の発話様式推定プログラム。
9. 前記第一のパラメータ及び前記第二のパラメータを初期化するパラメータ初期化手段と、
   前記パラメータ更新手段による前記第一及び第二のパラメータの更新を制御する収束判定手段とを更に前記コンピュータに機能させるとともに、
   前記パラメータ更新手段を、前記時系列データと、前記第一及び第二のパラメータとを使用して、当該第一及び第二のパラメータを更新するように、前記コンピュータに機能させるための、
   請求項７記載の発話様式推定プログラム。

Images