JP5925082B2

JP5925082B2 - 音声合成装置、方法及びプログラム

Info

Publication number: JP5925082B2
Application number: JP2012176759A
Authority: JP
Inventors: 定男廣谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-08-09
Filing date: 2012-08-09
Publication date: 2016-05-25
Anticipated expiration: 2032-08-09
Also published as: JP2014035460A

Description

この発明は、HMM(Hidden Markov Model)を用いた音声合成技術に関する。

従来のHMM音声合成装置の構成を図３に示す。従来のHMM音声合成装置は、音素HMM系列生成部１と、声道スペクトルパラメータ計算部２と、音声合成部３と、音素HMM記憶部４とを備える。

音素HMM系列生成部１は、入力された合成したいテキストの音素列にしたがって、学習用の音声データベースから予め学習しておいた音素HMM（Hidden Markov Model: 隠れマルコフモデル）を接続することにより音素HMMの状態の系列を生成する。生成された音素HMMの状態の系列は、声道スペクトルパラメータ計算部２に送信される。

ここで、音素HMMの状態の系列は、声道スペクトルパラメータの平均値と声道スペクトルパラメータの速度の平均値とから成るベクトル、及び、声道スペクトルパラメータの分散と声道スペクトルパラメータの速度の分散とから成る行列で表現される。なお、声道スペクトルパラメータの平均値、声道スペクトルパラメータの速度の平均値、声道スペクトルパラメータの分散及び声道スペクトルパラメータの速度の分散のそれぞれは、音素HMMの状態の系列を構成する音素HMMの各状態ごとに計算される。

声道スペクトルパラメータ計算部２は、出力確率が最大となる声道スペクトルパラメータを計算する。

最後に、音声合成部３が、計算された声道スペクトルパラメータに基づいて、入力された音源信号（有声音であれば基本周期に応じたパルス列、無声音であれば白色雑音からなる音源信号）を畳み込むことにより音声を合成する（例えば、非特許文献１参照。）。

声道スペクトルパラメータとしては、音声の声道スペクトルの全極フィルタ表現であるLSPパラメータω_i(i=1,2,…,p)が広く用いられている。フィルタが安定であるためのLSPパラメータの必要条件は、LSPパラメータω_iが昇順特性、つまり、0<ω₁<ω₂<…<ω_pを満たすことである。昇順特性を満たさないLSPパラメータから音声を合成した場合、合成された音声信号が発散する可能性がある。

さて、時刻tにおけるLSPパラメータをω_i(t)とし、LSPパラメータの速度を

とした場合、LSPパラメータω_i(t)のみから成るベクトルω_static

からLSPパラメータω_i(t)とその速度Δω_i(t)から成るベクトルω_dynamic

への変換行列Ｒは、

で定義できる。aは、例えば0.5である。この明細書において、行列・^Tの上付きのTは、転置を意味する。行列・^Tの上付きのT以外のTは、所定の時刻Tを意味することに注意する。0_a×bは、全ての要素が0であるa×bの行列を意味し、I_a×aは、対角要素が1、それ以外の要素が0であるa×aの正方行列を意味する。

LSPパラメータの平均値ω^- _i(t)とLSPパラメータの速度の平均値Δω^- _i(t)とから成るベクトルω^-、及び、LSPパラメータの分散σ_ωi(t)とLSPパラメータの速度の分散σ_Δωi(t)とから成る行列σは、以下のように表すことができる。diagは、対角行列を意味する。

ここで、声道スペクトルパラメータ計算部２において計算により推定されるLSPパラメータベクトルω^を以下のように定義する。

すると、声道スペクトルパラメータ計算部２において出力確率を最大にするLSPパラメータを求めるには、以下を最小化すれば良い。

つまり、

を解けばよい（例えば、非特許文献２参照。）。

しかし、上述の計算により求まるLSPパラメータの値はHMMの平均値付近に存在するため、人間が発声したオリジナルのLSPパラメータの値と比較すると、LSPパラメータのダイナミックレンジが狭く、こもった音声に聞こえるという問題がある。そこで、Global Variance (GV)というパラメータを定義し、LSPパラメータのダイナミックレンジを評価することを考える（例えば、非特許文献３参照。）。

ある１つの文章nについてのGVであるν_i,nは、その文章nの発声についてのLSPパラメータを用いて、以下のように定義される。T_nは文章nの発話の時間長である。

また、学習データのN個の文章n(n=1, ・・・,N) の発声についてのLSPパラメータを用いて、μ及びUを以下のように定義する。μはν_i,n(n=1,・・・,N )の平均であり、Uはν_i,n(n=1,・・・,N)の分散である。なお、Nを所定の正の数とする。音素HMM記憶部４には、μ及びUが記憶されているとする。

推定されるGVであるν(ω)を以下のように定義する。

GVの出力確率を最大にするLSPパラメータを求めるには、以下を最小化すればよい。

最終的には、非特許文献２では、声道スペクトルパラメータ計算部２において、式（１）の代わりに、式（１）と式（２）を合わせた評価式である式（３）を最小化するようなLSPパラメータω^を最急降下法などのアルゴリズムを用いて求める。

ここで、1/(2T)は、式（１）と式（２）の値のオーダーを揃えるための重みである。

HMM音声合成では比較的高い次数のLSPパラメータ（例えば、p=40）を用いる必要があることや、GVを導入することにより、上述の方法では、LSPパラメータの昇順特性が必ずしも満たされないという問題がある。そこで、ペナルティ関数を導入する方法が提案されている。つまり、

というペナルティ関数による制約を導入する方法である（例えば、非特許文献４参照。）。ここで、αはあまり大きくない正の値、Mは偶数、ω_p+1=πである。ω_i-1>ω_iの場合にペナルティ関数の値が大きくなることが分かるが、このペナルティ関数では昇順特性を満たすことが保証されず、ペナルティ関数の影響により出力確率の最大化が保証されないという問題がある。

L.R. Rabiner, R.W. Schafer, "Digital processing of speech signals", Prentice Hall, 1978. 徳田, 益子, 小林, 今井, "動的特徴を用いたHMMからの音声パラメータ生成アルゴリズム", 日本音響学会誌, Vol.53, No.3, 192-200, 1997. T. Toda, K. Tokuda, "A speech parameter generation algorithms considering global variance for HMM-based speech synthesis", IEICE Trans. Inf. & Syst., 816-824, 2007. M. Lei, Z.-H. Ling, L.-R. Dai, "Preserve ordering property of generated LSPs for minimum generation error training in HMM-based speech synthesis", Proc. ICASSP, 4712-4715, 2011.

このように、従来の手法では、LSPパラメータの昇順特性を保持することができなかった。

この発明は、LSPパラメータの昇順特性を保持することができる音声合成装置、方法及びプログラムを提供することを目的とする。

この発明の一態様による音声合成装置は、複数の音素の音素HMMを記憶する音素HMM記憶部と、入力されたテキストの各音素に対応する音素HMMを音素HMM記憶部から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する音素HMM状態系列生成部と、pをLSPパラメータの次数とし、ω^_i(t)(i=1,2,・・・.p)をLSPパラメータとして、差分LSPパラメータd_i(t)をd₁(t)=ω^₁(t)>0かつd_j(t)=ω^_j(t)-ω^_j-1(t)>0(2≦j≦p)として、音素HMMの状態の系列を構成するLSPパラメータを用いて、差分LSPパラメータd_i (t)を乗算型更新式により繰り返し更新することにより計算する差分LSPパラメータ計算部と、計算された差分LSPパラメータd_i (t)を用いて、以下の式により定義されるLSPパラメータω^_i(t)を計算するLSPパラメータ計算部と、計算されたLSPパラメータω^_i(t)に基づいて、入力されたテキストに対応する音声を生成する音声合成部とを、備える。

LSPパラメータの昇順特性を保持することができる。

音声合成装置の例を説明するための図。音声合成方法の例を説明するための図。従来の音声合成装置の例を説明するための図。

以下、図面を参照して、音声合成装置及び方法の実施形態を説明する。

音声合成装置は、図１に示すように、音素HMM系列生成部１と、差分LSPパラメータ計算部５と、LSPパラメータ計算部６と、音声合成部３と、音素HMM記憶部４とを備える。この発明の実施形態では、背景技術で説明した声道スペクトルパラメータ計算部２に代わり、差分LSPパラメータ計算部５及びLSPパラメータ計算部６がLSPパラメータを計算する。他の部分は、背景技術と同様である。

音素HMM記憶部４には、複数の音素の音素HMMが記憶されている。また、Nを所定の正の数として、音素HMM記憶部４には、N個の文章n(n=1,・・・,N)の発話についてのLSPパラメータから求められたGV（μ及びＵ）が記憶されているとする。

音素HMMの各状態は、LSPパラメータの平均値ω^- _i(t)、LSPパラメータの速度の平均値Δω^- _i(t)、LSPパラメータの分散σ_ωi(t)及びLSPパラメータの速度の分散σ_Δωi(t)で表現される。LSPパラメータの平均値ω^- _i(t)、LSPパラメータの速度の平均値Δω^- _i(t)、LSPパラメータの分散σ_ωi(t)及びLSPパラメータの速度の分散σ_Δωi(t)は、事前に計算され、音素HMM記憶部４に記憶されている。

音素HMM系列生成部１は、背景技術で説明した音素HMM系列生成部１と同様の処理を行う。すなわち、音素HMM系列生成部１は、入力されたテキストの各音素に対応する音素HMMを音素HMM記憶部４から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する（ステップＳ１）。生成された音素HMMの状態の系列は、差分LSPパラメータ計算部５に送信される。

音素HMMの各状態は、LSPパラメータの平均値ω^- _i(t)、LSPパラメータの速度の平均値Δω^- _i(t)、LSPパラメータの分散σ_ωi(t)及びLSPパラメータの速度の分散σ_Δωi(t)で表現されるため、音素HMMの状態の系列も、LSPパラメータの平均値ω^- _i(t)とLSPパラメータの速度の平均値Δω^- _i(t)とから成るベクトルω^-、及び、LSPパラメータの分散σ_ωi(t)とLSPパラメータの速度の分散σ_Δωi(t)とから成る行列σで表現される。

差分LSPパラメータ計算部５は、音素HMMの状態の系列を構成するLSPパラメータを用いて、差分LSPパラメータd_jを乗算型更新式により繰り返し更新することにより計算する（ステップＳ２）。計算された差分LSPパラメータd_jは、LSPパラメータ計算部６に送信される。

差分LSPパラメータ計算部５は、具体的にはω^- _i(t),Δω^- _i(t),σ_ωi(t),σ_Δωi(t),μ,U等のパラメータを用いて、差分LSPパラメータd_jを計算する。ここで、ω^- _i(t),Δω^- _i(t),σ_ωi(t),σ_Δωi(t),μ,U等のパラメータは、音素HMMの状態の系列を構成するLSPパラメータω_i(t)から計算されるパラメータである。したがって、差分LSPパラメータ計算部５は、音素HMMの状態の系列を構成するLSPパラメータを用いて、差分LSPパラメータd_jを計算していると言える。

pをLSPパラメータの次数として、差分LSPパラメータd_i(t)により定まるLSPパラメータをω^_i(t)として、d_i(t)及びω^_i(t)は以下の関係を有する。

差分LSPパラメータ計算部５は、背景技術の欄で説明した式（３）を最小化するd_j(t)を計算する。

例えば、式（３）に

を代入した評価式をF(d_i(t))と定義し、F(d_i(t))をd_i(t)で偏微分した多項式▽F(d_i(t))の正の項から成る多項式を▽F⁺(d_i(t))とし、上記多項式▽F(d_i(t))の負の項から成る多項式を▽F^-(d_i(t))とする。このとき、d_jを以下の乗算型更新式により繰り返し更新することにより、d_jを計算することができる（例えば、参考文献１参照。）。

〔参考文献１〕Virtanen, IEEE Trans. Audio Speech Lang. Process., 15(3), 1066-1074, 2007.
また、背景技術で説明した式（０）のようにLSPパラメータの速度を定義した場合には、式（４）の乗算型更新式は具体的には以下のようになる。

また、背景技術で説明した式（０）の定数aを0.5にした場合には、式（４）の乗算型更新式は、具体的には以下のようになる。

また、LSPパラメータの速度を以下のように定義した場合には、

式（４）の乗算型更新式は具体的には以下のようになる。

式（４）の乗算型更新式は具体的には以下のようになる。

なお、上述の乗算型更新式では、GVを利用する場合について説明を行ったが、GVを利用しない実施形態に本発明を利用することも可能である。例えば、LSPパラメータの速度を以下のように定義し、

乗算型更新式を具体的には以下のようにする。なお、GVを用いない乗算型更新式を使用する場合には、μやUを予め音素HMM記憶部４に記憶しておかなくてもよい。

上述の乗算型更新式の中のTは、音素HMMの状態の系列の時間長の総和であり、音素HMM状態系列生成部１により計算される。

なお、上述の乗算型更新式において、t≦0又はt>Tの場合にd_i(t),Δω^- _j(t)は定義されないため、t≦0又はt>Tの場合のd_i(t),Δω^- _j(t)を含む項の値を０とする。例えば、最初に具体例として挙げた乗算型更新式の式（５）のＡの右辺の第２項においてd_l(0)の場合にはこの場合の第２項の値を０とする。また、式（５）のＡの右辺の第３項においてd_l(T)の場合にはこの場合の第３項の値を０とする。

d_i(t)の初期値は、例えば非負の乱数とする。d_i(t)の更新の回数は求める精度、仕様に応じて適宜定められる。一般に、d_i(t)の更新の回数が多いほど、d_i(t)の精度が高くなる。例えば、K-1回目の更新後の式（３）の値と、K回目の更新後の式（３）の値との差が所定の閾値（例えば１０^−７）以下になるまで更新する。

d_i(t)は非負値に収束することから、０＜ω₁(t)＝d_i(t)＜ω₂(t)＝d_i(t)＋d₂(t)＜…＜ω_p(t)＝d_i(t)＋…＋d_p(t)となる。このように、ω_i(t)の代わりにd_i(t)を計算し、d_i(t)からω_i(t)を求めることにより、求まったω_i(t)は昇順特性を必ず満たし、かつ式（３）の誤差を最小化する。

LSPパラメータ計算部６は、差分ＬＳＰパラメータ計算部５が求めたd_ｉ(ｔ)を用いて、下記式によりLSPパラメータω^_i(t)を計算する（ステップＳ３）。計算されたLSPパラメータω^_i(t)は、音声合成部３に送信される。

音声合成部３は、背景技術で説明した音声合成部３と同様の処理を行う。すなわち、音声合成部３は、計算されたLSPパラメータω^_i(t)に基づいて、入力されたテキストに対応する音声を生成する（ステップＳ４）。

具体的には、音声合成部３は、以下の式のように、計算された声道スペクトルパラメータに基づいて、入力された音源信号u(t)（有声音であれば基本周期に応じたパルス列、無声音であれば白色雑音からなる音源信号）を畳み込むことにより音声信号s~(t)を生成する。

なお、以下のパラメータを音素HMM記憶部４に記憶された音素HMMに追加することにより、d_i(t)<πであることが補償される。これにより、合成された音声信号が発散する可能性が更に低くなる。

なお、音素HMM記憶部４に、LSPパラメータの平均値ω^- _i(t)、LSPパラメータの速度の平均値Δω^- _i(t)、LSPパラメータの分散σ_ωi(t)及びLSPパラメータの速度の分散σ_Δωi(t)ではなく、LSPパラメータω_i(t)で表現された音素HMMが記憶されていてもよい。この場合、音素HMM系列生成部１は、音素HMM記憶部４から読み込んだLSPパラメータω_i(t)を用いて、LSPパラメータの平均値ω^- _i(t)、LSPパラメータの速度の平均値Δω^- _i(t)、LSPパラメータの分散σ_ωi(t)及びLSPパラメータの速度の分散σ_Δωi(t)を計算して差分LSPパラメータ計算部５に送信する。

なお、μ及びUが音素HMM記憶部４に記憶されていなくてもよい。この場合であって、GVを用いる乗算型更新式を用いる場合には、音素HMM系列生成部１は、N個の文章n(n=1,・・・,N)の発話についてのLSPパラメータからμ及びUを計算して差分LSPパラメータ計算部５に送信する。

上記装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、上記装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

１音素HMM系列生成部
２声道スペクトルパラメータ計算部
３音声合成部
４音素HMM記憶部
５差分LSPパラメータ計算部
６ LSPパラメータ計算部

Claims

複数の音素の音素HMMを記憶する音素HMM記憶部と、
入力されたテキストの各音素に対応する音素HMMを上記音素HMM記憶部から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する音素HMM状態系列生成部と、
pをLSPパラメータの次数とし、ω^_i(t)(i=1,2,・・・.p)をLSPパラメータとして、差分LSPパラメータd_i(t)をd₁(t)=ω^₁(t)>0かつd_j(t)=ω^_j(t)-ω^_j-1(t)>0(2≦j≦p)として、上記音素HMMの状態の系列を構成するLSPパラメータを用いて、上記差分LSPパラメータd_i (t)を乗算型更新式により繰り返し更新することにより計算する差分LSPパラメータ計算部と、
上記計算された差分LSPパラメータd_i (t)を用いて、以下の式により定義されるLSPパラメータω^_i(t)を計算するLSPパラメータ計算部と、

上記計算されたLSPパラメータω^_i(t)に基づいて、上記入力されたテキストに対応する音声を生成する音声合成部と、
を含む音声合成装置。
請求項１に記載の音声合成装置において、
出力確率を最大にするLSPパラメータω^_i(t)を求めるための評価式F(d_i(t))をd_i(t)で偏微分した多項式▽F(d_i(t))の正の項から成る多項式を▽F⁺(d_i(t))とし、上記多項式▽F(d_i(t))の負の項から成る多項式を▽F^-(d_i(t))として、
上記乗算型更新式は、以下の式である、

音声合成装置。
音素HMM状態系列生成部が、入力されたテキストの各音素に対応する音素HMMを、複数の音素の音素HMMを記憶する音素HMM記憶部から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する音素HMM状態系列生成ステップと、
差分LSPパラメータ計算部が、pをLSPパラメータの次数とし、ω^_i(t)(i=1,2,・・・.p)をLSPパラメータとして、差分LSPパラメータd_i(t)をd₁(t)=ω^₁(t)>0かつd_j(t)=ω^_j(t)-ω^_j-1(t)>0(2≦j≦p)として、上記音素HMMの状態の系列を構成するLSPパラメータを用いて、上記差分LSPパラメータd_i (t)を乗算型更新式により繰り返し更新することにより計算する差分LSPパラメータ計算ステップと、
LSPパラメータ計算部が、上記計算された差分LSPパラメータd_i (t)を用いて、以下の式により定義されるLSPパラメータω^_i(t)を計算するLSPパラメータ計算ステップと、

音声合成部が、上記計算されたLSPパラメータω^_i(t)に基づいて、上記入力されたテキストに対応する音声を生成する音声合成ステップと、
を含む音声合成方法。
請求項１又は２の音声合成装置の各部としてコンピュータを機能させるためのプログラム。