JP6665079B2 - 基本周波数モデルパラメータ推定装置、方法、及びプログラム - Google Patents

基本周波数モデルパラメータ推定装置、方法、及びプログラム Download PDF

Info

Publication number
JP6665079B2
JP6665079B2 JP2016240303A JP2016240303A JP6665079B2 JP 6665079 B2 JP6665079 B2 JP 6665079B2 JP 2016240303 A JP2016240303 A JP 2016240303A JP 2016240303 A JP2016240303 A JP 2016240303A JP 6665079 B2 JP6665079 B2 JP 6665079B2
Authority
JP
Japan
Prior art keywords
command
time
fundamental frequency
function
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016240303A
Other languages
English (en)
Other versions
JP2018097114A (ja
Inventor
弘和 亀岡
弘和 亀岡
薫 平松
薫 平松
柏野 邦夫
邦夫 柏野
遼太郎 佐藤
遼太郎 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016240303A priority Critical patent/JP6665079B2/ja
Publication of JP2018097114A publication Critical patent/JP2018097114A/ja
Application granted granted Critical
Publication of JP6665079B2 publication Critical patent/JP6665079B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、基本周波数モデルパラメータ推定装置、方法、及びプログラムに係り、特に、音声信号から、観測基本周波数系列のパラメータを推定する基本周波数モデルパラメータ推定装置、方法、及びプログラムに関する。
音声には言語情報以外にも様々な情報が含まれており、日常的なコミュニケーションに利用される。我々はこれらの非言語的な情報を工学的に扱う枠組みを構築することを目標として、非言語情報の解析・合成のための情報処理と信号処理の研究を進めている。
音声の基本周波数(F0)軌跡には、話者性、感情、意図などの非言語的な情報が豊富に含まれることが知られている。このため、F0軌跡のモデル化は、音声合成、話者認識、感情認識、対話システムなど、韻律情報が重要な役割を担う応用において極めて有効である。F0軌跡は、韻律句全体にわたってゆるやかに変化する成分(フレーズ成分) と、アクセントに従って急峻に変化する成分(アクセント成分) により構成される。これらの成分は、ヒトの甲状軟骨の並進運動と回転運動にそれぞれ対応していると解釈できるが、この解釈に基づき対数F0 軌跡をこれらの成分の和で表した数学的なモデル(以後、藤崎モデル)が提案されている(非特許文献1)。藤崎モデルは、フレーズ・アクセント指令の生起時刻、持続時間、各指令の大きさなどをパラメータとして有し、これらが適切に設定されたとき実測の軌跡を非常によく近似することが知られている。また、パラメータの言語学的対応の妥当性も広く確認されている。
先述の藤崎モデルのパラメータは、韻律的特徴を効率よく表現できるため、実測のF0軌跡から藤崎モデルのパラメータを高速かつ高精度に推定することができれば有用である。しかしながら、この問題は元来不良設定問題であること、また藤崎モデルには言語学的な知見により守られるべき制約が存在することなどから、必ずしも容易ではなかった。これまで発明者らは、藤崎モデルをベースとしたF0 パターンの確率的生成過程をモデル化し、藤崎モデルの最尤パラメータをExpectation-Maximization(EM) アルゴリズムにより推定する手法を提案している(非特許文献2〜4)。
H. Fujisaki, O. Fujimura, Ed., "A note on the physiological and physical basis for the phrase and accent components in the Voice fundamental frequency contour," in Vocal Physiology: Voice Production, Mechanisms and Functions. New York, NY, USA: Raven, 1988. H. Kameoka, J. L. Roux, and Y. Ohishi, "A statistical model of speech F0contours," in Proc.SAPA, 2010, pp. 43−48. K. Yoshizato, H. Kameoka, D. Saito, and S. Sagayama, "Statistical approach to fujisaki-model parameter estimation from speech signals and its quantitative evaluation," in Proc. Speech Prosody 2012, 2012, pp. 175−178. K. Yoshizato, H. Kameoka, D. Saito, and S. Sagayama, "Hidden Markov convolutive mixture model for pitch contour analysis of speech," in Proc. The 13th Annual Conference of the International Speech Communication Association (Interspeech 2012), Sep. 2012.
前記手法の中心的なアイデアは、フレーズ・アクセント指令列の生成プロセスを隠れマルコフモデル(HMM) により表現した点にあるが、これらの手法では、その計算時間の90%以上が各時刻における状態事後確率を算出するためのForward-Backward アルゴリズムに費やされていた。前記手法ではHMMの全ての状態での出力分布が正規分布で記述されるため、状態事後確率の逐次計算において多数の確率値の積和の計算のための指数計算と対数計算が必要になり、これが計算に時間を要する主要因となっていた。この処理部の計算量を抑えることができればアルゴリズム全体を効率化することができる。
本発明は、上記の事情を鑑みてなされたもので、計算量を抑えて、藤崎モデルのパラメータを推定することができる基本周波数モデルパラメータ推定装置、方法、及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る基本周波数モデルパラメータ推定装置は、音声信号を入力として、隠れマルコフモデルの各時刻kの状態skからなる状態系列sと、各時刻kにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令up[k]及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ua[k]のペアo[k]からなる指令関数oと、各時刻kにおける状態skに応じたフレーズ指令の状態出力分布のパラメータC(p)[k]及び各アクセント指令nの状態出力分布のパラメータCn (a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置であって、前記音声信号の時系列データから、前記音声信号の各時刻kの基本周波数を表す観測基本周波数系列yを抽出する基本周波数抽出部と、前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻kにおける前記基本周波数の不確かさの程度を推定する有声無声区間推定部と、前記指令関数oの初期値を設定する初期値設定部と、前回更新された前記指令関数oまたは前記指令関数oの初期値に基づいて、前記観測基本周波数系列y、前記指令関数o、及び状態系列sの対数同時確率log p(y,o,s)を目的関数として、前記目的関数を増加させるように、Viterbiアルゴリズムを用いて、前記状態系列sを更新する状態系列更新部と、前回更新された前記指令関数oまたは前記指令関数oの初期値、前記観測基本周波数系列y、および各時刻kにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数o、及び前記パラメータ群θを更新するモデルパラメータ更新部と、予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる収束判定部と、を含んで構成されている。
本発明に係る基本周波数モデルパラメータ推定方法は、音声信号を入力として、隠れマルコフモデルの各時刻kの状態skからなる状態系列sと、各時刻kにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令up[k]及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ua[k]のペアo[k]からなる指令関数oと、各時刻kにおける状態skに応じたフレーズ指令の状態出力分布のパラメータC(p)[k]及び各アクセント指令nの状態出力分布のパラメータCn (a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置における基本周波数モデルパラメータ推定方法であって、基本周波数抽出部が、前記音声信号の時系列データから、前記音声信号の各時刻kの基本周波数を表す観測基本周波数系列yを抽出し、有声無声区間推定部が、前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻kにおける前記基本周波数の不確かさの程度を推定し、初期値設定部が、前記指令関数oの初期値を設定し、状態系列更新部が、前回更新された前記指令関数oまたは前記指令関数oの初期値に基づいて、前記観測基本周波数系列y、前記指令関数o、及び状態系列sの対数同時確率log p(y,o,s)を目的関数として、前記目的関数を増加させるように、Viterbiアルゴリズムを用いて、前記状態系列sを更新し、モデルパラメータ更新部が、前回更新された前記指令関数oまたは前記指令関数oの初期値、前記観測基本周波数系列y、および各時刻kにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数o、及び前記パラメータ群θを更新し、収束判定部が、予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる。
本発明に係るプログラムは、上記の基本周波数モデルパラメータ推定装置の各部としてコンピュータを機能させるためのプログラムである。
以上説明したように、本発明の基本周波数モデルパラメータ推定装置、方法、及びプログラムによれば、観測基本周波数系列y、前記指令関数o、及び状態系列sの対数同時確率log p(y,o,s)を目的関数として、Viterbiアルゴリズムを用いて、前記状態系列sを更新し、各々非負値である前記指令関数o、及び前記パラメータ群θを更新することを繰り返すことにより、計算量を抑えて、藤崎モデルのパラメータを推定することができる、という効果が得られる。
藤崎モデルを説明するための図である。 HMMを説明するための図である。 状態の分割を説明するための図である。 本発明の実施の形態に係る基本周波数モデルパラメータ推定装置の構成を示す概略図である。 本発明の実施の形態に係る基本周波数モデルパラメータ推定装置における基本周波数モデルパラメータ推定処理ルーチンの内容を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明で提案する手法では、観測F0パターンの再現性が高い藤崎モデルのパラメータ推定を実現するために、藤崎モデルをベースにしたF0パターン生成過程の確率モデルを定式化し、それに基づいて観測F0パターンが生じたと仮定する。藤崎モデルのパラメータ推定アルゴリズムも、この確率モデルに基づく。
<本発明の実施の形態の概要>
非特許文献2〜非特許文献4で提案されたモデルでは、前記HMMの状態系列

と出力値系列

を変数にもつ。非特許文献2、3では、観測F0パターン

が与えられた下で



の条件付同時確率



に関して周辺化した

の条件付確率

を、

を隠れ変数としたEMアルゴリズムで局所最大化できることが示されている。一方、非特許文献4では、



に関して周辺化した

の条件付確率

を、

を隠れ変数としたEM アルゴリズムで局所最大化できることが示されている。前者の方法は

に対する非負値制約を

の推定プロセスに組み込むことが難しかったのに対し、後者の方法は

に対する非負値制約の下で局所最適な

の推定が可能となったため高いパラメータの推定精度を実現している。しかし、後者の方法では

が与えられた下でForward-Backward アルゴリズムにより

の事後確率計算を行うステップ(Eステップ)が必要であり、このステップに膨大な計算量を要していた。そこで、本発明の実施の形態では、最適化規準を



の代わりに



の条件付同時確率

とし、

の事後確率計算ステップを

の最適推定ステップに置き換えたパラメータ推定アルゴリズムを提案する。すなわち、

が与えられた下で非負値制約の下での最適な

を推定するステップと

が与えられた下で最適な

をViterbi アルゴリズムにより効率的に探索するステップを繰り返すことで

の非負値制約の下で局所最適な



を推定することができる。本方法は、非特許文献4においてForward-BackwardアルゴリズムをViterbiアルゴリズムに置き換えたものになる点がポイントであり、一般にViterbi アルゴリズムはForward-Backwardアルゴリズムに比べ高速であるため、全体の計算量の効率化が期待される。
<F0軌跡の確率モデル化>
非特許文献4に記載されているF0軌跡の確率モデル化について説明する。
図1に示すように、藤崎モデル(非特許文献1参照)は、対数F0軌跡y(t)を以下の3つの成分の和
で表すモデルである。ここで、tは時刻、xp(t)はフレーズ成分、xa(t)はアクセント成分、xb はベースライン成分と呼ぶ時間によらない定数である。さらにフレーズ成分、アクセント成分はそれぞれ、フレーズ指令、アクセント指令と呼ばれる信号の2次のフィルタの出力



であると仮定される。ここでup(t)はフレーズ指令と呼ぶパルス列であり、ua(t)はアクセント指令と呼ばれる矩形パルス列である。これらのうち非ゼロの値をとるのは各時刻で高々1つである。α、βはそれぞれ2次フィルタの応答の速さを表す角周波数であり、個人や発話によらずおおよそα=3rad/s、β=20rad/s程度の値をとることが知られている。
以下に、これまで発明者らが開発してきた藤崎モデルをベースにしたF0軌跡の生成過程の確率モデル(非特許文献4)について概説する。上述の藤崎モデルにおいて、フレーズ指令、アクセント指令はそれぞれデルタ列、矩形パルス列であり、さらにこれらは互いに重ならないという仮定が置かれる。非特許文献2〜4の手法の中心的なアイデアは、フレーズ・アクセント指令列の生成プロセスを隠れマルコフモデル(HMM)により表現した点にある。離散時刻のインデックスをkとし、フレーズ指令up[k]、アクセント指令ua[k]のペアを

とする。各状態の出力分布を正規分布とした場合、出力系列

に従う。ここでskは時刻k における状態を表す。すなわち、式(6)は平均

と分散

が状態遷移の結果として時間とともに変化することを意味する。HMM の利点は、状態遷移ネットワークの設計を通してモデル化したい系列に対して課すべき制約を柔軟に設けられる点にある。フレーズ指令、アクセント指令に対する先述の制約は例えば図2のような状態遷移ネットワークによって表現できる。加えて、それぞれの状態を同じ出力分布をもったいくつかの小状態に分割することで自己遷移の持続長をパラメータ化することもできる。
図2に、従来法におけるフレーズ・アクセント指令列の状態遷移モデルを示す(非特許文献2〜4参照)。状態r0ではμp[k]とμa[k] はいずれも0 となる。状態p0ではμp[k]は非負値C(p)[k]をとり、μa[k] は0 となる。状態r1では状態r0 と同様μp[k]とμa[k]はいずれも0 となる。従って状態r0 から状態p1を経由して状態r1に遷移する過程でμp[k]はパルス状の系列となる。状態r1 は状態a0,...,aN-1へのみ遷移することができ、これらの状態においてμa[k] はそれぞれ異なる値C(a) n をとり、μp[k] は0 となる。状態r1を経由せずに直接an からan′ (n≠n′)へ遷移することができないようにすることでμa[k] が矩形パルス列となるように制約することができる。
次に、図3に状態an を小状態に分割した例を示す。例えばこの図3のように全てのm≠0に対してan,m からan,m+1への状態遷移確率を1 に設定することで、an,0からan,mへの遷移確率が状態an がm ステップだけ持続する確率に対応し、アクセント指令の持続長を柔軟に制御できるようになる。同様にp1 とp0 とa0 も小状態に分割することで、フレーズ指令の持続長と指令間の間隔の長さの分布をパラメータ化することが可能になる。こうした分割をふまえて、以後は改めて

と表記する。以上のHMM の構成は以下となる。
上記のHMMから出力された指令関数up[k]、ua[k]にそれぞれ異なるフィルタGp[k]とGa[k] が畳み込まれたものがフレーズ成分とアクセント成分
となる。ただし、*は離散時間kに関する畳込みを表す。また、Gp[k]とGa[k]はそれぞれGp(t) とGa(t)を離散時間表現である。以上より、F0軌跡の離散時間表現x[k]は
となる。xbはベースライン成分を表す。
無声区間においてはF0は観測されないことがあったり、観測されていたとしても信頼できない場合がある。また、F0抽出において推定誤りが生じる場合もある。そこで観測F0パターンy[k]を、上述のF0パターンモデルx[k]とノイズ

との和として表すことで、観測F0パターンの不確実性を分散v2 n[k]の設定を通して組み込むことができる。すなわち、観測F0パターンy[k]を
と表現することで、信頼のおける区間かどうかに関わらず全ての観測区間を統一的に扱える。ここで、xn[k]を周辺化すると、

が与えられたもとでの

の条件つき確率密度関数

となる。式(6) より、状態系列

が与えられたもとでの

の条件つき確率密度関数



で与えられる。ここで、

は出力分布の平均と分散の系列を表す。状態系列

の確率分布

はHMMにおけるマルコフ性の仮定より、遷移確率の積

で与えられる。
<藤崎モデルパラメータ推定アルゴリズム>
非特許文献2、3では、観測F0 系列

が与えられたときの状態系列

の事後確率

を最大化する

をEM アルゴリズムにより探索するアルゴリズムが提案されており、非特許文献4では、観測F0系列

が与えられたときの状態出力系列

の事後確率



の各要素が非負値となるように最大化する

をEMアルゴリズムと補助関数法により探索するアルゴリズムが提案されている。これらに対し本発明は、観測F0系列

が与えられたときの状態出力系列

と状態系列

の同時事後確率

を最大化する



を、

を固定した上で

が最大となるように

を更新するステップと、

を固定した上で

が増大するように

を非負値制約下で更新するステップを反復することで探索するアルゴリズムである。
<状態系列更新ステップ>
状態系列更新ステップは、

を固定した上で

が最大となるように

を更新するステップである。



に依存する項は

であるため、

を最大化する

を求める問題は、

を出力系列としたHMM の状態系列探索問題と同形である。従ってViterbi アルゴリズムを用いて解決することができる。
<状態出力系列更新ステップ>
状態出力系列更新ステップは、

を固定した上で

が最大となるように

を更新するステップである。



に依存する項は

であり、



はそれぞれ

で与えられる。ただしGb[k]=δ[k](クロネッカーのデルタ)である。指令関数up[k]、ua[k] が非負であるという条件の下で

を最大化する

を直接求めるのは難しいが、補助関数法に基づく反復計算により局所的に最大化する

を探索することができる。補助関数法は最大化したい目的関数の下界となる関数を反復的に増加させていくことで目的関数を増加させる手法である。式(12) の下界となる関数は、Jensen の不等式
が成り立つことを利用して設計することができる。ただし、

を補助変数と呼び、

を満たす。式(14) の等号成立条件は
である。
よって、
が成り立ち、右辺を補助関数

と呼ぶ。この補助関数をui[l]に関して偏微分すると、
となるため、これを0 と置くことで
を得る。以上より、式(15)、式(18) を反復することで

を増加させることができる。
また、

を最大にするHMM の状態出力分布のパラメータ



に関する偏微分をそれぞれ0 と置くことで
で与えられる。ただし、

はsk= anであるようなk の集合

を表し、

はその集合の要素数を表す。
<システム構成>
次に、観測された音声信号の時系列データを解析して、藤崎モデルのパラメータを推定する基本周波数モデルパラメータ推定装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。
図4に示すように、本発明の実施の形態に係る基本周波数モデルパラメータ推定装置100は、CPUと、RAMと、後述する基本周波数モデルパラメータ推定処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
図4に示すように、基本周波数モデルパラメータ推定装置100は、記憶部1と、基本周波数系列抽出部2と、有声無声区間推定部3と、初期値設定部4と、状態系列更新部5と、モデルパラメータ更新部6と、収束判定部7と、出力部9とを備えている。
記憶部1は、観測された音声信号の時系列データを記憶する。
基本周波数系列抽出部2は、音声信号の時系列データから、基本周波数の時系列データを抽出し、それらを離散時間kで表現するように変換して、音声信号の基本周波数の時系列データである観測基本周波数系列

とする。この基本周波数の抽出処理は、周知技術により実現でき、例えば、非特許文献5(H. Kameoka, "Statistical speech spectrum model incorporating all-pole vocal tract model and F0 contour generating process model," in Tech. Rep. IEICE, 2010, in Japanese.)に記載の手法を利用して、8msごとに基本周波数を抽出する。
有声無声区間推定部3は、音声信号の時系列データから、有声区間と無声区間とを特定し、離散時間k毎に、有声区間であるか無声区間であるかに応じて、観測F0[k]値の不確かさの程度vn 2[k]を推定する。無声区間では不確かさの程度を大きく推定し、有声区間では不確かさの程度を小さく推定する。
初期値設定部4は、後述する処理で用いる各パラメータである、アクセント指令の数N、ubを定数とみなし初期値を設定する。初期値として適当な値を設定する。また、初期値設定部4は、HMMの小状態の個数、遷移確率φi′,Iを、予め用意した正解データから学習して決定する。また、初期値設定部4は、従来既知の藤崎モデルのパラメータ推定法を用いて、

の初期値(非負値)を設定する。また、初期値設定部4は、C(p)[k]の初期値として、

のフレーズ指令関数の振幅を線形補間したものを設定し、Cn (a)の初期値として適切な値を設定する。
本実施の形態では、藤崎モデルパラメータ



の局所最適解は、状態系列更新部5とモデルパラメータ更新部6の2つのステップを繰り返すことで得られる。
状態系列更新部5は、前回更新された指令関数

又は指令関数

の初期値に基づいて、観測基本周波数系列

、指令関数

、及び状態系列

の対数同時確率

を目的関数として、前記目的関数を増加させるように、Viterbiアルゴリズムを用いて、状態系列

を更新する。具体的には、

が最大となるように、Viterbiアルゴリズムを用いて、状態系列

を更新する。
モデルパラメータ更新部6は、前回更新された指令関数

または指令関数

の初期値、観測基本周波数系列

、および各時刻kにおける不確かさの程度vn 2[k]に基づいて、目的関数を増加させるように、補助関数法を用いて、各々非負値である指令関数

、及びパラメータ群

を更新する。
具体的には、モデルパラメータ更新部6は、補助変数更新部61、指令関数更新部62、収束判定部63、及び状態出力分布更新部64を備えている。
補助変数更新部61は、前回更新された各時刻kのフレーズ指令up[k](又は初期値)に基づいて、時刻k、l(l<k)の全ての組み合わせ(k、l)の各々について、上記の式(15)に従って、補助変数λp,k,lを算出して更新する。また、補助変数更新部61は、前回更新された各時刻kのアクセント指令ua[k](又は初期値)に基づいて、(k、l)の全ての組み合わせについて、上記の式(15)に従って、補助変数λa,k,lを算出して更新する。
また、補助変数更新部61は、ubに基づいて、(k、l)の全ての組み合わせについて、上記の式(15)に従って、補助変数λb,k,lを算出して更新する。
指令関数更新部62は、基本周波数系列

と、不確かさの程度vn 2 [k]と、状態系列更新部5によって更新された状態系列

と、補助変数更新部61によって更新された補助変数λp,k,lとに基づいて、上記式(18)に従って、非負値である各時刻lのフレーズ指令up[l]を更新する。
また、指令関数更新部62は、基本周波数系列

と、不確かさの程度vn 2[k]と、状態系列更新部5によって更新された状態系列

と、補助変数更新部61によって更新された補助変数λa,k,lとに基づいて、上記式(18)に従って、非負値である各時刻lのアクセント指令ua[l]を更新する。
また、指令関数更新部62は、基本周波数系列

と、不確かさの程度vn 2 [k]と、補助変数更新部61によって更新された補助変数λb,k,lとに基づいて、上記式(18)に従って、ベース成分ubを更新する。
収束判定部63は、予め定められた収束条件を満足するか否かを判定し、収束条件を満足していない場合には、補助変数更新部61及び指令関数更新部62の各処理を繰り返す。収束判定部63は、収束条件を満足したと判定した場合には、状態出力分布更新部64による処理に移行する。
収束条件としては、繰り返し回数sが予め定めた回数S(例えば、20回)に達したことを用いればよい。なお、s-1回目のパラメータを用いたときの補助関数の値とs回目のパラメータを用いたときの補助関数の値との差が、予め定めた閾値よりも小さくなったことを、収束条件として用いてもよい。
状態出力分布更新部64は、指令関数更新部62によって更新された各時刻kのフレーズ指令up[k]に基づいて、上記式(19)に従って、各時刻kのフレーズ指令の状態出力分布のパラメータC(p)[k]を更新すると共に、指令関数更新部62によって更新された各時刻kのアクセント指令ua[k]と、状態系列更新部5によって更新された状態系列sとに基づいて、上記式(20)に従って、各アクセント指令nの状態出力分布のパラメータCn (a)を更新することにより、パラメータ群

を更新する。
収束判定部7は、予め定められた収束条件を満足するか否かを判定し、収束条件を満足していない場合には、上記の更新値を改めて



に代入して、反復アルゴリズム(状態系列更新部5及びモデルパラメータ更新部6の各処理)を繰り返す。収束判定部7は、収束条件を満足したと判定した場合には、出力部9による処理に移行する。
収束条件としては、繰り返し回数rが予め定めた回数R(例えば、20回)に達したことを用いればよい。なお、r-1回目のパラメータを用いたときの目的関数の値とr回目のパラメータを用いたときの目的関数の値との差が、予め定めた閾値よりも小さくなったことを、収束条件として用いてもよい。
そして、出力部9により、指令関数

、パラメータ群

、状態系列

を出力する。
<基本周波数モデルパラメータ推定装置の作用>
次に、本実施の形態に係る基本周波数モデルパラメータ推定装置100の作用について説明する。まず、分析対象として、観測された音声信号の時系列データが、基本周波数モデルパラメータ推定装置100に入力され、記憶部1に格納される。そして、基本周波数モデルパラメータ推定装置100において、図5に示す基本周波数モデルパラメータ推定処理ルーチンが実行される。
まず、ステップS101において、記憶部1から、音声信号の時系列データを読み込み、各時刻kの基本周波数F0からなる基本周波数系列

を抽出する。ステップS102において、音声信号の時系列データに基づいて、有声区間、無声区間を特定し、各時刻kの基本周波数の不確かさの程度vn 2 [k]を推定する。
次のステップS103では、各パラメータN、ubに対して適切な初期値を設定すると共に、HMMの小状態の個数、遷移確率φi′,Iを、予め用意した正解データから学習して決定する。また、従来手法により指令系列

を推定して、初期値として設定すると共に、C(p)[k]の初期値及びCn (a)の初期値を設定する。
そして、ステップS104において、上記ステップS103で設定された指令系列

の初期値、または後述するステップS105で前回更新された指令系列

に基づいて、

が最大となるように、Viterbiアルゴリズムを用いて、状態系列

を更新する。
ステップS105では、上記ステップS103で設定された各時刻kのフレーズ指令up[k]の初期値、又は後述するステップS106で前回更新された各時刻kのフレーズ指令up[k]に基づいて、時刻k、l(l<k)の全ての組み合わせ(k、l)の各々について、上記の式(15)に従って、補助変数λp,k,lを算出して更新する。上記ステップS103で設定された各時刻kのアクセント指令ua[k]の初期値、又は後述するステップS106で前回更新された各時刻kのアクセント指令ua[k]に基づいて、(k、l)の全ての組み合わせについて、上記の式(15)に従って、補助変数λa,k,lを算出して更新する。また、上記ステップS103で設定されたubの初期値、又は後述するステップS106で前回更新されたubに基づいて、(k、l)の全ての組み合わせについて、上記の式(15)に従って、補助変数λb,k,lを算出して更新する。
次のステップS106では、上記ステップS101で算出された基本周波数系列

と、上記ステップS102で算出された各時刻kの不確かさの程度vn 2[k]と、上記ステップS104で更新された状態系列

と、上記ステップS105で更新された補助変数λp,k、l、λa,k,l、λb,k,lとに基づいて、上記式(18)に従って、非負値である各時刻lのフレーズ指令up[l]及びアクセント指令ua[l]からなる指令系列

とベース成分ubとを更新する。
次のステップS107では、収束条件として、繰り返し回数sが、Sに到達したか否かを判定し、繰り返し回数sがSに到達していない場合には、収束条件を満足していないと判断して、上記ステップS105へ戻り、上記ステップS105〜ステップS106の処理を繰り返す。一方、繰り返し回数sがSに到達した場合には、収束条件を満足したと判断し、ステップS108で、上記ステップS106で更新された各時刻kのフレーズ指令up[k]に基づいて、上記式(19)に従って、各時刻kのフレーズ指令の状態出力分布のパラメータC(p)[k]を更新すると共に、上記ステップS106で更新された各時刻kのアクセント指令ua[k]と、上記ステップS104で更新された状態系列

とに基づいて、上記式(20)に従って、各アクセント指令nの状態出力分布のパラメータCn (a)を更新することにより、パラメータ群

を更新する。
そして、ステップS109において、収束条件として、繰り返し回数rが、Rに到達したか否かを判定し、繰り返し回数rがRに到達していない場合には、収束条件を満足していないと判断して、上記ステップS104へ戻り、上記ステップS104〜ステップS108の処理を繰り返す。一方、繰り返し回数rがRに到達した場合には、収束条件を満足したと判断し出力部9により、指令関数

、パラメータ群

、状態系列

を出力して、基本周波数モデルパラメータ推定処理ルーチンを終了する。
<実験>
表1は、音声データ長: 3.62 秒の音声データに従来法(非特許文献4)と本発明の実施の形態の手法を適用した際の各ステップに要した計算時間を示している。
実装環境は下記のとおりである。
・CPU: Core i7-6700K 4.0GHz
・RAM: 32GB
・OS: Windows 7 SP1
・MATLAB R2016a
本発明の実施の形態の手法の状態系列s の更新ステップは従来法の状態系列s の事後確率更新ステップに比べ70 倍程度高速化し、全体で16 倍程度高速化できることができた。
以上説明したように、本発明の実施の形態に係る基本周波数モデルパラメータ推定装置によれば、観測基本周波数系列、指令関数、及び状態系列の対数同時確率

を目的関数として、Viterbiアルゴリズムを用いて、状態系列を更新し、指令関数、及びパラメータ群θを更新することを繰り返すことにより、計算量を抑えて、藤崎モデルのパラメータを推定することができる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述の基本周波数モデルパラメータ推定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
1 記憶部
2 基本周波数系列抽出部
3 有声無声区間推定部
4 初期値設定部
5 状態系列更新部
6 モデルパラメータ更新部
7 収束判定部
61 補助変数更新部
62 指令関数更新部
63 収束判定部
64 状態出力分布更新部
100 基本周波数モデルパラメータ推定装置

Claims (7)

  1. 音声信号を入力として、隠れマルコフモデルの各時刻kの状態skからなる状態系列sと、各時刻kにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令up[k]及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ua[k]のペアo[k]からなる指令関数oと、各時刻kにおける状態skに応じたフレーズ指令の状態出力分布のパラメータC(p)[k]及び各アクセント指令nの状態出力分布のパラメータCn (a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置であって、
    前記音声信号の時系列データから、前記音声信号の各時刻kの基本周波数を表す観測基本周波数系列yを抽出する基本周波数抽出部と、
    前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻kにおける前記基本周波数の不確かさの程度を推定する有声無声区間推定部と、
    前記指令関数oの初期値を設定する初期値設定部と、
    前回更新された前記指令関数oまたは前記指令関数oの初期値に基づいて、前記観測基本周波数系列y、前記指令関数o、及び状態系列sの対数同時確率log p(y,o,s)を目的関数として、前記目的関数を増加させるように、Viterbiアルゴリズムを用いて、前記状態系列sを更新する状態系列更新部と、
    前回更新された前記指令関数oまたは前記指令関数oの初期値、前記観測基本周波数系列y、および各時刻kにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数o、及び前記パラメータ群θを更新するモデルパラメータ更新部と、
    予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる収束判定部と、
    を含み、
    前記状態系列更新部は、以下の式に従って、前記状態系列sが与えられたもとでの前記指令関数oの条件付き確率密度関数の対数log p(o|s)と前記状態系列sの確率分布の対数log p(s)との和を増加させるように、Viterbiアルゴリズムを用いて、前記状態系列sを更新する
    基本周波数モデルパラメータ推定装置。
  2. 前記モデルパラメータ更新部は、前回更新された前記指令関数oまたは前記指令関数oの初期値、前記観測基本周波数系列y、および各時刻kにおける前記不確かさの程度に基づいて、補助関数法を用いて、前記目的関数を増加させるように、各々非負値である前記指令関数o、及び前記パラメータ群θを更新する請求項1記載の基本周波数モデルパラメータ推定装置。
  3. 前記モデルパラメータ更新部は、
    前回更新された各時刻lのフレーズ指令up[l]又は各時刻lのフレーズ指令up[l]の初期値に基づいて、時刻k、lの組み合わせ(k、l)の各々について、補助変数λp,k,lを算出して更新し、かつ、前回更新された各時刻kのアクセント指令ua[k]又は各時刻kのアクセント指令ua[k]の初期値に基づいて、時刻k、lの組み合わせ(k、l)の各々について、補助変数λa,k,lを算出して更新し、かつ、前回更新されたベースライン成分ub又はベースライン成分ubの初期値に基づいて、時刻k、lの組み合わせ(k、l)の各々について、補助変数λb,k,lを算出して更新する補助変数更新部と、
    前記観測基本周波数系列yと、各時刻kの前記不確かさの程度と、前記補助変数更新部によって更新された前記補助変数λp,k,l、λa,k,l、λb,k,lとに基づいて、前記目的関数の下界となる関数を補助関数として、前記補助関数を増加させるように、各時刻lのフレーズ指令up[l]及びアクセント指令ua[l]と、ベースライン成分ubとを更新する指令関数更新部と、
    予め定められた収束条件を満たすまで、前記補助変数更新部による更新、及び前記指令関数更新部による更新を繰り返させる収束判定部と、
    前記指令関数更新部によって更新された各時刻lのフレーズ指令up[l]に基づいて、各時刻kのフレーズ指令の状態出力分布のパラメータC(p)[k]を更新し、かつ、前記指令関数更新部よって更新された各時刻lのアクセント指令ua[l]と、前記更新された状態系列sとに基づいて、各アクセント指令nの状態出力分布のパラメータCn (a)を更新することにより、前記パラメータ群θを更新する状態出力分布更新部と、
    を含む請求項2記載の基本周波数モデルパラメータ推定装置。
  4. 音声信号を入力として、隠れマルコフモデルの各時刻kの状態skからなる状態系列sと、各時刻kにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令up[k]及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ua[k]のペアo[k]からなる指令関数oと、各時刻kにおける状態skに応じたフレーズ指令の状態出力分布のパラメータC(p)[k]及び各アクセント指令nの状態出力分布のパラメータCn (a)を表すパラメータ群θとを推定する基本周波数モデルパラメータ推定装置における基本周波数モデルパラメータ推定方法であって、
    基本周波数抽出部が、前記音声信号の時系列データから、前記音声信号の各時刻kの基本周波数を表す観測基本周波数系列yを抽出し、
    有声無声区間推定部が、前記音声信号の時系列データについて、有声区間及び無声区間の何れであるかに応じて、各時刻kにおける前記基本周波数の不確かさの程度を推定し、
    初期値設定部が、前記指令関数oの初期値を設定し、
    状態系列更新部が、前回更新された前記指令関数oまたは前記指令関数oの初期値に基づいて、前記観測基本周波数系列y、前記指令関数o、及び状態系列sの対数同時確率log p(y,o,s)を目的関数として、前記目的関数を増加させるように、Viterbiアルゴリズムを用いて、前記状態系列sを更新し、
    モデルパラメータ更新部が、前回更新された前記指令関数oまたは前記指令関数oの初期値、前記観測基本周波数系列y、および各時刻kにおける前記不確かさの程度に基づいて、前記目的関数を増加させるように、各々非負値である前記指令関数o、及び前記パラメータ群θを更新し、
    収束判定部が、予め定められた収束条件を満たすまで、前記状態系列更新部による更新、及び前記モデルパラメータ更新部による更新を繰り返させる
    ことを含み、
    前記状態系列更新部が更新することでは、以下の式に従って、前記状態系列sが与えられたもとでの前記指令関数oの条件付き確率密度関数の対数log p(o|s)と前記状態系列sの確率分布の対数log p(s)との和を増加させるように、Viterbiアルゴリズムを用いて、前記状態系列sを更新する
    基本周波数モデルパラメータ推定方法。
  5. 前記モデルパラメータ更新部が更新することでは、前回更新された前記指令関数oまたは前記指令関数oの初期値、前記観測基本周波数系列y、および各時刻kにおける前記不確かさの程度に基づいて、補助関数法を用いて、前記目的関数を増加させるように、各々非負値である前記指令関数o、及び前記パラメータ群θを更新する請求項4記載の基本周波数モデルパラメータ推定方法。
  6. 前記モデルパラメータ更新部が更新することでは、
    補助変数更新部が、前回更新された各時刻lのフレーズ指令up[l]又は各時刻lのフレーズ指令up[l]の初期値に基づいて、時刻k、lの組み合わせ(k、l)の各々について、補助変数λp,k,lを算出して更新し、かつ、前回更新された各時刻kのアクセント指令ua[k]又は各時刻kのアクセント指令ua[k]の初期値に基づいて、時刻k、lの組み合わせ(k、l)の各々について、補助変数λa,k,lを算出して更新し、かつ、前回更新されたベースライン成分ub又はベースライン成分ubの初期値に基づいて、時刻k、lの組み合わせ(k、l)の各々について、補助変数λb,k,lを算出して更新し、
    指令関数更新部が、前記観測基本周波数系列yと、各時刻kの前記不確かさの程度と、前記補助変数更新部によって更新された前記補助変数λp,k,l、λa,k,l、λb,k,lとに基づいて、前記目的関数の下界となる関数を補助関数として、前記補助関数を増加させるように、各時刻lのフレーズ指令up[l]及びアクセント指令ua[l]と、ベースライン成分ubとを更新し、
    収束判定部が、予め定められた収束条件を満たすまで、前記補助変数更新部による更新、及び前記指令関数更新部による更新を繰り返させ、
    状態出力分布更新部が、前記指令関数更新部によって更新された各時刻lのフレーズ指令up[l]に基づいて、各時刻kのフレーズ指令の状態出力分布のパラメータC(p)[k]を更新し、かつ、前記指令関数更新部よって更新された各時刻lのアクセント指令ua[l]と、前記更新された状態系列sとに基づいて、各アクセント指令nの状態出力分布のパラメータCn (a)を更新することにより、前記パラメータ群θを更新する
    請求項5記載の基本周波数モデルパラメータ推定方法。
  7. 請求項1〜請求項3の何れか1項に記載の基本周波数モデルパラメータ推定装置の各部としてコンピュータを機能させるためのプログラム。
JP2016240303A 2016-12-12 2016-12-12 基本周波数モデルパラメータ推定装置、方法、及びプログラム Active JP6665079B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016240303A JP6665079B2 (ja) 2016-12-12 2016-12-12 基本周波数モデルパラメータ推定装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016240303A JP6665079B2 (ja) 2016-12-12 2016-12-12 基本周波数モデルパラメータ推定装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018097114A JP2018097114A (ja) 2018-06-21
JP6665079B2 true JP6665079B2 (ja) 2020-03-13

Family

ID=62632372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016240303A Active JP6665079B2 (ja) 2016-12-12 2016-12-12 基本周波数モデルパラメータ推定装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6665079B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120807B2 (ja) 2018-05-21 2022-08-17 株式会社神戸製鋼所 圧縮装置及び圧縮装置の搬出方法

Also Published As

Publication number Publication date
JP2018097114A (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
JP6777768B2 (ja) 単語ベクトル化モデル学習装置、単語ベクトル化装置、音声合成装置、それらの方法、及びプログラム
KR101120765B1 (ko) 스위칭 상태 스페이스 모델과의 멀티모덜 변동 추정을이용한 스피치 인식 방법
JP2019144402A (ja) 音声変換学習装置、音声変換装置、方法、及びプログラム
JP2007279744A (ja) F0および休止予測モデルを訓練する方法および装置、f0および休止予測方法および装置、音声合成方法および装置
GB2590509A (en) A text-to-speech synthesis method and system, a method of training a text-to-speech synthesis system, and a method of calculating an expressivity score
JP5807921B2 (ja) 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム
Das et al. Optimal prosodic feature extraction and classification in parametric excitation source information for Indian language identification using neural network based Q-learning algorithm
JP5885210B2 (ja) 基本周波数モデルパラメータ推定装置、方法、及びプログラム
JP6553584B2 (ja) 基本周波数モデルパラメータ推定装置、方法、及びプログラム
JP6665079B2 (ja) 基本周波数モデルパラメータ推定装置、方法、及びプログラム
JP6137477B2 (ja) 基本周波数モデルパラメータ推定装置、方法、及びプログラム
JP5474713B2 (ja) 音声合成装置、音声合成方法および音声合成プログラム
JP6468519B2 (ja) 基本周波数パターン予測装置、方法、及びプログラム
JP6142401B2 (ja) 音声合成モデル学習装置、方法、及びプログラム
Yu et al. Hidden Markov models and the variants
JP6472005B2 (ja) 基本周波数パターン予測装置、方法、及びプログラム
US11798579B2 (en) Device, method, and program for analyzing speech signal
Yoshizato et al. Hidden Markov Convolutive Mixture Model for Pitch Contour Analysis of Speech.
Yu et al. A lattice search technique for a long-contextual-span hidden trajectory model of speech
Koriyama et al. Frame-level acoustic modeling based on Gaussian process regression for statistical nonparametric speech synthesis
JP6137708B2 (ja) 定量的f0パターン生成装置、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム
JP6662801B2 (ja) 指令列推定装置、状態系列推定モデル学習装置、その方法、及びプログラム
Hashimoto et al. Overview of NIT HMMbased speech synthesis system for Blizzard Challenge 2011
Takaki et al. Contextual partial additive structure for HMM-based speech synthesis
Kameoka Probabilistic Modeling of Pitch Contours Toward Prosody Synthesis and Conversion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200219

R150 Certificate of patent or registration of utility model

Ref document number: 6665079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150