JP2023139557A - 音声合成装置、音声合成方法及びプログラム - Google Patents

Abstract

【課題】波形生成までの応答時間を改善するとともに、入力全体に基づく韻律特徴量に対する詳細な加工を波形生成前に行うことを可能にする。【解決手段】実施形態の音声合成装置は、解析部と第１処理部と第２処理部とを備える。解析部は、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列を生成する。前記第１処理部は、前記言語特徴量系列を、第１のニューラルネットワークによって、潜在変数を示す１つ以上のベクトルを含む中間表現系列に変換するエンコーダと、前記中間表現系列から第２のニューラルネットワークによって韻律特徴量を生成する韻律特徴量デコーダと、を備える。前記第２処理部は、前記中間表現系列と前記韻律特徴量とから第３のニューラルネットワークによって音声波形を逐次的に生成する音声波形デコーダを備える。【選択図】図１

Description

本発明の実施形態は音声合成装置、音声合成方法及びプログラムに関する。

近年、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用する音声合成装置が知られている。その中でも、特にエンコーダ・デコーダ構造によるＤＮＮ音声合成が複数提案されている。

例えば、特許文献１では自然言語の文字のシーケンスを入力とし口頭発話のスペクトログラムを出力するシーケンスツーシーケンスリカレントニューラルネットワークが提案されている。また例えば、非特許文献１では自然言語の音素表記を入力とし、その各々の継続長、およびピッチとエネルギーを介してメルスペクトログラムまたは音声波形を出力する、自己注意機構を用いたエンコーダ・デコーダ構造によるＤＮＮ音声合成技術が提案されている。

特表２０２０－５１５８９９号公報

Ｙｉ Ｒｅｎ，Ｃｈｅｎｘｕ Ｈｕ，Ｘｕ Ｔａｎ，Ｔａｏ Ｑｉｎ，Ｓｈｅｎｇ Ｚｈａｏ，Ｚｈｏｕ Ｚｈａｏ，Ｔｉｅ－Ｙａｎ Ｌｉｕ，"ＦａｓｔＳｐｅｅｃｈ２：Ｆａｓｔ ａｎｄ Ｈｉｇｈ－Ｑｕａｌｉｔｙ Ｅｎｄ－ｔｏ－Ｅｎｄ Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ，" ｉｎ Ｐｒｏｃ．ＩＣＬＲ，２０２１ Ａ ｖａｎ ｄｅｎ Ｏｏｒｄ，ｅｔ ａｌ，"ＷＡＶＥＮＥＴ： Ａ ＧＥＮＥＲＡＴＩＶＥ ＭＯＤＥＬ ＦＯＲ ＲＡＷ ＡＵＤＩＯ"，ｉｎ ａｒｘｉｖ ｐｒｅｐｒｉｎｔ，２０１６． Ｚ． Ｗｕ ｅｔ ａｌ，"Ａ ｓｔｕｄｙ ｏｆ ｓｐｅａｋｅｒ ａｄａｐｔａｔｉｏｎ ｆｏｒ ＤＮＮ－ｂａｓｅｄ ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ"，ｉｎ Ｐｒｏｃ． Ｉｎｔｅｒｓｐｅｅｃｈ ２０１５， ２０１５． Ｙ． Ｗａｎｇ，ｅｔ ａｌ．，"Ｓｔｙｌｅ Ｔｏｋｅｎｓ：Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｓｔｙｌｅ Ｍｏｄｅｌｉｎｇ，Ｃｏｎｔｒｏｌ ａｎｄ Ｔｒａｎｓｆｅｒ ｉｎ Ｅｎｄ－ｔｏ－Ｅｎｄ Ｓｐｅｅｃｈ Ｓｙｎｔｈｅｓｉｓ"，ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，ＰＭＬＲ ８０：５１８０－５１８９，２０１８

本発明は、波形生成までの応答時間を改善するとともに、入力全体に基づく韻律特徴量に対する詳細な加工を波形生成前に行うことを可能にする音声合成装置、音声合成方法及びプログラムを提供することを目的とする。

実施形態の音声合成装置は、解析部と第１処理部と第２処理部とを備える。解析部は、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列を生成する。前記第１処理部は、前記言語特徴量系列を、第１のニューラルネットワークによって、潜在変数を示す１つ以上のベクトルを含む中間表現系列に変換するエンコーダと、前記中間表現系列から第２のニューラルネットワークによって韻律特徴量を生成する韻律特徴量デコーダと、を備える。前記第２処理部は、前記中間表現系列と前記韻律特徴量とから第３のニューラルネットワークによって音声波形を逐次的に生成する音声波形デコーダを備える。

図１は、第１実施形態の音声合成装置の機能構成の例を示す図である。 図２は、第１実施形態のコンテキスト情報のベクトル表現の例を示す図である。 図３は、第１実施形態の音声合成方法の例を示すフローチャートである。 図４は、第１実施形態の韻律特徴量デコーダの機能構成の例を示す図である。 図５は、第１実施形態の韻律特徴量の生成方法の例を示すフローチャートである。 図６は、第２実施形態の音声合成装置の機能構成の例を示す図である。 図７は、第２実施形態の音声合成方法の例を示すフローチャートである。 図８は、第２実施形態の加工部の処理例を説明するための図である。 図９は、第３実施形態の音声合成装置の機能構成の例を示す図である。 図１０は、第３実施形態の継続音声フレーム数生成部の機能構成の例を示す図である。 図１１は、第３実施形態のピッチ波形の例を示す図である。 図１２は、第３実施形態の音声合成方法の例を示すフローチャートである。 図１３は、第３実施形態の継続音声フレーム数生成部の処理例を説明するための図である。 図１４は、第４実施形態の音声合成装置の機能構成の例を示す図である。 図１５は、第４実施形態の音声合成方法の例を示すフローチャートである。 図１６は、第４実施形態の第１処理部の処理例を説明するための図である。 図１７は、第１乃至第４実施形態の音声合成装置のハードウェア構成の例を示す図である。

エンコーダ・デコーダ構造によるＤＮＮ音声合成では、エンコーダとデコーダという２種類のニューラルネットワークを用いる。エンコーダは入力系列を潜在変数へ変換する。潜在変数は外部から直接観測できない値であり、音声合成では各入力の変換結果である中間表現の系列が用いられる。デコーダは得られた潜在変数（つまり中間表現系列）を、音響特徴量及び音声波形等へ変換する。中間表現系列とデコーダの出力する音響特徴量の系列長とが異なる場合、特許文献１のように注意機構を用いることや、非特許文献１のように各中間表現に対応する音響特徴量のフレーム数を別途求めることなどで対応が取られる。

しかしながら、従来の技術では、注意機構に基づくデコーダを用いるため、合成時に入力全体を処理する必要があり、応答時間が長くなるという問題があった。また、その改善手段としてすべての音響特徴量および音声波形を逐次的に出力することも考えられるが、音素の時間長、及び、音の高さ・抑揚などの韻律に関わる特徴量（韻律特徴量）に対する詳細な加工が入力全体を処理するまで行えなくなるという問題が生じていた。

以下に添付図面を参照して、上記問題を解決する音声合成装置、音声合成方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の音声合成装置の機能構成の例について説明する。

［機能構成の例］
図１は、第１実施形態の音声合成装置１０の機能構成の例を示す図である。音声合成装置１０はエンコーダ・デコーダ構造によるＤＮＮ音声合成において、予め中間表現系列と韻律特徴量とを出力し、その後音声波形を逐次的に出力する。これにより、従来のエンコーダ・デコーダ構造によるＤＮＮ音声合成処理よりも応答時間を改善する。

第１実施形態の音声合成装置１０は、解析部１、第１処理部２及び第２処理部３を備える。

解析部１は、入力テキストを解析し、言語特徴量系列１０１を生成する。言語特徴量系列１０１は、入力テキストを解析することによって得られた発話情報（言語特徴量）を、時系列順に並べた情報である。発話情報（言語特徴量）としては、例えば、音素・半音素・音節などの音声を分類する単位として用いられるコンテキスト情報が用いられる。

図２は、第１実施形態のコンテキスト情報のベクトル表現の例を示す図である。図２は、音声単位として音素を用いた場合のコンテキスト情報のベクトル表現の一例であり、このベクトル表現の系列が、言語特徴量系列１０１として用いられる。

図２のベクトル表現は、音素、音素種別情報、アクセント型、アクセント句内位置、語尾情報及び品詞情報を含む。音素は、当該音素がいずれの音素なのかを示すｏｎｅ－ｈｏｔベクトルである。音素種別情報は、当該音素の種別を示すフラグ情報である。種別は、当該音素の有声音・無声音による分類、及び、さらに詳細化された音素種別の属性等を示す。

アクセント型は、当該音素のアクセント型を示す数値である。アクセント句内位置は、当該音素のアクセント句内位置を示す数値である。語尾情報は、当該音素の語尾情報を示すｏｎｅ－ｈｏｔベクトルである。品詞情報は、当該音素の品詞情報を示すｏｎｅ－ｈｏｔベクトルである。

なお、言語特徴量系列１０１として、図２のベクトル表現の系列以外の情報が用いられてもよい。例えば、入力テキストをＪＥＩＴＡ規格ＩＴ－４００６で定められている日本語テキスト音声合成用記号などの記号列へ変換し、各記号を発話情報としてｏｎｅ－ｈｏｔベクトル化し、当該ｏｎｅ－ｈｏｔベクトルを、時系列順に並べた系列を言語特徴量系列１０１としてもよい。

図１に戻り、第１処理部２は、エンコーダ２１及び韻律特徴量デコーダ２２を備える。エンコーダ２１は、言語特徴量系列１０１を中間表現系列１０２に変換する。

中間表現系列１０２は、上述したように音声合成装置１０における潜在変数であり、後続の韻律特徴量デコーダ２２及び第２処理部３等において韻律特徴量１０３及び音声波形１０４等を得るための情報を含む。中間表現系列１０２に含まれる各々のベクトルが、中間表現を示す。中間表現系列１０２の系列長は、言語特徴量系列１０１の系列長により定まるが、言語特徴量系列１０１の系列長と一致する必要はない。例えば１つの言語特徴量に、複数の中間表現が対応してもよい。

韻律特徴量デコーダ２２は、中間表現系列１０２から韻律特徴量１０３を生成する。

韻律特徴量１０３は、話速、音の高さ及び抑揚などの韻律に関わる特徴量であり、中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数と、各音声フレームにおけるピッチ特徴量とを含む。ここで、音声フレームとは、音声波形を解析して音響特徴量を得る際の波形切り出し単位であり、合成時には音声フレーム毎に生成された音響特徴量から音声波形１０４を合成する。第１実施形態においては、各音声フレームの間隔は、固定の時間長とする。そして、継続音声フレーム数は、中間表現系列１０２に含まれる各々のベクトルに対応する音声区間に含まれる音声フレームの数を表す。また、ピッチ特徴量としては、例えば基本周波数、及び、基本周波数の対数等が挙げられる。

なお、韻律特徴量１０３は、上記例のほか、各音声フレームにおけるゲイン、及び、中間表現系列１０２に含まれる各々のベクトルの継続時間などが含まれていてもよい。

第２処理部３は、中間表現系列１０２と韻律特徴量１０３とから音声波形１０４を逐次的に生成し、当該音声波形１０４を逐次的に出力する音声波形デコーダ３１を備える。ここで、逐次的な生成・出力処理とは、中間表現系列１０２を先頭から順に、少量ずつ区切った各区間に対する波形生成処理のみを行うことにより、当該区間の音声波形１０４を出力する処理である。例えば、逐次的な生成・出力処理は、ユーザにより任意に決定された所定のサンプル数（所定のデータの長さ）ずつ音声波形１０４を生成・出力する処理である。逐次的な生成・出力処理により、波形生成に関わる演算処理を区間ごとに分割することができ、入力テキスト全体に対する音声波形１０４の生成処理を待たずに、各区間の音声の出力および再生が可能になる。

具体的には、音声波形デコーダ３１は、スペクトル特徴量生成部３１１及び波形生成部３１２を備える。スペクトル特徴量生成部３１１は、中間表現系列１０２及び韻律特徴量１０３からスペクトル特徴量を生成する。

スペクトル特徴量とは、各音声フレームの音声波形のスペクトル特性を表す特徴量である。音声合成に必要な音響特徴量は、韻律特徴量１０３とスペクトル特徴量とで構成される。スペクトル特徴量には、音声のフォルマント構造などの声道特性を表すスペクトル包絡、及び、呼吸音などに励起される雑音成分と声帯の振動により励起される倍音成分の混合比率を表す非周期性指標に関する情報などが含まれる。例えば、スペクトル包絡情報としては、メルケプストラム及びメル線形スペクトル対などが挙げられる。非周期性指標としては、例えば帯域非周期性指標が挙げられる。このほか、位相スペクトルに関する特徴量もスペクトル特徴量に含めることで波形の再現性を向上させてもよい。

例えば、スペクトル特徴量生成部３１１は、中間表現系列１０２と韻律特徴量１０３とから、所定のサンプル数に対応する音声フレーム数のスペクトル特徴量を、時系列順に生成する。

波形生成部３１２は、スペクトル特徴量を用いた音声合成処理を行うことによって、合成波形（音声波形１０４）を生成する。例えば、波形生成部３１２は、スペクトル特徴量を用いて、所定のサンプル数ずつ音声波形１０４を時系列順に生成することによって、音声波形１０４を逐次的に生成する。これにより、例えばユーザにより定められた所定の音声波形サンプル数ずつ時系列順に音声波形１０４を合成することが可能となり、音声波形１０４の生成までの応答時間を改善することができる。なお、波形生成部３１２は必要に応じて韻律特徴量１０３も用いて音声波形１０４を合成してもよい。

［音声合成方法の例］
図３は、第１実施形態の音声合成方法の例を示すフローチャートである。はじめに、解析部１が、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列１０１を出力する（ステップＳ１）。例えば、解析部１は、入力テキストに形態素解析を行い、読み情報及びアクセント情報などの音声合成に必要な言語情報を求め、得られた読み情報および言語情報から、言語特徴量系列１０１を出力する。また例えば、解析部１は、入力テキストに対して、予め別途作成された修正済みの読み・アクセント情報から言語特徴量系列１０１を作成してもよい。

次に、第１処理部２が、ステップＳ２及びＳ３の処理を行うことによって、中間表現系列１０２と韻律特徴量１０３とを出力する。具体的には、まず、エンコーダ２１が、言語特徴量系列１０１を中間表現系列１０２へ変換する（ステップＳ２）。続いて、韻律特徴量デコーダ２２が、中間表現系列１０２から韻律特徴量１０３を生成する（ステップＳ３）。

次に、第２処理部３の音声波形デコーダ３１が、ステップＳ４～Ｓ６の処理を行う。まず、スペクトル特徴量生成部３１１が、中間表現系列１０２と、処理対象の中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数などの必要な韻律特徴量１０３とから、スペクトル特徴量を必要量、生成する（ステップＳ４）。続いて、波形生成部３１２が、スペクトル特徴量を用いて音声波形１０４を必要量、生成する（ステップＳ５）。ステップＳ５の処理によって生成された音声波形１０４に対しユーザが第２処理部３とは非同期的に再生及び保存などの処理を行うことで、波形生成による再生開始までの遅延を抑えることができる。

すべての音声波形１０４の合成が完了していない場合（ステップＳ６，Ｎｏ）、ステップＳ４の処理に戻る。繰り返しステップＳ４及びＳ５を実行することで全体の音声波形１０４を生成できる。すべての音声波形１０４の合成が完了した場合（ステップＳ６，Ｙｅｓ）、処理を終了する。

次に、第１実施形態の音声合成装置１０の各部の詳細について説明する。
［各部の詳細］
図１の音声合成装置１０において、エンコーダ２１は第１のニューラルネットワークにより言語特徴量系列１０１を中間表現系列１０２へ変換する。ニューラルネットワークとして、例えば時系列を処理できるリカレント構造、畳み込み構造、及び、自己注意機構などの構造を用いることで中間表現系列１０２に前後の情報を与えることができる。

図４は、第１実施形態の韻律特徴量デコーダ２２の機能構成の例を示す図である。第１実施形態の韻律特徴量デコーダ２２は、継続音声フレーム数生成部２２１及びピッチ特徴量生成部２２２を備える。

継続音声フレーム数生成部２２１は、中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数を生成する。

ピッチ特徴量生成部２２２は、中間表現系列１０２から、その各々のベクトルの継続音声フレーム数に基づき、各音声フレームにおけるピッチ特徴量を生成する。この他、韻律特徴量デコーダ２２は、例えば各音声フレームにおけるゲインを生成してもよい。

継続音声フレーム数生成部２２１及びピッチ特徴量生成部２２２の処理では、第２のニューラルネットワークに含まれるニューラルネットワークを用いる。ピッチ特徴量デコーダ２２２の処理で用いるニューラルネットワークとして、例えば時系列を処理できるリカレント構造、畳み込み構造、及び、自己注意機構などの構造を用いる。これにより前後の情報を考慮した各音声フレームにおけるピッチ特徴量を得ることができ、合成音声の滑らかさが増す。

［韻律特徴量の生成方法の例］
図５は、第１実施形態の韻律特徴量１０３の生成方法の例を示すフローチャートである。まず、継続音声フレーム数生成部２２１が、中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数を生成する（ステップＳ１１）。次に、ピッチ特徴量生成部２２２が、各音声フレームにおけるピッチ特徴量を生成する（ステップＳ１２）。

また、図１の音声合成装置１０において、第２処理部３の音声波形デコーダ３１が備えるスペクトル特徴量生成部３１１は、中間表現系列１０２と韻律特徴量１０３とから第３のニューラルネットワークに含まれるニューラルネットワークを用いて、音声波形１０４の逐次生成に必要な量のスペクトル特徴量を生成する。ニューラルネットワークとして、例えば、リカレント構造及び畳み込み構造の少なくとも一方を有するニューラルネットワークを用いる。具体的には、ニューラルネットワークとして、単方向ゲート付きリカレント構造（ＧＲＵ Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）、及び、因果的畳み込み構造等を用いることで、全ての音声フレームについての処理を行わずに滑らかなスペクトル特徴量を生成できる。また、時系列構造を反映したスペクトル特徴量を得ることができ、滑らかな合成音を合成できる。

第２処理部３の波形生成部３１２は信号処理または第３のニューラルネットワークに含まれるニューラルネットワークによるボコーダを用いて、逐次生成に必要な量の音声波形１０４を合成する。ニューラルネットワークを用いる場合、例えば、非特許文献２で提案されているＷａｖｅＮｅｔなどのニューラルボコーダにより波形を生成できる。

以上、説明したように、第１実施形態の音声合成装置１０は、解析部１と第１処理部２と第２処理部３とを備える。解析部１は、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列１０１を生成する。第１処理部２では、エンコーダ２１が、言語特徴量系列１０１を、第１のニューラルネットワークによって、潜在変数を示す１つ以上のベクトルを含む中間表現系列１０２に変換する。また、韻律特徴量デコーダ２２が、中間表現系列１０２から韻律特徴量１０３を生成する。第２処理部３では、音声波形デコーダ３１が、中間表現系列１０２と韻律特徴量１０３とから音声波形１０４を逐次的に生成する。

これにより、第１実施形態の音声合成装置１０によれば、波形生成までの応答時間を改善することができる。具体的には、第１実施形態の音声合成装置１０では、第１処理部２と第２処理部３とに処理が分かれ、予め第１処理部２が、中間表現系列１０２と韻律特徴量１０３とを出力し、第２処理部３が音声波形１０４を逐次的に出力する。これにより、ある音声波形１０４を再生している間に次の音声波形１０４を出力することが可能になる。したがって、第１実施形態の音声合成装置１０によれば、応答時間が冒頭の音声波形１０４を再生するまでとなるため、全ての音響特徴量及び音声波形１０４等を一度に得る従来の技術と比べ応答時間が改善する。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図６は、第２実施形態の音声合成装置１０－２の機能構成の例を示す図である。第２実施形態の音声合成装置１０－２では、第１処理部２－２が、さらに加工部２３を備える。これにより、音声波形１０４を得る第２処理部３の処理前に、入力テキスト全体の韻律特徴量１０３に対する詳細な加工が可能になる。

加工部２３は韻律特徴量１０３に対する加工指示を受け付けると、その加工指示を韻律特徴量１０３に反映する。加工指示は、例えばユーザからの入力により受け付ける。

加工指示は、各韻律特徴量１０３に対する値の変更指示である。例えば、加工指示は、ある区間の各音声フレームにおけるピッチ特徴量の値を変更する指示である。具体的には、加工指示は、例えば２フレーム目から１０フレーム目のピッチを３００Ｈｚに変更する指示である。また例えば、加工指示は、中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数を変更する指示である。また例えば、加工指示は、中間表現系列１０２に含まれる１７番目の中間表現の継続音声フレーム数を３０に変更する指示である。

また上記例のほか、加工指示は、入力テキストの発話音声の韻律特徴量１０３に対し射影する指示でもよい。具体的には、加工部２３が、予め用意された入力テキストの発話音声を使用する。そして、加工部２３が、入力テキストから解析部１、エンコーダ２１および韻律特徴量デコーダ２２により生成された韻律特徴量１０３を、その発話音声の韻律特徴量に揃える様に射影する指示を受け付ける。この場合、入力テキストから生成された韻律特徴量１０３の値を直接操作することなく、所望の加工結果を得ることができる。

第２処理部３は、韻律特徴量デコーダ２２により生成された韻律特徴量１０３、または加工部２３により加工された韻律特徴量１０３を受け付ける。

［音声合成方法の例］
図７は、第２実施形態の音声合成方法の例を示すフローチャートである。はじめに、解析部１が、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列１０１を出力する（ステップＳ２１）。次に、第１処理部２－２が、言語特徴量系列１０１から、中間表現系列１０２及び韻律特徴量１０３を得る（ステップＳ２２）。

次に、加工部２３が、韻律特徴量１０３の加工をするか否かを判定する（ステップＳ２３）。韻律特徴量１０３の加工をするか否かの判定は、例えば、韻律特徴量１０３に対する、未処理の加工指示の有無に基づき判定される。加工指示は、例えば韻律特徴量１０３に基づき生成されたピッチ特徴量及び各音素の継続時間長等の値を表示装置に表示し、ユーザによるマウス操作等によって値を編集することにより行う。

韻律特徴量１０３を加工しない場合（ステップＳ２３、Ｎｏ）、処理はステップＳ２５に進む。

韻律特徴量１０３を加工する場合（ステップＳ２３、Ｙｅｓ）、加工部２３が、加工指示を韻律特徴量１０３へ反映する（ステップＳ２４）。中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数を変更する場合など、韻律特徴量１０３の再生成が必要な場合、韻律特徴量デコーダ２２が、韻律特徴量１０３を再生成する。韻律特徴量１０３の加工は、ユーザから加工指示の入力を受け付ける限り、繰り返し行われる。

次に、第２処理部３（音声波形デコーダ３１）が、逐次的に音声波形１０４を出力する（ステップＳ２５）。ステップＳ２５の処理の詳細は、第１実施形態と同様なので説明を省略する。

次に、波形生成部３１２が、音声波形１０４を再度合成するため、韻律特徴量１０３を加工しなおすか否かを判定する（ステップＳ２６）。韻律特徴量１０３を加工しなおす場合（ステップＳ２６，Ｙｅｓ）、処理はステップＳ２４に戻る。例えば、所望の音声波形１０４が得られなかった場合、ユーザからの加工指示を更に受け付け、ステップＳ２４の処理に戻る。

韻律特徴量１０３を加工しなおさない場合（ステップＳ２６，Ｎｏ）、処理は終了する。

［加工処理の詳細］
加工処理が韻律射影の場合の処理の詳細について説明する。加工部２３が入力テキストの発話音声の韻律特徴量１０３に対する射影指示を受け付けた場合、ステップＳ２４では次のような処理を行う。まず、加工部２３は、発話音声を解析し、韻律特徴量１０３を求める。韻律特徴量１０３のうち、各音素の継続長は、発話音声の発話内容に従って音素アラインメントを行い、音素境界抽出を行う事により求められる。また、各音声フレームにおけるピッチ特徴量は、発話音声の音響特徴量抽出を行う事によって得られる。続いて、加工部２３は、中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数を発話音声から求めた音素継続長に基づいて変更する。そして、加工部２３は、各音声フレームにおけるピッチ特徴量を、発話音声から抽出したピッチ特徴量に合わせる様に変更する。韻律特徴量１０３に含まれるその他の特徴量についても、同様に発話音声を解析して求めた特徴量に合わせる様に変更する。

図８は、第２実施形態の加工部２３の処理例を説明するための図である。図８の例は、加工部２３が、入力テキストの発話音声のピッチ特徴量に対する射影指示を受け付けた場合の処理例である。ピッチ特徴量１０５は、韻律特徴量デコーダ２２により生成されたピッチ特徴量を示す。ピッチ特徴量１０６は、入力テキストの発話音声（例えばユーザの発話音声）のピッチ特徴量を示す。ピッチ特徴量１０７は、加工部２３により生成されたピッチ特徴量を示す。例えば、加工部２３は、ピッチ特徴量１０６の最大値及び最小値（または平均及び分散）が、ピッチ特徴量１０５の最大値及び最小値（または平均及び分散）に一致するように加工することによって、ピッチ特徴量１０７を生成する。

以上、説明したように、第２実施形態の音声合成装置１０－２では、第１処理部２－２が、韻律特徴量１０３を出力し、加工部２３がユーザの加工指示を反映する。すなわち、入力テキスト全体に対する韻律特徴量１０３が、音声波形１０４の生成前に出力されるので、入力テキスト全体に対する詳細な加工を波形生成前に行うことが可能になる。従来の技術では、応答時間の改善手段としてすべての音響特徴量および音声波形１０４を逐次的に出力する場合、入力テキスト全体の韻律特徴量１０３に対する詳細な加工が困難だった。

第２実施形態の音声合成装置１０－２では、入力テキスト全体の音声フレーム単位のピッチに対する詳細な加工が音声波形１０４を得る第２処理部３の処理の前に可能になる。これにより、第２処理部３は、ユーザによる韻律特徴量１０３への詳細な加工指示を反映した音声波形１０４を合成できる。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図９は、第３実施形態の音声合成装置１０－３の機能構成の例を示す図である。第３実施形態の音声合成装置１０－３では、音声フレームをピッチに基づいて定める。具体的には、音声フレームの間隔をピッチ周期に変更する。これにより、第３実施形態では、ピッチ同期分析による精密な音声分析を適用することが可能となる。

第３実施形態の音声合成装置１０－３は、解析部１、第１処理部２－３及び第２処理部３を備える。第１処理部２－３は、エンコーダ２１及び韻律特徴量デコーダ２２を備える。韻律特徴量デコーダ２２は、継続音声フレーム数生成部２２１及びピッチ特徴量生成部２２２を備える。

図１０は、第３実施形態の継続音声フレーム数生成部２２１の機能構成の例を示す図である。第３実施形態の継続音声フレーム数生成部２２１は、粗ピッチ生成部２２１１、継続時間生成部２２１２及び計算部２２１３を備える。

粗ピッチ生成部２２１１は、中間表現系列１０２に含まれる各々のベクトルの平均ピッチ特徴量を生成する。継続時間生成部２２１２は、中間表現系列１０２に含まれる各々のベクトルの継続時間を生成する。平均ピッチ特徴量及び継続時間は、各々のベクトルに対応する音声区間に含まれる各音声フレームにおけるピッチ特徴量の平均、及び音声区間が継続する時間を表す。

計算部２２１３は、中間表現系列１０２に含まれる各々のベクトルの平均ピッチ特徴量と継続時間とから、ピッチ波形の数を示すピッチ波形数を計算する。

ピッチ波形とは、ピッチ同期分析法における音声フレームの波形切り出し単位である。

図１１は、第３実施形態のピッチ波形の例を示す図である。ピッチ波形は次のように求められる。まず、波形生成部３１２は、韻律特徴量１０３に含まれる、各音声フレームにおけるピッチ特徴量から、周期的な音声波形１０４の各周期の中心時刻を表すピッチマーク情報１０８を作成する。

続いて、波形生成部３１２は、ピッチマーク情報１０８の位置を中心位置として定め、ピッチ周期に基づき音声波形１０４を合成する。適切に付与されたピッチマーク情報１０８の位置を中心時刻として合成することにより、音声波形１０４の局所的な変化にも対応した適切な合成が可能となるため、音質劣化が低減される。

しかし、同じ時間長の区間でも、ピッチの高い区間ほどピッチ波形数が多く、ピッチの低い区間ほどピッチ波形数は少ないため、それぞれの区間に含まれる音声フレーム数が異なる場合が生じる。そのため、計算部２２１３は、中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数（ピッチ波形数）を、直接、算出せずに、そのベクトルの継続時間と平均ピッチ特徴量とから算出する。

［音声合成方法の例］
図１２は、第３実施形態の音声合成方法の例を示すフローチャートである。はじめに、解析部１が、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列１０１を出力する（ステップＳ３１）。次に、エンコーダ２１が、言語特徴量系列１０１を中間表現系列１０２へ変換する（ステップＳ３２）。

次に、継続音声フレーム数生成部２２１が、中間表現系列１０２に含まれる各々のベクトルの継続音声フレーム数を生成する（ステップＳ３３）。次に、ピッチ特徴量生成部２２２が、各音声フレームにおけるピッチ特徴量を生成する（ステップＳ３４）。

次に、第２処理部３（音声波形デコーダ３１）が、中間表現系列１０２と、韻律特徴量１０３とから、音声波形１０４を逐次的に出力する（ステップＳ３５）。

［継続音声フレーム数生成処理の詳細］
図１３は、第３実施形態の継続音声フレーム数生成部２２１の処理例を説明するための図である。まず、粗ピッチ生成部２２１１が、中間表現系列１０２に含まれる各々のベクトルの平均ピッチ特徴量を生成する（ステップＳ４１）。続いて、継続時間生成部２２１２が、中間表現系列１０２に含まれる各々のベクトルの継続時間を生成する（ステップＳ４２）。なお、ステップＳ４１及びＳ４２の実行順序は逆でもよい。

次に、計算部２２１３が、中間表現系列１０２に含まれる各々のベクトルの平均ピッチ特徴量と、継続時間とから、各々のベクトルのピッチ波形数を計算する（ステップＳ４３）。ステップＳ４３で得られたピッチ波形数が、継続音声フレーム数として出力される。

［各部の詳細］
粗ピッチ生成部２２１１及び継続時間生成部２２１２は、それぞれ第２のニューラルネットワークに含まれるニューラルネットワークを用いて、中間表現系列１０２から、中間表現系列１０２に含まれる各々のベクトルの平均ピッチ特徴量及び継続時間等を生成する。ニューラルネットワークの構造として、例えば多層パーセプトロン、畳み込み構造及びリカレント構造などが挙げられる。特に畳み込み構造及びリカレント構造を用いることで、平均ピッチ特徴量及び継続時間に時系列情報を反映できる。

計算部２２１３は、中間表現系列１０２に含まれる各々のベクトルの平均ピッチ特徴量と継続時間とから、各々のベクトルのピッチ波形数を計算する。例えば、中間表現系列１０２内のあるベクトル（中間表現）の平均ピッチ特徴量が、基本周波数の平均ｆ（Ｈｚ）であり、継続時間がｄ（秒）であるとき、このベクトル（中間表現）のピッチ波形数ｎはｎ＝ｆ×ｄで計算される。

ピッチ特徴量生成部２２２は、中間表現系列１０２に加え、中間表現系列１０２に含まれる各々のベクトルの平均ピッチ特徴量を用いて各音声フレームにおけるピッチを求めてもよい。このようにすることで、粗ピッチ生成部２２１１により生成された平均ピッチ特徴量と、実際に生成されたピッチとの差異が小さくなり、継続時間生成部２２１２で生成された継続時間に近い合成音声（音声波形１０４）を得ることが期待できる。

以上、説明したように、第３実施形態の音声合成装置１０－３では、韻律特徴量１０３を生成する第１処理部２－３と、スペクトル特徴量及び音声波形１０４等を生成する第２処理部３とに処理が分かれている。また、音声フレームをピッチに基づき定める。これにより、第３実施形態の音声合成装置１０－３によれば、ピッチ同期分析による精密な音声分析を利用できるようになり、合成音声（音声波形１０４）の品質が向上する。

（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図１４は、第４実施形態の音声合成装置１０－４の機能構成の例を示す図である。第４実施形態の音声合成装置１０－４は、解析部１、第１処理部２－４、第２処理部３、話者特定情報変換部４及びスタイル特定情報変換部５を備える。第１処理部２－４は、エンコーダ２１、韻律特徴量デコーダ２２及び付与部２４を備える。

第４実施形態の音声合成装置１０－４では、話者特定情報変換部４、スタイル特定情報変換部５及び付与部２４によって、話者特定情報及びスタイル特定情報を合成音声（音声波形１０４）に反映する。これにより、第４実施形態の音声合成装置１０－４は、複数の話者及びスタイル等の合成音声を得ることができる。

話者特定情報は、入力された話者を特定する。例えば、話者特定情報は、「２番の話者（番号により識別される話者）」及び「この音声の話者（発話音声により提示される話者）」等により示される。

スタイル特定情報は、話し方のスタイル（例えば感情等）を特定する。例えば、スタイル特定情報は、「１番のスタイル（番号により識別されるスタイル）」及び「この音声のスタイル（発話音声により提示されるスタイル）」等により示される。

話者特定情報変換部４は、話者特定情報を話者の特徴情報を示す話者ベクトルに変換する。話者ベクトルは、話者特定情報を音声合成装置１０－４で利用するためのベクトルである。例えば話者特定情報が音声合成装置１０－４で合成可能な話者の指定を含む場合、話者ベクトルは、その話者に対応する埋め込み表現のベクトルとなる。また話者特定情報が別途用意されたある話者による発話音声の場合、話者ベクトルは、例えば非特許文献３で提案されているように、ｉ－ｖｅｃｔｏｒなどのような発話音声の音響特徴量と話者識別に用いる統計モデルと、から得られるベクトルとなる。

スタイル特定情報変換部５は、話し方のスタイルを特定するスタイル特定情報をスタイルの特徴情報を示すスタイルベクトルに変換する。スタイルベクトルは、話者ベクトルと同様に、スタイル特定情報を音声合成装置１０－４で利用するためのベクトルである。例えばスタイル特定情報が音声合成装置１０－４で合成可能なスタイルの指定を含む場合、スタイルベクトルはそのスタイルに対応する埋め込み表現のベクトルとなる。またスタイル特定情報が別途用意されたあるスタイルによる発話音声の場合、スタイルベクトルは、例えば非特許文献４で提案されているＧｌｏｂａｌ Ｓｔｙｌｅ Ｔｏｋｅｎｓ（ＧＳＴ）などのように、発話音声の音響特徴量をニューラルネットワークなどにより変換して得られるベクトルとなる。

付与部２４は、エンコーダ２１により得られる中間表現系列１０２に話者ベクトル及びスタイルベクトル等が示す特徴情報を付与する。

［音声合成方法の例］
図１５は、第４実施形態の音声合成方法の例を示すフローチャートである。はじめに、解析部１が、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列１０１を出力する（ステップＳ５１）。次に、話者特定情報変換部４が、話者特定情報を上述の方法で話者ベクトルに変換する（ステップＳ５２）。次に、スタイル特定情報変換部５が、スタイル特定情報を上述の方法でスタイルベクトルに変換する（ステップＳ５３）。なお、ステップＳ５２及びＳ５３の実行順序は逆でもよい。

次に、付与部２４が、中間表現系列１０２に話者ベクトル及びスタイルベクトル等の情報を付与し、韻律特徴量デコーダ２２が、当該中間表現系列１０２から韻律特徴量１０３を生成する（ステップＳ５４）。そして、第２処理部３（音声波形デコーダ３１）が、中間表現系列１０２と、韻律特徴量１０３とから、音声波形１０４を逐次的に出力する（ステップＳ５５）。

［第１処理部の処理の詳細］
図１６は、第４実施形態の第１処理部２－４の処理例を説明するための図である。はじめに、エンコーダ２１が、言語特徴量系列１０１を中間表現系列１０２に変換する（ステップＳ６１）。

続いて、付与部２４が、中間表現系列１０２に話者ベクトル及びスタイルベクトル等の情報を付与する（ステップＳ６２）。

ステップＳ６２の付与方法はいくつか考えられる。例えば、中間表現系列１０２に含まれる各ベクトル（中間表現）に話者ベクトルとスタイルベクトルとを足すことによって、中間表現系列１０２に情報を付与してもよい。

また例えば、中間表現系列１０２に含まれる各ベクトル（中間表現）に話者ベクトルとスタイルベクトルとを結合することによって、中間表現系列１０２に情報を付与してもよい。具体的には、ｎ次元のベクトル（中間表現）の成分に、ｍ_１次元の話者ベクトルの成分と、ｍ_２次元のスタイルベクトルの成分とを合わせて、ｎ＋ｍ_１＋ｍ_２次元のベクトルを形成することにより、中間表現系列１０２に情報を付与してもよい。

また例えば、話者ベクトルとスタイルベクトルとが結合された中間表現系列１０２を、更に線形変換することによって、話者ベクトルとスタイルベクトルとが結合された中間表現系列１０２をより適切なベクトル表現に変換してもよい。

次に、韻律特徴量デコーダ２２が、ステップＳ６２で得られた中間表現系列１０２から、韻律特徴量１０３を生成する（ステップＳ６３）。

ステップＳ６２で得られた中間表現系列１０２、及び、ステップＳ６３で生成された韻律特徴量１０３には、話者・スタイル情報が反映されているので、続く第２処理部３により得られる音声波形１０４は、その話者の特徴及びスタイルの特徴を有する。

なお、第２処理部３の音声波形デコーダ３１が備える波形生成部３１２が、第３のニューラルネットワークに含まれるニューラルネットワークを用いて波形を生成する場合、そのニューラルネットワークが話者ベクトルとスタイルベクトルとを利用してもよい。このようにすることで、合成音声（音声波形１０４）の話者及びスタイル等の再現度が向上することが期待できる。

以上、説明したように、第４実施形態の音声合成装置１０－４では、話者特定情報及びスタイル特定情報を受け付け、音声波形１０４に反映することで、複数の話者及びスタイルの合成音声（音声波形１０４）を得ることができる。

（変形例）
第１乃至第４実施形態の音声合成装置１０（１０－２、１０－３、１０－４）の解析部１は、入力テキストを複数の部分テキストに分割し、それぞれの部分テキストに対して言語特徴量系列１０１を出力してもよい。例えば、入力テキストが複数の文で構成されている場合、文を基準として部分テキストに分割し、それぞれの部分テキストに対して言語特徴量系列１０１を求めても良い。複数の言語特徴量系列１０１が出力された場合は、それぞれの言語特徴量系列１０１に対して後段の処理が実行される。例えば、各言語特徴量系列１０１は、時系列順に順番に処理されてもよい。また例えば、複数の言語特徴量系列１０１が、並行して処理されてもよい。

なお、第１乃至第４実施形態の音声合成装置１０（１０－２、１０－３、１０－４）で用いられるニューラルネットワークは、いずれも統計的手法により学習される。この際、いくつかのニューラルネットワークを同時に学習することで、全体最適なパラメータを得ることができる。

例えば、第１実施形態の音声合成装置１０では、第１処理部２で用いられるニューラルネットワークと、スペクトル特徴量生成部３１１で用いられるニューラルネットワークとが同時に最適化されてもよい。これにより、音声合成装置１０が、韻律特徴量１０３及びスペクトル特徴量の両方の生成にとって、最適なニューラルネットワークを利用できる。

最後に、第１乃至第４実施形態の音声合成装置１０（１０－２、１０－３、１０－４）のハードウェア構成の例について説明する。第１乃至第４実施形態の音声合成装置１０（１０－２、１０－３、１０－４）は、例えば、任意のコンピュータ装置を基本ハードウェアとして用いることで実現できる。

［ハードウェア構成の例］
図１７は、第１乃至第４実施形態の音声合成装置１０（１０－２、１０－３、１０－４）のハードウェア構成の例を示す図である。第１乃至第４実施形態の音声合成装置１０（１０－２、１０－３、１０－４）は、プロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６を備える。プロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６は、バス２１０を介して接続されている。

なお、音声合成装置１０（１０－２、１０－３、１０－４）は、上記構成の一部が備えられていなくてもよい。例えば、音声合成装置１０（１０－２、１０－３、１０－４）が、外部の装置の入力機能及び表示機能を利用可能な場合、音声合成装置１０（１０－２、１０－３、１０－４）に表示装置２０４及び入力装置２０５が備えられていなくてもよい。

プロセッサ２０１は、補助記憶装置２０３から主記憶装置２０２に読み出されたプログラムを実行する。主記憶装置２０２は、ＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びメモリカード等である。

表示装置２０４は、例えば液晶ディスプレイ等である。入力装置２０５は、情報処理装置１００を操作するためのインターフェースである。なお、表示装置２０４及び入力装置２０５は、表示機能と入力機能とを有するタッチパネル等により実現されていてもよい。通信装置２０６は、他の装置と通信するためのインターフェースである。

例えば、音声合成装置１０（１０－２、１０－３、１０－４）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルで、メモリカード、ハードディスク、ＣＤ－ＲＷ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＡＭ及びＤＶＤ－Ｒ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また例えば、音声合成装置１０（１０－２、１０－３、１０－４）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

また例えば、音声合成装置１０（１０－２、１０－３、１０－４）で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。具体的には、サーバコンピュータから、プログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）型のサービスによって、音声合成処理を実行する構成としてもよい。

また例えば、音声合成装置１０（１０－２、１０－３、１０－４）のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

音声合成装置１０（１０－２、１０－３、１０－４）で実行されるプログラムは、上述の機能構成のうち、プログラムによっても実現可能な機能を含むモジュール構成となっている。当該各機能は、実際のハードウェアとしては、プロセッサ２０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置２０２上にロードされる。すなわち上記各機能ブロックは主記憶装置２０２上に生成される。

なお上述した各機能の一部又は全部をソフトウェアにより実現せずに、ＩＣ等のハードウェアにより実現してもよい。

また複数のプロセッサ２０１を用いて各機能を実現してもよく、その場合、各プロセッサ２０１は、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 解析部
２ 第１処理部
３ 第２処理部
４ 話者特定情報変換部
５ スタイル特定情報変換部
１０ 音声合成装置
２１ エンコーダ
２２ 韻律特徴量デコーダ
２３ 加工部
２４ 付与部
３１ 音声波形デコーダ
３１１ スペクトル特徴量生成部
３１２ 波形生成部
２０１ プロセッサ
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 表示装置
２０５ 入力装置
２０６ 通信装置
２１０ バス
２２１ 継続音声フレーム数生成部
２２２ ピッチ特徴量生成部
２２１１ 粗ピッチ生成部
２２１２ 継続時間生成部
２２１３ 計算部

Claims (11)

1. 入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列を生成する解析部と、
   第１処理部と、第２処理部とを備え、
   前記第１処理部は、
   前記言語特徴量系列を、第１のニューラルネットワークによって、潜在変数を示す１つ以上のベクトルを含む中間表現系列に変換するエンコーダと、
   前記中間表現系列から第２のニューラルネットワークによって韻律特徴量を生成する韻律特徴量デコーダと、を備え、
   前記第２処理部は、前記中間表現系列と前記韻律特徴量とから第３のニューラルネットワークによって音声波形を逐次的に生成する音声波形デコーダを、備える、
   音声合成装置。
2. 前記第２処理部の音声波形デコーダは、
   前記中間表現系列と前記韻律特徴量とから、所定のサンプル数に対応する音声フレーム数のスペクトル特徴量を、時系列順に生成するスペクトル特徴量生成部と、
   前記スペクトル特徴量から、所定のサンプル数ずつ前記音声波形を時系列順に生成することによって、前記音声波形を逐次的に生成する波形生成部と、
   を備える、請求項１に記載の音声合成装置。
3. 前記スペクトル特徴量生成部は、第３のニューラルネットワークに含まれるリカレント構造及び畳み込み構造の少なくとも一方を有するニューラルネットワークによって、前記中間表現系列と前記韻律特徴量とから、前記スペクトル特徴量を時系列順に生成する、
   請求項２に記載の音声合成装置。
4. 前記韻律特徴量デコーダは、
   前記中間表現系列に含まれる各々のベクトルの継続音声フレーム数を生成する継続音声フレーム数生成部と、
   前記継続音声フレーム数に基づき、各音声フレームにおけるピッチ特徴量を前記第２のニューラルネットワークに含まれるニューラルネットワークによって生成するピッチ特徴量生成部と、
   を備える請求項１乃至３のいずれか１項に記載の音声合成装置。
5. 音声フレームがピッチに基づいて定まり、
   前記継続音声フレーム数生成部は、
   前記中間表現系列に含まれる各々のベクトルの平均ピッチ特徴量を生成する粗ピッチ生成部と、
   前記中間表現系列に含まれる各々のベクトルの継続時間を生成する継続時間生成部と、
   前記平均ピッチ特徴量と前記継続時間とから、ピッチ波形数を計算する計算部と、
   を備える請求項４に記載の音声合成装置。
6. 前記第１処理部は、
   前記韻律特徴量を加工する加工部を更に備え、
   前記第２処理部は、前記韻律特徴量デコーダにより生成された韻律特徴量、または前記加工部により加工された韻律特徴量を受け付ける、
   請求項１乃至５のいずれか１項に記載の音声合成装置。
7. 前記加工部は、前記韻律特徴量に対するユーザの加工指示を受け付け、前記ユーザの加工指示に基づき前記韻律特徴量を加工し、
   前記ユーザの加工指示は、前記韻律特徴量に対する値の変更指示、または、前記入力テキストの発話音声の音声解析により得られた韻律特徴量への射影指示、
   を含む請求項６に記載の音声合成装置。
8. 話者を特定する話者特定情報を、前記話者の特徴情報を示す話者ベクトルに変換する話者特定情報変換部を更に備え、
   前記第１処理部は、
   前記中間表現系列に前記話者ベクトルの特徴情報を付与する付与部、
   を更に備える請求項１乃至７のいずれか１項に記載の音声合成装置。
9. 話し方のスタイルを特定するスタイル特定情報を、前記スタイルの特徴情報を示すスタイルベクトルに変換するスタイル特定情報変換部を更に備え、
   前記第１処理部は、
   前記中間表現系列に前記スタイルベクトルの特徴情報を付与する付与部、
   を更に備える請求項１乃至８のいずれか１項に記載の音声合成装置。
10. 解析部が、入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列を生成するステップと、
    第１処理部が、前記言語特徴量系列を、第１のニューラルネットワークによって、潜在変数を示す１つ以上のベクトルを含む中間表現系列に変換するステップと、
    前記第１処理部が、前記中間表現系列から第２のニューラルネットワークによって韻律特徴量を生成するステップと、
    第２処理部が、前記中間表現系列と前記韻律特徴量とから第３のニューラルネットワークによって音声波形を逐次的に生成するステップと、
    を含む音声合成方法。
11. コンピュータを、
    入力テキストを解析し、言語特徴量を示す１つ以上のベクトルを含む言語特徴量系列を生成する解析部と、
    第１処理部と、第２処理部、として機能させ、
    前記第１処理部は、
    前記言語特徴量系列を、第１のニューラルネットワークによって、潜在変数を示す１つ以上のベクトルを含む中間表現系列に変換するエンコーダと、
    前記中間表現系列から第２のニューラルネットワークによって韻律特徴量を生成する韻律特徴量デコーダ、の機能を有し、
    前記第２処理部は、前記中間表現系列と前記韻律特徴量とから第３のニューラルネットワークによって音声波形を逐次的に生成する音声波形デコーダの機能を有する、
    プログラム。

Images