JP5930738B2

JP5930738B2 - 音声合成装置及び音声合成方法

Info

Publication number: JP5930738B2
Application number: JP2012017670A
Authority: JP
Inventors: 貴弘大塚; 啓吾川島; 訓古田; 山浦　正; 正山浦
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2016-06-08
Anticipated expiration: 2032-01-31
Also published as: CN103226945A; CN103226945B; JP2013156472A

Description

この発明は、音声を合成する音声合成装置及び音声合成方法に関するものであり、例えば、大量の素片を蓄えた辞書を用いて、コンピュータに入力されたテキスト文から音声を合成する音声合成装置及び音声合成方法に関する。

従来、より良い合成音声を得るために、大量の素片を辞書に蓄え、この中からより適切な素片を選択する方法が考えられている。

特許第２７６１５５２号公報（特許文献１）では、入力されたテキストを解析して生成した音素系列と韻律情報に基づき、大量の素片を蓄えた辞書から音素の波形を読出し、この音素の波形を該当音素の韻律情報に基づき変形処理して出力音声波形を得る方法について述べられている。

このとき、辞書には、音素など出力音声波形を組み立てる上で適切な単位で、音素の波形、発声された音素環境、基本周波数パターン形状、音素継続長、振幅が記憶されている。

音素系列から、該当する音素を中心とした音素数での窓かけを行って切り出し、その切り出し音素系列に近い音素の波形の候補を、辞書から検索し、該当音素系列が見つからない場合は、その音素系列の両側からその音素を順次削除して上記検索を行うこととしている。

この過程において検索した音素の波形の候補から、呼気段落内モーラ数、アクセント型、発声スピードなどに基づく規則により決定される平均基本周波数、基本周波数の形状、時間長、振幅などの韻律情報と近い音素の波形の候補を選択するようにすることで、明瞭性が高く、しかも自然性も良い音声を提供できると述べられている。

特許第２７６１５５２号公報

しかしながら、特許文献１では、音素系列を基準とする他、呼気段落内モーラ数、アクセント型、発声スピードなどに基づく規則により決定される平均基本周波数、基本周波数の形状、時間長、振幅への近さを基準として音素の波形を選択するので、辞書に蓄えられた素片の数が十分多くない場合は、所望の韻律情報に近い音素の波形が得られない。その結果、音素の波形を大きく変形するため、肉声感の低い音質となる課題がある。

また、音素系列を基準とする他、呼気段落内モーラ数、アクセント型、発声スピードなどに基づく規則により決定される平均基本周波数、基本周波数の形状、時間長、振幅への近さを基準として音素の波形を選択するので、選択する基準が、辞書に蓄えられた素片の平均基本周波数、基本周波数の形状、時間長、振幅とずれる場合は、適切な素片が選択できない。その結果、音素の波形を大きく変形するため、肉声感の低い音質となる課題がある。

また、音素系列を基準とする他、呼気段落内モーラ数、アクセント型、発声スピードなどに基づく規則により決定される平均基本周波数、基本周波数の形状、時間長、振幅への近さを基準として音素の波形を選択するので、原音声（音素の波形を作成する際の元の音声）中で連続となる音素の波形が得られにくく、音素の波形間で不連続が生じる課題がある。

この発明は、かかる問題を解決するためになされたもので、イントネーションの自然性を保ったまま、肉声感が高く、素片間の音色の連続性も高い合成音声を得ることができる音声合成装置及び音声合成方法を提供することを目的とする。

この発明にかかる音声合成装置は、少なくとも音素を含む素片の言語情報と上記素片の音声特徴情報とを含む素片情報を複数記憶した素片辞書と、少なくとも音素を含む入力言語情報と上記素片辞書に記憶された素片情報の言語情報との一致度に対応する言語情報一致度を算出する言語情報一致度算出部と、上記言語情報一致度算出部で算出された言語情報一致度に基づいて、候補素片情報として、上記素片辞書から素片情報を選択する候補素片選択部と、上記候補素片選択部で選択された候補素片情報を用いて、目標音声の特徴を示す目標音声特徴情報を算出する目標音声特徴算出部と、上記目標音声特徴算出部で算出された目標音声特徴情報と、上記候補素片情報の音声特徴情報との距離に対応する音声特徴コストを算出する音声特徴コスト算出部と、上記音声特徴コスト算出部で算出された音声特徴コストに基づいて、上記候補素片情報から素片情報を決定する素片決定部と、上記素片決定部で決定された素片情報の音声特徴情報を用いて、音声波形を生成する音声波形生成部とを備えたものである。

この発明にかかる音声合成方法は、少なくとも音素を含む素片の言語情報と上記素片の
音声特徴情報とを含む素片情報を複数記憶した素片辞書を参照し、言語情報一致度算出部が、少なくとも音素を含む入力言語情報と上記素片辞書に記憶された素片情報の言語情報との一致度に対応する言語情報一致度を算出する言語情報一致度算出ステップと、候補素片選択部が、上記言語情報一致度算出ステップで算出された言語情報一致度に基づいて、候補素片情報として、上記素片辞書から素片情報を選択する候補素片選択ステップと、目標音声特徴算出部が、上記候補素片選択ステップで選択された候補素片情報を用いて、目標音声の特徴を示す目標音声特徴情報を算出する目標音声特徴算出ステップと、音声特徴コスト算出部が、上記目標音声特徴算出ステップで算出された目標音声特徴情報と、上記候補素片情報の音声特徴情報との距離に対応する音声特徴コストを算出する音声特徴コスト算出ステップと、素片決定部が、上記音声特徴コスト算出ステップで算出された音声特徴コストに基づいて、上記候補素片情報から素片情報を決定する素片決定ステップと、音声波形生成部が、上記素片決定ステップで決定された素片情報の音声特徴情報を用いて、音声波形を生成する音声波形生成ステップとを有するものである。

この発明の音声合成装置によれば、少なくとも音素を含む素片の言語情報と上記素片の音声特徴情報とを含む素片情報を複数記憶した素片辞書と、少なくとも音素を含む入力言語情報と上記素片辞書に記憶された素片情報の言語情報との一致度に対応する言語情報一致度を算出する言語情報一致度算出部と、上記言語情報一致度算出部で算出された言語情報一致度に基づいて、候補素片情報として、上記素片辞書から素片情報を選択する候補素片選択部と、上記候補素片選択部で選択された候補素片情報を用いて、目標音声の特徴を示す目標音声特徴情報を算出する目標音声特徴算出部と、上記目標音声特徴算出部で算出された目標音声特徴情報と、上記候補素片情報の音声特徴情報との距離に対応する音声特徴コストを算出する音声特徴コスト算出部と、上記音声特徴コスト算出部で算出された音声特徴コストに基づいて、上記候補素片情報から素片情報を決定する素片決定部と、上記素片決定部で決定された素片情報の音声特徴情報を用いて、音声波形を生成する音声波形生成部とを備えたことにより、イントネーションの自然性を保ったまま、肉声感が高く、素片間の音色の連続性も高い合成音声を得ることができる。

この発明の音声合成方法によれば、少なくとも音素を含む素片の言語情報と上記素片の
音声特徴情報とを含む素片情報を複数記憶した素片辞書を参照し、言語情報一致度算出部が、少なくとも音素を含む入力言語情報と上記素片辞書に記憶された素片情報の言語情報との一致度に対応する言語情報一致度を算出する言語情報一致度算出ステップと、候補素片選択部が、上記言語情報一致度算出ステップで算出された言語情報一致度に基づいて、候補素片情報として、上記素片辞書から素片情報を選択する候補素片選択ステップと、目標音声特徴算出部が、上記候補素片選択ステップで選択された候補素片情報を用いて、目標音声の特徴を示す目標音声特徴情報を算出する目標音声特徴算出ステップと、音声特徴コスト算出部が、上記目標音声特徴算出ステップで算出された目標音声特徴情報と、上記候補素片情報の音声特徴情報との距離に対応する音声特徴コストを算出する音声特徴コスト算出ステップと、素片決定部が、上記音声特徴コスト算出ステップで算出された音声特徴コストに基づいて、上記候補素片情報から素片情報を決定する素片決定ステップと、音声波形生成部が、上記素片決定ステップで決定された素片情報の音声特徴情報を用いて、音声波形を生成する音声波形生成ステップとを有することにより、イントネーションの自然性を保ったまま、肉声感が高く、素片間の音色の連続性も高い合成音声を得ることができる。

実施の形態１の音声合成装置の構成を示すブロック図である。素片辞書８の一例を示す説明図である。入力言語情報１０１の一例を示す説明図である。言語情報一致度１０３の概要を示す説明図である。

以下、本発明の実施の形態を説明する。

実施の形態１．
図１は本実施の形態による音声合成装置の全体の構成図を示したブロック図である。
図１の音声合成装置は、言語情報一致度算出部１、候補素片選択部２、目標音声特徴算出部３、音声特徴コスト算出部４、音声特徴コスト最小素片決定部５、音声特徴変形部６、波形接続部７、素片辞書８で構成されている。

素片辞書８は、少なくとも音素を含む素片の言語情報と上記素片の音声特徴情報とを含む素片情報１０２を複数記憶している。

図２は、本実施の形態における素片辞書８の一例を示したものである。
素片辞書８は、例えば、ナレータが原稿などを読み発声した音声（以下、原音声）などを切り出し、分析して、事前に作成されたものである。図２の素片辞書８では、音声「かまくら」を分析して得られた情報が格納されている。

図２に示した素片辞書８において、番号２０１は、素片の番号を示すものである。音素２０２は、素片の一音一音の名前を表すものであり、記号で示されている。図２の例では、音声「かまくら」に対応する各音素が各音素の配列順（音素系列の順）に連続して配置されており、各素片間の接続関係の情報も含まれている。具体的には、音声「かまくら」の音素２０２は、ｓｉｌ、ｋ、ａ、ｍ、ａ、ｋ、ｕ、ｒ、ａ、ｓｉｌであり、文頭と文末に無音を意味するｓｉｌが付与されている。

高低２０３は、素片の一音一音の高さを表すものであり、記号で示されている。図２の例では、素片の音の高さが所定の閾値より高いものはＨで示し、低いものはＬで示している。具体的には、音声「かまくら」の高低２０３は、(なし)、Ｌ、Ｌ、Ｈ、Ｈ、Ｈ、Ｈ、Ｈ、Ｈ、(なし)であり、(なし）は記号が定義されていないことを示す。

短時間振幅スペクトル２０４は、素片の波形の短時間振幅スペクトルであり、短時間振幅スペクトルは波形を周波数分析して得られたものである。図２の例では、各音素に対応する波形の短時間振幅スペクトルが示されている。

基本周波数２０５は、素片の波形の基本周波数であり、基本周波数は波形の声の高さを分析して得られたものである。図２の例では、各音素に対応する波形の基本周波数が示されている。

波形２０６は、音素の波形であり、波形は、例えば、音声を22050Hzで標本化し16bitで量子化したパルス符号変調のデータである。図２の例では、各音素に対応する波形のデータが示されている。

なお、図２に示した素片辞書８において、素片の言語情報は、上記音素２０２及び高低２０３であり、素片の音声特徴情報は、短時間振幅スペクトル２０４、基本周波数２０５及び波形２０６である。

言語情報一致度算出部１は、音声合成装置へ入力され、少なくとも音素を含む入力言語情報１０１と、素片辞書８に記憶された素片情報１０２の言語情報との一致度に対応する言語情報一致度１０３を算出するものである。

候補素片選択部２は、上記言語情報一致度算出部１で算出された言語情報一致度１０３に基づいて、候補素片情報１０４として、上記素片辞書８から素片情報１０２を選択するものである。

目標音声特徴算出部３は、上記候補素片選択部２で選択された候補素片情報１０４を用いて、目標音声の特徴を示す目標音声特徴情報１０５を算出するものである。目標音声特徴情報１０５は、出力音声波形の目標となる音声特徴情報である。なお、本実施の形態では、目標音声特徴算出部３は、候補素片情報１０４、入力言語情報１０１、及び、言語情報一致度１０３を用いて目標音声特徴情報１０５を算出するように構成されている。

音声特徴コスト算出部４は、上記目標音声特徴算出部３で算出された目標音声特徴情報１０５と、上記候補素片情報１０４の音声特徴情報との距離に対応する音声特徴コスト１０６を算出するものである。

音声特徴コスト最小素片決定部５は、上記音声特徴コスト算出部４で算出された音声特徴コスト１０６に基づいて、上記候補素片情報１０４から波形生成に用いる素片情報を決定する素片決定部に対応するものである。音声特徴コスト最小素片決定部５は、特に、上記音声特徴コスト算出部４で算出された音声特徴コスト１０６に基づいて、上記候補素片情報１０４から、音声特徴コスト１０６を最小とするコスト最小素片１０７を波形生成に用いる素片情報として決定するものである。

音声特徴変形部６は、上記目標音声特徴情報１０５を用いて、上記音声特徴コスト最小素片決定部５（素片決定部）で決定された素片情報の音声特徴情報を変形するものであり、音声特徴情報を変形した変形波形１０８を出力する。

波形接続部７は、上記音声特徴コスト最小素片決定部５（素片決定部）で決定された複数の素片情報の音声特徴情報を接続して音声波形を生成するものであり、本実施の形態では、上記音声特徴変形部６で変形された変形波形１０８を接続して出力音声波形１０９を生成する。

なお、本実施の形態においては、素片決定部で決定された素片情報の音声特徴情報を用いて、音声波形を生成する音声波形生成部は、上記音声特徴変形部６及び上記波形接続部７で構成されている。

以下、図面を用いて、本実施の形態の音声合成装置の原理動作及び音声合成方法について説明する。
図３は、音声合成装置へ入力される入力言語情報１０１の一例を示したものである。入力言語情報１０１は、少なくとも音素を含むものであり、例えば、従来の既知の形態素解析技術を用いて漢字仮名交じり文を解析することで得られたものである。図３に示した例は、「ねりまく」を形態素解析技術を用いて得た入力言語情報１０１であり、素片辞書８の言語情報と同様に、素片ごとに番号２０１、音素２０２、高低２０３の情報を含んでいる。具体的には、音素２０２はｓｉｌ、ｎ、ｅ、ｒ、ｉ、ｍ、ａ、ｋ、ｕ、ｓｉｌであり、高低２０３は（なし）Ｌ、Ｌ、Ｈ、Ｈ、Ｈ、Ｈ、Ｌ、Ｌ（なし）である。

入力言語情報１０１が入力されると、言語情報一致度算出部１は、入力言語情報１０１と、素片辞書８に記憶された素片情報１０２の言語情報との一致度に対応する言語情報一致度１０３を算出する。言語情報一致度１０３は、入力言語情報１０１と、素片辞書８に記憶された素片情報１０２との音素及び高低に関する一致度であり、入力言語情報１０１の各音素に対して、素片辞書８の複数の素片情報１０２について求められる。

言語情報一致度１０３は、I(n,m)で定義される。nは入力言語情報１０１の番号を表し、mは素片情報１０２の番号である。I(n,m)を計算するときは、入力言語情報１０１の番号nと素片情報１０２の番号mを中心に上下の音素と高低をそれぞれの比較していき、一致しないところまで比較する。この結果、一致した数をI(n,m)とする。すべてのn（1〜N,Nは入力言語情報１０１の数）とm(1〜M,Mは素片情報１０２の数)についてI(n,m)を計算する。

例えば、I(6,4)の計算を、図４を用いて説明する。
図４は、言語情報一致度１０３の概要を示す説明図である。入力言語情報１０１（左の表）と素片情報１０２（右の表）であり、入力言語情報１０１の番号6と素片情報１０２の番号4を中心に上下方向の音素、高低をそれぞれ比較していき、一致しないところまで比較する。入力言語情報１０１の番号５（上方向）と番号８（下方向）で一致しないので、ここで比較をやめる。この結果、入力言語情報１０１の番号６と番号７が一致していることがわかり、一致する数が２となりI(6,4)が２となる。

言語情報一致度算出部１で言語情報一致度１０３が算出されると、候補素片選択部２は、言語情報一致度１０３に基づいて、候補素片情報１０４として、上記素片辞書８から素片情報１０２を選択する。本実施の形態では、候補素片情報１０４は、入力言語情報１０１の各番号nについて、言語情報一致度１０３の高い最大Ｌ個の素片情報とする。例えば、素片情報１０２が図２であり、入力言語情報１０１が図３である場合に、Ｌ＝２とすると、入力言語情報１０１の７番についての候補素片情報１０４は、素片情報１０２の５番と９番となる。尚、このとき、I(7,5)＝２であり、I(7,9)＝１である。

候補素片選択部２で候補素片情報１０４が選択されると、目標音声特徴算出部３は、入力言語情報１０１と言語情報一致度１０３とを参照して、候補素片情報１０４から目標音声特徴情報１０５を算出する。目標音声特徴情報１０５は、入力言語情報１０１の番号ごとに候補素片情報１０４の短時間振幅スペクトルや基本周波数などから算出する。

例えば、次式を計算して得た音声特徴情報F(n,α_min,β_min)を目標音声特徴情報１０５F_t(n)とする。

ここで、nは入力言語情報１０１の番号である。

１次音声特徴情報F_b(n)は入力言語情報１０１の音素と高低から算出する音声特徴である。例えば、入力言語情報１０１の高低から算出する基本周波数パターンを音声特徴としても良いし、入力言語情報１０１の音素から短時間スペクトルパターンなどの時間変化を伴う音声の特徴を音声特徴としてもよい。

２次音声特徴情報F(n,α,β)は、変形パラメータα,βによって変形した１次音声特徴情報F_b(n)である。

D(α,β)は、２次音声特徴情報F(n,α,β)と候補素片音声特徴情報F_s(n,i)の非類似度を表す。

S(n)は、nにおける候補素片情報１０４の番号の集合である。

候補素片音声特徴情報F_s(n,i)は、入力言語情報１０１の番号nに対応する候補素片情報１０４中の第i番目候補の音声特徴を示す。

非類似度D(α,β)には次のような特性を与える。言語情報一致度１０３が大きいほど非類似度D(α,β)をより小さくする。また、２次音声特徴情報F(n,α,β)と候補素片音声特徴情報F_s(n,i)との差が小さいほど非類似度D(α,β)を小さくする。

例えば、１次音声特徴情報F_b(n)は韻律の単位（ほぼ文節の単位）ごとに設定する基本周波数パターン（基本周波数の時間軌跡）である。

基本周波数パターンは一般によく知られた点ピッチモデルを使って作成することができる。点ピッチモデルは、文章全体では基本周波数が下降していく傾向になるので、この基本傾斜パターンを直線で、その上に付加されるアクセント成分を台形で表現し、各音素の中心点の基本周波数を決めるものである。

点ピッチモデルは、例えば、「岩波講座言語の科学音声（第２巻）」（田窪行則、前川喜久雄、窪園晴夫、本多清志、白井克彦、中川聖一著、岩波書店発行、第４章、p.169-170）に開示されている。

このとき、式１のα、βは基本周波数パターンの抑揚の大きさと平均的音高を自由に代えることができる変換パラメータと解釈できる。

また、例えば、１次音声特徴情報F_b(n)は音素ごとに設定する短時間振幅スペクトルパターンである。この１次音声特徴情報F_b(n)は、入力言語情報１０１の番号nの音素と同一の複数の音素の波形の短時間振幅スペクトルを平均することで得ることができる。このとき、式１のα、βは短時間振幅スペクトルのダイナミックレンジと音量を自由に代えることができる変換パラメータである。

目標音声特徴算出部３が目標音声特徴情報１０５を算出すると、音声特徴コスト算出部４は、目標音声特徴算出部３で算出された目標音声特徴情報１０５と、上記候補素片情報１０４の音声特徴情報との距離に対応する音声特徴コスト１０６を算出する。

例えば、音声特徴コスト１０６は、式４を計算して得た値をコストC(n,i)とする。ここで、F_t1(n)、F_s1(n)は、目標音声特徴情報１０５、候補素片情報１０４の基本周波数であり、F_t2(n)、F_s2(n)は、目標音声特徴情報１０５、候補素片情報１０４の短時間振幅スペクトルである。

ここで、w₁、w₂は音声特徴へのウエイトであり、0以上の値である。すべてのn,iについて計算する。nは1〜N，で、iは集合S(n)の要素である。

音声特徴コスト算出部４が音声特徴コスト１０６を算出すると、音声特徴コスト最小素片決定部５は、候補素片情報１０４中から音声特徴コスト１０６を最小とするコスト最小素片１０７を決定する。

音声特徴コスト最小素片決定部５がコスト最小素片１０７を決定すると、音声特徴変形部６は、目標音声特徴情報１０５を参照してコスト最小素片１０7の音声特徴情報を変形し変形波形１０８を得る。変形波形１０８は、コスト最小素片１０７の波形の音声特徴情報を変形して得た波形である。

例えば、音声特徴の１つである基本周波数を変形する場合、コスト最小素片１０7の波形データの基本周波数を、目標音声特徴情報１０５の基本周波数となるように、従来の既知の技術であるＰＳＯＬＡ（Ｐｉｔｃｈ−ＳｙｎｃｈｒｏｎｏｕｓＯｖｅｒｌａｐａｎｄＡｄｄ）方法によって、コスト最小素片１０7の波形データを変形する。

また、例えば、音声特徴の１つである短時間振幅スペクトルを変形する場合、コスト最小素片１０7の波形の短時間振幅スペクトルが目標音声特徴情報１０５の短時間振幅スペクトルに近づくように変形する。

具体的には、コスト最小素片１０7の波形をフーリエ分析して周波数ごとの振幅スペクトルと位相スペクトルを得る。得た位相スペクトルと目標音声特徴情報１０５の短時間振幅スペクトルを合成し、これを逆フーリエ変換することで変形波形１０８を得る。

そして、波形接続部７は、音声特徴変形部６で変形された変形波形１０８の波形データを接続して出力音声波形１０９を生成する。出力音声波形１０９は、音素ごとに得られた変形波形１０８の波形データを順次配置して出力音声波形を得る。並べる際は、先行する波形の端の形状と後続する波形の端の形状を考慮して配置位置を決めて、波形同士を重ね合わせる（加算して平均する）ことで、波形形状の不連続を抑えるようにしてもよい。

以上のように、本実施の形態によれば、入力言語情報と上記素片辞書に記憶された素片情報の言語情報との一致度に基づいて、候補素片情報として、上記素片辞書から素片情報を選択するようにしたので、基本周波数、継続長等の音声特徴情報及び言語情報との一致度の大きい素片情報を候補素片情報とする場合と比べて、候補素片情報が原音声中において言語的に連続した素片がより優先して選択されるため、素片間の連続性の高い出力音声波形が得られやすい効果があり、イントネーションの自然性を保ち、素片間の音色の連続性も高い合成音声を得ることができる。

また、本実施の形態によれば、入力言語情報と上記素片辞書に記憶された素片情報の言語情報との一致度に基づいて、候補素片情報として、一致度の高い最大Ｌ個の複数の素片情報を選択するようにしたので、素片辞書の素片数が不十分な場合でも、候補素片情報が原音声中において言語的に連続した素片がより優先して選択されるため、素片間の連続性の高い出力音声波形が得られやすい効果があり、イントネーションの自然性を保ち、素片間の音色の連続性も高い合成音声を得ることができる。

また、本実施の形態によれば、入力言語情報と素片辞書に記憶された素片情報の言語情報との一致度に基づいて選択された候補素片情報から目標音声特徴情報を算出し、当該目標音声特徴情報と、候補素片情報の音声特徴情報との距離に対応する音声特徴コストに基づいて波形生成に用いる素片情報を決定するようにしたので、素片情報を参照しないで目標音声特徴情報を算出する従来方式と比べ、目標音声特徴に近い最小素片が得られやすく、素片の音声特徴の変形量を抑えることになり、結果、音質の劣化の少ない出力音声波形を得られやすい効果があり、肉声感が高い合成音声を得ることができる。

また、本実施の形態によれば、入力言語情報と素片辞書に記憶された素片情報の言語情報との一致度について、音素及び高低に基づいて計算される言語情報一致度に基づいて候補素片情報を選択するようにしたので、従来方式と比べ、高低の正しく連続的な候補素片情報が得られることになり、結果、高低の正しく連続的な音声特徴となる出力音声波形を得られやすい効果があり、イントネーションの自然性を保ち、素片間の音色の連続性も高い合成音声を得ることができる。

また、本実施の形態によれば、入力言語情報と素片辞書に記憶された素片情報の言語情報との一致度に基づいて候補素片情報を選択し、言語情報一致度を加味した目標音声特徴情報を算出するようにしたので、原音声中において言語的に連続した素片がより優先して選択されて合成音声が生成されるので、素片間の連続性の高い出力音声波形が得られやすい効果があり、イントネーションの自然性を保ち、素片間の音色の連続性も高い合成音声を得ることができる。

また、本実施の形態によれば、入力言語情報と素片辞書に記憶された素片情報の言語情報との一致度に基づいて候補素片情報を選択し、入力言語情報から求めた１次音声特徴を候補素片情報の音声特徴に近づくように音素に渡り一様に変換して得た２次音声特徴を音声特徴とするようにしたので、２次音声特徴に近い素片がより優先して選択されて合成音声が生成されるので、素片の音声特徴の変形量を抑えることになり、結果、音質の劣化の少ない出力音声波形を得られやすい効果があり、肉声感が高い合成音声を得ることができる。

また、本実施の形態によれば、目標音声特徴情報を用いて、素片決定部で決定された素片情報の音声特徴情報を変形するようにしたので、素片辞書の素片数が不十分な場合でも、素片の音声特徴の変形量を抑えることになり、結果、音質の劣化の少ない出力音声波形を得られやすい効果があり、肉声感が高い合成音声を得ることができる。
なお、変形する必要がない場合、例えば、素片辞書の素変数が多い場合、決定された素片情報の音声特徴情報と目標音声特徴情報とが一致する場合等は、変形することを省略しても良い。

また、本実施の形態によれば、複数の素片情報の音声特徴情報を接続して音声波形を生成するようにしたので、素片辞書の素片数が不十分な場合でも、入力言語情報に応じた合成音声を得ることができる。

実施の形態２．
実施の形態１では、目標音声特徴算出３は、言語情報一致度１０３と入力言語情報１０１とを参照して、候補素片情報１０４から目標音声特徴情報１０５を算出するとしたが、これに代えて、目標音声特徴算出３は、言語情報一致度１０３と入力言語情報１０１とを参照せずに、候補素片情報１０４から目標音声特徴情報１０５を算出するようにしてもよい。

例えば、式５を計算して得たF(n)を目標音声特徴情報１０５とする。このようにすることで、言語情報一致度１０３の高い候補素片情報１０４の音声特徴から目標音声特徴情報１０５を作成することができる。

本実施の形態によれば、実施の形態１と同様の効果が得られる上、簡易な式で目標音声特徴情報を算出することができる効果がある。

実施の形態３．
実施の形態１では、目標音声特徴算出３は、言語情報一致度１０３と入力言語情報１０１とを参照して、候補素片情報１０４から目標音声特徴情報１０５を算出するとしたが、これに代えて、目標音声特徴算出３は、入力言語情報１０１を参照せずに、言語情報一致度１０３を参照して候補素片情報１０４から目標音声特徴情報１０５を算出するようにしてもよい。

例えば、式６を計算して得たF(n)を目標音声特徴情報１０５とする。このようにすることで、言語情報一致度１０３の高い候補素片情報１０４の音声特徴から、より言語情報一致度１０３を加味した、目標音声特徴情報１０５を作成することができる。

ここで、式７のI(n,i)は、言語情報一致度算出部１で算出した言語情報一致度１０３である。

また、式７について、番号n,n+1の音声特徴の距離に応じて、番号n,n+1の音声特徴の距離が大きいときはウエイトを小さくするように変形しても良い。

本実施の形態によれば、実施の形態１と同様の効果が得られる上、言語情報一致度を加味しつつ簡易な式で目標音声特徴情報を算出することができる効果がある。

実施の形態４．
実施の形態１では、目標音声特徴算出３は、言語情報一致度１０３と入力言語情報１０１とを参照して、候補素片情報１０４から目標音声特徴情報１０５を算出するとしたが、これに代えて、目標音声特徴算出３は、言語情報一致度１０３を参照せずに、入力言語情報１０１を参照して候補素片情報１０４から目標音声特徴情報１０５を算出するようにしてもよい。

例えば、次式を計算して得た音声特徴F(n,α_min,β_min)を目標音声特徴情報１０５とする。このようにすることで、言語情報一致度１０３の高い候補素片情報１０４の音声特徴から、２次音声特徴に近い、目標音声特徴情報１０５の基本周波数F_t(n)を作成することができる。

本実施の形態によれば、実施の形態１と同様の効果が得られる上、入力言語情報を加味しつつ簡易な式で目標音声特徴情報を算出することができる効果がある。

実施の形態５．
実施の形態１では、言語情報一致度を、入力言語情報１０１の音素と高低と、素片情報１０２の音素と高低とがそれぞれ同時に一致する数としたが、これに代えて、音素が一致する数と、高低が一致する数をそれぞれ求め、これらに重みをつけて加算した数を言語情報一致度としてもよい。このとき、入力言語情報１０１I(n,m)を次式で算出する。

ここで、I_p(n,m)が音素の一致する数、I_t(n,m)が高低の一致する数、λが重みを表す。発声内容の主要因である音素の一致度が一般に重要であるのでλを0.5以上と設定することが望ましい。

本実施の形態によれば、実施の形態１と同様の効果が得られる上、音素の一致度又は高低の一致度を優先して言語情報一致度を求めることができる効果がある。

実施の形態６．
実施の形態１では、１次音声特徴を基本周波数パターン、または、短時間振幅スペクトルパターン、または、これら両方としたが、１次音声特徴にパワーパターンや継続長パターンを加えてもよい。

パワーパターンは、入力言語情報１０１の番号nの音素と同一の複数の音素の波形のパワーを平均することで得ることができる。この場合は、素片辞書の素片情報にパワーを記憶する。

継続長パターンは、入力言語情報１０１の番号nの音素と同一の複数の音素の波形の長さを平均することで得ることができる。この場合は、素片辞書の素片情報に継続長を記憶する。

本実施の形態によれば、実施の形態１と同様の効果が得られる上、より詳細な音声特徴情報に基づいて合成音声を生成することができる効果がある。

実施の形態７．
前述の実施の形態において、式3、式5、式6、式10の候補素片音声特徴F_s(n,i)を基本周波数パターンF_s1(n,i)、または、短時間振幅スペクトルパターンF_s2(n,i)、または、これら両方としたが、候補素片音声特徴F_s(n,i)にパワーパターンや継続長パターンを加えても良い。この場合は、素片辞書の素片情報にパワーや継続長を記憶する。

本実施の形態によれば、より詳細な音声特徴情報に基づいて合成音声を生成することができる効果がある。

また、以上の実施の形態は、実施の形態２から実施の形態６で説明した置き換えだけではなく、技術的に可能な範囲で適宜組み合わせて実施する事も可能である。例えば、実施の形態２と実施の形態５を組み合わせて実施する事も可能である。

１言語情報一致度算出部、２候補素片選択部、３目標音声特徴算出部、４音声特徴コスト算出部、５音声特徴コスト最小素片決定部、６音声特徴変形部、７波形接続部、８素片辞書、１０１入力言語情報、１０２素片情報、１０３言語情報一致度、１０４候補素片情報、１０５目標音声特徴情報、１０６音声特徴コスト、１０７コスト最小素片、１０８変形波形、１０９出力音声波形、２０１番号、２０２音素、２０３高低、２０４短時間振幅スペクトル、２０５基本周波数、２０６波形。

Claims

少なくとも音素を含む素片の言語情報と上記素片の音声特徴情報とを含む素片情報を複
数記憶した素片辞書と、
少なくとも音素を含む入力言語情報と上記素片辞書に記憶された素片情報の言語情報と
の一致度に対応する言語情報一致度を算出する言語情報一致度算出部と、
上記言語情報一致度算出部で算出された言語情報一致度に基づいて、候補素片情報とし
て、上記素片辞書から素片情報を選択する候補素片選択部と、
上記候補素片選択部で選択された候補素片情報を用いて、目標音声の特徴を示す目標音
声特徴情報を算出する目標音声特徴算出部と、
上記目標音声特徴算出部で算出された目標音声特徴情報と、上記候補素片情報の音声特
徴情報との距離に対応する音声特徴コストを算出する音声特徴コスト算出部と、
上記音声特徴コスト算出部で算出された音声特徴コストに基づいて、上記候補素片情報
から素片情報を決定する素片決定部と、
上記素片決定部で決定された素片情報の音声特徴情報を用いて、音声波形を生成する音
声波形生成部と
を備えたことを特徴とする音声合成装置。
上記目標音声特徴算出部は、上記候補素片選択部で選択された候補素片情報と、上記言
語情報一致度算出部で算出された言語情報一致度とを用いて、上記目標音声特徴情報を算
出することを特徴とする請求項１に記載の音声合成装置。
上記目標音声特徴算出部は、上記候補素片選択部で選択された候補素片情報と、上記入
力言語情報とを用いて、上記目標音声特徴情報を算出することを特徴とする請求項１に記
載の音声合成装置。
上記音声波形生成部は、上記目標音声特徴情報を用いて、上記素片決定部で決定された
素片情報の音声特徴情報を変形する音声特徴変形部を備えたことを特徴とする請求項１に
記載の音声合成装置。
上記音声波形生成部は、上記素片決定部で決定された複数の素片情報の音声特徴情報を
接続して音声波形を生成することを特徴とする請求項１に記載の音声合成装置。
少なくとも音素を含む素片の言語情報と上記素片の音声特徴情報とを含む素片情報を複
数記憶した素片辞書を参照し、
言語情報一致度算出部が、少なくとも音素を含む入力言語情報と上記素片辞書に記憶された素片情報の言語情報との一致度に対応する言語情報一致度を算出する言語情報一致度算出ステップと、
候補素片選択部が、上記言語情報一致度算出ステップで算出された言語情報一致度に基づいて、候補素片情報として、上記素片辞書から素片情報を選択する候補素片選択ステップと、
目標音声特徴算出部が、上記候補素片選択ステップで選択された候補素片情報を用いて、目標音声の特徴を示す目標音声特徴情報を算出する目標音声特徴算出ステップと、
音声特徴コスト算出部が、上記目標音声特徴算出ステップで算出された目標音声特徴情報と、上記候補素片情報の音声特徴情報との距離に対応する音声特徴コストを算出する音声特徴コスト算出ステップと、
素片決定部が、上記音声特徴コスト算出ステップで算出された音声特徴コストに基づいて、上記候補素片情報から素片情報を決定する素片決定ステップと、
音声波形生成部が、上記素片決定ステップで決定された素片情報の音声特徴情報を用いて、音声波形を生成する音声波形生成ステップと
を有することを特徴とする音声合成方法。
上記目標音声特徴算出ステップは、上記候補素片選択ステップで選択された候補素片情
報と、上記言語情報一致度算出ステップで算出された言語情報一致度とを用いて、上記目
標音声特徴情報を算出することを特徴とする請求項６に記載の音声合成方法。
上記目標音声特徴算出ステップは、上記候補素片選択ステップで選択された候補素片情
報と、上記入力言語情報とを用いて、上記目標音声特徴情報を算出することを特徴とする
請求項６に記載の音声合成方法。
上記音声波形生成ステップは、上記目標音声特徴情報を用いて、上記素片決定ステップ
で決定された素片情報の音声特徴情報を変形する音声特徴変形ステップを有することを特
徴とする請求項６に記載の音声合成方法。
上記音声波形生成ステップは、上記素片決定ステップで決定された複数の素片情報の音
声特徴情報を接続して音声波形を生成することを特徴とする請求項６に記載の音声合成方
法。