JP3505364B2 - 音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置 - Google Patents
音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置Info
- Publication number
- JP3505364B2 JP3505364B2 JP24875097A JP24875097A JP3505364B2 JP 3505364 B2 JP3505364 B2 JP 3505364B2 JP 24875097 A JP24875097 A JP 24875097A JP 24875097 A JP24875097 A JP 24875097A JP 3505364 B2 JP3505364 B2 JP 3505364B2
- Authority
- JP
- Japan
- Prior art keywords
- phoneme
- information
- unit
- speech database
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、予め文章発話から
切り出して蓄積した、音素片情報からなる音声データベ
ースから最適な音素片情報を選択し接続することにより
合成音を得る波形合成に適用される、音声データベース
における音素片情報最適化方法、及び音素片情報最適化
装置に関する。
切り出して蓄積した、音素片情報からなる音声データベ
ースから最適な音素片情報を選択し接続することにより
合成音を得る波形合成に適用される、音声データベース
における音素片情報最適化方法、及び音素片情報最適化
装置に関する。
【０００２】
【従来の技術】従来、音声波形を接続して合成音を得る
波形合成に適用される音声データベースの音素片情報に
対してクラスタリングを行い、最適な音素片情報を音声
ファイルに登録する音声ファイル構成方式等が特開平８
―２６３５２０号公報に開示されている。
波形合成に適用される音声データベースの音素片情報に
対してクラスタリングを行い、最適な音素片情報を音声
ファイルに登録する音声ファイル構成方式等が特開平８
―２６３５２０号公報に開示されている。
【０００３】図５は、従来のコンテキストクラスタリン
グの処理を示すフローチャートである。同図において、
音声データベース１００内の音素ラベリングされた波形
データ中から同一の音素ラベルが付与されている波形デ
ータを全て取り出し、初期クラスタ１１０とする（ステ
ップ２０１）。
グの処理を示すフローチャートである。同図において、
音声データベース１００内の音素ラベリングされた波形
データ中から同一の音素ラベルが付与されている波形デ
ータを全て取り出し、初期クラスタ１１０とする（ステ
ップ２０１）。
【０００４】次に、この初期クラスタ１１０内の個々の
波形データ（要素）を特徴分析する（ステップ２０
２）。この特徴分析においては、ＬＰＣ（線形予測符号
化法）ケプストラム等の特徴パラメータの次数をｎと
し、かつ、分析窓関数のフレーム周期を可変として、フ
レーム数がｍフレームとなるように分析を行うことによ
り、各要素に対してｎ×ｍ次元の特徴パラメータ行列を
得る。
波形データ（要素）を特徴分析する（ステップ２０
２）。この特徴分析においては、ＬＰＣ（線形予測符号
化法）ケプストラム等の特徴パラメータの次数をｎと
し、かつ、分析窓関数のフレーム周期を可変として、フ
レーム数がｍフレームとなるように分析を行うことによ
り、各要素に対してｎ×ｍ次元の特徴パラメータ行列を
得る。
【０００５】次にこの特徴分析の結果を用いて、初期ク
ラスタ１１０のクラスタ歪を求める（ステップ２０
３）。具体的には、特徴パラメータのベクトル空間にお
いて、初期クラスタ１１０の全ての要素と予め求めてお
いたセントロイドとの間の距離の２乗和を求めて、これ
を初期クラスタ１１０のクラスタ歪と定義する。
ラスタ１１０のクラスタ歪を求める（ステップ２０
３）。具体的には、特徴パラメータのベクトル空間にお
いて、初期クラスタ１１０の全ての要素と予め求めてお
いたセントロイドとの間の距離の２乗和を求めて、これ
を初期クラスタ１１０のクラスタ歪と定義する。
【０００６】こうして初期クラスタ１１０のクラスタ歪
を求め、これをコンテキストクラスタテーブル２０８に
登録する。このコンテキストクラスタテーブル２０８に
は、図示のように、各クラスタ毎に、それに属するコン
テキストと、そのセントロイドと、そのクラスタ歪と、
それに含まれる要素波形の集合とが登録されている。
を求め、これをコンテキストクラスタテーブル２０８に
登録する。このコンテキストクラスタテーブル２０８に
は、図示のように、各クラスタ毎に、それに属するコン
テキストと、そのセントロイドと、そのクラスタ歪と、
それに含まれる要素波形の集合とが登録されている。
【０００７】尚、初期クラスタ１１０のクラスタ歪を求
めた段階では、初期クラスタ１００だけがコンテキスト
クラスタテーブル２０８に登録されていることになる。
めた段階では、初期クラスタ１００だけがコンテキスト
クラスタテーブル２０８に登録されていることになる。
【０００８】次にコンテキストクラスタテーブル２０８
中からクラスタ歪が最大となるクラスタを求め（ステッ
プ２０４）、この求めたクラスタを、コンテキストクラ
スタテーブル２０８中から取り出し、コンテキストによ
り更に２つのクラスタに分割する（ステップ２０５）。
中からクラスタ歪が最大となるクラスタを求め（ステッ
プ２０４）、この求めたクラスタを、コンテキストクラ
スタテーブル２０８中から取り出し、コンテキストによ
り更に２つのクラスタに分割する（ステップ２０５）。
【０００９】尚、最初の段階では、初期クラスタ１１０
だけがコンテキストクラスタテーブル２０８に登録され
ているので、この初期クラスタ１１０に対してクラスタ
分割が行われる。
だけがコンテキストクラスタテーブル２０８に登録され
ているので、この初期クラスタ１１０に対してクラスタ
分割が行われる。
【００１０】このようにして、初期クラスタ１１０の分
割が行われた後、コンテキストクラスタテーブル２０８
において、初期クラスタ１１０が削除され、分割された
２つのクラスタが新たに登録される（ステップ２０
６）。
割が行われた後、コンテキストクラスタテーブル２０８
において、初期クラスタ１１０が削除され、分割された
２つのクラスタが新たに登録される（ステップ２０
６）。
【００１１】以上の処理（ステップ２０３〜２０６）を
繰り返すことにより、初期クラスタ１１０は次第に小さ
いクラスタに細分化されていく。そして、この各繰り返
しループ毎に、コンテキストクラスタリングの終了判定
が行われる（ステップ２０７）。
繰り返すことにより、初期クラスタ１１０は次第に小さ
いクラスタに細分化されていく。そして、この各繰り返
しループ毎に、コンテキストクラスタリングの終了判定
が行われる（ステップ２０７）。
【００１２】
【発明が解決しようとする課題】然し乍ら、この音声デ
ータベース１００の音素片情報を削減して音声ファイル
（データベース）を作成したとしても、音声データベー
ス１００に含まれる文章と音声合成器に入力する文章と
では音素片の出現頻度が異なるため、コンテキストクラ
スタテーブル２０８には音声合成に際して全く使用され
ない音素片情報を多く含んだままの状態であるといった
問題が依然残っていた。
ータベース１００の音素片情報を削減して音声ファイル
（データベース）を作成したとしても、音声データベー
ス１００に含まれる文章と音声合成器に入力する文章と
では音素片の出現頻度が異なるため、コンテキストクラ
スタテーブル２０８には音声合成に際して全く使用され
ない音素片情報を多く含んだままの状態であるといった
問題が依然残っていた。
【００１３】従って、本発明は、大量の学習用テキスト
情報（文章）を予め用意し、それを全ての音素片を用い
た音声合成器で予め合成し、その結果から各音素片の使
用された回数（頻度情報）を求め、その分布にしたがっ
て距離の総和を計算し、クラスタリングを行うことを特
徴とする。
情報（文章）を予め用意し、それを全ての音素片を用い
た音声合成器で予め合成し、その結果から各音素片の使
用された回数（頻度情報）を求め、その分布にしたがっ
て距離の総和を計算し、クラスタリングを行うことを特
徴とする。
【００１４】これによって、クラスタリング処理の対象
となっている音声データベースに様々な音素片情報が含
まれていたとしても、頻繁に使用される音声に対して多
くの音素片を割り当てた音声ファイル（データベース）
を構築することが可能となる。
となっている音声データベースに様々な音素片情報が含
まれていたとしても、頻繁に使用される音声に対して多
くの音素片を割り当てた音声ファイル（データベース）
を構築することが可能となる。
【００１５】
【課題を解決するための手段】本発明の音声データベー
スにおける音素片情報最適化方法は、文章発話から切り
出した音素片を接続することにより合成音を得る波形合
成に適用される音声データベースにおける音素片情報最
適化方法において、予め学習用テキスト情報を用いて合
成し、その合成結果に従って前記音声データベースを構
成する各音素片情報の使用頻度を求め、該使用頻度に基
づいてクラスタリング処理を行うことにより、音声ファ
イルの音素片情報を最適化することを特徴とする。
スにおける音素片情報最適化方法は、文章発話から切り
出した音素片を接続することにより合成音を得る波形合
成に適用される音声データベースにおける音素片情報最
適化方法において、予め学習用テキスト情報を用いて合
成し、その合成結果に従って前記音声データベースを構
成する各音素片情報の使用頻度を求め、該使用頻度に基
づいてクラスタリング処理を行うことにより、音声ファ
イルの音素片情報を最適化することを特徴とする。
【００１６】また、本発明の音声データベースにおける
音素片情報最適化方法は、文章発話から切り出した音素
片を接続することにより合成音を得る波形合成に適用さ
れる音声データベースにおける音素片情報最適化方法に
おいて、音素選択部が、学習用テキスト情報を入力とし
て、前記文章発話から切り出した音素片を蓄積した音声
データベースから最適な音素片を選択する第１ステップ
と、選択確率計算部が、前記音素選択部によって選択さ
れた各音素片の選択確率を求める第２ステップと、クラ
スタリング処理部が、前記音声データベースに対し、所
定のパラメータ空間において、前記選択確率を音素片の
分布確率としてクラスタリング処理を行う第３ステップ
と、及び音素波形素片登録部が、前記クラスタリング処
理部によってクラスタリングされた、各クラスタの中か
ら代表音素片を選択する第４ステップ、からなることを
特徴とする。
音素片情報最適化方法は、文章発話から切り出した音素
片を接続することにより合成音を得る波形合成に適用さ
れる音声データベースにおける音素片情報最適化方法に
おいて、音素選択部が、学習用テキスト情報を入力とし
て、前記文章発話から切り出した音素片を蓄積した音声
データベースから最適な音素片を選択する第１ステップ
と、選択確率計算部が、前記音素選択部によって選択さ
れた各音素片の選択確率を求める第２ステップと、クラ
スタリング処理部が、前記音声データベースに対し、所
定のパラメータ空間において、前記選択確率を音素片の
分布確率としてクラスタリング処理を行う第３ステップ
と、及び音素波形素片登録部が、前記クラスタリング処
理部によってクラスタリングされた、各クラスタの中か
ら代表音素片を選択する第４ステップ、からなることを
特徴とする。
【００１７】本発明の音声データベースにおける音素片
情報最適化装置は、文章発話から切り出した音素片を接
続することにより合成音を得る波形合成に適用される音
声データベースにおける音素片情報最適化装置におい
て、前記文章発話から切り出した音素片を蓄積した音声
データベースと、学習用テキスト情報を入力として、前
記音声データベースからなる最適な音素片を選択する音
素選択部と、該音素選択部によって選択された、各音素
片の選択確率を求める選択確率計算部と、前記音声デー
タベースに対し、所定のパラメータ空間において、前記
選択確率を音素片の分布確率としてクラスタリング処理
を行うクラスタリング処理部と、該クラスタリング処理
部によってクラスタリング処理された、各クラスタの中
から代表音素片を選択する音素波形素片登録部と、を備
えることを特徴とする。
情報最適化装置は、文章発話から切り出した音素片を接
続することにより合成音を得る波形合成に適用される音
声データベースにおける音素片情報最適化装置におい
て、前記文章発話から切り出した音素片を蓄積した音声
データベースと、学習用テキスト情報を入力として、前
記音声データベースからなる最適な音素片を選択する音
素選択部と、該音素選択部によって選択された、各音素
片の選択確率を求める選択確率計算部と、前記音声デー
タベースに対し、所定のパラメータ空間において、前記
選択確率を音素片の分布確率としてクラスタリング処理
を行うクラスタリング処理部と、該クラスタリング処理
部によってクラスタリング処理された、各クラスタの中
から代表音素片を選択する音素波形素片登録部と、を備
えることを特徴とする。
【００１８】また、前記クラスタリング処理部は、各ク
ラスタ内のセントロイドから前記クラスタ内に含まれる
全ての音素片までの距離が最小になるようにクラスタリ
ング処理することを特徴とする。
ラスタ内のセントロイドから前記クラスタ内に含まれる
全ての音素片までの距離が最小になるようにクラスタリ
ング処理することを特徴とする。
【００１９】前記学習用テキスト情報は、文章から構成
されていることを特徴とする。
されていることを特徴とする。
【００２０】更に、前記音素片は、少なくとも波形情報
から構成されていることを特徴とする。
から構成されていることを特徴とする。
【００２１】
【発明の実施の形態】本発明の実施の形態を図１〜図４
を用いて説明する。
を用いて説明する。
【００２２】図１は、本発明を実現するための装置の概
略構成図である。また、図２は、本発明における、音声
データベースにおける音素片情報最適化方法を実現する
ためのフローチャートである。
略構成図である。また、図２は、本発明における、音声
データベースにおける音素片情報最適化方法を実現する
ためのフローチャートである。
【００２３】以下、図１を参照し乍ら、図２の処理過程
を説明する。
を説明する。
【００２４】ステップＳ１では、学習用テキスト情報
（文章）が言語処理部１に入力されると、言語処理部１
は、形態素解析、係り受け解析を行い、解析後の音素に
対して音素記号、品詞、及びアクセント記号列を付与す
る。
（文章）が言語処理部１に入力されると、言語処理部１
は、形態素解析、係り受け解析を行い、解析後の音素に
対して音素記号、品詞、及びアクセント記号列を付与す
る。
【００２５】ステップＳ３では、韻律パターン生成部２
は音素記号、アクセント記号列、及び形態素解析の結果
より得られる入力テキストの品詞情報を用いて、音素中
心付近での基本周波数Ｆ0、パワー、音韻継続時間長を
推定する。
は音素記号、アクセント記号列、及び形態素解析の結果
より得られる入力テキストの品詞情報を用いて、音素中
心付近での基本周波数Ｆ0、パワー、音韻継続時間長を
推定する。
【００２６】ステップＳ５においては、数１に示す式を
用いてコストを求め、音素を選択する。本ステップにお
ける具体的な音素片の選択は、ステップＳ３で推定され
た基本周波数Ｆ0、パワー、音韻継続時間長の推定値と
の非適合を表わすコスト、及び各音素片を接続するとき
のコストを計算し、その総和が最小になる音素片の組み
合わせをＤＰ（ダイナミックプログラミング）法に従い
数１を用いることにより探索を行う。ここで、コストを
示すコスト関数Ｄ（Ｆ）を数１に示す。
用いてコストを求め、音素を選択する。本ステップにお
ける具体的な音素片の選択は、ステップＳ３で推定され
た基本周波数Ｆ0、パワー、音韻継続時間長の推定値と
の非適合を表わすコスト、及び各音素片を接続するとき
のコストを計算し、その総和が最小になる音素片の組み
合わせをＤＰ（ダイナミックプログラミング）法に従い
数１を用いることにより探索を行う。ここで、コストを
示すコスト関数Ｄ（Ｆ）を数１に示す。
【００２７】
【数１】
【００２８】尚、ＤF0、Ｄpow、Ｄdurは、音素中心付近
での基本周波数、パワー、音韻継続時間長の推定値と合
成単位との差であり、 Ｄposiは、文中の位置（語頭、
語中、及び語尾）の違いを数値化した値である。
Ｄc F0、Ｄc pow、Ｄc cepは、接続する２つの合成単位の
接続点での基本周波数の差、パワーの差、ケプストラム
の差である。 Ｄc phは、発話環境を考慮して決定された
接続の行い易さ（接続優先順位）を示す歪である。ま
た、ｗx、ｗc xは、夫々のパラメータに乗ずる重み係数
である。
での基本周波数、パワー、音韻継続時間長の推定値と合
成単位との差であり、 Ｄposiは、文中の位置（語頭、
語中、及び語尾）の違いを数値化した値である。
Ｄc F0、Ｄc pow、Ｄc cepは、接続する２つの合成単位の
接続点での基本周波数の差、パワーの差、ケプストラム
の差である。 Ｄc phは、発話環境を考慮して決定された
接続の行い易さ（接続優先順位）を示す歪である。ま
た、ｗx、ｗc xは、夫々のパラメータに乗ずる重み係数
である。
【００２９】次に、ステップＳ７では、全ての音素片を
含む音声データベース７を用いて、学習用テキスト情報
（文章）を合成し、各音素片の選択された回数を計算す
る。具体的には、音声データベース７の全ての音素片
を、適当な音素単位に分割する。このとき、無声の子音
を含む場合には、ＣＶ、ＶＣに分割し、有声の子音を含
む場合には、ＶＣＶに分割している。尚、「Ｃ」とは、
子音（Consonant）を表わし、また「Ｖ」とは、母音（V
owel）を表わす。
含む音声データベース７を用いて、学習用テキスト情報
（文章）を合成し、各音素片の選択された回数を計算す
る。具体的には、音声データベース７の全ての音素片
を、適当な音素単位に分割する。このとき、無声の子音
を含む場合には、ＣＶ、ＶＣに分割し、有声の子音を含
む場合には、ＶＣＶに分割している。尚、「Ｃ」とは、
子音（Consonant）を表わし、また「Ｖ」とは、母音（V
owel）を表わす。
【００３０】次に、各音素単位に含まれる音素片の選択
された回数を平均し、音素単位の選択回数とし、各音素
単位の選択確率を計算する。尚、本発明では、１度も選
択されなかった音素単位にも小さな確率を割り当てるこ
ととした。ステップＳ９においては、ステップＳ７で計
算された選択確率に基づいて、クラスタリング処理部５
は、分布が既知の場合のＬＢＧアルゴリズムを用いて、
指定された個数にクラスタリング処理を行う。
された回数を平均し、音素単位の選択回数とし、各音素
単位の選択確率を計算する。尚、本発明では、１度も選
択されなかった音素単位にも小さな確率を割り当てるこ
ととした。ステップＳ９においては、ステップＳ７で計
算された選択確率に基づいて、クラスタリング処理部５
は、分布が既知の場合のＬＢＧアルゴリズムを用いて、
指定された個数にクラスタリング処理を行う。
【００３１】ここで、ステップＳ９を図３を用いて詳細
に説明する。
に説明する。
【００３２】まず、ステップＳ２１では、指定された個
数の初期代表ベクトルＡ0を任意に決定する。またイン
デックスｍ＝０、平均歪みＤ-1＝―∞とする。
数の初期代表ベクトルＡ0を任意に決定する。またイン
デックスｍ＝０、平均歪みＤ-1＝―∞とする。
【００３３】ステップＳ２３では、音声データベースの
全ての音素片を最も近い代表ベクトルＡmが属するクラ
スタＰ(Ａm)に分割する。この時の距離の計算は数２を
用いる。
全ての音素片を最も近い代表ベクトルＡmが属するクラ
スタＰ(Ａm)に分割する。この時の距離の計算は数２を
用いる。
【００３４】
【数２】
【００３５】ステップＳ２５では、各クラスタに属する
全ての音素片に関する重心（セントロイド）を計算し、
ｍ＋１の代表ベクトルとする。このセントロイドは、音
素片の音響パラメータのベクトルの各要素ごとの平均を
計算することで求められるが、この平均は、各音素の選
択確率を用いて計算される。
全ての音素片に関する重心（セントロイド）を計算し、
ｍ＋１の代表ベクトルとする。このセントロイドは、音
素片の音響パラメータのベクトルの各要素ごとの平均を
計算することで求められるが、この平均は、各音素の選
択確率を用いて計算される。
【００３６】ステップＳ２７では、代表ベクトル
Ａm+1、クラスタＰ(Ａm+1）の時の平均歪みＤm+1を計算
する。歪みは、前記数２を選択確率で平均した結果であ
る。
Ａm+1、クラスタＰ(Ａm+1）の時の平均歪みＤm+1を計算
する。歪みは、前記数２を選択確率で平均した結果であ
る。
【００３７】ステップＳ２９は、インデックスを１増加
させる。
させる。
【００３８】ステップＳ３０は、終了判定を行ってい
る。歪みの減少率を計算し一定量ε以下ならその時のク
ラスタＰ(Ａm)を出力として終了する。
る。歪みの減少率を計算し一定量ε以下ならその時のク
ラスタＰ(Ａm)を出力として終了する。
【００３９】ここで、図２に戻って更に説明を続ける。
【００４０】最終的に、ステップＳ１１では、ステップ
Ｓ９で求められた各クラスタのセントロイドを計算し、
それに最も近い音素を選択音素として音声ファイル作成
部６が登録することによって、縮小（削減）された音声
ファイル（データベース）が新たに作成される。
Ｓ９で求められた各クラスタのセントロイドを計算し、
それに最も近い音素を選択音素として音声ファイル作成
部６が登録することによって、縮小（削減）された音声
ファイル（データベース）が新たに作成される。
【００４１】次に、本発明の有効性を確かめるため、評
価実験を行った。本実験では、地名の読み上げを行う合
成器の生成を目的とした。学習用文章には、新郵便番号
データのうち九州地方を除く全てを用いた。新郵便番号
データより、市・郡名称、区町村名称、町域名称を抽出
し、「ここは、Ｘ市、Ｙ区、Ｚ町、です。」という文章
に変換し合成を行った。
価実験を行った。本実験では、地名の読み上げを行う合
成器の生成を目的とした。学習用文章には、新郵便番号
データのうち九州地方を除く全てを用いた。新郵便番号
データより、市・郡名称、区町村名称、町域名称を抽出
し、「ここは、Ｘ市、Ｙ区、Ｚ町、です。」という文章
に変換し合成を行った。
【００４２】その結果より、「ここは、」と「です。」
の部分を除き、残りの結果より各音素の選択確率を求め
た。求めた選択確率を用いてクラスタリングした縮小フ
ァイル（データベース）と、選択確率が一様としてクラ
スタリングした縮小ファイル（データベース）を用い
て、学習に用いた地名、学習に用いなかった地名(九州
地方) 、小説の3種類の文章を合成し評価した。
の部分を除き、残りの結果より各音素の選択確率を求め
た。求めた選択確率を用いてクラスタリングした縮小フ
ァイル（データベース）と、選択確率が一様としてクラ
スタリングした縮小ファイル（データベース）を用い
て、学習に用いた地名、学習に用いなかった地名(九州
地方) 、小説の3種類の文章を合成し評価した。
【００４３】以下に実験に用いた音声ファイル（データ
ベース）のサイズ、および実験結果を示す。
ベース）のサイズ、および実験結果を示す。
【００４４】
【表１】
【００４５】図４において、縦軸は、地名20文章、小説
5文章を合成した時の数１の歪コストの合計を文章の総
音素数で割った1音素当りの平均歪である。また、図４
中の斜線は選択確率が一様として作成した音声ファイル
（データベース）による合成結果(conventional) 、ま
た交差線は提案方式による結果(proposed) 、更に縦線
は全ての音素片を含む音声ファイル（データベース）に
よる合成結果(all)である。
5文章を合成した時の数１の歪コストの合計を文章の総
音素数で割った1音素当りの平均歪である。また、図４
中の斜線は選択確率が一様として作成した音声ファイル
（データベース）による合成結果(conventional) 、ま
た交差線は提案方式による結果(proposed) 、更に縦線
は全ての音素片を含む音声ファイル（データベース）に
よる合成結果(all)である。
【００４６】place-name (closed)は学習に用いた地
名、place-name (open)は学習に用いなかった地名(九州
地方) 、novelは全く環境の異なる文章である小説の結
果を示す。
名、place-name (open)は学習に用いなかった地名(九州
地方) 、novelは全く環境の異なる文章である小説の結
果を示す。
【００４７】この結果より、全ての場合で提案方式の方
が選択確率を一様とした場合と比較して歪が少なくなっ
ており、提案方式が有効であることがわかる。それぞれ
の文章の種類ごとに比較すると、proposedの歪は地名読
み上げではallに近いが、小説読み上げではconventiona
lに近い。これは、open-closedに関わらず言えること
で、地名読み上げという環境への最適化が行われている
ことがわかる。
が選択確率を一様とした場合と比較して歪が少なくなっ
ており、提案方式が有効であることがわかる。それぞれ
の文章の種類ごとに比較すると、proposedの歪は地名読
み上げではallに近いが、小説読み上げではconventiona
lに近い。これは、open-closedに関わらず言えること
で、地名読み上げという環境への最適化が行われている
ことがわかる。
【００４８】
【発明の効果】以上の説明から明らかなように、本発明
によれば、文章発話から切り出した音素片を接続するこ
とにより合成音を得る波形合成に適用される音声データ
ベースにおける音素片情報最適化方法において、予め学
習用テキスト情報を用いて合成し、その合成結果に従っ
て前記音声データベースを構成する各音素片情報の使用
頻度を求め、該使用頻度に基づいてクラスタリング処理
を行うことにより、使用頻度の高い音素片情報からなる
音声ファイル（データベース）を作成することができる
効果を奏する。
によれば、文章発話から切り出した音素片を接続するこ
とにより合成音を得る波形合成に適用される音声データ
ベースにおける音素片情報最適化方法において、予め学
習用テキスト情報を用いて合成し、その合成結果に従っ
て前記音声データベースを構成する各音素片情報の使用
頻度を求め、該使用頻度に基づいてクラスタリング処理
を行うことにより、使用頻度の高い音素片情報からなる
音声ファイル（データベース）を作成することができる
効果を奏する。
【００４９】更に、本発明は、文章発話から切り出した
音素片を接続することにより合成音を得る波形合成に適
用される音声データベースにおける音素片情報最適化装
置において、前記文章発話から切り出した音素片を蓄積
した音声データベースと、学習用テキストを入力とし
て、前記音声データベースからなる最適な音素片を選択
する音素選択部と、該音素選択部によって選択された、
各音素片の選択確率を求める選択確率計算部と、前記音
声データベースに対し、所定のパラメータ空間におい
て、前記選択確率を音素片の分布確率としてクラスタリ
ング処理を行うクラスタリング部と、該クラスタリング
部によってクラスタリングされた、各クラスタの中から
代表音素片を選択する音素波形素片登録部と、を備える
ことにより、使用頻度の高い音声には多くの音素片情報
を割り当てることが出来る効果を奏する。
音素片を接続することにより合成音を得る波形合成に適
用される音声データベースにおける音素片情報最適化装
置において、前記文章発話から切り出した音素片を蓄積
した音声データベースと、学習用テキストを入力とし
て、前記音声データベースからなる最適な音素片を選択
する音素選択部と、該音素選択部によって選択された、
各音素片の選択確率を求める選択確率計算部と、前記音
声データベースに対し、所定のパラメータ空間におい
て、前記選択確率を音素片の分布確率としてクラスタリ
ング処理を行うクラスタリング部と、該クラスタリング
部によってクラスタリングされた、各クラスタの中から
代表音素片を選択する音素波形素片登録部と、を備える
ことにより、使用頻度の高い音声には多くの音素片情報
を割り当てることが出来る効果を奏する。
【図１】本発明を実現するための装置の概略構成図であ
る。
る。
【図２】本発明における、音声データベースにおける音
素片情報最適化方法を実現するためのフローチャートで
ある。
素片情報最適化方法を実現するためのフローチャートで
ある。
【図３】図２に示すステップＳ９の処理を詳細に表した
フローチャートである。
フローチャートである。
【図４】本発明の評価実験の結果を示す図である。
【図５】従来のコンテキストクラスタリングの処理を示
すフローチャートである。
すフローチャートである。
１・・・・・言語処理部
２・・・・・韻律パターン生成部
３・・・・・音素選択部
４・・・・・選択確率計算部
５・・・・・クラスタリング処理部
６・・・・・音声ファイル作成部
７・・・・・音声データベース
８・・・・・縮小音声ファイル（データベース）
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 橋本 誠
大阪府守口市京阪本通２丁目５番５号
三洋電機株式会社内
(56)参考文献 特開 平８−263520（ＪＰ，Ａ)
特開 平７−13598（ＪＰ，Ａ)
橋本泰秀、斎藤隆，環境依存性を考慮
した音節を合成単位とする音声合成，日
本音響学会研究発表会講演論文集，日
本，日本音響学会，1995年 ９月，平成
７年秋季Ｉ，245−246
平井啓之、橋本誠、西田秀治、大西宏
樹，音素片の選択結果の頻度情報に基づ
いた音声合成用音声データベースの削
減，日本音響学会研究発表会講演論文
集，日本，日本音響学会，1997年 ９
月，平成９年秋季，259−260
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 13/06
Claims (9)
- 【請求項１】 文章発話から切り出した音素片を接続す
ることにより合成音を得る波形合成に適用される音声デ
ータベースにおける音素片情報最適化方法において、 予め学習用テキスト情報を用いて合成し、その合成結果
に従って前記音声データベースを構成する各音素片情報
の使用頻度を求め、該使用頻度に基づいてクラスタリン
グ処理を行うことにより、音声ファイルの音素片情報を
最適化することを特徴とする音声データベースにおける
音素片情報最適化方法。 - 【請求項２】 文章発話から切り出した音素片を接続す
ることにより合成音を得る波形合成に適用される音声デ
ータベースにおける音素片情報最適化方法において、 音素選択部が、学習用テキスト情報を入力として、前記
文章発話から切り出した音素片を蓄積した音声データベ
ースから最適な音素片を選択する第１ステップと、 選択確率計算部が、前記音素選択部によって選択された
各音素片の選択確率を求める第２ステップと、 クラスタリング処理部が、前記音声データベースに対
し、所定のパラメータ空間において、前記選択確率を音
素片の分布確率としてクラスタリング処理を行う第３ス
テップと、及び音素波形素片登録部が、前記クラスタリ
ング処理部によってクラスタリングされた、各クラスタ
の中から代表音素片を選択する第４ステップ、からなる
ことを特徴とする音声データベースにおける音素片情報
最適化方法。 - 【請求項３】 文章発話から切り出した音素片を接続す
ることにより合成音を得る波形合成に適用される音声デ
ータベースにおける音素片情報最適化装置において、 前記文章発話から切り出した音素片を蓄積した音声デー
タベースと、 学習用テキスト情報を入力として、前記音声データベー
スからなる最適な音素片を選択する音素選択部と、 該音素選択部によって選択された、各音素片の選択確率
を求める選択確率計算部と、 前記音声データベースに対し、所定のパラメータ空間に
おいて、前記選択確率を音素片の分布確率としてクラス
タリング処理を行うクラスタリング処理部と、該クラス
タリング処理部によってクラスタリング処理された、各
クラスタの中から代表音素片を選択する音素波形素片登
録部と、を備えることを特徴とする音声データベースに
おける音素片情報最適化装置。 - 【請求項４】 前記クラスタリング処理部は、各クラス
タ内のセントロイドから前記クラスタ内に含まれる全て
の音素片までの距離が最小になるようにクラスタリング
処理することを特徴とする請求項１、又は２記載の音声
データベースにおける音素片情報最適化方法。 - 【請求項５】 前記学習用テキスト情報は、文章から構
成されていることを特徴とする請求項１、又は２記載の
音声データベースにおける音素片情報最適化方法。 - 【請求項６】 前記音素片は、少なくとも波形情報から
構成されていることを特徴とする請求項１、又は２記載
の音声データベースにおける音素片情報最適化方法。 - 【請求項７】 前記クラスタリング処理部は、各クラス
タ内のセントロイドから前記クラスタ内に含まれる全て
の音素片までの距離が最小になるようにクラスタリング
処理することを特徴とする請求項３記載の音声データベ
ースにおける音素片情報最適化装置。 - 【請求項８】 前記学習用テキスト情報は、文章から構
成されていることを特徴とする請求項３記載の音声デー
タベースにおける音素片情報最適化装置。 - 【請求項９】 前記音素片は、少なくとも波形情報から
構成されていることを特徴とする請求項３記載の音声デ
ータベースにおける音素片情報最適化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24875097A JP3505364B2 (ja) | 1997-09-12 | 1997-09-12 | 音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24875097A JP3505364B2 (ja) | 1997-09-12 | 1997-09-12 | 音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1185193A JPH1185193A (ja) | 1999-03-30 |
| JP3505364B2 true JP3505364B2 (ja) | 2004-03-08 |
Family
ID=17182822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24875097A Expired - Fee Related JP3505364B2 (ja) | 1997-09-12 | 1997-09-12 | 音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3505364B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001109489A (ja) | 1999-08-03 | 2001-04-20 | Canon Inc | 音声情報処理方法、装置および記憶媒体 |
| KR20030060588A (ko) * | 2002-01-10 | 2003-07-16 | 주식회사 현대오토넷 | 코퍼스 기반 음성 합성용 녹음 문장 선정을 위한 방법 |
| JP5020759B2 (ja) * | 2007-09-26 | 2012-09-05 | Ｋｄｄｉ株式会社 | 種々の音声合成装置のための素片データベース生成装置、方法及びプログラム |
| JP2009237015A (ja) * | 2008-03-26 | 2009-10-15 | Nippon Hoso Kyokai <Nhk> | 音声素片接続装置及びプログラム |
-
1997
- 1997-09-12 JP JP24875097A patent/JP3505364B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| 平井啓之、橋本誠、西田秀治、大西宏樹，音素片の選択結果の頻度情報に基づいた音声合成用音声データベースの削減，日本音響学会研究発表会講演論文集，日本，日本音響学会，１９９７年 ９月，平成９年秋季，２５９−２６０ |
| 橋本泰秀、斎藤隆，環境依存性を考慮した音節を合成単位とする音声合成，日本音響学会研究発表会講演論文集，日本，日本音響学会，１９９５年 ９月，平成７年秋季Ｉ，２４５−２４６ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1185193A (ja) | 1999-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11990118B2 (en) | Text-to-speech (TTS) processing | |
| US7603278B2 (en) | Segment set creating method and apparatus | |
| Wu et al. | Voice conversion using duration-embedded bi-HMMs for expressive speech synthesis | |
| US20200410981A1 (en) | Text-to-speech (tts) processing | |
| Narendra et al. | Development of syllable-based text to speech synthesis system in Bengali | |
| US11763797B2 (en) | Text-to-speech (TTS) processing | |
| JP3910628B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
| US20090048841A1 (en) | Synthesis by Generation and Concatenation of Multi-Form Segments | |
| US10699695B1 (en) | Text-to-speech (TTS) processing | |
| WO2005059895A1 (en) | Text-to-speech method and system, computer program product therefor | |
| JP4829477B2 (ja) | 声質変換装置および声質変換方法ならびに声質変換プログラム | |
| JP6013104B2 (ja) | 音声合成方法、装置、及びプログラム | |
| Ipsic et al. | Croatian HMM-based speech synthesis | |
| JP3505364B2 (ja) | 音声データベースにおける音素片情報最適化方法、及び音素片情報最適化装置 | |
| Kim et al. | Implementation and evaluation of an HMM-based Korean speech synthesis system | |
| Cahyaningtyas et al. | Synthesized speech quality of Indonesian natural text-to-speech by using HTS and CLUSTERGEN | |
| Xia et al. | HMM-based unit selection speech synthesis using log likelihood ratios derived from perceptual data | |
| Vesnicer et al. | Evaluation of the Slovenian HMM-based speech synthesis system | |
| Hsu et al. | Speaker-dependent model interpolation for statistical emotional speech synthesis | |
| JP6523423B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
| JPH10254471A (ja) | 音声合成装置 | |
| EP1589524B1 (en) | Method and device for speech synthesis | |
| Demenko et al. | Prosody annotation for unit selection TTS synthesis | |
| Demenko et al. | Prosody annotation for corpus based speech synthesis | |
| EP1640968A1 (en) | Method and device for speech synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091219 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101219 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101219 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |