JPH08263095A

JPH08263095A - 音声素片選択方法および音声合成装置

Info

Publication number: JPH08263095A
Application number: JP7060962A
Authority: JP
Inventors: Takao Koyama; 貴夫小山; Noriya Murakami; 憲也村上; Ayanori Yoshitani; 文徳吉谷
Original assignee: N T T DATA TSUSHIN KK; NTT Data Communications Systems Corp
Current assignee: N T T DATA TSUSHIN KK; NTT Data Corp
Priority date: 1995-03-20
Filing date: 1995-03-20
Publication date: 1996-10-11
Anticipated expiration: 2017-11-18
Also published as: JP3346671B2

Abstract

(57)【要約】【目的】音声波形素片を用いた規則合成装置におい
て、ノイズ混入の有無を予測するとともに一定品質以上
の合成音声を得るための合成単位を選択する。【構成】一次選択部４２において所定の評価基準を用
いて入力テキストに対応する複数の合成単位の候補を選
び出し、次いで、二次選択部４３において、複数の候補
から最も素片接続の歪みが小さくなるように素片（合成
単位）を選び出す。つまり２段階の素片選択を行う。２
段階目の合成単位の選択は、素片間のケプストラム距離
を接続コストとし、素片間の接続コストが最小となるよ
うにパスを選択する。合成品質判定部４４では、合成時
に一定品質が得られるか否かを判定し、得られない場合
は代替素片生成部４５から代替素片処理を得て合成素片
抽出部４６に送る。合成単位抽出部４６は、該当する素
片の実データ（ＰＣＭデータ）を素片辞書５から抽出し
て後段の素片変形接続部に出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声合成装置に関し、
特に、合成単位（音声波形素片）の選択技術に関する。

【０００２】

【従来の技術】従来、音声波形素片を用いた規則合成装
置では、大量の音声波形をＰＣＭ（Pulse code modulat
ion）方式によりディジタルの音声波形データ（ＰＣＭ
データ）に変換して蓄積し、該音声波形データに対して
音素単位で位置情報、ピッチ形状、継続時間長、パワ等
の韻律情報及び前後の音素の種類等を記述しておくのが
一般的である。音声合成を行う際には、入力テキストに
対して規則により韻律パタンを設定し、該韻律パタンに
最も近くなるように音声素片を選択し、更に選択された
素片の韻律を変形して、目標の韻律パタンに近くなるよ
うにすることで、ＬＳＰ（Line Spectrum Pair）を用い
た合成音声を行う場合に比べて高品質な規則音声合成を
行うことを可能にしている。このような音声波形素片を
用いた規則合成装置については、「広川著、波形辞書を
用いた規則合成法、電子通信学会信学技報SP88−9（198
8‐5）」の記載を参考にすることができる。

【０００３】

【発明が解決しようとする課題】上述の音声合成手法で
は、音声波形をＰＣＭデータ上で接続するため、素片間
のスペクトル形状が大きく異なり、素片接続部における
異音またはノイズ発生の原因になることがある。音声波
形素片を用いた規則合成装置においては、このような素
片接続部でのノイズ混入の有無によって、合成音声の品
質が大きく左右される。しかし、従来の手法では、蓄積
情報として、スペクトル形状等の自然音声のパラメタを
有していないため、韻律的な滑らかさと音韻系列の一致
しか波形選択の基準にすることができず、素片接続部に
おけるノイズ混入の予測ができない。そのため、合成音
声を実際に人間が聴取するか、または何らかの音響分析
を行わなければ品貿の善し悪しを判断できない問題があ
った。

【０００４】本発明の課題は、上記問題点に鑑み、音声
波形素片を用いた規則合成装置において合成単位を選択
する際に、合成単位間の連続性を考慮した素片選択を可
能とし、さらに素片接続部におけるノイズ混入の有無及
び合成音声全体の品質を評価することを可能にする技術
を提供することにある。

【０００５】

【課題を解決するための手段】本発明は、まず、音声素
片選択方法を提供する。この方法は、複数の音声素片を
蓄積した素片辞書から音声合成に用いる合成単位を選択
する際に、素片間ケプストラム距離の特定情報、例えば
該距離の代表値を合成単位毎に前記素片辞書に蓄積する
段階と、合成対象音声の韻律パタンに類似する複数の合
成単位を類似度の高い順に抽出する段階と、抽出した複
数の合成単位から前記素片間ケプストラム距離に基づく
接続コストが最小となる合成単位の組を選択する段階と
をこの順に実行することを特徴とする。前記選択された
合成単位の組に基づく合成音声の品質が所定の基準値よ
り大きいときは、接続コストを大きくしている合成単位
を隣接素片間ケプストラム距離が最小となる代替素片に
置き換える。なお、この場合の合成音声の品質は、例え
ば素片間ケプストラム距離の積算値で評価することがで
き、評価の閾値は、実験的に決定することができる。

【０００６】本発明は、また、上記方法の実施に適した
音声合成装置をも提供する。この装置は、複数の音声素
片を素片間ケプストラム距離の特定情報と共に蓄積した
素片辞書と、該素片辞書から音声合成に用いる合成単位
を選択する音声素片選択部と、選択された合成単位に基
づいて合成音声を生成する手段とを有する音声合成装置
であって、前記音声素片選択部が、合成対象音声の韻律
パタンに類似する複数の合成単位を類似度の高い順に抽
出する一次選択部と、抽出した複数の合成単位から前記
素片間ケプストラム距離に基づく接続コストが最小とな
る合成単位の組を選択する二次選択部とを有することを
特徴とする。

【０００７】上記構成の音声合成装置において、音声素
片選択部は、さらに、前記二次選択部で選択された合成
単位の組に基づく合成音声の品質を定量化するととも
に、これにより得られた定量値の良否を判定する合成品
質判定部と、前記定量値の良否判定が否のときに当該合
成単位の組における隣接素片間ケプストラム距離が最小
となる代替素片を生成する代替素片生成部とを有し、接
続コストを大きくしている合成単位を前記代替素片に置
き換える。なお、前記代替素片生成部は、韻律パタンが
目標値に近い複数の先行音置き換え候補及び後続音置き
換え候補を選択する第１の手段と、隣接素片の接続コス
トが最も小さい先行音置き換え候補の組を前記代替素片
として特定する第２の手段とを有するものである。

【０００８】

【作用】本発明では、従来の手法と同様に韻律パタンと
の類似度の高いものを合成単位候補として抽出した後、
素片接続部同士のケプストラム距離を接続コストとし、
例えば動的計画法を用いて、接続コストが最小となる合
成単位の組を選び出す。これにより、与えられた合成単
位中で最も声道特性の連続性が高いものを選び出すこと
ができる。この場合、合成単位を選択した際の接続コス
トを参照することで、合成音声へのノイズ混入状況を推
定することが可能となる。また、合成品質低下の原因と
なる部分では、接続コストが大きく、異音またはノイズ
混入が発生しやすいので、接続コストが大きい合成単位
がある場合には、これに代えて、他の代替素片に置き換
える。

【０００９】

【実施例】以下、図面を参照して本発明の好適な実施例
を説明する。図１は、本発明の一実施例に係る音声合成
装置の構成図である。まず、図１を参照して本実施例の
音声合成装置の全体的な処理の概要を説明する。この音
声合成装置１は、入力端子ＩＮから入力した漢字仮名混
じりの日本語テキストをテキスト解析部２へ送る。テキ
スト解析部２では、図示しない辞書を用いて入力テキス
トを文節に切り分け、各々の文節に対してローマ字表記
の読みを付与し、更にアクセント型を各文節に付与す
る。ここで得られた各文節の読み及びアクセント型は、
韻律生成部３に送出される。

【００１０】韻律生成部３では、文節単位の読み情報と
アクセント型情報に基づきピッチパタン、音韻継続時間
長パタン、パワパタンの３種の韻律パタンを生成する。
ここで生成された韻律パタンと文節単位のローマ字読み
情報が、素片選択部４へ送られる。素片選択部４では、
与えられたテキストの読み情報及び韻律パタンを考慮し
て素片辞書５の中から合成に使用するのに適した合成単
位を選択する。これについては後で詳述する。素片選択
部４で選択された合成単位は、素片変形接続部６へ送ら
れる。素片変形接続部６では、素片選択部４で選択され
た合成単位を組み合わせることで得られる韻律パタン
を、韻律生成部３で生成された韻律パタンに近くなるよ
うに変形処理を行い、変形後の素片を接続して出力端子
ＯＵＴへ送る。なお、本実施例の音声合成装置１は、Ｖ
ＣＶ型の音声波形素片単位（合成単位）を用い、合成品
質を向上させるために、各ＶＣＶ単位種類に複数の合成
単位を用意しているものとする。

【００１１】次に、本実施例で用いる素片辞書５の構成
例を、図２を用いて説明する。本音声合成装置１は、大
量の音声波形をＰＣＭデータに変換し、さらに、該音声
波形に音韻情報、韻律情報、及びスペクトル情報をそれ
ぞれ対応させて波形辞書５に蓄積している。そして、テ
キスト解析部２で推定された入力テキストの韻律パタン
に基づいて素片辞書５から最適の合成単位を選び出し、
選び出された合成単位を滑らかに接続することで合成音
声を得る。

【００１２】従来の同様の音声合成方式では、辞書情報
としてスペクトル情報を有していないため、韻律的な滑
らかさと音韻系列の一致しか波形選択の基準にすること
が出来なかった。そこで、本実施例では、素片辞書５を
作成する際にケプストラム分析を行い、そこで現われる
ケプストラムの低次の項を特徴ベクトルとし、無音区間
以外の全てのベクトルを用いてクラスタリングを行う。
そして、クラスタリング処理後は、各クラスタに識別番
号を付与し、各合成単位の始端・終端位置のケプストラ
ムがどのクラスタに属しているかを辞書情報として登録
する。これにより、スペクトル包絡レベルでの素片連続
性を監視し、異音化及びノイズの混入を予め予測するこ
とが可能となる。

【００１３】この素片辞書５は、例えば、図２（ａ）に
示すように、素片辞書テーブル２０１に、素片を一意に
扱うための素片番号、素片の音韻環境を示す音韻種類を
格納している。また、韻律情報として、素片境界におけ
るピッチ周波数、素片継続時間情報、及びパワを格納し
ている。ピッチ周波数の分析位置は、ＶＣＶ単位におけ
る素片始端位置及び素片終端位置におけるピッチ周波数
を用いる。また、継続時間情報として、素片始端位置、
子音始端位置、及び素片終端位置の情報を用い、さらに
素片全体の長さ自体及び先行母音と後続音節の境界位置
を知ることが可能な情報、例えば後述のケプストラム距
離テ−ブル７０１に保持された距離の代表値（素片間ケ
プストラム距離の代表値）をも格納している。パワ情報
はケプストラム０次の情報を用いている。ケプストラム
の低次項は、クラスタリングした際にカテゴリ番号と一
対一で対応するようにテーブル形式で保存されている。
これについては後述する。なお、記憶容量に余裕がある
場合には、ケプストラムの情報をクラスタリングしなく
とも良い。また、分析位置に関しては、ケプストラムに
おいても素片始端及び終端位置で分析を行う。

【００１４】図２（ｂ）の「あか」／ａｋａ／から合成
単位を作成する際の例では、合成単位「ａｋａ」２１０
を作成する場合に、該当する素片始端位置２０６及び素
片終端位置２０７でのピッチ周波数を分析して用いる。
但し、「＃ａ」２０９や「ａ＃」２１１のような語頭や
語尾などから得られる、先行又は後続の母音がない場合
には、ピッチ周波数は一意に０Ｈｚとする。なお、合成
単位表記で／＃／は、ポーズ等の無音区間を表すものと
する。また、各始端位置及び終端位置もピッチ周波数を
分析した位置と同様の位置であり、合成単位「ａｋａ」
２１０の子音始端位置は、音節境界２０３の情報を使用
する。但し、母音連接で子音がない場合にも音節の開始
位置を子音始端位置とする。

【００１５】次に、素片選択部４の詳細な構成を図３〜
図９を参照して説明する。素片選択部４には、本音声合
成装置１に入力された日本語テキストのローマ字表記と
韻律パタンとが入力される。ここでは、先ずローマ字表
記から合成に使用する全てのＶＣＶ単位の種類を探索区
間抽出部４１で抽出する。決定されたＶＣＶ単位種類に
基づき、図４に示す内容例の探索区間検索テーブル４０
１を参照して素片辞書５内の探索区間を決定する。次に
一次選択部４２に処理を移す。

【００１６】一次選択部４２では、各々の合成単位につ
いて、既に求めている探索区間内においてピッチ、継続
時間長及びパワの韻律情報により合成に使用するのに適
した素片を選び出す。韻律情報を用いて合成に適した合
成単位を決定するときは、韻律生成部３で決定された韻
律パタンと音声素片が持つ韻律パタンを比較して評価値
を算出する。評価の基準は、目標韻律パタンに類似した
ものほど評価値が小さくなるような式を利用する。その
評価値Ｈｅｖを得る式の例を下記に示す。

【００１７】

【数１】Ｈｅｖ＝Ｐ＋Ｄ²＋Ｅ²・・・(1) 但しＰ＝｛（先行母音ピッチ目標値−素片先行母音ピッチ）
² ＋（先行母音ピッチ目標値−素片先行母音ピッチ）²｝Ｄ＝（継続時間長目標値・素片継続時間長）Ｅ＝（パワ目標値・素片パワ）

【００１８】上記評価式Ｈｅｖの各パラメタは、韻律生
成部３及び素片辞書５から得られるものである。この評
価式Ｈｅｖを用いて、探索区間内全ての合成単位を評価
し、評価値の小さい順から上位侯補として図５に示す内
容の候補テーブル５０１に登録する。本実施例では、同
一種類で多数の韻律のバリエーションを持った合成単位
から、合成しようとする音声の韻律パタンに近いものを
式(1)を用いて抽出している。式(1)の評価値によれば、
辞書内にある合成単位に対して近さの序列を行うことが
可能であり、評価値の小さいものほど目標とする韻律パ
タンに近く、上位の候補として登録される。この処理
は、合成に用いる各々の合成単位で行う。

【００１９】図５に示す候補テーブル５０１は、「あ
か」／ａｋａ／を合成する場合の例を示すものであり、
この場合に必要な合成単位は、／＃ａ／、／ａｋａ／、
／ａ＃／である。各々の合成単位に対して、目標韻律パ
タンと辞書内の対応する種類の素片を式(1)を用いて評
価し、評価値の最小のものを第１候補とし、順次小さい
方から上位候補として登録していく。登録する際は、素
片を一意に指している素片番号を用いて記述する。ま
た、候補数に関する制限を加えることも可能であり、個
々の合成単位種類において同一の候補数を用意する必要
はない。ここで、候補数に上限を設けることで、後段の
二次選択部４３での処理を軽減することができる。ま
た、評価値Ｈｅｖに対して上限のしきい値を設けること
によって候補数を制限することができる。以上の処理
を、合成に用いる全ての合成単位に適用して上記探索区
間テーブル４０１に格納する情報を生成し、これを二次
選択部４３へ送る。

【００２０】二次選択部４３では、一次選択部４２で得
られた合成単位候補のうち、最も素片接続の歪みが小さ
くなるように素片（合成単位）を選び出す。その処理概
念を図６及び図７を参照して説明する。二次選択部４３
では、一次選択部４２で決定された合成単位候補から、
スペクトルの連続性を考慮して最終的に合成に用いる合
成単位を選び出す。合成単位の選択は、素片間のケプス
トラム距離を接続コストとし、素片間の接続コストが最
小となるようにパスを選択する。

【００２１】最小パスの選択には、例えば動的計画法
（ＤＰ：Dynamic Programming）により効率的に実現す
ることができる。図６の例では、太線のパスの接続コス
トが最小であり、選択結果としては、／＃ａ／が第１候
補、／ａｋａ／が第２候補、／ａ＃／が第１候補として
選択されている。なお、パスの接続コストは、先頭から
ＣＤ（ケプストラム距離、以下同じ）１，ＣＤ２，ＣＤ
３・・・，ＣＤｎなる変数で保持し、これらを後述の合
成品質の判定に用いる。また、各クラスタ間の距離を図
７に示すケプストラム距離テーブル７０１の形で保持
し、二次選択部４３における接続コストの計算を簡略化
している。以上の処理により得られた、接続歪最小パス
のコストを合成品質判定部４４へ送出する。

【００２２】合成品質判定部４４では、後段の素片変形
接続部６における接続コストのＲＭＳ値（root means s
quare）Ｒｃを計算し、その値が予め設定した値より小
さい場合には、合成単位抽出部４６に処理を移す。一
方、Ｒｃがしきい値より大きい場合には、代替素片生成
部４５に処理を移す。合成品質判定部４４でＲｃを計算
する際には、例えば式(2)を用いることができる。

【００２３】

【００２４】一般的に合成品質低下の原因となる部分で
は、接続コストが大きく、異音またはノイズ混入が発生
しやすい。よってこの様な場合には、接続コストが大き
い素片に代わり、他の素片を組み合わせて作成した素片
に置き換える必要がある。そのための処理を行うのが代
替素片生成部４５であり、代替素片が必要な素片種類と
韻律パタン及び前後の素片のケプストラム情報が入力さ
れる。代替素片生成部４５では、Ｒｃの値を大きくして
いる素片を順番に代替素片置き換え侯補として蓄積す
る。生成された置き換え候補順に基づき、代替素片生成
情報を順次生成し、Ｒｃの値がしきい値を下回った時点
で代替素片生成処理を停止する。そしてこのときの代替
素片生成情報を合成単位抽出部４６に送出する。なお、
置き換え可能な素片が生成できない場合には、二次選択
部４３で得られた素片候補をそのまま合成単位抽出部４
６に出力する。

【００２５】代替素片生成部４５における処理の詳細を
図８及び図９を用いて説明する。図８を参照して、代替
処理判定部４５１では、求められた接続コストが、予め
設定していたしきい値よりも大きくなった場合、例えば
置き換え対象ＶＣＶ素片の子音Ｃが有声音か無声音であ
るかを判定し、無声音である場合に代替素片生成処理を
行う。

【００２６】代替素片候補抽出部４５２では、図９上段
に示すＶＣＶ単位の先行母音Ｖ部分９０１と後続音節Ｃ
Ｖ部分９０２を最小単位として扱う。先行母音Ｖに関し
ては、母音種類及び後続の子音Ｃの種類が一致してお
り、更に韻律パタンが目標値に近いものを一次選択部４
２と同様に式(1)を用いて候補順位を設定する。また、
後続音節ＣＶでは、先行母音Ｖによらず韻律パタンが目
標値に近いものを一次選択部４２と同様に選び出し、候
補順位を設定する。ここで得られた先行母音Ｖの候補及
び後続音節ＣＶの候補をそれぞれ代替素片選択部４５３
に送出する。代替素片選択部４５３では、先行母音Ｖ及
び後続音節ＣＶの各候補に関して、各々の隣接素片との
接続コストが最も小さいものを置き換え素片として採用
する。素片生成部４５４では、ここで得られた、先行母
音置き換え素片と後続音節置き換え素片を図９後段に示
すごとく組み合わせて代替素片を生成する。合成単位抽
出部４６は、素片の実データ（ＰＣＭデータ）を素片辞
書５から抽出し、これを代替素片生成情報または素片候
補と共に素片変形接続部６に出力する。

【００２７】このように、本実施例によれば、韻律パタ
ンと素片結合部におけるスペクトル包絡の連続性の双方
を考慮して合成単位を選択することが可能となり、ま
た、合成単位選択時に用いるケプストラム距離の積算値
を評価基準として用いることで、合成音品質の低下原因
となるノイズ混入の有無を予測することが可能となる。
さらに、接続コストが大きい場合には、素片辞書５内の
他の代替素片を品質劣化の原因になっている素片と置き
換えるようにしたので、常に一定品質以上の合成音声を
生成することが可能となる。なお、本実施例で用いた素
片（合成単位）やパラメタ値は、本発明を説明する上で
便宜的に用いたものなので、必ずしもこのような例に限
定されるものでないことは勿論である。

【００２８】

【発明の効果】以上の説明から明らかなように、本発明
によれば、最も声道特性の連続性が高い合成音声の選定
と、合成音声へのノイズ混入状況の推定が可能となり、
従来の問題点を解消することができる。また、合成品質
低下の原因となっている合成単位がについては、これに
代えて、品質向上に寄与する他の代替素片に置き換えら
れるので、合成される音声の品質が常に一定以上になる
効果がある。なお、本発明は、パーソナルコンピュータ
等に接続する音声合成装置や、音声合成ソフトウェアに
適用することが可能であり、また、電話を用いたチケッ
ト予約等、様々なサーピスに応用することも容易とな
る。

【図面の簡単な説明】

【図１】本発明の一実施例に係る音声合成装置の一実施
例を示すブロック図。

【図２】（ａ）は本実施例で用いる素片辞書内のテーブ
ル内容説明図、（ｂ）は合成単位の説明図。

【図３】本実施例による素片選択部のブロック構成図。

【図４】図３の素片選択部で用いる候捕テーブルの一例
を示す説明図。

【図５】本実施例により素片辞書を探索する区間を決定
する際に用いるテーブルの概念説明図。

【図６】本実施例により素片選択部の二次選択部で素片
選択を行う場合の概念図。

【図７】図３の素片選択部で用いるケプストラム距離テ
ーブルの概念図。

【図８】本実施例による代替素片生成部のブロック構成
図。

【図９】本発明で代替素片を生成する際の概念説明図。

【符号の説明】

１音声合成装置２テキスト解析部３韻律生成部４素片選択部５素片辞書６素片変形接続部

Claims

【特許請求の範囲】

【請求項１】複数の音声素片を蓄積した素片辞書から
音声合成に用いる合成単位を選択する音声素片選択方法
において、素片間ケプストラム距離の特定情報を合成単
位毎に前記素片辞書に蓄積する段階と、合成対象音声の
韻律パタンに類似する複数の合成単位を類似度の高い順
に抽出する段階と、抽出した複数の合成単位から前記素
片間ケプストラム距離に基づく接続コストが最小となる
合成単位の組を選択する段階とを有することを特徴とす
る音声素片選択方法。
【請求項２】前記選択された合成単位の組に基づく合
成音声の品質が所定の基準値より大きいときに、接続コ
ストを大きくしている合成単位を隣接素片間ケプストラ
ム距離が最小となる代替素片に置き換えることを特徴と
する請求項１記載の音声素片選択方法。
【請求項３】複数の音声素片を素片間ケプストラム距
離の特定情報と共に蓄積した素片辞書と、該素片辞書か
ら音声合成に用いる合成単位を選択する音声素片選択部
と、選択された合成単位に基づいて合成音声を生成する
手段とを有する音声合成装置であって、前記音声素片選
択部が、合成対象音声の韻律パタンに類似する複数の合
成単位を類似度の高い順に抽出する一次選択部と、抽出
した複数の合成単位から前記素片間ケプストラム距離に
基づく接続コストが最小となる合成単位の組を選択する
二次選択部とを有することを特徴とする音声合成装置。
【請求項４】前記音声素片選択部は、さらに、前記二
次選択部で選択された合成単位の組に基づく合成音声の
品質を定量化するとともに、これにより得られた定量値
の良否を判定する合成品質判定部と、前記定量値の良否
判定が否のときに当該合成単位の組における隣接素片間
ケプストラム距離が最小となる代替素片を生成する代替
素片生成部とを有し、接続コストを大きくしている合成
単位を前記代替素片に置き換えることを特徴とする請求
項３記載の音声合成装置。
【請求項５】前記代替素片生成部は、韻律パタンが目
標値に近い複数の先行音置き換え候補及び後続音置き換
え候補を選択する第１の手段と、隣接素片の接続コスト
が最も小さい先行音置き換え候補の組を前記代替素片と
して特定する第２の手段とを有することを特徴とする請
求項４記載の音声合成装置。