JPH0247700A - 音声合成方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は出力音声情報に基づき予め記憶された音声を合
成することによって出力する音声合成方法に関する。

方式、また、■音素、音節などの単位音声として記憶さ
れたパラメータと、合成時に所定の規則によって生成さ
れるアクセント、イントネーション等の韻律情報とから
合成する規則合成方式等の音声合成方式が知られていた
。

［発明の概要］ 本発明は予め記憶された音声を接続し有意味な音声を出
力するに際して、接続されたことによる、および韻律情
報が付加されたことによる合成音声への影響を考慮し、
合成音声の明瞭性や自然性を損なわないようにした音声
合成方法である。

Ｅ従来の技術】 従来、この種の技術においては、■予め録音しておいた
単語や文節の音声を接続して再生する録音１ＪＡ３Ｊ、
方式や、■波形をいったん分析して得られるパラメータ
を記録しておき、再生時にこのパラメータによって合成
器を制御するパラメータ編集［発明が解決しようとする
課題］ しかしながら、■と■の方式においては、出力する音声
を予め人が発声して登録しておいたものの中から選んで
出力するので登録した音声の中では音質が保てるが、音
声と音声をそのまま接続して出力するために声帯振動（
ピッチ）周波数やホルマントの不連続を生じ、不自然な
音声になっていた。

また、■の方式は、合成時にピッチ周波数に相当するイ
ンパルスやホワイトノイズあるいは推定した声帯波形を
音源として声道特性フィルターに通したものを出力する
方式であり、これらの場合でもアクセントやイントネー
ションを変化させると、すなわち、音声のピッチ周期を
変化させるとホルマントも同時に変化し、音韻的に不明
瞭な音声となったり、さらに合成する単位音声と単位音
声との接続点での不自然さが生じていた。

そこで本発明の目的は上述した従来の問題点を解消し、
音声の合成単位を細かくしたり、イントネーション等の
韻律情報を付加するなど、合成音声の音質をよくするた
めにピッチやホルマントの制御をきめ細かくした場合に
も、合成された音声の音韻性を保ち、人間の音声として
の自然性を有した音声合成方法を提供することにある。

また、本発明の他の目的は、イントネーション等の韻律
性やホルマント周波数などに基づく音韻性の制御を可能
にすることによって人間の言語音声に対する知覚特性の
測定方法を提供することにある。

［課題を解決するための手段Ｊ そのために、本発明では、出力音声情報に基づき単位音
声情報および韻律情報を定め、予め記憶された単位音声
データの中から定められた単位音声情報に基づき、単位
音声に対応する単位音声データを選択し、選択された単
位音声データからピッチ周期、スペクトル包絡、ホルマ
ント軌跡および単位音声波形の各々を算出または抽出し
、算出または抽出された単位音声波形を接続するため、
および韻律情報を付加するために、算出または抽出され
たピッチ周期を変更し、変更されたピッチ周期において
ピッチ変更によるスペクトル包絡を算出し、ピッチ変更
によるスペクトル包絡と算出または抽出されたスペクト
ル包絡とに基づき第１のスペクトル変化分を算出し、算
出または抽出された単位音声波形を接続するために算出
または抽出されたホルマント軌跡を変更し、変更された
ホルマント軌跡に基づいてホルマント変更によるスペク
トル包絡を算出し、ホルマント変更によるスペクトル包
絡と算出または抽出されたスペクトル包絡とに基づき第
２のスペクトル変化分を算出し、第１および第２のスペ
クトル変化分に基づきピッチ周期の変更にかかる単位音
声波形のスペクトル包絡を変更し、スペクトル包絡を変
更した車位音声波形を接続した後、接続された音声を出
力することを特徴とする。

［作　用］ 以上の構成によれば各単位音声の音韻性や自然性を保っ
たまま、有意味な音声に必要なイントネーションが付加
された高音質の音声合成が可能となる。

［実施例］ 以下、図面を参照して本発明の実施例を詳細に説明する
。

第１図は本発明の一実施例を示す音声合成システムのブ
ロック図である。図において、２は単位音声選択部、４
は声帯周波数補正部、６はホルマント補正部、８は周波
数特性変更部であり、各部は電子計算機内に構成され、
この構成によってＲＯＭ、ＲＡＭあるいはディスクメモ
リ等のメモリを併用しながら音声合成の処理が実行され
る。

文章等の出力音声情報が単位音声選択部２へ人力される
と、出力音声情報はまず、離散的な言語情報としての音
韻記号列に変換されるとともに音声の継続時間長、アク
セント、イントネーション、ポーズ等の韻律情報が決定
される。さらに、予め記憶されている単位音声の集合中
から決定された音韻記号列を構成する単位音声の列が選
択される。

なお、出力音声情報に基づいて音韻記号列を定める代わ
りに、単語や文字等を定め、これに基づき単位音声列を
選択するようにしてもよい。また、記憶される単位音声
は、本例では波形としたが、単位音声にかかる線形予測
係数またはピッチやホルマントの軌跡等を単位音声のデ
ータとして記憶することにより、以下に示すピッチ周期
、スペクトル包絡、ホルマント軌跡の算出を行なわず、
直接抽出するようにしてもよい。

次に、声帯周波数補正部４において、単位音声選択部２
で得られた単位音声から、有声音区間を判別し、有声音
区間のピッチ周波数およ゛びその時間軌跡を得る。さら
に、前後の単位音声のピッチ周波数軌跡を参照し、軌跡
が滑らかにつながるようピッチ周波数に変更を加えると
共に、アクセント、イントネーション等の成分を更に変
更成分として加え、この新たなピッチ周波数に応じて各
ピッチ周期毎に波形の継続時間長を伸縮する。これによ
りピッチ周波数が滑らかにつながると共に韻律情報とし
てのアクセント、イントネーション等が制御される。ま
たこの処理によって変化したスペクトル包絡の変化分を
求める。

ホルマント補正部６では有声音区間についてスペクトル
包絡の形（共振周波数）からホルマントを決定し、その
軌跡を求める。次に前後の単位音声のホルマント周波数
軌跡を参照し滑らかにつながるようホルマント周波数に
変更を加える。また、元の音声のスペクトル包絡からの
、ホルマント変更によって生じた変化分を求める。

周波数特性変更部８においては、ピッチ周波数の変更に
応じて伸縮された波形に対し、ホルマント補正部で求め
たスペクトル変化分と声帯周波数補正部で求めたスペク
トル変化分に応じてスペクトル包絡を変更する。

上記各部における処理の詳細を第２図（Ａ）および（Ｂ
）　　に示すブロック図およびフローチャートを参照し
ながら説明する。第２図（八）は第１図に示した構成の
詳細を示し、単位音声選択部２は単位音声蓄積部２２お
よび音声選択部２４によって、声帯周波数補正部４はピ
ッチ抽出制御部４２、波形伸縮部４４、スペクトル包絡
抽出部４６および補正分抽山部４８によって、ホルマン
ト補正部６はスペクトル包絡抽出部６２、スペクトル包
絡制御部６４および補正分抽山部６６によって、さらに
周波数特性変更部８はＦＦ７部８２、スペクトル包絡変
更部８４およびＩ　ＦＦ７部８６に、よって、それぞれ
構成される。また、第２図（Ｂ）のフローチャートにお
ける各ステップの左側に付した番号は第２図（Ａ）の各
部の番号を示し、該当のステップが付された番号で示さ
れた部においてその処理が実行されることを表わす。

以上の構成において、単位音声蓄積部２２には、母音−
子音−母音といった音素の並びの組で、予め発声した音
声を変換ビット数１ｚｂｔｔ　、　ｍ本化周波数１５ｋ
ｌｌｚで＾／Ｄ変換したものが単位音声として蓄積しで
ある。ここで、音声選択部２４では入力された文章等の
出力音声情報に基づき所定の音韻規則に従って音韻記号
列が決定され、さらに韻律規則に従って継続時間長、ア
クセント、イントネーション、ポーズ等が決定される。

また、決定された音韻記号列に基づいて単位音声蓄積部
２２から該当する単位音声が選択される。

引き出された各単位音声は、ピッチ抽出制御部４２にお
いて音声パワーの有無に基づき有音区間と無音区間の判
別が行なわれ、次に有音区間の音声に対し１次の相関係
数と零交差数を求め、無声子音区間と有声音区間の判別
を行う。これは音声の中の高域成分を１次の相関係数と
零交差数の両方を調べることによって確実な判別を行う
ためである。

ここで、判別された無音区間の時間長および無声子音区
間の波形はそのままメモリーに記録しておく。

さらに、ピッチ抽出制御部４２において有声音区間にお
ける音声波形に対していわゆる声導逆フィルタを用いて
線形予測分析を行い残差波形を得、この残差波形に相関
分析を行うことにより相関のピークの間隔からピッチ周
期を求める。これを単位音声上の有声音区間全体に行う
。

次に、求められたピッチ周期のそれぞれについて、接続
される直前の（過去の時刻の）単位音声との接続が聴感
上滑らかに接続され、かつ文節や文章全体としてアクセ
ント、イントネーションが整うように変更を加え、新た
なピッチ周期列を算出する。

すなわち、まず、求められた単位音声におけるピッチ周
期全体の平均ピッチ周期を、人間の＠感を考慮して相乗
平均ピッチとして求める。

ここで、Ｐｎをｎ番目のピッチ周期、単位音声における
全ピッチ数をＬとすると、平均ピッチ周期Ｐａｖｅは Ｐａｖｅ−（Ｐ、ｘＰ２ｘ−ｘＰＬ）”’と表わされ、
直前の単位音声の平均ピッチ周期をＰａｖｅｌ　とする
とき、平均ピッチ周期調整分Ｒを＋１−Ｐａｖｅｌ／Ｐ
ａｖｅとする。また、アクセント規則とイントネーショ
ン規則から算出される周期変更係数分をＱｎとし、さら
に第３図に示すように平均ピッチ周期を調整した場合の
ピッチ周期列のＬ個のピッチに対し、次の式で示される
係数Ｓｎによって調整を行い、ピッチ周期列が滑らかに
接続するようにする。

＝　１　　　　　　　　　　　　　　　　　（Ｌ／’２
≦ロ　≦Ｌ）ここで、Ｐ′、は直前の（過去の）単位音
声の修正後のピッチ周期列の最後のピッチ周期である。

以上の各調整を総合して、Ｉｌｎを総合した調整分とす
ると、Ｒｎ−Ｒ−Ｑｎ−５ｎと表わされ、Ｌ個の各ピッ
チ周期毎にＰｎをＱｎ倍すれば新しいピッチ周期情報が
得られる。

このときスペクトル包絡抽出部６２においては。

原音声のスペクトル包絡を求める。すなわち、第４図に
示すように原単位音声波形から波形のレベルが急に大き
くなる点の直前をピッチの開始点とし、ピッチ抽出制御
部４２で最初に求めたピッチ周期に基づき、次のピッチ
の開始点の１標本手前を終了点として１つのピッチ区間
を定め、■ピッチ区間の中心を分析窓の中心として２０
ｍ５ｅｃ程度の窓掛けを行う。この窓掛けにより有限個
の標本値による短時間スペクトル分析が可能となり、こ
の窓掛はデータを基に再び線形予測分析を行い、線形予
測係数α１〜α２を算出する。ここで、ｐは線形予測分
析の次数であり、一般に女性の声に対してはＰ−１０程
度、男性の声に対してはＰ−１４程度を使用する。

さらに、次式によフて上述の線形予測係数α１〜α２を
用いて原音声のスペクトル包絡１１（ｋ）を求める。

（ｋ；１〜Ｎ） ここでＮは標本数より大きい２のべき乗で５１２とする
。

この処理を１ピッチ区間ずらしながら有声音区間が終る
まで繰り返す。

また、波形伸縮部４４では、ピッチ抽出制御部４２で得
た新しいピッチ周期情報に応じて各ピッチごとの波形を
伸縮する。すなわち、原単位音声波形の１ピッチ標本数
をｋとし、変更されたピッチに相当する標本数をに°と
するとき、ピッチ周期を短縮したい場合はピッチ区間の
開始からに′番目の標本点で波形を打ち切り、逆にピッ
チ周期を延ばしたい場合にはスペクトル包絡抽出部６２
で得られた線形予測係数α１〜α２を用いて、次式のよ
うにｍ−に＋１番目からｍ−ｋ　’番目までの標本値を
求め後続の波形を得る。

ｘ（ｍ）＝　　ａ、ｘ（ｍ−１）＋ａ、ｘ（ｌｌ−２）
＋・・・＋　　ａ、ｘ（ｍ−Ｐ）ただし、この処理を１
ピッチ区間ずらしながら有声音区間が終るまで繰り返す
が、この際、ピッチ周期の伸縮分だけ発話速度が変化す
るので１ピッチ周期の波形単位で間引いたり同じ波形を
繰り返したりしながら原単位音声の発話時間長を保つ。

また同じ手段で音声選択部２４から得られる韻律情報に
基づいての継続時間長の補正もここで行う。

なお、ピッチを変更したことによってピッチ区間の波形
の最終標本点と次のピッチ区間の開始標本点との間には
大ぎな不連続があるので、この最終標本点と曲始漂木点
の前後数標本のデータを用いて最小自乗法により３次曲
線を用いた近似を行い、連続的に接続する。

上述のピッチ抽出制御部４２、波形伸縮部４４およびス
ペクトル包絡抽出部６２による処理を終了すると、まず
、スペクトル包絡抽出部４６において、波形伸縮部４４
から得られるピッチ周期を変更した波形の１ピッチ区間
を中心として、上述したのと同様に２０＋ａＳｅｃ程度
の窓掛けを行いこの標本値について線形予測分析を行い
線形予測係数α１°〜α２°を算出し、次式によってピ
ッチ変更後のスペクトル包ｉ貼（ｋ）を求める。

（ｋ＝１〜Ｎ）　　　　　　（１） ここで、Ｎは前述と同様５１２とする。

次に、補正分抽用部４８で、原音声のスペクトル包絡１
１（ｋ）に対し、ピッチ周期の変更によって歪んだスペ
クトル包絡貼（ｋ）の変化分を算出する。

すなわち、Ｌｌ　（ｋ）・Ｈ（ｋ）　／凱（ｋ）を各ピ
ッチ周期毎に計算しメモリに記憶する。

また、スペクトル包絡制御部６４においては、スペクト
ル包絡抽出部６２で求めたα１〜α２を係数として、以
下に示す式を満足するＰ個の根である複素数Ｚｌ”−Ｚ
ｐを求める。

１＋ａ、ｚ−’＋　　ａ　２ｚ−２＋　　・・−＋　　
ＣＥ、Ｚ−’−０これらＰ個の根のうちには共役複素根
の対が存在し、１対の共役複素根は１つのホルマントに
対応し得る。すなわち、これらの根Ｚ、により以下の式
で共振周波数Ｆｌおよびその帯域幅ａ、を求め、メモリ
に記録すると共に上述した処理を１ピッチ区間毎にシフ
トしながら単位音声中の有声音区間が終るまで繰り返す
。

Ｆ＋−ＦＳ／（２π）・ａｒｇ（ｚｌ）８１−Ｆｓ／π
ｌｌｏｇ（ｌｚ＋ｌ） ここで、Ｆｓは標本化周波数である。

さらに、一連の共振周波数からその帯域幅と連続性を考
慮して帯域幅の狭い共振周波数を周波数の低いほうから
順に第１ホルマント、第２ホルマント、第３ホルマント
・・・とじて選択し、ホルマント周波数の軌跡を求める
。

スペクトル包絡制御部６４ではさらに、第５図に示すよ
うに直前の単位音声との接続性をよくするために、ホル
マントとその帯域幅の軌跡を、直前単位音声の最終標本
点と、処理にかかる単位音声における開始標本点の前後
数標本を用い、前述と同様に最小自乗法により３次曲線
近似により内挿を行って連続的に接続する。

次に、上述のようにして新たなホルマント周波数の軌跡
とｆ域幅が決定したら、新たな線形予測係数を以下のよ
うにして求める。

すなわち、変更されたホルマントおよび変更されなかっ
たホルマントの共振周波数、さらにホルマントと認めら
れなかフた共振周波数を含めて、新しい共振周波数をＦ
ｌｏ　その帯域幅をＢＩｏ　とし、次式を用いて新な根
Ｚｌ’を求める。なお、Ｚｌｏにはホルマントに対応し
た共役複素根対が含まれる。

Ｚｌ’−ｅｘｐ（−７ＣＢ＋’／Ｆｓ”ｊ２　πｐ＋’
／ｐｓ）これらＰ個のＺｌ’　を根とするｐ次方程式を
（１−Ｌ’Ｚ−’）　（１−Ｚ２°Ｘ−’）・”　（１
−Ｚｐ’Ｚ−’）−０とし、この式を展開したときのＺ
−にの係数をβにとすれば、上式は １”Ｊ３　＋Ｚ−”　Ｂ　２Ｚ−”−十Ｂ　ＰＺ−’−
０と表わされ、係数β、〜β２は新しい線形予測係数を
与える。この新たな線形予測係数を用いて次式によりス
ペクトル包絡１ｎ（ｋ）を求める。

（ｋ＝１〜Ｎ）　　　　　　（２） ここでＮは５１２とする。

補正弁抽出部６６では、スペクトル包絡抽出部６２で求
めた原音声のスペクトル包絡１１（ｋ）に対し、ホルマ
ントの変更により変更されたスペクトルｒ　（ｋ）の変
化分を算出する。すなわち、Ｖ　（ｋ）　−ＩＩ　（ｋ
）　／Ｆ２　（ｋ）　ヲ各ヒツチ周期毎に計算しメモリ
に記録する。

周波数特性変更部８では、まずＦＦ７部８２において、
ピッチ抽出制御部４２でピッチの変更されたピッチ周期
におけるＮ個の標本ｘ（１）〜×（Ｎ）に対し次式のよ
うな時間窓ｗ　（ｉ）を掛けてｙ（１）〜ｙ（Ｎ）とす
る。すなわち、 ｙ（＋）す（ｉ）・ｘ　（ｉ）　　　　　　　　　１≦
ｉ≦Ｎただし ｗ（ｉ）Ｊ、５−（１−ｃｏｓ（ｙｒ　ｉ／Ｌ））　　
　　　１≦ｉ＜Ｌｗ（ｉ）＝Ｉ　　　　　　　　　　　
　　　　　　　　　　　　　　　　Ｌ≦ｉ＜Ｎ−Ｌｗ（
ｉ）−０，５・［ｌ＋ｃｏｓ（π　（ｉ−Ｎ＋Ｌ）／Ｌ
）］　　　Ｎ−Ｌ≦　ｉ　≦Ｎ上記ｙ　（ｉ）に対して
Ｎ点の高速フーリエ変換を行い、周波数領域に変換して
Ｙ　（ｋ）とする。

次に、スペクトル変換部８４において、補正弁抽出部６
６で算出したホルマントの変更による変化成分Ｖ　（ｋ
）と補正弁抽出部４８で算出した周期変更による変化分
Ｕ（ｋ）とを用いてＹ　（ｋ）を変更する。すなわち、 智（ｋ）　−ｔｌ　（ｋ）　・Ｖ　（ｋ）　−Ｙ　（ｋ
）　　　　　　　　　　１≦に≦Ｎとして補正された周
波数領域表現ｒ（ｋ）を得る。

次に、ＩＦＦＴ部８６では高速フーリエ逆変換によりこ
のｒ（ｋ）を時間領域の音声波形？（ｋ）に変換し、得
られたＮ個のデータのうち波形接続の際の端の歪の効果
を軽減するため、標本データの中心に２０ｍ５ｅｃのハ
ミング窓を掛けて切り出す。

次に、第６図に示すようにｙ　（ｋ）を１０ｎＳｅｃだ
けシフトし、スペクトル包絡の補正と切り出しの上述し
た一連の操作を繰り返し、直前に切り出した波形と重ね
合わせて連続した音声とする。

さらに一つの有声音区間の処理が終了したらメモリに記
憶しておいた無声子音区間または、無音区間と接続し、
さらに次の有声音区間の処理に移る。このように全ての
単位音声の処理を行い、最終的に合成された音声をＤ／
Ａ変換して、出力音声とする。

ところで、人間の言語音声の知覚特性については、まだ
まだ未知の部分が多い。音声信号波形の物理的な変更が
言語の音韻としての間こえ方、すなわち人間の知覚特性
にどのような影響を与えるか、例えば声の高さや韻律を
微妙に変えたときどのように間こえるかを、試験しよう
とする場合、実際の人間を発声者として使用すると、体
調の変化等のために全く同じ音声を発することが困難で
あったり、また微妙な調音をさせることは一般に困難で
ある。

これらの理由により、人工的な発生音の調整法が必要と
されていた。しかし従来の方法を用いると声帯振動周波
数やホルマント周波数の不連続のために不自然さが生じ
微妙な聴寛心理的な実験に困難さが生じてしまっていた
。

これに対し本発明の上述した実施例によれば音声の自然
性を保ったままきめ細かい制御ができるためにこの困難
さが解消できるようになる。

［発明の効果］ 以上の説明から明らかなように、本発明によれば予め記
憶された単位音声を接続する際の不連続による音質劣化
を防ぎ原音声の持っている自然性や個人性に影響を与え
ずにイントネーションやアクセント等を付加して音声の
合成ができるようになる。

また、本発明によってイントネーションやアクセント等
の韻律性やホルマント周波数等に基づく音韻性を任意に
変化させて音声を合成できるので人間の言語音声に対す
る知覚特性の測定方法を提供できるようになる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す音声合成システムのブ
ロック図、 第２図（Ａ）は第１図に示したシステムの詳細を示すブ
ロック図、 第２図（６）は第２図（Ａ）に示したシステムの処理を
示すフローチャート、 第３図は声帯振動周波数の軌跡の連続性を保りた変換法
を説明するための線図、 第４図はピッチ区間の波形切り出し法を示す線図、 第５図はホルマント周波数帯域幅の連続性を保つ変換法
を示す線図、 第６図は処理された波形を接続する方法を示す線図であ
る。 ２２・・・単位音声蓄積部、 ２４・・・音声選択部、 ４２・・・ピッチ抽出制御部、 ４４・・・波形伸縮部、 ４６・・・スペクトル包絡抽出部、 ４８・・・補正分抽土部、 ６２・・・スペクトル包絡抽出部、 ６４・・・スペクトル包絡制御部、 ６６・・・補正分抽土部、 ８２・・・ＦＦＴ部、 ８４・・・スペクトル包絡変更部、 ８６・・・ＩＦＦＴ部。 ｂ？・ト冒報〜 慎？−ｒ；！ｌイ４’Ｊの５μｍ子坦２第４ 図 寅オそイ列の５度升ら図 第５図

Claims (1)

1. 【特許請求の範囲】 １）出力音声情報に基づき単位音声情報および韻律情報
   を定め、 予め記憶された単位音声データの中から前記定められた
   単位音声情報に基づき、当該単位音声に対応する単位音
   声データを選択し、 当該選択された単位音声データからピッチ周期、スペク
   トル包絡、ホルマント軌跡および単位音声波形の各々を
   算出または抽出し、 当該算出または抽出された単位音声波形を接続するため
   、および前記韻律情報を付加するために、前記算出また
   は抽出されたピッチ周期を変更し、 当該変更されたピッチ周期においてピッチ変更によるス
   ペクトル包絡を算出し、 該ピッチ変更によるスペクトル包絡と前記算出または抽
   出されたスペクトル包絡とに基づき第１のスペクトル変
   化分を算出し、 前記算出または抽出された単位音声波形を接続するため
   に前記算出または抽出されたホルマント軌跡を変更し、 当該変更されたホルマント軌跡に基づいてホルマント変
   更によるスペクトル包絡を算出し、該ホルマント変更に
   よるスペクトル包絡と前記算出または抽出されたスペク
   トル包絡とに基づき第２のスペクトル変化分を算出し、 前記第１および第２のスペクトル変化分に基づき前記ピ
   ッチ周期の変更にかかる単位音声波形のスペクトル包絡
   を変更し、 当該スペクトル包絡を変更した前記単位音声波形を接続
   した後、接続された音声を出力することを特徴とする音
   声合成方法。 ２）請求項１に記載の方法を用いて音声を合成すること
   を特徴とする音声合成装置。