JP3059751B2 - 残差駆動型音声合成装置 - Google Patents

Description

【発明の詳細な説明】 （イ）産業上の利用分野 本発明は、任意の言葉を発声することが可能な音声合
成装置、特に残差駆動を行う残差駆動型音声合成装置に
関する。

（ロ）従来の技術 近年、任意の文章から音声を合成するための規則合成
手法の研究が盛んであり、現在では、新聞の校閲装置や
盲人用読書機などに試作、実用化されているものがあ
る。

任意の文章から音声を合成するための規則合成装置
は、例えば、テキスト入力に対し、文章解析を行って読
みがなやアクセントを決定し、音韻規則から、必要な合
成単位である音声素片（例えばCVC単位）を決定して結
合し、韻律規則から、声の高さなどを決定して、音声パ
ラメ−タの時系列とピッチパタ−ンを生成し、これらの
パラメ−タから音源とディジタルフィルタを構成するこ
とにより合成音声を生成する。

このような音声合成手法に用いる音声パラメ−タとし
ては、LSPやフォルマントなどが一般的であり、一方、
音源としては、メモリの削減と処理の簡単化のため、イ
ンパルスと白色雑音が用いられていた。

而して、LSPなど線形予測系の音声合成では予測残差
を駆動音源として用いることにより、原音声に近い合成
音声を得られることが証明されており、「昭和56年度日
本音響学会秋季研究発表会講演論文集１−２−16」に示
されるように、規則合成に対しても、駆動音源として残
差を用いる手法が提案されている。これは、規則合成に
用いる合成単位である音声素片と共に、音声素片のすべ
てに対し、残差波形を蓄え、音声合成時の駆動音源とし
て用いるものである。

しかし、規則合成に対し、残差を駆動音源として用い
た場合、以下のような問題が生じる。すなわち、規則合
成においては、種々のピッチ周期で合成音を生成させる
ため、音源のピッチ周期を任意に変更できることが必要
となる。インパルスと白色雑音を音源とする場合は、イ
ンパルスの時間間隔を変更するだけでピッチ周期の変更
が可能であるが、残差を駆動音源とする場合には、何ら
かの方法で残差のピッチ周期を変更しなければならな
い。

従って、一般的には、上記講演論文集にも示されてい
るように、ピッチ周期を長くする場合には伸長部分に０
が詰められ、短くする場合には残差波形を途中で切り捨
てることにより、ピッチ周期の変更が行われている。こ
のとき、残差を変更後のピッチ周期ごとに接続した時、
残差のスペクトルに歪みが生じ、音質劣化の原因とな
る。

これに対し、最新の「平成元年度日本音響学会春季研
究発表会講演論文集２−７−18」に示されるごとく、ピ
ッチ周期の変更により生じるスペクトル歪みが最小とな
るように、残差の切り出し位置を決定する方法が提案さ
れており、男声においては、ピッチ周期の変更に対し、
良質な合成音声を得ることができたと報告されている
が、零詰め切り捨てによるピッチ周期変更の影響が大き
い女声については、合成音声の劣化が大きい。

（ハ）発明が解決しようとする課題 本発明は、上記の課題を解決するため、ピッチの変更
量と音質の劣化量に相関があることに着目し、規則合成
で必要となる各音声素片に対し、ピッチ周期の異なる残
差を複数個蓄え、その中から合成すべき音声のピッチ周
期に最も近いピッチ周期の残差を選択し、これを駆動音
源として用いる事により、ピッチ周期の変更による音声
合成の劣化の回避を可能とした残差駆動型音声合成装置
を実現するものである。

（ニ）課題を解決するための手段 本発明の残差駆動型音声合成装置は、音声合成に必要
な音声ラメ−タの列である音声素片を蓄える第１のメモ
リ、各音声素片に対応する残差を蓄える第２のメモリ、
発声すべき内容から必要な音声素片を示す記号列を生成
する音韻記号列生成部、発声内容からピッチ周期の変化
を決定するピッチパタ−ン生成部、該音韻記号列生成部
により生成された記号列に基づいて必要な音声素片を順
次接続する音声素片接続部、接続された音声素片に含ま
れる音声パラメ−タを係数として音声を合成する音声合
成フィルタ、音声素片に対応する残差を駆動音源とし、
上記ピッチパタ−ン生成部で決定された各時点でのピッ
チ周期に応じて、残差のピッチ周期を変更して上記合成
フィルタに入力する駆動音源生成部、並びに上記第２の
メモリに蓄えられた複数の残差の中から特定の残差を選
択する残差選択回路からなる。

（ホ）作用 残差駆動型音声合成装置では、ピッチ周期を変更は、
従来から、残差の一部に零デ−タを挿入したり、一部を
切り捨てることにより行われていたが、そのために音質
の劣化が生じる。ところが、実験によると、残差のピッ
チ周期の変更を施した時の、ピッチ変更量と音質の関係
は、ピッチ周期を長くする（音程を低くする）場合も、
ピッチ周期を短くする（音程を高くする）場合もピッチ
周期の変更量が大きい程、主観評価の評価値は悪くな
り、音質は劣化している。

本発明の残差駆動型音声合成装置は、上記第２のメモ
リに蓄えられた複数の残差の中から特定の残差を選択す
る残差選択回路を設けたものであるので、上記第１のメ
モリに蓄えられた音声素片に対応して、ピッチ周期の異
なる複数の残差を第２のメモリに蓄え、前記ピッチパタ
−ン生成部で決定された各時点でのピッチ周期に応じ
て、適切なピッチ周期の残差を第２のメモリから上記残
差選択回路が選択し、選択された残差に対して駆動音源
生成部が必要なピッチ周期の変更を行うことができる。

（へ）実施例 本発明の残差駆動型音声合成装置と対比説明するため
に、まず、従来装置について説明する。

第１図は一般的な残差駆動型規則合成装置の構成例を
示したものである。但し、同図には、言語処理の部分は
含んでおらず、入力はかな文字とアクセントの位置情報
などで行われる。

同図の装置によれば、まず、入力情報が文字列バッフ
ァ（１）に入力される。例えば、入力情報として「た＊
べに き＊た。」と入力されると、音韻記号列生成部
（２）は、文字列バッファ（１）に蓄えられた入力情報
を必要な音声素片を示す音韻記号に変換する。この列で
は、合成単位をCV素片とした場合について述べるため、
音韻記号列バッファ（３）に第２図に示すような音韻記
号列が蓄えられる。

音声素片メモリ（４）には、各CV素片に対応した音声
パラメ−タ、例えば、LSP係数など蓄えられており、音
韻記号列バッファ（３）に蓄えられた音韻記号に従っ
て、必要な音声素片が音声素片メモリ（４）から、音声
素片接続部（５）に順次読み出される。そして、読み出
された音声素片は、音声素片接続部（５）で接続され、
接続長の調整や補間処理等が施された後、音声パラメ−
タバッファ（６）に蓄えられる。

一方、文字列バッファ（１）に蓄えらえたアクセント
情報（＊）と文節の切れ目を示す情報（スペ−ス）か
ら、ピッチパタ−ン生成部（７）において、ピッチの変
化パタ−ンが生成される。第４図はピッチパタ−ンが生
成される過程を「た＊べに き＊た。」の例で図示した
ものであって、第３図（イ）に示すように文章全体にわ
たって下降するフレ−ズ成分に対し、アクセント位置
（＊）の直後に下降する同図（ロ）のアクセント成分が
加算され、第３図（ハ）に示すピッチ変化パタ−ンが生
成される。

また、残差波形メモリ（８）では、各音声素片に対応
して、残差波形とそのピッチ周期が蓄えられており、順
次読み出された音声素片に対応する残差波形とそのピッ
チ周期が、駆動音源生成部（９）に読み出され、ピッチ
パタ−ン生成部（７）で生成されたピッチの変化パタ−
ンに従ってピッチの変更が行われた後、接続された駆動
音源バッファ（10）に蓄えられる。

駆動音源バッファ（10）に蓄えられた駆動音源は、合
成フィルタ（11）に音源として入力され、音声パラメ−
タバッファに蓄えられた音声パラメ−タを合成フィルタ
（１）の係数として、合成音声が生成される。合成され
た音声はDA変換器（12）でアナログ信号に変換され、ス
ピ−カ（13）で発音される。

本発明の従来の残差駆動型音声合成装置の駆動音源生
成部（９）は第４図に示す如く、残差波形メモリ（８）
から読み出された残差波形が残差波形バッファ（91）
に、その残差波形のピッチ周期が残差ピッチ周期レジス
タ（92）に蓄えられる。一方、ピッチパタ−ン生成部
（７）で生成されたピッチ変化パタ−ンは、各時点のピ
ッチ周期の形で生成ピッチ周期バッファ（93）に蓄えら
れる。そして、生成ピッチ周期バッファ（93）に蓄えら
えたピッチ周期のうち、その時点で合成すべき音声のピ
ッチ周期が、目標ピッチ周期レジスタ（94）にセットさ
れる。差分器（95）は、残差ピッチ周期レジスタ（92）
に蓄えられた読み出されている残差波形のピッチ周期
と、目標ピッチ周期レジスタ（94）にセットされたの合
成すべき音声のピッチ周期の差を計算し、ピッチ周期変
更値レジスタ（96）に蓄える。ピッチ制御回路（97）は
ピッチ周期変更値レジスタ（96）の内容に基づいて、ピ
ッチ周期変更値が正の時は、残差波形バッファ（91）に
蓄えられている残差に対し、変更値分だけ零デ−タを挿
入してピッチ周期を長くし、ピッチ周期変更値が負の時
は、残差波形を切り捨てることによって、ピッチ周期を
短くして、駆動音源バッファ（10）に残差波形を蓄え
る。

以上のような構成で所望のピッチ変化パタ−ンの音声
を合成できるが、このような従来方法では例えば、残差
波形メモリ（８）に、ピッチ周期が33、すなわち、ピッ
チ周波数が300HZ（サンプリング周期が10KHZの場合）の
音声素片「ta」に対応する残差波形が蓄えられていた場
合、「た＊べに き＊た。」の最初の「た」は平均約40
0HZ、最後の「た」は平均約220HZで合成しなければなら
ないため、10前後のピッチ周期の零詰め切り捨てが必要
となり（400HZ＝ピッチ周期25、220HZ＝ピッチ周期4
5）、残差のスペクトルが歪み合成音声が劣化する。さ
らに長い文章の場合、ピッチ周期の変更量が増大するこ
とも生じる。

これに対して、第５図に本発明を実現する駆動音源生
成部（９）の構成例を示す。

同図の本発明装置に於ては、同一の音声素片に対し、
ピッチ周期の異なる残差波形を複数個、例えば６種類、
残差波形メモリ（８）に蓄えており各音声素片に対応し
て、６種類の残差波形が蓄えられている先頭アドレス
が、残差アドレスレジスタ１（981）〜残差アドレスレ
ジスタ６（986）にセットされる。また、同時に、各残
差波形のピッチ周期も読み出され、残差ピッチ周期レジ
スタ１（921）〜残差ピッチ周期レジスタ６（926）にセ
ットされる。

第６図は、残差ピッチ周期レジスタ１（921）〜残差
ピッチ周期レジスタ６（926）にセットされるピッチ周
期の例を示したものである。第６図に示すように、種々
のピッチ周期の残差波形が、各音声素片に対応して、残
差波形メモリ（８）に蓄えられている。

一方、ピッチパタ−ン生成部（７）で生成されたピッ
チ変化パタ−ンは、各時点のピッチ周期の形で生成ピッ
チ周期バッファ（93）に蓄えられる。そして、生成ピッ
チ周期バッファ（93）に蓄えられたピッチ周期のうち、
その時点で合成するべき音声のピッチ周期が、目標ピッ
チ周期レジスタ（94）にセットされる。

第３図の例では、まず最初の「た」に対応するピッチ
周波数400HZから、ピッチ周期25（サンプリング周波数1
0KHZの時）が目標ピッチ周期レジスタ（94）にセットさ
れる。差分器（95）は、まず、残差ピッチ周期レジスタ
（921）に蓄えらえた20を読みだし、目標ピッチ周期レ
ジスタ（94）の値である25との差をとり、差分値５を出
力し、その値は比較器（99）の一方の入力に取り込まれ
る。比較器（99）の出力に接続されたピッチ周期変更値
レジスタ（96）には、現時点で最も少ない差分値が蓄え
られており、初期値は大きな値として100が入力されて
いる。比較器は、ピッチ周期変更値レジスタ（96）にセ
ットされている100と差分器（95）の出力である５とを
比較し、絶対値の少ない方の値５を出力して、ピッチ周
期変更値レジスタ（96）にセットするとともに、その時
点で差分回路（95）に入力されている残差ピッチ周期レ
ジスタ（921）に対応する残差アドレスレジスタ１（98
1）の内容を残差アドレスレジスタ（98）にセットす
る。

次に、差分器（95）は、残差ピッチ周期レジスタ（92
2）に蓄えられた26を読みだし、目標ピッチ周期レジス
タ（94）の値である25との差をとり、差分値１を出力
し、その値は比較器（99）の一方の入力に取り込まれ
る。比較器（99）の出力に接続されたピッチ周期変更値
レジスタ（96）には、時点で最も少ない差分値５が蓄え
られている。比較器は、ピッチ周期変更値レジスタ（9
6）にセットされている５と差分器（95）の出力である
１とを比較し、絶対値の少ない方の値を１を出力して、
ピッチ周期変更値レジスタ（96）にセットするととも
に、その時点で差分回路（95）に入力されている残差ピ
ッチ周期レジスタ（922）に対応する残差アドレスレジ
スタ１（982）の内容を残差アドレスレジスタ（98）に
セットする。逆にピッチ周期変更値レジスタ（96）にセ
ットされている値の絶対値の方が小さい場合は、残差ア
ドレスレジスタ（98）の値はそのまま保存される。

以上の操作を繰り返すことにより、合成すべきピッチ
周期25と最も近いピッチ周期26が残差ピッチ周期レジス
タ１〜６の中から選択され、その差分値、すなわちピッ
チ周期を変更すべき量である１がピッチ周期変更値レジ
スタ（96）にセットされる。また、残差アドレスレジス
タ（98）には、選択された残差ピッチ周期レジスタ２
（922）に対応する残差アドレスレジスタ２（982）の値
がセットされる。そして、最初の「た」を合成する際に
は、残差波形バッファ（91）に、残差アドレスレジスタ
（98）に格納されたアドレスから残差が読みこまれ、ピ
ッチ制御回路（97）によって、１だけ零デ−タが挿入さ
れる。

同様に、最後の「た」に対しては、ピッチ周期44の残
差アドレスレジスタ５（985）の先頭アドレスが、残差
アドレスレジスタ（98）に格納され、そのアドレスに従
って、残差波形が残差波形がバッファ（91）に読み込ま
れる。合成すべきピッチ周期は45であり、ピッチ周期変
更値レジスタ（96）には最終的に−１がセットされりた
め、ピッチ制御回路（97）によって、１だけ残差波形の
切り捨てが行われる。

本発明は以上のような構成であるため、残差波形のピ
ッチ周期を変更する際、実施例の場合、最大でも３だけ
ピッチ周期の零詰め切り捨てを行うだけで十分なピッチ
制御が可能となる。

（ト）発明の効果 本発明の残差駆動型音声合成装置は、同一の音声素片
に対し、ピッチ周期の異なる残差を複数個蓄えているた
め、規則から生成されたピッチパタ−ンに従うピッチ周
期に、残差波形のピッチ周期を変更する際、例えば、合
成すべきピッチ周期に最も近いピッチ周期の残差波形を
利用して駆動音源を生成するため、ピッチの変更量を大
幅に減少させることができ、残差波形のピッチ変更によ
る音質の劣化を回避することができる。

【図面の簡単な説明】

第１図は一般的な残差駆動型規則合成装置の構成図、第
２図は音韻記号の配列図、第３図はピッチパタ−ンのパ
ターン図、第４図は従来の残差駆動型音声合成装置にお
ける駆動音源生成部の構成図、第５図は本発明を実現す
る駆動音源生成部の構成図、第６図は残差ピッチ周期レ
ジスタ１〜６の配列図である。 （１）……文字列バッファ、（２）……音韻記号列生成
部、（３）……音韻記号列バッファ、（４）……音声素
片メモリ、５……音声素片接続部、（６）……音声パラ
メ−タバッファ、（７）……ピッチパタ−ン生成部、
（８）……残差波形メモリ、（９）……残差音源生成
部、（10）……駆動音源バッファ、（11）……合成フィ
ルタ、（12）……DA変換器、（13）……スピ−カ、（9
1）……残差波形バッファ、（92）……残差ピッチ周期
レジスタ、（921）〜（926）……残差ピッチ周期レジス
タ１〜６、（93）……生成ピッチ周期バッファ、（94）
……目標ピッチ周期レジスタ、（95）……差分器、（9
6）……ピッチ周期変更値レジスタ、（97）……ピッチ
制御回路、（98）……残差アドレスレジスタ、（981）
〜（986）……残差アドレスレジスタ１〜６、（99）…
…比較器。

フロントページの続き (56)参考文献 特開 平２−66599（ＪＰ，Ａ) 電子情報通信学会技術研究報告［音声 ］Ｖｏｌ．89，Ｎｏ．388，ＳＰ89− 112，「スペクトルひずみ最小基準によ る駆動音源の生成とピッチ制御法」ｐ. 19−26（1990年１月26日発行) 日本音響学会昭和56年度秋季研究発表 会講演論文集▲Ｉ▼ １−２−16「音韻 連鎖と残差波形を用いた音声合成」ｐ. 67−68（昭和56年10月６日発行) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 11/00 - 13/08 G10L 19/00 - 21/06 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】音声合成に必要な音声パラメ−タの列であ
   る音声素片を蓄える第１のメモリ、各音声素片に対応す
   る残差を蓄える第２のメモリ、発声すべき内容から必要
   な音声素片を示す記号列を生成する音韻記号列生成部、
   発声内容からピッチ周期の変化を決定するピッチパタ−
   ン生成部、該音韻記号列生成部により生成された記号列
   に基づいて必要な音声素片を順次接続する音声素片接続
   部、接続された音声素片に含まれる音声パラメ−タを係
   数として音声を合成する音声合成フィルタ、音声素片に
   対応する残差を駆動音源とし、上記ピッチパタ−ン生成
   部で決定された各時点でのピッチ周期に応じて、残差の
   ピッチ周期を変更して上記合成フィルタに入力する駆動
   音源生成部を備えてなる残差駆動型音声合成装置に於
   て、 上記第２のメモリに蓄えられた複数の残差の中から特定
   の残差を選択する残差選択回路を設け、上記第１のメモ
   リに蓄えられた音声素片に対応して、ピッチ周期の異な
   る複数の残差を第２のメモリに蓄え、前記ピッチパタ−
   ン生成部で決定された各時点でのピッチ周期に応じて、
   適切なピッチ周期の残差を第２のメモリから上記残差選
   択回路が選択し、選択された残差に対して駆動音源生成
   部が必要なピッチ周期の変更を行うことを特徴とする残
   差駆動型音声合成装置。
2. 【請求項２】上記残差選択回路は、上記ピッチパタ−ン
   生成部で決定された各時点でのピッチ周期に最も近いピ
   ッチ周期の残差を、上記第２のメモリ中の残差の中から
   選択する事を特徴とした請求項１記載の残差駆動型音声
   合成装置。