JP4805121B2

JP4805121B2 - 音声合成装置、音声合成方法及び音声合成プログラム

Info

Publication number: JP4805121B2
Application number: JP2006340235A
Authority: JP
Inventors: 訓古田; 正山浦; 貴弘大塚
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-12-18
Filing date: 2006-12-18
Publication date: 2011-11-02
Anticipated expiration: 2026-12-18
Also published as: JP2008152042A

Description

この発明は、例えば、ＴＶ、ラジオ、ビデオレコーダ、携帯電話、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｃｅ）、パーソナルコンピュータ、ゲーム機、携帯オーディオなどの情報機器や、カーナビゲーションシステム、カーオーディオ機器、ＥＴＣ（ＥｌｅｃｔｒｏｎｉｃＴｏｌｌＣｏｌｌｅｃｔｉｏｎｓｙｓｔｅｍ）などの車載機器などに適用して、任意の文章から人工的な合成音声を生成する音声合成装置、音声合成方法及び音声合成プログラムに関するものである。

音声合成装置は、任意の文章から人工的な合成音声を生成する装置であり、人工的な合成音声を生成する処理は、「テキスト音声合成」と称されている。
従来の音声合成装置は、任意の文章が記述されているテキストを入力すると、そのテキストに対する形態素解析や構文解析などの言語処理を実施する。
次に、音声合成装置は、テキストの解析結果に対する音韻処理を実施することにより、例えば、音韻記号、ピッチ長、継続時間長などを含む韻律情報を生成する。

音声合成装置は、韻律情報を生成すると、複数の音声素片を記憶している音響辞書から当該韻律情報に対応する音声素片を選択する。
ここで、音声素片は、母音をＶ、子音をＣで表すと、ＣＶ、ＶＣ、ＶＣＶ等の音声合成単位、複数の音声合成単位からなる音素列単位、あるいは、単語単位や短文章単位で、音声信号中から切り出される素片であり、切り出された音声波形又はその波形から何らかの方法で抽出されたパラメータ系列を表している。
また、音声素片は、例えば、当該音声素片の音素名、先行する音素、後続する音素、ピッチ周期、ピッチパターン、継続時間長、ＣとＶの音素境界位置、パワー、モーラ数、アクセント位置などの要素を備えている。

音声合成装置は、音響辞書から韻律情報に対応する音声素片を選択すると、その韻律情報のピッチ周期の２倍程度の窓長を有する窓関数（例えば、ハニング窓、ブラックマン窓）を設定し、その窓関数を用いて、その音声素片からインパルス駆動点を中心として、２ピッチ分の長さを持つ波形（以下、「２ピッチ長波形」と称する）の切り出しを行う。
即ち、ピッチ周期を短くする場合（ピッチ周波数を高くする場合）には、韻律情報のピッチ周期の２倍程度の窓長を有する窓関数を用いて、その音声素片から２ピッチ長波形を切り出し、ピッチ周期を長くする場合（ピッチ周波数を低くする場合）には、元の音声素片のピッチ周期の２倍程度の窓長を有する窓関数を用いて、その音声素片から２ピッチ長波形の切り出しを行う。

最後に、音声合成装置は、韻律情報のピッチ周期と継続時間長にしたがって、切り出した２ピッチ長波形を再配置して重畳加算（ピッチ同期波形重畳加算法［ＰｉｔｃｈＳｙｎｃｈｒｏｎｏｕｓＯｖｅｒｌａｐ−Ａｄｄ］：ＰＳＯＬＡ法）することにより、所望のピッチ周期の合成音声を生成する（例えば、非特許文献１参照）。
これにより、任意の文章から人工的な合成音声を生成することができるが、ピッチ周期を短くする場合（ピッチ周波数を高くする場合）には、音声素片の波形が持つ周期よりも短い周期で２ピッチ長波形を切り出すことになるため、２ピッチ長波形の始終端付近の波形情報（以下、「サイドローブ波形情報」と称する）が欠落して音質が劣化することがある。

なお、上記の音声合成装置の他に、音響辞書から韻律情報に対応する音声素片を選択すると、その音声素片の特徴に応じて窓関数の長さや形状を変更する音声合成装置が開発されている（例えば、特許文献１参照）。
ただし、この音声合成装置は、音声素片の特徴に応じて窓関数の長さや形状を変更することはできるが、ピッチ周期やピッチ周波数に応じて窓長や窓形状を変更することはできない。
そのため、合成音のピッチ周波数を高くする場合には、同様に、サイドローブ波形情報が欠落して音質が劣化することがある。

E. Moulines and F. Charpentier, "Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones," Speech Communication, vol.9, pp.453-467, Dec 1990. 特開平６−１９４９６号公報（第４頁〜６頁、第４図）

従来の音声合成装置は以上のように構成されているので、任意の文章から人工的な合成音声を生成することができるが、合成音のピッチ周波数を高くする場合、サイドローブ波形情報が欠落して音質が劣化することがあるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、合成音のピッチ周波数を高くする場合でも、サイドローブ波形情報の欠落を防止して、音質の劣化を防止することができる音声合成装置、音声合成方法及び音声合成プログラムを得ることを目的とする。

この発明に係る音声合成装置は、韻律設定手段により設定された韻律のピッチ周期と音声素片選択手段により選択された音声素片の波形のピッチ周期を比較し、韻律のピッチ周期が音声素片の波形のピッチ周期以上であれば、窓関数の窓長を音声素片の波形のピッチ周期の２倍に設定し、韻律のピッチ周期が音声素片の波形のピッチ周期より短ければ、窓関数の窓長を韻律のピッチ周期より長いピッチ周期の２倍に設定し、その窓関数を用いて、音声素片選択手段により選択された音声素片の波形からピッチ波形の切り出しを行う波形切り出し手段を設け、音声合成手段が韻律設定手段により設定された韻律のピッチ周期と波形切り出し手段により切り出されたピッチ波形にしたがってテキストの合成音声を生成するようにしたものである。

この発明によれば、合成音のピッチ周波数を高くする場合でも、サイドローブ波形情報の欠落を防止して、音質の劣化を防止することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による音声合成装置を示す構成図であり、図において、テキスト入力端子１は任意の文章が記述されているテキストを入力する端子である。
言語辞書格納部２は各種の言語の読み方や品詞などの情報が登録されている言語辞書を格納しているメモリである。
言語処理部３は言語辞書格納部２に格納されている言語辞書を参照して、テキスト入力端子１から入力されたテキストに対する形態素解析や構文解析などの言語処理を実施することにより、そのテキストの読み方や品詞などを示すテキスト解析結果を出力する。
韻律設定部４は言語処理部３から出力されたテキスト解析結果に対する音韻処理を実施することにより、韻律（例えば、音韻記号、アクセント、イントネーション（ピッチ周期列）、継続時間長など）を設定し、その韻律を示す韻律情報を出力する。
なお、言語処理部３及び韻律設定部４から韻律設定手段が構成されている。

音響辞書格納部５は複数の音声素片が記憶されている音響辞書を格納しているメモリである。
音声素片選択部６は音響辞書格納部５に格納されている音響辞書から韻律設定部４により設定された韻律に対応する音声素片を選択する処理を実施する。なお、音声素片選択部６は音声素片選択手段を構成している。

波形切り出し部７は韻律設定部４から出力された韻律情報が示すピッチ周期に応じた窓長を有する窓関数（例えば、ハニング窓）を設定し、その窓関数を用いて、音声素片選択部６により選択された音声素片の波形からピッチ波形の切り出しを行う。
即ち、波形切り出し部７は韻律設定部４から出力された韻律情報が示すピッチ周期と音声素片選択部６により選択された音声素片の波形のピッチ周期を比較し、その韻律情報が示すピッチ周期が音声素片の波形のピッチ周期以上であれば、窓関数の窓長を音声素片の波形のピッチ周期の２倍に設定し、その韻律情報が示すピッチ周期が音声素片の波形のピッチ周期より短ければ、窓関数の窓長を韻律情報が示すピッチ周期より長いピッチ周期の２倍に設定し、その窓関数を用いて、音声素片選択部６により選択された音声素片からインパルス駆動点を中心として、２ピッチ分の長さを持つ波形（以下、「２ピッチ長波形」と称する）の切り出しを行う。
なお、波形切り出し部７は波形切り出し手段を構成している。

音声合成部８は韻律設定部４から出力された韻律情報が示すピッチ周期と継続時間長にしたがって、波形切り出し部７から出力された２ピッチ長波形を再配置して重畳加算（ピッチ同期波形重畳加算法［ＰｉｔｃｈＳｙｎｃｈｒｏｎｏｕｓＯｖｅｒｌａｐ−Ａｄｄ］：ＰＳＯＬＡ法）することにより、所望のピッチ周期の合成音声を生成する。なお、音声合成部８は音声合成手段を構成している。
合成音声出力端子９は音声合成部８により生成された合成音声を出力する端子である。

図１の例では、音声合成装置の構成要素である言語処理部３、韻律設定部４、音声素片選択部６、波形切り出し部７及び音声合成部８がそれぞれ専用のハードウェア（例えば、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩＣ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、論理ＩＣなどの集積回路や、ディスクリート素子の組み合わせ）で構成されているものを想定しているが、音声合成装置がコンピュータから構成されている場合、言語処理部３、韻律設定部４、音声素片選択部６、波形切り出し部７及び音声合成部８の処理内容（言語処理手順、韻律設定処理手順、音声素片選択処理手順、波形切り出し処理手順及び音声合成処理手順）が記述されている音声合成プログラムをメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されている音声合成プログラムを実行するようにしてもよい。

なお、音声合成プログラムは、コンピュータのメモリではなく、例えば、インターネット、ＬＡＮ、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話のパケット通信などの有線・無線通信手段を用いて、サーバコンピュータ上の記憶手段からダウンロードするようにしてもよい。
また、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）、ＭＯディスク、磁気ディスク（ハードディスク、リムーバブルディスクなど）、不揮発性の半導体メモリ、磁気テープなどの記憶媒体や、バーコード等が印刷されたカード等の印刷媒体から配布・提供されるものであってもよい。
図２はこの発明の実施の形態１による音声合成方法を示すフローチャートである。

次に動作について説明する。
言語処理部３は、テキスト入力端子１から任意の文章が記述されているテキストが入力されると、言語辞書格納部２に格納されている言語辞書を参照して、そのテキストに対する形態素解析や構文解析などの言語処理を実施することにより、そのテキストの読み方や品詞などを示すテキスト解析結果を出力する（ステップＳＴ１）。
なお、言語処理部３における言語処理は、公知の処理であるため、詳細な説明は省略する。

韻律設定部４は、言語処理部３からテキスト解析結果を受けると、そのテキスト解析結果に対する音韻処理を実施することにより、韻律（例えば、音韻記号、アクセント、イントネーション（ピッチ周期列）、継続時間長など）を設定し、その韻律を示す韻律情報を出力する（ステップＳＴ２）。
なお、韻律設定部４における音韻処理は、公知の処理であるため、詳細な説明は省略する。

音声素片選択部６は、韻律設定部４から韻律情報を受けると、音響辞書格納部５に格納されている音響辞書から上記韻律情報に対応する音声素片を選択し、その音声素片を波形切り出し部７に出力する（ステップＳＴ３）。
なお、音声素片選択部６における音声素片の選択処理は、公知の処理であるため、詳細な説明は省略する。

波形切り出し部７は、音声素片選択部６から音声素片を受けると、韻律設定部４から出力された韻律情報が示すピッチ周期に応じた窓長を有する窓関数を設定し、その窓関数を用いて、その音声素片の波形からピッチ波形の切り出しを行う。
以下、波形切り出し部７におけるピッチ波形の切り出し処理を具体的に説明する。

即ち、波形切り出し部７は、音声素片選択部６から音声素片を受けると、韻律設定部４から出力された韻律情報が示すピッチ周期Ｐ_proと、その音声素片の波形のピッチ周期Ｐ_wavを比較する（ステップＳＴ４）。
波形切り出し部７は、韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavより長い場合、あるいは、韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavと等しい場合（Ｐ_pro≧Ｐ_wavが成立する場合）、下記に示すように、窓関数の窓長Ｐ_wを音声素片の波形のピッチ周期Ｐ_wavの２倍に設定する（ステップＳＴ５）。
Ｐ_w＝２×Ｐ_wav （１）

波形切り出し部７は、韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavより短い場合（Ｐ_pro＜Ｐ_wavが成立する場合）、下記に示すように、窓関数の窓長Ｐ_wを韻律情報が示すピッチ周期Ｐ_proより、少し長いピッチ周期ｗ×Ｐ_proの２倍に設定する（ステップＳＴ６）。
Ｐ_w＝２×ｗ×Ｐ_pro （２）
ただし、ｗは所定の修正係数である。
この実施の形態１では、修正係数ｗは、ｗ≧１．０の範囲で設定され、さらに、具体的には、ｗ＝１．２５〜１．１の範囲で設定される。
修正係数ｗが“１”より大きな正数であることは、韻律情報が示すピッチ周期Ｐ_proよりも大きめの窓長Ｐ_wを設定して、２ピッチ長波形を切り出すことを意味している。

波形切り出し部７は、上記のようにして、窓長Ｐ_wを有する窓関数を設定すると、その窓関数を用いて、音声素片選択部６により選択された音声素片からインパルス駆動点を中心として、２ピッチ長波形の切り出しを行う（ステップＳＴ７）。
なお、２ピッチ長波形を切り出す方法は、例えば、特開平８−２３４７９４号公報に開示されている手法を用いることができる他、同種の公知の手法を用いてもよい。

ここで、図３は韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavより短い場合の２ピッチ長波形の切り出し例を示す説明図である。
図において、上段は音声素片の波形の一部分を拡大しており、中段は韻律情報が示すピッチ周期Ｐ_proの２倍の窓長Ｐ_wを有する窓関数などを用いて、２ピッチ長波形を切り出した場合の一例を示している。
また、下段は韻律情報が示すピッチ周期Ｐ_proによる合成音声波の一例を示している。

図３の中段において、実線は、韻律情報が示すピッチ周期Ｐ_proに修正係数ｗを乗算し、乗算後のピッチ周期ｗ×Ｐ_proの２倍の窓長Ｐ_w（＝２×ｗ×Ｐ_pro）を有する窓関数であり、点線は、韻律情報が示すピッチ周期Ｐ_proの２倍の窓長Ｐ_w（＝２×Ｐ_pro）を有する窓関数である（従来の音声合成装置が使用する窓関数）。
点線の窓関数では、２ピッチ長波形のサイドローブ波形情報が欠落しているのに対して、実線の窓関数では、２ピッチ長波形のサイドローブ波形情報が欠落せずに保存されることが分かる。

音声合成部８は、波形切り出し部７が２ピッチ長波形の切り出しを行うと、韻律設定部４から出力された韻律情報が示すピッチ周期と継続時間長にしたがって、その２ピッチ長波形を再配置して重畳加算することにより（ＰＳＯＬＡ法の実行）、所望のピッチ周期の合成音声を生成する（ステップＳＴ８）。
これにより、合成音声出力端子９から音声合成部８により生成された合成音声が出力される。
ここでは、ＰＳＯＬＡ法を実行することにより、所望のピッチ周期の合成音声を生成するものについて示したが、これに限るものではなく、例えば、音韻情報と音源情報を分離し、音源情報である残差信号波形をピッチ周期間隔に重畳合成する残差波形重畳法を実行することにより、所望のピッチ周期の合成音声を生成するようにしてもよい。

以上で明らかなように、この実施の形態１によれば、韻律設定部４から出力された韻律情報が示すピッチ周期Ｐ_proに応じた窓長を有する窓関数Ｐ_wを設定し、その窓関数を用いて、音声素片選択部６により選択された音声素片の波形からピッチ波形の切り出しを行う波形切り出し部７を設け、音声合成部８が韻律設定部４から出力された韻律情報が示すピッチ周期Ｐ_proと波形切り出し部７により切り出されたピッチ波形にしたがってテキストの合成音声を生成するように構成したので、合成音のピッチ周波数を高くする場合でも、サイドローブ波形情報の欠落を防止して、音質の劣化を防止することができる効果を奏する。

また、この実施の形態１によれば、韻律設定部４から出力された韻律情報が示すピッチ周期Ｐ_proと音声素片選択部６により選択された音声素片の波形のピッチ周期Ｐ_wavを比較し、その韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wav以上であれば、窓関数の窓長Ｐ_wを音声素片の波形のピッチ周期Ｐ_wavの２倍に設定し、その韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavより短ければ、窓関数の窓長Ｐ_wを韻律情報が示すピッチ周期Ｐ_proより長いピッチ周期ｗ×Ｐ_proの２倍に設定するように構成したので、合成音のピッチ周波数を高くする場合でも、サイドローブ波形情報の欠落を防止することが可能な窓関数を設定することができる効果を奏する。

実施の形態２．
上記実施の形態１では、修正係数ｗが、ｗ＝１．２５〜１．１の範囲で設定されるものについて示したが、修正係数ｗは一様に設定する必要はなく、話者、音素種類、音素名、あるいは、元の音声素片の波形のピッチ周期Ｐ_wavの大小に応じて設定するようにしてもよい。
下記の式（３）は、個々に設定された修正係数ｗ₁，ｗ₂を用いて、窓関数の窓長Ｐ_w1,w2を設定する例を示している。なお、修正係数ｗ₁，ｗ₂は、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などの記憶媒体に配列テーブルとして記憶しておくことができる。

（１）母音部音素名が／ａ／，／ｅ／であり、かつ、Ｐ_pro＜Ｐ_wavである場合
Ｐ_w1＝ｗ₁×Ｐ_pro
（２）母音部音素名が／ｉ／，／ｕ／，／ｏ／であり、かつ、Ｐ_pro＜Ｐ_wavである場合
Ｐ_w2＝ｗ₂×Ｐ_pro （３）
ここで、ｗ₁は音声素片が持つ母音部の音素が／ａ／、／ｅ／である場合の修正係数であり、例えば、ｗ₁＝１．２〜１．１の範囲に設定される。
ｗ₂は音声素片が持つ母音部の音素が／ｉ／，／ｕ／，／ｏ／である場合の修正係数であり、例えば、ｗ₁＝１．１〜１．０５の範囲に設定される。
この実施の形態２では、説明の簡単化のため、式（３）のように、２つの条件で窓関数の窓長を設定するものを示しているが、例えば、５母音独立して設定するなど、分類条件を更に細分化することが可能であることは言うまでもない。

また、韻律情報が示すピッチ周期Ｐ_proと、音声素片の波形のピッチ周期Ｐ_wavとの差分に応じて修正係数ｗを変更するようにしてもよい。
例えば、韻律情報が示すピッチ周期Ｐ_proが、音声素片の波形のピッチ周期Ｐ_wavの１／２オクターブ以上高く変化する場合には、ｗ₁＝１．１に設定し、韻律情報が示すピッチ周期Ｐ_proが、音声素片の波形のピッチ周期Ｐ_wavの１／２オクターブ未満で変化する場合には、ｗ₁＝１．２に設定するようにすれば、ピッチ周期が短くなることに伴う２ピッチ長波形のオーバラップの影響を考慮しつつ、合成音の音質を高めることができる。

また、修正係数ｗの変更に併せて、窓関数の種類を変更してもよい。
例えば、式（３）において、母音部音素名が／ａ／，／ｅ／である場合には、ハミング窓を使用し、母音部音素名が／ｉ／，／ｕ／，／ｏ／である場合には、ブラックマン窓を使用するなどが該当する。

この実施の形態２では、図４に示すように、２ピッチ長波形の基準位置（２ピッチ長波形の中心の位置であり、以下、「ピッチマーク」と称する）の近傍にパワーが集中している波形の場合、窓長を大きく修正することが可能であり、顕著な効果を奏する。
しかし、図５に示すような波形のように、２ピッチ長波形のパルス成分がピッチ周期内で収束しきらず、次のピッチ波形に大きく影響を及ぼすと推測される場合には、窓長を大きく修正すると、合成音声に反響感が出現することがあるので、その場合には、窓長の修正量を小さくするようにする。あるいは、窓長の変更処理を行なわないようにすることも可能である。
修正量を小さくしたり、あるいは、修正を行なわない判断基準として、例えば、２ピッチ長波形の群遅延の分散や、ホルマントのＱ値などの音声信号処理に基づく分析パラメータを用いたりすることができる。例えば、２ピッチ長波形の群遅延の分散を判断基準とする場合、２ピッチ長波形を公知の手法により分析を行った後、群遅延の分散が所定の閾値（音響辞書を構成する話者によって好適な値がまちまちであるので、話者別にヒューリスティックに決定する）より大きな値を取るときには、修正量を小さくするようにする。
また、上記のパラメータ以外には、２ピッチ長波形の振幅概形状（振幅包絡パタン）や、２ピッチ長波形を波形長よりも短い区間で区切り、その区切られた区間のパワー（小区間パワー）の分布状況などのパラメータ等も用いることができる。

実施の形態３．
上記実施の形態１では、韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavより短い場合（Ｐ_pro＜Ｐ_wavが成立する場合）、波形切り出し部７が、窓関数の窓長Ｐ_wを韻律情報が示すピッチ周期Ｐ_proより、少し長いピッチ周期ｗ×Ｐ_proの２倍に設定するものについて示したが、韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavより短い場合（Ｐ_pro＜Ｐ_wavが成立する場合）でも、韻律情報が示すピッチ周期Ｐ_proと、音声素片の波形のピッチ周期Ｐ_wavとの差分が所定の閾値（例えば、２２ｋＨｚサンプリングの場合、１０サンプル）より小さければ、窓関数の窓長Ｐ_wを音声素片の波形のピッチ周期Ｐ_wavの２倍に設定するようにしてもよい。

図６は韻律情報が示すピッチ周期Ｐ_proと、音声素片の波形のピッチ周期Ｐ_wavとの差分が所定の閾値より小さい場合の２ピッチ長波形の切り出しと合成音の生成を示す説明図である。
図６中の上段は、切り出された２ピッチ長波形を示しており、実線は音声素片の波形のピッチ周期Ｐ_wavから導出される窓関数の波形であり、点線は韻律情報が示すピッチ周期Ｐ_proから導出される窓関数の波形である。
韻律情報が示すピッチ周期Ｐ_proと、音声素片の波形のピッチ周期Ｐ_wavとの差分が所定の閾値より小さい場合、音声素片の波形のピッチ周期Ｐ_wavから導出される窓関数で切り出された２ピッチ長波形の方が、２ピッチ長波形のサイドローブ波形情報の欠落が少なくなることが分かる。
このように、２ピッチ長波形のサイドローブ波形情報の欠落が少なくなれば、品質が高い合成音声を生成することができる。

実施の形態４．
上記実施の形態１〜３では、波形切り出し部７がピッチマークを中心とする形状が対称な窓長を有する窓関数を設定するものについて示したが、図７に示すように、ピッチマークを中心とする形状が非対称な窓長を有する窓関数を設定するようにしてもよい。

図７はピッチマークを中心とする形状が非対称な窓長を有する窓関数を用いる場合の２ピッチ長波形の切り出しと合成音の生成を示す説明図であり、韻律情報が示すピッチ周期Ｐ_proが、時間方向に急激に短くなる変化の場合を示している。
このとき、窓関数の右半面の窓長Ｐ_wは、韻律情報が示すピッチ周期Ｐ_proに修正係数ｗを乗算し、その乗算結果の２倍に設定する。
一方、左半面の窓長Ｐ_wは、韻律情報が示すピッチ周期Ｐ_proの２倍に設定する。
この実施の形態４では、上記のように、窓長Ｐ_wが左右非対称な窓関数を用いて、２ピッチ長波形の切り出しを行うようにする。
これにより、２ピッチ長波形のサイドローブ波形情報が欠落することが無くなる上、韻律のピッチ変動に追従することができる２ピッチ長波形が得られる相乗効果を奏するため、更に品質が高い合成音声を生成することができる。この効果は音韻過渡部において顕著である。

この実施の形態４では、窓関数の右半面の窓長Ｐ_wに限り、修正係数ｗをピッチ周期Ｐ_proに乗算して設定する例を示したが、例えば、ピッチ周期が時間方向に急激に長くなる変化の場合には、窓関数の左半面の窓長Ｐ_wに限り、修正係数ｗをピッチ周期Ｐ_proに乗算して設定するようにする。
また、窓関数の左右半面の窓長を設定する際、左右で異なる修正係数ｗをピッチ周期Ｐ_proに乗算して設定するようにしてもよい。

実施の形態５．
上記実施の形態１〜４では、音響辞書の音声素片をＣＶ，ＶＣなどの音素で表現する単位素片接続方法について示したが、この単位素片接続方法に限らず、音素列単位や単語・文章単位などの信号波形を接続合成する波形編集方法や、コーパスベース方法などの手法を使用するようにしてもよい。

上記実施の形態１〜４では、テキストに記述されている文書の言語については特に言及していないが、言語は日本語に限るものではなく、例えば、英語、ドイツ語、中国語などの外国語で記述されているテキストにも適用することができる。
この場合には、言語辞書及び音響辞書は、各言語の構文規則と発音規則に従って構成されることになる。

上記実施の形態１〜４における形態素解析、構文解析及び韻律設定の全部又は一部については、予め処理を実施しておいて、その解析結果を、例えば、ＲＯＭ、ＲＡＭ、ＦｌａｓｈＲＯＭなどの不揮発メモリ、磁気ディスク、ＣＤのデータトラックなどの記録媒体に蓄えておき、音声合成時に、その解析結果を記録媒体から読み出すことで省略することも可能である。
また、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネット、赤外線通信、携帯電話パケット通信などの無線・優先通信手段やネットワーク手段経由で、サーバコンピュータ等の処理手段で解析された解析結果や韻律情報、あるいはサーバコンピュータ上のハードディスク等の記憶手段に記憶されている解析結果や韻律情報を読み出すことでも省略可能である。

さらに、解析結果や韻律情報を、例えば、コンピュータのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）、キーボード、押しボタン、１次元／２次元バーコードリーダ、ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅａｄｅｒ）などの入力手段から直接入力しても構わない。
これはカーナビゲーションシステム、携帯電話、ＰＤＡ、ビデオレコーダ、ゲーム機器、オーディオ機器などにおいて決まった文章、例えば、カーナビやカーオーディオ、あるいは携帯オーディオ機器などで、再生している音楽の曲名や操作案内（ガイダンス）文を読み上げたり、ゲームのキャラクタ合成音を再生したりする場合に有効である。

また、上記実施の形態１〜４における修正係数ｗや、音響辞書及び言語辞書がＲＡＭなどの書き込み・消去可能な記憶手段に記憶されている場合には、エディタ等を使用して、データの修正・追加を行うこともできる。
さらに、例えば、ＬＡＮ、インターネット、Ｂｕｌｅｔｏｏｔｈ（登録商標）、赤外線通信、携帯電話パケット通信などの無線・有線通信手段やネットワーク手段経由で、サーバコンピュータ上のハードディスク等の記憶手段に記憶されているパラメータテーブルをダウンロードしたり、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ＭＯディスク、磁気ディスク、不揮発性の半導体メモリ、磁気テープ等の記憶媒体や、バーコード等が印刷されたカード等の印刷媒体から、当該媒体を読み込む機器、例えばカードリーダなどを用いて読み込むことにより、追加・更新することができる。

上記実施の形態１〜４では、各処理部が同一の計算機上で構成する場合について説明したが、これに限定されるものではなく、例えば、ネットワーク上に分散されている計算機や処理装置などに分かれて各処理部を構成してもよい。
また、１つ以上の複数の機器から構成されるシステムに適用してもよい。サーバコンピュータが音声合成プログラムをネットワーク等の通信手段を用いて配信し、複数のクライアントコンピュータ、携帯電話、ＰＤＡなどの携帯端末機器が配信された音声合成プログラムを実行することができる。

この発明の実施の形態１による音声合成装置を示す構成図である。この発明の実施の形態１による音声合成方法を示すフローチャートである。韻律情報が示すピッチ周期Ｐ_proが音声素片の波形のピッチ周期Ｐ_wavより短い場合の２ピッチ長波形の切り出し例を示す説明図である。ピッチマーク（ピッチ波形の中心）の近傍にパワーが集中している波形例を示す説明図である。２ピッチ長波形のパルス成分がピッチ周期内で収束しきらず、次のピッチ波形に大きく影響を及ぼすと推測される波形例を示す説明図である。韻律情報が示すピッチ周期Ｐ_proと、音声素片の波形のピッチ周期Ｐ_wavとの差分が所定の閾値より小さい場合の２ピッチ長波形の切り出しと合成音の生成を示す説明図である。ピッチマークを中心とする形状が非対称な窓長を有する窓関数を用いる場合の２ピッチ長波形の切り出しと合成音の生成を示す説明図である。

符号の説明

１テキスト入力端子、２言語辞書格納部、３言語処理部（韻律設定手段）、４韻律設定部（韻律設定手段）、５音響辞書格納部、６音声素片選択部（音声素片選択手段）、７波形切り出し部（波形切り出し手段）、８音声合成部（音声合成手段）、９合成音声出力端子。

Claims

言語辞書を参照してテキストを解析し、上記テキストの解析結果に応じて韻律を設定する韻律設定手段と、複数の音声素片を記憶している音響辞書と、上記音響辞書から上記韻律設定手段により設定された韻律に対応する音声素片を選択する音声素片選択手段と、上記韻律設定手段により設定された韻律のピッチ周期と上記音声素片選択手段により選択された音声素片の波形のピッチ周期を比較し、上記韻律のピッチ周期が上記音声素片の波形のピッチ周期以上であれば、窓関数の窓長を上記音声素片の波形のピッチ周期の２倍に設定し、上記韻律のピッチ周期が上記音声素片の波形のピッチ周期より短ければ、窓関数の窓長を上記韻律のピッチ周期より長いピッチ周期の２倍に設定し、上記窓関数を用いて上記音声素片選択手段により選択された音声素片の波形からピッチ波形の切り出しを行う波形切り出し手段と、上記韻律設定手段により設定された韻律のピッチ周期と上記波形切り出し手段により切り出されたピッチ波形にしたがって上記テキストの合成音声を生成する音声合成手段とを備えた音声合成装置。
波形切り出し手段は、韻律のピッチ周期が音声素片の波形のピッチ周期より短い場合でも、上記韻律のピッチ周期と上記音声素片の波形のピッチ周期の差分が所定の閾値より小さければ、窓関数の窓長を上記音声素片の波形のピッチ周期の２倍に設定することを特徴とする請求項１記載の音声合成装置。
波形切り出し手段は、ピッチ波形の基準位置を中心とする形状が非対称な窓長を有する窓関数を設定することを特徴とする請求項１または請求項２記載の音声合成装置。
韻律設定手段が言語辞書を参照してテキストを解析し、上記テキストの解析結果に応じて韻律を設定する韻律設定ステップと、音声素片選択手段が複数の音声素片を記憶している音響辞書から上記韻律設定手段により設定された韻律に対応する音声素片を選択する音声素片選択ステップと、波形切り出し手段が上記韻律設定手段により設定された韻律のピッチ周期と上記音声素片選択手段により選択された音声素片の波形のピッチ周期を比較し、上記韻律のピッチ周期が上記音声素片の波形のピッチ周期以上であれば、窓関数の窓長を上記音声素片の波形のピッチ周期の２倍に設定し、上記韻律のピッチ周期が上記音声素片の波形のピッチ周期より短ければ、窓関数の窓長を上記韻律のピッチ周期より長いピッチ周期の２倍に設定し、上記窓関数を用いて上記音声素片選択手段により選択された音声素片の波形からピッチ波形の切り出しを行う波形切り出しステップと、音声合成手段が上記韻律設定手段により設定された韻律のピッチ周期と上記波形切り出し手段により切り出されたピッチ波形にしたがって上記テキストの合成音声を生成する音声合成ステップとを備えた音声合成方法。
言語辞書を参照してテキストを解析し、上記テキストの解析結果に応じて韻律を設定する韻律設定処理手順と、複数の音声素片を記憶している音響辞書から上記韻律設定処理手順により設定された韻律に対応する音声素片を選択する音声素片選択処理手順と、上記韻律設定処理手順により設定された韻律のピッチ周期と上記音声素片選択処理手順により選択された音声素片の波形のピッチ周期を比較し、上記韻律のピッチ周期が上記音声素片の波形のピッチ周期以上であれば、窓関数の窓長を上記音声素片の波形のピッチ周期の２倍に設定し、上記韻律のピッチ周期が上記音声素片の波形のピッチ周期より短ければ、窓関数の窓長を上記韻律のピッチ周期より長いピッチ周期の２倍に設定し、上記窓関数を用いて上記音声素片選択処理手順により選択された音声素片の波形からピッチ波形の切り出しを行う波形切り出し処理手順と、上記韻律設定処理手順により設定された韻律のピッチ周期と上記波形切り出し処理手順により切り出されたピッチ波形にしたがって上記テキストの合成音声を生成する音声合成処理手順とをコンピュータに実行させるための音声合成プログラム。