JP4297433B2 - 音声合成方法及びその装置 - Google Patents

Description

本発明は、キーボード等から直接入力され又は予めテキストを記憶した記憶媒体から読み出されて入力され又は通信媒体を介して他の装置等から入力されたテキストを音声に変換して再生（出力）するテキスト音声合成技術に関する。

現在、電話による株価案内システム等の各種の情報案内システムやＥメール・Ｗｅｂの読み上げ等、様々な状況でテキスト音声合成技術が利用されている。

従来の音声合成方法として、（１）音素、音韻、単語等の言語を構成する様々な単位の音声素片を含む音声コーパスから、入力されたテキスト中の前記単位に対応し、合成に使用可能な音声素片を検索し、該検索した音声素片の中から最適な音声素片を選択し、これを前記テキスト中の全ての前記単位について繰り返し、選択した各音声素片をそのまま接続して合成音声とする方法がある（特許文献１参照）。

また、この際、（２）選択した各音声素片に対して、合成目標となる韻律に合わせるための信号処理を施した上で接続して合成音声とする方法がある（非特許文献１参照）。
特許第２７６１５５２号公報 Satoshi TAKANO, Masanobu ABE "A NEW F0 MODIFICATION ALGORITHM BY MANIPULATING HARMONICS OF MAGNITUDE SPECTRUM", Eurospeech'99 高野、阿部「部分置換実験による韻律変形の音質へおよぼす影響の評価」日本音響学会講演論文集１−７−１１、２０００（３）、ｐｐ．２１７−２１８

しかし、前述した（１）の方法では、肉声らしい自然な音質の音声を合成できるが、合成音声の韻律が合成目標の韻律とは異なる可能性があるという問題があり、また、（２）の方法では、合成目標通りの韻律が得られるが、信号処理によって音声の持つ肉声らしさが損なわれる可能性があるという問題があった。

つまり、従来のテキスト音声合成技術では、合成音声の肉声らしさと韻律の正確さがトレードオフの関係にあり、両方同時に満たすことができないという問題があった。

このように、現状の音声合成技術は人間の音声に比べて十分な品質を達成できておらず、合成音声の品質向上への要望が強かった。

本発明の目的は、音声合成技術の利用状況、特に合成音声を再生する際の状況に応じて、これまでより高品質な合成音声を提供可能な音声合成方法及びその装置を実現することにある。

上述のように、合成音声の肉声らしさと韻律の正確さはトレードオフの関係にあり、韻律を正確に合成しようとすると音質が劣化するという問題がある。

ここで、韻律を正確に合成するために信号処理を行った場合の音質の劣化は、韻律の変形量や変形の方向、信号処理方法などによってその度合いが異なる（非特許文献１、２参照）。

また、信号処理を行った場合の合成音声の音質劣化は、ヘッドフォンで聞く場合とスピーカから聞く場合とではその劣化の判り方が異なり、当然ながら、ヘッドフォンで合成音声のみを集中して聞く方が合成音声の音質劣化が判り易い。

このように、合成音声を再生する際の状況として、ヘッドフォンで再生して聞くのか、スピーカから再生して聞くのか、また、スピーカから再生して聞く場合には、部屋の中等の静かな場所なのか、駅構内等の騒がしい場所なのか、といった様々な状況が存在し、それぞれの状況や環境で合成音声の音質劣化の判り方が異なる。

本発明では、合成音声を再生する際の状況まで考慮して、信号処理による音質の劣化が目立たない状況では信号処理を行って韻律を修正することにより、ユーザに対しては信号処理による音質の劣化を感じさせずかつ正しい韻律の合成音声を提示することで、上述の合成音声の音質と韻律の正しさを両立するという課題を解決する。

本発明によれば、合成音声を再生する際の利用状況に応じて、これまでより高品質な合成音声の提供が可能となる。

なお、本出願でいうヘッドフォンは、一人の人間の身体に直接接触する形で使用され、音声信号を当該人間の耳に伝達する全ての音響機器を含み、また、本出願でいうスピーカは、人間の身体に接触することなく使用され、主として空気を介して音声信号を一人以上の人間の耳に伝達する全ての音響機器を含むものとする。

本発明の特徴は、音声合成技術の利用状況まで考慮し、合成音声が再生される際の状況に応じて信号処理による韻律変形を行うかどうかを決定することで、音質劣化が目立たないような雑音の多い環境においては韻律を修正して音声を再生することが可能となり、従来より高品質な音声を合成することである。

その結果、各種の情報案内等のサービスにおいて、より高品質な合成音声を提供することが可能となり、また、従来は品質の問題から合成音声を利用できなかった分野においても音声合成技術を利用可能になる。

図１は本発明の音声合成装置の実施の形態の一例を示すもので、図中、１はデータベース（ＤＢ）、２はデータベース検索部（ＤＢ検索部）、３は音声素片選択部、４は状況判定部、５は信号処理部、６は接続部である。以下、各部の動作をその構成とともに説明する。

ＤＢ１は、音素、音韻、単語等の言語を構成する様々な単位の音声素片を含む音声コーパス、詳細には音声波形、音声の韻律情報、発声内容に対応する音素ラベル列、音声素片の境界を示すラベルデータ等、合成のための情報を含む音声コーパスを格納している。

ＤＢ検索部２は、入力されたテキストと、図示しないテキスト解析部によって得られた当該テキストの音素系列、合成の目標となる韻律、使用するデータベースや信号処理方法の指定等、音声合成のための制御情報とを含む入力情報１０１を入力とし、テキスト中の前記単位毎に合成に使用可能な音声素片をデータベース１から検索し、検索した音声素片１０２を検索結果として音声素片選択部３へ渡す。

音声素片選択部３は、ＤＢ検索部２から渡されたテキスト中の前記単位毎の音声素片１０２の中から最適な音声素片の組み合わせを選択する、詳細には音声素片１０２に対し、韻律、音韻環境、接続性、言語情報等の合成音声の品質に関わる要素をコストとして計算し、コストを最小化する音声素片の組み合わせを探索することによって、最適な音声素片の組み合わせ１０３を選択し、これを選択結果として状況判定部４に渡す。

状況判定部４は、音声素片選択部３から渡された最適な音声素片の組み合わせ１０３を、合成音声を再生する際の状況に応じて、後述する如く信号処理部５もしくは接続部６へ渡す。

信号処理部５は、状況判定部４から音声素片の組み合わせ１０３が渡された場合、該組み合わせ１０３に含まれる音声素片のそれぞれに対し、合成目標となる韻律に合わせるために韻律を修正する信号処理を行い、修正済み音声素片の組み合わせ１０４として接続部６へ渡す。

接続部６は、状況判定部４から渡された音声素片の組み合わせ１０３もしくは信号処理部５から渡された修正済み音声素片の組み合わせ１０４を接続し、合成音声（データ）１０５として図示しない再生用の音響機器等へ出力する。

なお、ＤＢ１、ＤＢ検索部２、音声素片選択部３、信号処理部５及び接続部６並びに図示しないテキスト解析部の構成及び動作は、既存の音声合成装置の場合と何ら変わらないので、その詳細は省略する。

図２は状況判定部４における処理の流れを示すもので、以下、これに従って状況判定部４の動作を説明する。

状況判定部４は、音声素片選択部３から最適な音声素片の組み合わせ１０３を受け取るとともに、合成音声を再生する音響機器がヘッドフォンであるかスピーカであるかを示す機器識別情報１０６及び音響機器がスピーカである場合の当該スピーカの設置場所の周囲の雑音レベル（情報）１０７を受信し、機器識別情報１０６から合成音声を再生する音響機器がヘッドフォンであるかスピーカであるかを判定し（ｓ１）、この際、ヘッドフォンであれば信号処理による音質劣化の影響が大きいとして最適な音声素片の組み合わせ１０３を接続部６へ渡す（ｓ２）。

一方、機器識別情報１０６が、合成音声を再生する音響機器がスピーカであることを示している場合は、雑音レベル１０７が予め設定した所定の閾値以下であるかどうかを判定し（ｓ３）、この際、閾値以下であれば信号処理による音質劣化の影響が大きいとして最適な音声素片の組み合わせ１０３を接続部６へ渡し（ｓ２）、また、閾値より大きければ信号処理による音質劣化の影響が小さいとして最適な音声素片の組み合わせ１０３を信号処理部４へ渡す（ｓ４）。

なお、ここでステップｓ３を省略し、合成音声を再生する音響機器がスピーカである場合は、常に音質劣化の影響が小さいとして最適な音声素片の組み合わせ１０３を信号処理部４へ渡すようにしても良い。

また、前述した機器識別情報１０６としては、ユーザから入力された音響機器がヘッドフォンであるかスピーカであるかを示す指定情報や、ヘッドフォンジャックを備えたパソコンやテレビ等の装置における当該ヘッドフォンジャックにヘッドフォンプラグが接続されたかどうかを表す信号等を用いることができ、また、雑音レベル１０７としては、スピーカの設置場所の周囲に配置されたマイク等の出力信号を適当な積分回路等に通した際に得られる、ある程度時間軸上で平均化された信号を用いることができる。

本発明の音声合成装置の実施の形態の一例を示す構成図 図１中の状況判定部における処理の流れ図

符号の説明

１：データベース（ＤＢ）、２：データベース検索部（ＤＢ検索部）、３：音声素片選択部、４：状況判定部、５：信号処理部、６：接続部。

Claims (2)

1. 言語を構成する単位の音声素片を含む音声コーパスを格納したデータベースを用いて、計算機が、入力されたテキスト中の前記単位に対応し、合成に使用可能な音声素片を前記データベースから検索し、該検索した音声素片の中から最適な音声素片を選択し、これを前記テキスト中の全ての前記単位について繰り返し、選択した各音声素片を接続して合成音声とする音声合成方法において、
   計算機が、
   合成音声を再生する音響機器がヘッドフォンかスピーカかを判定し、
   音響機器がヘッドフォンであれば前記選択した各音声素片をそのまま接続して合成音声とし、
   音響機器がスピーカであれば、さらにスピーカの設置場所の周囲の雑音レベルが所定の閾値以下かどうかを判定し、
   閾値以下であれば前記選択した各音声素片をそのまま接続して合成音声とし、
   閾値より大きければ前記選択した各音声素片に韻律を修正する信号処理を行った上で接続して合成音声とする
   ことを特徴とする音声合成方法。
2. 言語を構成する単位の音声素片を含む音声コーパスを格納したデータベースと、入力されたテキスト中の前記単位毎に合成に使用可能な音声素片を前記データベースから検索するデータベース検索部と、該検索したテキスト中の前記単位毎の音声素片の中から最適な音声素片を選択する音声素片選択部と、該選択したテキスト中の各単位に対応する音声素片を接続して合成音声とする接続部とを備えた音声合成装置において、
   音声素片に対して韻律を修正する信号処理を行う信号処理部と、
   合成音声を再生する音響機器がヘッドフォンかスピーカかを判定し、ヘッドフォンであれば音声素片選択部で選択された各音声素片をそのまま接続部へ出力し、スピーカであれば当該スピーカの設置場所の周囲の雑音レベルが所定の閾値以下かどうかを判定し、閾値以下であれば音声素片選択部で選択された各音声素片をそのまま接続部へ出力し、閾値より大きければ音声素片選択部で選択された各音声素片を信号処理部を経由して接続部へ出力する状況判定部を備えた
   ことを特徴とする音声合成装置。
   

Images