JPH11259094A - 規則音声合成装置 - Google Patents

Abstract

(57)【要約】 【課題】音声を規則合成するに当たり、ユーザにとって
違和感のない韻律を自動的に付与する機能や、ユーザが
合成された音声を、違和感のないあるいは自分の好みに
合った韻律に簡便に修正できる機能を提供する。 【解決手段】ユーザの選択した文字列に付与された韻律
情報をユーザの修正内容に応じて修正する機能と、音声
合成部より出力された複数の韻律パタン候補に対し、上
記全韻律パタン候補とは異なる韻律を生成する機能を作
成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字列より合成し
た音声の韻律を、ユーザにとって違和感のない韻律、あ
るいは好みの韻律に修正できる規則音声合成装置に関す
る。

【０００２】

【従来の技術】近年、パソコンや携帯情報機器といった
マルチメディア製品の普及は著しく、一般家庭にも市場
を拡大しつつある。音声メディアに関しても例にもれ
ず、音声合成・認識技術は、パソコンでの利用は言うま
でもなく、携帯情報機器やカーナビゲーションシステム
への組み込みが行われるようになってきた。特に、音声
合成は、パソコンや携帯情報機器上でのメール読み上げ
等に用いられたり、カーナビゲーションでの行き先誘導
や地名発声等に利用されている。

【０００３】

【発明が解決しようとする課題】メールでは、話言葉に
類似した文が多用され、カーナビゲーションでは、人名
や地名等の固有名詞が多用される。話言葉には「いい案
じゃない。」や「食べたそうだ。」に見られるように、
音声で発声されて、韻律を知覚して始めて意味を一意に
解釈できる文が多くある。

【０００４】たとえば、「いい案じゃない。」の場合
は、「感嘆」の意味か「否定」の意味なのかが解釈でき
る。また、固有名詞は、国語辞典やアクセント辞典で網
羅されてはおらず、かつ膨大な数が存在する。韻律に関
しては、例えば「坂田」と「前田」に見られるように、
名前を構成する２つの漢字の後部の漢字が同じ「田」
で、かつ前部の漢字が同じアクセント型を持つ漢字であ
っても、これらの韻律は、「坂田」の場合は、１型アク
セントになり、「前田」の場合は、０型アクセントにな
るといった事象がある。

【０００５】このような文，固有名詞などの韻律が誤っ
ていると、発声内容の理解に支障をきたすため、音声合
成装置では上記韻律を正確に表現する必要がある。しか
しながら、現状の音声合成装置では、前述した文や固有
名詞などがテキストとして与えられた場合、合成処理部
においてデフォルト値として規定された韻律での読み上
げしか行えず、ユーザに違和感を与えていた。さらに、
一般ユーザには、上記韻律を修正し、正しいあるいは好
みに合った韻律として登録することが困難であった。

【０００６】本発明の目的は、一般ユーザにとって簡便
に韻律の誤り個所を修正することができ、さらに、韻律
によって文の意味を判断する場合に、意味をどちらとも
判断不可能な韻律を生成することで韻律誤りを軽減し、
ユーザにとって聴いていて心地よい音声を合成すること
ができる手段を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
の本発明の一構成によれば、文字列を入力する文字列入
力部と、上記文字列から音声の特徴を表すパラメータを
算出する合成パラメータ算出部と、上記パラメータから
音声を合成する音声合成部と、上記音声合成部により合
成された音声を出力する音声出力部と、ユーザが音声入
力を行う音声入力部と、音声をＡ／Ｄ変換し、さらに音
声分析によってピッチなどの音声パラメータを抽出する
音声認識処理部と、上記文字列や韻律パラメータ、合成
された音声等を記憶する情報記憶装置からなる規則音声
合成装置において、ユーザの選択した文字列に付与され
た韻律情報をユーザの修正内容に応じて修正する機能を
備えた規則音声合成装置が提供される。

【０００８】また、音声合成部より出力された複数の韻
律パタン候補に対し、上記全韻律パタン候補とは異なる
韻律を生成する機能を備えた規則音声合成装置が提供さ
れる。また、前記韻律パタン候補をユーザが選択する
と、選択された上記韻律パタン候補を用いた合成音声を
上記音声合成部によって合成し、上記音声出力部から合
成音声を出力する機能を備えた規則音声合成装置が提供
される。

【０００９】また、ユーザが前記音声入力部に対して入
力した発声内容を、上記音声認識処理部で分析し、分析
結果として得られたピッチ情報を用いて前記音声合成部
において音声合成を行う機能を備えた規則音声合成装置
が提供される。

【００１０】また、抽出されたフレーム毎のピッチを、
ある関数によって変換することにより、ユーザの発声帯
域から合成音の音源帯域にシフトする機能を備えた規則
音声合成装置が提供される。

【００１１】

【発明の実施の形態】以下、本発明をシステムに適用し
た場合の一実施形態について図面を参照しながら説明す
る。本システムは、規則音声合成を取り扱うシステムで
あり、与えられたテキストを音声として合成するシステ
ムである。本発明を説明するにあたっての対象例とし
て、電子メール読み上げシステムを取り上げる。

【００１２】図１は、本発明の構成を示すブロック図で
ある。１は、起動されたプログラム処理に応じて処理を
行う情報処理装置、２はデータ等を記憶する主記憶装
置、３はキーボードに代表される文字列を入力し主記憶
装置２内のメモリに転送するための文字列入力装置、４
はマウスに代表される、画面上の位置情報を入力する位
置入力装置、５はマイクロフォンに代表される、ユーザ
が音声を入力する音声入力装置、６はディスプレイに代
表される、情報を視覚的に提示する情報表示装置、７は
６の画面上に表示する情報である文字情報や画像情報等
を制御する画面制御装置、８は出力される音声等のボリ
ューム等を制御する音響出力制御装置、９はスピーカに
代表される、音声等を出力する音響出力装置、１０はデ
ィスク装置である。

【００１３】ディスク１０には、本発明の処理を行う実
行プログラムの他に、計算機システムの基本となる制御
を行うプログラム，処理対象となるデータ，処理時に参
照される辞書，音源データベースなどが格納される。す
なわち１００１はシステム全体を制御するシステムプロ
グラム、１００２はメール表示プログラム、１００３は
文字列入力装置３から入力された文字列から音声の特徴
を表すパラメータを算出し、主記憶装置２内のメモリに
転送する合成パラメータ算出プログラム、1004は後述す
る韻律情報付き単語辞書から韻律パラメータを選択およ
び生成し、さらに生成された上記韻律パラメータと、文
節数から得られるフレーズ成分の韻律パラメータを合算
することにより、文の韻律パタンを生成する韻律パタン
生成プログラム、１００５は合成パラメータ算出部２よ
り出力されたパラメータと、上記韻律パタン生成プログ
ラム１００４で生成された韻律パラメータなどから音声
合成を行い、音声波形を上記メモリに転送する音声合成
プログラム、１００６は上記音響出力装置９から出力さ
れた音声の韻律を修正する機能とユーザインタフェース
を構築する韻律修正プログラム、１００７は上記音声合
成プログラム1005によって前記メモリに転送された音声
波形を音響出力装置に出力する音声出力プログラム、１
００８は上記マイクロフォン５から入力された音声をＡ
／Ｄ変換する音声入力プログラム、１００９は上記音声
入力プログラム１００８によりデジタル音声に変換され
た音声から音の高低を表現するピッチパラメータを抽出
し、上記メモリに格納する音声認識プログラム、１０１
０は単語情報と上記単語に付与する韻律として可能性の
ある韻律とを併記してある韻律情報付き単語辞書、1011
はそして前記音声合成プログラム１００５で利用する音
声合成パラメータのひとつである音源パラメータを格納
している音源データベースである。ここで、図１ではプ
ログラムおよびデータが単独のディスク１０に格納され
るように示したが、それらが複数のディスク装置（図示
せず）に格納されてもよい。

【００１４】実行プログラムおよびアクセスするデータ
は、必要に応じて主記憶装置２上に読み込まれ、情報処
理装置１によって本発明に基づくデータ処理がなされ
る。

【００１５】まず、システムプログラム１００１が起動
される。次に利用者がメール表示プログラム１００２を
起動する。その結果、情報表示装置の画面にメールが表
示される。上記画面は、例えば、図２に示すような画面
となる。２００は読み上げたいメールを選択する場合の
メールメニュー表示ボタン、２０１はメールが表示され
る個所、２０２は読み上げを開始する場合のボタン、そ
して２０３は韻律を修正したい場合に押すボタンであ
る。

【００１６】ここでは、「坂田さんが、それを食べたそ
うだ。」という文について説明を行う。画面に表示され
た上記文字列は、主記憶装置２上のメモリに格納され
る。次に合成パラメータ算出プログラムが起動され、メ
モリより文字列を読み出し、上記文字列を音素に分割す
る。文字列から音素に分割する方法は、例えば、宮崎ら
の方法（「日本文音声出力のための言語処理方式」情報
処理学会論文誌、Vol.２７，No.１１，pp,１０５３−１
０６１，１９８６）を利用する。勿論、上記計算方法は
一例であり、他の音素を分割する方法を用いてもよい。
このようにして、「坂田さんが、それを食べたそう
だ。」という文字列は、「ｓ／ａ／ｋ／ａ／ｔ／ａ／ｓ
／ａ／ｎ／ｇ／ａ，ｓ／ｏ／ｒ／ｅ／ｗ／ｏ／，ｔ／ａ
／ｂ／ｅ／ｔ／ａ／ｓ／ｏ／ｕ／ｄ／ａ．」という音素
に分割され、上記音素分割データはメモリに格納され
る。ここで、「ｓ」「ａ」等は音素を示す記号である。

【００１７】勿論、上記音素記号データは一例であり、
他の音素記号表現を用いてもよい。また、求める単位は
音素単位に限らず、音素を２分割した単位や音節でもよ
い。次に音素に分割された音素分割データをメモリより
読み出し、音素毎の継続時間長の計算を行って、継続時
間長データをメモリへ転送する。音素毎の継続時間長の
計算方法は、例えば、匂坂らの方法（「規則による音声
合成のための音韻時間長制御」電子通信学会論文誌，Vo
l.Ｊ６７−Ａ，No.７，pp.６２９−６３６，１９８４）
を利用する。勿論、上記計算方法は一例であり、他の音
素継続時間長の計算方法を用いてもよい。

【００１８】このような方法で、先の音素分割データ
「ｓ／ａ／ｋ／ａ／ｔ／ａ／ｓ／ａ／ｎ／ｇ／ａ，ｓ／
ｏ／ｒ／ｅ／ｗ／ｏ／，ｔ／ａ／ｂ／ｅ／ｔ／ａ／ｓ／
ｏ／ｕ／ｄ／ａ．」から、例えば、ミリ秒単位の継続時
間長データが計算結果として求められ、メモリに格納さ
れる。勿論、上記継続時間長は一例であり、秒単位等の
継続時間長データを用いてもよい。

【００１９】さらに、上記文字列は形態素解析され、メ
モリに格納される。ここでは、「坂田／さん／が／、／
食べた／そうだ／。」となる。次に、メモリから、文字
列と音素分割データを読み出し、さらに、メモリに格納
されている形態素解析結果と韻律情報付き単語辞書１０
１０との照合を行う。

【００２０】上記韻律情報付き単語辞書の構造は、図３
のようになる。３００は各形態素の種類を示す語種が格
納されているセルである。３０１は単語列を格納するセ
ル、３０２は単語番号を格納するセル、３０３は単語列
をかなで表示した内容を格納するセル、３０４は韻律を
選択する場合の優先順位を示す優先番号セル、３０５は
韻律を識別するための韻律番号セル、３０６は上記韻律
番号ごとのピッチ形状を示すパラメータが格納されてい
るセルである。

【００２１】形態素解析結果と上記単語辞書とを照合
し、抽出された韻律パラメータを用いて付与を行う。固
有名詞「坂田」の形態素に関しては、ここでは、優先順
位１である韻律番号が選択される。つまり、韻律番号１
−４が選択されることになる。生成された韻律データを
メモリへ転送する。また、「食べた」と「そうだ。」に
関しては、「食べた」の韻律番号中の括弧（）内の番号
から、４０−１と３０−１の組み合わせ(４０−１−３
０−１)、４０−２と３０−２の組み合わせ（４０−２
−３０−２）が生成される。

【００２２】このようにして、文字列「坂田さんが、そ
れを食べたそうだ。」は、２種の韻律データＡ「sakata
saNga,sorewo,ta'betasouda.」，韻律データＢ「sakatas
aNga,sorewo,tabetaso'uda.」に変換され、メモリに格
納される。

【００２３】ここで、「’」が付されている音節はアク
セント核のある音節、「，」は句の区切れ、「．」は文
の終端を表す記号である。勿論、上記記号は一例であ
り、他の記号を用いてもよい。この２種の韻律は、それ
ぞれ、「欲求」と「伝聞」を表現している。

【００２４】次に、「欲求」とも「伝聞」とも解釈され
ない、あるいはどちらとも解釈される韻律を生成する。
例えば、上記２種の韻律データＡと韻律データＢの各音
韻のピッチ値を加算し、中間値を算出する。算出された
各音韻のデータを韻律データＣとしてメモリに格納す
る。次に、メモリより、音素分割データと上記韻律デー
タを読み出し、基本周波数の計算を行い、基本周波数デ
ータをメモリに転送する。基本周波数の計算方法は、例
えば、藤崎らの方法（「日本語単語アクセントの基本周
波数パタンとその生成機構」日本音響学会誌２７，pp.
４４５−４５３ ，１９７１）を利用する。勿論、上記
計算方法は一例であり、他の基本周波数の計算方法を用
いてもよい。

【００２５】このようにして、文字列「坂田さんが、そ
れを食べたそうだ。」は、数１の基本周波数データに変
換され、メモリに格納される。

【００２６】

【数１】（Ｆ０〔１〕，Ｆ０〔２〕，...，Ｆ０
〔ｉ〕，...，Ｆ０〔ｐ〕） ここで、Ｆ０〔ｉ〕は基本周波数を表す数値であり、例
えば、１０ミリ秒単位で求められた値である。また、ｐ
は基本周波数を表す値の数である。

【００２７】勿論、基本周波数を表す上記方法は一例で
あり、基本周波数の値を求めることができる方法である
ならば、一定の時間間隔ではない時間単位で基本周波数
を求める方法、基本周波数を求めるモデルのパラメータ
の組で表す方法等でもよい。このようにして算出された
合成パラメータは、メモリへ転送される。

【００２８】続いて、音声合成部４は、メモリから合成
パラメータを読み出し、合成フィルタを駆動することに
より音声合成を行い、音声データを生成する。音声合成
の方法は、例えば、文献「古井：“ディジタル音声処
理”，p.２２，東海大学出版会，１９８５」に示されて
いる方法を利用する。勿論、上記音声合成方法は一例で
あり、他の音声合成方法を利用してもよい。このように
して、生成された音声データはメモリに格納される。次
に、音声出力装置５を通じて、メモリに格納されている
音声データを出力する。以上の手続きを以って、目的の
音声を合成する。

【００２９】また、別例として、「黄色い虎の小屋」を
例にとると、文字列からだけでは、虎が黄色いのか小屋
が黄色いのか判断できない。ただし、「黄色い」と
「虎」との間のポーズ長の伸縮および「虎」のピッチの
変動により、いずれかの解釈を導くことができる。例え
ば、ポーズ長を５０ｍsec とし、図３の５０１−４−１
の韻律番号を用いると「黄色い虎」と判断でき、ポーズ
長を５０ｍsec とし、「虎（tora）」の「ｏ」の立ち上
がりピッチを「黄色い」の最後の音韻である「ｉ」のピ
ッチよりも７０Ｈｚ低くする、ここでは、前記単語辞書
の「虎」の韻律番号３０５の５０１−４−２を採用する
ことにより「小屋」が「黄色い」という解釈を導くこと
が可能となる。また、「黄色い」と「虎」との間ポーズ
長を１００ｍsec 以上にすることによっても、「小屋」
が「黄色い」という解釈を導くことができる。

【００３０】次に、ユーザが、例文「坂田さんが、それ
を食べたそうだ。」中の「坂田」の韻律を修正したい場
合、修正したい個所、この場合「坂田」の個所を、位置
入力装置のひとつであるマウス等で選択し、さらに図２
中に表示されている韻律修正ボタン２０３を押すと、図
４に示すように韻律修正ウインドウ２０５が表示され
る。さらに、前述した韻律パタン候補生成方法および音
声合成方法によって「坂田」の文字列から合成音声デー
タが生成され、生成された上記音声データはメモリに格
納される。ここでは、６種類の韻律パタン候補が生成さ
れ、音声データは６種類生成されたとする。

【００３１】上記ウインドウ中に表示されている韻律パ
タン候補Ａ，韻律パタン候補Ｂ，韻律パタン候補Ｃ，韻
律パタン候補Ｄ，韻律パタン候補Ｅ，韻律パタン候補Ｆ
からひとつを選択すると、メモリに格納されていた音声
データのうちのひとつを音声出力装置５を通じて出力す
る。ユーザが正しい、あるいは好みの韻律と判断した韻
律パタン候補があった場合には、ユーザは、上記韻律パ
タン候補Ａ〜Ｄからひとつを選択し、さらに、「韻律修
正ウインドウ」２０５に表示されている韻律確定ボタン
を押すと、ユーザが選択した韻律パタン候補が前記韻律
情報付き単語辞書１０１０に登録され、韻律優先番号３
０４が「１」として登録される。

【００３２】例えば、韻律パタン候補Ｃを選択した場合
は、韻律番号１−３の韻律優先番号が「１」となる。そ
の結果、次に、上記文字列がメール中に出現した場合に
は、上記登録韻律データを用いて前述した方法で音声合
成が行われる。

【００３３】また、ユーザが音声を入力することによっ
て韻律を修正することも可能である。その場合、まず、
韻律修正希望個所を画面上で指定し、さらに、音声入力
ボタン２０４を押し、ユーザは音声入力装置５を用いて
「さかた」と発声する。発声が終了したら、上記音声入
力ボタンを押す。例えば、音声はサンプリング周波数１
６キロヘルツ，量子化ビット数１６ビット，モノラル音
声で取り込む。次に音声入力装置５により、音声データ
をメモリに転送する。

【００３４】次に、音声パラメータを分析する。ここ
で、音声認識プログラム１００９が起動され、メモリよ
り音声データを読み出し、基本周波数の分析を行い、基
本周波数データ（Ｆ'０

〔０〕，Ｆ'０〔１〕，...，Ｆ'
０〔ｉ〕，...，Ｆ'０〔ｋ〕）を抽出する。さらに、上
記基本周波数データを、前記音源データベースに格納さ
れている音源周波数領域と同領域にする。音源データベ
ースにおける基本周波数中心値をＭ_Ｐ とすると、数２
により、音源に適合した基本周波数データが算出され
る。

【００３５】

【数２】Ｆ'０〔ｐ〕＝ΣＦ'０〔ｐ〕／ｐ−Ｍ＿Ｐ＋
Ｆ'０〔ｐ〕 上記基本周波数データＦ'０〔ｐ〕をメモリに転送す
る。ここで、Ｆ'０〔ｉ〕は基本周波数の値であり、ｋ
は基本周波数データの値の数である。基本周波数の分析
の方法は、例えば、ＬＰＣ分析の残差信号の自己相関関
数より基本周波数を求める方法を利用する。勿論、上記
計算方法は一例であり、他の基本周波数分析方法を利用
してもよい。このようにして、音声「さかた」の基本周
波数データがメモリに格納される。上記データを前記韻
律情報付き単語辞書に登録する。登録する場合、韻律優
先番号は「１」として登録され、韻律記号は、前記基本
周波数が時系列で記憶される。

【００３６】

【発明の効果】このように本発明によれば、ユーザの選
択した文字列に付与された韻律情報をユーザの修正内容
に応じて修正することができる。また、音声合成部より
出力された複数の韻律パタン候補に対し、上記全韻律パ
タン候補とは異なる韻律を生成することができる。ま
た、前記韻律パタン候補をユーザが選択すると、選択さ
れた上記韻律パタン候補を用いた合成音声を上記音声合
成部によって合成し、上記音声出力部から合成音声を出
力することができる。

【００３７】また、ユーザが前記音声入力部に対して入
力した発声内容を、上記音声認識処理部で分析し、分析
結果として得られたピッチ情報を用いて前記音声合成部
において音声合成を行うことができる。また、抽出され
たフレーム毎のピッチを、ある関数によって変換するこ
とにより、ユーザの発声帯域から合成音の音源帯域にシ
フトすることができる。

【図面の簡単な説明】

【図１】本発明が適用された規則音声合成装置の一実施
形態のシステム構成図。

【図２】図１に示した規則音声合成装置の画面表示の一
例を示した説明図（１）。

【図３】韻律情報付き単語辞書の構造の一例を示した説
明図。

【図４】図１に示した規則音声合成装置の画面表示の一
例を示した説明図（２）。

【符号の説明】

１…情報処理装置、２…主記憶装置、３…文字列入力装
置、４…位置情報入力装置、５…音声入力装置、６…情
報表示装置、７…表示制御装置、８…音響出力制御装
置、９…音響出力装置、１０…ディスク、１００１…シ
ステムプログラム、１００２…メール表示プログラム、
１００３…合成パラメータ算出プログラム、１００４…
韻律パラメータ生成プログラム、１００５…音声合成プ
ログラム、１００６…韻律修正プログラム、１００７…
音声出力プログラム、１００８…音声入力プログラム、
１００９…音声認識プログラム、１０１０…韻律情報付
き単語辞書、１０１１…音源データベース。

Claims (5)

【特許請求の範囲】
1. 【請求項１】文字列を入力する文字列入力部と、上記文
   字列から音声の特徴を表すパラメータを算出する合成パ
   ラメータ算出部と、上記パラメータから音声を合成する
   音声合成部と、上記音声合成部により合成された音声を
   出力する音声出力部と、ユーザが音声入力を行う音声入
   力部と、音声をＡ／Ｄ変換し、さらに音声分析によって
   ピッチなどの音声パラメータを抽出する音声認識処理部
   と、上記文字列や韻律パラメータ、合成された音声等を
   記憶する情報記憶装置からなる規則音声合成装置におい
   て、ユーザの選択した文字列に付与された韻律情報をユ
   ーザの修正要求内容に応じて修正する機能を備えた規則
   音声合成装置。
2. 【請求項２】請求項１に記載の装置において、音声合成
   部より出力された複数の韻律パタン候補に対し、上記韻
   律パタン候補の全てとは異なる韻律パタンを生成する機
   能を備えた規則音声合成装置。
3. 【請求項３】請求項１に記載の装置において、前記韻律
   パタン候補をユーザが選択すると、選択された上記韻律
   パタン候補を用いた合成音声を上記音声合成部によって
   合成し、上記音声出力部から合成音声を出力する機能を
   備えた規則音声合成装置。
4. 【請求項４】請求項１に記載の装置において、ユーザが
   前記音声入力部に対して入力した発声内容を、上記音声
   認識処理部で分析し、ピッチの時系列を抽出し、上記ピ
   ッチ情報を用いて前記音声合成部において音声合成を行
   う機能を備えた規則音声合成装置。
5. 【請求項５】請求項４に記載の装置において、抽出され
   たピッチの時系列を、予め定めた関数によって変換する
   ことにより、ユーザの発声帯域から合成音の音源帯域に
   シフトする機能を備えた規則音声合成装置。