JP3616250B2 - 合成音声メッセージ作成方法、その装置及びその方法を記録した記録媒体 - Google Patents
合成音声メッセージ作成方法、その装置及びその方法を記録した記録媒体 Download PDFInfo
- Publication number
- JP3616250B2 JP3616250B2 JP13932398A JP13932398A JP3616250B2 JP 3616250 B2 JP3616250 B2 JP 3616250B2 JP 13932398 A JP13932398 A JP 13932398A JP 13932398 A JP13932398 A JP 13932398A JP 3616250 B2 JP3616250 B2 JP 3616250B2
- Authority
- JP
- Japan
- Prior art keywords
- prosodic
- layer
- control command
- control
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
Description
【発明の属する技術分野】
この発明は合成音声メッセージ編集、作成方法、及びその方法を実施する装置とその方法を記録した記録媒体に関し、特に、所望の韻律特性を有する音声メッセージを容易に、かつ短時間に合成する編集、作成方法に関する。
【0002】
【従来の技術】
会話における発声者の音声からは、話された言葉の言語上の意味だけでなく、発声者の感情、意志、等が感じられる。音声に含まれる言語上の意味以外のこのような情報を言語外情報と呼ぶ。聞き手はこれらの言語外情報を、発声される音声の抑揚、アクセント、継続時間長などから感じ取ることができる。従来、TTS(Text−To−Speech)と呼ばれるテキストからの音声メッセージ合成方法としては、テキストを音声に変換する「規則による音声合成方法」が研究開発されている。この方法は、録音された音声を編集、合成する場合とは異なり、出力音声に制限がないことや、後でメッセージの一部を変更する場合に、原発声者の声質と同じにするため、変更する部分について原発声者の音声を必要とするという問題は解決される。しかしながら、韻律生成規則が朗読調音声の韻律特性を基準としているため、合成音声が朗読調で単調な音声になってしまう。実際の会話においては、会話音声の韻律特性は話者の感情、意志により大きく変化する場合が多い。
【0003】
【発明が解決しようとする課題】
そこで、規則による合成音声を、より自然な音声に近づけるため、韻律特性を編集することが試みられているが、そのような編集を自動化することが難しく、利用者が経験と知識に基づいて編集を行う必要がある。その編集においては、イントネーション、合成しようする単位音声の基本周波数(ピッチ)、振幅値(パワー)、継続時間長、その他の韻律パラメータを任意に修正する構成を取り入れることが難しく、合成された音声中の単調な朗読調に聞こえる箇所の韻律パラメータを任意に修正して所望の韻律特性を有する音声メッセージを得ることが困難であった。
【0004】
また、韻律パラメータの修正を容易にするため、合成により得られた韻律パラメータをディスプレイ上に図形の形に表示し、マウス、その他のポインティングツールにより視覚的に修正変更作業を行い、合成音声の出力による確認を行いながら、所望の言語外情報を有した音声メッセージを合成するというGUI(グラフィックユーザインタフェース)を使った方法も提案されている。しかしながら、この方法は韻律パラメータに視覚的に修正を加えるというものであるため、実際の修正作業に経験と音声学的な知見とが必要とされ、通常のオペレータには困難な作業である。
【0005】
米国特許4,907,279、日本国特許出願公開5−307396、3−189697及び5−19780にはいずれも、テキスト中にアクセント、ポーズなどの韻律制御コードを挿入し、それに基づいて合成音声の編集を行うことが示されているが、言語外情報と韻律制御による効果の関係の知識を有しない者にも容易に、かつ自由に言語外情報の編集ができるようにすることは困難である。
【0006】
この発明の第1の目的は、音声メッセージを合成するオペレータが、所望の韻律パラメータを有する音声メッセージを容易に合成することができる合成音声メッセージ作成、編集方法、及びその方法を実施する装置を提供することである。
この発明の第2の目的は、感情、態度、理解の度合いなどの言語情報には含まれない情報(言語外情報)を多様に表現できる合成音声メッセージ作成、編集方法、及びその方法を実施する装置を提供することである。
【0007】
この発明の第3の目的は、合成音声メッセージの言語外情報を編集する際に、韻律パラメータの制御による効果が視覚的に把握し易い合成音声メッセージ作成、編集方法、及びその方法を実施する装置を提供することである。
【0008】
【課題を解決するための手段】
この発明の第1の観点によれば、テキストに対応して規則により合成された音声メッセージの言語外情報を編集する方法は、以下のステップを含む:
(a) 入力テキスト中の、言語外情報を与えるべき文字又は文字列の位置に、上記言語外情報に対応する韻律制御のために、セマンティック層(S層と呼ぶ)とインタープリテーション層(I層と呼ぶ)とパラメータ層(P層と呼ぶ)とからなる階層形記述言語による上記S層及び/又はI層の韻律制御コマンドを挿入し、上記P層は少なくともピッチ及びパワーを含む制御可能な韻律パラメータのグループであり、上記I層は上記P層の韻律パラメータに対する制御の詳細を指定する韻律制御コマンドのグループであり、上記S層は言語外情報をそれらの意味を表す語句又は単語で表し、上記I層のそれぞれ少なくとも1つの韻律制御コマンドからなるコマンドのセットを実行させる韻律制御コマンドのグループであり、上記S層の各韻律制御コマンドに対応する上記I層のセットの韻律制御コマンドの関係と、上記I層の韻律制御コマンドの、上記P層の韻律パラメータに対する制御の詳細を表す韻律制御規則が予め韻律特性規則データベースに格納されており、
(b) 上記テキストから規則による合成音声の韻律パラメータ列を求め、
(c) 上記韻律パラメータ列中の上記言語外情報を与えるべき文字又は文字列に対応する韻律パラメータを上記韻律制御コマンドにより上記韻律特性規則データベースの韻律制御規則を参照して制御し、
(d) 上記制御された韻律パラメータを含む上記韻律パラメータ列から音声を合成し、合成音声メッセージを出力する。
【0009】
この発明の第1の観点による合成音声メッセージの編集装置は、
入力されたテキスト中に挿入する韻律制御コマンドを、セマンティック層とインタープリテーション層とパラメータ層とからなる階層形記述言語により記述して入力するテキスト・韻律制御コマンド入力部と、上記P層は少なくともピッチ及びパワーを含む制御可能な韻律パラメータのグループであり、上記I層は上記P層の韻律パラメータに対する制御の詳細を指定する韻律制御コマンドのグループであり、上記S層は言語外情報をそれらの意味を表す語句又は単語で表し、上記I層のそれぞれ少なくとも1つの韻律制御コマンドからなるコマンドのセットを実行させる韻律制御コマンドのグループであり、
上記テキストから上記韻律制御コマンドを分離するテキスト・韻律制御コマンド分離部と、
分離された上記テキストから「規則による合成」方法に基づいて韻律パラメータ列を生成する音声合成情報変換部と、
分離された上記韻律制御コマンドからその韻律制御コマンドのテキスト中における位置情報を抽出する韻律制御コマンド解析部と、
上記テキスト中の位置情報および分離された上記韻律制御コマンドに基づいて韻律パラメータ列を制御修正する韻律特性制御部と、
上記韻律特性制御部からの修正された上記韻律パラメータ列に基づいて合成音声を生成する音声合成部、
とを含む。
【0010】
この発明の第2の観点によれば、テキストに対応して規則により合成された音声メッセージの言語外情報を編集する方法は、以下のステップを含む:
(a) 上記テキストから規則による合成音声の韻律パラメータ列を求め、
(b) 複数の予め決めた言語外情報を特徴付ける韻律特性をそれぞれ基本韻律制御規則とし、上記韻律パラメータ列中の、言語外情報を与えるべき文字又は文字列に対応する韻律パラメータを上記基本韻律制御規則の少なくとも1つにより修正し、
(c) 上記修正された韻律パラメータを含む上記韻律パラメータ列から音声を合成し、合成音声メッセージを出力する。
【0011】
この発明の第2の観点による合成音声メッセージの編集装置は:
上記テキストから規則による合成音声の韻律パラメータ列を求める構文解析手段と、
複数の予め決めた言語外情報を特徴付ける韻律特性をそれぞれ基本韻律制御規則とし、上記韻律パラメータ列中の、言語外情報を与えるべき文字又は文字列に対応する韻律パラメータを上記基本韻律制御規則の少なくとも1つにより修正する韻律特性制御手段と、
上記修正された韻律パラメータを含む上記韻律パラメータ列から音声を合成し、合成音声メッセージを出力する合成音声生成手段、
とを含む。
【0012】
この発明の第3の観点によれば、入力されたテキストに対応し、規則により合成される音声の言語外情報を編集する方法は、以下のステップを含む:
(a) テキストを分析し、規則による音声合成に基づいて韻律パラメータ列を得て、
(b) 上記韻律パラメータ列中の、言語外情報を与えるべき文字又は文字列に対応する韻律パラメータを、上記言語外情報の特徴的な韻律パラメータによる変形情報により修正し、
(c) 上記修正された韻律パラメータにより音声を合成し、
(d) 上記韻律パラメータの変形情報を、上記テキストの文字の位置、大きさ、書体、表示色などの文字変換情報に変換し、
(e) 上記文字変換情報にもとづき、上記テキストの文字を変換して表示する。
【0013】
この発明の第3の観点による合成音声の編集装置は、
合成音声制御記述言語情報を入力する入力手段と、
上記入力された合成音声制御記述言語情報を、テキストと、韻律制御コマンドに分離する分離手段と、
上記分離された韻律制御コマンドの内容と、そのテキスト上の位置情報とを解析するコマンド解析手段と、
音声の合成規則が格納された第1データベースと、
上記テキストに対し、上記第1データベースを参照して音声を規則合成するための韻律パラメータを生成する構文解析手段と、
上記韻律制御コマンドの韻律特性規則が格納された第2データベースと、
上記第2データベースを参照して上記解析された韻律制御コマンド及び位置情報にもとづき、上記韻律パラメータを変形する韻律特性制御手段と、
上記変形された韻律パラメータにもとづき、上記テキストを音声合成する合成音声生成手段と、
上記韻律パラメータと文字変換特性規則を格納した第3データベースと、
上記変形された韻律パラメータを、上記第3データベースを参照して、文字の位置、大きさ、書体、表示色などの文字変換情報に変換する文字変換情報生成手段と、
上記文字変換情報により上記テキストの文字を変換する文字変換手段と、
上記変換されたテキストを表示する表示器と、
を含む。
【0014】
上記第3の観点による編集装置において、上記第3データベースに上記韻律制御コマンドと文字変換特性規則を格納し、上記文字変換情報生成手段により、上記韻律制御コマンドに基づき上記第3データベースを参照して上記テキストを文字変換情報に変換してもよい。
上記第1、第2お呼びだ3の観点による編集方法を実施する手順を記録した記録媒体もそれぞれこの発明に含まれる。
【0015】
【発明の実施の形態】
第1実施例
実音声による対話において、話者は感情、態度、理解など言語情報に含まれてない様々な情報、ニュアンスを表現するため、発声する言語音声に強さ、速度、ピッチの変化を与え、それにより会話の表現力を高めており、それが自然な会話音声であると認識される。そこで、テキストからの規則による音声合成においても、所望の言語外情報を付加することが試みられている。それらはいずれも特定な種類の音韻情報を制御するコマンドをテキスト中に挿入するため、ユーザは言語情報に付いての知識を要求される。
【0016】
日常対話の有する情報或はニュアンスをテキスト音声合成装置を使用して伝えようとする場合、合成音声の韻律パラメータを詳細に制御することが必要となる。一方において、音声合成或はテキスト音声合成装置に関する知識を有しないユーザにとっては、ピッチ或は持続時間というものが音声の情報或はニュアンスの伝達にどの様に影響するのか見当がつかない。そこで、ユーザの使い勝手を考慮したこの発明による階層型音声合成制御記述言語MSCL(Multi−layered Speech/Sound Synthesis Control Language)をまず説明する。
【0017】
先のユーザの使い勝手とは大きく分けて二つある。一つは、テキスト音声合成装置に入力されるテキストを簡単に記述することができ、専門的知識がなくても利用目的だけを考慮して記述することができるという初心者向けの使い易さである。インターネットにおいて文字の大きさと位置関係を規定するHTMLにおいては、例えばタグと呼ばれる<H1>と</H1>でテキストの文字列を囲むことにより、章立ての大きさで文字を表示することができ、誰にでも同じホームページを作成することができる。この様なデフォルトのルールは初心者に好都合であるばかりではなく、記述作業量の軽減にもつながる。もう一つのユーザの使い勝手とは、詳細な制御の記述をすることができるという熟練者向けの使い易さである。先に述べた方法は文字の形状の変更及び向きを変えたりすることはできない。より目立つホームページを作成したい場合、文字列一つについてみても、様々な変化をつけたいというニーズが生ずる。専門の知識が必要であっても、より完成度の高いものの実現が望まれる場合がある。
【0018】
この発明の第1実施例では、音声の言語外情報を制御するという立場に立ち、使い勝手の前者を実現するものとして、様々な言語外情報をそれぞれ直接的に表す単語又は語句が意味的な韻律制御コマンドとして集められたSemantic層(以下、S層と称す)を設け、使い勝手の後者を実現するものとしてS層の各韻律制御コマンドを解釈し、音声の韻律パラメータに対する直接的な制御を規定するための韻律制御コマンドの集合であるInterpretation層(以下、I層と称す)を設ける。更に、I層の各制御コマンドによる制御の対象となる韻律パラメータの集合を Parameter層(以下、P層と称す)とする。この第1実施例は、図1に示すように、これら3層を階層構造として有する韻律制御記述体系を使用して、テキストに韻律制御コマンドを挿入する。
【0019】
P層は主として次に述べるI層の韻律制御コマンドにより選択、制御される韻律パラメータの集まりであり、これらの韻律パラメータは、音声合成システムで用いられる音韻毎のピッチ、パワー、継続時間、音韻情報などの制御対象となる韻律特性のパラメータである。韻律パラメータはMSCLによる韻律制御の最終的制御対象であり、このパラメータを基に合成音声を制御する。P層の韻律パラメータは音声の基本的パラメータであり、同様の韻律パラメータを使用する他の様々な音声合成システムや音声符号化システムにこの発明の合成音声編集技法を適用可能にするインタフェース的性格を有している。P層の韻律パラメータは既存の音声合成装置を使用しているところから、その音声合成装置のスペックに依存している。
【0020】
I層はP層の韻律パラメータに対し、各パラメータの値やパラメータの時間変化パターン(韻律特性)、アクセントなどの制御を行うコマンドで構成される。I層のコマンドにより音韻レベルにおける韻律パラメータの詳細な物理量の制御を行って、図1のI層コマンドグループ内に示すような、例えば「ビブラート」、「鼻濁音化」、「ダイナミックレンジ大」、「ゆっくり」、「ピッチを高く」などのコマンドを実現することができる。それらを実現するために、P層の対応する韻律パラメータのパターンを制御する記号による記述をI層の韻律制御コマンドとして使用する。I層の韻律制御コマンドからP層の韻律パラメータへのマッピングは、それぞれ予め決めたデフォルトの制御規則によって行われる。I層は次に述べるS層の韻律制御コマンドを解釈してP層に制御方法を送る層でもある。即ち、I層のコマンドはP層における制御対象となる各韻律パラメータ(1つ又は複数)に対する制御を指定する記号をセットとして有する。また、各韻律の時間変化パターンの指定、その補間方法の指定もすることができる。S層にある各コマンドは全てI層のコマンドのセットに変換され、更に詳細な韻律制御をすることができるに到る。I層のコマンド例とその制御対象としている韻律パラメータ及びその制御内容を表1に示す。
【0021】
【表1】
選択されたS層の1つの韻律制御コマンドに対応するI層の韻律制御コマンドは1つとは限らず、同時に複数あってもよい。ここで使用されているI層のコマンドを記述する記号に付いては後述するが、{}内のXXXXは制御対象であるテキストの文字又は文字列を表す。
【0022】
I層の韻律制御コマンドの英語テキストへの適用例を次ぎに示す。
Will you do [F0d](2.0){me} a [〜/]{favor}
コマンド[F0d] はピッチのダイナミックレンジを次ぎに続く(2.0) で指定される2倍に設定する。このコマンドの制御対象はすぐ後に続く{me}である。次のコマンド[〜/]は最終母音のピッチパターンを上昇させるコマンドであり、制御対象はすぐ後に続く{favor}である。
【0023】
S層は意味的に韻律制御を行う。S層は、感情、気分、意志、性格、性別、老若など、表現しようとする言語外情報を具体的に表す言葉、例えば図1のS層に示す ”怒り”、”喜び”、”弱い”、”泣き”、”Itemize”、”疑い”などの集合である。これらの単語の先頭にマーク”@” が着けられて、S層の韻律制御コマンドとして使用され、これらのコマンドの後に続く{}内の文字列に対する韻律制御を指定する。例えば、 ”怒り” の発声を担うコマンドはピッチ、パワーのダイナミックレンジを大きくとり、 ”泣き” の発声を担うコマンドは各音韻毎のピッチパターンを揺らし、特徴的な文末ピッチパターンを持たせる。”Itemize” は箇条項目の読み上げ調を指定するコマンドであり、疑問文であっても文末のピッチパターンを降下させる。コマンド ”弱い” はピッチ、パワーのダイナミックレンジを小さくし、コマンド ”疑い” は語尾のピッチを上昇させる。これらの制御例はこれらのコマンドが日本語音声の編集に適用される場合の例である。この様に、S層のそれぞれのコマンドはI層の1つ又は複数の韻律制御コマンドを予め決めたパターンに従って実行させる。S層は韻律その他の音声学的な知識を必要とせずに感情、文章構造という様な直観に依存する制御記述をすることができる。また、HTML、LaTeXその他のコマンドと対応することもできる。
表2はS層の韻律制御コマンドの用例を示す。
【0024】
【表2】
上述のMSCLを使った音声合成の実施例を図2のフローチャートと図3の合成音声編集装置を参照して次に説明する。ただし、ここでは、挿入する制御コマンドがS層の韻律制御コマンドである場合に付いて説明する。
S1:合成編集しようとする音声メッセージに対応する日本語テキストをキーボードその他の入力装置を介して入力する。
【0025】
S2:韻律特性の修正を行う文字あるいは文字列に対し、それらを指定して韻律制御コマンドを入力し、テキスト中に挿入する。
S3:テキストと韻律制御コマンドを一括してテキスト・韻律制御コマンド分離部12に入力し、テキストと韻律制御コマンドを分離する。その時、テキスト中における韻律制御コマンドの位置情報も得る。
【0026】
S4:分離された韻律制御コマンドから韻律制御コマンド解析部15において韻律制御コマンドの制御手順を抽出をする。
S5:構文解析部13において音声合成規則データベース14を参照してテキスト文字列を意味のある単語列に分解する。次いで、それらの各単語における文字列に対する韻律パラメータを得る。
S6:韻律特性制御部17は韻律制御コマンド、位置情報及び制御手順を参照し、制御対象となっている文字列に対応する韻律パラメータ列を、韻律特性規則データベース16に規定されている個別に指定されたI層の韻律制御コマンドに対応する韻律制御規則あるいはS層の韻律制御コマンドで指定されたI層の韻律制御コマンドのセットに対応する韻律制御規則に従って韻律パラメータを制御する。
【0027】
S7:合成音声生成部18は制御された韻律パラメータをもとに合成音声を生成する。
次に、図3を参照して編集装置の実施例を具体的に説明する。テキスト・韻律制御コマンド入力部11に対して、キーボードその他のエディタを介して、テキスト中に韻律制御コマンドを含む日本語テキストが入力される。例えば、「わたしのなまえはナカジマです。」という日本語テキストについてはMSCLのI層とS層による記述法により次の如き記述がなされる。
ここで、[L] は継続時間長を表し、対応する中括弧{}内のフレーズの発声時間を指定する。[>] はピッチのフレーズ成分(あるいは指定)を表し、{}内の文字列の発声基本周波数を150Hz から80Hzに変化させることを指定する。[/−\]はピッチの局所変化を示している。/、−、\は、それぞれ基本周波数の時間変化を上昇、平坦、下降に指定する。これによりパラメータの時間変化が記述できる。ところで、{わたしのなまえは}については、基本周波数を150Hz から80Hzに変化させることを指定する[>](150, 80)という韻律制御コマンドの中に、更に、ピッチを局所変化させる[/−\](120) という韻律制御コマンドが挿入されていて、韻律制御コマンドが入れ子の状態になっている。[#] は合成音声に無音区間を挿入することを指定する。この場合の無音区間は1moraである。 ”mora” は平均的1音節の長さを単位とする。[@Onegai] はS層の韻律制御コマンドであり、ここでは「祈願」する様な場合の音声の韻律パラメータとして韻律制御コマンドを組み合わせたものをもっていることになる。
【0028】
以上の入力情報は、テキスト・韻律制御コマンド分離部12に入力され、ここにおいてテキストと韻律制御コマンド情報とに分離され、構文解析部13と韻律制御コマンド解析部15に送り込まれる。構文解析部13に送り込まれたテキストは音声合成規則データベース14を参照して周知の「規則による合成」方法に基づいて文節の区切り情報、発音列情報、アクセント情報に変換され、韻律パラメータに変換される。韻律制御コマンド解析部15に送り込まれた韻律制御コマンド情報から韻律制御コマンドとテキストの位置情報が抽出される。韻律制御コマンド及び位置情報は、韻律特性制御部17に与えられる。韻律特性制御部17は韻律特性規則データベース16を参照し、与えられたI層及び/又はS層のコマンドの規則により、制御対象としているテキスト中のどの韻律パラメータをどの様に制御するかの指定を得て、それに従って韻律パラメータを変化、修正する。この規則による制御は、音声の振幅値、基本周波数、継続時間長、その他の韻律パラメータの値を指定し、あるいはこれに加えて韻律パラメータの時間変化パターン(韻律パターン)の形状も指定する。韻律パラメータの値の指定は、テキストから「規則による合成」により得られる韻律パラメータ列に変化の割合又は差分を与える相対制御と、パラメータのとるべき絶対的な値を指定する絶対制御の二通りがある。例えば前述のピッチレンジを2倍にするコマンド[F0d](2.0)は前者の例であり、ピッチを150Hz から80Hzに変化させるコマンド[>](150, 80)は後者の例である。
【0029】
韻律特性規則データベース16には、各韻律制御コマンドに対応して韻律パラメータをどのように変化、修正するかを決めた規則が格納されている。韻律特性制御部17で制御されたテキストの韻律パラメータは合成音声生成部18に与えられて合成音声信号とされ、スピーカ19に与えられる。
予め、S層の韻律制御コマンドで表される様々な言語外情報を含む音声、即ち、S層の韻律制御コマンドに対応する恐れ、怒り、否定、等様々な表情を含む音声を入力音声分析部22で分析し、それによって得られるそれぞれの種類毎に共通な韻律特性の組み合わせ(ピッチ、パワー、継続時間長のパターンの組み合わせであり、その組み合わせを韻律制御規則あるいは韻律特性規則と呼ぶ)が韻律特性/制御コマンド変換部23により、各S層のコマンドに対応するI層の韻律制御コマンドのセットとして得られており、それらS層のコマンドとそれぞれ対応するI層のコマンドセットが韻律特性規則として韻律特性規則データベース16に蓄積されている。
【0030】
更に、一旦、韻律特性規則データベース16に蓄積された韻律特性パターンは、表示形合成音声編集部21により必要に応じてS層のコマンドを指定することにより選択して韻律特性/制御コマンド変換部23に読みだし、その韻律特性パターンを表示形合成音声編集部21に表示し、その表示画面上でGUIにより韻律パラメータに対し修正を加え、韻律特性制御コマンド変換部23から韻律特性規則データベース16に書き込むことにより対応する韻律特性パターンを更新することもできる。韻律特性/韻律制御コマンド変換部23により得られた韻律制御コマンドを韻律特性規則データベース16に蓄積する場合、この発明の合成音声編集装置の利用者はI層の頻繁に使われる韻律制御コマンドの組み合わせを、S層の1つの新しいコマンドとして所望の名称を付けて登録してもよい。この登録機能は、ユーザが、既に登録されているS層の韻律制御コマンドでは得られないある言語外情報を必要とする毎に、I層の多くの韻律制御コマンドを駆使してその言語外情報を含む合成音声を得たりする無駄をなくしてくれる。
【0031】
上述したこの発明による階層形音声合成制御記述言語による合成音声に対する言語外情報の付与は、どの様な種類の母国語による音声でも有している基本的な韻律パラメータを制御することにより実現しており、また、どの様な言語においても話者の感情や意志などがその人の音声の韻律特性に変化を与えることは共通の事実である。従って、この発明による階層形音声合成制御記述言語をどの様な種類の言語における合成音声の編集にも適用できることは明かである。
【0032】
この様に、Semantic層、Interitation層、及びParameter層による階層形音声合成制御記述言語を使用してテキストに韻律制御コマンドを書き込むので、一般のオペレータもS層の韻律制御コマンドの記述により容易に合成音声の言語外情報の編集を行うことができ、一方、高度な知識を有するオペレータは、S層とI層の韻律制御コマンドを使って記述することにより、より詳細な編集を行うことができる。
【0033】
上述のMSCLで扱う声質には、男女声の性別の音声の他に、ピッチの高い声から低い声までのいくつかの声質を指定できるようになっている。これは、単純にピッチ周波数の高低を変えるだけでなく、高い声質あるいは低い声質の周波数スペクトルに合わせてスペクトル全体を変化させることであり、この機能により複数の話者を実現できる。また、MSCLでは音楽、環境雑音、肉声などの音データファイルの入力が可能である。より効果的なコンテンツ作成には、音声の他に音楽や肉声などの音情報が不可欠であるためである。MSCLにおいて、これら音情報のデータは合成音声の付加情報として扱う。
【0034】
図2で説明したこの第1実施例による合成音声編集方法は、その処理手順をプログラム(ソフトウエア)として構築し、音声合成装置や韻律編集装置のコンピュータに接続されるディスク装置や、フロッピーディスクやCD−ROM等の可搬記憶媒体に格納し、合成音声編集作成を行う際にインストールする事により、容易に言語外情報を合成音声に付与する編集が可能である。
【0035】
上述では、実施例を主に日本語を例に説明し、幾つかの英語への適用例を示したが、一般に日本語の場合、テキストを仮名で表記すると、ほとんどの文字は1音節となるので、テキストにおける文字位置と音節の対応が比較的簡単に決められる。従って、韻律制御対象の音節の位置と対応する文字の位置から判定するのは比較的容易である。しかしながら、英語の場合のように、日本語以外の言語においては単語内の音節の位置がその単語の文字列内の位置と単純に対応しない場合が多くある。そのような言語にこの発明を適用するには、その言語によるテキスト中の各単語に対し、発音が記載されたその言語による辞書を参照して、その単語の文字列に対する音韻位置を検出すればよい。
第2実施例
第2実施例による合成音声編集方法を実施する装置としては図3に示すものを使用することができるので、以下の第2実施例の説明は図3を参照して説明する。前述のように、図3の韻律特性規則データベース16には、I層の韻律制御コマンドに対応した韻律パラメータに対する制御規則のみならず、S層の各韻律制御コマンドに対応してそれらを解釈したI層の韻律制御コマンドの組が格納されている。ここで、I層のコマンドによる韻律パラメータの制御として、単語音声に関するピッチパターン及び継続時間長に関するいくつかの制御例を述べ、各制御による合成音声の心的な傾向を調べることでS層のコマンドの作成を行う例を説明する。
【0036】
まず、ピッチパターンの制御方法は、アクセントの変化などの聴覚的な違和感がない範囲を制御の基準として、パターンを図4に示すように、単語音声の韻律パターンの始端(第1音節の母音の始端)からピッチのピークまでの区間T1と、ピークから最終母音の開始までの区間T2と、最終母音区間T3の3つに分割し、以下に示すような6種類の変形操作(a)〜(f)をすることが可能であり、それらを図中に破線のパターンa,b,c,d,e,fで示す。実線は変形しない原ピッチパターン(例えば構文解析により音声合成規則データベース14から得られた標準ピッチパターン)を示す。
【0037】
(a) ピッチパターンのダイナミックレンジを大きくする。
(b) ピッチパターンのダイナミックレンジを小さくする。
(c) 語尾の母音のパターンを単調に下降するパターンにする。
(d) 語尾の母音のパターンを単調に上昇するパターンにする。
(e) 第1音節の母音の始端からパターンのピークまでを上に凸のパターンにする。
【0038】
(f) 第1音節の母音の始端からパターンのピークまでを下に凸のパターンにする。
継続時間長の制御方法は、(g) 各音素を均一に縮めるか、あるいは (h)伸ばす場合の2種類の操作が可能である。
各制御方法による心的な影響を調べた結果を以下に述べる。日本語単語音声に上記の制御方法(a)〜(f)によりピッチパターンの変形操作を行い、各合成音声を聴取して感じ取られる心情(言語外情報)は以下のようである。
【0039】
(1) 強さや積極的な姿勢が感じられる。
(2) 弱々しさや消極的な姿勢が感じられる。
(3) 了解を示している状態が感じられる。
(4) 疑問を示している状態が感じられる。
(5) 安心感や穏やかさが感じられる。
【0040】
(6) 不安感や嫌々感が感じられる。
被験者7名に日本語単語音声 ”仕方ない” のピッチパターンを前述の方法(a) 〜(f) により変形操作を行った場合の合成音声を聴取し、それぞれ感じ取られた上記心情(1)〜(6)に対する回答率を図5に示す。この実験結果から、図4に示したピッチパターンに対する6種類の変形(a)〜(f)は、かなり高い割合で上記心情(1)〜(6)と認識されていることがわかる。そこで、この第2実施例では、これらのピッチパターンの変形をそれぞれの心情(1)〜(6)に対応するものと決め、基本韻律制御規則として使用する。
【0041】
同様に、単語音声に継続時間長の伸縮操作を行い、各合成音声を聴取し、合成音声から感じる発声者の心情は以下のようである。
【0042】
(10)せかしている。
被験者7名に日本語単語音声 ”青い” の韻律パターンに対する継続時間長のg)伸長、(h) 短縮変形操作を行い、合成音声に対し感じ取られた上記心情(7)〜10)の回答率を図6に示す。この実験結果も、継続時間長を伸ばすことは、はっきり話そうとする意志が感じられ、縮めることは、あわてて話していると感じられることを示している。従って、継続時間長の伸縮もこれらの心情に対応した基本韻律制御規則として使用する。
【0043】
以上の結果に基づいて、ピッチパターンの変形操作と継続時間長の伸縮操作を組み合わせることにより、感じる発声者の心情を調べた。
前述の日本語単語音声”仕方ない”を用いて被験者7名に聴取させ、連想する心情を自由に表記させた。その結果を図7に示す。この結果から、基本韻律制御規則の組み合わせによって様々な心情を表現でき、かつ、回答率からこれらの心情は、高い共通性を持って感じられることがわかった。また、これらの心情は、韻律特性パターンの持つ言語外情報の影響の相互作用によってなされる結果であるといえる。
【0044】
以上のように、ピッチパターンの変形(ダイナミックレンジの変形及びエンベロープの変形)と継続時間長の伸縮を組み合わせることで多種多様な言語外情報を合成音声に付与できることがわかる。基本操作の心的な影響を考慮し、組み合わせ操作を行うことで、所望の言語外情報を容易に生成できる可能性もあり、これをそれぞれの心情に対応する韻律特性規則として図3の韻律特性規則データベース16に蓄積することが可能である。これらの韻律特性規則はGUIを用いた韻律編集装置のための操作基準としても有効であると考えられる。また、韻律特性パターンとしてピッチパターンと継続時間長のみならず、振幅パターン(パワーパターン)の変形も基本韻律制御規則として組み合わせることにより、更に多様な表情を合成音声に付加することができる。
【0045】
そこで、この発明の第2の実施例においては、図3において、予め表現可能なそれぞれの心情に対応する基本韻律制御規則であるピッチパターンの変形と、パワーパターンの変形と、継続時間の伸縮の少なくとも1つ以上の組み合わせを韻律特性規則として予め韻律特性規則データベース16に蓄積しておく。テキストから音声を合成する際に、テキスト中の単語音声毎に、表現しようとする心情に対応する韻律特性規則(即ち、ピッチパターンの変形と、パワーパターンの変形と、継続時間長の伸縮との組み合わせ)を韻律特性規則データベース16から読みだし、韻律特性制御部17でテキスト音声単語の韻律パターンに適用することにより、合成音声に所望の表情(言語外情報)を付加することができる。
【0046】
上述の第2実施例の説明から明らかなように、第2実施例では、テキストに対する韻律制御のコマンド記述法としてI層レベルだけでの記述でもよいが、勿論、第2実施例で示した多様な表現が可能なそれぞれの心情を実現する韻律特性規則をMSCL記述法のS層における韻律制御コマンドとして規定し、第1実施例と同様にMSCL記述に基づいて図3の装置により音声合成を実施してもよい。その場合の記述例を次の表3に示す。
【0047】
【表3】
表3はこの第2実施例の実験結果により作成したS層の5つのコマンド例と、それらに対するI層のコマンドでの解釈を示す。{}内の ”ほんと” はコマンドの制御対象の語句例である。表3中、[L] は、継続時間長の指定を行い、その数値は、伸縮の倍率を示している。[F0d] は、ピッチパターンのダイナミックレンジの指定を行い、その数値は、レンジの倍率を示している。[/V]は、始端からピークまでのピッチパターンを下に凸に変形する指定を行い、その数値は変形の度合いを示している。
【0048】
以上説明したように、この発明の第2実施例では、入力されるテキスト中に韻律パラメータを修正する韻律制御コマンドを記述し、そのコマンドに対応する韻律特性規則が指定する韻律特性パターンの変形組み合わせによりテキストの韻律パラメータを修正する。韻律特性規則は、音声のパワーパターン変化、ピッチパターン変化、継続時間長変化の組み合わせを指定し、或はこれに加えて韻律パラメータの時間変化パターンの形状をも指定する。
【0049】
韻律パラメータの値の指定の仕方として、「規則による合成」により得られた韻律パラメータに基づいてパラメータに変化修正を与える相対制御と、パラメータの絶対的な修正を行なう絶対制御の2種類を有する。また、頻繁に使われる韻律制御コマンドの組み合わせ集約は韻律制御コマンドを韻律特性規則データベース16に蓄積するに際して実施され、新しい韻律制御コマンドとして韻律パラメータの指定に使用する。更に、集約した韻律制御コマンドの組み合わせを合成音声の韻律パラメータの修正に使用する。例えば、MSCLにおけるS層の各韻律制御コマンドに対応して基本制御規則の組合せを決め、予め韻律特性規則データベース16に格納しておく。あるいは、韻律特性規則データベース16には基本韻律制御規則のみを格納しておき、S層の各韻律制御コマンドに対応するI層の1つ又は複数の韻律制御コマンドにより基本韻律制御規則の組合せを指定し、データベース16から読み出しても良い。上述の第2実施例では、テキストに対する韻律制御の記述方としてMSCL記述方を使用する場合で説明したが、他の記述方を使用しても良い。
【0050】
上述した第2実施例は特定な韻律特性の組み合わせを韻律特性規則とみなすことに基づいており、日本語以外の様々な母国語における韻律パラメータの制御にもこの第2実施例を適用することができることは明かである。
上述したこの第2実施例による合成音声編集方法は、その処理手順をプログラム(ソフトウエア)として構築し、音声合成装置や韻律編集装置のコンピュータに接続されるディスク装置や、フロッピーディスクやCD−ROM等の可搬記憶媒体に格納し、合成音声編集作成を行う際にインストールする事により、容易に言語外情報を合成音声に付与する編集が可能である。
第3実施例
ところで、図3のテキスト・韻律制御コマンド入力部11により、この発明のMSCL記法を使ってテキストに韻律制御コマンドを挿入した場合に、それぞれのコマンドによりテキストの合成音声の継続時間長、ピッチパターン、振幅パターンなどがどのように制御されるかを視覚的に確認できると都合がよい。ここでは、コマンドで制御されたテキストの韻律特性パターンの表示例と、その表示を実現するための構成について以下に説明する。
【0051】
まず、継続時間長の韻律特性に関して調べた実験結果について示す。この継続時間長を操作した場合、時間長が長い場合はゆっくりとした音声に、また短い場合には早口の音声に聞こえる。実験として、日本語単語 ”うらやましい” の表記文字列の間隔を変えることにより長さを変えた同じ単語を複数並べて表記し、上記単語の合成音を、その継続時間長を普通、長い、短いの3種類に変化させて生成し、14人の被験者に聞かせ、表記されたどの長さの単語にマッチするかを投票させた結果、次のようなほぼ予測された結果が得られた。
【0052】
継続時間長が短い:文字間隔が狭い(86%)
継続時間長が長い:文字間隔が広い(100%)
次に、基本周波数(ピッチ)及び振幅値(パワー)の韻律特性に関して調べた実験結果について示す。前記と同じ単語音声 ”うらやましい” に対し、その合成音声のピッチ及びパワーを以下のように設定した9つの合成音声を生成し、それぞれの合成音声に対し、図8に示す9種類の表記(a)〜(i)のうちどの表記がマッチするか、アンケート用紙を用いて14人の被験者に投票させた(複数投票可)。その結果を次表4に示す。
【0053】
【表4】
次に、抑揚の強弱について調べた実験結果を示す。抑揚とはピッチの単語内での変化の大きさ(ダイナミックレンジ)を示し、抑揚が大きければ「強め、積極性」を感じ、小さければ「弱め、消極性」を感じる。単語音声 ”うらやましい” に対し、その合成音声の抑揚を普通、強、弱の3種類に変化させ、図9に示す単語表記のどれにマッチするか評価実験を行った結果、次のように結論できた。
【0054】
抑揚が強→ピッチパターン(変化時系列)に合わせて文字位置を変化させ、更に傾きを加える(71%)
抑揚が弱→語頭及び語尾の文字位置を高くする(43%)
次に、合成音声を生成するために入力する日本語文章と、その入力テキストに対し、MSCL記法による韻律制御コマンドを挿入した混合記述と、その挿入した韻律制御コマンドに対し上述の実験結果を適用した場合の表示例をそれぞれ図10A,10B,10Cに示す。
【0055】
図10B中の[L]は、音声の継続時間長の制御コマンドであり、次の時間は8500msで全文章を終了させるという指示を与える。[/−|\]はピッチパターンを制御するコマンドであり、各記号は順にピッチパターンの上昇(/)、平坦(−)、アンカー(|)、下降(\)を示している。次の数値(20)は1音韻当り20Hzの変化率で周波数を変化させることを示し、アンカー ”|” によって最後の文字の音節のピッチパターンを降下させることを示している。[#]はポーズを挿入するコマンドであり、1モーラ程度の無音区間を挿入する。[A]は振幅値を制御するコマンドであり、振幅値をこれまでより、つまり ”この鳥” に対しては1.8 倍にする。以上はI層のコマンドである。また、[@naki] は、嘆きの感情をもつ音声を生成するためのS層のコマンドである。
【0056】
この記述例に対し、この実験に基づく記述法を適用した表示例を図10Cを参照して説明する。入力した日本語の文字列が横方向に配列されるが、その各行の始めに表示される ”−” なる表示1は、編集操作以前の合成結果のピッチ周波数の位置を示す。つまり、ピッチ周波数に関する編集操作を行なわない場合、各行の文字列は[−]の位置を各文字の中心の高さとして一列に並ぶ。ピッチ周波数の変更を行った場合は、その周波数の高低に従い各文字中心の表示の高さが”−”に対して変わる。
【0057】
各行の文章の下部にこれに沿って記されている参照番号2で示す点 ”.” は、その間隔によって各文字の平均的な継続時間長Tm (日本語の場合1音節長、即ち1mora)を示す。継続時間長の操作が行われない場合、表示される文字列の各文字はその文字の有する音節数と同じmora数が与えられる。継続時間長の変更を行った場合は、その時間伸縮に合せて文字列の文字の表示間隔が変化する。各行の終りに記されている参照番号3で示す記号 ”。” は、各行の終点を示している。その位置まで音韻が継続していることを示す。
【0058】
図10C中の最初の行の参照番号4で示す3つの文字が参照番号1で示す記号”−”の位置から線形に上昇している。これは、入力されたMSCLのコマンドの「20Hz毎のピッチパターンの上昇」に基づいていることを示している。同様に参照番号5で示す4つの文字は平坦のピッチパターンを、参照番号6で示す2つの文字は降下のピッチパターンを示している。
【0059】
参照番号7で示す記号 ”#” はポーズの挿入されている事を示す。参照番号8で示す3つの文字はその前後の文字と比べてサイズの大きな文字になっている。これは振幅値が増大していることを示している。
第2行目の参照番号9で示す2モーラの空白は、継続時間長を制御するコマンドに従い、その直前の文字がT1(3 mora=3Tm)だけ継続することを示している。
【0060】
最終行の参照番号10で示す5つの文字はフォントが他のものと比べ異なっている。この例では文字列10以外はゴシック体であるが文字列10は線の細いフォントとしている。このフォントはS層のコマンドを導入していることを示している。文字の高さは、S層のコマンドに従って変化した結果を示している。
以上の全体の処理手順の例を図11に示す。まず音声合成すべき日本語テキスト、例えば図10Aに示した文章を入力し(S1)、この文章を表示器に表示し、これを見ながら、通常(従来)の規則合成により得られる韻律特性の修正を行なう文字に対し、その修正を行うべき韻律制御コマンドを入力し、例えば図10Bに示す情報、つまり合成音声制御記述言語情報にする(S2)。
【0061】
この情報、つまり日本語テキストに韻律制御コマンドを組込んだ情報を、この発明が適用された装置に入力する(S3)。
この入力された情報に対し、分離手段により日本語テキストと、韻律制御コマンドとを分離する(S4)。この分離は、MSCL記述の記述手法と、字句解析手法とから、各コードが韻律制御コマンドに属するか日本語テキストに属するかを判別して行う。
【0062】
分離された韻律制御コマンドを解析して、その韻律制御コマンドがどのようなものであって、日本語テキスト上のどの位置(文字乃至文字部分)に対するものかの参照位置情報、更に韻律制御コマンドの実行順序を抽出する(S5)。なお、得られた順にコマンドを実行する場合は、韻律制御コマンドの実行順序の抽出は不用である。またステップS4で分離された日本語テキストを日本語構文解析などを行い従来の規則合成法にもとづき、韻律パラメータを求める(S6)。
【0063】
この韻律パラメータを、ステップS5で求めた韻律制御コマンドとその参照位置情報を用いて文字の位置、大きさなどの情報に変換し(S7)、その変換された位置、大きさなどの情報をもとにステップS4で分離された日本語テキストの対応文字などを変換し(S8)、表示器へ表示し、例えば図10Cに示した日本語文章表示(発音表記を除く)を得る(S9)。
【0064】
またステップS5で得た韻律制御コマンド及び位置情報を参照して、ステップS6で得た韻律パラメータを制御し(S10)、その制御された韻律パラメータにもとづき、ステップS4で分離された日本語テキストに対する音声合成信号を生成し(S11)、その音声合成信号を音声として放音する(S12)。ステップS9で表示されている状態を見ながら、ステップS12で放音された音声を聴いて、目的とする表現が、つまりMSCL記述が正しく行われたかを確認することができる。
【0065】
この装置の機能構成は図12に示すように、テキスト・コマンド入力部11により、例えば図10Bに示したMSCL記述されたデータが入力され、これはテキスト・コマンド分離部12により、日本語テキストと、韻律制御コマンドとに分離される。この日本語テキストは語構文解析部13で音声合成規則データベース14を参照して韻律パラメータが作られる。一方、韻律制御コマンド解析部15により、分離された韻律制御コマンドの内容と、その文字列(テキスト)上の位置情報を抽出し、これら韻律制御コマンドとその参照位置情報とにより、MSCLの韻律特性規則データベース16を参照して、構文解析部13よりの韻律パラメータに対する変更が韻律特性制御部17により行われる。この変更された韻律パラメータを用いて前記分離された日本語テキストに対する合成音声信号の生成が、合成音声生成部18により行われ、この合成音声信号がスピーカ19により音声として放音される。
【0066】
一方、韻律特性制御部17で変更された韻律パラメータと、日本語テキストの各文字の位置、大きさなどの文字変換情報への変換規則がデータベース24に格納されており、このデータベースを参照して、文字変換情報生成部25により、韻律特性制御部17よりの変更された韻律パラメータが、文字の位置、大きさなど文字変換情報に変換され、この文字変換情報により文字変換部26において、日本語テキストの各文字に対する変換がなされ、その変換された日本語テキストが表示器27に表示される。
【0067】
ここに示したMSCLの制御コマンドの文字情報への変換規則は、使用者によって変更可能である。文字の高さの変化率や文字の大きさ、表示色は使用者によって設定でき、ピッチ周波数の変化を文字の大きさで表現したり ”.” や ”−” といった記号は、利用者の要求によって変更可能である。図12に示した構成において、破線で示すように、構文解析部13よりの日本語テキストと、韻律制御コマンド解析部15で得られた解析結果とを文字変換情報生成部25に入力し、データベース24には韻律パラメータ文字変換特性規則の代わりに韻律制御コマンド文字変換特性規則を格納しておき、例えば韻律制御コマンドがピッチを変化させるものであれば、それに応じた文字高さの変更情報を、日本語テキストの対応する文字に与え、韻律制御コマンドが振幅値を増大する場合は、日本語テキストの対応する部分に文字を大きくする情報を与える。なお、日本語テキストを文字変換部26にそのまま与えると表示器27には例えば図10Aに示すように表示される。
【0068】
前述した表示文字の大きさとそれに関連付けて感じ取られる音声の大きさの関係、及び文字の表記位置の高さとそれに関連付けられて感じ取られる音声ピッチの高さの関係は、日本語に限らず、様々な母国語に普遍的に当てはまるものと考えられる。従って、第3実施例は、日本語以外の様々な母国語に適用できることは明かである。この様な文字の大きさ、配置などによる韻律パラメータの制御の表現をそれぞれの母国語に適用する場合、第3実施例で示した表記方法を、更にその母国語の文字の特徴に合った表記方法と組み合わせて使用してもよい。
【0069】
図11で説明したこの発明による第3実施例の合成音声編集方法は、その処理手順をプログラム(ソフトウエア)として構築し、音声合成装置や韻律編集装置のコンピュータに接続されるディスク装置や、フロッピーディスクやCD−ROM等の可搬記憶媒体に格納し、合成音声編集作成を行う際にインストールする事により、容易に言語外情報を合成音声に付与する編集が可能である。
【0070】
なお、上記第3実施例では、合成音声に言語外情報を付与する方法として、MSCLによる方法を示したが、この例に限らず、GUIによる編集装置により韻律特性を変更する、音声合成手段から出力される韻律パラメータを直接操作するなどの方法も可能である。
発明の効果
この発明の第1の実施例の合成音声メッセージ編集、作成方法及び装置によれば、「規則による合成」の発する合成音声が不自然であったり、或は朗読調であるところからユーザに単調な印象を与える場合、オペレータはMSCL記述によりテキスト中に韻律制御コマンドを挿入することにより韻律の修正の必要な文字列に対して所望の韻律パラメータを容易に付与することができる。
【0071】
また、相対的な制御手法により全ての合成音声を修正する必要はなく、「規則による合成」の結果について必要な箇所を必要なだけ修正するものであるので、音声メッセージ合成に必要とされる労力を大幅に軽減することができる。
更に、実際の音声或は表示型合成音声編集装置から得られた韻律パラメータに基づいて生成した韻律制御コマンドを蓄積、利用することにより、格別の音声学的専門知識を必要とせずに、一般のユーザによっても容易に所望の音声メッセージを合成することができる。
【0072】
この発明の第2実施例による合成音声メッセージ編集作成方法、装置によれば、複数種類の韻律パターン変化の組み合わせによる制御コマンドのセットを韻律特性規則としてそれぞれの種類の言語外情報と対応させてデータベースに蓄積してあるので、入力テキストに対し、様々な言語外情報を簡単に付加することができる。
【0073】
この発明の第3実施例による合成音声メッセージ編集作成方法、装置によれば、韻律特性の操作(編集)を施した文字の並び方によって、視覚的に操作(編集)内容を確認でき、より効率的な修正作業を行える。長い文章を編集する場合は、確認の全ての音声を聞く事なく、修正の必要な文字列を容易に見いだすことができる。
【0074】
また、文字を印字する方法と同等であるため、格別の表示および印刷方法を必要としない。合成音声編集システムが極めて簡易なものとなるという利点も有している。
表示機構にポインティングデバイスなどを受け付ける機能を付し、文字位置などの情報を変更する機構を備えることで、使用者がGUIを用いた編集と同様の効果を得られるという利点もある。
【0075】
更にこの発明は従来の韻律特性の詳細な表示からも容易に変換できるため、詳細な制御の必要な場合にも対応できる。この発明により、一般のユーザによっても効率的に所望の音声メッセージを作成することができる。
この発明を日本語以外の言語、例えばドイツ語、フランス語、イタリア語、スペイン語、韓国語、その他に適用可能なことは明かである。
【図面の簡単な説明】
【図1】この発明の第1実施例におけるMSCL記述法を説明するための図。
【図2】第1実施例における合成音声の編集処理手順を示すフロー図。
【図3】第1実施例の合成音声編集装置を示すブロック図。
【図4】第2実施例におけるピッチパターンの変形を説明するための図。
【図5】第2実施例におけるピッチパターンの変形による聴取結果を示す表。
【図6】第2実施例における継続時間長伸縮操作による聴取結果を示す表。
【図7】第2実施例におけるピッチパターン変形と継続時間長伸縮の組み合わせによる聴取結果を示す図。
【図8】第3実施例においてピッチとパワーの韻律特性に関する聴取実験に使用したコマンド表記例。
【図9】第3実施例においてピッチのダイナミックレンジに関する聴取実験に使用したコマンド表記例。
【図10】Aは第3実施例における入力日本語文章例を示す図、BはそのMSCL記述例を示す図、Cは第3実施例によるコマンドの効果の表示例を示す図。
【図11】第3実施例による編集と表示の処理手順を示すフロー図。
【図12】第3実施例による合成音声編集装置を示すブロック図。
Claims (8)
- ニュアンスを表現する言語外情報を直接的に表す単語又は語句が意味的な韻律制御コマンドとして集められた集合をセマンティック層(S層と呼ぶ)とし、
上記言語外情報を実現するための韻律パラメータを制御し、記号により記述された韻律制御コマンドが集められた集合をインタープリテーション層(I層と呼ぶ)とし、
韻律特性のパラメータ(韻律パラメータ)が集められた集合をパラメータ層(P層と呼ぶ)とし、
韻律制御コマンドが文字又は文字列に付されたテキストに対応する合成音声メッセージを作成する方法であり、
S層の各韻律制御コマンドと、上記S層の韻律制御コマンドによって実行するI層の韻律制御コマンドのセットとの関係と、上記I層の韻律制御コマンドの韻律パラメータに対する制御の詳細を表す韻律制御規則とが格納された韻律特性規則データベースを用い、以下のステップを含む
(a)上記テキストを文字列と、韻律制御コマンド及びその韻律制御コマンドが付けられた文字又は文字列の文字列中における位置情報とに分離し、
(b)分離された文字列を、規則による合成音声の韻律パラメータ列に変換し、
(c)韻律特性規則データベースを参照して、分離された韻律制御コマンド中のS層のものに対し指定されたI層中の韻律制御コマンドを求め、その指定された韻律制御コマンドに対し指定された韻律パラメータに対する制御を求め、
(d)その指定された韻律パラメータに対する制御を、上記韻律パラメータ列中の、S層中の韻律制御コマンドの位置情報と対応する韻律パラメータに対して行い、
(e)上記制御された韻律パラメータを含む上記韻律パラメータ列から音声を合成し、合成音声メッセージを出力する。 - 請求項1記載の合成音声メッセージ作成方法において、上記ステップ(d) における韻律パラメータの制御は、上記ステップ(b) で得られた上記韻律パラメータ列に対し、パラメータの値を相対的に変化させる制御である。
- 請求項1記載の合成音声メッセージ作成方法において、上記ステップ(d)における韻律パラメータの制御は、上記ステップ(b) で得られた上記韻律パラメータ列に対し、パラメータの絶対的値を指定して変化させる制御である。
- 請求項1乃至3のいずれかに記載の合成音声メッセージ作成方法において、上記ステップ(c)は上記テキストの言語の発音を有する辞書を参照して上記文字又は文字列に対応する音韻及び音節の位置を検出し、上記韻律制御コマンドで処理する。
- ニュアンスを表現する言語外情報を直接的に表す単語又は語句が意味的な韻律制御コマンドとして集められた集合をセマンティック層(S層と呼ぶ)とし、
上記言語外情報を実現するための韻律パラメータを制御し、記号により記述された韻律制御コマンドが集められた集合をインタープリテーション層(I層と呼ぶ)とし、
韻律特性のパラメータ(韻律パラメータ)が集められた集合をパラメータ層(P層と呼ぶ)とし、
制御を行うべき文字又は文字列に対応してS層とI層とP層とからなる階層形記述言語による韻律制御コマンドが挿入されたテキストを入力するテキスト・韻律制御コマンド入力部と、
言語外情報に対応する韻律制御のためのS層の各韻律制御コマンドと、上記S層の韻律制御コマンドによって実行するI層の韻律制御コマンドのセットとの関係と、上記I層の韻律制御コマンドの韻律パラメータに対する制御の詳細を表す韻律制御規則とが格納された韻律特性規則データベースと、
上記テキストから上記韻律制御コマンドを分離するテキスト・韻律制御コマンド分離部と、
分離された上記テキストから「規則による合成」方法に基づいて韻律パラメータ列を生成する音声合成情報変換部と、
分離された上記韻律制御コマンドからその韻律制御コマンドのテキスト中における位置情報を抽出する韻律制御コマンド解析部と、
上記テキスト中の位置情報および分離された上記S層の韻律制御コマンドにより、韻律特性規則データベースの韻律制御規則を参照して言語外情報を与えるべき文字又は文字列に対応する韻律パラメータを制御し、上記I層の韻律制御コマンドにより、韻律特性規則データベースの韻律制御規則を参照して言語外情報を与えるべき文字又は文字列に対応する韻律パラメータまたは韻律パラメータの時間変化またはアクセントの制御を行う韻律パラメータを制御する韻律特性制御部と、
上記韻律特性制御部からの修正された上記韻律パラメータ列に基づいて合成音声を生成する音声合成部、
とを含む合成音声メッセージ作成装置。 - 請求項5記載の合成音声メッセージ作成装置において、
言語外情報を含む入力音声を分析して韻律パラメータを得る入力音声分析部と、
上記入力音声の韻律パラメータを韻律制御コマンドのセットに変換する韻律特性/韻律制御コマンド変換部と、
その変換された韻律制御コマンドのセットを上記言語外情報と対応して格納する韻律特性データベースと、
を更に含む。 - 請求項5記載の合成音声メッセージ作成装置において、更に表示画面とGUI手段を有する表示型合成音声編集部が設けられ、上記表示型合成音声編集部は、上記韻律特性データベースから所望の言語外情報に対応する韻律制御コマンドのセットを上記韻律特性/韻律制御コマンド変換部に読みだし、上記表示画面に表示し、上記GUI手段により上記韻律制御コマンドのセットを修正し、上記韻律特性データベースの対応する韻律制御コマンドセットを更新するものである。
- 請求項1〜4のいずれかに記載した合成音声メッセージ作成方法の各処理手順をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13932398A JP3616250B2 (ja) | 1997-05-21 | 1998-05-21 | 合成音声メッセージ作成方法、その装置及びその方法を記録した記録媒体 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-131109 | 1997-05-21 | ||
JP13110997 | 1997-05-21 | ||
JP9-247270 | 1997-09-11 | ||
JP24727097 | 1997-09-11 | ||
JP9-308436 | 1997-11-11 | ||
JP30843697 | 1997-11-11 | ||
JP13932398A JP3616250B2 (ja) | 1997-05-21 | 1998-05-21 | 合成音声メッセージ作成方法、その装置及びその方法を記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11202884A JPH11202884A (ja) | 1999-07-30 |
JP3616250B2 true JP3616250B2 (ja) | 2005-02-02 |
Family
ID=27471590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13932398A Expired - Lifetime JP3616250B2 (ja) | 1997-05-21 | 1998-05-21 | 合成音声メッセージ作成方法、その装置及びその方法を記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3616250B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19841683A1 (de) * | 1998-09-11 | 2000-05-11 | Hans Kull | Vorrichtung und Verfahren zur digitalen Sprachbearbeitung |
JP2001209820A (ja) * | 2000-01-25 | 2001-08-03 | Nec Corp | 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体 |
JP4636673B2 (ja) * | 2000-11-16 | 2011-02-23 | パナソニック株式会社 | 音声合成装置および音声合成方法 |
JP2002318593A (ja) * | 2001-04-20 | 2002-10-31 | Sony Corp | 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 |
JP2003233388A (ja) * | 2002-02-07 | 2003-08-22 | Sharp Corp | 音声合成装置および音声合成方法、並びに、プログラム記録媒体 |
JP2003295882A (ja) | 2002-04-02 | 2003-10-15 | Canon Inc | 音声合成用テキスト構造、音声合成方法、音声合成装置及びそのコンピュータ・プログラム |
JP2004226505A (ja) * | 2003-01-20 | 2004-08-12 | Toshiba Corp | ピッチパタン生成方法、音声合成方法とシステム及びプログラム |
US7558389B2 (en) * | 2004-10-01 | 2009-07-07 | At&T Intellectual Property Ii, L.P. | Method and system of generating a speech signal with overlayed random frequency signal |
JP5268731B2 (ja) * | 2009-03-25 | 2013-08-21 | Kddi株式会社 | 音声合成装置、方法およびプログラム |
JP5376643B2 (ja) * | 2009-03-25 | 2013-12-25 | Kddi株式会社 | 音声合成装置、方法およびプログラム |
JP2013218406A (ja) * | 2012-04-05 | 2013-10-24 | Nippon Telegraph & Telephone West Corp | タイミング編集装置、タイミング編集方法及びコンピュータプログラム |
JP5605731B2 (ja) * | 2012-08-02 | 2014-10-15 | ヤマハ株式会社 | 音声特徴量算出装置 |
JP2014038282A (ja) * | 2012-08-20 | 2014-02-27 | Toshiba Corp | 韻律編集装置、方法およびプログラム |
JP6091938B2 (ja) * | 2013-03-07 | 2017-03-08 | 株式会社東芝 | 音声合成辞書編集装置、音声合成辞書編集方法及び音声合成辞書編集プログラム |
JP6260228B2 (ja) * | 2013-11-27 | 2018-01-17 | 日産自動車株式会社 | 音声合成装置及び方法 |
JP6260227B2 (ja) * | 2013-11-27 | 2018-01-17 | 日産自動車株式会社 | 音声合成装置及び方法 |
JP6291808B2 (ja) * | 2013-11-27 | 2018-03-14 | 日産自動車株式会社 | 音声合成装置及び方法 |
JP5802807B2 (ja) * | 2014-07-24 | 2015-11-04 | 株式会社東芝 | 韻律編集装置、方法およびプログラム |
KR101755807B1 (ko) | 2015-07-10 | 2017-07-10 | 김성일 | 휴대단말의 화면에 문자를 표시하는 방법 및 저장매체 |
JP6483578B2 (ja) | 2015-09-14 | 2019-03-13 | 株式会社東芝 | 音声合成装置、音声合成方法およびプログラム |
JP6922306B2 (ja) * | 2017-03-22 | 2021-08-18 | ヤマハ株式会社 | 音声再生装置、および音声再生プログラム |
-
1998
- 1998-05-21 JP JP13932398A patent/JP3616250B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11202884A (ja) | 1999-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6226614B1 (en) | Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon | |
JP3616250B2 (ja) | 合成音声メッセージ作成方法、その装置及びその方法を記録した記録媒体 | |
US8219398B2 (en) | Computerized speech synthesizer for synthesizing speech from text | |
Cahn | The generation of affect in synthesized speech | |
JP4125362B2 (ja) | 音声合成装置 | |
JP4745036B2 (ja) | 音声翻訳装置および音声翻訳方法 | |
JP5198046B2 (ja) | 音声処理装置及びそのプログラム | |
JP2006227589A (ja) | 音声合成装置および音声合成方法 | |
JPH0335296A (ja) | テキスト音声合成装置 | |
Ogden et al. | ProSynth: an integrated prosodic approach to device-independent, natural-sounding speech synthesis | |
JP4409279B2 (ja) | 音声合成装置及び音声合成プログラム | |
JPH08335096A (ja) | テキスト音声合成装置 | |
JPS62138898A (ja) | 音声規則合成方式 | |
JP2006349787A (ja) | 音声合成方法および装置 | |
JP4736524B2 (ja) | 音声合成装置及び音声合成プログラム | |
KR20080011859A (ko) | 문말 억양 예측 방법 및 이를 기반으로 하는 음성합성 방법및 시스템 | |
JP2001242881A (ja) | 音声合成方法及び装置 | |
KR0173340B1 (ko) | 텍스트/음성변환기에서 억양패턴 정규화와 신경망 학습을 이용한 억양 생성 방법 | |
Mamatov et al. | Formation of a Speech Database in the Karakalpak Language for Speech Synthesis Systems | |
JPH07134713A (ja) | 音声合成装置 | |
JPH04199421A (ja) | 文書読上げ装置 | |
JPH06214585A (ja) | 音声合成装置 | |
Cahn | The Generation of A ect in Synthesized Speech | |
Lutfi | Adding emotions to synthesized Malay speech using diphone-based templates | |
JPH07140999A (ja) | 音声合成装置及び音声合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041104 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |