JP5802807B2 - 韻律編集装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、韻律編集装置、方法およびプログラムに関する。

近年、テキストから音声を合成する音声合成技術の発展により、人間の発声に近い自然な合成音が得られるようになっている。

近年の音声合成システムでは、人間の音声を録音した音声コーパスから、韻律または声質の統計モデルを学習する方法が一般的に用いられている。たとえば、韻律の統計モデルとして、決定木モデルや隠れマルコフモデルなどが知られている。これらの統計モデルを用いることで、学習コーパスには存在しない任意のテキストのイントネーションもある程度自然に再現できる。

しかし、統計モデルは音声コーパスの多くの発話から平均的な韻律特徴を学習するために、統計モデルから生成した合成音声のイントネーションは単調になりやすい。そこで、統計モデルにより生成される韻律のパターンを可視化してユーザに提示し、ユーザがマウスなどのデバイスを用いてグラフィカルに編集できるようにしたシステムがある。

特開２００８−２６８４７７号公報 特許第４２９６２３１号明細書

しかし、グラフィカルな編集では、合成音声として出力可能であれば、どのような韻律でも作成できる。よって、韻律パターン編集は編集の自由度が大きくなるが、逆に妥当ではない韻律のパターンも作成できてしまう。つまり、音声に関する知識がないユーザが、意図した韻律のパターンを作成するのは非常に難しいという問題がある。

また、自由度の問題点を解決するために自由度が非常に大きいパラメータ空間を二次元座標平面に圧縮する方法もある。しかし、編集できるのはフレーズの韻律のパターンではなく、合成音の声質であるため編集対象が異なり、テキストの任意のフレーズの基本周波数や継続時間長を編集する目的には使えないという問題がある。

本開示は、上述の課題を解決するためになされたものであり、容易に韻律を編集できる韻律編集装置、方法およびプログラムを提供することを目的とする。

本実施形態に係る韻律編集装置は、第１選択部、格納部、検索部、正規化部、マッピング部、表示部、第２選択部、復元部および置換部を含む。第１選択部は、音素からなるフレーズをテキストから選択フレーズとして選択する。格納部は、フレーズに関する属性を示す属性情報と、該フレーズの韻律の型式を示しかつ該フレーズの韻律を表現するパラメータが該フレーズの音素数以上の要素数を含む１以上の韻律パターンとを対応づけて格納する。検索部は、前記選択フレーズと属性情報が一致する前記１以上の韻律パターンを前記格納部から検索し、韻律パターン集合として得る。正規化部は、前記韻律パターン集合に含まれる韻律パターンをそれぞれ正規化する。マッピング部は、正規化された前記韻律パターンを、前記要素数よりも少ない数の座標で表現される低次元空間にそれぞれマッピングし、マッピング座標を生成する。表示部は、前記マッピング座標を表示する。第２選択部は、前記マッピング座標から選択された座標を選択座標として得る。復元部は、前記選択座標に応じて韻律パターンを復元し、復元韻律パターンを得る。置換部は、前記選択フレーズに基づいて生成される合成音声の韻律を前記復元韻律パターンに置換する。

第１の実施形態に係る韻律編集装置を示すブロック図。 韻律パターンＤＢに格納されるフレーズの属性情報の一例を示す図。 韻律パターンＤＢに格納される韻律パターンの一例を示す図。 基本周波数、継続時間長およびパワーの関係性を示す図。 韻律編集装置の動作を示すフローチャート。 韻律パターン正規化部における正規化処理を示す図。 韻律パターンマッピング部のマッピング処理を説明するための図。 韻律パターンマッピング部のマッピング処理を説明するための図。 表示部に表示されるマッピング座標の一例を示す図。 表示部に表示されるユーザインタフェースにおける、（ａ）韻律パターンのグラフ、（ｂ）二次元座標平面を示す図。 第１の変形例に係る韻律パターンマッピング部のマッピング処理における、（ａ）基本周波数の二次元座標平面、（ｂ）継続時間長の二次元座標平面を示す図。 第１の変形例に係るインタフェースの一例を示す図。 第２の変形例に係るクラスタリング処理後の二次元座標平面の表示例を示す図。 第３の変形例に係る韻律パターンＤＢに格納される韻律パターンの一例を示す図。 第３の変形例に係るクラスタリング処理後の二次元座標平面の表示例を示す図。 第２の実施形態に係る韻律編集装置を示すブロック図。 第２の実施形態に係る韻律パターン復元部の処理を示す図。 韻律編集装置のハードウェア構成を示すブロック図。

以下、図面を参照しながら本実施形態に係る韻律編集装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
（第１の実施形態）
第１の実施形態に係る韻律編集装置について図１のブロック図を参照して説明する。
第１の実施形態に係る韻律編集装置１００は、音声合成部１０１、フレーズ選択部１０２、韻律パターンデータベース１０３（以下、韻律パターンＤＢ１０３という）、韻律パターン検索部１０４、韻律モデルデータベース１０５（以下、韻律モデルＤＢ１０５という）、韻律パターン生成部１０６、韻律パターン正規化部１０７、韻律パターンマッピング部１０８、座標選択部１０９、韻律パターン復元部１１０、韻律パターン置換部１１１および表示部１１２を含む。
音声合成部１０１は、外部からテキストを受け取り、テキストを音声合成して合成音声を生成し、外部へ出力する。音声合成の方式には、音素の断片を接続する素片接続型音声合成、または隠れマルコフモデルを用いて韻律や声質をモデル化するＨＭＭ音声合成などが一般的に知られている。ここでは、合成音声の韻律パターンが取得できればどのような音声合成方式を用いてもよい。韻律パターンとは、フレーズの韻律の型式を示し、フレーズの韻律を表す基本周波数、継続時間長、パワーなどのパラメータの時系列変化を意味する。また、韻律パターンを表すパラメータは、フレーズの音素数以上の要素数を有する。

フレーズ選択部１０２は、外部からテキストを受け取り、ユーザの入力に応じて、テキストから韻律を編集する範囲であるフレーズを選択し、選択フレーズを得る。選択フレーズの選択方法としては、例えばマウス、キーボード、タッチパネルなどがあり、マウスなどによりフレーズの範囲を選択すればよい。フレーズ選択部１０２は、選択されたフレーズに対応する合成音声の属性情報を音声合成部１０１から取得する。属性情報とは、フレーズの表層表現、音素列の並び方、モーラ数、およびアクセント型などのフレーズに関する属性を示す。

韻律パターンＤＢ１０３は、フレーズの属性情報と、フレーズの１以上の韻律パターンとをそれぞれ対応づけて格納する。韻律パターンＤＢ１０３への属性情報および韻律パターンの登録方法は、例えば、録音音声から切り出した肉声韻律パターンを登録する、ユーザが編集済みの韻律パターンを登録する、韻律の統計モデルから自動生成した韻律を登録するといった一般的な方法を用いればよい。
韻律パターン検索部１０４は、フレーズ選択部１０２から選択フレーズおよび属性情報を受け取る。韻律パターン検索部１０４は、選択フレーズの属性情報と属性情報が一致するフレーズを韻律パターンＤＢ１０３から検索し、一致したフレーズに対応する１以上の韻律パターンを、韻律パターン集合として得る。

韻律モデルＤＢ１０５は、統計モデルを格納する。統計モデルは、音声コーパスを用いて学習した決定木モデルや隠れマルコフモデルを示す。多様な発話スタイル、感情、および話者の統計モデルを用意しておけば、ユーザが指定した選択フレーズに対して多様な韻律パターンを生成することができる。
韻律パターン生成部１０６は、韻律パターン検索部１０４から選択フレーズおよび韻律パターン集合を受け取る。韻律パターン生成部１０６は、韻律モデルＤＢ１０５を用いて選択フレーズに関する韻律パターンを生成し、生成した韻律パターンを韻律パターン集合に追加する。

なお、韻律パターン検索部１０４で検索された韻律パターン集合に含まれる韻律パターンの数が閾値以上であれば、韻律パターン生成部１０６は、新たに韻律パターンを生成しなくともよい。

韻律パターン正規化部１０７は、韻律パターン検索部１０４から韻律パターン集合を受け取る。なお、韻律パターン生成部１０６で韻律パターン集合に韻律パターンが追加される場合は、韻律パターン生成部１０６から韻律パターン集合を受け取る。韻律パターン正規化部１０７は、生成された韻律パターン集合の韻律パターンをそれぞれ正規化する。

韻律パターンマッピング部１０８は、韻律パターン正規化部１０７から正規化された韻律パターンを受け取り、正規化された韻律パターンをパラメータの要素数よりも少ない数の座標で表現される低次元空間にマッピングし、韻律パターンごとにマッピング座標を得る。
座標選択部１０９は、ユーザからの指示に応じて座標を選択し、選択座標を得る。
韻律パターン復元部１１０は、韻律パターンマッピング部１０８からマッピング座標を、座標選択部１０９から選択座標をそれぞれ受け取る。韻律パターン復元部１１０は、マッピング座標と選択座標とを比較して、選択座標に対応する座標の韻律パターンを復元し、復元韻律パターンを得る。

韻律パターン置換部１１１は、韻律パターン復元部１１０から復元韻律パターンを受け取り、音声合成部１０１で生成されるデフォルトの韻律パターンを復元韻律パターンで置換する。
表示部１１２は、音声合成部１０１から韻律パターンを受け取って表示し、韻律パターンマッピング部１０８からマッピング座標を受け取って表示する。

なお、本実施形態では、韻律編集装置１００が音声合成部１０１を含む場合を想定するが、韻律編集装置１００が、音声合成部１０１を含まずに外部にある音声合成装置を用いてもよい。この場合、韻律パターン置換部１１１が選択フレーズに対応する復元韻律パターンを外部の音声合成装置に出力すればよい。

次に、韻律パターンＤＢ１０３に格納されるフレーズの属性情報の一例について図２を参照して説明する。
図２に示すように、韻律パターンＤＢ１０３には、識別子２０１（以下、ＩＤ２０１という）、表層表現２０２、音素列２０３、モーラ数およびアクセント型２０４がそれぞれ対応づけられてフレーズの属性情報２０５として格納され、さらにフレーズに応じた韻律パターンのパターン数２０６が属性情報２０５に対応づけられて格納される。

ＩＤ２０１はフレーズの識別番号を示す。表層表現２０２は、フレーズの文字列を示す。音素列２０３は、表層表現２０２に対応する音素の文字列を示し、音素のまとまりごとに「／」で区切られる。モーラ数およびアクセント型２０４は、表層表現２０２を発話する場合のアクセントを示す。パターン数２０６は、音素列２０３の韻律パターンの数を示す。具体的には、例えば、ＩＤ２０１「１」、表層表現２０２「下さい」、音素列２０３「／Ｋ／Ｕ／Ｄ／Ａ／Ｓ／Ａ／Ｉ／」、モーラ数およびアクセント型２０４「４モーラ３型」、パターン数２０６「１８２」が対応づけられて格納される。
なお、言語が英語の場合は、ＩＤ２０１、表層表現２０２および音素列２０３がそれぞれ属性情報２０５として対応づけられ、韻律パターンのパターン数２０６が属性情報２０５に対応づけられる。具体的には、図２の例では、ＩＤ２０１「１４」、表層表現２０２「Please」、音素列２０３「/p/l/ii/z/」およびパターン数２０６「７」がそれぞれ対応づけられる。英語の場合は、日本語に特有のモーラ数・アクセント型が存在しないためここでは省略する。

次に、韻律パターンＤＢ１０３に格納される韻律パターンの一例について図３を参照して説明する。
図２に示す１つのＩＤ２０１に対して、対応する韻律パターンごとに、ＩＤ２０１と、ＰＩＤ３０１、基本周波数３０２および継続時間長３０３がパラメータとしてそれぞれ対応づけられて格納される。ＰＩＤ３０１は、１つのＩＤ２０１に対応する各パターンを識別する識別子を示す。基本周波数３０２は、音素の音の高さである。ここでは１フレームごとの周波数が要素として格納される。継続時間長３０３は、音素の発声が継続する時間の長さである。ここでは１つの音素が何フレームにわたり継続するかを示し、音素ごとのフレーム数が要素として格納される。

例えば、図２中のＩＤ２０１「９」の「いかがですか」というフレーズは、４１個の韻律パターンを有し、図３では、４１個のパターンのうちの４つが示される。例えば、ＰＩＤ３０１「１」、基本周波数３０２「［２８４，２７８，２７３，２６６，２６１，２５９，２５５、…］」、継続時間長３０３「［１２，１２，１１，７，９，９，９，１８，１２，２３］」がそれぞれ対応づけられて格納される。すなわち、フレーズ「いかがですか」の音素「Ｉ」は１２フレームの長さであり、フレームごとに基本周波数「２８４，２７８，２７３，２６６，２６１，２５９，２５５、…」と続くことがわかる。
上述したパターンは、できるだけ多様なパターンを用意することが望ましい。例えば、様々なパラ言語情報、感情、スタイル、話者による韻律パターンを用意できれば、ユーザは多様な韻律パターンから所望のパターンを選択できる。なお、図３の例では、パラメータとして基本周波数および継続時間長を示すが、パラメータとしてさらに、音素が発音されるときの音量を示すパワーも対応づけて格納してもよい。

次に、韻律パターンにおける基本周波数、継続時間長およびパワーの関係性について図４を参照して説明する。
図４は、フレーズ「いかがですか」の韻律パターンのパラメータである基本周波数、継続時間長およびパワーに基づいて生成されたグラフである。横軸は時間（単位はフレーム）を示し、縦軸は左側が周波数（単位はＨｚ）を、右側がパワー（単位はｄＢ）をそれぞれ示す。なお、時間の単位として秒、周波数の単位としてオクターブなど他の単位を用いてもよい。

継続時間長は、各音素幅４０１の時系列データとして表せる。たとえば、音素「／Ｉ／」は１２フレーム、音素「／Ｋ／」は１２フレーム、音素「／Ａ／」は１１フレームである。これらの音素幅を時系列に沿って並べたデータが図３に示す継続時間長３０３に格納される要素である。
基本周波数は、この座標空間の中で各フレームに対して１つの周波数値が対応し、周波数値をつないだ１本の軌跡４０２として表せる。ここではフレームごとに周波数値を持つと想定するが、音素ごと、母音ごとなど、どのような単位でもよい。これらの周波数値を時系列に沿って順番に並べたデータが図３に示す基本周波数３０２に格納される要素である。
パワーは、基本周波数の軌跡４０２と同様に、フレームごとのパワーの値をつないだ１本の軌跡４０３として表せる。

次に、本実施形態にかかる韻律編集装置の動作について図５のフローチャートを参照して説明する。
ステップＳ５０１では、韻律パターン検索部１０４が、ユーザから選択された選択フレーズを受け取る。
ステップＳ５０２では、韻律パターン検索部１０４が、選択フレーズの属性情報と属性情報が一致するフレーズを韻律パターンＤＢ１０３から検索し、属性情報が一致するフレーズに対応する韻律パターンを韻律パターン集合として得る。検索方法としては、フレーズの属性情報として表層表現を用いて、選択フレーズの表層表現と一致する表層表現を有するフレーズがあるかどうかを検索すればよい。また、属性情報として音素列を用いて、選択フレーズの音素列と一致する音素列を有するフレーズがあるかどうかを検索してもよい。さらに、属性情報としてモーラ数およびアクセント型を用いて、選択フレーズのモーラ数およびアクセント型と一致するモーラ数およびアクセント型を有するフレーズがあるかどうかを検索してもよい。

モーラ数およびアクセント型が同じであるフレーズの韻律パターンは、互いに類似していることが多いため、表層表現が一致するフレーズの韻律パターン数が少ない場合でも、表層表現は異なるがモーラ数およびアクセント型が一致する韻律パターンを韻律パターン集合として用いることで、韻律パターンのバリエーションを増やすことができる。
なお、韻律パターン生成部１０６が、韻律モデルＤＢ１０５に格納される統計モデルを用いて選択フレーズの韻律パターンを生成してもよい。韻律モデルＤＢ１０５に格納される統計モデルを用いることで、選択フレーズが韻律パターンＤＢ１０３に格納される韻律パターンと属性が一致しないフレーズである場合でも、韻律パターンを生成できる。

ステップＳ５０３では、韻律パターン正規化部１０７が、韻律パターン集合に含まれる韻律パターンをそれぞれ正規化する。正規化処理については図６を参照して後述する。
ステップＳ５０４では、韻律パターンマッピング部１０８が、正規化された韻律パターン集合の各韻律パターンを、低次元空間にマッピングする。低次元空間へのマッピング処理は、例えば、主成分分析を用いればよい。具体的なマッピング処理については図７および図８を参照して後述する。
ステップＳ５０５では、表示部１１２が、マッピングされた韻律パターン集合のマッピング座標を表示する。

ステップＳ５０６では、座標選択部１０９が、ユーザにより選択された領域の座標を選択座標として得る。
ステップＳ５０７では、韻律パターン復元部１１０が、選択された韻律パターンを復元し、復元韻律パターンを生成する。具体的な復元処理については後述する。
ステップＳ５０８では、韻律パターン置換部１１１が、選択フレーズの韻律パターンを復元韻律パターンで置換する。ここで、単純に置換処理する場合は、フレーズの前後と韻律が滑らかにつながらないため、合成音声が不自然となる可能性がある。その場合は、基本周波数の軌跡を補間するなどの一般的な手法を用いればよい。

ステップＳ５０９では、音声合成部１０１が、復元韻律パターンを用いて音声合成する。
ステップＳ５１０では、復元韻律パターンがユーザの所望する韻律パターンの合成音声であるかどうかが判定され、ユーザが所望する韻律パターンの合成音声であると判定されれば、処理を終了する。ユーザが所望する合成音声であるという判定は、例えば表示部１１２に表示される決定ボタンがユーザにより選択されることで判定すればよい。一方、ユーザが所望する韻律パターンの合成音声でないと判定されれば、ステップＳ５０６の処理に戻り、表示部１１２に表示されるマッピング座標からさらに韻律パターンの選択を行なう。以上で、本実施形態に係る韻律編集装置１００の動作を終了する。

次に、韻律パターン正規化部１０７における正規化処理について図６を参照して説明する。
図６は、図３に示すフレーズ「いかがですか」の４つの韻律パターン（ＰＩＤ＝１，２，３，４）を正規化した例を示す。縦軸は基本周波数の平均値をゼロとした場合の正規化値を示し、横軸はフレーム数を示す。ここでは、韻律パターンのフレーム数を２００フレームに揃えている、すなわち各韻律パターンの要素数は２００個（２００次元のデータ）である。

一般に、基本周波数は、人によって声の高さが違うように基本周波数の平均値が異なる。そのため、基本周波数の平均値がゼロとなるように調整し、韻律パターンを復元するときに対象の話者の基本周波数で平均値を調整する。また、基本周波数のデータ長は韻律パターンによって異なるため、音素ごとに定めた任意の固定長となるまでデータ長を線形収縮し、他の韻律パターンのデータ長を揃える。最終的には、基本周波数と継続時間長の各フレームとを平均がゼロ、標準偏差が１となるように正規化する。これらの処理により、基本周波数と継続時間長との単位を揃えることができる。なお、正規化に使用した元の平均および標準偏差のデータを保持しておき、元の値に復元できるようにする。

次に、韻律パターンマッピング部１０８のマッピング処理について図７および図８を参照して説明する。
ここでは、主成分分析を用いて韻律パターン集合を低次元空間にマッピングする一例を示す。なお、低次元空間としては、三次元以下の座標空間にマッピングすることが望ましく、本実施形態では二次元座標平面にマッピングする例を示すが、二次元座標平面に限らず、韻律パターンを、パラメータの要素数よりも少ない座標で表示できる座標平面であればよい。
図７に示すように、マッピング処理を行なうに際し、最初に正規化した韻律パターン集合の基本周波数の要素７０１と継続時間長の要素７０２とを結合した行列Ｘ７０３を生成する。Ｘの各行が各韻律パターンの基本周波数と継続時間長とを結合した要素に該当する。このように行列を生成することにより、基本周波数と継続時間長とを同時に編集することができる。

続いて、韻律パターン集合の行列Ｘの行列サイズを図８に示す。
韻律パターン集合の行列Ｘ８０１は、図８に簡略化して示すようにｎ行ｐ列となる。このｎ行ｐ列の行列Ｘ８０１に対して、式（１）を用いて行列Ｘ８０１の分散・共分散行列Ｖ８０２を算出する。

ここで、Ｘ^Ｔは、Ｘの転置行列を意味する。この分散・共分散行列Ｖ８０２のサイズは、ｐ行ｐ列となる。次に、分散・共分散行列Ｖ８０２の固有値と固有ベクトルとを計算し、ｐ個の固有値に対応するｐ個の固有ベクトル（縦ベクトル）を得る。固有値の大きい順に固有ベクトルを並べた行列を係数行列Ａ８０３とし、係数行列Ａ８０３の最初の２列（第２主成分まで）を抽出した行列を行列Ａ’８０４とする。つまり、行列Ａ’８０４の行列サイズは、ｐ行２列となる。

次に、韻律パターン集合の各韻律パターンを式（２）で二次元座標に変換する。

行列Ｚのサイズはｎ行２列となる。すなわち、行列Ｚの各行が各韻律パターンを二次元座標に変換したデータとなり、これがマッピング座標となる。

次に、表示部１１２に表示されるマッピング座標の一例について図９を参照して説明する。
図９は、韻律パターンが２次元座標平面にマッピングされた表示例であり、ここでは、韻律パターンのマッピング座標９０１、９０２、９０３がそれぞれ星印で表現される。なお、２次元座標平面の表示範囲は、第１座標軸（−１５から２５）、第２座標軸（−１５から１５）として韻律パターンが存在する範囲にクリッピングする。このようにクリッピングすることで、ユーザが二次元座標平面上の任意の点を選択する場合でも、韻律パターンＤＢ１０３に登録されている韻律パターンと大きく異なる不適切な韻律が生成されない。

次に、韻律パターン復元部１１０における復元韻律パターン生成処理について説明する。
韻律パターン復元部１１０は、ユーザにより図９に示すような二次元座標平面から、座標ｚが選択されたとすると、式（３）を用いて選択座標ｚを復元韻律パターンｘに復元する。

なお、復元された韻律パターンｘは、正規化されているため、保存された平均と標準偏差とのデータを用いて、基本周波数はＨｚ、継続時間長はフレームの単位にそれぞれ戻すことで復元韻律パターンを得る。

なお、ユーザは点が存在する座標だけではなく、任意の座標を選択してもよい。例えばユーザが図９の波線の円で示される点９０４を選択した場合、上述の式（３）に点９０４の座標を代入することで、復元韻律パターンｘを得ることができる。この場合の復元韻律パターンは、点９０４が韻律パターン９０２と韻律パターン９０３との中間に位置するので、韻律パターン９０２と韻律パターン９０３との中間の特徴を有する復元韻律パターンとなる。すなわち、韻律パターンＤＢ１０３に格納されていない韻律パターンを生成することができるので韻律パターンの微調整が可能となり、編集の自由度を向上させることができる。

次に、表示部１１２に表示されるユーザインタフェースの一例について図１０を参照して説明する。
図１０は韻律編集画面を示し、図１０（ａ）は韻律パターンのパラメータグラフ１００１を示し、図１０（ｂ）は二次元座標平面１００２を示す。使用例としては、ユーザが「いかがですか」というフレーズの韻律を編集するため、文字列「いかがですか」を選択すると、韻律編集装置が上述した処理を行ない、パラメータグラフ１００１と二次元座標平面１００２とを表示部１１２に表示するといった方法が挙げられる。
パラメータグラフには、フレーズ「いかがですか」の韻律パターンの軌跡１００３、１００４および１００５が示される。韻律パターンの軌跡１００３は、二次元座標平面１００２上において、カーソルが座標１００６の位置にあるときの韻律パターンである。他の韻律パターンの軌跡１００４および軌跡１００５についても同様に、カーソルが座標１００７および座標１００８の位置にそれぞれあるときの韻律パターンである。

ユーザは、二次元座標平面１００２上でカーソルを動かすことで、様々な韻律パターンの変化をリアルタイムに認識することができる。また、ユーザは、二次元座標平面１００２上の座標をマウスなどのポインティングデバイスで座標を指定する、または画面の座標を指などでタッチすることで、対象の韻律パターンを適用した合成音声を再生することができる。よって、いつでも選択した韻律パターンを音声で確認することができる。
また、上述したマッピング処理により、二次元座標平面上で類似する韻律パターンは互いに近い距離に存在し、類似していない韻律パターンは離れた距離に存在するようにマッピングされるので、異なる韻律パターンが視覚的に把握しやすくなり、異なる韻律パターンを容易に試すことができる。

なお、韻律パターンＤＢ１０３に格納されており編集可能なフレーズのみを先にユーザに提示し、提示したフレーズの中からユーザにフレーズを選択させ、選択フレーズを得てもよい。

以上に示した第１の実施形態によれば、ユーザにより選択された選択フレーズの属性情報と一致する属性情報を有するフレーズの韻律パターンを検索し、複数の韻律パターンを二次元座標平面のような低次元空間にマッピングすることで、ユーザは座標を指定するだけで容易に所望の韻律パターンを得ることができる。また、ユーザが選択可能な韻律パターンを２次元座標平面上に限定することで、通常では想定されない韻律パターンが生成されることを抑制し、効率よく韻律を編集することができる。

（第１の変形例）
本実施形態では、正規化した基本周波数と継続時間長とを結合して１つの行列を生成し、主成分分析を用いて二次元座標平面にマッピングしたが、第１の変形例では、基本周波数と継続時間長とのそれぞれの行列を二次元座標平面にマッピングする点が異なる。

第１の変形例に係る韻律パターンマッピング部１０８のマッピング処理について図１１を参照して説明する。
図１１（ａ）は正規化した基本周波数の行列１１０１および対応する二次元座標平面１１０２を示し、図１１（ｂ）は正規化した継続時間長の行列１１０３および対応する二次元座標平面１１０４を示す。

図１１（ａ）および（ｂ）に示すように、韻律パターンマッピング部１０８は、基本周波数と継続時間長とに対してそれぞれ独立に主成分分析を行ない、低次元空間である二次元座標平面上にマッピングする。主成分分析の手法は上述した手法を用いればよいためここでの説明は省略する。

次に、第１の変形例に係るインタフェースの一例について図１２を参照して説明する。
図１２に示すように、表示部１１２には、韻律編集画面１２０１、基本周波数の二次元座標平面１２０２、継続時間長の二次元座標平面１２０３がそれぞれ示される。

ユーザは、第１の実施形態と同様の方法で、二次元座標平面１２０２または二次元座標平面１２０３上のカーソルを移動させることで、韻律パターンを編集することができる。

以上に示した第１の変形例によれば、制御するパラメータを増やし、それぞれ独立に制御することで、韻律の編集の自由度を大きくし、さらに詳細な韻律パターンを生成することができる。

（第２の変形例）
本実施形態では、二次元座標平面上に各韻律パターンを点で表示しているが、韻律パターンの数が多くなるほど点の数が増加し、ユーザが視認しにくくなる。そこで第２の変形例では、いくつかの点をクラスタリングして代表となる点を表示させる。これにより、韻律パターンのグループを容易に区別することができる。

第２の変形例に係るクラスタリング処理後の二次元座標平面の表示例について図１３を参照して説明する。

図１３は、韻律パターンを二次元座標平面上にマッピングした図であるが、クラスタ１３０１、１３０２および１３０３が表示され、さらに各クラスタの代表点１３０４、１３０５および１３０６が表示される。
韻律パターンマッピング部１０８が、韻律パターンをクラスタリングすることにより、１以上の韻律パターンをまとめたクラスタを生成する。クラスタリングは、一般的な手法を用いればよいためここでの説明は省略する。代表点はクラスタの中心点（図１３では円の中心点）とすればよいが、クラスタの特徴を表す代表点であればどのような設定方法でもよい。なお、ここでは韻律パターンの点とクラスタの代表点とを同時に表示させているが、クラスタの代表点のみ表示させてもよい。

以上に示した第２の変形例によれば、韻律パターンをクラスタリングすることで、韻律パターンのグループを容易に区別することができる。

（第３の変形例）
第３の変形例では、韻律パターンＤＢ１０３に格納される、基本周波数３０２および継続時間長３０３に加え、韻律パターンの韻律の特徴を表すラベルを対応づけて格納してもよい。

第３の変形例に係る韻律パターンＤＢ１０３に格納される韻律パターンの一例を図１４に示す。
図１４に示すように、韻律パターンＤＢ１０３は、ＩＤ２０１、ＰＩＤ３０１、基本周波数３０２、継続時間長３０３およびラベル１４０１をそれぞれ対応づけて格納する。ラベル１４０１は、例えば、標準、語尾上げ調、怒りなどの分類が挙げられる。
第３の変形例に係るクラスタリング処理後の二次元座標平面における表示例について図１５を参照して説明する。
韻律パターンＤＢ１０３にラベルが格納される場合、韻律パターンマッピング部１０８は、韻律パターンをクラスタリング処理した後、クラスタ内の韻律パターンに対応づけられたラベルの分類を集計し、最も多い分類をクラスタのラベル１５０１、１５０２および１５０３として表示する。こうすることで、ユーザは実際に合成音声を聞かなくともどのような韻律であるかを認識することができる。

以上に示した第３の変形例によれば、韻律パターンをクラスタリングしたグループにラベルを付すことで、韻律パターンのグループがどのような分類の韻律であるかを容易に区別することができる。

（第２の実施形態）
第１の実施形態では、ユーザが選択した座標を式（３）を用いて韻律パターン復元部が韻律パターンを復元する。ただし、主成分分析によって韻律パターンを二次元座標平面にマッピングする処理は非可逆処理であることが多く、二次元座標平面上の座標から韻律パターンＤＢに格納される韻律パターンを完全に復元できるとは限らない。

そこで、第２の実施形態では、式（３）に示すような復元処理を行わずに、韻律パターンＤＢ１０３に格納される韻律パターンを適用する。

第２の実施形態に係る韻律編集装置について図１６のブロック図を参照して説明する。
第２の実施形態に係る韻律編集装置１６００は、音声合成部１０１、フレーズ選択部１０２、韻律パターンＤＢ１０３、韻律パターン検索部１０４、韻律モデルＤＢ１０５、韻律パターン生成部１０６、韻律パターン正規化部１０７、韻律パターンマッピング部１０８、座標選択部１０９、韻律パターン復元部１６０１、韻律パターン置換部１１１、表示部１１２を含む。韻律パターン復元部１６０１以外は、第１の実施形態に係る韻律編集装置１００と同様であるので説明を省略する。

韻律パターン復元部１６０１は、座標選択部１０９からユーザが選択した選択座標を、韻律パターンマッピング部１０８からマッピング座標をそれぞれ受け取る。韻律パターン復元部１６０１は、選択座標と複数のマッピング座標との距離が閾値以内であるマッピング座標があるかどうかを判定する。距離が閾値以内であるマッピング座標があれば、このマッピング座標に対応する元の韻律パターンの基本周波数および継続時間長を、韻律パターンＤＢ１０３から復元韻律パターンとして取得する。

第２の実施形態に係る韻律パターン復元部１６０１の処理について図１７を参照して説明する。
図１７は、表示部１１２に表示される二次元座標平面である。ここで、ユーザが韻律パターンの点が存在しない座標１７０１を選択したと想定する。
韻律パターン復元部１６０１は、座標１７０１から距離が閾値以内の範囲にマッピング座標があるかどうかを判定する。この判定方法は、例えば、座標１７０１から距離が一定の円１７０２の内に韻律パターンの点があるかどうかを検索すればよい。図１７では、円１７０２内に韻律パターンの点１７０３が存在するので、点１７０３に対応する元の韻律パターンを韻律パターンＤＢ１０３から取得する。取得した元の韻律パターンを復元韻律パターンとして後段の置換処理に利用する。

以上に示した第２の実施形態によれば、選択された座標から閾値以内の距離に韻律パターンの点が存在すれば、対応する韻律パターンをデータベースから取得することで、韻律パターンの劣化を抑えつつ、容易かつ効率的に韻律を編集することができる。

なお、上述した実施形態に係る韻律編集装置は、ハードウェアに実装されてもよい。
本実施形態に係る韻律編集装置のハードウェア構成を示すブロック図を図１８に示す。韻律編集装置は、韻律編集処理を実行する韻律編集プログラムなどが格納されているメモリ１８０１と、メモリ１８０１内のプログラムに従って韻律編集装置の各部を制御するＣＰＵ１８０２と、韻律編集装置の制御に必要な種々のデータを記憶する外部記憶装置１８０３と、ユーザからの入力を受け付ける入力装置１８０４と、韻律編集処理の結果などのユーザインタフェースを表示する表示装置１８０５と、合成音声などを出力するスピーカと、各部を接続するバス１８０７を含む。なお、外部記憶装置１８０３とは有線または無線によるＬＡＮ（Local Area Network）などで各部に接続されてもよい。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した韻律編集装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の韻律編集装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，１６００・・・韻律編集装置、１０１・・・音声合成部、１０２・・・フレーズ選択部、１０３・・・韻律パターンデータベース（韻律パターンＤＢ）、１０４・・・韻律パターン検索部、１０５・・・韻律パターンデータベース（韻律モデルＤＢ）、１０６・・・韻律パターン生成部、１０７・・・韻律パターン正規化部、１０８・・・韻律パターンマッピング部、１０９・・・座標選択部、１１０，１６０１・・・韻律パターン復元部、１１１・・・韻律パターン置換部、１１２・・・表示部、２０１・・・識別子（ＩＤ）、２０２・・・表層表現、２０３・・・音素列、２０４・・・モーラ数およびアクセント型、２０５・・・属性情報、２０６・・・パターン数、３０１・・・ＰＩＤ、３０２・・・基本周波数、３０３・・・継続時間長、４０１・・・音素幅、４０２，４０３・・・軌跡、７０１，７０２・・・要素、７０３，８０１，８０４，１１０１，１１０３・・・行列、８０２・・・分散・共分散行列、８０３・・・係数行列、９０１，９０２，９０３・・・マッピング座標、９０４，１７０３・・・点、１００１・・・パラメータグラフ、１００２，１１０２，１１０４，１２０２，１２０３・・・二次元座標平面、１００３，１００４，１００５・・・軌跡、１００６，１００７，１００８，１７０１・・・座標、１２０１・・・韻律編集画面、１３０１，１３０２，１３０３・・・クラスタ、１３０４，・・・代表点、１４０１，１５０１，１５０２，１５０３・・・ラベル、１７０２・・・円、１８０１・・・メモリ、１８０２・・・ＣＰＵ、１８０３・・・外部記憶装置、１８０４・・・入力装置、１８０５・・・表示装置、１８０７・・・バス。

Claims (16)

1. フレーズに関する属性を示す属性情報と、該フレーズの韻律パターンとを対応づけて格納した格納部と、
   所定のフレーズと属性情報が一致する前記韻律パターンを前記格納部から検索し、韻律パターン集合として得る検索部と、
   前記韻律パターン集合に含まれる韻律パターンを、低次元空間にマッピングし、マッピング座標を生成するマッピング部と、
   前記マッピング座標から選択された座標を選択座標として得る選択部と、
   前記選択座標に対応する韻律パターンを復元し復元韻律パターンを得る復元部と、
   前記所定のフレーズに基づいて生成される合成音声の韻律を前記復元韻律パターンに置換する置換部と、を具備することを特徴とする韻律編集装置。
2. 統計モデルを用いて前記所定のフレーズに関する韻律パターンを生成し、生成した韻律パターンを前記韻律パターン集合に追加する生成部をさらに具備する請求項１に記載の韻律編集装置。
3. 前記復元韻律パターンに基づいてテキストを音声合成し、合成音声を生成する音声合成部をさらに具備することを特徴とする請求項１または請求項２に記載の韻律編集装置。
4. 前記属性情報は、前記フレーズの文字列を示す表層表現を含み、
   前記検索部は、前記所定のフレーズの表層表現と前記フレーズの表層表現とが一致するかどうかを検索することを特徴とする請求項１から請求項３のいずれか１項に記載の韻律編集装置。
5. 前記属性情報は、前記フレーズの音素の文字列を示す音素列を含み、
   前記検索部は、前記所定のフレーズの音素列と前記フレーズの音素列とが一致するかどうかを検索することを特徴とする請求項１から請求項３のいずれか１項に記載の韻律編集装置。
6. 前記属性情報は、前記フレーズのモーラ数およびアクセント型を含み、
   前記検索部は、前記所定のフレーズのモーラ数およびアクセント型と、前記フレーズのモーラ数およびアクセント型とが一致するかどうかを検索することを特徴とする請求項１から請求項３のいずれか１項に記載の韻律編集装置。
7. 前記韻律パターンのパラメータは、音素の基本周波数、音素の継続時間長および音素のパワーを含み、
   前記マッピング部は、前記基本周波数、前記継続時間長、および前記パワーのうちの１以上のパラメータについて、独立してマッピングすることを特徴とする請求項１から請求項６のいずれか１項に記載の韻律編集装置。
8. 前記韻律パターンは、音素の基本周波数、音素の継続時間長および音素のパワーで表現され、
   前記マッピング部は、前記基本周波数、前記継続時間長、および前記パワーのうちの１以上のパラメータを結合してマッピングすることを特徴とする請求項１から請求項６のいずれか１項に記載の韻律編集装置。
9. 前記マッピング座標を表示する表示部をさらに具備することを特徴とする請求項１から請求項８のいずれか１項に記載の韻律編集装置。
10. 前記マッピング部は、前記マッピング座標間の距離に基づいて該マッピング座標をクラスタリングして、クラスタリングされた複数のマッピング座標の中から代表点を決定し、
    前記表示部は、前記代表点を表示すること特徴とする請求項９に記載の韻律編集装置。
11. 前記復元部は、前記選択座標とマッピング座標との距離が閾値以内である場合、該マッピング座標をマッピングする前の韻律パターンを復元韻律パターンとして得ることを特徴とする請求項１から請求項１０のいずれか１項に記載の韻律編集装置。
12. 前記フレーズをテキストから選択するフレーズ選択部をさらに具備することを特徴とする請求項１から請求項１１のいずれか１項に記載の韻律編集装置。
13. 前記韻律パターン集合に含まれる韻律パターンをそれぞれ正規化する正規化部をさらに具備することを特徴とする請求項１から請求項１２のいずれか１項に記載の韻律編集装置。
14. 前記低次元空間は、前記韻律パターンが含むフレーズの音素数以上の要素数よりも、少ない数の座標で表現されることを特徴とする請求項１から請求項１３のいずれか１項に記載の韻律編集装置。
15. フレーズに関する属性を示す属性情報と該フレーズの韻律パターンとの対応づけから、所定のフレーズと属性情報が一致する前記韻律パターンを検索して韻律パターン集合として得、
    前記韻律パターン集合に含まれる韻律パターンを、低次元空間にマッピングしてマッピング座標を生成し、
    前記マッピング座標から選択された座標を選択座標として得、
    前記選択座標に対応する韻律パターンを復元し復元韻律パターンを得、
    前記所定のフレーズに基づいて生成される合成音声の韻律を前記復元韻律パターンに置換することを特徴とする韻律編集方法。
16. コンピュータを、
    フレーズに関する属性を示す属性情報と、該フレーズの韻律パターンとを対応づけて格納した格納手段と、
    所定のフレーズと属性情報が一致する前記韻律パターンを前記格納手段から検索し、韻律パターン集合として得る検索手段と、
    前記韻律パターン集合に含まれる韻律パターンを、低次元空間にマッピングし、マッピング座標を生成するマッピング手段と、
    前記マッピング座標から選択された座標を選択座標として得る選択手段と、
    前記選択座標に対応する韻律パターンを復元し復元韻律パターンを得る復元手段と、
    前記所定のフレーズに基づいて生成される合成音声の韻律を前記復元韻律パターンに置換する置換手段として機能させるための韻律編集プログラム。

Images