JP6261924B2 - 韻律編集装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、韻律編集装置、方法およびプログラムに関する。

テキストから合成音を生成する音声合成技術においては、近年、統計的韻律モデルの利用により、生成される合成音の品質が大幅に向上している。しかし、いかに大量の音声コーパスから精緻な韻律モデルを構築しても、韻律モデルから生成される平均的な韻律では満足できないケースがある。たとえば、韻律が多様な挨拶などの口語表現や語尾表現などである。そのため、韻律モデルから生成される韻律をユーザの操作に応じて編集する装置が提案されている。

ユーザの操作に応じて韻律を編集する装置では、編集後の韻律が不自然になることに起因した合成音の品質低下を招くことなく、編集作業におけるユーザの操作性向上を実現するために、直感的かつ簡便な操作で、ユーザが望む自然な韻律を得られるようにすることが求められる。

特開２００８−２６８４７７号公報 特開２０１０−６０８８６号公報

本発明が解決しようとする課題は、直感的かつ簡便な操作でユーザが望む自然な韻律を得ることができる韻律編集装置、方法およびプログラムを提供することである。

実施形態の韻律編集装置は、生成部と、設定部と、表示制御部と、操作受付部と、更新部と、を備える。生成部は、韻律情報の時系列を表す軌跡を所定単位ごとにパラメトリック曲線により近似し、近似軌跡を生成する。設定部は、前記パラメトリック曲線の制御点に対応する操作点を前記近似軌跡上に設定する。表示制御部は、前記操作点を明示した前記近似軌跡を含む操作画面を表示装置に表示させる。操作受付部は、前記操作画面上で任意の前記操作点を移動させる操作を受け付ける。更新部は、前記操作点の移動量から移動後の該操作点に対応する前記制御点の位置を求め、前記近似軌跡を更新する。

実施形態の韻律編集装置の構成例を示すブロック図。 ３次ベジェ曲線の一例を示す図。 近似軌跡の一例を示す図。 近似軌跡上に操作点を設定する様子を示す模式図。 表示装置に表示される操作画面の一例を示す図。 操作点を移動させる操作に応じて近似軌跡を更新する様子を示す模式図。 更新された操作画面の一例を示す図。 実施形態の韻律編集装置が実行する一連の処理を示すフローチャート。 編集処理の詳細を示すフローチャート。 近似軌跡上の任意の位置に操作点を追加する様子を示す模式図。 実施形態の韻律編集装置のハードウェア構成の一例を示すブロック図。

図１は、本実施形態の韻律編集装置１００の構成例を示すブロック図である。図１に示すように、韻律編集装置１００は、音声合成部１０１と、生成部１０２と、設定部１０３と、表示制御部１０４と、操作受付部１０５と、更新部１０６と、を備える。また、韻律編集装置１００は、ユーザインタフェースとして、スピーカ１１０と、液晶ディスプレイなどの表示装置１２０と、マウスやタッチパネルなどの入力装置１３０と、を備える。入力装置１３０にタッチパネルを用いる場合は、表示装置１２０と入力装置１３０とが一体化される。

音声合成部１０１は、外部からテキストを入力し、韻律や合成音を生成する。韻律の生成には、例えば統計的韻律モデルが用いられる。音声合成の方式には、一般的に知られている素片接続型音声合成や隠れマルコフモデル音声合成など、任意の方式を採用することができる。また、音声合成部１０１は、ユーザの操作により編集された韻律（後述する更新された近似軌跡）を入力とし、その韻律を適用した合成音を生成することもできる。音声合成部１０１が生成した合成音は、スピーカ１１０から出力される。

音声の韻律を表す韻律情報（計算機で扱えるパラメータ）としては、基本周波数（Ｆ０）、音素の継続時間長、パワーなどがある。Ｆ０は、横軸を時間、縦軸を周波数としたときに、その時系列を線で表すことができる。このような線で表されるＦ０の時系列をＦ０軌跡と呼ぶ。Ｆ０軌跡を編集することで、様々なイントネーションを持った合成音を生成できる。

以下では、音声合成部１０１が生成したＦ０軌跡を編集の対象とする場合について説明する。ただし、編集の対象となる韻律情報はＦ０軌跡に限定されるものではない。本実施形態の韻律編集方法は、線（軌跡）で表すことができる韻律情報の時系列に対して広く適用できる。例えば、音素の継続時間長は、横軸を音素の発生時間、縦軸を時間長としたときに、その時系列を線（軌跡）で表すことができる。また、パワーは、横軸を時間、縦軸をパワーの大きさとしたときに、その時系列を線（軌跡）で表すことができる。本実施形態は、これら音素の継続時間長の時系列やパワーの時系列を編集する場合にも同様に適用できる。

生成部１０２は、音声合成部１０１が生成したＦ０軌跡を所定単位ごとにパラメトリック曲線により近似し、近似軌跡を生成する。パラメトリック曲線とは、例えば、スプライン曲線、Ｂスプライン曲線、ベジェ曲線などである。本実施形態では、パラメトリック曲線としてベジェ曲線を用いて近似軌跡を生成する。ただし、近似に用いるパラメトリック曲線は、ベジェ曲線に限定されるものではない。

ベジェ曲線は、Ｎ個の制御点から得られるＮ−１次のパラメトリック曲線である。ベジェ曲線は、連続曲線を少ないパラメータで表現できることから、滑らかな曲線を描く際によく用いられる。ｍ次ベジェ曲線の方程式を下記式（１）に示す。

ここで、ｍはベジェ曲線の次数、ｔｉは媒介変数、ｉは媒介変数のインデックス、Ｐｋは二次元座標平面上のｋ番目の制御点の座標である。媒介変数ｔｉが０から１まで変化することで、１つのベジェ曲線が得られる。

ｍ次ベジェ曲線の場合、ｍ＋１個の制御点の集合｛Ｐ０、Ｐ１，Ｐ２，・・・、Ｐｍ｝から一意の形状が決まる。例えば、３次ベジェ曲線の方程式は、下記式（２）で定義される。

図２は、３次ベジェ曲線の一例を示す図である。図２に示す３次ベジェ曲線２０１は、Ｐ０、Ｐ１、Ｐ２、Ｐ３の４つの制御点から成り立つ。Ｐ０とＰ３はベジェ曲線２０１の端点となる制御点である。一般的に、端点以外の制御点はベジェ曲線２０１上に存在するとは限らない。

生成部１０２は、音声合成部１０１が生成したＦ０軌跡を所定単位ごとに区切り、各区間をベジェ曲線で近似することで近似軌跡を生成する。本実施形態では、Ｆ０軌跡の各区間を近似するベジェ曲線の制御点を最小二乗法で求める。ここでは、簡単のため３次ベジェ曲線により近似する場合を例に挙げて説明するが、３次以外のｍ次ベジェ曲線でも同様の方法で一般化できる。

生成部１０２は、Ｆ０軌跡の任意の区間の二次元座標平面上の座標をｐｉ（ｉ＝１〜ｎ）、ベジェ曲線をｑ（ｔｉ）としたときに、下記式（３）で定義される二乗誤差和を最小にする制御点Ｐｋを推定する。ここでｎは媒介変数ｔのデータ数である。

最小二乗法で解くと、最終的に制御点の座標Ｐｋは、下記式（４），（５）で計算できる。なお、Ｐ０とＰ３はベジェ曲線の端点であるため、これらの座標はＦ０軌跡の任意の区間の端点であるｐ１とｐｎの座標に等しい。数式（４），（５）の各定数は、数式（６）〜（１０）で定義される。

以上のようにして、Ｆ０軌跡の各区間を近似するベジェ曲線の制御点が求められる。そして、これら各区間のベジェ曲線を時間軸に沿って繋げたものが近似軌跡となる。本実施形態では、この近似軌跡をＦ０軌跡とみなして編集を行う。

本実施形態では、入力テキストが日本語であることを想定し、Ｆ０軌跡を区切る所定単位をアクセント句単位とする。つまり、Ｆ０軌跡をアクセント句ごとにベジェ曲線で近似する。この場合、Ｆ０軌跡の各区間を近似するベジェ曲線の次数は、その区間のアクセント句に含まれるモーラ数と同じ値もしくはそれよりも大きな値とすることが望ましい。これにより、Ｆ０軌跡に対する近似軌跡（ベジェ曲線）の近似誤差を小さくできる。なお、Ｆ０軌跡を区切る所定単位はアクセント句に限定されるものではなく、近似誤差が大きくならない任意の単位を定めておけばよい。

図３は、生成部１０２により生成される近似軌跡の一例を示す図である。図３に示す近似軌跡３０１は、「これは／音声合成の／テストです」という３アクセント句（ポーズは除く）の入力テキスト３０２のＦ０軌跡を、アクセント句ごとにベジェ曲線で近似した例である。図の横方向が時間軸（以下、Ｘ軸という。）に対応し、図の縦方向が周波数軸（以下、Ｙ軸という。）に対応する。図中の黒塗りの四角が、ベジェ曲線の制御点３０３である。なお、破線の縦線３０４はＸ軸における音素の境界を示し、実線の縦線３０５はＸ軸におけるアクセント句の境界を示している。また、入力テキスト３０２上部の「ｋ／ｏ／ｒ／ｅ／ｗ／ａ」などは音素列３０６である。アクセント句ごとに制御点３０３の座標を推定し、それらの制御点３０３で表されるベジェ曲線を繋げる（ポーズは除く）ことで、近似軌跡３０１が生成される。

設定部１０３は、Ｆ０軌跡を近似したベジェ曲線の制御点に対応する操作点を、近似軌跡上（つまりベジェ曲線上）に設定する。操作点とは、ユーザが近似軌跡を用いてＦ０軌跡の編集を行う際に後述の操作画面上で操作する点であり、必ず近似軌跡上に存在する。ベジェ曲線の制御点と近似軌跡上の操作点はペアになり、必ず一対一に対応する。また、操作点を設定するとは、操作点の座標を記憶することを意味する。

ベジェ曲線の端点を除く制御点は、上述したように、ベジェ曲線上に存在するとは限らない。そこで、本実施形態では、ベジェ曲線の制御点に対応する操作点を近似軌跡上に設定し、ユーザが近似軌跡上の操作点を操作することで、Ｆ０軌跡（近似軌跡）の編集を行えるようにしている。近似軌跡上に存在しない制御点よりも近似軌跡上に存在する操作点の方が、ユーザはより直観的に操作することができる。なお、ベジェ曲線の端点となる制御点は、その制御点を操作点に設定すればよい。

図４は、近似軌跡上に操作点を設定する様子を示す模式図である。図４の例では、図３に示した近似軌跡３０１の一部（アクセント句「テストです」に対応する部分）を近似軌跡４０１として示している。また、この近似軌跡４０１を構成するベジェ曲線の制御点４０２を図３と同様に黒塗りの四角で示し、それぞれの制御点４０２に対応する操作点４０３を白抜きの丸で示している。なお、ベジェ曲線の端点の制御点は近似軌跡４０１上に存在するため、制御点そのものが操作点となる。

図４に示す例では、制御点４０２の数を入力テキスト４０４のモーラ数と一致させ、各モーラが１つの操作点４０３を持つようにしている。図中の操作点４０３を表す白抜きの丸内の文字が、その操作点４０３に対応するモーラを表している。なお、制御点４０２およびこれに対応する操作点４０３の数は、必ずしも入力テキスト４０４のモーラ数と一致させる必要はない。例えば、入力テキスト４０４の音素ごとに制御点４０２および操作点４０３を持つようにしてもよいし、モーラや音素とは関係なく、制御点４０２および操作点４０３を持つようにしてもよい。

図４（ａ）に示すように、制御点４０２のＸ座標がモーラのＸ座標と一致している場合は、各制御点４０２を近似軌跡４０１上に垂直（Ｙ軸方向）に射影することで、制御点４０２に対応する操作点４０３を近似軌跡４０１上に設定することができる。ただし、上記式（４），（５）により計算される制御点４０２のＸ座標は、図４（ｂ）に示すように、必ずしも各モーラのＸ座標と一致するとは限らない。その場合は、制御点４０２のＸ座標がモーラのＸ座標と一致するように、制御点４０２の位置を調整する。例えば、図４（ｂ）中の矢印で示すように、制御点４０２を、そのＸ座標がモーラのＸ座標と一致するように平行移動する。

この制御点４０２の移動によってベジェ曲線の形状は若干変化する。これにより、オリジナルのＦ０軌跡との誤差（近似誤差）が大きくなる場合がある。そこで、近似誤差がある閾値を超える場合は、制御点４０２の平行移動は行わず、制御点４０２をそのまま近似軌跡４０１上に垂直（Ｙ軸方向）に射影して操作点４０３を設定するようにしてもよい。また、より高度な手法として、Ｆ０軌跡をベジェ曲線で近似する際に、制御点４０２のＸ座標がモーラのＸ座標と一致するような制約を入れて近似誤差を最小にする制約付き最小二乗法を用いるようにしてもよい。また、ユーザの操作に応じて新たな操作点を追加する機能（変形例として後述する）を用いて、近似軌跡４０１上のモーラの発生位置に新たに操作点４０３を追加することで対応してもよい。

表示制御部１０４は、操作点を明示した近似軌跡を含む操作画面を表示装置１２０に表示させる。

図５は、表示制御部１０４による制御のもとで表示装置１２０に表示される操作画面の一例を示す図である。図５に示す操作画面５０１は、画面の横方向がＸ軸に対応し、縦方向がＹ軸に対応する。この操作画面５０１は、操作点５０２を明示した近似軌跡５０３を含んでいる。近似軌跡５０３は、図３に示した近似軌跡３０１と同様に、「これは／音声合成の／テストです」という入力テキスト５０４のＦ０軌跡を、アクセント句ごとにベジェ曲線で近似したものである。近似軌跡５０３上の操作点５０２は、図４の例と同様に白抜きの丸で示され、その丸の中に、操作点５０２に対応するモーラの表記が書き込まれている。なお、音素ごとに操作点５０２が設定された場合は、モーラの表記の代わりに音素の表記を白抜きの丸内に書き込めばよい。

また、図５に示す操作画面５０１では、図３の例と同様に、入力テキスト５０４と音素列５０５を近似軌跡５０３とともに示している。なお、破線の縦線５０６は音素の境界を示し、実線の縦線５０７はアクセント句の境界を示している。制御点は、操作画面５０１上で表示する必要はないが、目安として表示するようにしてもよい。

ユーザは、入力装置１３０を用い、この図５に示す操作画面５０１上で、任意の操作点５０２をＹ軸方向に移動させる操作を行うことで、Ｆ０軌跡の編集を行うことができる。例えば、入力装置１３０としてマウスを用いる場合には、任意の操作点５０２に対するドラッグアンドドロップ操作により、その操作点５０２をＹ軸方向に移動させることができる。また、入力装置１３０としてタッチパネルを用いる場合には、任意の操作点５０２に対するタッチ操作により、その操作点５０２をＹ軸方向に移動させることができる。

なお、表示装置１２０に表示される操作画面の形式は、図５に示す形式に限定されるものではない。表示装置１２０に表示される操作画面は、少なくとも、ユーザの操作により移動可能な操作点を明示した近似軌跡を含んだものであればよい。

操作受付部１０５は、表示装置１２０に表示された操作画面上で任意の操作点を移動させるユーザの操作を受け付けて、操作点の移動量を更新部１０６に渡す。

更新部１０６は、操作受付部１０５から渡された操作点の移動量から移動後の該操作点に対応する制御点の位置を求め、近似軌跡を更新する。更新後の新たな近似軌跡が、編集されたＦ０軌跡を表したものとなる。

近似軌跡上の操作点は、この近似軌跡を構成するベジェ曲線の制御点と一対一に対応するため、操作点が移動すると、この操作点に対応する制御点も移動することになる。しかし、操作点の移動量と制御点の移動量は一致しないため、以下で説明する計算によって、操作点の移動量から制御点の位置（座標）を求める必要がある。

この計算を簡単化するために、２つの仮定を導入する。１つ目の仮定は、ユーザが操作点を垂直方向（Ｙ軸方向）にしか移動できないように制限することである。２つ目の仮定は、ユーザが移動させた操作点に対応する制御点以外の他の制御点の座標は不変とすることである。この２つの仮定を導入すると、近似軌跡上の操作点の移動量から、該操作点に対応する制御点の移動量を次のように容易に求められる。

例えば、移動した操作点に対応する制御点をＰ２とする。この制御点Ｐ２に対応する操作点の位置での媒介変数の値をｔとし、その操作点の垂直方向の移動量をΔｑ、制御点Ｐ２の垂直方向への移動量をΔＰとすると、下記式（１１）が成り立つ。

ここで、式（１１）に上記式（２）のｑ（ｔ）を代入して式を整理すると、下記式（１２）が得られる。

この式（１２）により、既知である操作点の移動量Δｑから制御点の移動量ΔＰを導くことができる。よって、制御点Ｐ２のｙ座標にΔＰを加えて更新すれば、新たな制御点Ｐ２の座標が得られる。同様の方法で任意の操作点の移動量から制御点の移動量を導出し、新たな制御点の位置を求めることができる。

更新部１０６は、以上の計算により、操作点の移動量から制御点の位置を求め、新たな制御点を用いてベジェ曲線を再描画することにより、近似軌跡を更新する。

図６は、操作点を移動させるユーザの操作に応じて近似軌跡を更新する様子を示す模式図である。図６では、図５に示した操作画面５０１上で、ユーザがモーラ「て」に対応する操作点を垂直方向に移動させた場合の例を示している。この図６において、破線の曲線が更新前の近似軌跡６０１Ｂを示し、実線の曲線が更新された近似軌跡６０１Ａを示している。また、操作点６０２は白抜きの丸、更新前の近似軌跡６０１Ｂを構成するベジェ曲線の制御点６０３は破線の四角、移動後の操作点６０２Ａに対応する制御点６０３Ａは黒塗りの四角で示している。なお、ベジェ曲線の端点の制御点は近似軌跡６０１Ａ（６０１Ｂ）上に存在するため、制御点そのものが操作点となる。

更新部１０６は、図６に示すように、モーラ「て」に対応する操作点６０２の移動量Δｑをもとに、上述した計算によって制御点６０３の移動量ΔＰを求め、移動前の制御点６０３のｙ座標にΔＰを加算することで、移動後の操作点６０２Ａに対応する新たな制御点６０３Ａの位置を求めることができる。そして、更新部１０６は、新たな制御点６０３Ａと、移動していない他の操作点６０２に対応する制御点６０３とを用いて新たなベジェ曲線を描画することで、近似軌跡６０１Ｂを近似軌跡６０１Ａのように更新することができる。

更新部１０６により近似軌跡が更新されると、この更新された近似軌跡が新たなＦ０軌跡として音声合成部１０１に入力され、新たなＦ０軌跡を用いて生成された合成音がスピーカ１１０から出力される。ユーザは、このスピーカ１１０から出力される合成音を聴くことにより、編集の効果を確認することができる。

また、更新部１０６により近似軌跡が更新されると、設定部１０３により更新された近似軌跡上に新たに操作点が設定される。そして、表示制御部１０４が、新たに設定された操作点を明示した、更新された近似軌跡を含む操作画面を表示装置１２０に表示させる。これにより、表示装置１２０に表示される操作画面が更新される。ユーザは、この更新された操作画面により、さらに編集作業を進めることができる。

図７は、更新された操作画面の一例を示す図である。図７に示す操作画面７０１は、図５に示した操作画面５０１上で、ユーザがモーラ「て」に対応する操作点を図６のように移動させたことにより更新された操作画面を示している。この図７に示す操作画面７０１を図５に示した操作画面５０１と比較すると明らかなように、ユーザがモーラ「て」に対応する操作点７０２を移動させる操作を行うと、このモーラ「て」を含むアクセント句「テストです」の区間全体に亘って、近似軌跡７０３が変化している。そして、この新たな近似軌跡７０３上の各モーラに対応する位置に新たに操作点７０２が設定される。なお、ユーザが操作点７０２を移動させたモーラ「て」を除く他のモーラについては、操作点７０２の位置は変化するが制御点の位置は変化しない。

次に、本実施形態の韻律編集装置１００の動作を説明する。図８は、韻律編集装置１００が実行する一連の処理を示すフローチャートである。

まず、音声合成部１０１が、例えば、予め作成された統計的韻律モデルを用いて、入力テキストのＦ０軌跡を生成する（ステップＳ１０１）。

次に、生成部１０２が、ステップＳ１０１で生成されたＦ０軌跡を、例えばアクセント句などの所定単位ごとにベジェ曲線で近似し、近似軌跡を生成する（ステップＳ１０２）。

次に、設定部１０３が、Ｆ０軌跡を近似したベジェ曲線の制御点に対応する操作点を、ステップＳ１０２で生成された近似軌跡上に設定する（ステップＳ１０３）。

次に、表示制御部１０４が、ステップＳ１０３で設定された操作点を明示した近似軌跡を含む操作画面を表示装置１２０に表示させる（ステップＳ１０４）。ユーザは、この表示装置１２０に表示された操作画面を用いて、Ｆ０軌跡を編集する編集作業を行う。

本実施形態の韻律編集装置１００は、ユーザに対して編集作業を終了するか否かを随時問い合わせ（ステップＳ１０５）、ユーザが編集作業を終了する旨の指示を行わない間は（ステップＳ１０５：Ｎｏ）、ステップＳ１０６の編集処理を繰り返し行う。そして、ユーザが編集作業を終了する旨の指示を行うと（ステップＳ１０５：Ｙｅｓ）、一連の処理を終了する。

図９は、図８のステップＳ１０６の編集処理の詳細を示すフローチャートである。

まず、ユーザが入力装置１３０を用いて表示装置１２０に表示された操作画面上で任意の操作点を移動させる操作を行うと、操作受付部１０５がそのユーザの操作を受け付けて、操作点の移動量を更新部１０６に渡す（ステップＳ２０１）。

次に、更新部１０６が、操作点の移動量から上述した方法で移動後の操作点に対応する新たな制御点の位置を算出する（ステップＳ２０２）。そして、更新部１０６は、ステップＳ２０２で算出した新たな制御点を用いて、近似軌跡を更新する（ステップＳ２０３）。

次に、表示制御部１０４が、ステップＳ２０３で更新された近似軌跡を含む新たな操作画面を表示装置１２０に表示させ、表示装置１２０に表示される操作画面を更新する（ステップＳ２０４）。なお、更新された操作画面では、更新された近似軌跡上に新たな操作点が明示されている。

また、ステップＳ２０３で更新された近似軌跡は、編集後のＦ０軌跡として音声合成部１０１に送られる。音声合成部１０１は、この編集後のＦ０軌跡を用いて合成音を生成し、スピーカ１１０から出力する（ステップＳ２０５）。ユーザはこの合成音を聴いて所望の韻律が得られたかどうかを確認し、さらに編集作業を行う場合はステップＳ２０４で更新された操作画面上で任意の操作点を移動させる操作を行い、編集作業を終了する場合はその旨の指示を行う。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の韻律編集装置１００は、韻律情報の時系列を表す軌跡をパラメトリック曲線で近似して近似軌跡を生成し、パラメトリック曲線の制御点に対応する操作点を近似軌跡上に設定する。そして、操作点を明示した近似軌跡を含む操作画面を表示して、この操作画面上で操作点を移動させるユーザの操作に応じて近似軌跡を更新する。本実施形態の韻律編集装置１００によれば、このような手順で韻律を編集するようにしたため、直感的かつ簡便な操作でユーザが望む自然な韻律を得ることができる。

すなわち、本実施形態の韻律編集装置１００では、韻律情報の時系列を表す軌跡をパラメトリック曲線で近似して近似軌跡を生成し、この近似軌跡を編集対象の軌跡とみなして、操作点に対するユーザの操作に応じて近似軌跡を更新することで編集を行う。したがって、１つの操作点を移動させる操作で、その操作点の位置だけでなくその周辺も含めて滑らかに変化した軌跡を得ることができ、簡便な操作でユーザが望む自然な韻律を得ることができる。

また、本実施形態の韻律編集装置１００では、軌跡を編集するために操作する操作点を近似軌跡上に設定しているので、ユーザは、編集対象の軌跡そのものを変形させる感覚で、直感的な操作により軌跡の編集を行うことができる。

制御点を移動させることで曲線を変形する方法はよく知られているが、制御点は必ずしも曲線上にはないため、この方法をそのまま韻律を編集する技術に適用しても、直感的な操作を行うことはできない。また、編集対象の軌跡とは別に操作のためのインターフェースを設け、そのインターフェースを用いた操作に応じて軌跡を変形させる方法もあるが、この場合も編集対象の軌跡そのものを変形させるような直感的な操作を行うことはできない。これに対して、本実施形態では、近似軌跡上の操作点に対する操作に応じて近似軌跡を更新することで軌跡の編集を行うので、編集対象の軌跡そのものを変形させる感覚で、直感的な操作により軌跡の編集を行うことができる。これを実現するために、本実施形態の韻律編集装置１００では、制御点に対応する操作点を近似軌跡上に設定し、その操作点の移動量から新たな制御点の位置を求めて、軌跡を更新する構成を採用している。

また、本実施形態の韻律編集装置１００では、音声合成部１０１が、更新された近似軌跡を用いて合成音を生成してスピーカ１１０から出力させるため、ユーザは、この合成音を聴きながら編集の効果を確認することができる。

また、本実施形態の韻律編集装置１００では、韻律情報の時系列を表す軌跡を近似するパラメトリック曲線として、特にベジェ曲線を用いることで、近似の精度を高めて自然な韻律を得ることができる。つまり、パラメトリック曲線の中でも特にベジェ曲線は、韻律情報の時系列を表す軌跡に近い変化が得られるため、ベジェ曲線を用いて近似軌跡を生成することにより、自然な韻律を得ることができる。

また、本実施形態の韻律編集装置１００では、図４（ｂ）を用いて説明したように、制御点４０２の時間軸方向の位置（Ｘ座標）が近似軌跡４０１の音素またはモーラの発生位置（Ｘ座標）と異なる場合に、制御点４０２のＸ座標を音素またはモーラのＸ座標と一致させるように調整した上で操作点４０３を設定することで、ユーザは変化させたい音素またはモーラそのものを操作する感覚で編集作業を行うことができ、より直感的な操作が可能になる。

また、本実施形態の韻律編集装置１００では、図５に示したように、近似軌跡５０３上の操作点５０２を音素またはモーラを表す表記を用いて明示し、このような近似軌跡５０３を含む操作画面５０１を表示装置１２０に表示させることで、ユーザは変化させたい音素またはモーラそのものを操作する感覚で編集作業を行うことができ、より直感的な操作が可能になる。

（変形例）
上述した実施形態では、操作受付部１０５は、操作画面に含まれる近似軌跡上にすでに設定されている操作点を移動させるユーザの操作を受け付けるようにしていた。しかし、操作受付部１０５は、すでに設定されている操作点を移動させる操作だけでなく、近似軌跡上の任意の位置に操作点を追加する操作を受け付けるようにしてもよい。

図１０は、ユーザの操作に応じて近似軌跡上の任意の位置に操作点を追加する様子を示す模式図である。図１０に示す例は、図５に例示した操作画面５０１において、アクセント句「これは」の区間の近似軌跡上における音素「ｗ」と音素「ａ」の境界位置に、ユーザが新たな操作点１００１を追加する操作を行った場合を示している。

ユーザは、入力装置１３０を用いて、操作画面に含まれる近似軌跡上の任意の位置に操作点を追加する操作を行う。例えば、入力装置１３０としてマウスを用いる場合には、近似軌跡上の任意の位置にカーソルを合わせてダブルクリック、あるいは右クリックの操作を行うことで、カーソルの位置に操作点を追加することができる。また、入力装置１３０としてタッチパネルを用いる場合には、近似軌跡上の任意の位置に対するタッチ操作により、タッチした位置に操作点を追加することができる。

操作受付部１０５は、近似軌跡上の任意の位置に操作点を追加するユーザの操作を受け付けて、追加された操作点の位置情報（座標）を更新部１０６に渡す。

更新部１０６は、ユーザの操作により追加された操作点の位置情報をもとに、以下で説明する計算によって、その操作点に対応する制御点の位置を求めて、近似軌跡を更新する。

ユーザの操作により追加された操作点の座標をｑとし、その位置での媒介変数の値をｔとする。このとき、追加された操作点に対応する制御点の位置がＰｋ、それ以外の制御点の座標が不変だと仮定すると、下記式（１３）が成り立つ。

この式（１３）は、右辺で追加された制御点Ｐｋの項と左辺の操作点の変化量が一致することを表している。よって、追加された操作点に対応する制御点の座標Ｐｋは、下記式（１４）で求められる。

更新部１０６は、このように求めた新たな制御点を、すでにある制御点に加えてベジェ曲線を再描画することにより、近似軌跡を更新することができる。図１０に示した例では、破線の四角が、追加された操作点１００１に対応する新たな制御点１００２である。そして、この制御点１００２を用いて、更新された近似軌跡１００３が得られる。更新された近似軌跡１００３の形状は、操作点が追加される前の近似軌跡からあまり変化しないが、新たな制御点１００２が加えられたことで、つまり次数が大きくなったことで、より滑らかな形状となっている。

近似軌跡が更新されると、上述した実施形態と同様に、更新された近似軌跡を含む操作画面が表示装置１２０に表示される。ユーザは、この更新された操作画面を用いて、上述した実施形態と同様の方法で、Ｆ０軌跡の編集を行うことができる。

本変形例では、近似軌跡上の任意の位置に操作点を追加することができるので、ユーザの操作性がさらに向上する。また、例えば上述したように、制御点のＸ座標と近似軌跡上の音素やモーラのＸ座標とが一致しない場合であっても、制御点をＸ軸方向に平行移動させる調整を行うことなく、音素やモーラのＸ座標と一致する位置に操作点を追加することで対応できるので、近似誤差を少なくすることができる。

なお、本実施形態の韻律編集装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いて実現することが可能である。図１１は、本実施形態の韻律編集装置１００のハードウェア構成の一例を示すブロック図である。図１１に示す例では、韻律編集装置１００は、韻律編集処理を実行するプログラムなどが格納されているメモリ１４０と、メモリ１４０内のプログラムに従って韻律編集装置１００の各部を制御するＣＰＵ１５０と、韻律編集装置１００の制御に必要な種々のデータを記憶する外部記憶装置１６０と、合成音などを出力するスピーカ１１０と、操作画面を表示する表示装置１２０と、ユーザが操作画面を操作する際に使用する入力装置１３０と、各部を接続するバス１７０と、を含む。なお、外部記憶装置１６０は、有線または無線によるＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などで各部に接続されてもよい。

上述の実施形態で説明した各処理に関する指示は、一例として、ソフトウェアであるプログラムに基づいて実行される。上述の実施形態で説明した各処理に関する指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。

コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵ１５０で実行することにより、上述した実施形態の韻律編集装置１００として機能する。もちろん、コンピュータがプログラムを取得する場合または読み込む場合は、ネットワークを通じて取得または読み込んでもよい。

また、記録媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。

さらに、本実施形態における記録媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。

また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

コンピュータが実行するプログラムは、本実施形態の韻律編集装置１００を構成する各処理部（音声合成部１０１、生成部１０２、設定部１０３、表示制御部１０４、操作受付部１０５および更新部１０６）を含むモジュール構成となっており、実際のハードウェアとしては、例えば、ＣＰＵ１５０がメモリ１４０からプログラムを読み出して実行することにより、上記各処理部が主記憶部にロードされ、主記憶部上に生成されるようになっている。

なお、本実施形態におけるコンピュータは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 韻律編集装置
１０１ 音声合成部
１０２ 生成部
１０３ 設定部
１０４ 表示制御部
１０５ 操作受付部
１０６ 更新部
１１０ スピーカ
１２０ 表示装置
１３０ 入力装置

Claims (7)

1. 韻律情報の時系列を表す軌跡を所定単位ごとにパラメトリック曲線により近似し、近似軌跡を生成する生成部と、
   前記パラメトリック曲線の制御点に対応する操作点を前記近似軌跡上に設定する設定部と、
   前記操作点を明示した前記近似軌跡を含む操作画面を表示装置に表示させる表示制御部と、
   前記操作画面上で任意の前記操作点を移動させる操作を受け付ける操作受付部と、
   前記操作点の移動量から移動後の該操作点に対応する前記制御点の位置を求め、前記近似軌跡を更新する更新部と、を備え、
   前記設定部は、前記制御点の時間軸方向の位置が前記近似軌跡の音素またはモーラの位置と異なる場合に、前記制御点の時間軸方向の位置を前記近似軌跡の音素またはモーラの位置と一致させるように調整し、調整後の前記制御点に対応する前記操作点を前記近似軌跡上の音素またはモーラの位置に設定する韻律編集装置。
2. 前記近似軌跡を用いて合成音を生成する音声合成部をさらに備える、請求項１に記載の韻律編集装置。
3. 前記生成部は、前記パラメトリック曲線としてベジェ曲線を用い、前記近似軌跡を生成する、請求項１または２に記載の韻律編集装置。
4. 前記表示制御部は、前記操作点を該操作点の位置に対応する音素またはモーラを表す表記を用いて明示した前記近似軌跡を含む前記操作画面を前記表示装置に表示させる、請求項１乃至３のいずれか一項に記載の韻律編集装置。
5. 前記操作受付部は、前記操作画面に含まれる前記近似軌跡上の任意の位置に前記操作点を追加する操作をさらに受け付け、
   前記更新部は、前記操作点が追加された場合に、追加された該操作点に対応する前記制御点の位置を求め、前記近似軌跡を更新する、請求項１乃至４のいずれか一項に記載の韻律編集装置。
6. 韻律編集装置において実行される韻律編集方法であって、
   韻律情報の時系列を表す軌跡を所定単位ごとにパラメトリック曲線により近似し、近似軌跡を生成する生成ステップと、
   前記パラメトリック曲線の制御点に対応する操作点を前記近似軌跡上に設定する設定ステップと、
   前記操作点を明示した前記近似軌跡を含む操作画面を表示装置に表示させる表示制御ステップと、
   前記操作画面上で任意の前記操作点を移動させる操作を受け付ける操作受付ステップと、
   前記操作点の移動量から移動後の該操作点に対応する前記制御点の位置を求め、前記近似軌跡を更新する更新ステップと、を含み、
   前記設定ステップでは、前記制御点の時間軸方向の位置が前記近似軌跡の音素またはモーラの位置と異なる場合に、前記制御点の時間軸方向の位置を前記近似軌跡の音素またはモーラの位置と一致させるように調整し、調整後の前記制御点に対応する前記操作点を前記近似軌跡上の音素またはモーラの位置に設定する韻律編集方法。
7. コンピュータに、
   韻律情報の時系列を表す軌跡を所定単位ごとにパラメトリック曲線により近似し、近似軌跡を生成する生成機能と、
   前記パラメトリック曲線の制御点に対応する操作点を前記近似軌跡上に設定する設定機能と、
   前記操作点を明示した前記近似軌跡を含む操作画面を表示装置に表示させる表示制御機能と、
   前記操作画面上で任意の前記操作点を移動させる操作を受け付ける操作受付機能と、
   前記操作点の移動量から移動後の該操作点に対応する前記制御点の位置を求め、前記近似軌跡を更新する更新機能と、を実現させ、
   前記設定機能は、前記制御点の時間軸方向の位置が前記近似軌跡の音素またはモーラの位置と異なる場合に、前記制御点の時間軸方向の位置を前記近似軌跡の音素またはモーラの位置と一致させるように調整し、調整後の前記制御点に対応する前記操作点を前記近似軌跡上の音素またはモーラの位置に設定するプログラム。

Images