JP4858173B2 - 歌唱音合成装置およびプログラム - Google Patents

Description

本発明は、歌声を電気的に合成する歌唱音合成装置に関し、特に、音符、歌詞および表情などを表す楽曲データの入力を支援する技術に関する。

歌詞データと音符データとを記憶し、音符データの読出に対応して歌詞データを読み出し、歌詞データに対応した音韻を示す音データを予め生成しておき、その音データにしたがった発音を行うことにより歌詞を歌唱する歌唱音合成装置が各種提案されている。この種の歌唱音合成装置には、人間らしい自然な歌唱音を合成する機能が求められる。人間の歌唱音を観察すると、音符データのみでは直接的には表されない発声の強弱の変化や音量の変化、息成分などを含んでおり、これらが歌唱の人間らしさの一因となっていると考えられる。そこで、従来から、歌唱音合成装置において合成される歌唱音に人間らしい表情（すなわち、発声の変化や音量の変化、息成分など）を与えるための検討がなされてきた。例えば非特許文献１には、歌唱音に表情を与えるための各種パラメータの入力を促したり、その入力内容を個々に確認させたりするためのユーザインタフェイスを歌唱音合成装置に設け、係るユーザインタフェイスを介して入力された各パラメータの示す音響効果や編集を歌唱音に付与することが提案されている。
"Cubase 製品紹介"、[online]、[平成１９年１月５日検索]、 インターネット〈URL:http://www.japan.steinberg.net/731.html>

しかし、非特許文献１に開示された技術では、歌唱音声に表情を与える各パラメータを個別の表示領域に表示させるため、そのパラメータの数が多い場合に大きな表示面積が必要になる。また、上記各パラメータは、時間軸を共有する時系列データとして表されるものであるが、パラメータ毎に異なる領域に表示されるため、パラメータの比較参照を行い難いといった問題点がある。

本発明は、上記課題に鑑みてなされたものであり、時間軸を共有する複数の時系列データの入力または編集を容易にする技術を提供することを目的としている。

上記課題を解決するため、本発明は、楽曲を構成する音符の音高および発音期間を示す音符データとその音符で発声する歌詞を示す歌詞データとがその発声順に配列された楽譜データと、前記楽譜データと時間軸を共有する複数種類の時系列データであって、前記楽譜データにしたがって合成される歌唱音に与える表情を示すパラメータの時間変化を表す複数種類の時系列データと、を取得する取得手段と、前記取得手段により取得された楽譜データにしたがって、前記楽曲の音高の時間変化および歌詞の時間変化を示す楽譜画像を表示装置に表示させる一方、前記楽譜画像の時間軸に沿って前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、前記各グラフの時間軸と前記楽譜画像の時間軸とを対応させつつ前記楽譜画像と並べて前記表示装置に表示させる表示制御手段と、前記取得手段により取得された楽譜データにしたがって前記楽曲の歌唱音を合成し、前記各パラメータの示す表情を付与して出力する歌唱音合成手段とを有する歌唱音合成装置、を提供する。

より好ましい態様においては、上記歌唱音合成装置の表示制御手段は、前記各パラメータの時間変化を示すグラフの画像にその背景色を透明にする透過処理を施した後に各グラフの時間軸を対応させて重ね合わせ、各時間軸を前記楽譜画像の時間軸と対応させつつ前記楽譜画像と並べて前記表示装置に表示させることを特徴とする。また、別の好ましい態様においては、前記表示制御手段は、前記各パラメータの時間変化を示すグラフと時間軸との間の領域にパラメータ毎に異なる色で着色を施して各グラフの時間軸を対応させて重ね合わせ、互いに重なり合う着色領域についてはその重なり具合に応じた色に変換して前記表示装置に表示させることを特徴とする。また、別の好ましい態様においては、上記歌唱音合成装置は、操作手段と、前記操作手段に対する操作にしたがって前記時系列データを更新する更新手段とを有し、前記表示制御手段は、前記表示装置に表示されている複数のグラフのうちの１つが前記操作手段により選択された場合に、そのグラフの画像が最前面に見えるように透過表示の制御を行い、前記更新手段は、前記選択されたグラフを書き換える操作が前記操作手段により為された場合に、そのグラフに対応する時系列データをその書き換え操作にしたがって更新することを特徴とする。

また、上記課題を解決するために、本発明は、コンピュータ装置を、同一の時間軸に沿って時間変化する複数のパラメータの各々について、パラメータ値の時間変化を示す時系列データを取得する取得手段と、前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、各グラフの時間軸を一致させつつ重ね合わせて表示装置に表示させる表示制御手段として機能させるプログラム、を提供する。

本発明によれば、時間軸を共有する複数の時系列データの示す複数のグラフが時間軸を共有して合成表示されるため、ユーザは複数の時系列データの比較参照がし易くなる、といった効果を奏する。

（Ａ：第１実施形態）
図１は、本発明の一実施形態に係る歌唱音合成装置１０の構成例を示すブロック図である。図１に示すように、歌唱音合成装置１０は、制御部１１０、操作部１２０、表示部１３０、音声出力部１４０、記憶部１５０、および各構成要素間のデータ授受を仲介するバス１６０を備えている。

制御部１１０は、例えばＣＰＵ（Central Processing Unit）であり、歌唱音合成装置１０の各部の作動制御を行う制御中枢である。操作部１２０は、テンキーなどの複数の操作子を備えたキーボードとマウスなどのポインティングデバイスとを含んでいる（何れも図示省略）。操作部１２０は、上記操作子やポインティングデバイスに対して為された操作を表すデータ（例えば、押下された操作子を示す識別子やポインティングデバイスの移動量を示すデータ）を制御部１１０に引き渡す。これにより、操作部１２０に対するユーザの操作内容が制御部１１０に伝達されることとなる。

表示部１３０は、例えば液晶ディスプレイとその駆動回路であり（何れも図示省略）、制御部１１０から引き渡された画像データの表す画像を表示する。音声出力部１４０は、Ｄ／Ａコンバータ、アンプおよびスピーカを含んでいる（何れも図示省略）。音声出力部１４０は、制御部１１０から受け取った音声データをＤ／Ａコンバータによって音声信号に変換し、その音声信号をアンプによって適宜増幅した後にスピーカに与え、その音声データの表す音を出力する。

記憶部１５０は、図１に示すように、揮発性記憶部１５０ａと不揮発性記憶部１５０ｂとを含んでいる。揮発性記憶部１５０ａは、例えばＲＡＭ（Random Access Memory）であり、各種ソフトウェアにしたがって作動している制御部１１０によってワークエリアとして利用される。一方、不揮発性記憶部１５０ｂは、例えばハードディスクであり、各種データや各種プログラムを記憶している。

不揮発性記憶部１５０ｂに記憶されているデータの一例としては、図１に示す楽曲データベース１５２および音韻データベース１５４に格納されているデータが挙げられる。図１に示す楽曲データベース１５２には、楽曲を一意に示す楽曲識別子（例えば、楽曲名を示す文字列データ等）に対応付けて、その楽曲の歌唱音の合成に用いられる楽譜データと、その歌唱音に与える表情を示すパラメータとが格納されている。一方、音韻データベース１５４は、歌唱合成の際に参照される音韻データの集合体である。この音韻データベース１５４では、発声する音声の種類、例えば、男声、女声、あるいは特定の歌手等ごとに音韻データの集合体が予め用意されている。

楽譜データには、その楽譜データに対応付けられている楽曲識別子で識別される楽曲を構成する各音符の音高および発音期間（例えば、発声時刻と音符の長さ）を示す音符データと、音符に合わせて発声する歌詞を示す歌詞データとが含まれている。この楽譜データは、楽曲の開始から発声順序に合わせて、個々の音符に対応した音符データと歌詞データとを時系列的に並べたものであり、楽譜データ内において音符データと歌詞データとは音符単位で対応付けられている。

一方、パラメータは、音符の発声態様を示すパラメータとピッチベンドに関するパラメータとに分類される。音符の発声態様を示すパラメータとは、音符の発声の強弱を示す“ＶＥＬ”、音量を示す“ＤＹＮ”、息成分の強弱を示す“ＢＲＥ”、声のトーンを示す“ＢＲＩ”、声の透明感を示す“ＣＬＥ”、性別・年齢的な変化を示す“ＧＥＮ”、および、音符のつながりの滑らかさを示す“ＰＯＲ”の７種類である。また、ピッチベンドに関するパラメータとは、ピッチベンドの有無を示す“ＰＩＴ”およびピッチベンドの最大幅を示す“ＰＢＳ”の２種類である。これら９種類のパラメータは、何れも、楽曲の再生開始時点を原点とする時間軸上の時刻におけるパラメータ値の配列（すなわち、時間軸を共有する時系列データ）として楽曲データベース１５２に楽曲毎に格納されている。なお、本実施形態では、電気的に合成する歌唱音声に人間らしい表情を与えるパラメータとして上記９種類を用いる場合について説明するが、これら９種類のうちの何れか８種類以下を用いても良く、また、これら９種類に他の１又は複数のパラメータを加えて用いても良い。以下では、楽曲識別子に対応付けて楽曲データベース１５２に格納されている楽譜データと各パラメータとの組を「楽曲データ」とも呼ぶ。

不揮発性記憶部１５０ｂに格納されているプログラムの一例としては、所謂オペレーションシステム（Operation System：以下、「ＯＳ」）を制御部１１０に実現させるＯＳプログラム（図示省略）や曲編集プログラム１５６、および歌唱合成プログラム１５８が挙げられる。ＯＳプログラムにしたがって作動している制御部１１０には、歌唱音合成装置１０の各部の作動制御を行う機能、各種入力をユーザに促すためのＧＵＩを提供する機能、およびユーザの指示に応じて他のプログラムを実行する機能が付与される。曲編集プログラム１５６とは、図２に示す楽曲データ入出力画面を表示部１３０に表示させ、楽曲データの閲覧および編集をユーザに促す処理を制御部１１０に実行させるためのプログラムである。この楽曲データ入出力画面については後に詳細に説明する。一方、歌唱合成プログラム１５８とは、ユーザにより指定された楽曲識別子により識別される楽曲の歌唱音をユーザにより指定された声質および表情で合成し出力する処理を、その楽曲に対応する楽曲データおよび音韻データベースの格納内容にしたがって制御部１１０に実行させるプログラムである。このように、ＯＳプログラムにしたがって作動している制御部１１０が歌唱合成プログラム１５８にしたがって行う処理は、一般的な歌唱合成処理と同一である。このため、以下では、曲編集プログラム１５６にしたがって作動している制御部１１０が行う処理を中心に説明する。

ＯＳプログラムにしたがって作動している制御部１１０は、曲編集プログラム１５６の実行を指示する旨の操作が操作部１２０に対して為されると、その操作内容を示すデータを操作部１２０から受け取り、そのデータの示す指示に従って曲編集プログラム１５６を不揮発性記憶部１５０ｂから揮発性記憶部１５０ａに読み出し、その実行を開始する。曲編集プログラムにしたがって作動している制御部１１０は、図３に示すように、データアクセス手段３１０、表示制御手段３２０、および操作内容判定手段３３０の各ソフトウェアモジュールとして機能する。

データアクセス手段３１０は、楽曲データベース１５２からの楽曲データの取得、および楽曲データベース１５２の格納内容の更新を行う機能を担っている。より詳細に説明すると、データアクセス手段３１０は、操作部１２０を介して入力された楽曲識別子に対応する楽曲データを楽曲データベース１５２から読み出し、その楽曲識別子と対応付けて揮発性記憶部１５０ａ内の所定領域に書き込む。揮発性記憶部１５０ａの所定領域に書き込まれた楽曲データは、楽曲データ入出力画面（図２参照）を表示部１３０に表示させる際に表示制御手段３２０によって利用される。また、揮発性記憶部１５０ａ内の所定領域に格納された楽曲データは、楽曲データ入出力画面に対してユーザが行った編集操作に応じて適宜更新される。そして、操作部１２０を介して登録指示が入力されると、データアクセス手段３１０は、上記所定領域に格納されている楽曲データで楽曲データベース１５２内の該当楽曲データを上書き更新する。

表示制御手段３２０は、データアクセス手段３１０によって揮発性記憶部１５０ａ内の所定領域に書き込まれた楽曲データにしたがって、図２に示す楽曲データ入出力画面を表示部１３０に表示させる。図２に示すように、楽曲データ入出力画面は、楽譜データ入出力領域２１０、パラメータ選択領域２２０およびパラメータ入出力領域２３０の３つの入出力領域に分けられる。

楽譜データ入出力領域２１０は、揮発性記憶部１５０ａ内の所定領域に楽曲識別子に対応付けて格納されている楽曲データに含まれる楽譜データにしたがって、その楽曲識別子で識別される楽曲の歌唱音の音高（以下、「ピッチ」とも呼ぶ）および歌詞の時間変化を示す画像を表示するための入出力領域である。この楽譜データ入出力領域２１０には、縦軸が音高を示す一方、横軸が時間を示す座標平面上に、音符データの示す音符の長さに応じた長さの棒状の画像をその音符データの示す音高および発声時刻に対応する座標位置に配置してなる楽譜画像が表示制御手段３２０によって表示される。この楽譜画像は、図２に示すように、ピアノの鍵盤を模した画像がピッチのスケールとして上記縦軸に沿って配列されているためピアノロール画像とも呼ばれる。また、図２を参照すれば明らかなように、本実施形態に係る楽譜画像においては、各音符データに対応する棒状画像の近傍に、その音符データに対応する歌詞データの示す歌詞を示す文字列画像が配置される。楽譜データ入出力領域２１０に表示される楽譜画像を視認したユーザは、その楽譜画像における上記棒状画像の配列等から楽曲のピッチおよび歌詞の時間変化を直感的に把握することができる。なお、本実施形態では、楽曲のピッチおよび歌詞の時間変化を表す楽譜画像としてピアノロール画像を用いる場合について説明するが、例えば、各音符データにしたがって五線譜上に音符を記譜してなる楽譜画像を用いても勿論良い。

パラメータ選択領域２２０には、前述した９種類のパラメータのうちの何れを表示または編集するのかをユーザに指示させるための画像が表示される。図２に示すように、パラメータ選択領域２２０に表示される画像には、前述した９種類のパラメータのうちから表示対象のものをユーザに指示させるためのチェックボックス（以下、表示指示ボックス）と、ユーザに選択されたパラメータのうちから編集対象のものをユーザに指示させるためのチェックボックス（以下、編集指示ボックス）が含まれている。ユーザは操作部１２０を適宜操作して上記各チェックボックスをクリックすることにより、表示対象のパラメータの選択をしたり、表示させたパラメータのうちから編集対象のものを１つ選択することができる。ユーザが何れのチェックボックスを指定または解除する操作を行ったかは操作部１２０から引き渡されるデータを解析することにより操作内容判定手段３３０によって判定され、その判定結果を示すデータが表示制御手段３２０に引き渡される。一方、表示制御手段３２０は、ユーザの操作内容を示すデータを操作内容判定手段３３０から受け取る毎に、表示対象として指定されたパラメータの時間変化を示すグラフの画像をパラメータ入出力領域２３０に表示させる。なお、表示制御手段３２０は、表示対象のパラメータの選択が未だ為されていない状況下では、パラメータ入出力領域２３０に例えば白一色などの下地画像を表示させる。

より詳細に説明すると、表示制御手段３２０は、パラメータ選択領域２２０内の表示指示ボックスが選択されたことを示すデータを操作内容判定手段３３０から受け取ると、その表示指示ボックスに対応するパラメータの時間変化を楽譜画像と同一の時間軸上で示すグラフを表す画像データを透過モードで生成する。ここで、透過モードとは、透過処理（すなわち、グラフの背景部分を透明にする処理）を施して画像データを生成するモードである。そして、表示制御手段３２０は、上記透過モードで生成した画像データの表す画像をパラメータ入出力領域２３０に重ね合わせて表示させる。例えば、音符の発声の強弱を示す“ＶＥＬ”、音量を示す“ＤＹＮ”、および息成分の強弱を示す“ＢＲＥ”の３種類のパラメータについての表示指定ボックスをこの順に選択する操作が為された場合には、表示制御部３２０は、図４（Ａ）に示すように、各パラメータの時間変化を示すグラフをその選択順に下地画像に重ね合わせてパラメータ入出力領域２３０に表示する。ここで、上記３種類のパラメータが図５（Ａ）、（Ｂ）および（Ｃ）に示すように時間変化している場合には、表示部１３０には図６に示す楽曲データ入出力画面が表示されることになる。この例においては、図６を参照すれば明らかなように、パラメータ入出力領域２３０に重ね合わせて表示される各グラフの画像には透過処理が施されているため、ユーザは上記３種類のパラメータの時間変化を一括して把握することができる。

一方、表示制御手段３２０は、編集指示ボックスが選択されたことを示すデータを操作内容判定手段３３０から受け取ると、その編集指示ボックスに対応するパラメータのグラフを表す画像に対して、グラフの描線を点線に変更する処理を施した後に最前面に移動させる。なお、編集対象として指定されたパラメータの線種別を他のグラフと異ならせる理由は、編集対象のグラフをユーザに明確に把握させるためであるが、編集対象のグラフの描線の色を他のグラフと異ならせることにより編集対象をユーザに明確に把握させても良い。

例えば、図６に示す楽曲データ入出力画面が表示部１３０に表示されている状況下で、音符の発声の強弱を示す“ＶＥＬ”についての編集指定ボックスが選択されると、表示制御手段３２０は、このパラメータの時間変化を示すグラフ（図５（Ａ）参照）の画像にグラフの描画線の種別を変更する処理を施した後に、図４（Ｂ）に示すようにパラメータ入出力領域２３０の最前面に移動させる。その結果、表示部１３０には、図７に示す曲データ入出力画面が表示されることになる。この例において、パラメータ入出力領域２３０の最前面に表示されるグラフは他のグラフとは異なる種別の線で描画されているため、編集対象のグラフをユーザに明確に把握させることができる。また、図７に示す曲データ入出力画面のパラメータ入出力領域２３０に表示される各グラフ画像には透過処理が施されているため、他のパラメータの時間変化を参照しつつ編集対象のパラメータの時間変化を更新することが容易になる。

以上に説明したように、本実施形態に係る歌唱音合成装置１０によれば、楽曲の歌唱音のピッチの時間変化を示す楽譜画像とともに、ユーザにより選択された複数のパラメータの時間変化を示す各グラフを重ね合わせて合成した画像が上記楽譜画像の時間軸に沿って表示される。このため、パラメータ毎に入出力領域を用いる必要はなく、表示部１３０の描画領域を無駄に使うことはなく、時間軸を共有する複数種類の時系列データにより表される各パラメータの時間変化を比較・参照および編集することが容易になる、といった効果を奏する。なお、本実施形態では、本発明に係る歌唱音合成装置に特徴的な時系列データ表示機能をソフトウェアモジュールで実現する場合について説明したが、ハードウェアモジュールで実現しても良いことは勿論である。

（Ｂ：その他の実施形態）
以上、本発明の一実施形態について説明したが、係る実施形態に以下に述べる変形を加えても良いことは勿論である。
（１）上述した実施形態では、１台のコンピュータ装置に楽曲データ編集処理と楽曲データにしたがって歌唱合成を実行する歌唱合成処理とを実行させる場合について説明した。しかしながら、楽曲データ編集処理と歌唱合成処理とを各々別個のコンピュータ装置に実行させても良い。

（２）上述した実施形態では、ユーザにより表示指定された複数のパラメータの各々の時間変化を示すグラフに透過処理を施した後に重ね合わせて表示させる場合について説明したが、各パラメータの時間変化を把握し易くするためにパラメータ毎にグラフ描画に用いる線の種別を異ならせても良く、線の色を異ならせても勿論良い。また、グラフを描く線の色や種類で各パラメータを示すのではなく、グラフ曲線と時間軸との間の領域にパラメータ毎に異なる着色、または選択順に応じた着色を施すようにしても良い。具体的には、1番目に選択されるパラメータについては赤で、２番目に選択されるパラメータについては黄で、３番目に選択されるパラメータについては青で、グラフ曲線と時間軸との間の領域を着色する等すれば良い。そして、これら着色を施したグラフ画像に透過処理を施して重ね合わせる際には、着色した各領域を有色透明に変換し、さらに、互いに重なり合う着色領域については、その重なり具合に応じた色に変換する処理を施せば良い。上記の例で、赤で着色した領域の上に黄で着色した領域が重なっている場合には、その重なっている部分については黄色がかったオレンジ色に変換すれば良く、黄で着色した領域の上に青で着色した領域が重なっている場合には、その重なっている部分については青味がかった緑色に変換すれば良い。このような変換処理を施せば、重なり部分の色合いで各パラメータの重なり順をユーザに把握させることが可能である。なお、重なり部分の色合いの決定や色の変換には既存の画像処理アルゴリズムを用いることが可能である。

（３）上述した実施形態では、曲頭から曲末尾までの楽曲のピッチの時間変化を示す楽譜画像および各種パラメータの時間変化を示す画像を一括して表示部１３０に表示させる場合について説明した。しかしながら、例えばノート型パソコンやＰＤＡ（Personal Digital Assistants）など据え置き型パソコンに比較して狭い描画領域しか有さないコンピュータ装置で曲編集プログラムを実行する場合には、一曲分の楽譜画像全体の一括表示ができなかったり、視認に耐えないほどの縮小を行わなければ表示できない場合がある。そこで、一曲分の楽譜画像全体の一括表示を行うに充分な広さの描画領域がない場合には、一般的なワードプロセッサ画面や表計算画面などと同様にスクロールバーおよびスクロールボタンを設け、所定の時間範囲毎および所定のピッチ範囲毎に楽譜画像を分割して表示すれば良い。ただし、所定の時間範囲毎に楽譜画像を表示しスクロールボタン等で時間範囲の切り替えを行う場合には、パラメータの時間変化を示すグラフの時間範囲につても楽譜画像の時間範囲に同期させて表示を切り替える必要がある。

（４）上述した実施形態では、時間軸を共有する複数種類の時系列データの各々により表される各パラメータの時間変化を表すグラフを１つの画像に合成して表示部１３０に表示させる処理を制御部１１０に実行させる時系列データ表示制御プログラムが歌唱音合成装置１０に予めインストールされている場合について説明した。しかし、上記時系列データ表示制御プログラムをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disk）などのコンピュータ装置読み取り可能な記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線を介したダウンロードにより上記時系列データ表示制御プログラムを配布しても良い。このようにして配布される時系列データ表示制御プログラムを一般的なコンピュータ装置にインストールすることによって、そのコンピュータ装置に前述したパラメータ表示制御モジュールと同一の機能を付与することが可能になる。

本発明の一実施形態に係る歌唱音合成装置１０の構成例を示すブロック図である。 歌唱音合成装置１０の表示部１３０に表示される楽曲データ入出力画面の画面レイアウトを示す図である。 歌唱音合成装置１０の制御部１１０が曲編集プログラムにしたがって作動することにより実現されるソフトウェアモジュールの一例を示す図である。 制御部１１０が曲編集プログラムにしたがって実行する画像合成処理を説明するための図である。 パラメータの時間変化を示すグラフの一例である。 歌唱音合成装置１０の表示部１３０に表示される楽曲データ入出力画面の一例を示す図である。 歌唱音合成装置１０の表示部１３０に表示される楽曲データ入出力画面の一例を示す図である。

符号の説明

１０…歌唱音合成装置、１１０…制御部、１２０…操作部、１３０…表示部、１４０…音声出力部、１５０…記憶部、１５０ａ…揮発性記憶部、１５０ｂ…不揮発性記憶部、１６０…バス。

Claims (4)

1. 楽曲を構成する音符の音高および発音期間を示す音符データとその音符で発声する歌詞を示す歌詞データとがその発声順に配列された楽譜データと、前記楽譜データと時間軸を共有する複数種類の時系列データであって、前記楽譜データにしたがって合成される歌唱音に与える表情を示すパラメータの時間変化を表す複数種類の時系列データと、を取得する取得手段と、
   前記取得手段により取得された楽譜データにしたがって、前記楽曲の音高の時間変化および歌詞の時間変化を示す楽譜画像を表示装置に表示させる一方、前記楽譜画像の時間軸に沿って前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、前記各グラフの時間軸と前記楽譜画像の時間軸とを対応させつつ前記楽譜画像と並べて前記表示装置に表示させる表示制御手段と、
   前記取得手段により取得された楽譜データにしたがって前記楽曲の歌唱音を合成し、前記各パラメータの示す表情を付与して出力する歌唱音合成手段と、を備え、
   前記表示制御手段は、
   前記各パラメータの時間変化を示すグラフの画像の各々において当該パラメータの時間変化を表すグラフ曲線と時間軸との間の領域にパラメータ毎に異なる色で着色を施した後に、各グラフの時間軸を対応させて重ね合わせ、互いに重なり合う着色領域については各領域に着色した色を混色して得られる色であって、最前面の領域の色味がかった色合いの色に変換して前記表示装置に表示させる
   ことを特徴とする歌唱音合成装置。
2. 前記表示制御手段は、最前面に表示されるグラフを他のグラフとは異なる種別の線で描画することを特徴とする請求項１に記載の歌唱合成装置。
3. 操作手段と、前記操作手段に対する操作にしたがって前記時系列データを更新する更新手段とを有し、
   前記表示制御手段は、前記表示装置に表示されている複数のグラフのうちの１つが前記操作手段により選択された場合に、そのグラフの画像が最前面に見えるように表示制御を行い、
   前記更新手段は、前記選択されたグラフを書き換える操作が前記操作手段により為された場合に、そのグラフに対応する時系列データをその書き換え操作にしたがって更新する
   ことを特徴とする請求項１または２に記載の歌唱音合成装置。
4. コンピュータを、
   楽曲を構成する音符の音高および発音期間を示す音符データとその音符で発声する歌詞を示す歌詞データとがその発声順に配列された楽譜データと、前記楽譜データと時間軸を共有する複数種類の時系列データであって、前記楽譜データにしたがって合成される歌唱音に与える表情を示すパラメータの時間変化を表す複数種類の時系列データと、を取得する取得手段と、
   前記取得手段により取得された楽譜データにしたがって、前記楽曲の音高の時間変化および歌詞の時間変化を示す楽譜画像を表示装置に表示させる一方、前記楽譜画像の時間軸に沿って前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、前記各グラフの時間軸と前記楽譜画像の時間軸とを対応させつつ前記楽譜画像と並べて前記表示装置に表示させる手段であって、前記各パラメータの時間変化を示すグラフの画像の各々において当該パラメータの時間変化を表すグラフ曲線と時間軸との間の領域にパラメータ毎に異なる色で着色を施した後に、各グラフの時間軸を対応させて重ね合わせ、互いに重なり合う着色領域については各領域に着色した色を混色して得られる色であって、最前面の領域の色味がかった色合いの色に変換して前記表示装置に表示させる表示制御手段と、
   前記取得手段により取得された楽譜データにしたがって前記楽曲の歌唱音を合成し、前記各パラメータの示す表情を付与して出力する歌唱音合成手段
   として機能させるプログラム。
   

Images