JP6756151B2 - 歌唱合成データ編集の方法および装置、ならびに歌唱解析方法 - Google Patents

Description

この発明は、歌唱合成の制御を指示する歌唱合成データを編集するための歌唱合成データ編集方法および歌唱合成データ編集装置、ならびにこの歌唱合成データの編集において利用する歌唱特性データを生成する歌唱解析方法に関する。

歌唱合成に関する技術として、歌唱合成データに従って歌唱合成を行う技術がある。この歌唱合成データは、発音の期間および発音のピッチを指示するノートデータと、このノートデータに関連付けられた歌詞データと、音響制御データとを時系列化したデータである。ここで、音響制御データには、歌詞データが示す歌詞の歌唱音声を出力する際の音量を制御するための音量制御データ、ピッチを制御するためのピッチ制御データ等が含まれる。ユーザはこの歌唱合成データを任意に編集してメモリに格納することが可能である。従来技術の下では、この歌唱合成データを構成する各ノートデータと、各ノートデータに関連付けられた歌詞データと、音響制御データがシーケンサによってメモリから順次読み出され、歌唱合成部に供給される。歌唱合成部では、シーケンサから供給される歌詞データが示す歌詞に対応し、かつ、ノートデータが示すピッチおよび発音期間を有する歌唱音声信号を合成するとともに、その歌唱音声信号に音響制御データに従って音量制御、ピッチ制御等の音響制御を施して出力する。

特開２０１５−０３４９２０号公報

ところで、自然人が行う歌唱では、無音区間によって区切られたフレーズの歌い出しの部分の歌唱に顕著に個性が現れる。そこで、このフレーズの歌い出しの部分に対して音量やピッチの変化を与えて歌唱の表現力を高めたい。特許文献１は、ある楽曲の参照楽曲データ（ノートデータと歌詞データとを合わせたもの）が示す合成歌唱のピッチ遷移と、その楽曲を歌唱することにより得られた参照歌唱データのピッチ遷移との関係を確率モデルに学習させ、この確率モデルを規定する歌唱特性データを生成する技術を開示している。そこで、この特許文献１の技術により歌唱特性データを生成し、この歌唱特性データを利用してフレーズの歌い出しの部分にピッチや音量の変化を与える音響制御データを生成することが考えられる。しかし、この特許文献１の技術では、確率モデルの学習を行う区間が参照楽曲データのノートデータを基準に決定される。そして、特許文献１の技術では、ノートオン直前の区間を、発音区間と区別し、無音区間として捉えるため、ノートオン直前の区間について、歌唱の表現力を高める歌唱特性データを得ることができない。

この発明は、以上説明した事情に鑑みてなされたものであり、その目的のひとつは、フレーズの歌い出し部分の歌唱の表現力を高めることを可能にする歌唱合成データ編集の方法および装置を提供することにある。また、この発明の目的のひとつは、この歌唱合成データ編集の方法および装置の利用価値を高める歌唱解析方法を提供することにある。

この発明の一態様にかかる歌唱合成データ編集方法は、歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データと、前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データとを含む歌唱合成データに対して、連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加するステップと、前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データであって、前記仮想ノートデータに関連付けられた音響制御データを取得するステップと、を含む。また、上記歌唱合成データ編集方法は、当該歌唱合成データ編集方法を実行する歌唱合成データ編集装置としても実現される。

この歌唱合成データ編集方法又は歌唱合成データ編集装置によれば、フレーズの歌い出し部分のような連続した先行ノートデータを有しないノートデータがある場合に、その直前に位置する仮想ノートデータが歌唱合成データに追加される。そして、仮想ノートデータに関連付けられた音響制御データが取得される。従って、フレーズの最初のノートオンタイミング以前の区間について音響制御データによる音響制御を行うことが可能になり、フレーズの歌い出し部分の歌唱の表現力を高めることが可能になる。

また、この発明の別の態様にかかる歌唱解析方法は、歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データとを含む楽曲データと、前記時系列の音符によりメロディが表される楽曲を歌唱した歌唱音声波形を示す歌唱データとに基づいて、前記楽曲データから前記歌唱データを生じさせる確率モデルを規定する歌唱特性データを生成するステップと、前記歌唱特性データの生成対象となる楽曲データに対し、前記複数のノートデータのうち連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加するステップと、を含む。また、上記歌唱解析方法は、当該解消解析方法を実行する歌唱解析装置としても実現される。

この歌唱解析方法又は歌唱解析装置によれば、仮想ノートデータの追加された楽曲データに基づいて、歌唱特性データが生成される。従って、上記歌唱合成データ編集方法又は歌唱合成データ編集装置では、取得した歌唱特性データを利用して、追加された仮想ノートデータに適した音響制御データを生成することが可能になる。

この発明の一実施形態である歌唱合成データ編集装置としての機能を備えた歌唱合成装置とこの歌唱合成装置に歌唱特性データを提供する歌唱解析装置とを含む歌唱合成システムの構成を示すブロック図である。 同歌唱解析装置の変数抽出部の動作の説明図である。 同変数抽出部の機能構成を示すブロック図である。 同歌唱解析装置の補間処理部の動作を示す図である。 同歌唱解析装置の特性解析部の構成を示すブロック図である。 同歌唱解析装置における確率モデルおよび歌唱特性データを示す図である。 同歌唱解析装置における決定木の説明図である。 同歌唱解析装置の動作を示すフローチャートである。 同実施形態における歌唱合成プログラムの実行によって実現される機能構成を示すブロック図である。 同実施形態における歌唱合成データ編集部の処理内容を示すフローチャートである。 同実施形態における前処理の内容を示す図である。 同実施形態における仮想ノートデータ追加処理の処理内容を示す図である。 同実施形態における仮想ノートデータ追加処理の処理内容を示す図である。

以下、図面を参照し、この発明の実施の形態を説明する。

図１はこの発明の一実施形態である歌唱合成システムの構成を示すブロック図である。図１に示すように、歌唱合成システムは、歌唱合成装置２００と、この歌唱合成装置２００に歌唱特性データを提供する歌唱解析装置１００とを含む。

歌唱解析装置１００は、特定の歌唱者（以下「参照歌唱者」という）の歌唱スタイルを表す歌唱特性データＺを生成する。歌唱スタイルは、例えば参照歌唱者に特有の歌い廻し（例えばしゃくり）や表情等の表現法を意味する。歌唱合成装置２００は、歌唱解析装置１００が生成した歌唱特性データＺを適用した歌唱合成を実行し、参照歌唱者の歌唱スタイルを反映した任意の楽曲の歌唱音声の歌唱音声信号を生成する。すなわち、歌唱合成装置２００は、所望の楽曲について参照歌唱者の歌唱音声が存在しない場合でも、参照歌唱者の歌唱スタイルが付与された当該楽曲の歌唱音声（すなわち参照歌唱者が当該楽曲を歌唱したような音声）を生成することが可能である。

＜歌唱解析装置１００＞
歌唱解析装置１００は、ＣＰＵ１２と、揮発性記憶部１３と、不揮発性記憶部１４と、通信Ｉ／Ｆ１５とを有する。不揮発性記憶部１４は、ＲＯＭやＨＤＤ（ハードディスク装置）により構成されており、歌唱特性データＺの生成に利用される参照歌唱データＸAと参照楽曲データＸBとを記憶する。参照歌唱データＸAは、図２に例示される通り、参照歌唱者が特定の楽曲（以下「参照楽曲」という）を歌唱した音声（以下「参照音声」という）の波形を表現する。他方、参照楽曲データＸBは、参照歌唱データＸAに対応する参照楽曲の楽譜を表現する。具体的には、参照楽曲データＸBは、図２から理解される通り、参照楽曲を構成する音符毎に音高と発音期間と歌詞（発音文字）とを時系列に指定する時系列データ（例えばＶＳＱ形式のファイル）である。すなわち、参照楽曲データＸBは、各音符の発音期間および発音のピッチを各々が指示する複数のノートデータと、当該複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データとを含む。

ＣＰＵ１２は、不揮発性記憶部１４に記憶された歌唱解析プログラムＧＡを実行することで、参照歌唱者の歌唱特性データＺを生成するための複数の機能（変数抽出部２２、特性解析部２４、および仮想ノートデータ追加部２６）を実現する。歌唱解析プログラムＧＡは、コンピュータが読取可能な記録媒体に格納された形態で提供されて歌唱解析装置１００にインストールされ得る。かかる記録媒体および不揮発性記憶部１４は、例えば、非一過性（non-transitory）の記録媒体であり、ＣＤ−ＲＯＭ等の光学式記録媒体（光ディスク）、半導体記録媒体、および磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、本明細書中において、「非一過性」の記録媒体とは、一過性の伝搬信号（transitory,propagating signal）を除く全てのコンピュータ読み取り可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。
また、歌唱解析プログラムＧＡは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。

変数抽出部２２は、参照歌唱データＸAから参照音声の時系列の特徴量を取得する。この例において、変数抽出部２２は、参照楽曲データＸBを適用した音声合成で生成される合成音声のピッチＰBと参照歌唱データＸAが表す参照音声のピッチＰAとの差分（以下「相対ピッチ」という）Ｒを特徴量として順次に算定する。すなわち、相対ピッチＲは、参照音声のピッチベンドの数値（基準となる合成音声のピッチＰBに対する参照音声のピッチＰAの変動量）とも換言され得る。図３に例示される通り、変数抽出部２２は、遷移生成部３２とピッチ検出部３４と補間処理部３６と差分算定部３８とを含む。

遷移生成部３２は、参照楽曲データＸBを適用した音声合成で生成される合成音声のピッチＰBの遷移（以下「合成ピッチ遷移」という）ＣPを設定する。参照楽曲データＸBを適用した音素接続型の音声合成では、参照楽曲データＸBが音符毎に指定するピッチと発音期間とに応じて合成ピッチ遷移（ピッチカーブ）ＣPが生成され、各音符の歌詞に対応する音素を合成ピッチ遷移ＣPの各ピッチＰBに調整して相互に連結することで合成音声が生成される。遷移生成部３２は、参照楽曲の参照楽曲データＸBに応じて合成ピッチ遷移ＣPを生成する。以上の説明から理解される通り、合成ピッチ遷移ＣPは、参照楽曲の歌唱音声の模範的（標準的）なピッチＰBの軌跡に相当する。なお、前述の通り合成ピッチ遷移ＣPは音声合成に利用され得るが、歌唱解析装置１００では、参照楽曲データＸBに応じた合成ピッチ遷移ＣPさえ生成されれば、実際の合成音声の生成までは必須ではない。

図２には、参照楽曲データＸBから生成される合成ピッチ遷移ＣPが図示されている。図２に例示される通り、参照楽曲データＸBが音符毎に指定する音高は離散的（不連続）に変動するのに対し、合成音声の合成ピッチ遷移ＣPではピッチＰBが連続に変動する。すなわち、合成音声のピッチＰBは、任意の１個の音符に対応する音高の数値から直後の音符の音高に対応する数値まで連続的に変動する。以上の説明から理解される通り、遷移生成部３２は、時間軸上で連続に変動する合成音声のピッチＰBを示す合成ピッチ遷移ＣPを生成する。

図３のピッチ検出部３４は、参照歌唱データＸAが表す参照音声のピッチＰAを順次に検出する。ピッチＰAの検出には公知の技術が任意に採用される。図２から理解される通り、参照音声のうち調波構造が存在しない無声区間（例えば子音区間や無音区間）ではピッチＰAが検出されない。図３の補間処理部３６は、参照音声の無声区間についてピッチＰAを設定（補間）する。

図４は、補間処理部３６の動作の説明図である。参照音声のピッチＰAが検出された有声区間σ１および有声区間σ２と、両者間の無声区間（子音区間または無音区間）σ０とが図４では例示されている。補間処理部３６は、有声区間σ１および有声区間σ２を跨る時系列のピッチＰAに応じて無声区間σ０内のピッチＰAを設定する。

具体的には、補間処理部３６は、有声区間σ１のうち終点側に位置する所定長の区間（第１区間）ηA1内のピッチＰAの時系列に応じて、無声区間σ０のうち始点側に位置する所定長の補間区間（第１補間区間）ηA2内のピッチＰAの時系列を設定する。例えば、区間ηA1内のピッチＰAの時系列の近似線（例えば回帰直線）Ｌ１上の各数値が区間ηA1の直後の補間区間ηA2内のピッチＰAとして設定される。すなわち、有声区間σ１（区間ηA1）から直後の無声区間σ０（補間区間ηA2）にわたりピッチＰAの遷移が連続するように有声区間σ１内のピッチＰAの時系列が無声区間σ０内にも拡張される。

同様に、補間処理部３６は、有声区間σ２のうち始点側に位置する所定長の区間（第２区間）ηB1内のピッチＰAの時系列に応じて、無声区間σ０のうち終点側に位置する所定長の補間区間（第２補間区間）ηB2内のピッチＰAの時系列を設定する。例えば、区間ηB1内のピッチＰAの時系列の近似線（例えば回帰直線）Ｌ２上の各数値が区間ηB1の直前の補間区間ηB2内のピッチＰAとして設定される。すなわち、有声区間σ２（区間ηB1）から直前の無声区間σ０（補間区間ηB2）にわたりピッチＰAの遷移が連続するように有声区間σ２内のピッチＰAの時系列が無声区間σ０内にも拡張される。なお、区間ηA1と補間区間ηA2とは相等しい時間長に設定され、区間ηB1と補間区間ηB2とは相等しい時間長に設定される。ただし、各区間の時間長を相違させることも可能である。また、区間ηA1と区間ηB1との時間長の異同や補間区間ηA2と補間区間ηB2との時間長の異同も不問である。

図３の差分算定部３８は、図２および図４に例示される通り、遷移生成部３２が算定した合成音声のピッチＰB（合成ピッチ遷移ＣP）と補間処理部３６による処理後の参照音声のピッチＰAとの差分を相対ピッチＲとして順次に算定する（Ｒ＝ＰB−ＰA）。図４の例示のように、無声区間σ０内で補間区間ηA2と補間区間ηB2とが相互に離間する場合、差分算定部３８は、補間区間ηA2と補間区間ηB2との間隔内の相対ピッチＲを所定値（例えばゼロ）に設定する。変数抽出部２２は、以上の構成および処理により時系列の相対ピッチＲを生成する。

図１において特性解析部２４は、変数抽出部２２が生成した時系列の相対ピッチＲを解析することで歌唱特性データＺを生成する。この特性解析部２４は、図５に例示される通り、区間設定部４２と解析処理部４４とを含む。

区間設定部４２は、変数抽出部２２が生成した時系列の相対ピッチＲを時間軸上で複数の区間（以下「単位区間」という）ＵAに区分する。具体的には、区間設定部４２は、図２から理解される通り、所定の音価（以下「単位音価」という）を単位として相対ピッチＲの時系列を時間軸上で複数の単位区間ＵAに区分する。区間設定部４２のさらに具体的な動作は、図８のフローチャートを参照しながら後段で説明する。この単位区間ＵAは、例えば１２０ｔｉｃｋ、すなわち、１６分音符に相当する時間長を有する。そして、１個の単位区間ＵAには、参照楽曲内の単位音価に相当する区間にわたる相対ピッチＲの時系列が包含される。区間設定部４２は、参照楽曲データＸBを参照することで参照楽曲内に複数の単位区間ＵAを設定する。なお、単位区間ＵAの時間長は１６分音符長（１２０ｔｉｃｋ）に限られない、他の音符長に相当する時間長、あるいは、音符長に限られず任意の時間長でもよい。また、区間設定部４２は、複数の単位区間ＵAの各々に次の情報を関連付ける。
・楽曲全体についてのテンポ情報
・フレーズ情報
フレーズ内に含まれるノートの個数
フレーズ内に含まれるノートの最高、最低、最頻音のノートナンバ
フレーズ内の最初のノートのノートナンバ
フレーズ内の小休符（フレーズ区切り未満の長さの休符）の数
・ノート情報（当該単位区間が属するノートとその先行、後続のノートの情報も利用）
ノートナンバ
ノートの長さ（含まれる単位区間数）
含まれる音素の種類
・単位区間情報
ノート内での当該単位区間の前から／後ろからの位置
フレーズは、参照楽曲のうち音楽的な纏まりが受聴者に知覚される旋律（複数の音符の時系列）の区間であり、区間設定部４２が設定する単位区間ＵAとは区別される。例えば、所定長を上回る無音区間（例えば４分休符以上の無音区間）を境界として参照楽曲は複数のフレーズに区分され得る。

図５の解析処理部４４は、区間設定部４２が生成した単位区間ＵA毎の相対ピッチＲに応じて参照歌唱者の歌唱特性データＺを生成する。歌唱特性データＺの生成には図６の確率モデルＭが利用される。この確率モデルＭは、Ｎ個（Ｎは２以上の自然数）の状態Ｓｔで規定される隠れセミマルコフモデル（ＨＳＭＭ：Ｈｉｄｄｅｎ Ｓｅｍｉ Ｍａｒｋｏｖ Ｍｏｄｅｌ）である。図６に例示される通り、歌唱特性データＺは、確率モデルＭの相異なる状態Ｓｔに対応するＮ個の単位データｚ［ｎ］（ｚ［１］〜ｚ［Ｎ］）を包含する。確率モデルＭのうち第ｎ番目（ｎ＝１〜Ｎ）の状態Ｓｔに対応する１個の単位データｚ［ｎ］は、決定木Ｔ［ｎ］と変数情報Ｄ［ｎ］とを含む。

解析処理部４４は、単位区間ＵAに関連する所定の条件（質問）の成否を順次に判定する機械学習（決定木学習）により決定木Ｔ［ｎ］を生成する。決定木Ｔ［ｎ］は、単位区間ＵAを複数の集合に分類（クラスタリング）するための分類木であり、複数の節点（ノード）ν（νａ，νｂ，νｃ）を複数の階層にわたり相互に連結した木構造で表現される。図７に例示される通り、決定木Ｔ［ｎ］は、分類の開始点となる始端節（ルートノード）νａと、最終的な分類に対応する複数（Ｋ個）の終端節（リーフノード）νｃと、始端節νａから各終端節νｃまでの経路上の分岐点に位置する中間節（内部ノード）νｂとを含む。

始端節νａおよび中間節νｂでは、例えば単位区間ＵAが無音区間であるか否か、単位区間ＵＡ内の音符が１６分音符未満であるか否か、単位区間ＵAが音符の始点側に位置するか否か、単位区間ＵAが音符の終点側に位置するか否か、といった条件の成否（コンテキスト）が判定される。各単位区間ＵAの分類を停止する時点（決定木Ｔ［ｎ］を確定する時点）は、例えば最小記述長（ＭＤＬ：Ｍｉｎｉｍｕｍ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌｅｎｇｔｈ）基準に応じて決定される。決定木Ｔ［ｎ］の構造（例えば中間節νｂの個数および条件、ならびに終端節νｃの個数Ｋ）は確率モデルＭの状態Ｓｔ毎に相違する。

図６の単位データｚ［ｎ］の変数情報Ｄ［ｎ］は、確率モデルＭの第ｎ番目の状態Ｓｔに関連する変数（確率）を規定する情報であり、図６に例示される通り、決定木Ｔ［ｎ］の相異なる終端節νｃに対応するＫ個の変数群Ω［ｋ］（Ω［１］〜Ω［Ｋ］）を含む。変数情報Ｄ［ｎ］のうち第ｋ番目（ｋ＝１〜Ｋ）の変数群Ω［ｋ］は、決定木Ｔ［ｎ］のＫ個の終端節νｃのうち第ｋ番目の１個の終端節νｃに分類された各単位区間ＵA内の相対ピッチＲに応じた変数の集合であり、変数ω０と変数ω１と変数ω２と変数ωｄとを含む。変数ω０と変数ω１と変数ω２との各々は、相対ピッチＲに関連する出現確率の確率分布を規定する変数（例えば確率分布の平均および分散）である。具体的には、変数ω０は相対ピッチＲの確率分布を規定し、変数ω１は相対ピッチＲの時間変化（微分値）ΔＲの確率分布を規定し、変数ω２は相対ピッチの２階微分値Δ^２Ｒの確率分布を規定する。また、変数ωｄは、状態Ｓｔの継続長の確率分布を規定する変数（例えば確率分布の平均および分散）である。解析処理部４４は、確率モデルＭの第ｎ番目の状態Ｓｔに対応する決定木Ｔ［ｎ］のうち第ｋ番目の終端節νｃに分類された複数の単位区間ＵAの相対ピッチＲの出現確率が最大となるように単位データｚ［ｎ］の変数情報Ｄ［ｎ］の変数群Ω［ｋ］（ω０〜ω２，ωｄ）を設定する。以上の手順で生成された決定木Ｔ［ｎ］と変数情報Ｄ［ｎ］とを確率モデルＭの状態Ｓｔ毎に含む歌唱特性データＺが不揮発性記憶部１４に格納される。

図８は、歌唱解析プログラムＧＡがＣＰＵ１２により実行されたときの処理内容を示すフローチャートである。この歌唱解析プログラムＧＡは、図示しない操作子あるいは通信Ｉ／Ｆ１５を介して起動指示が与えられた場合に起動される。歌唱解析プログラムＧＡが起動されると、遷移生成部３２は、参照楽曲データＸBから合成ピッチ遷移ＣP（ピッチＰB）を生成する（ＳＡ１）。また、ピッチ検出部３４は、参照歌唱データＸAが表す参照音声のピッチＰAを検出し（ＳＡ２）、補間処理部３６は、ピッチ検出部３４が検出したピッチＰAを利用した補間で参照音声の無声区間内のピッチＰAを設定する（ＳＡ３）。差分算定部３８は、ステップＳＡ１で生成された各ピッチＰBとステップＳＡ３による補間後の各ピッチＰAとの差分を相対ピッチＲとして算定する（ＳＡ４）。

他方、区間設定部４２は、参照楽曲データＸBを参照することで参照楽曲を単位音価毎に複数の単位区間ＵAに区分する（ＳＡ５）。その際、仮想ノートデータ追加部２６がまず参照楽曲データＸBに仮想ノートデータの追加を行い、区間設定部４２は、仮想ノートデータの追加後の参照楽曲データＸBを参照して区分する。すなわち、仮想ノートデータ追加部２６は、参照楽曲データＸBにおいて、前後隣り合った２つの音符のうち先行する音符のノートオフタイミングと後続の音符のノートオンタイミングとの間に所定時間以上の時間差がある場合（例えばフレーズの歌い出し部分）に、後続の音符の直前に位置する仮想ノートデータを追加する。そして、区間設定部４２は、この仮想ノートデータを含む参照楽曲データＸBに含まれている複数の音符のすべてを、音符ごとに、音符の先頭から順に、予め定められた時間長（例えば、１６分音符長）の区間に区分する。具体的には、区間設定部４２は、仮想ノートデータを除く参照楽曲データＸBに含まれる各音符を単位区間ＵAに区分するとともに、仮想ノートデータに対応する音符を単位区間ＵAと同じ長さの単位区間ＵA’に区分する（図２参照）。仮想ノートデータは、参照楽曲データＸBにもともと含まれていた原音符の先頭位置に追加されるノートデータである。本実施例では、区間設定部４２は、原音符と、仮想ノートデータが表す仮想音符とをそれぞれ独立した音符と捉えて原音符及び仮想音符それぞれを区分する。また、１つの音符を予め定められた時間長の複数の区間に区分できない場合がある。すなわち、１つの音符の音符長を予め定められた時間長で除算して剰余又は不足が生じる場合がある。この場合、当該音符の複数の区間のうちの少なくとも１つの区間について、予め定められた時間長よりも時間長を長くするか、あるいは時間長を短くする。なお、仮想ノートデータの追加方法の詳細は後述する図１２及び図１３の方法と同じである。また、仮想ノートデータの追加前に、後述する図１１の処理（前処理）を参照楽曲データＸBに対して行っておくことが好ましい。前処理は、あるノートデータのノートオフタイミングと後続するノートデータのノートオンタイミングとの時間差が所定値以下の場合に、先行するノートデータの直後に当該時間差に相当するノートデータを追加する処理である。したがって、前処理で参照楽曲データＸBに追加されるノートデータは、上記の区間設定処理においては原音符の部分として取り扱うようにしてもよい。

解析処理部４４は、各単位区間（ＵAやＵA’）を適用した機械学習で確率モデルＭの状態Ｓｔ毎の決定木Ｔ［ｎ］を生成するとともに（ＳＡ６）、決定木Ｔ［ｎ］の各終端節νｃに分類された各単位区間（ＵAやＵA’）内の相対ピッチＲに応じた変数情報Ｄ［ｎ］を生成する（ＳＡ７）。そして、解析処理部４４は、ステップＳＡ６で生成した決定木Ｔ［ｎ］とステップＳＡ７で生成した変数情報Ｄ［ｎ］とを含む単位データｚ［ｎ］を確率モデルＭの状態Ｓｔ毎に包含する歌唱特性データＺを不揮発性記憶部１４に格納する（ＳＡ８）。参照歌唱者（参照歌唱データＸA）と参照楽曲データＸBとの組合せ毎に以上の動作が反復されることで、相異なる参照歌唱者に対応する複数の歌唱特性データＺが不揮発性記憶部１４に蓄積される。

以上、ピッチ遷移を示す歌唱特性データの生成を中心に歌唱解析装置１００の機能を説明したが、音量遷移を示す歌唱特性データも基本的に同様な方法により生成される。ただし、ピッチ遷移を示す歌唱特性データの生成と異なり、音量遷移を示す歌唱特性データは、参照楽曲データＸBの音量特性は使用せず、参照歌唱データＸAから検出した音量特性をそのまま歌唱特性データとして使用する。

＜歌唱合成装置２００＞
図１において、本実施形態による歌唱合成装置２００は、パーソナルコンピュータ等の情報処理装置に本実施形態による歌唱合成プログラムをインストールしてなるものである。図１に示すように、歌唱合成装置２００は、同歌唱合成装置２００の制御中枢として機能するＣＰＵ２０１と、不揮発性記憶部２０２と、揮発性記憶部２０３と、表示部２０４と、操作部２０５と、通信Ｉ／Ｆ２０６と、メモリＩ／Ｆ２０７と、サウンドシステム２０８とを有する。不揮発性記憶部２０２は、ＲＯＭやＨＤＤ（ハードディスク装置）により構成されており、ＣＰＵ２０１が実行する各種のプログラムとＣＰＵ２０１が参照する各種のデータベースを記憶している。揮発性記憶部２０３は、例えばＲＡＭであり、ＣＰＵ２０１によってワークエリアとして使用される。表示部２０４は、ＣＰＵ２０１による制御の下、各種の情報を表示する表示手段であり、例えば液晶表示パネルとその駆動回路により構成されている。操作部２０５は、ＣＰＵ２０１に対して操作情報を提供する手段であり、キーボードやマウス等の各種の操作子により構成されている。通信Ｉ／Ｆ２０６は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）であり、ＣＰＵ２０１と他の装置との間のネットワーク経由の通信の仲介を行う。メモリＩ／Ｆ２０７は、メモリカード等の各種の記憶媒体からのデータ読み出しと各種記憶媒体へのデータ書き込みを行う装置である。サウンドシステム２０８は、ＣＰＵ２０１から供給されるデジタル音響信号をアナログ音響信号に変換するＤ／Ａ変換器と、このアナログ音響信号を増幅するアンプと、このアンプにより駆動されるスピーカとにより構成されている。

本実施形態において不揮発性記憶部２０２には歌唱合成プログラム２１０と音素データベース２２０と歌唱特性データベース２３０が記憶されている。ここで、歌唱合成プログラム２１０と音素データベース２２０は、例えばメモリＩ／Ｆ２０７によって記憶媒体から読み出され、あるいは通信Ｉ／Ｆ２０６によりネットワーク上のサーバから受信され、不揮発性記憶部２０２に格納されたものである。また、歌唱特性データベース２３０は、上述した歌唱解析装置１００によって生成された歌唱特性データZを例えば通信Ｉ／Ｆ２０６を利用してダウンロードし、あるいは記憶媒体に記憶された同歌唱特性データＺをメモリＩ／Ｆ２０７により読み出し、不揮発性記憶部２０２に格納してデータベース化したものである。
上記に例示された、歌唱合成プログラム２１０が読み出される記録媒体、ならびに不揮発性記憶部２０２および揮発性記憶部２０３は、例えば非一過性の記録媒体であり、ＣＤ−ＲＯＭ等の光学式記録媒体（光ディスク）、半導体記録媒体、および磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。

音素データベース２２０は、子音や母音など、歌声の素材となる各種の音素の波形を示す音素波形データの集合体である。これらの音素波形データは、実際の人間が発した音声波形から抽出された音素波形に基づいて作成されたデータである。音素データベース２２０では、男性歌手、女性歌手、澄んだ声の歌手、あるいはハスキーな声の歌手など、声質の異なった歌手毎に、各歌手の歌唱音声波形から得られた音素波形データのグループが用意されている。歌唱合成プログラム２１０は、この音素データベース２２０と歌唱特性データベース２３０を利用した歌唱合成をＣＰＵ２０１に実行させるためのプログラムである。

図９は、ＣＰＵ２０１が歌唱合成プログラム２１０を実行することにより実現される機能構成を示すブロック図である。図９に示すように、ＣＰＵ２０１は、歌唱合成プログラム２１０を実行することにより、歌唱合成データ編集部２１１と、シーケンサ部２１２と、歌唱合成部２１３として機能する。図９には、歌唱合成データ編集部２１１により編集される歌唱合成データ３１０が例示されている。

歌唱合成データ３１０は、例えばＶＳＱ形式やＶＳＱＸ形式のデータであり、ノートデータ３１１と、歌詞データ３１２と、音響制御データ３１３とを含む。ノートデータ３１１は、歌唱のメロディをあらわす時系列の音符を示すデータであり、具体的には各音符の発音期間と発音のピッチを指定する複数のノートデータのシーケンスデータである。歌詞データ３１２は、音符に合わせて歌唱する歌詞を示すデータであり、具体的には歌詞を構成する複数の音素の音素名を示す複数の歌詞データのシーケンスデータである。歌詞の音素名を示す各歌詞データは、前記ノートデータ３１１の各ノートデータの少なくともいずれかに関連付けられている。すなわち、各歌詞データは、前記ノートデータ３１１の音符を示すデータ（すなわち、ノートデータ）ごとの、対応する歌詞、具体的には歌詞の音素名を示すデータを指定するデータである。音響制御データ３１３は、前記ノートデータ３１１の音符に合わせて、前記歌詞データ３１２の歌詞に基づいて行われる歌唱の音量やピッチを制御するためのシーケンスデータである。

歌唱合成データ編集部２１１は、この歌唱合成データ３１０の入力操作を受け付けるためのＧＵＩを表示部２０４に表示させる。この状態において、ユーザは操作部２０５を操作して歌唱合成データ３１０の各データを入力する。歌唱合成データ編集部２１１は、ユーザが操作部２０５の操作により入力した歌唱合成データ３１０を揮発性記憶部２０３内の所定の記憶エリアに格納する。また、操作部２０５の操作により歌唱合成データ３１０の保存指示が与えられた場合、歌唱合成データ編集部２１１は揮発性記憶部２０３内の歌唱合成データ３１０を不揮発性記憶部２０２内に保存する。

歌唱合成データ編集部２１１は、本実施形態に特有の機能として、仮想ノートデータ追加部２１１ａと、音響制御データ取得部２１１ｂとを有する。ここで、仮想ノートデータ追加部２１１ａは、歌唱合成データ３１０のノートデータ３１１において、連続した先行ノートデータを有しないノートデータがある場合に、その直前に位置する仮想ノートデータをノートデータ３１１に追加する手段である。仮想ノートデータの追加は、後述する図１１〜図１３に例示される。仮想ノートデータの追加は、歌唱合成データ３１０のノートデータ３１１におけるすべての該当箇所において実施する方法に限られない。連続した先行ノートデータを有しないノートデータが複数ある場合には、当該複数のノートデータの一部においてのみ実行しても良い。その場合、実行する箇所をユーザが操作部２０５を介して選択するか、あるいは、仮想ノートデータ追加部２１１ａが選択（すなわち、自動的に選択）する方法が適用され得る。また、実行する箇所ではなく、実行しない箇所をユーザ又は仮想ノートデータ選択部２１１ａが選択するようにしてもよい。仮想ノートデータ追加部２１１ａによる選択は予め定めた条件にしたがってもよいし、ランダムに選択するようにしてもよい。また、音響制御データ取得部２１１ｂは、この仮想ノートデータを含むノートデータ３１１に関連付けられた音響制御データ３１３を取得する手段である。すなわち、音響制御データ取得部２１１ｂは、仮想ノートデータに関連付けられた音響制御データ３１３を取得する。音響制御データ取得部２１１ｂが音響制御データ３１３を取得する態様には２つの態様がある。第１の態様において、音響制御データ取得部２１１ｂは、ユーザが操作部２０５の操作により入力する音響制御データ３１３を取得する。第２の態様において音響制御データ取得部２１１ｂは、ノートデータ３１１および歌詞データ３１２とユーザが歌唱特性データベース２３０の中から選択した所望の歌手の歌唱特性データＺとに基づいて相対ピッチの時間変化および音量の時間変化を求め、この相対ピッチの時間変化を示すピッチ制御データおよび音量の時間変化を示す音量制御データを含む音響制御データ３１３を取得する。

シーケンサ部２１２は、操作部２０５の操作により歌唱合成指示が与えられた場合に、揮発性記憶部２０３内の歌唱合成データ３１０の開始点を基準とした相対時刻を進めつつ、相対時刻が発音期間の始期であるノートデータ３１１と、このノートデータ３１１に関連付けられた歌詞データ３１２および音響制御データ３１３とを揮発性記憶部２０３から読み出す。そして、シーケンサ部２１２は、ノートデータ３１１と、歌詞データ３１２と、音響制御データ３１３に含まれる音量制御データおよびピッチ制御データとを歌唱合成部２１３に供給する。

歌唱合成部２１３は、シーケンサ部２１２から供給される歌詞データが示す音素名に対応した音素波形データを音素データベース２２０から読み出し、この音素波形データに対してピッチ変換を施すことにより、ノートデータ３１１が示すピッチをピッチ制御データに従って変更したピッチを持った音素波形データを生成し、この生成された音素波形データに対して音量制御データが示す音量制御を施す。そして、歌唱合成部２１３は、このようにして得られる音素波形データを時間軸上において滑らかに接続することで、歌唱を出力するためのデジタル音響信号（波形形式のデータである歌唱波形データ）を生成し、生成した歌唱波形データをサウンドシステム２０８に出力する。
以上が歌唱合成プログラム２１０の実行により実現される機能の構成である。

＜本実施形態の動作＞
次に本実施形態の動作を説明する。
本実施形態において、歌唱合成装置２００のユーザは、歌唱解析装置１００により生成された所望の歌手の歌唱特性データＺを不揮発性記憶部２０２の歌唱特性データベース２３０に蓄積することができる。歌唱合成装置２００のユーザは、この歌唱特性データベース２３０の中の所望の歌手の歌唱特性データを歌唱合成に利用することができる。

歌唱合成装置２００のユーザが操作部２０５に対して所定の操作を行うと、ＣＰＵ２０１は、歌唱合成プログラム２１０を実行する。この歌唱合成プログラム２１０の歌唱合成データ編集部２１１では、ユーザが例えば操作部２０５の操作等により入力するノートデータ３１１および歌詞データ３１２を取り込み、揮発性記憶部２０３内の所定のエリアに格納する。本実施形態における歌唱合成データ編集部２１１は、このノートデータ３１１および歌詞データ３１２に関連付けられた音響制御データ３１３を編集する機能を有している。

図１０はこの歌唱合成データ編集部２１１における音響制御データ３１３の編集機能に関連した処理内容を示すフローチャートである。このフローチャートにおいて、ＳＢ２は図９の仮想ノートデータ追加部２１１ａに対応した処理であり、ＳＢ４およびＳＢ５は図９の音響制御データ取得部２１１ｂに対応した処理である。

まず、ＣＰＵ２０１は、前処理を実行する（ＳＢ１）。図１１は、この前処理の内容を示す図である。図１１のセクション（ａ）および（ｂ）において、横軸は時間であり、縦軸はピッチである。前処理では、楽曲を構成する各ノートのノートデータ３１１について、セクション（ａ）に示すようにノートデータＮ１のノートオフタイミングと後続のノートデータＮ２のノートオンタイミングとの時間差Δｔを求める。そして、この時間差Δｔが所定値以下である場合、セクション（ｂ）に示すように、先行するノートデータＮ１のノートオフタイミングを後続のノートデータＮ２のノートオンタイミングに一致させる補正をノートデータＮ１に対して施す。所定値とは例えば１００ｔｉｃｋである。
また、前処理では、音響制御データの編集モードを手動編集モードとするか自動編集モードとするかの選択をユーザに行わせる。また、前処理では、ユーザが自動編集モードを選択した場合に、音響制御データの自動編集を行う時間軸上の区間をユーザに選択させる。ここで、ユーザが区間の選択を行わなかった場合、楽曲の全区間が音響制御データの自動編集の対象となる。なお、図１１に示す前処理は割愛してもよい。

次にＣＰＵ２０１は、仮想ノートデータ追加処理を実行する（ＳＢ２）。図１２および図１３は、この仮想ノートデータ追加処理の内容を例示する図である。図１２および図１３のセクション（ａ）〜（ｄ）において、横軸は時間であり、縦軸はピッチである。図１２のセクション（ａ）に示す例では、先行するノートデータＮ１のノートオフタイミングと後続のノートデータＮ２のノートオンタイミングとの時間差Δｔが１００ｔｉｃｋより大きく１２０ｔｉｃｋ以下の範囲内にある。この場合、仮想ノートデータ追加処理では、図１２のセクション（ｂ）に示すように、先行するノートデータＮ１のノートオフタイミングをノートオンタイミングとし、後続のノートデータＮ２のノートオンタイミングをノートオフタイミングとする仮想ノートデータＮＶを生成する。図１３のセクション（ｃ）に示す例では、先行するノートデータＮ１のノートオフタイミングと後続のノートデータＮ２のノートオンタイミングとの時間差Δｔが１２０ｔｉｃｋ以上である。この場合、仮想ノートデータ追加処理では、セクション（ｄ）に示すように、後続のノートデータＮ２のノートオンタイミングをノートオフタイミングとし、長さが１２０ｔｉｃｋである仮想ノートデータＮＶを生成する。ここで、仮想ノートデータＮＶが示すノートは、後続のノートデータＮ２が示すノートと同じピッチおよび歌詞を有する。仮想ノートデータ追加処理において生成された仮想ノートデータＮＶは、フレーズの歌い出し部分等のノートオン前の無音区間について音響制御データを生成するために、ノートデータ３１１に追加されるものである。すなわち、本実施形態では、ノートデータ３１１と仮想ノートデータＮＶとを合わせたものに基づいて音響制御データが生成されるが、仮想ノートデータはこの音響制御データの生成のみに用いられる。仮想ノートデータはユーザに直接提供されることはなく、シーケンサ部２１２によって読み出されることもない。つまり、上述したように、歌唱合成部２１３はノートデータ３１１が示すピッチをピッチ制御データに従って変更することで音素波形データを生成するが、このノートデータ３１１に仮想ノートデータは含まれない。
なお、上述したように、前処理におけるノートデータＮ１の補正（図１１のセクション（ａ）から（ｂ）への補正）において、当該補正の実行条件となる時間差Δｔは１００ｔｉｃｋ以下である。また、仮想ノートデータ追加処理において、図１２のセクション（ｂ）に示す仮想ノートデータＮＶを追加するにあたっての実行条件となる時間差Δｔは１００ｔｉｃｋより大きく１２０ｔｉｃｋ以下であり、図１３のセクション（ｄ）に示す仮想ノートデータを追加するにあたっての実行条件となる時間差Δｔは１２０ｔｉｃｋを超えるか否かである。しかしながら、これらの時間差Δｔは以上の例に限られず、任意の他の値が適宜採用可能である。
また、図１２のセクション（ｂ）および図１３のセクション（ｄ）から理解できるように、仮想ノートデータＮＶを追加する場合、追加する仮想ノートデータＮＶの先頭位置（発音開始タイミング、すなわち、発音期間の始点）が必ず、先行するノートデータＮ１の終了位置（発音期間の終点）よりも後ろ（時間的に後）になるようにする。なお、この条件を満たしていれば、追加する仮想ノートデータＮＶの時間長は１２０ｔｉｃｋに限られず、任意に設定可能である。

次にＣＰＵ２０１は、ユーザにより選択された音響制御データの編集モードが手動編集モードであるか自動編集モードであるかを判断する（ＳＢ３）。

手動編集モードがユーザによって選択されている場合、ＣＰＵ２０１は、ノートデータ３１１と歌詞データ３１２を表示部２０４に表示させ、ユーザが操作部２０５の操作により入力する音量制御データやピッチ制御データ等の音響制御データを取得する（ＳＢ４）。この場合、ユーザは仮想ノートデータの区間についても音響制御データを入力することが可能である。ただし、シーケンサ部２１２に供給されるノートデータ３１１に、仮想ノートデータは含まれない。

一方、自動編集モードがユーザによって選択されている場合、ＣＰＵ２０１は、ノートデータ３１１および歌詞データ３１２と、ユーザが選択した所望の歌手の歌唱特性データＺとに基づいて、音響制御データを生成する（ＳＢ５）。

具体的には、ＣＰＵ２０１は、仮想ノートデータの追加されたノートデータ３１１を参照し、歌唱合成の対象となる楽曲のメロディーラインを時間軸上で前述の単位区間ＵAやＵA’と同様の単位音価（例えば１６分音符）毎に複数の単位区間に区分する。歌唱合成の対象となる合成楽曲とは、歌唱合成データ３１０のノートデータ３１１（仮想ノートデータの追加されたノートデータ３１１）であり、ＣＰＵ２０１は、当該ノートデータ３１１に含まれる複数の音符（もともとノートデータ３１１に含まれていた音符のノートデータ及び追加された仮想ノートデータ）のそれぞれを区分する。この区分方法は、前述した単位区間ＵA及びＵA’の区分方法と同様である。そして、ＣＰＵ２０１は、歌唱特性データＺのうち確率モデルＭの第ｎ番目の状態Ｓｔに対応する単位データｚ［ｎ］の決定木Ｔ［ｎ］に各単位区間を適用することで、決定木Ｔ［ｎ］のＫ個の終端節νｃのうち当該単位区間が所属する１個の終端節νｃを特定し、変数情報Ｄ［ｎ］のうち当該終端節νｃに対応する変数群Ω［ｋ］の各変数ω（ω０，ω１，ω２，ωｄ）を利用して相対ピッチＲの時系列を特定する。以上の処理を確率モデルＭの状態Ｓｔ毎に順次に実行することで、単位区間内の相対ピッチＲの時系列が特定される。具体的には、各状態Ｓｔの継続長が変数群Ω［ｋ］の変数ωｄに応じて設定され、変数ω０で規定される相対ピッチＲの出現確率と、変数ω１で規定される相対ピッチＲの時間変化ΔＲの出現確率と、変数ω２で規定される相対ピッチＲの２階微分値Δ^２Ｒの出現確率との同時確率が最大となるように各相対ピッチＲが算定される。複数の単位区間にわたり相対ピッチＲの時系列を時間軸上で連結することで合成楽曲の全域にわたる相対ピッチ遷移ＣＲが生成される。そして、ＣＰＵ２０１はこのようにして生成された相対ピッチ遷移ＣＲを示すピッチ制御データを音響制御データ３１３とする。

以上、ピッチ制御データの編集を例に説明したが、音量制御データについても同様であり、ＣＰＵ１は、仮想ノートデータの追加されたノートデータ３１１と、歌詞データ３１２と、歌唱特性データＺとに基づいて、歌唱時の音量遷移を示す音量制御データを生成する。

ユーザが操作部２０５の操作により歌唱合成指示を入力すると、シーケンサ部２１２は、上述したように、ノートデータ３１１と、このノートデータ３１１に関連付けられた歌詞データ３１２と、音響制御データ３１３とを揮発性記憶部２０３から読み出して歌唱合成部２１３に供給する。ここで、音響制御データ３１３には、仮想ノートデータの区間の音量やピッチを制御する音響制御データも含まれている。

そして、歌唱合成部２１３は、シーケンサ部２１２から供給される歌詞データが示す音素名に対応した音素波形データを音素データベース２２０から読み出し、この音素波形データに対してピッチ変換を施すことにより、ノートデータが示すピッチをピッチ制御データに従って変更したピッチを持った音素波形データを生成し、この音素波形データに対して音量制御データが示す音量制御を施す。

この場合、ピッチ制御データや音量制御データには、仮想ノートの区間に対応したピッチ制御データや音量制御データも含まれる。

従って、本実施形態によれば、フレーズの歌い出し部分のように、連続した先行ノートがない区間の直前の区間に所望の歌手の歌唱特性に応じたピッチの変化や音量の変化を与え、歌唱の表現力を高めることができる。

また、本実施形態において、歌唱解析装置１００（図１参照）の変数抽出部２２および特性解析部２４は、参照歌唱データＸＡと仮想ノートデータ追加後の参照楽曲データＸＢとに基づいて歌唱特性データＺを生成する。従って、歌唱合成プログラム２１０によって実現される仮想ノートデータ追加部２１１ａがノートデータ３１１に仮想ノートデータを追加した場合に、音響制御データ取得部２１１ｂが仮想ノートに対して最適な音響制御データを歌唱特性データベース２３０に基づいて取得することができる可能性を高めることができる。

＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が有り得る。例えば次の通りである。

（１）音量遷移についての歌唱特性データを次のようにして生成してもよい。まず、上記実施形態と同様、楽曲を単位区間に分割する。そして、各単位区間について上記実施形態と同様な情報を付与した上で、参照楽曲データＸＢと参照歌唱データＸＡの音量変化の時系列データとの対応付けを行う確率モデルの学習を行い、この確率モデルを規定する歌唱特性データを生成する。

（２）上記実施形態の歌唱合成システムをサーバ−クライアントシステムとして実現してもよい。例えば上記実施形態における歌唱解析装置１００の機能と歌唱合成装置２００の仮想ノートデータ追加部２１１ａおよび音響制御データ取得部２１１ｂの機能をサーバに持たせ、歌唱合成装置２００の仮想ノートデータ追加部２１１ａおよび音響制御データ取得部２１１ｂ以外の機能をクライアント端末に設ける。そして、クライアント端末は、サーバを利用してフレーズの歌い出し部分等の表現力を高めるための音響制御データを取得し、歌唱合成を行うのである。
また、歌唱解析装置１００のＣＰＵ１２の機能の一部を専用の電子回路が分担する構成も採用され得る。同様に、歌唱合成装置２００のＣＰＵ２０１の機能の一部を専用の電子回路が分担する構成も採用され得る。

１００……歌唱解析装置、２００……歌唱合成装置、１２，２０１……ＣＰＵ、１４，２０２……不揮発性記憶部、１２，２０３……揮発性記憶部、１５，２０６……通信Ｉ／Ｆ、２０４……表示部、２０５……操作部、２０７……メモリＩ／Ｆ、２０８……サウンドシステム、ＧＡ……歌唱解析プログラム、２２……変数抽出部、２４……特性解析部、ＸＡ……参照歌唱データ、ＸＢ……参照楽曲データ、Ｚ……歌唱特性データ、２１０……歌唱合成プログラム、２２０……音素データベース、２３０……歌唱特性データベース、２１１……歌唱合成データ編集部、２１１ａ，２６……仮想ノートデータ追加部、２１１ｂ……音響制御データ取得部、２１２……シーケンサ部、２１３……歌唱合成部、３１０……歌唱合成データ、３１１……ノートデータ、３１２……歌詞データ、３１３……音響制御データ。

Claims (7)

1. 歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データと、前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データとを含む歌唱合成データに対して、連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加するステップと、
   前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データであって、前記仮想ノートデータに関連付けられた音響制御データを取得するステップと
   を含む歌唱合成データ編集方法。
2. 前記仮想ノートデータを追加するステップでは、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が所定値以下の場合、当該時間差に相当する時間長のノートデータを、前記仮想ノートデータとして追加する
   請求項１に記載の歌唱合成データ編集方法。
3. 前記仮想ノートデータを追加するステップでは、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が所定値を超える場合、当該所定値に相当する時間長のノートデータを、前記仮想ノートデータとして追加する
   請求項２に記載の歌唱合成データ編集方法。
4. 前記仮想ノートデータを追加するステップでは、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が所定値以下の場合、当該時間差に相当する時間長のノートデータを、前記仮想ノートデータとして追加する一方、前記時間差が前記所定値を超える場合、当該所定値に相当する時間長のノートデータを、前記仮想ノートデータとして追加する
   請求項２に記載の歌唱合成データ編集方法。
5. 前記仮想ノートデータを追加するステップでは、前記仮想ノートデータを前記歌唱合成データに追加する前に、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が前記所定値よりも短い所定値以下の場合、前記先行ノートデータの直後に位置するノートデータであって、前記時間差に相当する時間長のノートデータを、前記歌唱合成データに追加する
   請求項４に記載の歌唱合成データ編集方法。
6. 歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データとを含む楽曲データと、前記時系列の音符によりメロディが表される楽曲を歌唱した歌唱音声波形を示す歌唱データとに基づいて、前記楽曲データから前記歌唱データを生じさせる確率モデルを規定する歌唱特性データを生成するステップと、
   前記歌唱特性データの生成対象となる楽曲データに対し、前記複数のノートデータのうち連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加するステップと
   を含む歌唱解析方法。
7. 歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データと、前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データとを含む歌唱合成データに対して、前記複数のノートデータのうち連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加する仮想ノートデータ追加手段と、
   前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データであって、前記仮想ノートデータに関連付けられた音響制御データを取得する音響制御データ取得手段と
   を具備することを特徴とする歌唱合成データ編集装置。

Images