JP5983670B2 - プログラム、情報処理装置、及びデータ生成方法 - Google Patents

Description

本発明は、データを生成するプログラム、情報処理装置、及びデータ生成方法に関する。

従来、楽曲の歌唱旋律を歌った歌唱の巧拙を評価する歌唱評価技術が知られている（特許文献１参照）。
この特許文献１に記載の技術では、楽曲ごとに用意された模範音声に、利用者が歌唱した音声を照合することで巧拙を評価し、その評価に応じたコメントを歌唱後に提示している。

特開２００７−２３３０１３号公報

ところで、プロの歌手が歌唱した楽曲においては、多くの場合、その楽曲の歌手ごとに特有の特徴が表出する。カラオケ装置や情報処理装置などを用いて利用者が歌唱する場合において、歌手特有の歌い方の特徴を再現できた場合には、より上手く歌唱しているように聞こえる。

このため、カラオケ装置や情報処理装置などにおいて、歌手特有の歌い方の特徴について、その歌い方の特徴を利用者が実際に歌唱する前に提示することが求められている。
しかしながら、従来の技術では、利用者が歌唱した音声と模範音声とのズレを利用者が歌唱した後に提示するだけである。よって、カラオケ装置や情報処理装置などの利用者は、歌手特有の歌い方の特徴について、どのように歌唱するとよいのかを歌唱前に認識できないという課題があった。

つまり、カラオケ装置や情報処理装置などにおいて、歌手特有の歌い方の特徴について、利用者が実際に歌唱する前に何ら提示していないという課題があった。
そこで、本発明は、歌手特有の歌い方の特徴を提示するために必要なデータを生成可能な技術の提供を目的とする。

上記目的を達成するためになされた本発明は、コンピュータに実行させるプログラムに関する。この本発明のプログラムは、第１取得ステップと、第２取得ステップと、抽出ステップと、タイミング特定ステップと、第１生成ステップと、ため時間算出ステップと、第２生成ステップとをコンピュータに実行させる。

このうち、第１取得ステップでは、複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、少なくとも、音高及び演奏開始タイミングが規定された楽譜データを、第１記憶部から取得する。第２取得ステップでは、楽曲を歌唱したボーカル音を含む楽曲データを第２記憶部から取得する。

さらに、抽出ステップでは、第２取得ステップで取得した楽曲データからボーカル音を表すボーカルデータを抽出する。タイミング特定ステップでは、抽出ステップで抽出したボーカルデータに基づいて、ボーカルデータにおいて発声を開始したタイミングとみなせる発声タイミングそれぞれを特定する。第１生成ステップでは、タイミング特定ステップで特定した発声タイミングのそれぞれと、第１取得ステップで取得した楽譜データにおける音符の演奏開始タイミングとに基づいて、所定の条件を満たす演奏開始タイミングと発声タイミングとを対応付けたタイミングペアデータを生成する。

そして、ため時間算出ステップでは、ペア生成ステップで生成されたタイミングペアデータそれぞれに基づいて、タイミングペアデータにおける演奏開始タイミングと発声タイミングとの時間差である、ため時間を算出する。すると、ため時間算出ステップでは、第１生成ステップで生成されたタイミングペアデータそれぞれに基づいて、演奏開始タイミングと発声タイミングとの時間差である、ため時間を算出する。すると、第２生成ステップでは、ため時間算出ステップで算出した“ため時間”を、ため時間の算出に用いた演奏開始タイミングに対応する楽譜データの音符と対応付けることで、音符における歌手の歌い方の特徴を表す歌唱特徴データを生成する。

このようなプログラムにて生成される歌唱特徴データは、楽譜データの音符に「ため時間」を対応付けたものである。特に、本発明のプログラムでは、楽譜データにおける音符の演奏開始タイミングと、楽曲データに含まれるプロの歌手が歌唱したボーカル音から検出した発声タイミングとの差分を「ため時間」として算出している。このため、「ため時間」は、楽曲を歌唱する際に、プロの歌手が用いる歌唱技巧としての「ため」の特徴を表すものである。

しかも、歌唱特徴データにおいては、ため時間の算出に用いた演奏開始タイミングに対応する楽譜データの音符に、その“ため時間”を対応付けている。
このため、歌唱特徴データによれば、カラオケ装置や情報処理装置に接続された表示部に、音符における“ため時間”を提示できる。特に、歌唱特徴データによれば、カラオケ装置や情報処理装置の利用者が実際に歌唱する前に“ため時間”を提示することが可能となる。

そして、“ため時間”が表示装置に提示されるカラオケ装置や情報処理装置の利用者は、歌唱している楽曲において、プロの歌手が、歌唱技巧としての「ため」をどのように用いているのかを認識できる。この結果、カラオケ装置や情報処理装置の利用者は、利用者自身の歌い方を、プロの歌手の歌い方により近づけることができる。

本発明におけるタイミング特定ステップは、ボーカルデータにおける音圧が、予め規定された規定閾値以上となった発声開始タイミングそれぞれを、発声タイミングとして特定しても良い。

さらに、本発明における第１生成ステップは、楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングからの時間長が最短となる発声開始タイミングとを組み合わせたタイミングペアデータを生成しても良い。ため時間算出ステップは、その生成されたタイミングペアデータにおける演奏開始タイミングと発声開始タイミングとの時間差である発音ため時間を、ため時間として算出しても良い。

このようなプログラムによれば、「ため時間」の一種として、「発音ため時間」を算出できる。この「発音ため時間」は、楽譜データにおける音符の演奏開始タイミングと、楽曲データにおいて歌手が実際に発声を開始した発声開始タイミングとの時間差であり、その歌手に特有の歌い方の特徴である。

このため、本発明のプログラムによれば、歌手に特有の歌い方の特徴として、「発音ため時間」を含む歌唱特徴データを生成することができる。
この結果、カラオケ装置や情報処理装置において、プロの歌手が発声を開始するタイミングが、音符における演奏開始タイミングからどの程度ずれているのかを提示することができる。

また、本発明におけるため時間算出ステップでは、発音ため時間の楽曲における代表値である発音ため代表値を算出し、発音ため時間と、発音ため代表値とに基づいて、発音ため代表値から規定時間長以上乖離した発音ため時間である特殊発音ため時間を、ため時間として算出しても良い。

このようなプログラムにて特定する「特殊発音ため時間」は、楽曲において歌唱技巧としての「ため」が顕著に表れる音符でのため時間であり、楽曲を歌唱した歌手の歌い方における顕著な特徴である。

このため、本発明のプログラムによれば、歌手の歌い方における顕著な特徴として、「特殊発音ため時間」を含む歌唱特徴データを生成できる。
この結果、楽曲において、プロの歌手が「ため」を顕著に用いる箇所を、カラオケ装置や情報処理装置を介して提示できる。そして、カラオケ装置や情報処理装置の利用者は、プロの歌手が「ため」を顕著に用いる箇所だけでも、利用者自身の歌い方をプロの歌手の歌い方に近づけることができる。

また、本発明におけるタイミング特定ステップでは、ボーカルデータにおける音高の推移を表すボーカル周波数推移が、楽譜データにおける音符の音高の範囲内となったタイミングである音高変化タイミングを、発声タイミングとして特定する。第１生成ステップでは、楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングから、時間軸に沿って予め規定された規定時間範囲であり、かつ、演奏開始タイミングからの時間長が最短となる音高変化タイミングとを対応付けたタイミングペアデータを生成する。

さらに、この場合、ため時間算出ステップは、第１生成ステップで生成されたタイミングペアデータにおける演奏開始タイミングと音高変化タイミングとの時間差である音高ため時間を、ため時間として算出する。

このようなプログラムによれば、「ため時間」の一種として、「音高ため時間」を算出できる。この「音高ため時間」は、楽譜データにおける音符の音高に、歌手が歌唱した歌声における音高が一致したタイミングと、その音符の演奏開始タイミングとの時間差であり、歌手に特有の歌い方の特徴として表れる。

このため、本発明のプログラムによれば、歌手ごとに特有の歌い方の特徴である「音高ため時間」を含む歌唱特徴データを生成することができる。
この結果、カラオケ装置や情報処理装置において、プロの歌手が、歌唱した歌声における音高を、楽譜データにおける音符の音高に一致させるタイミングを、どの程度ずらしているのかを提示することができる。

さらに、本発明におけるため時間算出ステップでは、音高ため時間の楽曲における代表値である音高ため代表値を算出し、音高ため時間と、音高ため代表値とに基づいて、音高ため代表値から規定時間長以上乖離した音高ため時間である特殊音高ため時間を特定しても良い。

このようなプログラムにて特定される「特殊音高ため時間」は、楽譜データにおける音符の音高に、プロの歌手が歌唱した歌声における音高を一致させるタイミングのズレがより顕著に表れる音符での時間であり、楽曲を歌唱した歌手の歌い方における顕著な特徴である。

このため、本発明のプログラムによれば、歌手の歌い方における顕著な特徴である「特殊音高ため時間」を含む歌唱特徴データを生成できる。
この結果、楽曲において、楽譜データにおける音符の音高に、プロの歌手が歌唱した歌声における音高を一致させるタイミングのズレが顕著な箇所を、カラオケ装置や情報処理装置を介して提示できる。そして、カラオケ装置や情報処理装置の利用者は、楽曲において、楽譜データにおける音符の音高にプロの歌手が歌唱した歌声における音高を一致させるタイミングのズレが顕著な箇所だけでも、利用者自身の歌い方をプロの歌手の歌い方に近づけることができる。

さらに、本発明のプログラムにおいては、第３取得ステップと、第４取得ステップと、表示制御ステップとをコンピュータに実行させても良い。第３取得ステップでは、指定された楽曲の楽譜データを取得する。第４取得ステップでは、第３取得ステップで取得された楽譜データに対応し、データ生成ステップにて生成された歌唱特徴データを取得する。さらに、表示制御ステップでは、第３取得ステップで取得された楽譜データを構成する音符それぞれを、表示部に表示させると共に、第４取得ステップで取得した歌唱特徴データに含まれるため時間それぞれを、ため時間の算出に用いた演奏開始タイミングに対応する楽譜データの音符と対応付けて、表示部に表示させる。

このようなプログラムによれば、楽譜データに基づいて楽曲を構成する音符における“ため時間”を、カラオケ装置や情報処理装置に接続された表示部に提示できる。さらに、本発明のプログラムにおいて、楽譜データを構成する音符それぞれを、時間軸に沿って順次表示部に表示させるようにすれば、カラオケ装置や情報処理装置の利用者が実際に歌唱する前に、“ため時間”を表示部に表示できる。

この結果、“ため時間”が表示部に提示されるカラオケ装置や情報処理装置の利用者は、歌唱している楽曲において、プロの歌手が、歌唱技巧としての「ため」をどのように用いているのかを認識できる。

ところで、本発明は、情報処理装置としてなされていても良い。
本発明としての情報処理装置は、第１取得手段と、第２取得手段と、抽出手段と、タイミング特定手段と、第１生成手段と、ため時間算出手段と、第２生成手段とを備える。

第１取得手段は、楽譜データを第１記憶部から取得し、第２取得手段は、楽曲データを第２記憶部から取得する。抽出手段は、楽曲データからボーカルデータを抽出し、タイミング特定手段は、その抽出したボーカルデータに基づいて、発声タイミングそれぞれを特定する。第１生成手段は、その特定した発声タイミングのそれぞれと、楽譜データにおける音符の演奏開始タイミングとに基づいて、タイミングペアデータを生成し、ため時間算出手段は、その生成されたタイミングペアデータそれぞれに基づいて、ため時間を算出する。そして、第２生成手段は、その算出した“ため時間”を、ため時間の算出に用いた演奏開始タイミングに対応する楽譜データの音符と対応付けることで、歌唱特徴データを生成する。

このような情報処理装置によれば、本発明に係るプログラムと同様の効果を得ることができる。
また、本発明は、情報処理装置が実行するデータ生成方法としてなされていても良い。

本発明としてのデータ生成方法は、第１取得手順と、第２取得手順と、抽出手順と、タイミング特定手順と、第１生成手順と、ため時間算出手順と、第２生成手順とを備える。
第１取得手順では、情報処理装置が第１記憶部から楽譜データを取得し、第２取得手順では、情報処理装置が第２記憶部から楽曲データを取得する。抽出手順では、その取得した楽曲データから、情報処理装置がボーカルデータを抽出し、タイミング特定手順では、その抽出したボーカルデータに基づいて、情報処理装置が発声タイミングそれぞれを特定する。第１生成手順では、その特定した発声タイミングのそれぞれと、楽譜データにおける音符の演奏開始タイミングとに基づいて、情報処理装置がタイミングペアデータを生成しため時間算出手順では、その生成されたタイミングペアデータそれぞれに基づいて、情報処理装置がため時間を算出する。さらに、第２生成手順では、情報処理装置が、その算出した“ため時間”を、ため時間の算出に用いた演奏開始タイミングに対応する楽譜データの音符と対応付けることで、歌唱特徴データを生成する。

このようなデータ生成方法によれば、本発明に係るプログラムと同様の効果を得ることができる。

本発明が適用された情報処理装置を備えたシステムの概略構成を示すブロック図である。 情報処理装置が実行するデータ生成処理の処理手順を示すフローチャートである。 発音ため算出処理の処理手順を示すフローチャートである。 発音ため時間の算出手法の概要を例示する図である。 音高ため算出処理の処理手順を示すフローチャートである。 音高ため時間の算出手法の概要を例示する図である。 歌唱特徴データの概要を例示する図である。 カラオケ装置が実行する表示処理の処理手順を示すフローチャートである。 表示処理を実行することで表示部に表示される表示の態様を例示する図である。

以下に本発明の実施形態を図面と共に説明する。
＜システム構成＞
図１に示すカラオケ装置３０は、ユーザが指定した楽曲を演奏すると共に、その楽曲において表出するプロの歌手の歌い方における特徴を、表示部６４に表示させる装置である。

このような、プロの歌手の歌い方における特徴をカラオケ装置３０が表示するために構築されるシステム１は、情報処理装置２と、情報処理サーバ１０と、カラオケ装置３０とを備えている。

情報処理装置２は、楽曲ごとに用意された楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて、歌唱特徴データＳＦを算出する。ここで言う歌唱特徴データＳＦとは、楽曲を歌唱するプロの歌手の歌い方における特徴を表すデータである。

情報処理サーバ１０には、少なくとも、情報処理装置２にて算出された歌唱特徴データＳＦ及びＭＩＤＩ楽曲ＭＤが、対応する楽曲ごとに対応付けられて記憶部１４に記憶されている。
＜楽曲データ＞
次に、楽曲データＷＤは、特定の楽曲ごとに予め用意されたものであり、楽曲に関する情報が記述された楽曲管理情報と、楽曲の演奏音を表す原盤波形データとを備えている。楽曲管理情報には、楽曲を識別する楽曲識別情報（以下、楽曲ＩＤと称す）が含まれる。

本実施形態の原盤波形データは、複数の楽器の演奏音と、歌唱旋律をプロの歌手が歌唱したボーカル音とを含む音声データである。この音声データは、非圧縮音声ファイルフォーマットの音声ファイルによって構成されたデータであっても良いし、音声圧縮フォーマットの音声ファイルによって構成されたデータであっても良い。

なお、以下では、原盤波形データに含まれる楽器の演奏音を表す音声波形データを伴奏データと称し、原盤波形データに含まれるボーカル音を表す音声波形データをボーカルデータと称す。

本実施形態の伴奏データに含まれる楽器の演奏音としては、打楽器（例えば、ドラム，太鼓，シンバルなど）の演奏音，弦楽器（例えば、ギター，ベースなど）の演奏音，打弦楽器（例えば、ピアノ）の演奏音，及び管楽器（例えば、トランペットやクラリネットなど）の演奏音がある。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、演奏データと、歌詞データとを有している。

このうち、演奏データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この演奏データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックとを少なくとも有している。

そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。

すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音符長とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。なお、楽譜トラックは、例えば、鍵盤楽器、弦楽器、打楽器、及び管楽器などの楽器ごとに用意されている。このうち、本実施形態では、特定の楽器（例えば、ヴィブラフォン）が、楽曲における歌唱旋律を担当する楽器として規定されている。

一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、演奏データの演奏と対応付けるタイミング対応関係が規定されたデータである。

具体的に、本実施形態におけるタイミング対応関係では、演奏データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、演奏データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音の音符ＮＯと、歌詞構成文字それぞれとが対応付けられる。
＜情報処理装置＞
情報処理装置２は、入力受付部３と、情報出力部４と、記憶部５と、制御部６とを備えた周知の情報処理装置（例えば、パーソナルコンピュータ）である。

入力受付部３は、外部からの情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、可搬型の記憶媒体（例えば、ＣＤやＤＶＤ、フラッシュメモリ）に記憶されたデータを読み取る読取ドライブ、通信網を介して情報を取得する通信ポートなどである。情報出力部４は、外部に情報を出力する出力装置である。ここでの出力装置とは、可搬型の記憶媒体にデータを書き込む書込ドライブや、通信網に情報を出力する通信ポートなどである。

記憶部５は、記憶内容を読み書き可能に構成された周知の記憶装置である。記憶部５には、少なくとも１つの楽曲データＷＤと、少なくとも１つのＭＩＤＩ楽曲ＭＤとが、共通する楽曲ごとに対応付けて記憶されている。

制御部６は、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ７は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ８は、処理プログラムやデータを一時的に記憶する。ＣＰＵ９は、ＲＯＭ７やＲＡＭ８に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ７には、記憶部５に記憶されている楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて、歌唱特徴データＳＦを算出するデータ生成処理を、制御部６が実行するための処理プログラムが記憶されている。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、少なくとも、複数のＭＩＤＩ楽曲ＭＤが記憶される。なお、図１に示す符号「ｍ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤを識別する識別子であり、１以上の自然数である。さらに、記憶部１４には、情報処理装置２がデータ生成処理を実行することで生成された歌唱特徴データＳＦが記憶される。

制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２は、それぞれ、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９と同様に構成されている。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。

楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。

マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、ユーザの歌唱音を取得する。出力部４２にはスピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。

映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。

制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６は、それぞれ、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９と同様に構成されている。

そして、ＲＯＭ５２には、表示処理を制御部５０が実行するための処理プログラムが記憶されている。表示処理は、ユーザによって指定された楽曲を演奏すると共に、その楽曲において表出するプロの歌手の歌い方における特徴、その楽曲の歌詞、及び歌唱旋律を表示部６４に表示させる処理である。
＜データ生成処理＞
次に、情報処理装置２の制御部６が実行するデータ生成処理について説明する。

このデータ生成処理は、処理プログラムを起動するための起動指令が、情報処理装置２の入力受付部３を介して入力されたタイミングで起動される。
そして、データ生成処理では、図２に示すように、起動されると、まず、制御部６は、情報処理装置２の記憶部５に記憶されている全ての楽曲データＷＤの中から、一つの楽曲データＷＤを取得する（Ｓ１１０）。なお、本実施形態のＳ１１０においては、制御部６は、楽曲データＷＤを記憶部５から取得したが、制御部６は、入力受付部３を介して、可搬型の記憶媒体や通信網を介してサーバなどから楽曲データＷＤを取得しても良い。

データ生成処理では、制御部６は、続いて、Ｓ１１０にて取得した楽曲データＷＤ（以下、「取得楽曲データ」と称す）に含まれる原盤波形データを取得する（Ｓ１２０）。さらに、制御部６は、Ｓ１２０にて取得した原盤波形データから、ボーカルデータと伴奏データとを分離して抽出する（Ｓ１３０）。このＳ１３０において制御部６が実行する、伴奏データとボーカルデータとの分離手法として、周知の手法（例えば、特開２００８−１３４６０６に記載された“ＰｒｅＦＥｓｔ”）を使って推定された音高および調波成分を利用する手法が考えられる。なお、ＰｒｅＦＥｓｔとは、原盤波形データにおいて最も優勢な音声波形をボーカルデータとみなしてボーカルの音高（即ち、基本周波数）および調波成分の大きさを推定する手法である。

データ生成処理では、続いて、制御部６は、ボーカルデータにおける音圧レベルの推移を表すボーカル音圧推移を特定する（Ｓ１４０）。さらに、制御部６は、ボーカルデータにおける基本周波数ｆ０の推移を表すボーカル周波数推移を特定する（Ｓ１５０）。

具体的に、本実施形態のＳ１４０，Ｓ１５０では、制御部６は、まず、規定時間窓ＡＷ（ｊ）をボーカルデータに設定する。この規定時間窓ＡＷ（ｊ）は、予め規定された単位時間（例えば、１０［ｍｓ］）を有した分析窓である。本実施形態においては、規定時間窓ＡＷは、時間軸に沿って互いに隣接かつ連続するように設定される。なお、符号ｊは、規定時間窓ＡＷを識別する識別子である。

続いて、制御部６は、周知の手法により、ボーカルデータにおける各規定時間窓ＡＷ（ｊ）での音圧レベルＬｐを算出する。なお、音圧レベルＬｐは、ボーカルデータの規定時間窓ＡＷ（ｊ）における音圧の二乗平均平方根ｐを、基準となる音圧ｐ₀で除したものの常用対数に、所定の係数（通常、「２０」）を乗じること（即ち、Ｌｐ＝２０×ｌｏｇ₁₀（ｐ／ｐ₀））で求めることができる。

さらに、制御部６は、各規定時間窓ＡＷ（ｊ）での音圧レベルＬｐを、ボーカルデータにおける時間軸に沿って配置することで、ボーカル音圧推移を特定する。
また、ボーカル周波数推移を特定するために、制御部６は、ボーカルデータにおける各規定時間窓ＡＷ（ｊ）での基本周波数ｆ０を導出する。この基本周波数ｆ０の導出手法として、種種の周知の手法が考えられる。一例として、制御部６は、ボーカルデータに設定された規定時間窓ＡＷ（ｊ）それぞれについて、周波数解析（例えば、ＤＦＴ）を実施し、自己相関の結果、最も強い周波数成分を基本周波数ｆ０とすることが考えられる。

そして、制御部６は、それらの規定時間窓ＡＷ（ｊ）ごとに導出された基本周波数ｆ０を、ボーカルデータにおける時間軸に沿って配置することで、ボーカル周波数推移を特定する。

データ生成処理では、制御部６は、続いて、Ｓ１１０で取得した楽曲データＷＤと同一の楽曲ＩＤが対応付けられた一つのＭＩＤＩ楽曲ＭＤを取得する（Ｓ１６０）。さらに、制御部６は、取得楽曲データの各音符に対応する各音の再生時間に、Ｓ１６０で取得したＭＩＤＩ楽曲ＭＤ（以下、「取得ＭＩＤＩ」と称す）を構成する各音符の演奏タイミングが一致するように、その取得ＭＩＤＩを調整する（Ｓ１７０）。この取得ＭＩＤＩを調整する手法として、周知の手法（例えば、特許第５３１０６７７号に記載の手法）を用いることが考えられる。特許第５３１０６７７号に記載された手法では、制御部６は、取得ＭＩＤＩをレンダリングし、その取得ＭＩＤＩのレンダリング結果と取得楽曲データの原盤波形データとの双方を規定時間単位でスペクトルデータに変換する。そして、双方のスペクトルデータ上の時間が同期するように、各演奏音の演奏開始タイミング及び演奏終了タイミングを修正する。なお、スペクトルデータ上の時間が同期するように調整する際には、ＤＰマッチングを用いても良い。

さらに、データ生成処理では、制御部６は、Ｓ１７０にて時間調整が実施されたＭＩＤＩ楽曲ＭＤから、歌唱旋律を表すメロディトラックを取得する（Ｓ１８０）。このＳ１８０において取得するメロディトラックには、歌唱旋律を構成する各音符（以下、「メロディ音符」と称す）ＮＯ（ｉ）が規定されている。そして、各メロディ音符ＮＯ（ｉ）には、ノートナンバー（音高），演奏開始タイミングｎｎｔ（ｉ），演奏終了タイミングｎｆｔ（ｉ），及び各種の時間制御情報（例えば、テンポ，分解能など）などの音符プロパティが規定されている。なお、符号ｉは、メロディ音符を識別する識別子であり、歌唱旋律の時間軸に沿って増加するように規定されている。

データ生成処理では、制御部６は、時系列音符データを生成する（Ｓ１９０）。この時系列音符データは、メロディ音符ＮＯ（ｉ）を時間軸に沿って配置した音符推移に、各メロディ音符ＮＯ（ｉ）に関する音符プロパティを対応付けたものである。

具体的に、本実施形態のＳ１９０では、まず、制御部６は、メロディ音符ＮＯ（ｉ）を時間軸に沿って配置した音符推移を生成する。その音符推移に対して、制御部６は、規定時間窓ＡＷ（ｊ）を設定する。この音符推移に設定される規定時間窓ＡＷ（ｊ）は、ボーカルデータに設定される規定時間窓ＡＷ（ｊ）と共通である。すなわち、音符推移及びボーカルデータに設定される規定時間窓ＡＷ（ｊ）は、符号ｊが共通であれば、同一タイミングであることを意味する。

続いて、制御部６は、音符推移に設定した規定時間窓ＡＷの個数と、ボーカルデータに設定した規定時間窓ＡＷの個数とを比較する。制御部６は、比較の結果、個数が多いものを、音符推移及びボーカルデータの両データにおける規定時間窓ＡＷの個数（即ち、「ｊｍａｘ」）として採用する。なお、制御部６は、規定時間窓ＡＷとの個数が一致するように、個数が少ない方に「０値」を追加する補完を実行しても良い。

さらに、制御部６は、音符推移に設定された規定時間窓ＡＷ（ｊ）の中で、各メロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）及び演奏終了タイミングｎｆｔ（ｉ）に対応する規定時間窓ＡＷ（ｊ）を特定する。そして、制御部６は、演奏開始タイミングｎｎｔ（ｉ）に対応する規定時間窓ＡＷ（ｊ）に対して、演奏開始タイミングｎｎｔ（ｉ）に対応する旨を表す音符開始フラグを対応付ける。さらに、制御部６は、演奏終了タイミングｎｆｔ（ｉ）に対応する規定時間窓ＡＷ（ｊ）に対して、演奏終了タイミングｎｆｔ（ｉ）に対応する旨を表す音符終了フラグを対応付ける。これと共に、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷから、音符終了フラグが対応付けられた規定時間窓ＡＷまでの全ての規定時間窓ＡＷに対して、対応するメロディ音符ＮＯ（ｉ）の音高を対応付けることで、時系列音符データを生成する。

データ生成処理では、制御部６は、Ｓ１４０にて特定したボーカル音圧推移と、Ｓ１５０にて特定したボーカル周波数推移と、Ｓ１９０で生成した時系列音符データとを、規定時間窓ＡＷ（ｊ）ごとに対応付ける（Ｓ２００）。以下では、ボーカル音圧推移とボーカル周波数推移と時系列音符データとを対応付けたデータを、同期データとも称す。

データ生成処理では、制御部６は、Ｓ２００にて生成された同期データに基づいて、「発音ため時間」を算出する発音ため算出処理を実行する（Ｓ２１０）。この「発音ため時間」は、プロの歌手の歌い方における特徴の１つである。本実施形態のＳ２１０にて算出される「発音ため時間」は、メロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）と、そのメロディ音符ＮＯ（ｉ）に対してプロの歌手が発音を開始するタイミングとの時間差である。

さらに、データ生成処理では、制御部６は、同期データに基づいて、「音高ため時間」を算出する音高ため算出処理を実行する（Ｓ２２０）。この「音高ため時間」は、プロの歌手の歌い方における特徴の１つである。本実施形態のＳ２２０にて算出される「音高ため時間」は、メロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）と、プロの歌手が発声した音高が、そのメロディ音符ＮＯ（ｉ）の音高に一致するタイミングとの時間差である。

さらに、データ生成処理では、制御部６は、歌唱特徴データＳＦを生成する（Ｓ２３０）。具体的に、本実施形態のＳ２３０では、制御部６は、Ｓ２１０にて算出された発音ため時間を、その発音ため時間の算出に用いた演奏開始タイミングｎｎｔ（ｉ）に対応付ける。さらに、制御部６は、Ｓ２２０にて算出された音高ため時間を、その音高ため時間の算出に用いた演奏開始タイミングｎｎｔ（ｉ）に対応付ける。

データ生成処理では、制御部６は、Ｓ２３０にて生成した歌唱特徴データＳＦを記憶部５に記憶する（Ｓ２４０）。
その後、制御部６は、本データ生成処理を終了する。
＜発音ため算出処理＞
データ生成処理のＳ２１０にて実行される発音ため算出処理では、図３に示すように、制御部６は、先のＳ１４０にて特定されたボーカル音圧推移を取得する（Ｓ３１０）。続いて、制御部６は、ボーカル音圧推移における規定時間窓ＡＷ（ｊ）を、初期値（ｊ＝１）に設定する（Ｓ３２０）。

さらに、発音ため算出処理では、制御部６は、設定されている規定時間窓ＡＷ（ｊ）でのボーカル音圧推移の音圧レベルＬｐ（ｊ）が閾値Ｔｈａよりも大きいか否かを判定する（Ｓ３３０）。この閾値Ｔｈａは、人が発声したものとみなせる音圧レベルとして予め規定されたものである。

そして、Ｓ３３０での判定の結果、設定されている規定時間窓ＡＷ（ｊ）でのボーカル音圧推移の音圧レベルＬｐ（ｊ）が閾値Ｔｈａ以下であれば（Ｓ３３０：ＮＯ）、制御部６は、発音ため算出処理を、詳しくは後述するＳ３５０へと移行させる。一方、規定時間窓ＡＷ（ｊ）でのボーカル音圧推移の音圧レベルＬｐ（ｊ）が閾値Ｔｈａよりも大きければ（Ｓ３３０：ＹＥＳ）、制御部６は、現時点で設定されている規定時間窓ＡＷ（ｊ）に発音開始フラグを設定する（Ｓ３４０）。この発音開始フラグは、ボーカルデータにおいて発音が開始されたタイミングを表す。なお、発音開始フラグが対応付けられた規定時間窓ＡＷは、特許請求の範囲における発声タイミングの一例である。

続いて、制御部６は、設定されている規定時間窓ＡＷ（ｊ）の識別子を１つインクリメントする（Ｓ３５０）。さらに、制御部６は、現時点で設定されている規定時間窓ＡＷ（ｊ）の識別子が、規定時間窓ＡＷの個数に「１」を加えた値（即ち、ｊｍａｘ＋１）に一致しているか否かを判定する（Ｓ３６０）。このＳ３６０での判定の結果、設定されている規定時間窓ＡＷ（ｊ）の識別子が、規定時間窓ＡＷの個数に「１」を加えた値よりも小さければ（Ｓ３６０：ＮＯ）、制御部６は、発音ため算出処理をＳ３３０へと戻す。そして、制御部６は、Ｓ３３０からＳ３６０までのステップを繰り返す。

一方、Ｓ３６０での判定の結果、現時点で設定されている規定時間窓ＡＷ（ｊ）の識別子が、規定時間窓ＡＷの個数に「１」を加えた値に一致していれば（Ｓ３６０：ＹＥＳ）、制御部６は、発音ため算出処理を、Ｓ３７０へと移行する。そのＳ３７０では、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）の中で、１つの規定時間窓ＡＷ（ｊ）を取得する。本実施形態において、Ｓ３７０へと最初に移行した場合には、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）の中で、時間軸に沿って最先の規定時間窓ＡＷ（ｊ）を取得する。以下、Ｓ３７０にて取得した規定時間窓ＡＷ（ｊ）を音符開始タイミングＮＳと称す。

続いて、制御部６は、発音開始フラグが設定された規定時間窓ＡＷ（ｊ）の中で、規定条件を満たす規定時間窓ＡＷ（ｊ）を特定する（Ｓ３８０）。ここで言う規定条件とは、音符開始タイミングＮＳからの時間長が規定された規定範囲内であり、かつ、音符開始タイミングＮＳからの時間長が最短であることである。なお、本実施形態における規定範囲は、音符開始タイミングＮＳを起点として、時間軸に沿って前後の両方に規定される。この場合、音符開始タイミングＮＳから時間軸に沿って後の時間長が、音符開始タイミングＮＳから時間軸に沿って前の時間長よりも長く規定されても良い。また、音符開始タイミングＮＳから時間軸に沿って後の時間長と、音符開始タイミングＮＳから時間軸に沿って前の時間長とが同一であっても良い。以下、Ｓ３８０にて特定した規定時間窓ＡＷ（ｊ）を、発音開始タイミングＰＳと称す。

これと共に、制御部６は、その特定した発音開始タイミングＰＳと、音符開始タイミングＮＳとのタイミングペアデータを生成する（Ｓ３８０）。
発音ため算出処理では、制御部６は、Ｓ３８０にて生成したタイミングペアデータを構成する、音符開始タイミングＮＳと発音開始タイミングＰＳとの時間差を、発音ため時間として算出する（Ｓ３９０）。このＳ３９０では、音符開始タイミングＮＳとしての規定時間窓ＡＷから、発音開始タイミングＰＳとしての規定時間窓ＡＷまでの間の時間窓の個数に、時間窓の単位時間を乗じることで、発音ため時間を算出すれば良い。

なお、制御部６は、Ｓ３８０において、発音開始タイミングＰＳを特定できない場合には、発音開始タイミングＰＳを未定に設定しても良い。この場合、制御部６は、Ｓ３９０において、当該音符開始タイミングＮＳに対する発音ため時間として、予め規定された未定値（例えば、「−９．９９９９」［ｍｓ］）を設定すれば良い。

続いて、制御部６は、音符開始フラグが対応付けられた全ての規定時間窓ＡＷ（ｊ）について、Ｓ３７０〜Ｓ３９０が完了したか否かを判定する（Ｓ４００）。このＳ４００での判定の結果、音符開始フラグが対応付けられた全ての規定時間窓ＡＷ（ｊ）について、Ｓ３７０〜Ｓ３９０が完了していなければ（Ｓ４００：ＮＯ）、制御部６は、発音ため算出処理をＳ３７０へと戻す。そのＳ３７０では、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）の中で、先に取得した規定時間窓ＡＷ（ｊ）から時間軸に沿って１つ次の規定時間窓ＡＷ（ｊ）を取得する。制御部６は、その後、Ｓ４００までを実行する。

一方、Ｓ４００での判定の結果、音符開始フラグが対応付けられた全ての規定時間窓ＡＷ（ｊ）について、Ｓ３７０〜Ｓ３９０が完了していれば（Ｓ４００：ＹＥＳ）、制御部６は、発音ため算出処理をＳ４１０へと移行させる。そのＳ４１０では、制御部６は、発音ため時間の楽曲における代表値（以下、「発音ため代表値」と称す）を算出する。

具体的に、Ｓ４１０では、制御部６は、Ｓ３９０にて算出された未定値を除く全ての発音ため時間を相加平均した結果を、発音ため代表値として算出する。なお、発音ため代表値の算出方法は、これに限るものではなく、例えば、未定値を除く全ての発音ため時間における中央値を、発音ため代表値としても良いし、未定値を除く全ての発音ため時間における最頻値を、発音ため代表値としても良い。

さらに、発音ため算出処理では、制御部６は、特殊発音ため時間を特定する（Ｓ４２０）。具体的に、Ｓ４２０では、制御部６は、Ｓ３９０にて算出された未定値を除く全ての発音ため時間の中で、発音ため代表値から規定時間長以上乖離した発音ため時間それぞれを、特殊発音ため時間として特定する。すなわち、特殊発音ため時間は、楽曲において歌唱技巧としての「ため」が顕著に表れる音符ＮＯでの発音ため時間である。

そして、制御部６は、その特定した特殊発音ため時間における音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）に、特殊発音ため時間の開始タイミングである旨を表すフラグを設定する。

その後、制御部６は、発音ため算出処理を終了して、データ生成処理のＳ２２０へと処理を移行する。
つまり、発音ため算出処理では、制御部６は、図４に示すように、ボーカル音圧推移の音圧レベルＬｐ（ｊ）が閾値Ｔｈａよりも大きくなったタイミングそれぞれを特定する。その特定したタイミングの中から、制御部６は、規定条件を満たす発音開始タイミングＰＳを特定する。この規定条件とは、音符開始タイミング（即ち、演奏開始タイミングｎｎｔ）ＮＳからの時間長が規定された規定範囲内であり、かつ、音符開始タイミングＮＳからの時間長が最短であることである。

制御部６は、さらに、その特定した発音開始タイミングＰＳと音符開始タイミングＮＳとのタイミングペアデータを特定する。そして、制御部６は、そのタイミングペアを構成する音符開始タイミングＮＳと発音開始タイミングＰＳと時間差を、「発音ため時間」として算出する。１つの楽曲における全ての音符開始タイミングＮＳについて、「発音ため時間」を算出すると、制御部６は、その算出した「発音ため時間」の中から、楽曲において歌唱技巧としての「ため」が顕著に表れる特殊発音ため時間を特定する。
＜音高ため算出処理＞
データ生成処理のＳ２２０にて実行される音高ため算出処理では、図５に示すように、制御部６は、先のＳ１４０にて特定されたボーカル周波数推移を取得する（Ｓ５１０）。続いて、制御部６は、ボーカル周波数推移をボーカル音高推移へと変換する（Ｓ５２０）。Ｓ５２０では、制御部６は、ボーカル周波数推移における各規定時間窓ＡＷ（ｊ）の基本周波数ｆ０を、音階音高（すなわち、ノートナンバーに対応する音高）ＭＳ（ｊ）へと変更することで、ボーカル音高推移へと変換する。なお、音階音高ＭＳ（ｊ）への変更は、基本周波数ｆ０からの差が最も近い音階音高とすることで実現すれば良い。

音高ため算出処理では、制御部６は、続いて、ボーカル音高推移における規定時間窓ＡＷ（ｊ）を初期値（ｊ＝１）に設定する（Ｓ５３０）。さらに、制御部６は、現時点で設定されている規定時間窓ＡＷ（ｊ）が、設定条件を満たすか否かを判定する（Ｓ５４０）。

このＳ５４０における設定条件とは、次の２つのいずれも満たすことである。すなわち、設定条件の１つは、設定されている規定時間窓ＡＷ（ｊ）での音圧レベルＬｐ（ｊ）が閾値Ｔｈａよりも大きいことである。設定条件の他の１つは、ボーカル音高推移において、規定時間窓ＡＷ（ｊ）での音階音高ＭＳ（ｊ）と、規定時間窓ＡＷ（ｊ−１）での音階音高ＭＳ（ｊ−１）との差分の絶対値が、予め規定された設定閾値Ｔｈｂ以上となることである。換言すると、Ｓ５４０では、制御部６は、規定時間窓ＡＷ（ｊ）において、歌手が発声しており、かつ、その発声した歌声の音高が設定閾値Ｔｈｂ以上変化したか否かを判定する。

そして、Ｓ５４０での判定の結果、設定されている規定時間窓ＡＷ（ｊ）が設定条件を満たしていなければ（Ｓ５４０：ＮＯ）、制御部６は、後述するＳ５６０へと音高ため算出処理を移行させる。一方、Ｓ５４０での判定の結果、設定されている規定時間窓ＡＷ（ｊ）が設定条件を満たしていれば（Ｓ５４０：ＹＥＳ）、制御部６は、ボーカルデータにおいて音高が変化したことを表す音高変化フラグを、その設定されている規定時間窓ＡＷ（ｊ）に設定する（Ｓ５５０）。

続いて、制御部６は、設定されている規定時間窓ＡＷ（ｊ）の識別子を１つインクリメントする（Ｓ５６０）。さらに、制御部６は、現時点で設定されている規定時間窓ＡＷ（ｊ）の識別子が、規定時間窓ＡＷの個数に「１」を加えた値（即ち、ｊｍａｘ＋１）に一致しているか否かを判定する（Ｓ５７０）。このＳ５７０での判定の結果、設定されている規定時間窓ＡＷ（ｊ）の識別子が、規定時間窓ＡＷの個数に「１」を加えた値よりも小さければ（Ｓ５７０：ＮＯ）、制御部６は、音高ため算出処理をＳ５４０へと戻す。そして、制御部６は、Ｓ５４０からＳ５７０までを繰り返す。

一方、Ｓ５７０での判定の結果、設定されている規定時間窓ＡＷ（ｊ）の識別子が、規定時間窓ＡＷの個数に「１」を加えた値に一致していれば（Ｓ５７０：ＹＥＳ）、制御部６は、音高ため算出処理をＳ５８０へと移行する。そのＳ５８０では、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）の中で、１つの規定時間窓ＡＷ（ｊ）を取得する。本実施形態において、Ｓ５８０へと最初に移行した場合には、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）の中で、時間軸に沿って最先の規定時間窓ＡＷ（ｊ）を取得する。以下、Ｓ５８０にて取得した規定時間窓ＡＷ（ｊ）も音符開始タイミングＮＳと称す。

続いて、制御部６は、音高変化フラグが設定された規定時間窓ＡＷ（ｊ）の中で、第２規定条件を満たす規定時間窓ＡＷ（ｊ）を特定する（Ｓ５９０）。ここで言う第２規定条件とは、まず、音符開始タイミングＮＳに対応するメロディ音符ＮＯ（ｉ）の音高に一致する音階音高ＭＳ（ｊ）が対応付けられた規定時間窓ＡＷ（ｊ）であることである。さらに、ここで言う第２規定条件とは、音符開始タイミングＮＳからの時間長が規定された規定範囲内であり、かつ、音符開始タイミングＮＳからの時間長が最短であることである。以下、Ｓ５９０にて特定した規定時間窓ＡＷ（ｊ）を音高変化タイミングＣＴと称す。

これと共に、制御部６は、その特定した音高変化タイミングＣＴと、音符開始タイミングＮＳとのタイミングペアデータを生成する（Ｓ５９０）。
音高ため算出処理では、制御部６は、Ｓ５９０にて生成したタイミングペアデータを構成する、音符開始タイミングＮＳと音高変化タイミングＣＴとの時間差を音高ため時間として算出する（Ｓ６００）。このＳ６００における音高ため時間の算出は、音符開始タイミングＮＳとしての規定時間窓ＡＷから、音高変化タイミングＣＴとしての規定時間窓ＡＷまでの規定時間窓ＡＷの個数に、規定時間窓ＡＷの単位時間を乗じることで実現すれば良い。

なお、制御部６は、Ｓ５９０において、音高変化タイミングＣＴを特定できない場合には、音高変化タイミングＣＴを未定に設定しても良い。制御部６は、Ｓ６００において、当該音符開始タイミングＮＳに対する音高ため時間として、予め規定された未定値（例えば、「−９．９９９」［ｍｓ］）を設定すれば良い。

続いて、制御部６は、音符開始フラグが対応付けられた全ての規定時間窓ＡＷ（ｊ）について、Ｓ５８０〜Ｓ６００が完了したか否かを判定する（Ｓ６１０）。このＳ６１０での判定の結果、音符開始フラグが対応付けられた全ての規定時間窓ＡＷ（ｊ）について、Ｓ５８０〜Ｓ６００が完了していなければ（Ｓ６１０：ＮＯ）、制御部６は、音高ため算出処理をＳ５８０へと戻す。そのＳ５８０では、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）の中で、先に取得した規定時間窓ＡＷ（ｊ）から時間軸に沿って１つ次の規定時間窓ＡＷ（ｊ）を取得する。制御部６は、その後、Ｓ６１０までを実行する。

一方、Ｓ６１０での判定の結果、音符開始フラグが対応付けられた全ての規定時間窓ＡＷ（ｊ）について、Ｓ５８０〜Ｓ６００が完了していれば（Ｓ６１０：ＹＥＳ）、制御部６は、音高ため算出処理をＳ６２０へと移行させる。そのＳ６２０では、制御部６は、音高ため時間の楽曲における代表値（以下、「音高ため代表値」と称す）を算出する。

具体的に、Ｓ６２０では、制御部６は、Ｓ６００にて算出された未定値を除く全ての音高ため時間を相加平均した結果を、音高ため代表値として算出する。なお、音高ため代表値の算出方法は、これに限るものではなく、例えば、未定値を除く全ての音高ため時間における中央値を、音高ため代表値としても良いし、未定値を除く全ての音高ため時間における最頻値を、音高ため代表値としても良い。

さらに、音高ため算出処理では、制御部６は、特殊音高ため時間を特定する（Ｓ６３０）。具体的にＳ６３０では、制御部６は、Ｓ６００にて算出された未定値を除く全ての音高ため時間の中で、音高ため代表値から規定時間長以上乖離した音高ため時間それぞれを、特殊音高ため時間として特定する。そして、制御部６は、その特定した特殊音高ため時間における音符開始フラグが対応付けられた規定時間窓ＡＷ（ｊ）に、特殊音高ため時間の開始タイミングである旨を表すフラグを設定する。

その後、制御部６は、音高ため算出処理を終了して、データ生成処理のＳ２３０へと処理を移行する。
つまり、音高ため算出処理では、制御部６は、図６に示すように、ボーカル音高推移において、設定条件を満たすタイミングを音高変化タイミングＣＴとして特定する。制御部６は、さらに、その特定した音高変化タイミングＣＴと音符開始タイミングＮＳとのタイミングペアを特定する。そして、制御部６は、そのタイミングペアを構成する音符開始タイミングＮＳと音高変化タイミングＣＴとの時間差を、「音高ため時間」として算出する。１つの楽曲における全ての音符開始タイミングＮＳについて、「音高ため時間」を算出すると、制御部６は、その算出した「音高ため時間」の中から、音高が一致するまでのズレ時間が顕著に表れる特殊音高ため時間を特定する。

なお、音高ため算出処理の終了後に実行されるデータ生成処理のＳ２３０では、制御部６は、図７に示すように、発音ため時間を、その発音ため時間の算出に用いた演奏開始タイミングｎｎｔ（ｉ）、ひいては、メロディ音符ＮＯ（ｉ）に対応付ける。制御部６は、音高ため時間を、その音高ため時間の算出に用いた演奏開始タイミングｎｎｔ（ｉ）、ひいては、メロディ音符ＮＯ（ｉ）に対応付ける。

ただし、データ生成処理にて算出された発音ため時間、及び音高ため時間が未定値である場合には、制御部６は、発音ため時間、及び音高ため時間として、未定値をメロディ音符ＮＯ（ｉ）に対応付けても良い。

情報処理装置２の制御部６がデータ生成処理を実行することで生成した歌唱特徴データＳＦは、可搬型の記憶媒体を用いて情報処理サーバ１０の記憶部１４に記憶されても良い。情報処理装置２と情報処理サーバ１０とが通信網を介して接続されている場合には、情報処理装置２の記憶部５に記憶された歌唱特徴データＳＦは、通信網を介して転送されることで、情報処理サーバ１０の記憶部１４に記憶されても良い。ただし、いずれの場合も、歌唱特徴データＳＦは、対応する楽曲のＭＩＤＩ楽曲ＭＤと対応付けて、情報処理サーバ１０の記憶部１４に記憶される。
＜表示処理＞
カラオケ装置３０の制御部５０が実行する表示処理は、表示処理を実行するための処理プログラムを起動する指令が入力されると起動される。

そして、表示処理では、起動されると、図８に示すように、制御部５０は、入力受付部３４を介して指定された楽曲に対応するＭＩＤＩ楽曲ＭＤを、情報処理サーバ１０の記憶部１４から取得する（Ｓ９１０）。続いて、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤに対応する歌詞データを取得する（Ｓ９２０）。さらに、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤに対応する歌唱特徴データＳＦを取得する（Ｓ９３０）。

表示処理では、続いて、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤを演奏する（Ｓ９４０）。具体的にＳ９４０では、制御部５０は、楽曲再生部３６にＭＩＤＩ楽曲ＭＤを出力する。そのＭＩＤＩ楽曲ＭＤを取得した楽曲再生部３６は、楽曲の演奏を行う。そして、楽曲再生部３６によって演奏された楽曲の音源信号が、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、音源信号を音に換えて出力する。

さらに、表示処理では、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤ、Ｓ９２０にて取得した歌詞データ、及びＳ９３０にて取得した歌唱特徴データＳＦに基づく表示を実行する（Ｓ９５０）。このＳ９５０では、具体的には、制御部５０は、ＭＩＤＩ楽曲ＭＤにおけるメロディトラック、歌詞データ、及び歌唱特徴データＳＦを映像制御部４６に出力する。その映像制御部４６は、歌詞データと、メロディトラックを構成するメロディ音符ＮＯ（ｉ）を、時間軸に沿って順次表示部６４に出力する。すると、表示部６４は、歌詞データと、メロディトラックを構成するメロディ音符ＮＯ（ｉ）とを、図９に示すように、時間軸に沿って順次表示する。さらに、映像制御部４６は、歌唱特徴データＳＦに含まれる、発音ため時間、音高ため時間を、時間軸に沿って順次表示部６４に出力する。すると、表示部６４は、発音ため時間、音高ため時間を、対応するメロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）と対応付けて、時間軸に沿って順次表示する。

なお、Ｓ９５０では、制御部５０は、楽曲の演奏に合わせて、カラオケ装置３０の利用者が歌唱した歌唱音声の音高の推移を、映像制御部４６に出力しても良い。そして、映像制御部４６は、カラオケ装置３０の利用者が歌唱した歌唱音声の音高の推移（例えば、図９に示す実線の波形）を、メロディ音符ＮＯ（ｉ）とのズレを、利用者が認識可能な態様で表示しても良い。さらに、Ｓ９５０では、制御部５０は、プロの歌手が歌唱したボーカルデータの音高推移を、映像制御部４６に出力しても良い。そして、映像制御部４６は、プロの歌手が歌唱したボーカルデータの音高推移（即ち、ボーカル周波数推移、図９に示す破線の波形）を表示しても良い。

さらに、Ｓ９５０では、制御部５０は、発音ため時間、音高ため時間を、予め規定された分類範囲ごとに分類した結果を、映像制御部４６に出力しても良い。すなわち、制御部５０は、例えば、発音ため時間であれば、第１時間（例えば、２００［ｍｓ］）までは発音ため時間が短いことを表す「発音ため小」に分類する。そして、制御部５０は、発音ため時間が、第１時間から第２時間（例えば、４００［ｍｓ］）までであれば、「発音ため中」に分類し、第２時間以上であれば、「発音ため大」に分類する。そして、制御部５０は、分類の結果を発音ため時間として映像制御部４６に出力しても良い。この場合、映像制御部４６は、分類の結果を表示部６４に表示させる。

また、音高ため時間であれば、制御部５０は、例えば、第１時間までは音高ため時間が短いことを表す「音高ため小」に分類する。そして、制御部５０は、音高ため時間が、第１時間から第２時間までであれば、「音高ため中」に分類し、第２時間以上であれば、「音高ため大」に分類する。そして、制御部５０は、分類の結果を音高ため時間として映像制御部４６に出力しても良い。この場合、映像制御部４６は、分類の結果を表示部６４に表示させる。

さらには、制御部５０は、発音ため時間及び音高ため時間については、特殊発音ため時間及び特殊音高ため時間だけを映像制御部４６に出力しても良い。すなわち、Ｓ９５０においては、発音ため時間及び音高ため時間のうちの特殊発音ため時間及び特殊音高ため時間だけを、メロディ音符ＮＯと対応付けて表示部６４に提示しても良い。

続いて、表示処理では、制御部５０は、楽曲の演奏を終了したか否かを判定する（Ｓ９６０）。この判定の結果、楽曲の演奏を終了していなければ（Ｓ９６０：ＮＯ）、制御部５０は、表示処理をＳ９４０へと戻す。一方、Ｓ９６０での判定の結果、楽曲の演奏が終了していれば（Ｓ９６０：ＹＥＳ）、制御部５０は、表示処理を終了する。
［実施形態の効果］
以上説明したように、本実施形態の歌唱特徴データＳＦは、「発音ため時間」、「音高ため時間」を、メロディ音符ＮＯ（ｉ）に対応付けたものである。

このうち、「発音ため時間」、「音高ため時間」は、楽曲を歌唱する際に、プロの歌手が用いる歌唱技巧としての「ため」の特徴を表すものである。
発音ため時間は、メロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）と、楽曲データＷＤにおいて歌手が実際に発声を開始した発声開始タイミングとの時間差である。また、音高ため時間は、メロディ音符ＮＯ（ｉ）の音高に、歌手が歌唱した歌声における音高が一致したタイミングと、そのメロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）との時間差である。

そして、カラオケ装置３０では、時間軸に沿って順次表示するメロディ音符ＮＯの演奏開始タイミングｎｎｔと対応付けて、「発音ため時間」及び「音高ため時間」を表示部６４に表示している。

したがって、カラオケ装置３０によれば、楽曲において、プロの歌手が「ため」を用いている箇所を、表示部６４を介して提示できる。また、カラオケ装置３０によれば、プロの歌手が、メロディ音符ＮＯ（ｉ）の音高に、歌声における音高を一致させるタイミングを、メロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）からどの程度ずらしているのかを提示することができる。

しかも、カラオケ装置３０によれば、メロディ音符ＮＯ（ｉ）における“発音ため時間”及び“音高ため時間”を時間軸に沿って表示部６４に順次表示させる。このため、カラオケ装置３０によれば、メロディ音符ＮＯ（ｉ）における“発音ため時間”及び“音高ため時間”を、カラオケ装置３０の利用者が実際に歌唱する前に提示できる。

そして、これらのため時間が表示部６４に提示されるカラオケ装置３０のユーザは、歌唱している楽曲において、プロの歌手が、歌唱技巧としての「ため」をどのように用いているのかを認識できる。この結果、カラオケ装置３０のユーザは、ユーザ者自身の歌い方を、プロの歌手の歌い方により近づけることができる。

また、データ生成処理において特定する「特殊発音ため時間」は、楽曲において歌唱技巧としての「ため」が顕著に表れるメロディ音符ＮＯでの「発音ため時間」である。また、「特殊音高ため時間」は、メロディ音符ＮＯ（ｉ）の音高に、プロの歌手が歌唱した歌声における音高を一致させるタイミングのズレがより顕著に表れるメロディ音符ＮＯでのズレ時間である。

そして、本実施形態の歌唱特徴データＳＦには、「特殊発音ため時間」、及び「特殊音高ため時間」を含んでいる。
このため、カラオケ装置３０によれば、楽曲において、プロの歌手が「ため」を顕著に用いる箇所を、表示部６４を介して表示できる。また、カラオケ装置３０によれば、音符の音高に、プロの歌手が歌唱した歌声における音高を一致させるタイミングのズレが顕著な箇所を、表示部６４を介して表示できる。

したがって、カラオケ装置３０のユーザは、プロの歌手が「ため」を顕著に用いる箇所及びメロディ音符ＮＯ（ｉ）の音高にプロの歌手が歌唱した歌声における音高を一致させるタイミングのズレが顕著な箇所だけでも、ユーザ自身の歌い方をプロの歌手の歌い方に近づけることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態におけるデータ生成処理は、情報処理装置２にて実行されていたが、本発明においてデータ生成処理を実行する装置は、情報処理装置２に限るものではない。すなわち、データ生成処理を実行する装置は、情報処理サーバ１０であっても良いし、カラオケ装置３０であっても良い。この場合、情報処理装置２は、システム１から省略されていても良い。

上記実施形態における表示処理は、カラオケ装置３０にて実行されていたが、本発明において表示処理を実行する装置は、カラオケ装置３０に限るものではなく、情報処理装置２であっても良い。この場合、情報処理装置２は、カラオケ装置３０と同様に構成されている必要がある。

また、上記実施形態においては、データ生成処理と表示処理とは別個の処理として構成されていたが、本発明においては、データ生成処理と表示処理とは１つの処理として構成されていても良い。この場合、データ生成処理と表示処理とからなる１つの処理は、情報処理装置２にて実行されても良いし、カラオケ装置３０にて実行されても良い。

また、上記実施形態のデータ生成処理では、発音ため算出処理と、音高ため算出処理との二つの処理を実行していたが、本発明においては、発音ため算出処理と、音高ため算出処理とのうちの少なくとも一方が実行されていれば良い。

なお、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

１…システム ２…情報処理装置 ３…入力受付部 ４…情報出力部 ５…記憶部 ６，１６，５０…制御部 ７，１８，５２…ＲＯＭ ８，２０，５４…ＲＡＭ ９，２２，５６…ＣＰＵ １０…情報処理サーバ １２…通信部 １４…記憶部 ３０…カラオケ装置 ３２…通信部 ３４…入力受付部 ３６…楽曲再生部 ３８…記憶部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ６０…スピーカ６２…マイク ６４…表示部

Claims (8)

1. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、第１記憶部から取得する第１取得ステップと、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、第２記憶部から取得する第２取得ステップと、
   前記楽曲データから前記ボーカル音を表すボーカルデータを抽出する抽出ステップと、
   前記ボーカルデータにおける音圧が、予め規定された規定閾値以上となった発声開始タイミングそれぞれを、前記ボーカルデータにおいて発声を開始したタイミングとみなせる発声タイミングとして特定するタイミング特定ステップと、
   前記タイミング特定ステップで特定した発声タイミングのそれぞれと、前記第１取得ステップで取得した楽譜データにおける音符の演奏開始タイミングとに基づいて、前記楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングからの時間長が最短となる前記発声開始タイミングとを組み合わせたタイミングペアデータを生成する第１生成ステップと、
   前記第１生成ステップで生成されたタイミングペアデータにおける前記演奏開始タイミングと前記発声開始タイミングとの時間差である発音ため時間の前記楽曲における代表値である発音ため代表値を算出し、前記発音ため時間と、前記発音ため代表値とに基づいて、前記発音ため代表値から規定時間長以上乖離した前記発音ため時間である特殊発音ため時間を、ため時間として算出するため時間算出ステップと、
   前記ため時間算出ステップで算出した前記ため時間を、ため時間の算出に用いた演奏開始タイミングに対応する前記楽譜データの音符と対応付けることで、歌手の歌い方の特徴を表す歌唱特徴データを生成する第２生成ステップと
   をコンピュータに実行させることを特徴とするプログラム。
2. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、第１記憶部から取得する第１取得ステップと、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、第２記憶部から取得する第２取得ステップと、
   前記楽曲データから前記ボーカル音を表すボーカルデータを抽出する抽出ステップと、
   前記ボーカルデータにおける音高の推移を表すボーカル周波数推移が、前記楽譜データにおける前記音符の音高の範囲内となったタイミングである音高変化タイミングを、前記ボーカルデータにおいて発声を開始したタイミングとみなせる発声タイミングとして特定するタイミング特定ステップと、
   前記タイミング特定ステップで特定した発声タイミングのそれぞれと、前記第１取得ステップで取得した楽譜データにおける音符の演奏開始タイミングとに基づいて、前記楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングから、時間軸に沿って予め規定された規定時間範囲であり、かつ、前記演奏開始タイミングからの時間長が最短となる前記音高変化タイミングとを対応付けたタイミングペアデータを生成する第１生成ステップと、
   前記第１生成ステップで生成されたタイミングペアデータにおける前記演奏開始タイミングと前記音高変化タイミングとの時間差である音高ため時間の前記楽曲における代表値である音高ため代表値を算出し、前記音高ため時間と、前記音高ため代表値とに基づいて、前記音高ため代表値から規定時間長以上乖離した前記音高ため時間である特殊音高ため時間を、ため時間として算出するため時間算出ステップと、
   前記ため時間算出ステップで算出した前記ため時間を、ため時間の算出に用いた演奏開始タイミングに対応する前記楽譜データの音符と対応付けることで、歌手の歌い方の特徴を表す歌唱特徴データを生成する第２生成ステップと
   をコンピュータに実行させることを特徴とするプログラム。
3. 前記タイミング特定ステップは、前記ボーカルデータにおける音圧が、予め規定された規定閾値以上となった発声開始タイミングそれぞれを、前記発声タイミングとして特定し、
   前記第１生成ステップは、前記楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングからの時間長が最短となる前記発声開始タイミングとを組み合わせた前記タイミングペアデータを生成し、
   前記ため時間算出ステップは、前記第１生成ステップで生成されたタイミングペアデータにおける前記演奏開始タイミングと前記発声開始タイミングとの時間差である発音ため時間を、前記ため時間として算出することを特徴とする請求項２に記載のプログラム。
4. 前記ため時間算出ステップは、
   前記発音ため時間の前記楽曲における代表値である発音ため代表値を算出し、
   前記発音ため時間と、前記発音ため代表値とに基づいて、前記発音ため代表値から規定時間長以上乖離した前記発音ため時間である特殊発音ため時間を、前記ため時間として算出することを特徴とする請求項３に記載のプログラム。
5. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、第１記憶部から取得する第１取得手段と、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、第２記憶部から取得する第２取得手段と、
   前記楽曲データから前記ボーカル音を表すボーカルデータを抽出する抽出手段と、
   前記ボーカルデータにおける音圧が、予め規定された規定閾値以上となった発声開始タイミングそれぞれを、前記ボーカルデータにおいて発声を開始したタイミングとみなせる発声タイミングとして特定するタイミング特定手段と、
   前記タイミング特定手段で特定した発声タイミングのそれぞれと、前記第１取得手段で取得した楽譜データにおける音符の演奏開始タイミングとに基づいて、前記楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングからの時間長が最短となる前記発声開始タイミングとを組み合わせたタイミングペアデータを生成する第１生成手段と、
   前記第１生成手段で生成されたタイミングペアデータにおける前記演奏開始タイミングと前記発声開始タイミングとの時間差である発音ため時間の前記楽曲における代表値である発音ため代表値を算出し、前記発音ため時間と、前記発音ため代表値とに基づいて、前記発音ため代表値から規定時間長以上乖離した前記発音ため時間である特殊発音ため時間を、ため時間として算出するため時間算出手段と、
   前記ため時間算出手段で算出した前記ため時間を、ため時間の算出に用いた演奏開始タイミングに対応する前記楽譜データの音符と対応付けることで、歌手の歌い方の特徴を表す歌唱特徴データを生成する第２生成手段と
   を備えることを特徴とする情報処理装置。
6. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、第１記憶部から取得する第１取得手段と、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、第２記憶部から取得する第２取得手段と、
   前記楽曲データから前記ボーカル音を表すボーカルデータを抽出する抽出手段と、
   前記ボーカルデータにおける音高の推移を表すボーカル周波数推移が、前記楽譜データにおける前記音符の音高の範囲内となったタイミングである音高変化タイミングを、発声タイミングとして特定するタイミング特定手段と、
   前記タイミング特定手段で特定した発声タイミングのそれぞれと、前記第１取得手段で取得した楽譜データにおける音符の演奏開始タイミングとに基づいて、前記楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングから、時間軸に沿って予め規定された規定時間範囲であり、かつ、前記演奏開始タイミングからの時間長が最短となる前記音高変化タイミングとを対応付けたタイミングペアデータを生成する第１生成手段と、
   前記第１生成手段で生成されたタイミングペアデータにおける前記演奏開始タイミングと前記音高変化タイミングとの時間差である音高ため時間の前記楽曲における代表値である音高ため代表値を算出し、前記音高ため時間と、前記音高ため代表値とに基づいて、前記音高ため代表値から規定時間長以上乖離した前記音高ため時間である特殊音高ため時間を、ため時間として算出するため時間算出手段と、
   前記ため時間算出手段で算出した前記ため時間を、ため時間の算出に用いた演奏開始タイミングに対応する前記楽譜データの音符と対応付けることで、歌手の歌い方の特徴を表す歌唱特徴データを生成する第２生成手段と
   を備えることを特徴とする情報処理装置。
7. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、情報処理装置が第１記憶部から取得する第１取得手順と、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、前記情報処理装置が第２記憶部から取得する第２取得手順と、
   前記楽曲データから前記ボーカル音を表すボーカルデータを、前記情報処理装置が抽出する抽出手順と、
   前記ボーカルデータにおける音圧が、予め規定された規定閾値以上となった発声開始タイミングそれぞれを、前記ボーカルデータにおいて発声を開始したタイミングとみなせる発声タイミングとして前記情報処理装置が特定するタイミング特定手順と、
   前記タイミング特定手順で特定した発声タイミングのそれぞれと、前記第１取得手順で取得した楽譜データにおける音符の演奏開始タイミングとに基づいて、前記楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングからの時間長が最短となる前記発声開始タイミングとを組み合わせたタイミングペアデータを、前記情報処理装置が生成する第１生成手順と、
   前記第１生成手順で生成されたタイミングペアデータにおける前記演奏開始タイミングと前記発声開始タイミングとの時間差である発音ため時間の前記楽曲における代表値である発音ため代表値を算出し、前記発音ため時間と、前記発音ため代表値とに基づいて、前記発音ため代表値から規定時間長以上乖離した前記発音ため時間である特殊発音ため時間を、ため時間として前記情報処理装置が算出するため時間算出手順と、
   前記ため時間算出手順で算出した前記ため時間を、ため時間の算出に用いた演奏開始タイミングに対応する前記楽譜データの音符と対応付けることで、歌手の歌い方の特徴を表す歌唱特徴データを、前記情報処理装置が生成する第２生成手順と
   を備えることを特徴とするデータ生成方法。
8. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、情報処理装置が第１記憶部から取得する第１取得手順と、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、前記情報処理装置が第２記憶部から取得する第２取得手順と、
   前記楽曲データから前記ボーカル音を表すボーカルデータを、前記情報処理装置が抽出する抽出手順と、
   前記ボーカルデータにおける音高の推移を表すボーカル周波数推移が、前記楽譜データにおける前記音符の音高の範囲内となったタイミングである音高変化タイミングを、前記ボーカルデータにおいて発声を開始したタイミングとみなせる発声タイミングとして前記情報処理装置が特定するタイミング特定手順と、
   前記タイミング特定手順で特定した発声タイミングのそれぞれと、前記第１取得手順で取得した楽譜データにおける音符の演奏開始タイミングとに基づいて前記楽譜データにおける音符の演奏開始タイミングと、その演奏開始タイミングから、時間軸に沿って予め規定された規定時間範囲であり、かつ、前記演奏開始タイミングからの時間長が最短となる前記音高変化タイミングとを対応付けたタイミングペアデータを、前記情報処理装置が生成する第１生成手順と、
   前記第１生成手順で生成されたタイミングペアデータにおける前記演奏開始タイミングと前記音高変化タイミングとの時間差である音高ため時間の前記楽曲における代表値である音高ため代表値を算出し、前記音高ため時間と、前記音高ため代表値とに基づいて、前記音高ため代表値から規定時間長以上乖離した前記音高ため時間である特殊音高ため時間を、ため時間として前記情報処理装置が算出するため時間算出手順と、
   前記ため時間算出手順で算出した前記ため時間を、ため時間の算出に用いた演奏開始タイミングに対応する前記楽譜データの音符と対応付けることで、歌手の歌い方の特徴を表す歌唱特徴データを、前記情報処理装置が生成する第２生成手順と
   を備えることを特徴とするデータ生成方法。