JP2010085581A - Lyrics data display, lyrics data display method, and lyrics data display program - Google Patents
Lyrics data display, lyrics data display method, and lyrics data display program Download PDFInfo
- Publication number
- JP2010085581A JP2010085581A JP2008252844A JP2008252844A JP2010085581A JP 2010085581 A JP2010085581 A JP 2010085581A JP 2008252844 A JP2008252844 A JP 2008252844A JP 2008252844 A JP2008252844 A JP 2008252844A JP 2010085581 A JP2010085581 A JP 2010085581A
- Authority
- JP
- Japan
- Prior art keywords
- mora
- data
- section
- phoneme
- singing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 98
- 238000006243 chemical reaction Methods 0.000 claims abstract description 45
- 238000013500 data storage Methods 0.000 claims abstract description 45
- 230000002123 temporal effect Effects 0.000 claims description 11
- 230000001755 vocal effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 235000016496 Panda oleosa Nutrition 0.000 description 4
- 240000000220 Panda oleosa Species 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002940 repellent Effects 0.000 description 1
- 239000005871 repellent Substances 0.000 description 1
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、音楽コンテンツが記録された記録メディアを再生し、再生に合わせて適切なタイミングで歌詞を表示する歌詞データ表示装置、歌詞データ表示方法、歌詞データ表示プログラムに関する。 The present invention relates to a lyric data display device, a lyric data display method, and a lyric data display program for reproducing a recording medium on which music content is recorded and displaying lyrics at an appropriate timing in accordance with the reproduction.
近年、インターネットを介したサービスの普及により、楽曲データの歌詞を、検索エンジンなどを用いて取得することができるようになった。しかし、取得できる歌詞の多くは、楽曲データの再生時間に対応する歌詞表示のタイミング（同期）情報が与えられていないことがほとんどである。そのため、楽曲データを再生しながら、歌に合わせて適切な歌詞を表示するためには、事前にタイミングデータを作成する必要がある。このタイミングデータを手動で入力する場合、非常に煩雑な作業を行わなければならない。この問題を解決するために、タイミングデータを自動で作成する手法が提案されている。例えば、特許文献１の手法では、まず、バンドパスフィルタによって、音響信号からボーカル音声を取り出し、取り出したボーカル音声を、音声認識によってコード化する。次に、コード化されたボーカル音声を基に、一致する歌詞のフレーズを検索して、見つかったフレーズを表示する。
しかし、特許文献１による方法では、例えば、ピアノやギターなどの、ボーカル帯域にかかる楽器の楽音が楽曲データ中に存在すると、ボーカル音声だけを抽出することが困難になるため、楽器音の小さい楽曲データや、アカペラなど、限定された楽曲データでなければ、抽出の精度は低下し、ボーカル音声の抽出ができない、という問題がある。
However, in the method according to
特に、ボーカル音声は、話速やアクセント、周波数帯域などが、通常の会話とは異なるため、音声認識エンジンで正しく処理を行うことが難しい。 In particular, since vocal speed, accent speed, frequency band, and the like are different from those of normal conversation, it is difficult for vocal voice to be processed correctly by a voice recognition engine.
そこで、本発明は、歌詞表示のためのタイミングデータが与えられていない楽曲データであっても、楽曲データの再生時間に合わせて、適切に歌詞を表示することができる歌詞データ表示装置、歌詞データ表示方法、歌詞データ表示プログラムを提供するものである。 Accordingly, the present invention provides a lyric data display device and lyric data that can appropriately display lyrics in accordance with the reproduction time of the music data, even if the music data is not provided with timing data for displaying the lyrics. A display method and a lyric data display program are provided.
上記目的を達成するため、本発明は、楽曲データにおける歌唱データの存在区間である歌唱区間毎に、前記歌唱区間の開始時間および終了時間である歌唱時間データを格納する歌唱時間データ格納部と、前記歌唱区間毎に、テキストデータとして記述された前記楽曲データの歌詞データを格納する歌詞データ格納部と、文字または単語をその意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を格納する音素辞書格納部と、前記音素データから、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算するためのモーラ数計算ルールを格納するモーラ数計算ルール格納部と、前記歌詞データ格納部から前記歌詞データを読み込み、前記音素辞書格納部を参照して、前記歌詞データを前記音素データに変換する音素データ変換部と、前記モーラ数計算ルールを参照し、前記音素データ変換部によって作成された前記音素データを読み込み、前記歌唱区間の前記モーラの個数である区間モーラ数および前記歌唱区間の各行の前記モーラの個数である行モーラ数を計算するモーラ数計算部と、前記歌唱時間データ格納部から前記歌唱時間データを読み込み、前記歌唱区間の時間長を計算すると共に、前記モーラ数計算部によって計算された前記区間モーラ数を、前記時間長で割ることによって求められる、前記歌唱区間毎のモーラ速度を計算するモーラ速度計算部と、前記モーラ速度計算部によって計算された前記モーラ速度と、前記モーラ数計算部で計算された前記行モーラ数とに基づいて、前記歌詞データの各行毎の表示タイミングを計算する表示タイミング計算部と、前記表示タイミング計算部によって計算された前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させる表示制御部と、を有する歌詞データ表示装置である。
また、次の発明は、楽曲データにおける歌唱データの存在区間である歌唱区間毎に、前記歌唱区間の開始時間および終了時間である歌唱時間データを格納する歌唱時間データ格納部と、テキストデータとして記述された前記楽曲データの歌詞データを格納する歌詞データ格納部と、文字または単語をその意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を格納する音素辞書格納部と、前記音素データから、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算するためのモーラ数計算ルールを格納するモーラ数計算ルール格納部と、前記歌詞データ格納部から前記歌詞データを読み込み、前記音素辞書格納部を参照して、前記歌詞データを前記音素データに変換する音素データ変換部と、前記モーラ数計算ルールを参照し、前記音素データ変換部によって作成された前記音素データを読み込み、前記歌詞データ全体の前記モーラの個数である全モーラ数および前記歌詞データの各行毎の前記モーラの個数である行モーラ数を計算するモーラ数計算部と、前記歌唱時間データ格納部から前記歌唱時間データを読み込み、前記各歌唱区間の時間長およびその合計値である合計時間長を計算し、前記モーラ数計算部によって計算された前記全モーラ数を、前記合計時間長で割ることによって求められる平均モーラ速度を計算すると共に、前記各歌唱区間の時間長を前記平均モーラ速度で割ることにより得られる各歌唱区間の推定モーラ数と、前記行モーラ数とに基づいて、前記歌詞データを行毎に前記各歌唱区間に対応させる歌唱区間分割部と、前記歌唱区間分割部で得られた前記歌詞データと前記歌唱区間との対応情報と、前記モーラ数計算部で計算された前記行モーラ数とに基づいて、前記歌唱区間毎のモーラ数を計算すると共に、それを前記歌唱区間分割部で計算された前記歌唱区間の時間長で割ることによって求められる、前記歌唱区間毎のモーラ速度を計算するモーラ速度計算部と、前記モーラ速度計算部によって計算された前記モーラ速度と、前記モーラ数計算部で計算された前記行モーラ数とに基づいて、前記歌詞データの各行毎の表示タイミングを計算する表示タイミング計算部と、前記表示タイミング計算部によって計算された前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させる表示制御部と、を有する歌詞データ表示装置である。
ここで、上記歌詞データ表示装置において、さらに、漢字とその読み方を示す平仮名とを一つ以上対応させて格納する漢字辞書格納部と、前記歌詞データ格納部から取得した前記歌詞データ中の漢字を、前記漢字辞書格納部を参照して平仮名に変換する平仮名変換部と、を有し、前記音素データ変換部は、前記音素辞書格納部を参照して、前記平仮名変換部によって平仮名に変換された前記歌詞データを前記音素データに変換し、音素列を作成する、ようにしても良い。
また、次の発明は、楽曲データにおける歌唱データの存在区間である歌唱区間に対応する、１つ以上の行で構成されるテキストデータとして記述された楽曲データの歌詞データを読み込むと共に、文字乃至は単語を語の意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を参照し、前記歌詞データを前記音素データに変換した音素時系列データを作成するステップと、前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記歌唱区間のモーラの個数である区間モーラ数および前記歌唱区間の各行のモーラの個数である行モーラ数を計算するステップと、前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するステップと、前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するステップと、前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、を有する歌詞データ表示方法である。
また、次の発明は、１つ以上の行で構成されるテキストデータとして記述された楽曲データの歌詞データを読み込むと共に、文字乃至は単語を語の意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を参照し、前記歌詞データを前記音素データに変換した音素時系列データを作成するステップと、前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記楽曲データ全体のモーラの個数である全モーラ数および前記歌詞データの各行のモーラの個数である行モーラ数を計算するステップと、前記全モーラ数を、楽曲データにおける歌唱データの存在区間である各歌唱区間の時間長の合計値で除算して得られる平均モーラ速度を計算するステップと、前記各歌唱区間の時間長を前記平均モーラ速度で除算して得られる各歌唱区間の推定モーラ数を計算するステップと、前記推定モーラ数と、前記行モーラ数とに基づいて、前記歌詞データの各行と前記各歌唱区間との対応情報を作成するステップと、前記対応情報と前記行モーラ数とに基づいて、前記各歌唱区間毎のモーラの個数である区間モーラ数を計算するステップと、前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するモーラ速度計算ステップと、前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するタイミング計算ステップと、前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、を有する歌詞データ表示方法である。
また、次の発明は、楽曲データにおける歌唱データの存在区間である歌唱区間に対応する、１つ以上の行で構成されるテキストデータとして記述された楽曲データの歌詞データを読み込むと共に、文字乃至は単語を語の意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を参照し、前記歌詞データを前記音素データに変換した音素時系列データを作成するステップと、前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記歌唱区間のモーラの個数である区間モーラ数および前記歌唱区間の各行のモーラの個数である行モーラ数を計算するステップと、前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するステップと、前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するステップと、前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、をコンピュータに実行させる歌詞データ表示プログラムである。
また、次の発明は、１つ以上の行で構成されるテキストデータとして記述された楽曲データの歌詞データを読み込むと共に、文字乃至は単語を語の意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を参照し、前記歌詞データを前記音素データに変換した音素時系列データを作成するステップと、前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記楽曲データ全体のモーラの個数である全モーラ数および前記歌詞データの各行のモーラの個数である行モーラ数を計算するステップと、前記全モーラ数を、楽曲データにおける歌唱データの存在区間である各歌唱区間の時間長の合計値で除算して得られる平均モーラ速度を計算するステップと、前記各歌唱区間の時間長を前記平均モーラ速度で除算して得られる各歌唱区間の推定モーラ数を計算するステップと、前記推定モーラ数と、前記行モーラ数とに基づいて、前記歌詞データの各行と前記各歌唱区間との対応情報を作成するステップと、前記対応情報と前記行モーラ数とに基づいて、前記各歌唱区間毎のモーラの個数である区間モーラ数を計算するステップと、前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するモーラ速度計算ステップと、前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するタイミング計算ステップと、前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、をコンピュータに実行させる歌詞データ表示プログラムである。
In order to achieve the above object, the present invention provides a singing time data storage unit that stores singing time data that is a start time and an ending time of the singing section, for each singing section that is an existing section of singing data in music data; For each singing section, a lyric data storage unit that stores lyric data of the music data described as text data, and converts characters or words into phoneme data that is the smallest speech unit that has the function of distinguishing the meaning A phoneme dictionary storage unit for storing a phoneme dictionary for storing, and a mora for storing a mora number calculation rule for calculating the number of mora which is a segmental unit of sound having a certain temporal length in pronunciation from the phoneme data The lyric data is read from the number calculation rule storage unit and the lyric data storage unit, and the lyric data is read from the phoneme dictionary storage unit by referring to the phoneme dictionary storage unit. A phoneme data conversion unit for converting to data, and the mora number calculation rule are referred to, the phoneme data created by the phoneme data conversion unit is read, the number of mora in the singing interval and the number of mora A mora number calculation unit that calculates the number of mora that is the number of mora in each row of the section, and reads the singing time data from the singing time data storage unit, calculates the time length of the singing section, and the number of mora A mora speed calculation unit that calculates a mora speed for each singing section, which is obtained by dividing the number of section mora calculated by the calculation unit by the time length, and the mora speed calculated by the mora speed calculation unit And the display timing for each line of the lyrics data based on the line mora number calculated by the mora number calculation unit. A display timing calculation unit that calculates the lyric data, and a display control unit that displays the lyric data in synchronization with the reproduction of the music data based on the display timing calculated by the display timing calculation unit Device.
In addition, the following invention is described as text data, a singing time data storage unit that stores singing time data that is a start time and an end time of the singing section for each singing section that is an existing section of singing data in the music data A lyric data storage unit for storing lyric data of the music data, and a phoneme dictionary storage for storing a phoneme dictionary for converting a character or word into phoneme data which is a minimum speech unit having a function of distinguishing the meaning A mora number calculation rule storage unit for storing a mora number calculation rule for calculating the number of mora that is a segmental unit of a sound having a certain temporal length in pronunciation from the phoneme data, and the lyrics data A phoneme data conversion unit that reads the lyric data from a storage unit and converts the lyric data into the phoneme data with reference to the phoneme dictionary storage unit , Referring to the mora number calculation rule, reading the phoneme data created by the phoneme data conversion unit, the total number of mora that is the number of mora of the entire lyrics data and the mora of each line of the lyrics data The mora number calculation unit for calculating the number of row mora that is the number, the singing time data is read from the singing time data storage unit, the time length of each singing section and the total time length that is the total value thereof are calculated, It is obtained by calculating the average mora speed obtained by dividing the total number of mora calculated by the mora number calculation unit by the total time length and dividing the time length of each singing section by the average mora speed. Based on the estimated number of mora in each singing section and the number of line mora, singing that associates the lyrics data with each singing section for each line Based on the correspondence information between the lyric data obtained in the singing section dividing section, the singing section dividing section, and the singing section, and the row mora number calculated in the mora number calculating section, for each singing section A mora speed calculating unit for calculating a mora speed for each singing section, which is calculated by calculating the number of mora and dividing it by the time length of the singing section calculated by the singing section dividing unit, and the mora speed A display timing calculation unit for calculating a display timing for each line of the lyrics data based on the mora speed calculated by the calculation unit and the number of line mora calculated by the mora number calculation unit; and the display timing A display control unit for displaying the lyrics data in synchronization with the reproduction of the music data based on the display timing calculated by the calculation unit. This is a lyrics data display device.
Here, in the lyrics data display device, a kanji dictionary storing unit that stores one or more kanji and hiragana indicating how to read the kanji, and a kanji in the lyrics data acquired from the lyrics data storing unit. A hiragana conversion unit that converts the hiragana to a hiragana by referring to the kanji dictionary storage, and the phoneme data conversion unit is converted to hiragana by the hiragana conversion by referring to the phoneme dictionary storage The lyrics data may be converted to the phoneme data to create a phoneme string.
Further, the next invention reads the lyrics data of the music data described as text data composed of one or more lines corresponding to the singing section which is the existing section of the singing data in the music data, and also reads characters or Creating a phoneme time-series data by referring to a phoneme dictionary for converting a word into phoneme data which is a minimum speech unit that works to distinguish the meaning of a word, and converting the lyrics data into the phoneme data; For the phoneme time-series data, calculate the number of mora that is a segmental unit of sound having a certain temporal length in pronunciation, and the number of section mora that is the number of mora in the singing section and each row of the singing section Calculating the number of row mora, which is the number of mora, and calculating the mora speed for each singing section obtained by dividing the section mora number by the time length of the singing section Calculating the time from the beginning of the song data for each row of the lyrics data based on the mora speed and the number of row mora, and reproducing the song data based on the display timing. And displaying the lyric data in synchronization with each other.
Further, the following invention reads the lyrics data of music data described as text data composed of one or more lines, and at the same time the character or word is the smallest voice unit that works to distinguish the meaning of the word. A step of creating a phoneme time-series data obtained by converting the lyric data into the phoneme data with reference to a phoneme dictionary for conversion into a phoneme data; Calculating the number of mora that is a segmental unit of the sound having a length, calculating the total number of mora that is the number of mora of the entire music data and the number of line mora that is the number of mora in each line of the lyrics data; A step of calculating an average mora speed obtained by dividing the total number of mora by a total value of time lengths of each singing section which is an existing section of singing data in the music data; Based on the step of calculating the estimated number of mora of each song section obtained by dividing the time length of each song section by the average mora speed, the estimated number of mora, and the number of line mora, Creating correspondence information between each line and each singing section; calculating a section mora number that is the number of mora for each singing section based on the correspondence information and the number of line mora; and Based on the mora speed calculating step for calculating the mora speed for each singing section obtained by dividing the number of section mora by the time length of the singing section, and for each line of the lyrics data based on the mora speed and the number of line mora And calculating the time from the beginning of the music data and displaying the lyrics data in synchronization with the reproduction of the music data based on the display timing. A step, a lyrics data display method with.
Further, the next invention reads the lyrics data of the music data described as text data composed of one or more lines corresponding to the singing section which is the existing section of the singing data in the music data, and also reads characters or Creating a phoneme time-series data by referring to a phoneme dictionary for converting a word into phoneme data which is a minimum speech unit that works to distinguish the meaning of a word, and converting the lyrics data into the phoneme data; For the phoneme time-series data, calculate the number of mora that is a segmental unit of sound having a certain temporal length in pronunciation, and the number of section mora that is the number of mora in the singing section and each row of the singing section Calculating the number of row mora, which is the number of mora, and calculating the mora speed for each singing section obtained by dividing the section mora number by the time length of the singing section Calculating the time from the beginning of the song data for each row of the lyrics data based on the mora speed and the number of row mora, and reproducing the song data based on the display timing. A lyric data display program for causing a computer to execute the step of synchronizing and displaying the lyric data.
Further, the following invention reads the lyrics data of music data described as text data composed of one or more lines, and at the same time the character or word is the smallest voice unit that works to distinguish the meaning of the word. A step of creating a phoneme time-series data obtained by converting the lyric data into the phoneme data with reference to a phoneme dictionary for conversion into a phoneme data; Calculating the number of mora that is a segmental unit of the sound having a length, calculating the total number of mora that is the number of mora of the entire music data and the number of line mora that is the number of mora in each line of the lyrics data; A step of calculating an average mora speed obtained by dividing the total number of mora by a total value of time lengths of each singing section which is an existing section of singing data in the music data; Based on the step of calculating the estimated number of mora of each song section obtained by dividing the time length of each song section by the average mora speed, the estimated number of mora, and the number of line mora, Creating correspondence information between each line and each singing section; calculating a section mora number that is the number of mora for each singing section based on the correspondence information and the number of line mora; and Based on the mora speed calculating step for calculating the mora speed for each singing section obtained by dividing the number of section mora by the time length of the singing section, and for each line of the lyrics data based on the mora speed and the number of line mora And calculating the time from the beginning of the music data and displaying the lyrics data in synchronization with the reproduction of the music data based on the display timing. A step, a lyrics data display program causing a computer to execute the.
本発明の歌詞データ表示装置によれば、楽曲データと歌詞の同期情報のない歌詞データに対して、歌詞行の表示開始のタイミング情報を与えることができ、ユーザが特別な作業を行わなくとも、再生される楽曲データに合わせて、適切な歌詞行を表示することができる。また、音素辞書を用意するだけで、あらゆる言語の楽曲データについて、簡単に対応することができる。また、音響信号の分析や音声認識などを行わないので、従来手法よりも高速に処理することが可能である。また、どのような楽器構成の楽曲データであっても、歌詞表示のタイミング情報を与えることができる。 According to the lyrics data display device of the present invention, it is possible to give the timing information of the display start of the lyrics line to the lyrics data without the synchronization information of the music data and the lyrics, without the user performing a special work, An appropriate lyrics line can be displayed in accordance with the music data to be reproduced. In addition, it is possible to easily deal with music data in any language simply by preparing a phoneme dictionary. In addition, since analysis of acoustic signals and speech recognition are not performed, processing can be performed at a higher speed than the conventional method. Moreover, the timing information for displaying the lyrics can be given for any musical composition data.
以下、本発明を実施するための最良の形態について、好ましい実施形態を示して説明する。 The best mode for carrying out the present invention will be described below with reference to preferred embodiments.
実施形態１.
本発明の実施形態に基づく実施形態１の歌詞データ表示装置１についての説明を行う。
The lyric
図１は、本発明の実施形態１に基づく歌詞データ表示装置１の構成例を示すブロック図である。
FIG. 1 is a block diagram showing a configuration example of a lyrics
図１において、歌詞データ表示装置１は、入力部１０と、格納部２０と、制御部３０と、表示部４０と、再生部５０とで構成される。また、格納部２０は、機能別に、楽曲データ格納部２１と、歌唱時間データ格納部２２と、歌詞データ格納部２３と、音素辞書格納部２４と、モーラ数計算ルール格納部２５とを有し、制御部３０は、音素データ変換部３１と、モーラ数計算部３２と、モーラ速度計算部３３と、表示タイミング設定部３４と、表示制御部３５とを有する。
In FIG. 1, the lyrics
入力部１０は、歌詞データ表示装置に対して選択や決定動作を行うことのできる入力機器である。
The
図２に入力部１０の一例を示す。図２では、入力部１０として、選択動作を行うための十字キー１０００と、決定動作を行うための決定ボタン１００１が示されている。
FIG. 2 shows an example of the
格納部２０は、ハードディスクやフラッシュメモリのような高速アクセスが可能な大容量記録媒体である。以降、格納部２０を機能別に分けて説明する。
The
楽曲データ格納部２１は、楽曲データ本体であるデジタルデータと、各楽曲データのデジタルデータを一意に識別するための識別子である楽曲データＩＤとを格納する。楽曲データＩＤは、１、２、３といった数値でも良いし、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）などを用いても良い。なお、楽曲データ格納部２１は、本装置外に設けられていても勿論よい。
The music
歌唱時間データ格納部２２は、楽曲データにおける歌唱データの存在区間である歌唱区間毎に、歌唱区間の開始時間および終了時間である歌唱時間データを格納するもので、楽曲データＩＤと、楽曲データＩＤによって対応付けられた楽曲データのボーカル音声である歌唱データの存在する一つ以上の区間（歌唱区間）の開始時間および終了時間の歌唱時間データを格納する。歌唱区間データは、歌唱区間の開始時間および終了時間を対にして格納される。
The singing time
図３に、歌唱時間データ格納部２２に格納される歌唱時間データのフォーマットの一例を示す。図３の例では、楽曲データＩＤと、歌唱区間番号と、各歌唱区間の開始時間、終了時間とを格納している。楽曲データＩＤ「ＩＤ１」の歌唱区間は２つであり、歌唱区間番号１の開始時間は１０秒、終了時間は３０秒である。歌唱区間番号２の開始時間は、５０秒、終了時間は１分２０秒である。なお、歌唱時間データ格納部２２には、ボーカル音声のある区間ではなく、前奏や間奏などのボーカル音声のない区間を格納してもよい。その場合、ボーカル音声のない区間以外の区間を、歌唱区間に変換する。
In FIG. 3, an example of the format of the singing time data stored in the singing time
歌詞データ格納部２３は、歌唱区間毎に、テキストデータとして記述された前記楽曲データの歌詞データを格納するもので、楽曲データＩＤと、対応する楽曲データの歌唱区間毎の歌詞データとを格納する。
The lyric
図４に、歌詞データ格納部２３に格納された歌詞データの一例を示す。図４の例では、楽曲データＩＤと、その楽曲データを歌唱区間毎に分けた、改行区切り文字を含む歌詞のテキストデータを格納している。楽曲データＩＤ「ＩＤ１」の楽曲データの歌唱区間は２つあり、それぞれの歌唱区間毎に歌詞のテキストデータが格納されている。なお、日本語の歌詞データは、予め平仮名に直して格納する。
FIG. 4 shows an example of the lyrics data stored in the lyrics
音素辞書格納部２４は、文字または単語をその意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を格納する。音素とは、語の意味を区別する働きのある最小の音声単位である。日本語で例を示すと、「あき」は、「aki」という子音と母音の組み合わせで構成されるが、これらの/a/，/k/，/i/が音素である。/k/を/s/に変更すると、「あし」と発音され、語の意味が変化する。
The phoneme
図５に英語用の音素辞書の一例を示す。図５の例では、左側に英語の語、右側に、語に対応する音素を格納している。英語の場合は、語は単語であり、可能な限り多くの単語についての音素を格納する。日本語の場合は、単語の構成によって音素が変化することはないため、単語ではなく、平仮名の音素を格納する。 FIG. 5 shows an example of a phoneme dictionary for English. In the example of FIG. 5, English words are stored on the left side, and phonemes corresponding to the words are stored on the right side. In English, a word is a word and stores phonemes for as many words as possible. In the case of Japanese, the phoneme does not change depending on the word structure, so the phoneme of hiragana is stored instead of the word.
図６に、日本語用の音素辞書の一例を示す。図６の例では、“あいうえおか・・・”の５０音順に、それぞれの音素をローマ字により示している。 FIG. 6 shows an example of a phoneme dictionary for Japanese. In the example of FIG. 6, each phoneme is shown in Roman letters in the order of 50 notes “Aiueoka ...”.
モーラ数計算ルール格納部２５は、音素の列から発音上一定の時間的長さを有する音の分節単位であるモーラの個数、すなわちモーラ数を計算するためのモーラ数計算ルールを格納する。モーラとは、音韻論で用いられる単位であり、一定の時間的長さを有する音の分節単位である。例えば、「こたつ」は、一定の時間的長さを有する音が３音あるので、モーラ数は３である。「きゃたつ」は、３文字であるが、拗音「ゃ」は時間的長さを有してはいないため、モーラ数は「こたつ」と同様に３とカウントされる。モーラ数計算ルール格納部２５に関しては、後述のモーラ数計算部３２にて詳述する。以上が、格納部２０の説明である。
The mora number calculation
制御部３０は、不図示のＣＰＵやメモリを備えており、メモリ上に展開された歌詞表示用プログラムをＣＰＵが実行することにより、歌詞データ表示装置１全体を制御する。以降、制御部３０を機能別に分けて説明する。
The
音素データ変換部３１は、指定された楽曲データに対応する歌詞データを読み込み、音素辞書格納部２４を参照して、歌詞データを音素の並びである音素列である音素データに変換する。
The phoneme
音素データ変換部３１の動作の流れを、図７を参照して説明する。
The operation flow of the phoneme
まず、楽曲データＩＤが入力されると、音素データ変換部３１は、歌詞データ格納部２３を参照し、楽曲データＩＤに対応する歌詞データを取得する（ステップＳ３１０）。次に、音素データ変換部３１は、取得した歌詞データ中の未処理部分から、音素データに変換可能な語を取り出す（ステップＳ３１１）。例えば、日本語であれば平仮名１つ分で、英語であれば単語が、音素データに変換可能な語に当たる。次に、音素データ変換部３１は、ステップＳ３１１で取り出した語を、音素辞書格納部２４を参照して、音素データに変換する（ステップＳ３１２）。次に、音素データ変換部３１は、歌詞を全て音素データに変換したかどうかの判断を行う（ステップＳ３１３）。もし、未処理の語が残っている場合は、ステップＳ３１１に戻り、処理を繰り返す。そうでなければ、音素データ変換部３１は、処理を終了する。
First, when the music data ID is input, the phoneme
音素データ変換部３１は、ステップＳ３１１において、改行区切りに相当する文字が取り出された場合は、そのまま改行区切りとして、音素列に出力する。
When a character corresponding to a line break is extracted in step S311, the
ここで、「An apple a day keeps the doctor away」という英文を処理する具体例を説明する。この場合、音素データ変換部３１は、まず、音素データに変換可能な最初の語であるanを取り出して、音素辞書格納部２４を参照し、音素データに変換する。まだ、音素データに変換していない語が残っているため、また次の語(apple)を取り出して音素データに変換する。上記処理を繰り返し、全ての語を前記音素データに変換した音素列が、図８である。
Here, a specific example of processing the English sentence “An apple a day keeps the doctor away” will be described. In this case, the phoneme
モーラ数計算部３２は、音素データ変換部３１によって作成された音素列のモーラ数を計算する。モーラ数の計算は、行単位で行う。行毎のモーラ数を、以降、行モーラ数と呼ぶ。音素ではなくモーラを用いる理由は、音素には、時間的な長さの情報を含まないためである。
The mora
モーラ数計算部３２によるモーラ数計算の処理の流れを、図９のフローチャートを参照して説明する。
The flow of mora number calculation processing by the mora
まず、モーラ数計算部３２は、音素列から、まだモーラ数を計算していない行を１行抜き出す（ステップＳ３２０）。
First, the mora
次に、モーラ数計算部３２は、ステップＳ３２０で抜き出された音素列を母音記号（Ｖ）と子音記号（Ｃ）に変換し、ＶＣ列を作成する（ステップＳ３２１）。モーラ数計算部３２は、内部に変換表を有し、音素が母音であるならば、その音素をＶに変換し、音素が子音記号であるならば、その音素をＣに変換する。この変換の際に、もし、母音が２重母音であるならば、２個のＶに、３重母音であるならば、３個のＶに変換する。また、半母音（日本語での「ぁぃぅぇぉゃゅょ」などの拗音）は、ＶにもＣにも変換しない。また、促音（日本語での「っ」）や、撥音（日本語での「ん」）、及び長音（日本語での「ー」）は、Ｖに変換する。
Next, the mora
図１０に、モーラ数計算部３２が内部に有する変換表の一例を示す。図１０では、左列に示した音素から、右列のＶＣへ変換するための表である。
In FIG. 10, an example of the conversion table which the mora
図１１は、音素列からＶＣ列への変換例を示す。図１１の（Ａ）は、「An apple a day keeps the doctor away」の音素列とＶＣ列とを表にしたものであり、図１１の（Ｂ）は、「いろはにほへと ちりぬるを」の音素列とＶＣ列とを表にしたものである。 FIG. 11 shows an example of conversion from a phoneme string to a VC string. (A) in FIG. 11 is a table showing the phoneme sequence and VC sequence of “An apple a day keeps the doctor away”, and (B) in FIG. 11 is a phoneme sequence of “Irohaniho Chiriru” And the VC column.
次に、モーラ数計算部３２は、ステップＳ３２１で作成したＶＣ列から、部分ＶＣ列を取り出す（ステップＳ３２２）。つまり、モーラ数計算部３２は、読み込み位置ｐから最初に見つかるＶまでを部分ＶＣ列として、元のＶＣ列から取り出す。読み込み位置ｐの初期値は、ＶＣ列の先頭の文字であり、部分ＶＣ列を取り出した後、読み込み位置ｐを、発見したＶの次の位置に設定する。もし、ＶがＶＣ列の終端まで見つからなかった場合は、読み込み位置ｐからＶＣ列の終端までを、部分ＶＣ列として取り出す。また、部分ＶＣ列を取り出す際、単語と単語の間にある空白文字は、無視して処理を行う。その理由は、英語のように、単語の終わりが子音である言語において、例えば、「an apple」を実際に発音する場合、anとappleとの間は、間をおかずに続けて発音する性質を有するからである。
Next, the mora
部分ＶＣ列を取り出す具体例を示すと、図１１の（Ａ）に示したＶＣ列に対して処理を行う場合、読み込み位置ｐがＶＣ列の先頭の文字であるとき、最初のＶが１文字目に登場するので、取り出される部分ＶＣ列は「Ｖ」である。読み込み位置ｐが２文字目の場合、取り出される部分ＶＣ列は「ＣＶ」である。 As a specific example of extracting a partial VC string, when processing is performed on the VC string shown in FIG. 11A, when the reading position p is the first character of the VC string, the first V is one character. Since it appears in the eyes, the extracted partial VC string is “V”. When the reading position p is the second character, the extracted partial VC string is “CV”.
次に、モーラ数計算部３２は、部分ＶＣ列から、モーラ数を取得し、合計モーラ数に加算する（ステップＳ３２３）。つまり、モーラ数計算部３２は、モーラ数計算ルール格納部２５を参照し、部分ＶＣ列と一致するモーラ数を取得し、合計モーラ数に加算する。つまり、音素列のｎ行目のＶＣ列に対する合計モーラ数をＭｎとし、部分ＶＣ列から取得されたモーラ数をｍとすると、新しい合計モーラ数は、Ｍｎ＋ｍとなる。
Next, the mora
図１２に、モーラ数計算ルール格納部２５の一例を示す。モーラ数計算ルール格納部２５に格納するルールを作成する場合、韻律的特徴を考慮して作成する。例えば、図１２の例において、「Ｃ」及び「Ｖ」がそれぞれモーラ数１であるのに、２つを組み合わせた「ＣＶ」もモーラ数１であるのは、子音＋母音を実際に発音すると、発音長さは「Ｃ」や「Ｖ」と同様の長さになる性質に基づいているためである。
FIG. 12 shows an example of the mora number calculation
次に、モーラ数計算部３２は、ＶＣ列からの部分ＶＣ列の取り出しを、全て終えたかどうかの判断を行う（ステップＳ３２４）。まだ終えていない場合はステップＳ３２１に戻り、処理を繰り返し、そうでなければ、ステップＳ３２５に進む。
Next, the mora
モーラ数計算部３２は、ステップＳ３２４で、ＶＣ列からの部分ＶＣ列の取り出しを全て終えた場合、モーラ数を計算していない音素列の行がないかどうかを判断する（ステップＳ３２５）。もし、全ての音素列の処理が終了したのであれば、モーラ数計算部３２は処理を終了する。そうでなければ、ステップＳ３２０に戻る。
When the extraction of the partial VC strings from the VC string is completed in step S324, the mora
図１１（Ａ）の例を、部分ＶＣ列に分割して、それぞれのモーラ数を示した表を図１３に示す。図１３に示したモーラ数を全て足すと１６となり、この数値が行モーラ数である。以上がモーラ数計算部３２の処理の説明である。
FIG. 13 shows a table in which the example of FIG. 11A is divided into partial VC columns and the respective mora numbers are shown. When all the mora numbers shown in FIG. 13 are added, it becomes 16, and this value is the number of row mora. The above is the description of the processing of the mora
モーラ速度計算部３３は、モーラ数計算部３２によって算出された、行モーラ数を基に、歌唱区間毎のモーラ速度を計算する。
The
モーラ速度計算部３３の動作の流れを図１４のフローチャートを参照して説明を行う。
The operation flow of the mora
モーラ速度計算部３３は、まず、歌詞データ格納部２３を参照して、歌唱区間番号ｉに対応する歌詞の開始行番号と終了行番号を取得する（ステップＳ３３０）。
First, the mora
次に、取得した開始行番号と終了行番号の区間のモーラ数の合計を、モーラ数計算部３２によって算出された歌詞行毎に求められた行モーラ数から計算する（ステップＳ３３１）。ここで求められる、歌唱区間のモーラ数を、区間モーラ数と呼ぶ。 Next, the total number of mora in the section of the acquired start line number and end line number is calculated from the number of line mora obtained for each lyrics line calculated by the mora number calculation unit 32 (step S331). The number of mora in the singing section obtained here is called the section mora number.
次に、歌唱区間の時間長を取得する（ステップＳ３３２）。モーラ速度計算部３３は、歌唱時間データ格納部２２を参照して、歌唱区間ｉに対応する開始時間、終了時間を取得する。取得した開始時間をｔｓ、終了時間をｔｅとおくと、時間長Ｔは、
Next, the time length of the singing section is acquired (step S332). The mora
次に、ステップＳ３３１で求めた区間モーラ数と、ステップＳ３３２で求めた歌唱区間の時間長とを基に、モーラ速度を計算する（ステップＳ３３３）。歌唱区間ｉの区間モーラ数をＭｉ、歌唱区間ｉの時間長をＴｉとおくと、歌唱区間ｉのモーラ速度Ｖｉは、 Next, the mora speed is calculated based on the number of section mora obtained in step S331 and the time length of the singing section obtained in step S332 (step S333). If the number of section mora of the singing section i is Mi and the time length of the singing section i is Ti, the mora speed Vi of the singing section i is
次に、全ての歌唱区間についてモーラ速度を計算したかどうかを判断する。全ての歌唱区間についてモーラ速度を計算した場合は、モーラ速度計算部３３は処理を終了する。そうでなければ、歌唱区間ｉをｉ＋１に変更し、ステップＳ３３０に戻って処理を続行する。
Next, it is determined whether or not the mora speed has been calculated for all singing sections. When the mora speed is calculated for all the singing sections, the mora
ここで、図３と図４の例において、楽曲データＩＤがＩＤ１の曲について、歌唱区間１のモーラ速度を算出する具体例を示す。歌唱区間１の時間長Ｔ１は、終了時間が３０秒、開始時間が１０秒なので、３０−１０＝２０秒と求められる。歌唱区間１の区間モーラ数Ｍ１を２８とすると、モーラ速度Ｖ１は、２８／２０を計算して、１．４と求められる。以上がモーラ速度計算部３３の説明である。
Here, in the example of FIG. 3 and FIG. 4, the specific example which calculates the mora speed of the
表示タイミング設定部３４は、モーラ速度計算部３３によって求められた、歌唱区間毎のモーラ速度を基に、再生中における歌詞行毎の表示タイミングを設定する。歌唱区間ｉのモーラ速度をＶｉ、歌唱区間ｉ中の歌詞行ｎの行モーラ数をＭｎとすると、歌唱区間ｉ開始時間ｔｓからの歌詞行ｎのディレイ時間Ｄｎは、
The display
上述の処理を、全ての歌唱区間、及び全ての歌詞行について繰り返し、歌詞行の表示開始時間Ｔｎを算出する。 The above-described processing is repeated for all singing sections and all lyric lines, and the lyric line display start time Tn is calculated.
前述のモーラ速度計算部３３の例で用いたモーラ速度Ｖ１＝１．４を基にして、表示開始時間を算出する具体例を示す。まず、図４に示した、楽曲データＩＤ「ＩＤ１」の歌唱区間１における１行目の歌詞行の表示開始時間は、歌唱区間１の開始時間と同値であるため、１０秒である。次に、２行目の歌詞行について、歌詞行１の行モーラ数は１６であるため、ディレイ時間Ｄ２は、
A specific example in which the display start time is calculated based on the mora speed V1 = 1.4 used in the above-described example of the mora
Ｄ２＝Ｍ１／Ｖ１＋Ｄ１＝１６／１．４＋０≒１１．４
と求められ、歌詞行２の表示開始時間は、１０＋１１．４＝２１．４秒と求められる。
D2 = M1 / V1 + D1 = 16 / 1.4 + 0≈11.4
The display start time of the
表示制御部３５は、楽曲データの再生時間に合わせて、歌詞の表示を行う。表示制御部３５は、表示制御部３５は、再生中の楽曲データの再生位置を一定時間毎にチェックする。チェック時の楽曲データ再生位置を基に、前記表示タイミング設定部３４で設定された歌詞の表示開始時間を参照し、次の歌詞の表示開始時間を超えた場合、歌詞の表示を行う。以上が制御部３０の説明である。
The
表示部４０は、ディスプレイ等の表示機器等であり、歌詞を表示する。
The
再生部５０は、楽曲データのプレーヤやスピーカ、ヘッドホン等の再生機器である。
The
次に、本実施形態における、歌詞データ表示装置１全体の動作を、図１５のフローチャートを参照し説明する。
Next, the overall operation of the lyrics
歌詞データ表示装置を起動すると、まず、制御部３０は、再生する楽曲データの入力を受け付ける（ステップＳ１０）。
When the lyrics data display device is activated, first, the
図１６に、楽曲データ入力動作を行うためのユーザインタフェースの例を示す。図１６では、表示部４０に再生可能な楽曲データの一覧が表示されており、ユーザが入力部１０を介してカーソル１０１０を動かし、再生したい楽曲データを決定する。
FIG. 16 shows an example of a user interface for performing a music data input operation. In FIG. 16, a list of reproducible music data is displayed on the
次に、制御部３０は、ステップＳ１０で入力された情報から、再生する楽曲データの歌詞データを、歌詞データ格納部２３から取得する（ステップＳ２０）。
Next, the
次に、制御部３０は、歌詞の表示タイミングの設定を行う（ステップＳ３０）。
Next, the
表示タイミングの設定動作の処理の流れを、図１７のフローチャートを参照し説明を行う。 The processing flow of the display timing setting operation will be described with reference to the flowchart of FIG.
まず、音素データ変換部３１は、歌詞のテキストデータを音素へ変換し、音素列を作成する（ステップＳ３０００）。音素データ変換部３１の動作の流れについては、前述の図７の通りである。
First, the phoneme
次に、ステップＳ３０００で作成された音素列を基に、モーラ数計算部３２は、歌詞のモーラ数を計算する（ステップＳ３０１０）。モーラ数計算部３２の動作の流れについては、前述の図９の通りである。
Next, based on the phoneme sequence created in step S3000, the mora
次に、ステップＳ３０１０で計算されたモーラ数を基に、モーラ速度計算部３３は、歌唱区間毎のモーラ速度を計算する（ステップＳ３０２０）。モーラ速度計算部３３の動作の流れについては、前述の図１４の通りである。
Next, based on the number of mora calculated in step S3010, the mora
次に、ステップＳ３０２０で計算された歌唱区間毎のモーラ速度を基に、表示タイミング設定部３４は、歌詞行毎の表示開始のタイミングを設定する（ステップＳ３０３０）。表示タイミング設定部３４の動作については、前述の通りである。以上が、歌詞データの同期表示制御処理の説明である。
Next, based on the mora speed for each singing section calculated in step S3020, the display
図１５のフローチャートの説明に戻り、制御部３０は、ステップＳ１０で指示された楽曲データを再生する（ステップＳ４０）。
Returning to the description of the flowchart of FIG. 15, the
次に、表示制御部３５は、再生中の楽曲データの再生位置が、次に表示すべき歌詞行の表示開始時間を超えたかどうかを判断する（ステップＳ５０）。もし、超えた場合はステップＳ６０に進み、そうでなければステップＳ７０に進む。
Next, the
ステップＳ５０において、真と判断した場合、制御部３０は、次に表示すべき歌詞行を、表示部４０に表示させる（ステップＳ６０）。図１８に、一例を示す。表示部４０内に示された歌詞１０２０が、楽曲データの再生時間に基づいて表示される歌詞である。
If it is determined that the result is true in step S50, the
ステップＳ５０で偽と判断した場合、もしくはステップＳ６０の処理を終えると、制御部３０は、再生が終了したかどうかの判断を行う（ステップＳ７０）。もし、再生が終了していなければ、ステップＳ５０に戻り、再生が終了した場合は、歌詞データ表示装置１は処理を終了する。以上が、歌詞データ表示装置１の動作の説明である。
When it is determined to be false in step S50, or when the process of step S60 is completed, the
以上詳述したように、本実施形態１の歌詞データ表示装置１によれば、同期情報のない歌詞データに対して、歌詞行の表示開始のタイミング情報を与えることができ、ユーザが特別な作業を行わなくとも、再生される楽曲データに合わせて、適切な歌詞行を表示することができる。
As described above in detail, according to the lyric
なお、本実施形態におけるモーラ数計算ルール格納部２５の例は、言語に寄らず一つであったが、日本語や英語、ドイツ語、フランス語など、言語別に用意しても良い。
In addition, although the example of the mora number calculation
また、格納部２０は、歌詞データ表示装置１とネットワークによって接続された、外部機器であっても良い。
The
また、あらゆる言語の楽曲データについても、再生される楽曲データに合わせて、適切な歌詞行を表示することができる。 In addition, with respect to music data in any language, it is possible to display an appropriate lyric line in accordance with the music data to be reproduced.
また、音響信号の分析や音声認識などを行わないので、従来手法よりも高速に処理することができる。 In addition, since analysis of acoustic signals and voice recognition are not performed, processing can be performed at a higher speed than the conventional method.
実施形態２.
次に、本発明の実施形態に基づく実施形態２の歌詞データ表示装置２についての説明を行う。日本語の歌詞には漢字がしばしば出現するが、漢字は音読み、訓読みだけでなく、送り仮名や用法などによって読みが変化する上、単語と単語との間には区切り文字が存在しないため、単語を多数収録した辞書だけでは音素データに変換することは困難である。そこで、実施形態２の歌詞データ表示装置２によれば、漢字を含む日本語の歌詞であっても、歌詞の同期処理を行うことができる。
Next, the lyrics
図１９は、本発明の実施形態２に基づく歌詞データ表示装置２の構成例を示すブロック図である。
FIG. 19 is a block diagram illustrating a configuration example of the lyrics
図１９において、実施形態２の歌詞データ表示装置２では、図２に示した歌詞データ表示装置１の格納部２０に、漢字辞書格納部２６が、制御部３０に平仮名変換部３６がそれぞれ追加されている。本実施形態２では、漢字辞書格納部２６と、平仮名変換部３６の説明のみを行い、その他の部に関しては、歌詞データ表示装置１と同様のため、説明を省略する。
19, in the lyrics
漢字辞書格納部２６は、漢字で表された単語と、読み仮名と、品詞を格納する。
The kanji
図２０に、漢字辞書格納部２６のフォーマットの一例を示す。図２０の例では、「会社」は名詞のみが格納されており、読み仮名は「かいしゃ」である。「書」は、名詞の場合の読み仮名は「しょ」であるが、カ行動詞である場合、例えば「書く」などの場合の読み仮名は「か」である。
FIG. 20 shows an example of the format of the Chinese character
平仮名変換部３６は、漢字を平仮名に変換する。平仮名変換部３６は、文章が入力されると、まず、公知の技術である形態素解析を行い、文章を品詞情報を含む単語へ分解する。次に、分解された単語と、品詞とを基に、漢字辞書格納部２６を参照して、平仮名へ変換する。この作業を入力された文章全てについて行う。
The
ここで、「彼女がケーキを買う」という文章を平仮名変換部３６によって平仮名に変換する具体例を示す。
Here, a specific example in which the sentence “she buys a cake” is converted into hiragana by the
図２１は、「彼女がケーキを買う」を形態素に変換した例を示している。図２１の各単語を、漢字辞書格納部２６を参照して平仮名に変換すると、「かのじょがけーきをかう」となる。
FIG. 21 shows an example in which “she buys a cake” is converted into a morpheme. When each word in FIG. 21 is converted into a hiragana character with reference to the Kanji
次に、本実施形態２における、歌詞データ表示装置２の動作例について、図２２のフローチャートを参照し説明する。
Next, an operation example of the lyrics
図２２のフローチャートは、実施形態１における歌詞データ表示装置１のフローチャート（図１５）に、さらに平仮名変換処理（ステップＳ２５）が追加されている。本実施形態では平仮名変換処理の説明を行い、その他の処理については、実施形態１と同様であるため、説明を省略する。
In the flowchart of FIG. 22, a hiragana conversion process (step S25) is further added to the flowchart (FIG. 15) of the lyrics
ステップＳ２０にて、歌詞データを取得すると、平仮名変換部３６は、取得した歌詞データを平仮名に変換する。平仮名変換部３６の動作は、前述の通りである。ステップＳ３０では、ステップＳ２０で変換した平仮名の歌詞データを利用して、歌詞データの同期表示制御処理を行う。その他の処理は、実施形態１と同様である。以上が歌詞データ表示装置２の説明である。
When the lyric data is acquired in step S20, the
従って、本実施形態２の歌詞データ表示装置２によると、漢字を含む歌詞データであっても、歌詞の同期処理を行うことができる。
Therefore, according to the lyric
なお、本実施形態２では、日本語における漢字に関して取り扱ったが、漢字のように読みが用法によって変化する言語についても同様に適用できる。 Although the second embodiment deals with kanji in Japanese, it can be similarly applied to languages in which reading changes depending on usage, such as kanji.
実施形態３.
本発明の実施形態に基づく実施形態３の歌詞データ表示装置３についての説明を行う。歌詞データ表示装置３によれば、歌詞データが、歌唱区間に分けられて格納されていなくても、同期処理を行うことができる。
The lyric
図２３は、本発明の実施形態に基づく歌詞データ表示装置３の構成例を示すブロック図である。
FIG. 23 is a block diagram showing a configuration example of the lyrics
図２３において、歌詞データ表示装置３は、図２に示した歌詞データ表示装置１の格納部２０に歌詞行情報格納部２７が、制御部３０に歌唱区間分割部３７が、それぞれ追加されている。また、格納部２０の歌詞データ格納部２３の構成と、制御部３０のモーラ速度計算部３３とが異なるため、歌詞データ表示装置３では、それぞれ歌詞データ格納部２３Ａ、モーラ速度計算部３３Ａとする。本実施形態３では、歌詞データ格納部２３Ａと、歌詞行情報格納部２７と、歌唱区間分割部３７との説明のみを行い、その他の部に関しては、歌詞データ表示装置１と同様のため、説明を省略する。
23, in the lyrics
歌詞データ格納部２３Ａは、楽曲データＩＤと、楽曲データＩＤに対応する楽曲データの歌詞とを格納する。歌詞データ表示装置１の歌詞データ格納部２３では、楽曲データの歌唱区間の情報が格納されていたが、歌詞データ表示装置３の歌詞データ格納部２３Ａでは、歌唱区間の情報は格納されていない。
The lyrics
図２４に歌詞データ格納部２３Ａに格納される歌詞データのフォーマットの一例を示す。
FIG. 24 shows an example of the format of the lyrics data stored in the lyrics
図２４に示した例は、図４に示したフォーマットの例から、歌唱区間に関する情報である歌唱区間番号を取り除いたものである。 The example shown in FIG. 24 is obtained by removing the singing section number, which is information related to the singing section, from the example of the format shown in FIG.
歌詞行情報格納部２７は、歌唱区間分割部３７によって算出される、前記歌唱区間毎の歌詞の開始行番号と終了行番号を格納する。格納される情報は、後述する歌唱区間分割部３７によって与えられる。
The lyric line
図２５に、歌詞行情報格納部２７に格納される歌詞行情報のフォーマットの一例を示す。図２５では、例えば、歌唱区間１については、開始行番号が１で、終了行番号が２として格納されている。
FIG. 25 shows an example of the format of the lyrics line information stored in the lyrics line
モーラ速度計算部３３Ａは、モーラ数計算部３２によって算出された行モーラ数を基に、歌唱区間毎のモーラ速度を計算する。モーラ速度計算部３３Ａと、モーラ速度計算部３３とは、図１４に示した、ステップＳ３３０の処理が異なる。モーラ速度計算部３３でのステップＳ３３０では、歌詞データ格納部２３を参照して、歌唱区間番号に対応する歌詞の開始行番号と、終了行番号とを取得していたが、歌詞データ表示装置３における歌詞データ格納部２３には、前記情報が格納されていないため、歌詞行情報格納部２７を参照して、歌詞の歌唱区間毎の開始行番号と、終了行番号とを取得する。その他の処理については、モーラ速度計算部３３と同様であるため、説明を省略する。
The
歌唱区間分割部３７は、歌唱区間に分けられていない歌詞データを、歌唱区間に分割する。歌唱区間分割部３７の動作の流れを、図２６のフローチャートを参照して説明する。
The singing
まず、歌唱区間分割部３７は、全ての歌唱区間の再生時間を計算する（ステップＳ３７０）。歌唱区間分割部３７は、歌唱時間データ格納部３７を参照して、全ての歌唱区間の再生時間を合計する。なお、再生時間は、終了時間から開始時間を引くことによって求められる。
First, the singing
次に、歌唱区間分割部３７は、曲の平均モーラ速度を計算する（ステップＳ３７１）。平均モーラ速度は、各歌詞行のモーラ数の合計値から、ステップＳ３７０で算出された曲の総再生時間を割ることで求められる。なお、各行モーラ数は、前述の通り、モーラ数計算部３２によって算出する。
Next, the song
次に、歌唱区間分割部３７は、歌詞を各歌唱区間に分割する（ステップＳ３７２）。歌唱区間ｊの再生時間をｔｊ、ステップＳ３７１で求められた平均モーラ速度をｖ、歌詞行ｋの行モーラ数をＭｋとすると、歌唱区間ｊの予想区間モーラ数ｍｊは、
Next, the singing
次に、歌唱区間分割部３７は、歌詞行情報格納部２７に、データを格納する（ステップＳ３７３）。歌唱区間ｊの開始行番号はｎｊとし、終了行番号は、（ｎｋ）−１（ｋ＝ｊ＋１）として、歌詞行情報格納部２７に格納する。
Next, the song
ところで、歌詞の中には、歌詞を見やすくするために、空白行を設けているデータがある。このような場合、空白行に該当する箇所に間奏が挿入される可能性が高い。そのため、歌唱区間分割部３７は、この情報を利用することも可能である。具体的には、間に空白行のない歌詞行を、ひとつの歌詞行として扱う。
By the way, in the lyrics, there is data in which blank lines are provided in order to make the lyrics easy to see. In such a case, there is a high possibility that an interlude is inserted at a location corresponding to a blank line. Therefore, the singing
図２４のＩＤ１の歌詞を例にとると、空白行が登場するまでの２行分をまとめる、つまり「An apple a day keeps the doctor away Time flies like an arrow」をひとつの歌詞行として扱う。そのため、この新しい行モーラ数Ｍは、２行分の行モーラ数を合計した数値となる。以上が歌唱区間分割部３７の説明である。
Taking the lyrics of ID1 in FIG. 24 as an example, two lines until a blank line appears are collected, that is, “An apple a day keeps the doctor away Time flies like an arrow” is treated as one lyrics line. Therefore, this new row mora number M is a numerical value obtained by summing the number of row mora for two rows. The above is the description of the singing
次に、本実施形態３における、歌詞データ表示装置３の動作例について説明する。
Next, an operation example of the lyrics
歌詞データ表示装置３の動作は、図１５に示した、実施形態１における歌詞データ表示装置１の動作の流れと同様であるが、ステップＳ３０の歌詞データの同期表示制御処理の詳細な処理動作が異なる。
The operation of the lyric
図２７は、本実施形態３における歌詞データ表示装置３の歌詞データの同期表示制御処理の動作の一例を示すフローチャートである。なお、音素変換処理（ステップＳ３０００）と、モーラ数計算処理（ステップＳ３０１０）は、実施形態１における歌詞データ表示装置１と処理内容が同様であるため、説明を省略する。
FIG. 27 is a flowchart illustrating an example of the operation of the lyrics data synchronous display control process of the lyrics
行モーラ数の計算を終えると、歌唱区間分割部３７は、歌唱区間毎に開始歌詞行と、終了歌詞行とを計算し、歌詞行情報格納部２７に格納する（ステップＳ３０１５）。歌唱区間分割部３７の処理は、前述の通りである。
When the calculation of the number of line mora is completed, the singing
歌詞行情報格納部２７に値を設定した後、モーラ速度計算部３３Ａは、歌唱区間毎のモーラ速度を計算する（ステップＳ３０２０Ａ）。モーラ速度計算部３３Ａの処理は、前述の通りである。
After setting a value in the lyrics line
歌唱区間毎のモーラ速度から、歌詞行毎の表示開始のタイミングを設定する表示タイミング設定処理（ステップＳ３０３０）は、実施形態１における歌詞データ表示装置１と処理内容が同様であるため、説明を省略する。以上が、歌詞データ表示装置３の動作の説明である。
The display timing setting process (step S3030) for setting the display start timing for each lyric line from the mora speed for each singing section is the same as the lyric
以上、詳述したように、本実施形態３における歌詞データ表示装置３によれば、歌詞データが歌唱区間に分けられていなくとも、楽曲データの再生中に、適切な歌詞を表示することができる。
As described above in detail, according to the lyrics
なお、上記実施形態１〜３では、本発明に係る歌詞データ表示装置を図１や、図１９、図２３のブロック図に示すように、ハードウエアにより構成して説明したが、本発明では、これに限らず、実施形態１〜３の歌詞データ表示装置の機能を実行するための歌詞データ表示プログラムと、この歌詞データ表示プログラムを実行するＣＰＵ等とにより、ソフトウエアにより構成するようにしても勿論よい。 In the first to third embodiments, the lyric data display device according to the present invention has been described as being configured by hardware as shown in the block diagrams of FIG. 1, FIG. 19, and FIG. 23. However, the present invention is not limited to this. The lyric data display program for executing the functions of the lyric data display apparatuses according to the first to third embodiments and the CPU for executing the lyric data display program may be configured by software. Of course.
１，２，３ 歌詞データ表示装置
１０ 入力部
２０ 格納部
２１ 楽曲データ格納部
２２ 歌唱時間データ格納部
２３，２３Ａ 歌詞データ格納部
２４ 音素辞書格納部
２５ モーラ数計算ルール格納部
２６ 漢字辞書格納部
２７ 歌詞行情報格納部
３０ 制御部
３１ 音素データ変換部
３２ モーラ数計算部
３３，３３Ａ モーラ速度計算部
３４ 表示タイミング設定部
３５ 表示制御部
３６ 平仮名変換部
３７ 歌唱区間分割部
４０ 表示部
５０ 再生部
1, 2, 3 Lyrics data display
Claims (7)
前記歌唱区間毎に、テキストデータとして記述された前記楽曲データの歌詞データを格納する歌詞データ格納部と、
文字または単語をその意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を格納する音素辞書格納部と、
前記音素データから、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算するためのモーラ数計算ルールを格納するモーラ数計算ルール格納部と、
前記歌詞データ格納部から前記歌詞データを読み込み、前記音素辞書格納部を参照して、前記歌詞データを前記音素データに変換する音素データ変換部と、
前記モーラ数計算ルールを参照し、前記音素データ変換部によって作成された前記音素データを読み込み、前記歌唱区間の前記モーラの個数である区間モーラ数および前記歌唱区間の各行の前記モーラの個数である行モーラ数を計算するモーラ数計算部と、
前記歌唱時間データ格納部から前記歌唱時間データを読み込み、前記歌唱区間の時間長を計算すると共に、前記モーラ数計算部によって計算された前記区間モーラ数を、前記時間長で割ることによって求められる、前記歌唱区間毎のモーラ速度を計算するモーラ速度計算部と、
前記モーラ速度計算部によって計算された前記モーラ速度と、前記モーラ数計算部で計算された前記行モーラ数とに基づいて、前記歌詞データの各行毎の表示タイミングを計算する表示タイミング計算部と、
前記表示タイミング計算部によって計算された前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させる表示制御部と、
を有する歌詞データ表示装置。 A singing time data storage unit that stores singing time data that is a start time and an end time of the singing section for each singing section that is an existing section of singing data in the music data;
A lyric data storage unit for storing lyric data of the music data described as text data for each singing section;
A phoneme dictionary storage unit that stores a phoneme dictionary for converting characters or words into phoneme data, which is a minimum speech unit that works to distinguish the meaning of the character or word;
From the phoneme data, a mora number calculation rule storage unit that stores a mora number calculation rule for calculating the number of mora that is a segmental unit of a sound having a certain temporal length in pronunciation;
Reading the lyrics data from the lyrics data storage unit, referring to the phoneme dictionary storage unit, and converting the lyrics data into the phoneme data conversion unit;
Read the phoneme data created by the phoneme data conversion unit with reference to the mora number calculation rule, and the number of mora in the singing section and the number of mora in each row of the singing section A mora number calculation unit for calculating the number of row mora;
The singing time data is read from the singing time data storage unit, the time length of the singing section is calculated, and the section mora number calculated by the mora number calculating unit is obtained by dividing by the time length. A mora speed calculator for calculating a mora speed for each singing section;
A display timing calculation unit for calculating a display timing for each line of the lyrics data based on the mora speed calculated by the mora speed calculation unit and the line mora number calculated by the mora number calculation unit;
Based on the display timing calculated by the display timing calculation unit, a display control unit for displaying the lyrics data in synchronization with the reproduction of the music data;
A lyric data display device.
テキストデータとして記述された前記楽曲データの歌詞データを格納する歌詞データ格納部と、
文字または単語をその意味を区別する働きのある最小の音声単位である音素データに変換するための音素辞書を格納する音素辞書格納部と、
前記音素データから、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算するためのモーラ数計算ルールを格納するモーラ数計算ルール格納部と、
前記歌詞データ格納部から前記歌詞データを読み込み、前記音素辞書格納部を参照して、前記歌詞データを前記音素データに変換する音素データ変換部と、
前記モーラ数計算ルールを参照し、前記音素データ変換部によって作成された前記音素データを読み込み、前記歌詞データ全体の前記モーラの個数である全モーラ数および前記歌詞データの各行毎の前記モーラの個数である行モーラ数を計算するモーラ数計算部と、
前記歌唱時間データ格納部から前記歌唱時間データを読み込み、前記各歌唱区間の時間長およびその合計値である合計時間長を計算し、前記モーラ数計算部によって計算された前記全モーラ数を、前記合計時間長で割ることによって求められる平均モーラ速度を計算すると共に、前記各歌唱区間の時間長を前記平均モーラ速度で割ることにより得られる各歌唱区間の推定モーラ数と、前記行モーラ数とに基づいて、前記歌詞データを行毎に前記各歌唱区間に対応させる歌唱区間分割部と、
前記歌唱区間分割部で得られた前記歌詞データと前記歌唱区間との対応情報と、前記モーラ数計算部で計算された前記行モーラ数とに基づいて、前記歌唱区間毎のモーラ数を計算すると共に、それを前記歌唱区間分割部で計算された前記歌唱区間の時間長で割ることによって求められる、前記歌唱区間毎のモーラ速度を計算するモーラ速度計算部と、
前記モーラ速度計算部によって計算された前記モーラ速度と、前記モーラ数計算部で計算された前記行モーラ数とに基づいて、前記歌詞データの各行毎の表示タイミングを計算する表示タイミング計算部と、
前記表示タイミング計算部によって計算された前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させる表示制御部と、
を有する歌詞データ表示装置。 A singing time data storage unit that stores singing time data that is a start time and an end time of the singing section for each singing section that is an existing section of singing data in the music data;
A lyrics data storage unit for storing lyrics data of the music data described as text data;
A phoneme dictionary storage unit that stores a phoneme dictionary for converting characters or words into phoneme data, which is a minimum speech unit that works to distinguish the meaning of the character or word;
From the phoneme data, a mora number calculation rule storage unit that stores a mora number calculation rule for calculating the number of mora that is a segmental unit of a sound having a certain temporal length in pronunciation;
Reading the lyrics data from the lyrics data storage unit, referring to the phoneme dictionary storage unit, and converting the lyrics data into the phoneme data conversion unit;
Read the phoneme data created by the phoneme data conversion unit with reference to the mora number calculation rule, and the total number of mora that is the number of mora of the entire lyrics data and the number of mora for each row of the lyrics data A mora number calculating unit for calculating the number of row mora,
The singing time data is read from the singing time data storage unit, the time length of each singing section and the total time length that is the total value thereof are calculated, and the total number of mora calculated by the mora number calculating unit is The average mora speed obtained by dividing by the total time length is calculated, and the estimated mora number of each singing section obtained by dividing the time length of each singing section by the average mora speed and the number of row mora Based on the singing section dividing unit for making the lyrics data correspond to each singing section for each line,
The number of mora for each singing section is calculated based on the correspondence information between the lyric data obtained by the singing section dividing unit and the singing section and the number of row mora calculated by the mora number calculating unit. And a mora speed calculation unit for calculating a mora speed for each singing section, which is obtained by dividing the time length of the singing section calculated by the singing section dividing unit,
A display timing calculation unit for calculating a display timing for each line of the lyrics data based on the mora speed calculated by the mora speed calculation unit and the line mora number calculated by the mora number calculation unit;
Based on the display timing calculated by the display timing calculation unit, a display control unit for displaying the lyrics data in synchronization with the reproduction of the music data;
A lyric data display device.
さらに、
漢字とその読み方を示す平仮名とを一つ以上対応させて格納する漢字辞書格納部と、
前記歌詞データ格納部から取得した前記歌詞データ中の漢字を、前記漢字辞書格納部を参照して平仮名に変換する平仮名変換部と、を有し、
前記音素データ変換部は、
前記音素辞書格納部を参照して、前記平仮名変換部によって平仮名に変換された前記歌詞データを前記音素データに変換し、音素列を作成する、歌詞データ表示装置。 In the lyric data display device according to claim 1 or 2,
further,
A kanji dictionary storage unit for storing one or more hiragana corresponding to kanji and how to read the kanji,
A hiragana conversion unit that converts kanji in the lyrics data acquired from the lyrics data storage unit into hiragana with reference to the kanji dictionary storage unit,
The phoneme data converter is
A lyric data display device that refers to the phoneme dictionary storage unit, converts the lyric data converted into hiragana by the hiragana conversion unit into the phoneme data, and creates a phoneme string.
前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記歌唱区間のモーラの個数である区間モーラ数および前記歌唱区間の各行のモーラの個数である行モーラ数を計算するステップと、
前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するステップと、
前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するステップと、
前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、
を有する歌詞データ表示方法。 The lyrics data of the music data described as text data composed of one or more lines corresponding to the singing section that is the singing data existing section in the music data is read, and the meaning of the word or word is distinguished. Creating a phoneme time-series data obtained by converting the lyric data into the phoneme data with reference to a phoneme dictionary for converting to phoneme data that is a minimum speech unit that has a function to perform;
For the phoneme time-series data, calculate the number of mora that is a segmental unit of sound having a certain temporal length in pronunciation, and the number of section mora that is the number of mora in the singing section and each row of the singing section Calculating the number of row mora which is the number of mora of
Calculating the mora speed for each singing section obtained by dividing the number of section mora by the time length of the singing section;
Calculating the time from the beginning of the music data for each line of the lyrics data based on the mora speed and the number of line mora;
Displaying the lyrics data in synchronization with the reproduction of the music data based on the display timing;
A method for displaying lyric data.
前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記楽曲データ全体のモーラの個数である全モーラ数および前記歌詞データの各行のモーラの個数である行モーラ数を計算するステップと、
前記全モーラ数を、楽曲データにおける歌唱データの存在区間である各歌唱区間の時間長の合計値で除算して得られる平均モーラ速度を計算するステップと、
前記各歌唱区間の時間長を前記平均モーラ速度で除算して得られる各歌唱区間の推定モーラ数を計算するステップと、
前記推定モーラ数と、前記行モーラ数とに基づいて、前記歌詞データの各行と前記各歌唱区間との対応情報を作成するステップと、
前記対応情報と前記行モーラ数とに基づいて、前記各歌唱区間毎のモーラの個数である区間モーラ数を計算するステップと、
前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するモーラ速度計算ステップと、
前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するタイミング計算ステップと、
前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、
を有する歌詞データ表示方法。 To read lyric data of music data described as text data composed of one or more lines, and to convert characters or words into phoneme data, which is the smallest speech unit that works to distinguish the meaning of words Creating a phoneme time-series data obtained by converting the lyrics data into the phoneme data, referring to the phoneme dictionary of
For the phoneme time-series data, calculate the number of mora that is a segmental unit of sound having a certain temporal length in pronunciation, and the total number of mora that is the number of mora of the entire music data and the lyrics data Calculating the number of row mora, which is the number of mora in each row;
A step of calculating an average mora speed obtained by dividing the total number of mora by a total value of time lengths of each singing section which is an existing section of singing data in the music data;
Calculating an estimated number of mora for each song section obtained by dividing the time length of each song section by the average mora speed;
Creating correspondence information between each line of the lyrics data and each song section based on the estimated number of mora and the number of line mora;
Based on the correspondence information and the number of row mora, calculating a section mora number that is the number of mora for each singing section;
A mora speed calculating step for calculating a mora speed for each singing section obtained by dividing the number of section mora by the time length of the singing section;
A timing calculating step for calculating a time from the beginning of the music data for each line of the lyrics data based on the mora speed and the number of line mora;
Displaying the lyrics data in synchronization with the reproduction of the music data based on the display timing;
A method for displaying lyric data.
前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記歌唱区間のモーラの個数である区間モーラ数および前記歌唱区間の各行のモーラの個数である行モーラ数を計算するステップと、
前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するステップと、
前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するステップと、
前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、
をコンピュータに実行させる歌詞データ表示プログラム。 The lyrics data of the music data described as text data composed of one or more lines corresponding to the singing section that is the singing data existing section in the music data is read, and the meaning of the word or word is distinguished. Creating a phoneme time-series data obtained by converting the lyric data into the phoneme data with reference to a phoneme dictionary for converting to phoneme data that is a minimum speech unit that has a function to perform;
For the phoneme time-series data, calculate the number of mora that is a segmental unit of sound having a certain temporal length in pronunciation, and the number of section mora that is the number of mora in the singing section and each row of the singing section Calculating the number of row mora which is the number of mora of
Calculating the mora speed for each singing section obtained by dividing the number of section mora by the time length of the singing section;
Calculating the time from the beginning of the music data for each line of the lyrics data based on the mora speed and the number of line mora;
Displaying the lyrics data in synchronization with the reproduction of the music data based on the display timing;
Lyrics data display program that makes a computer execute.
前記音素時系列データに対して、発音上一定の時間的長さを有する音の分節単位であるモーラの個数を計算し、前記楽曲データ全体のモーラの個数である全モーラ数および前記歌詞データの各行のモーラの個数である行モーラ数を計算するステップと、
前記全モーラ数を、楽曲データにおける歌唱データの存在区間である各歌唱区間の時間長の合計値で除算して得られる平均モーラ速度を計算するステップと、
前記各歌唱区間の時間長を前記平均モーラ速度で除算して得られる各歌唱区間の推定モーラ数を計算するステップと、
前記推定モーラ数と、前記行モーラ数とに基づいて、前記歌詞データの各行と前記各歌唱区間との対応情報を作成するステップと、
前記対応情報と前記行モーラ数とに基づいて、前記各歌唱区間毎のモーラの個数である区間モーラ数を計算するステップと、
前記区間モーラ数を前記歌唱区間の時間長で除算して得られる歌唱区間毎のモーラ速度を計算するモーラ速度計算ステップと、
前記モーラ速度と前記行モーラ数とに基づいて、前記歌詞データの各行毎に楽曲データの先頭からの時間を計算するタイミング計算ステップと、
前記表示タイミングに基づいて、前記楽曲データの再生に同期させて前記歌詞データを表示させるステップと、
をコンピュータに実行させる歌詞データ表示プログラム。 To read lyric data of music data described as text data composed of one or more lines, and to convert characters or words into phoneme data, which is the smallest speech unit that works to distinguish the meaning of words Creating a phoneme time-series data obtained by converting the lyrics data into the phoneme data, referring to the phoneme dictionary of
For the phoneme time-series data, calculate the number of mora that is a segmental unit of sound having a certain temporal length in pronunciation, and the total number of mora that is the number of mora of the entire music data and the lyrics data Calculating the number of row mora, which is the number of mora in each row;
A step of calculating an average mora speed obtained by dividing the total number of mora by a total value of time lengths of each singing section which is an existing section of singing data in the music data;
Calculating an estimated number of mora for each song section obtained by dividing the time length of each song section by the average mora speed;
Creating correspondence information between each line of the lyrics data and each song section based on the estimated number of mora and the number of line mora;
Based on the correspondence information and the number of row mora, calculating a section mora number that is the number of mora for each singing section;
A mora speed calculating step for calculating a mora speed for each singing section obtained by dividing the number of section mora by the time length of the singing section;
A timing calculating step for calculating a time from the beginning of the music data for each line of the lyrics data based on the mora speed and the number of line mora;
Displaying the lyrics data in synchronization with the reproduction of the music data based on the display timing;
Lyrics data display program that makes a computer execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008252844A JP5098932B2 (en) | 2008-09-30 | 2008-09-30 | Lyric data display device, lyrics data display method, and lyrics data display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008252844A JP5098932B2 (en) | 2008-09-30 | 2008-09-30 | Lyric data display device, lyrics data display method, and lyrics data display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010085581A true JP2010085581A (en) | 2010-04-15 |
| JP5098932B2 JP5098932B2 (en) | 2012-12-12 |
Family
ID=42249616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008252844A Expired - Fee Related JP5098932B2 (en) | 2008-09-30 | 2008-09-30 | Lyric data display device, lyrics data display method, and lyrics data display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5098932B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105047203A (en) * | 2015-05-25 | 2015-11-11 | 腾讯科技（深圳）有限公司 | Audio processing method, device and terminal |
| CN112786020A (en) * | 2021-01-21 | 2021-05-11 | 腾讯音乐娱乐科技（深圳）有限公司 | Lyric time stamp generation method and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002169578A (en) * | 2000-12-05 | 2002-06-14 | Kenwood Corp | Acoustic device with word display function |
| JP2002351490A (en) * | 2001-05-29 | 2002-12-06 | Telecommunication Advancement Organization Of Japan | Method of imparting timing information to subtitles |
| JP2004212473A (en) * | 2002-12-27 | 2004-07-29 | Matsushita Electric Ind Co Ltd | Karaoke machine and karaoke reproducing method |
| JP2004212799A (en) * | 2003-01-07 | 2004-07-29 | Telecommunication Advancement Organization Of Japan | Dictation assisting device |
| JP2005250242A (en) * | 2004-03-05 | 2005-09-15 | Pioneer Electronic Corp | Device, method, and program for information processing, and recording medium |
| JP2006195385A (en) * | 2005-01-17 | 2006-07-27 | Matsushita Electric Ind Co Ltd | Device and program for music reproduction |
| JP2008197270A (en) * | 2007-02-09 | 2008-08-28 | Yamaha Corp | Data reproduction device, data reproduction method, and program |
-
2008
- 2008-09-30 JP JP2008252844A patent/JP5098932B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002169578A (en) * | 2000-12-05 | 2002-06-14 | Kenwood Corp | Acoustic device with word display function |
| JP2002351490A (en) * | 2001-05-29 | 2002-12-06 | Telecommunication Advancement Organization Of Japan | Method of imparting timing information to subtitles |
| JP2004212473A (en) * | 2002-12-27 | 2004-07-29 | Matsushita Electric Ind Co Ltd | Karaoke machine and karaoke reproducing method |
| JP2004212799A (en) * | 2003-01-07 | 2004-07-29 | Telecommunication Advancement Organization Of Japan | Dictation assisting device |
| JP2005250242A (en) * | 2004-03-05 | 2005-09-15 | Pioneer Electronic Corp | Device, method, and program for information processing, and recording medium |
| JP2006195385A (en) * | 2005-01-17 | 2006-07-27 | Matsushita Electric Ind Co Ltd | Device and program for music reproduction |
| JP2008197270A (en) * | 2007-02-09 | 2008-08-28 | Yamaha Corp | Data reproduction device, data reproduction method, and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105047203A (en) * | 2015-05-25 | 2015-11-11 | 腾讯科技（深圳）有限公司 | Audio processing method, device and terminal |
| CN105047203B (en) * | 2015-05-25 | 2019-09-10 | 广州酷狗计算机科技有限公司 | A kind of audio-frequency processing method, device and terminal |
| CN112786020A (en) * | 2021-01-21 | 2021-05-11 | 腾讯音乐娱乐科技（深圳）有限公司 | Lyric time stamp generation method and storage medium |
| CN112786020B (en) * | 2021-01-21 | 2024-02-23 | 腾讯音乐娱乐科技（深圳）有限公司 | Lyric timestamp generation method and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5098932B2 (en) | 2012-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4114888B2 (en) | Voice quality change location identification device | |
| JP4038211B2 (en) | Speech synthesis apparatus, speech synthesis method, and speech synthesis system | |
| JP4811557B2 (en) | Voice reproduction device and speech support device | |
| JP2006337667A (en) | Pronunciation evaluating method, phoneme series model learning method, device using their methods, program and recording medium | |
| JP4758758B2 (en) | Dictionary creation device and dictionary creation program | |
| Amrouche et al. | Balanced Arabic corpus design for speech synthesis | |
| JP2020060642A (en) | Speech synthesis system and speech synthesizer | |
| JP5819147B2 (en) | Speech synthesis apparatus, speech synthesis method and program | |
| JP5098932B2 (en) | Lyric data display device, lyrics data display method, and lyrics data display program | |
| Brognaux et al. | A new prosody annotation protocol for live sports commentaries. | |
| Demenko et al. | JURISDIC: Polish Speech Database for Taking Dictation of Legal Texts. | |
| JP5334716B2 (en) | Character information presentation control device and program | |
| JP2003186489A (en) | Voice information database generation system, device and method for sound-recorded document creation, device and method for sound recording management, and device and method for labeling | |
| JPH06282290A (en) | Natural language processing device and method thereof | |
| JP2000172289A (en) | Method and record medium for processing natural language, and speech synthesis device | |
| JP4640063B2 (en) | Speech synthesis method, speech synthesizer, and computer program | |
| JP2023005583A (en) | Signal processing device and program | |
| Möbius | The Bell Labs German text-to-speech system | |
| JP2006284645A (en) | Speech reproducing device, and reproducing program and reproducing method therefor | |
| JP3958908B2 (en) | Transcription text automatic generation device, speech recognition device, and recording medium | |
| Hussain et al. | Dactor: A data collection tool for the relater project | |
| JPH0962286A (en) | Voice synthesizer and the method thereof | |
| JP6003127B2 (en) | Language model creation program and language model creation device | |
| JP5184234B2 (en) | DATA GENERATION DEVICE, DATA GENERATION PROGRAM, AND REPRODUCTION DEVICE | |
| JPH08185197A (en) | Japanese analyzing device and japanese text speech synthesizing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100916 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120828 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120910 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5098932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |