JP2007199574A - Music reproducing apparatus and music telop retrieval server - Google Patents
Music reproducing apparatus and music telop retrieval server Download PDFInfo
- Publication number
- JP2007199574A JP2007199574A JP2006020429A JP2006020429A JP2007199574A JP 2007199574 A JP2007199574 A JP 2007199574A JP 2006020429 A JP2006020429 A JP 2006020429A JP 2006020429 A JP2006020429 A JP 2006020429A JP 2007199574 A JP2007199574 A JP 2007199574A
- Authority
- JP
- Japan
- Prior art keywords
- music
- data
- feature data
- music feature
- telop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、歌詞等のテキストを表示しながら楽曲を再生出力する楽曲再生装置、及び楽曲テロップ検索サーバに関する。 The present invention relates to a music playback device that plays back and outputs music while displaying text such as lyrics, and a music telop search server.
一般のカラオケ装置では、楽曲データと、この楽曲データと関連づけられたテロップ(歌詞)データとを同期させて再生することで、カラオケに合わせてテロップを見ながら歌唱することができる。 In a general karaoke apparatus, music data and telop (lyric) data associated with the music data are reproduced in synchronization, so that the user can sing along with karaoke while watching the telop.
従来のカラオケ装置には、音源を有しないオーディオ機器などでもテキスト(歌詞)や画像(背景画)と同期したカラオケを楽しむことを可能にしたものがある(例えば特許文献1参照)。 Some conventional karaoke apparatuses can enjoy karaoke synchronized with text (lyrics) and images (background images) even with an audio device having no sound source (see, for example, Patent Document 1).
特許文献1に記載されたカラオケ装置は、画像データやテキストデータとのリンク情報を有するMIDIデータを入力する1次媒体と、1次媒体からのデータ受信もしくは読み出しを制御する入力制御部と、入力制御部が受信もしくは読み出したMIDIデータに基づいて楽音合成処理を行う音源と、音源が出力したオーディオデータの圧縮処理を行い圧縮オーディオデータとして出力する圧縮部と、圧縮オーディオと入力制御部が受信もしくは読み出したMIDIデータと画像データとテキストデータを2次媒体に送信もしくは書き込む出力制御部と、2次媒体(半導体メモリカード)とを備え、入力制御部はMIDIデータと圧縮オーディオデータとの同期情報を生成し、それを2次媒体(半導体メモリカード)に書き込むことにより、2次媒体を半導体メモリカードに対応するオーディオ機器で再生する際に、オーディオとテキストと画像との同期再生を可能とする。
このように従来のカラオケ装置では、画像データやテキストデータとのリンク情報を有するMIDIデータを用いて、オーディオとテキストとの同期再生をしており、他の楽曲データを用いた場合にテキスト(歌詞などのテロップ)を表示することができなかった。 As described above, the conventional karaoke apparatus uses MIDI data having link information with image data and text data to perform synchronized playback of audio and text, and text (lyrics) when other music data is used. Etc.) could not be displayed.
また、オーディオとテキストとを同期して再生させるためには、オーディオデータに対応するテキストデータを有していなければならない。すなわち、テキストデータが含まれない楽曲データについては、楽曲と同期させてテキスト(テロップ)を表示させることができなかった。 Also, in order to reproduce audio and text in synchronization, the text data corresponding to the audio data must be provided. That is, for music data that does not include text data, text (telop) cannot be displayed in synchronization with the music.
本発明は前述した事情に考慮してなされたもので、その目的は、テキストデータが関連づけられていない楽曲を再生出力する際に、楽曲の再生に同期させてテキスト(テロップ)を表示させることが可能な楽曲再生装置、楽曲テロップ検索サーバを提供することにある。 The present invention has been made in consideration of the above-described circumstances, and its purpose is to display text (telop) in synchronization with the reproduction of music when reproducing and outputting music that is not associated with text data. The object is to provide a music reproducing apparatus and a music telop search server that can be used.
本発明は、音声信号を入力する音声信号入力手段と、前記音声信号入力手段により入力された音声信号から楽曲中に表れる特徴を表す第1の楽曲特徴データを抽出する楽曲特徴抽出手段と、楽曲中に表れる特徴を表す第2の楽曲特徴データと、前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とを対応付けて記憶する記憶手段と、前記楽曲特徴抽出手段によって抽出された第1の楽曲特徴データに該当する前記記憶手段に記憶された第2の楽曲特徴データを検索する楽曲特徴データ検索手段と、前記楽曲特徴データ検索手段により検索された第2の楽曲特徴データに対応する文字を、前記第1の楽曲特徴データが抽出された位置の音声の再生出力と同期させて表示する画面制御手段とを具備したことを特徴とする。 The present invention includes an audio signal input means for inputting an audio signal, a music feature extraction means for extracting first music feature data representing characteristics appearing in the music from the audio signal input by the audio signal input means, Storage means for storing the second music feature data representing the features appearing therein and the characters to be displayed when the sound of the music at the position where the features appear is reproduced and output; and the music feature extracting means The music feature data search means for searching for the second music feature data stored in the storage means corresponding to the first music feature data extracted by the above, and the second music searched by the music feature data search means Screen control means for displaying characters corresponding to the feature data in synchronism with the reproduction output of the sound at the position where the first music feature data is extracted is provided.
本発明によれば、再生出力の対象とする音声信号から楽曲中に表れる特徴を表す楽曲特徴データを抽出し、この楽曲特徴データが抽出された位置の音声が再生出力される際に、予め楽曲特徴データと対応付けられた文字を同期させて表示させることで、テキストデータが関連づけられていない楽曲であっても、楽曲の再生に同期させてテキスト(テロップ)を表示させることが可能となる。 According to the present invention, music feature data representing features appearing in music is extracted from the audio signal to be reproduced and output, and the sound at the position where the music feature data is extracted is reproduced and output in advance. By displaying the characters associated with the feature data in synchronization with each other, it is possible to display the text (telop) in synchronization with the reproduction of the music even if the music is not associated with the text data.
以下、図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本実施形態における楽曲再生システムの構成を示すブロック図である。図1に示す楽曲再生システムは、楽曲再生装置10と楽曲テロップ検索サーバ12とがネットワーク14を介して接続されることにより構成されている。
FIG. 1 is a block diagram showing a configuration of a music playback system in the present embodiment. The music playback system shown in FIG. 1 is configured by connecting a
楽曲再生装置10は、楽曲の音声信号を入力して再生出力させるもので、楽曲テロップ検索サーバ12から楽曲に対応する歌詞などのテキストデータを取得し、楽曲の再生出力と同期させて画面中にテロップとして表示させる機能を有している。
The
楽曲テロップ検索サーバ12は、ネットワーク14を介して接続された楽曲再生装置10からの要求に応じて、楽曲に対応する歌詞などのテキストデータを楽曲再生装置10に対して提供する機能を有する。楽曲テロップ検索サーバ12は、楽曲に対応するテキストデータと共に、楽曲を再生出力させる際にテキスト(テロップ)を楽曲の音声と同期させるための処理に必要なデータ(楽曲位置検索データ)を提供する。
The music
図1に示すように、楽曲再生装置10は、制御部20、音声入力部21、記憶部22、通信制御部23、表示制御部24を有している。楽曲再生装置10は、コンピュータの機能が搭載されて実現される。
As illustrated in FIG. 1, the
制御部20は、楽曲再生装置10全体の制御を司るもので、例えばプログラムをプロセッサにより実行することにより各種機能を実現する。制御部20により実現される機能には、画面制御部20a、楽曲特徴抽出部20b、楽曲データ問い合わせ部20cが含まれる。
The
画面制御部20aは、表示制御部24を通じて、モニタ25における画面の表示を制御する。画面制御部20aは、音声入力部21により入力された音声信号が再生出力されるのに同期して、楽曲テロップ検索サーバ12から提供されるテキストデータをもとに例えば歌詞などの文字を表示させる。すなわち、楽曲の歌詞がある部分が再生出力されるタイミングに同期させて歌詞の文字を表示させる。なお、文字の表示形態としては、例えば、画面に複数行分の歌詞を先に表示して、該当する文字の色や背景色を変更するようにしても良いし、文字そのものを楽曲の再生出力のタイミングに合わせて表示するようにしても良い。すなわち、モニタ25に表示された文字(歌詞)を見ながら、再生出力される楽曲に合わせてユーザが歌唱することが可能な表示形態であれば、その他の表示形態を用いることも可能である。
The
楽曲特徴抽出部20bは、音声入力部21により入力された音声信号の楽曲中に表れる特徴を抽出するもので、例えば音声入力部21によって変換された音声データを周波数成分に分解し、主要な周波数成分の変化パターンを楽曲特徴データとして抽出する。
The music
図2は、楽曲特徴データの抽出を説明するための図である。
図2(a1)(b1)は、入力された音声信号(波形)を周波数成分に分解して表す図である。図2(a1)(b1)において横軸が周波数を示し、縦軸がレベルを示している。図2(a1)に示す周波数成分の変化パターンが見られる楽曲中の部分については、図2(a2)に示すように、変化パターンをもとにして生成される楽曲特徴データを生成する。すなわち、楽曲特徴データは、主要な周波数成分のレベルやピーク位置などによって楽曲中に表れる特徴を表している。同様にして、図2(b1)に示す周波数成分の変化パターンが見られる楽曲中の部分については、図2(b2)に示す楽曲特徴データを生成する。
FIG. 2 is a diagram for explaining extraction of music feature data.
2 (a1) and 2 (b1) are diagrams illustrating an input audio signal (waveform) divided into frequency components. 2 (a1) and 2 (b1), the horizontal axis indicates the frequency and the vertical axis indicates the level. For the portion in the music where the frequency component change pattern shown in FIG. 2 (a1) is seen, music feature data generated based on the change pattern is generated as shown in FIG. 2 (a2). That is, the music feature data represents the features that appear in the music depending on the level and peak position of the main frequency component. Similarly, the music feature data shown in FIG. 2 (b2) is generated for the portion in the music where the frequency component change pattern shown in FIG. 2 (b1) is seen.
楽曲特徴抽出部20bは、音声入力部21によって入力された音声信号の楽曲を識別するために、音声信号が入力されてから所定時間内、例えば楽曲開始のイントロ部分から楽曲特徴データを抽出する。また、楽曲特徴抽出部20bは、再生対象とする楽曲が識別された後、楽曲が再生出力されている位置(演奏位置)を識別するために、例えば楽曲の再生出力中に複数回、楽曲特徴データを抽出する。
The music
楽曲データ問い合わせ部20cは、楽曲特徴抽出部20bによって抽出された楽曲開始部分(イントロ)から抽出された楽曲特徴データを楽曲テロップ検索サーバ12に送信し、楽曲の再生出力と同期させてテキスト(テロップ)を表示させるために必要なデータを要求する。すなわち、制御部20は、入力された音声信号から抽出された楽曲特徴データに該当する楽曲についての歌詞などのテキストデータと共に、楽曲を再生出力させる際にテキスト(テロップ)を楽曲の音声と同期させるための処理に必要なデータ(楽曲位置検索データ)の提供を要求する。
The music
音声入力部21は、外部の音声再生装置から出力される楽曲等の音声信号を入力し、所定のタイミングでアンプ26に出力することにより、楽曲を再生出力させる。音声入力部21は、例えば入力された音声信号を所定の形式のデータに変換して制御部20に出力すると共に、制御部20の処理により楽曲に対応するテキスト(テロップ)を表示可能な状態となるまでバッファリングする機能を有する。音声入力部21は、制御部20から通知されるタイミングに応じて、バッファリングしたデータを音声信号に変換してアンプ26に出力する。
The
外部の音声再生装置としては、例えばCDプレーヤ、MP3(MPEG-1 Audio Layer-III)プレーヤなどのオーディオプレーヤ、音楽再生プログラムを実行可能なパーソナルコンピュータやPDA(personal digital assistant)、あるいは携帯電話機など各種の装置を対象とすることができる。楽曲再生装置10は、外部の音声再生装置の種類に関係なく、同一の楽曲の音源データ(CDデータ、MP3などの圧縮データ)を再生していれば、同じように楽曲の再生出力に同期させてテキスト(歌詞)を表示させることができる。
As an external audio playback device, for example, an audio player such as a CD player, an MP3 (MPEG-1 Audio Layer-III) player, a personal computer capable of executing a music playback program, a PDA (personal digital assistant), or a mobile phone Can be targeted. If the
記憶部22は、楽曲再生装置10において処理される各種データが記憶されるもので、例えば楽曲テロップ検索サーバ12から取得されるテロップデータ22a、楽曲位置検索データ22bなどが記憶される(各データの詳細については後述する)。
The
通信制御部23は、制御部20の制御のもとで、ネットワーク14を介した楽曲テロップ検索サーバ12等との通信を制御する。
The
表示制御部24は、制御部20(画面制御部20a)の制御のもとで、モニタ25における表示を制御する。
The
モニタ25は、表示制御部24の制御により映像を表示する。モニタ25では、楽曲再生装置10により再生出力され楽曲と同期させて、楽曲の歌詞が表示される。また、モニタ25では、楽曲の再生出力中に歌詞だけでなく、背景の画像(静止画、動画)を表示させるようにしても良い。
The monitor 25 displays an image under the control of the
アンプ26は、楽曲再生装置10の音声入力部21から出力され音声信号を入力して、マイク27から入力される音声信号と合成し、増幅してスピーカ28から音声を出力させる。
The
また、図1に示すように、楽曲テロップ検索サーバ12は、通信制御部30、楽曲特徴問い合わせ検索部31、楽曲データベース32を有している。
As shown in FIG. 1, the music
通信制御部30は、ネットワーク14を介した楽曲再生装置10等との通信を制御する。
The
楽曲特徴問い合わせ検索部31は、通信制御部30を通じて受信される楽曲再生装置10からの要求に応じた処理を実行し、楽曲再生装置10に提供するデータを楽曲データベース32から検索する。楽曲特徴問い合わせ検索部31は、楽曲再生装置10から受信した楽曲特徴データに該当する楽曲特徴データを楽曲特徴データ33から検索する。楽曲特徴問い合わせ検索部31は、楽曲特徴データ33から検索された楽曲特徴データ(楽曲)に対応するテロップデータ34と楽曲位置検索データ35を楽曲データベース32から読み出し、通信制御部30を通じて楽曲再生装置10に送信する。
The music feature inquiry search unit 31 executes processing according to a request from the
楽曲データベース32は、楽曲再生装置10において楽曲の再生出力に同期させてテキスト(歌詞)を表示させるために必要な楽曲データが記憶されている。楽曲データベース32に記憶されている楽曲データとしては、楽曲特徴データ33、テロップデータ34、楽曲位置検索データ35が含まれている。
The
楽曲データベース32に記憶される楽曲特徴データ33は、楽曲識別用のデータであり、複数の楽曲のそれぞれに対する、例えば楽曲開始のイントロ部分から抽出された楽曲特徴データである。
The
テロップデータ34は、複数の楽曲のそれぞれについて、楽曲別に歌詞などのテキストデータと、テキスト(文字)を表示すべき楽曲中の位置を示す位置データとが対応付けられたデータである。
The
図3は、楽曲データベース32に記憶されるテロップデータ34の一例を示す図である。図3は、1つの楽曲「XXXXX」に対するテロップデータ34の一部を示している。
FIG. 3 is a diagram illustrating an example of the
図3に示すテロップデータ34では、楽曲内での先頭からの位置を示す時間データと、時間データが示す位置の楽曲が再生されている時に表示すべき文字のテキストデータ(文字)とが対応付けられている。例えば、楽曲の先頭から再生出力を開始した後、「3:04:120」後に「泣」の文字を表示(文字の色変えを)することを表している。また、テロップデータ34には、文字を画面に表示する制御に用いられる属性データ、例えばレイアウト情報、色情報、色変わりするかどうかを示すデータ等が挿入されている。
In the
楽曲位置検索データ35は、複数の楽曲のそれぞれについて、楽曲中の特徴を表す楽曲特徴データと、この楽曲特徴データが楽曲に表れる位置を示す位置データとが対応付けられたデータである。
The music
図4は、楽曲データベース32に記憶される楽曲位置検索データ35の一例を示す図である。図4は、1つの楽曲「XXXXX」に対する楽曲位置検索データ35の一部を示している。
FIG. 4 is a diagram illustrating an example of music
図4に示すように、楽曲位置検索データ35では、楽曲中の特徴を表す楽曲特徴データと、この楽曲特徴データが楽曲に表れる位置を示す位置データ(ここでは楽曲内での先頭からの位置を示す時間データ)とを対応付けている。楽曲位置検索データ35には、楽曲の複数箇所における特徴を表す楽曲特徴データと、対応する時間データとが対応付けられて記憶されているものとする。楽曲特徴データは、例えばテロップデータ34(図3)に設定された時間データが示す楽曲中の位置の楽曲特徴データが設定されていても良いし、他の楽曲との区別が容易な楽曲に特徴的な周波数成分が表れる特徴部分の楽曲特徴データが設定されていても良い。テロップデータ34に設定された時間データが示す位置としては、例えば歌詞の適当な区分毎(例えば、画面に歌詞を表示する各行の先頭位置)の文字に該当する位置とすることができる。
As shown in FIG. 4, in the music
楽曲再生装置10は、楽曲位置検索データ35に設定された楽曲特徴データと同じ楽曲特徴データを、入力された音声信号中から抽出した場合に、その楽曲特徴データと対応付けられた時間データから楽曲の再生位置(演奏位置)を把握できる。
When the
次に、本実施形態における楽曲再生システム(楽曲再生装置、楽曲テロップ検索サーバ)の動作について説明する。 Next, the operation of the music playback system (music playback device, music telop search server) in this embodiment will be described.
図5は、楽曲再生装置10おいて実行される楽曲再生処理を説明するためのフローチャート、図6は、楽曲テロップ検索サーバ12において実行される楽曲テロップ提供処理を説明するためのフローチャートである。
FIG. 5 is a flowchart for explaining the music playback process executed in the
まず、楽曲再生装置10は、音声入力部21によって音声信号を入力する音声信号読込み処理を開始する(ステップA1)。音声入力部21により入力される音声信号は、外部の音声再生装置(例えばCDプレーヤ、MP3プレーヤ等)から出力される。
First, the
音声入力部21は、入力された音声信号を所定の形式のデータに変換して制御部20に出力する。また、音声入力部21は、このデータを制御部20の処理により楽曲に対応するテキスト(テロップ)を表示可能な状態となるまでバッファリングする。
The
制御部20の楽曲特徴抽出部20bは、音声入力部21から入力された音声信号に対するデータをもとに、楽曲特徴データを生成するための楽曲特徴抽出処理を実行する(ステップA2)。まず、楽曲特徴抽出部20bは、音声信号が入力されてから所定時間内(イントロ)についての楽曲特徴データを生成する。
The music
楽曲データ問い合わせ部20cは、楽曲特徴抽出部20bにより生成され楽曲特徴データを圧縮して、通信制御部23を通じて楽曲テロップ検索サーバ12に送信し、楽曲の再生出力と同期してテキスト(テロップ)を表示するために必要な楽曲データを要求する(ステップA4)。
The music
一方、楽曲テロップ検索サーバ12の楽曲特徴問い合わせ検索部31は、通信制御部30を通じて、楽曲再生装置10からの楽曲特徴データと楽曲データの送信要求を受信する(図6、ステップB1)。楽曲特徴問い合わせ検索部31は、楽曲再生装置10から受信した楽曲特徴データにより、楽曲データベース32に記憶された複数の楽曲についての楽曲特徴データ33を検索して、その中から一致する楽曲特徴データに対応する楽曲を判別する。すなわち、楽曲の先頭から所定時間内にある音声の特徴をもとに楽曲を識別する。
On the other hand, the music feature inquiry search unit 31 of the music
楽曲特徴問い合わせ検索部31は、楽曲特徴データ33の検索により楽曲が特定されると、この楽曲に対応するテロップデータ34と楽曲位置検索データ35とを楽曲データベース32から読み出し(ステップB3)、これらの楽曲データを通信制御部30を通じて楽曲再生装置10に送信する(ステップB4)。
When a song is specified by searching the
楽曲再生装置10の制御部20は、通信制御部23を通じて、楽曲テロップ検索サーバ12からテロップデータ34と楽曲位置検索データ35を受信すると(ステップA5)、これを記憶部22に記憶させる(テロップデータ22a、楽曲位置検索データ22b)(ステップA6)。
When receiving the
制御部20は、楽曲テロップ検索サーバ12からテキストを表示するために必要に楽曲データが受信されると、音声入力部21に対してバッファリングされたデータに応じた音声信号をアンプ26に対して出力させる。すなわち、楽曲の再生出力を開始させる。また、制御部20は、楽曲特徴抽出部20bにより、音声入力部21にバッファリングされているデータに対する楽曲特徴抽出処理を実行させる。
When the music data is received from the music
楽曲特徴抽出部20bは、音声入力部21にバッファリングされているデータを順次入力して、楽曲特徴データを生成する。
The music
制御部20は、楽曲特徴抽出部20bにより生成された楽曲特徴データをもとに、記憶部22に記憶された楽曲位置検索データ22bを検索して、同一の楽曲特徴データが設定されているかを判別する。すなわち、楽曲位置検索データ22bに設定されている楽曲特徴データが表す特徴を持つ音声が楽曲中に表れたか判別する。該当する楽曲特徴データが検索された場合には、この楽曲特徴データと対応して設定された時間データを現在の楽曲の再生位置として取得する(ステップA7)。
The
画面制御部20aは、楽曲位置検索データ22bから取得された時間データ(楽曲位置)に対応するテロップデータ22a(文字データ)を読込み、表示制御部24を通じてモニタ25にテキスト(テロップ)を表示させる(ステップA9)。
The
例えば、図4Aに示す楽曲特徴データに該当する部分の音声信号が入力された場合、楽曲の時間データ「3:04:120」に該当する部分が再生位置であることが判別される。制御部20は、時間データ「3:04:120」に対応して、テロップデータ22aとして設定されたテキストデータ、例えば図3に示す例では「泣」の文字をモニタ25において表示させる(文字の表示色を変更する)。
For example, when the audio signal corresponding to the music feature data shown in FIG. 4A is input, it is determined that the part corresponding to the music time data “3: 04: 120” is the playback position. The
なお、楽曲位置検索データ22bに設定される楽曲特徴データは、テロップデータ22aの各時間データに対応して設定されている必要はない。例えば、楽曲位置検索データ22bの楽曲特徴データにより楽曲の再生位置が判別された場合、その時点から時間を計測し、この計測された時間がテロップデータ22aの時間データと一致した時に、この時間データに対応する文字を表示すれば良い。
Note that the music feature data set in the music
ただし、基準とする楽曲特徴データについては、楽曲の再生位置を誤らないように、楽曲中の特徴的な部分を対象として、楽曲位置検索データ35に設定されていることが好ましい。この場合、テロップデータ34に設定された時間データと一致する部分である必要がなく、前述したように、楽曲特徴データをもとに判別された再生位置を基準として、テロップデータ22aに設定された時間データとなったことを判別すれば良い。
However, the music feature data used as a reference is preferably set in the music
制御部20は、音声入力部21から入力されたデータ(楽曲)が終了するまで、前述したステップA7〜A9の処理を繰り返し実行する。これにより、音声入力部21により入力された音声信号に応じた楽曲が、アンプ26を通じてスピーカ28から出力されるのと同期して、モニタ25においてテキスト(テロップ)が表示される。
The
図7には、モニタ25に表示されるテキスト(テロップ)の一例を示している。図7に示す表示例では、複数行分のテキストを表示し、テロップデータ22aに設定された時間データに該当する部分の音声が再生出力されるタイミングで、該当する文字の色を変更している例を示している。
FIG. 7 shows an example of text (telop) displayed on the monitor 25. In the display example shown in FIG. 7, the text of a plurality of lines is displayed, and the color of the corresponding character is changed at the timing when the sound corresponding to the time data set in the
このようにして、本実施形態における楽曲再生装置10では、テキストデータが関連づけられていない音声信号のみを入力するだけで、この音声信号から抽出される楽曲特徴データをもとにして、楽曲テロップ検索サーバ12から楽曲の再生出力と同期させて歌詞などのテキスト(テロップ)を表示するための楽曲データ(テロップデータ34、楽曲位置検索データ35)を取得することができる。楽曲再生装置10は、楽曲テロップ検索サーバ12から取得された楽曲データをもとに、入力される音声信号から抽出される楽曲特徴データと、楽曲位置検索データ35に設定された楽曲特徴データとの比較により楽曲の再生位置を判別し、楽曲の再生位置に対応するテロップデータ34に設定された文字を楽曲の再生出力と同期させて出力することができる。
In this way, in the
楽曲テロップ検索サーバ12は、楽曲再生装置10から楽曲のイントロ部分などから抽出された楽曲特徴データを受信することで、この楽曲特徴データに該当する楽曲を判別して、この楽曲の再生出力と同期させてテキスト(テロップ)を表示させることができる楽曲データを提供するサービスを実現できる。
The music
なお、図1に示す構成では、楽曲再生装置10と楽曲テロップ検索サーバ12とがネットワーク14を介して接続された楽曲再生システムとしているが、楽曲再生装置10に楽曲テロップ検索サーバ12の構成、すなわち楽曲特徴問い合わせ検索部31と楽曲データベース32が設けられた構成とすることも可能である。
In the configuration shown in FIG. 1, a music playback system in which the
また、前述した説明において、楽曲の位置を示すデータとして、楽曲先頭からの時間を用いているが、その他の楽曲の再生位置を特定することができるデータを用いることも可能である。例えば、楽曲中の位置を識別するためのデータを挿入しても良い。 In the above description, the time from the beginning of the music is used as the data indicating the position of the music, but it is also possible to use data that can specify the playback position of other music. For example, data for identifying the position in the music may be inserted.
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム(ソフトウエア手段)として、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段(実行プログラムのみならずテーブルやデータ構造も含む)をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。 In addition, the method described in the embodiment uses, as a program (software means) that can be executed by a computer, for example, a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, MO, etc.), and a semiconductor memory. It can also be stored in a recording medium such as (ROM, RAM, flash memory, etc.), or transmitted and distributed via a communication medium. The program stored on the medium side also includes a setting program that configures in the computer software means (including not only the execution program but also a table and data structure) that is executed by the computer. A computer that implements the present apparatus reads the program recorded on the recording medium, constructs software means by a setting program in some cases, and executes the above-described processing by controlling the operation by the software means. The recording medium referred to in this specification is not limited to the distribution, but includes a storage medium such as a magnetic disk or a semiconductor memory provided in a computer or a device connected via a network.
10…楽曲再生装置、12…楽曲テロップ検索サーバ、14…ネットワーク、20…制御部、20a…画面制御部、20b…楽曲特徴抽出部、20c…楽曲データ問い合わせ部、21…音声入力部、22…記憶部、22a,34…テロップデータ、22b,35…楽曲位置検索データ、23,30…通信制御部、24…表示制御部、25…モニタ、26…アンプ、27…マイク、28…スピーカ、31…楽曲特徴問い合わせ検索部、32…楽曲データベース、33…楽曲特徴データ。
DESCRIPTION OF
Claims (4)
前記音声信号入力手段により入力された音声信号から楽曲中に表れる特徴を表す第1の楽曲特徴データを抽出する楽曲特徴抽出手段と、
楽曲中に表れる特徴を表す第2の楽曲特徴データと、前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とを対応付けて記憶する記憶手段と、
前記楽曲特徴抽出手段によって抽出された第1の楽曲特徴データに該当する前記記憶手段に記憶された第2の楽曲特徴データを検索する楽曲特徴データ検索手段と、
前記楽曲特徴データ検索手段により検索された第2の楽曲特徴データに対応する文字を、前記第1の楽曲特徴データが抽出された位置の音声の再生出力と同期させて表示する画面制御手段と
を具備したことを特徴とする楽曲再生装置。 An audio signal input means for inputting an audio signal;
Music feature extraction means for extracting first music feature data representing characteristics appearing in the music from the audio signal input by the audio signal input means;
Storage means for storing, in association with each other, second music feature data representing features appearing in the music and characters to be displayed when the sound of the music at the position where the features appear is reproduced and output;
Music feature data search means for searching for second music feature data stored in the storage means corresponding to the first music feature data extracted by the music feature extraction means;
Screen control means for displaying a character corresponding to the second music feature data searched by the music feature data searching means in synchronization with the reproduction output of the sound at the position where the first music feature data is extracted. A music playback device characterized by comprising.
前記音声信号入力手段により入力された音声信号から楽曲中に表れる特徴を表す第1の楽曲特徴データを抽出する楽曲特徴抽出手段と、
前記楽曲特徴抽出手段により抽出された第1の楽曲特徴データを外部装置に送信することにより、前記第1の楽曲特徴データに該当する楽曲についての、楽曲中に表れる特徴を表す第2の楽曲特徴データと、前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とが対応付けられた楽曲データを前記外部装置からに取得する楽曲データ取得手段と、
前記楽曲特徴抽出手段により抽出された第1の楽曲特徴データに該当する前記楽曲データ取得手段により取得された第2の楽曲特徴データを検索する検索手段と、
前記楽曲特徴データ検索手段により検索された第2の楽曲特徴データに対応付けられた文字を、前記第1の楽曲特徴データが抽出された位置の音声の再生出力と同期させて表示する画面制御手段と
を具備したことを特徴とする楽曲再生装置。 An audio signal input means for inputting an audio signal;
Music feature extraction means for extracting first music feature data representing characteristics appearing in the music from the audio signal input by the audio signal input means;
By transmitting the first music feature data extracted by the music feature extraction means to an external device, the second music feature representing the characteristics appearing in the music with respect to the music corresponding to the first music feature data. Music data acquisition means for acquiring, from the external device, music data in which data and a character to be displayed when audio of a music at a position where the characteristic appears are reproduced and output;
Search means for searching for second music feature data acquired by the music data acquisition means corresponding to the first music feature data extracted by the music feature extraction means;
Screen control means for displaying the character associated with the second music feature data searched by the music feature data searching means in synchronization with the reproduction output of the sound at the position where the first music feature data is extracted. A music reproducing apparatus comprising:
楽曲中に表れる特徴を表す第2の楽曲特徴データが複数の楽曲のそれぞれにつて記憶する楽曲特徴データ記憶手段と、
前記楽曲特徴データ手段により記憶されたそれぞれの楽曲に対応する、楽曲中に表れる特徴を表す第3の楽曲特徴データと、前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とが対応付けられた楽曲データを記憶する楽曲位置検索データ記憶手段と、
前記楽曲特徴データ受信手段により受信された前記第1の楽曲特徴データをもとに前記楽曲特徴データ記憶手段に記憶された第2の楽曲特徴データを検索する第1の検索手段と、
前記第1の検索手段により検索された第2の楽曲特徴データに対応する楽曲に対応する、前記楽曲位置検索データ記憶手段に記憶された楽曲データを送信する楽曲データ送信手段と
を具備したことを特徴とする楽曲テロップ検索サーバ。 Music feature data receiving means for receiving first music feature data representing features appearing in the music;
Music feature data storage means for storing second song feature data representing features appearing in the song for each of the plurality of songs;
It should be displayed when the third music feature data representing the feature appearing in the song and the sound of the song at the position where the feature appears corresponding to each song stored by the song feature data means is reproduced and output. Music position search data storage means for storing music data associated with characters;
First search means for searching for second music feature data stored in the music feature data storage means based on the first music feature data received by the music feature data receiving means;
Music data transmission means for transmitting music data stored in the music position search data storage means corresponding to music corresponding to the second music feature data searched by the first search means. A music telop search server that features.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006020429A JP4327165B2 (en) | 2006-01-30 | 2006-01-30 | Music playback device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006020429A JP4327165B2 (en) | 2006-01-30 | 2006-01-30 | Music playback device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007199574A true JP2007199574A (en) | 2007-08-09 |
JP4327165B2 JP4327165B2 (en) | 2009-09-09 |
Family
ID=38454234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006020429A Expired - Fee Related JP4327165B2 (en) | 2006-01-30 | 2006-01-30 | Music playback device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4327165B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009134159A (en) * | 2007-11-30 | 2009-06-18 | Daiichikosho Co Ltd | Music playback device displaying lyrics caption by detecting cueing position of music data |
JP2010152287A (en) * | 2008-12-26 | 2010-07-08 | Yamaha Corp | Automatic play synchronizing device, automatic play keyboard instrument, and program |
JP2013047743A (en) * | 2011-08-29 | 2013-03-07 | Brother Ind Ltd | Karaoke remote control device and karaoke system |
JP2013174904A (en) * | 2013-04-22 | 2013-09-05 | Fujitsu Ltd | Lyric output program |
-
2006
- 2006-01-30 JP JP2006020429A patent/JP4327165B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009134159A (en) * | 2007-11-30 | 2009-06-18 | Daiichikosho Co Ltd | Music playback device displaying lyrics caption by detecting cueing position of music data |
JP2010152287A (en) * | 2008-12-26 | 2010-07-08 | Yamaha Corp | Automatic play synchronizing device, automatic play keyboard instrument, and program |
JP2013047743A (en) * | 2011-08-29 | 2013-03-07 | Brother Ind Ltd | Karaoke remote control device and karaoke system |
JP2013174904A (en) * | 2013-04-22 | 2013-09-05 | Fujitsu Ltd | Lyric output program |
Also Published As
Publication number | Publication date |
---|---|
JP4327165B2 (en) | 2009-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006195385A (en) | Device and program for music reproduction | |
US8253006B2 (en) | Method and apparatus to automatically match keys between music being reproduced and music being performed and audio reproduction system employing the same | |
JP4327165B2 (en) | Music playback device | |
JP2010078926A (en) | Duet partner extracting system | |
JP5986387B2 (en) | Information processing program, information processing apparatus, lyrics display method, and communication system | |
EP3203468B1 (en) | Acoustic system, communication device, and program | |
KR20150018194A (en) | Evaluation Methods and System for mimicking song | |
JP2005285285A (en) | Content read system and musical piece reproduction apparatus | |
JP7117228B2 (en) | karaoke system, karaoke machine | |
KR20130095389A (en) | Real time music video system | |
JP5338312B2 (en) | Automatic performance synchronization device, automatic performance keyboard instrument and program | |
JP2011215347A (en) | Timing designation device, music player, karaoke system, and timing designation method | |
JP6587459B2 (en) | Song introduction system in karaoke intro | |
KR100670443B1 (en) | Computer recordable medium recording data file for sound/image syncronization and method for inserting image data sample into audio file | |
JP6474292B2 (en) | Karaoke equipment | |
JP6920489B1 (en) | Karaoke equipment | |
JP7423164B2 (en) | karaoke equipment | |
JP2004005832A (en) | Data-reproducing device, and system, method and program therefor, and recording medium recorded with the program | |
JP5242856B1 (en) | Music playback program and music playback system | |
JP7197688B2 (en) | Playback control device, program and playback control method | |
JP7295777B2 (en) | karaoke device | |
JP2005250242A (en) | Device, method, and program for information processing, and recording medium | |
KR102001314B1 (en) | Method and apparatus of enhancing audio quality recorded in karaoke room | |
JP2007233078A (en) | Evaluation device, control method, and program | |
JP2008197501A (en) | Electronic instrument and performance data utilization program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4327165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |