JP2008197270A - Data reproduction device, data reproduction method, and program - Google Patents
Data reproduction device, data reproduction method, and program Download PDFInfo
- Publication number
- JP2008197270A JP2008197270A JP2007031064A JP2007031064A JP2008197270A JP 2008197270 A JP2008197270 A JP 2008197270A JP 2007031064 A JP2007031064 A JP 2007031064A JP 2007031064 A JP2007031064 A JP 2007031064A JP 2008197270 A JP2008197270 A JP 2008197270A
- Authority
- JP
- Japan
- Prior art keywords
- data
- time
- video
- unit
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Studio Devices (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。 The present invention relates to a technique for reproducing other data in synchronization with input data.
一般的なカラオケ装置においては、例えば、MIDI(Musical Instruments Digital Interface:登録商標)形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献1には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献2においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。
In a general karaoke apparatus, for example, music data composed of MIDI (Musical Instruments Digital Interface) format accompaniment data, sequence data for displaying lyrics telop of music, and video data are synchronized. By playing, the user can enjoy karaoke of the music. Japanese Patent Application Laid-Open No. 2004-133620 discloses a technique for receiving accompaniment data and video data separately from a server and reproducing them in synchronization.
また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
しかし、特許文献1に開示された技術を用いる場合には、伴奏データはMIDI形式のデータの再生であるため、MIDI形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献2に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。
However, when the technique disclosed in
本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れに追従したデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and is a data reproducing apparatus capable of easily reproducing data following the flow of music even when there is a change in the tempo of the music as in live performances. An object of the present invention is to provide a data reproduction method and program.
上述の課題を解決するため、本発明は、第1のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第1のデータを記憶する記憶手段と、外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント手段と、前記タイムアライメント手段によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータを読み出すデータ読出手段と、前記データ読出手段によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成手段とを具備することを特徴とするデータ再生装置を提供する。 In order to solve the above-mentioned problem, the present invention stores first audio data and storage means for storing first data having synchronization information for defining the time for each part of the data, and is supplied from the outside. Time alignment means for associating the second audio data and the first audio data in units of frames of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion, and sequentially by the time alignment means Based on a change in the frame position interval indicated by the generated correspondence information, a frame position predicted to be associated by the time alignment unit after a predetermined set time is calculated, and a time indicating the time of the calculated frame position Prediction means for generating information, and the storage means based on the correspondence between the time information and the synchronization information And a data reading means for reading the first data and a video data generating means for generating the first video data based on the first data read by the data reading means. A data reproducing apparatus is provided.
また、本発明は、第1のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第1のデータおよび第2のデータを記憶する記憶手段と、外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント手段と、前記タイムアライメント手段によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータと前記第2のデータとを読み出すデータ読出手段と、前記データ読出手段によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成手段とを具備することを特徴とするデータ再生装置を提供する。 In addition, the present invention stores the first audio data and the storage means for storing the first data and the second data having the synchronization information that defines the time for each part of the data, and is supplied from the outside. Time alignment means for associating second audio data with the first audio data in units of frames of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion; and sequentially generated by the time alignment means Time information indicating a time of the calculated frame position by calculating a frame position predicted to be associated by the time alignment means after a predetermined set time based on a change in an interval of the frame position indicated by the corresponding correspondence information Based on the correspondence between the time information and the synchronization information, the storage means Data reading means for reading the first data and the second data, and video data generating means for generating first video data based on the first data read by the data reading means A data reproducing apparatus is provided.
また、別の好ましい態様において、前記データ読出手段によって読み出された第2のデータに基づいてオーディオデータを生成する音源部をさらに具備し、前記第2のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであってもよい。 Moreover, in another preferable aspect, it further comprises a sound source unit that generates audio data based on the second data read by the data reading unit, and the second data is generated by the sound source unit. It may be sequence data indicating the sounding content of the musical sound related to the audio data.
また、別の好ましい態様において、前記記憶手段に記憶される第1のオーディオデータは、データ各部についての時刻を規定する同期情報を有する複数のトラックを有し、前記データ読出手段は、さらに前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のオーディオデータを読み出してもよい。 In another preferred embodiment, the first audio data stored in the storage means includes a plurality of tracks having synchronization information that defines time for each part of the data, and the data reading means further includes the time The first audio data may be read from the storage unit based on a correspondence relationship between information and the synchronization information.
また、別の好ましい態様において、操作によって利用者の指示を入力する操作手段と、前記操作手段の操作に基づいて前記第1のオーディオデータの各トラックのうち、一部のトラックを選択するトラック選択手段と、前記データ読み出し手段によって読み出された第1のオーディオデータは、前記トラック選択手段によって選択されたトラック以外のデータであってもよい。 In another preferred embodiment, the operation means for inputting a user instruction by operation, and the track selection for selecting a part of the tracks of the first audio data based on the operation of the operation means And the first audio data read by the data reading means may be data other than the track selected by the track selecting means.
また、別の好ましい態様において、操作によって利用者の指示を入力する操作手段と、前記操作手段の操作に基づいて前記第1のオーディオデータの各トラックのうち、一部のトラックを選択する第1のトラック選択手段と、前記タイムアライメント手段は、外部から供給される第2のオーディオデータと、前記第1のオーディオデータのうち前記トラック選択手段によって選択されたトラックとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成してもよい。 In another preferred embodiment, an operating means for inputting a user instruction by an operation, and a first part for selecting a part of the tracks of the first audio data based on the operation of the operating means. The track selection means and the time alignment means include second audio data supplied from the outside and a track selected from the first audio data by the track selection means in units of frames of a predetermined time length. Corresponding information indicating the frame position of the corresponding part may be sequentially generated in association with each other.
また、別の好ましい態様において、前記予め設定された設定時間は、タイムアライメント手段に第2のオーディオデータが供給されてから前記映像データ生成手段によって第1の映像データを生成するまでの時間として設定されていてもよい。 In another preferable aspect, the preset set time is set as a time from when the second audio data is supplied to the time alignment means until the first video data is generated by the video data generating means. May be.
また、別の好ましい態様において、複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、前記映像合成手段は、外部から供給され、前記第2のオーディオデータと時間同期がとられた第2の映像データに係る映像に対して、前記映像データ生成手段によって生成された第1の映像データに係る映像をスーパーインポーズしてもよい。 Further, in another preferred aspect, there is provided video synthesizing means for superimposing a video related to other video data on a video related to one video data among the plurality of video data when a plurality of video data is inputted. The video synthesizing means further includes a second video data generated by the video data generating means with respect to a video related to the second video data supplied from the outside and time-synchronized with the second audio data. A video related to one video data may be superimposed.
また、本発明は、外部から供給される第2のオーディオデータと記憶手段に記憶された第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント過程と、前記タイムアライメント過程によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測過程と、第1のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第1のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第1のデータを読み出すデータ読出過程と、前記データ読出過程において読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成過程とを備えることを特徴とするデータ再生方法を提供する。 Further, the present invention relates to correspondence information indicating the frame position of the corresponding portion by associating the second audio data supplied from the outside with the first audio data stored in the storage unit in units of a frame having a predetermined time length. The time alignment process is sequentially generated, and the time alignment process is predicted to be associated after a predetermined set time based on the change in the frame position interval indicated by the correspondence information sequentially generated by the time alignment process. First data having a prediction process for calculating a frame position and generating time information indicating the time of the calculated frame position, first audio data is stored, and synchronization information for defining a time for each part of the data is stored. From the storage means for storing the first data based on the correspondence between the time information and the synchronization information. A data reading step of reading out, to provide a data reproducing method characterized by comprising the video data generating step of generating a first image data based on the first data read in the data reading process.
また、本発明は、外部から供給される第2のオーディオデータと記憶手段に記憶された第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント過程と、前記タイムアライメント過程によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測過程と、第1のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第1のデータおよび第2のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第1のデータと前記第2のデータとを読み出すデータ読出過程と、前記データ読出過程において読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成過程とを備えることを特徴とするデータ再生方法を提供する。 Further, the present invention relates to correspondence information indicating the frame position of the corresponding portion by associating the second audio data supplied from the outside with the first audio data stored in the storage unit in units of a frame having a predetermined time length. The time alignment process is sequentially generated, and the time alignment process is predicted to be associated after a predetermined set time based on the change in the frame position interval indicated by the correspondence information sequentially generated by the time alignment process. First data having a prediction process for calculating a frame position and generating time information indicating the time of the calculated frame position, first audio data is stored, and synchronization information for defining a time for each part of the data is stored. And a storage means for storing the second data, based on the correspondence between the time information and the synchronization information A data reading process for reading the first data and the second data, and a video data generating process for generating first video data based on the first data read in the data reading process Provided is a data reproduction method characterized by comprising:
また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に第1のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第1のデータを記憶させる記憶機能と、外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント機能と、前記タイムアライメント機能によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータを読み出すデータ読出機能と、前記データ読出機能によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。 According to another aspect of the present invention, there is provided a storage function for causing a computer having storage means to store the first audio data in the storage means and storing the first data having synchronization information for defining the time for each part of the data. A time alignment function for associating the second audio data supplied from the outside with the first audio data in units of frames of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion; Based on a change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment function, a frame position predicted to be associated by the time alignment function after a predetermined set time is calculated, and the calculated frame position A prediction function for generating time information indicating the time of the time, a pair of the time information and the synchronization information A data read function for reading the first data from the storage means based on the relationship; a video data generation function for generating the first video data based on the first data read by the data read function; A computer-readable program for realizing the above is provided.
また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に第1のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第1のデータを記憶させる記憶機能と、外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント機能と、前記タイムアライメント機能によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータと前記第2のデータとを読み出すデータ読出機能と、前記データ読出機能によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。 According to another aspect of the present invention, there is provided a storage function for causing a computer having storage means to store the first audio data in the storage means and storing the first data having synchronization information for defining the time for each part of the data. A time alignment function for associating the second audio data supplied from the outside with the first audio data in units of frames of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion; Based on a change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment function, a frame position predicted to be associated by the time alignment function after a predetermined set time is calculated, and the calculated frame position A prediction function for generating time information indicating the time of the time, a pair of the time information and the synchronization information Based on the relationship, the data read function for reading the first data and the second data from the storage means, and the first video data based on the first data read by the data read function A computer-readable program for realizing a video data generation function to be generated is provided.
本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れに追従したデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することができる。 According to the present invention, it is possible to provide a data reproducing apparatus, a data reproducing method, and a program capable of easily reproducing data following the flow of music even when the tempo of the music varies as in live performance. Can do.
以下、本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described.
<実施形態>
図1は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置1のハードウエアの構成を示すブロック図である。
<Embodiment>
FIG. 1 is a block diagram showing a hardware configuration of a
CPU(Central Processing Unit)11は、ROM(Read Only Memory)12に記憶されているプログラムを読み出して、RAM(Random Access Memory)13にロードして実行することにより、映像表示装置1の各部について、バス10を介して制御する。また、RAM13は、CPU11が記憶された各データの加工などを行う際のワークエリアとして機能する。
A CPU (Central Processing Unit) 11 reads out a program stored in a ROM (Read Only Memory) 12, loads it into a RAM (Random Access Memory) 13, and executes it. Control is performed via the
さらにRAM13は、内部に有するライブデータバッファ領域13aに、通信部17から受信するストリーミング再生するためのライブ映像データ(第2の映像データ)、ライブ楽音データ(第2のオーディオデータ)を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報のデータ(以下、楽曲情報データという)についても、通信部17において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、CPU11は、RAM13にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。
Further, the RAM 13 temporarily stores live video data (second video data) and live musical sound data (second audio data) for streaming playback received from the
ここで、ライブ映像データは、楽曲の生演奏を撮影した映像(以下、ライブ映像という)の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声(以下、ライブ演奏)のオーディオデータであって、ライブ演奏には、歌手の歌声(以下、ライブボーカルという)や伴奏などが含まれている。 Here, the live video data is video data of a video (hereinafter referred to as a live video) obtained by shooting a live performance of music. In addition, live music data is audio data of a sound recording a live performance of a music (hereinafter referred to as a live performance), and the live performance includes a singer's singing voice (hereinafter referred to as a live vocal) and accompaniment. Yes.
記憶部(記憶手段)14は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域14aに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ(第1のオーディオデータ)と歌詞データ(第1のデータ)を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏(以下、リファレンス演奏という)を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード(同期情報)が付されている。そして、リファレンス楽音データと歌詞データは、同じタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。
The storage unit (storage means) 14 is a large-capacity storage means such as a hard disk, for example, and stores reference song data serving as reference data for each song in the song
表示部15は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置1を操作するためのメニュー画面などの各種画面を表示する。操作部16は、例えばキーボードやマウスなどであり、映像表示装置1の利用者が操作部16を操作すると、その操作内容を表すデータがCPU11へ出力される。
The
通信部17は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信して、RAM13のライブデータバッファ領域13aにバッファする機能を有している。
The
音声出力部18は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。
The
次に、CPU11が、ROM12に記憶されたプログラムを実行することによって実現する機能について説明する。図2は、CPU11が実現する機能を示したソフトウエアの構成を示すブロック図である。
Next, functions realized by the
楽曲データ選択部101は、ライブデータバッファ領域13aから楽曲情報データを読み取り、通信部17が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域14aに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部101は、読み出したリファレンス楽音データをタイムアライメント部(タイムアライメント手段)102へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部(データ読出手段)103に読み出されるまでRAM13にバッファしておく。
The music
タイムアライメント部102は、CPU11によってライブデータバッファ領域13aから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部101から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード(対応情報)を出力する機能を有している。
The
ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してFFT(Fast Fourier Transform)を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではDP(Dynamic Programming:動的計画法)マッチングを用いる。具体的には以下のような処理となる。 Here, the deviation of the progression of music is obtained by separating each data into frame units of a predetermined time length, performing FFT (Fast Fourier Transform) on each of them, calculating the spectrum of each data, Detection is performed by associating similar spectra between frames. In addition, in this embodiment, DP (Dynamic Programming) matching is used for the function of detecting the progression of music progression. Specifically, the processing is as follows.
タイムアライメント部102は、図3に示すような座標平面(以下、DPプレーンという)をRAM13に形成する。このDPプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してFFTを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ(ケプストラム)をa1、a2、a3・・・anとして、時間軸に従って並べたものである。また、横軸のb1、b2、b3・・・bnは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のa1、a2、a3・・・anの間隔と横軸のb1、b2、b3・・・bnの間隔は、いずれもフレームの時間長と対応している。このDPプレーンにおける各格子点の各々には、a1、a2、a3・・・anの各パラメータと、b1、b2、b3・・・bnの各パラメータのユークリッド距離を夫々示す値であるDPマッチングスコアが対応付けられている。例えば、a1とb1とにより位置決めされる格子点(a1,b1)には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。
The
そして、タイムアライメント部102は、このような構造を成すDPプレーンを形成した後、a1とb1とにより位置決めされる始端にあたる格子点(a1,b1)からanとbnとにより位置決めされる終端にあたる格子点(an,bn)に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のDPマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。
After the
そして、DPマッチングスコアの累算値が最小となる経路をDPプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図3に示すDPプレーン上に記された経路においては、a1とb1により位置決めされる格子点(a1,b1)からその右上のa2とb2により位置決めされる格子点(a2,b2)に進んでいることが分かる。この場合、a2のフレームとb2のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、a2とb2により位置決めされる格子点(a2,b2)からその右のa2とb3により位置決めされる格子点(a2,b3)に進んでいる。楽曲の進行のずれが無ければ格子点(a3,b3)へ進み、b3のフレームの時間軸上の位置に対応すべきフレームはa3のフレームとなるものであるが、格子点(a2,b3)に進んでいることから、b3のフレームはa3ではなくa2のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームb3までに進行する演奏の内容が、ライブ楽音データのフレームa2までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がDPマッチングの仕組みである。 Then, a path having the minimum DP matching score accumulated value is specified on the DP plane, and each frame of the reference musical sound data is associated with each frame of the live musical sound data by each grid point on the path. A shift in the progression of music can be detected by this correspondence. For example, in the path marked on the DP plane shown in FIG. 3, from the lattice point (a1, b1) positioned by a1 and b1, to the lattice point (a2, b2) positioned by a2 and b2 at the upper right You can see that it is going. In this case, the positions on the time axis of the frame a2 and the frame b2 are the same from the beginning. On the other hand, in this route, the grid point (a2, b2) positioned by a2 and b2 advances to the grid point (a2, b3) positioned by a2 and b3 on the right. If there is no shift in the progression of the music, the process proceeds to the grid point (a3, b3), and the frame that should correspond to the position of the frame b3 on the time axis is the frame a3, but the grid point (a2, b3) Therefore, the frame of b3 is associated with the same position on the time axis of the frame of a2, not a3, and the progress of the music is generated. That is, since the content of the performance that has progressed up to the frame b3 of the reference musical sound data has progressed to the frame a2 of the live musical sound data, the live performance progresses faster than the reference performance at this point. It will be out. In this way, it is possible to detect a shift in the progression of music. Then, the frame of the reference musical sound data is associated with all the frames of the live musical sound data to detect a shift in the progression of the music. The above is the mechanism of DP matching.
次に、タイムアライメント部102が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部102は、上述したように、ライブ楽音データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置(以下、再生位置という)として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部102は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部102から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。
Next, a function of sequentially outputting time codes based on the progress of music detected by the
図2に戻って、説明を続ける。タイムコード予測部(予測手段)105は、タイムアライメント部102から順次出力されるタイムコードを参照し、タイムアライメント部102から予め設定された設定時間後に出力されると予測されるタイムコードを算出して出力する機能を有している。本実施形態においては、以下に説明するようにして予測を行う。なお、設定時間は、タイムアライメント部102がライブ楽音データを取得してから、データ処理部104が歌詞映像データを出力するまでの処理に必要な時間として設定されている。このようにすると、CPU11によって読み出されたライブ楽音データ、ライブ映像データと、後述するデータ処理部104から出力された歌詞映像データは時間同期したものとすることができる。
Returning to FIG. 2, the description will be continued. The time code prediction unit (prediction unit) 105 refers to the time codes sequentially output from the
図4は、縦軸にはタイムアライメント部102から出力されるタイムコードが表す時刻を表し、横軸には時間軸として、タイムアライメント部102からタイムコードが出力された時点の絶対的な時刻を表した図である。ここで、図中のT0、T1、T2、・・・は、タイムアライメント部102から出力されたタイムコードについて、当該タイムコードが出力された時刻と当該タイムコードが表す時刻をプロットしたものである。以下、タイムコードが出力される時間間隔については「1CK」とし、Tnにおける出力されるタイムコードはTCnとし、Tnが示す座標は(nCK,TCn)と表記する。
In FIG. 4, the vertical axis represents the time represented by the time code output from the
また、T’1、T’2、・・・は、タイムアライメント部102からタイムコードが出力されてから、設定時間後(本実施形態においては、2CK後とする)に出力されるとタイムコード予測部105によって予測されたタイムコード(以下、予測タイムコード(時刻情報)という)について、当該予測タイムコードがタイムアライメント部102から出力されるべき時刻と当該予測タイムコードが表す時刻をプロットしたものである。そして、上記同様にT’nが示す座標は(n+2CK,TC’n)と表記する。ここで、TC’nは、時刻n+2CKに出力されると予測されるタイムコードであって、タイムコード予測部105からT’1が出力される時刻がn+2CKであることを意味するものではない。すなわち、タイムコード予測部105は、タイムアライメント部102からの出力から2CK後のタイムコードを予測して出力するから、TC’nが出力されるタイミングは、タイムアライメント部102からTCnが出力されて、TC’nの算出が終了した時点となる。
T′1, T′2,... Are time codes when output after a set time (in this embodiment, after 2CK) after the time code is output from the
Tempo(1)は、T0からT1におけるテンポを示すものであり、2点の傾き(TC1−TC0)/1CKに相当している。ここで、図中における破線部分は、Tempoが示す2点の傾きを表す線である。以下、T1からT2におけるテンポはTempo(2)とし、同様にしてTn−1からTnにおけるテンポはTempo(n)という。 Tempo (1) indicates the tempo from T0 to T1, and corresponds to a two-point slope (TC1-TC0) / 1CK. Here, the broken line portion in the figure is a line representing the inclination of two points indicated by Tempo. Hereinafter, the tempo from T1 to T2 is Tempo (2), and similarly, the tempo from Tn-1 to Tn is Tempo (n).
タイムコード予測部105は、本実施形態においては、以下の式(1)に基づいて予測を行う。
TC’n = (TC’’n + TC’’’n)/2 ・・・(1)
TC’’n = TC’n−1 + Tempo(n−1)
TC’’’n = TCn + 2×Tempo(n)
In the present embodiment, the time
TC′n = (TC ″ n + TC ′ ″ n) / 2 (1)
TC ″ n = TC′n−1 + Tempo (n−1)
TC ′ ″ n = TCn + 2 × Tempo (n)
すなわち、TC’’nは、TC’n−1において、直前のテンポTempo(n−1)が維持された場合に、次に出力されるべきタイムコードである。また、TC’’’nは、TCnがタイムアライメント部102から出力され、TCnからそのときのテンポTempo(n)で2CK後まで維持された場合に出力されるべきタイムコードである。そして、TC’nは、TC’’nとTC’’’nの平均を取って算出されるものである。ここで、(n+2CK,TC’’n)のプロットはT’’nとし、(n+2CK,TC’’’n)のプロットはTC’’’nとして表記する。なお、タイムコード予測部105から最初に出力されるタイムコード(図4(a)の場合には、TC’1)は、直前に出力されるべきタイムコードが存在しないから、TC’1=TC’’’1とすればよい。
That is, TC ″ n is a time code to be output next when the immediately preceding tempo Tempo (n−1) is maintained in TC′n−1. Further, TC ″ ″ n is a time code to be output when TCn is output from the
以下、上記式に基づいて、タイムコード予測部105から出力される予測タイムコードについて、図4(a)〜(c)を用いて、順に説明する。図4の各図は、図4(a)の状態において、1CK経過ごとの状態変化を示したものである。まず、図4(a)における状況の説明を行う。図4(a)は、タイムアライメント部102から時刻2CKまでタイムコードが出力された状態の図である。タイムアライメント部102から時刻1CKにTC1(T1に相当)が出力され、タイムコード予測部105からTC’1が出力される。さらに、タイムアライメント部102から時刻2CKにTC2(T2に相当)が出力され、タイムコード予測部105は、2CK後に出力されると予測されるTC’2を算出して出力する。図4(a)においては、テンポの変動が無い(Tempo(1)=Tempo(2))ため、TC’’2=TC’’’2=TC’2となる。
Hereinafter, the predicted time code output from the time
次に、図4(b)においては、図4(a)の状態の後、ライブ演奏がリファレンス演奏に比べ遅れたとき、すなわちTempo(3)がTempo(2)に比べて小さくなったときの状態を示している。タイムアライメント部102から時刻3CKにTC3が出力されると、タイムコード予測部105は、TC’3を算出して出力する。ここで、上述したように、TC’’3は、タイムコード予測部105がTC’2を出力した後に、Tempo(2)が維持された場合に出力されるべきタイムコードであり、TC’’’3は、タイムアライメント部102からTC3を出力した後に、Tempo(3)が2CK後まで維持された場合に出力されるべきタイムコードである。そして、T’3は、TC’’3とTC’’’3を平均したものである。このようにすると、図示のように、TC’3は、ライブ演奏の遅れに追従して、TC’’3に比べて前の時刻を示すようになる。
Next, in FIG. 4B, after the state of FIG. 4A, when the live performance is delayed compared to the reference performance, that is, when Tempo (3) is smaller than Tempo (2). Indicates the state. When TC3 is output from the
図4(c)は、図4(b)の状態の後、ライブ演奏のテンポが戻った場合を示している。そして、図4(b)の時と同様にして、タイムアライメント部102から時刻4CKにTC4が出力されると、タイムコード予測部105は、TC’’4とTC’’’4の平均をとることによりTC’4を算出して出力する。そして、タイムアライメント部102からタイムコードTC5、TC6、・・・と順次出力されると、タイムコード予測部105は、当該出力されたタイムコードの2CK後に出力されると予測される予測タイムコードTC’5、TC’6、・・・を順次算出して出力する。以上がタイムコード予測部105の説明である。
FIG. 4C shows a case where the tempo of the live performance returns after the state of FIG. Then, in the same way as in FIG. 4B, when TC4 is output from the
図2に戻って、説明を続ける。データ読出部103は、タイムコード予測部105から順次出力される予測タイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部101がRAM13にバッファした歌詞データを読み出し、データ処理部104に順次出力していく。そして、データ処理部(映像データ生成手段)104は、データ読出部103から順次出力された歌詞データに基づいて歌詞映像データ(第1の映像データ)を生成し、映像合成部(映像合成手段)106に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムコード予測部105から出力された予測タイムコードを参照して読み出すことによりデータ読出部103から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行に追従して表示されるとともに、タイムアライメント部102から設定時間後に出力されると予測されるタイムコードである予測タイムコードによって読み出しているから、CPU11によって読み出されたライブ楽音データ、ライブ映像データと時間同期した映像のデータとして生成される。
Returning to FIG. 2, the description will be continued. The
映像合成部106は、CPU11によって読み出されたライブ映像データに係るライブ映像に対して、データ処理部104から出力された歌詞映像データに係る歌詞の映像(以下、歌詞映像という)をスーパーインポーズした合成映像データを生成して表示部15へ出力する。ここで、合成映像データは、CPU11によって読み出されたライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行に追従して表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に追従した映像の映像データとして生成される。
The
このようにして、表示部15には合成映像データが出力され、音声出力部18にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置1は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に追従した歌詞映像が合成された映像と楽曲とを再生することができる。
In this way, the composite video data is output to the
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。 As mentioned above, although embodiment of this invention was described, this invention can be implemented in various aspects as follows.
<変形例1>
実施形態においては、タイムコード予測部105は、タイムアライメント部102から順次出力されたタイムコードに基づいて、予測タイムコードを算出して出力していた。この際、タイムアライメント部102は、タイムコードを順次出力する代わりに認識した再生位置(対応情報)を順次出力し、タイムコード予測部105は、当該再生位置に基づいて、予測タイムコードを算出して出力してもよい。この場合には、タイムコード予測部105は、予測タイムコードの算出と同様にして設定時間後の再生位置を予測すればよい。そして、当該予測した再生位置に基づいて、予測タイムコードを算出して生成すればよい。なお、タイムアライメント部102は、認識した再生位置に加えて、認識したテンポについても出力してもよい。この場合には、タイムコード予測部105は、再生位置とテンポに基づいて予測タイムコードを算出すればよい。このようにしても、実施形態と同様な効果を得ることができる。
<
In the embodiment, the time
<変形例2>
タイムコード予測部105における予測タイムコードを算出する方法は、実施形態に説明した方法に限られる必要は無く、所定時間後のタイムコードを予測するものであればどのようなものであってもよい。例えば、実施形態における式(1)は、TC’n = (TC’’n + TC’’’n)/2として、TC’’nとTC’’’nの平均値をTC’nとしていたが、TC’n = (α×TC’’n + β×TC’’’n)/(α+β)として、TC’’nとTC’’’nの加重平均をとってもよい。これは、設定時間の長さに応じて、αとβとを適切な値とすればよい。この値を変えることで、予測タイムコードをタイムコードの変化に緩やかに追従させることも、急激に追従させることもできる。
<
The method for calculating the predicted time code in the time
また、タイムコード予測部105は、タイムアライメント部102から出力されたタイムコードにおいて、Tn−1とTnの2点の傾きからTempo(n)を算出していたが、何点かの移動平均をとってもよい。この場合は、例えば、TCn−1をTCn−3からTCn−1までの平均、TCnをTCn−2からTCnまでの平均とみなし、移動平均からTempo(n)を算出すればよい。このようにすれば、Tempo(n)の急激な変化が少なくなり、より自然に変化する予測タイムコードを算出することができる。
In addition, the time
さらに、ライブ演奏において、楽曲の一部が省略されるなど、再生位置が大きく変化して、タイムアライメント部102から順次出力されるタイムコードの示す時刻が所定の変化量より大きく変化した場合には、タイムコード予測部105における予測タイムコードの算出を一旦中止し、所定時間経過後に再度予測タイムコードの算出を行なうようにしてもよい。このようにすると、中止せずに算出し続ける場合よりも、予測タイムコードをタイムアライメント部102から出力されるタイムコードと大きく乖離することなく、追従させることができる。所定の変化量、所定時間は、それぞれプログラムに設定されていてもよいし、利用者が操作部16を介して、設定するようにしてもよい。
Furthermore, in the case of a live performance, when the playback position changes greatly, such as when a piece of music is omitted, and the time indicated by the time code sequentially output from the
その他、Tempoのように1次関数によって予測するだけでなく、予め定められたTempoの変化などを考慮した関数(例えば、Tempoが徐々に大きくなっている場合には、今後も大きくなっていくような変化量を考慮するなど)に基づいて予測するようにしてもよく、タイムアライメント部102におけるライブ楽音データとリファレンス楽音データの対応付けの結果に基づいて、所定時間後の対応を予測できるものであればどのような処理を行ってもよい。
In addition to the prediction using a linear function like Tempo, a function that takes into account a change in predetermined Tempo (for example, when Tempo gradually increases, it will increase in the future). Prediction may be made on the basis of the result of association between live musical sound data and reference musical data in the
<変形例3>
実施形態においては、通信部17がライブ楽音データを受信して、RAM13のライブデータバッファ領域13aにバッファしていたが、ライブ楽音データを用いる代わりに利用者が入力する音声データを用いてもよい。この場合は、図5のように、映像表示装置1に、マイクロフォンなどの収音手段と収音手段によって収音された音から音声データを生成する音声データ生成手段とを有する音声入力部21を具備させればよい。なお、音声入力部21において生成された音声データは、ライブデータバッファ領域13aにバッファされる。なお、音声データは、直接タイムアライメント部102などに出力してもよい。また、入力する音声データに楽曲情報データが含まれていない場合、例えば、マイクロフォンで収音した場合などは、利用者は操作部16を操作して、収音に対応した楽曲情報データを入力すればよい。このようにすると、例えば、利用者が演奏する楽曲に追従して歌詞映像を表示することもできる。
<
In the embodiment, the
<変形例4>
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図6に示すように、映像合成部106を用いずに、データ処理部104は、歌詞映像データをそのまま表示部15へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部17をそれぞれのデータ入力に対応した通信手段とすればよい。
<
In the embodiment, live video data is included in the input information, but the input data may not include video data. In this case, as shown in FIG. 6, the
<変形例5>
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データ(第1のデータ)であってもよい。この場合、以下のようにすればよい。データ読出部103は、実施形態に示したように予測タイムコードを参照し、映像データである歌詞データを読み出して、データ処理部104に順次出力する。これにより、データ読出部103から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部104に出力される。そして、データ処理部104は、この時間軸が伸縮された歌詞データを歌詞映像データ(第1の映像データ)として生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力されたオーディオデータ(実施形態においてはライブ楽音データ)の楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。
<Modification 5>
In the embodiment, the lyric data corresponding to the reference musical sound data is sequence data including text data indicating the lyrics of the music and data indicating the display timing of each text of the text data. It may be video data (first data) with a time code that can be reproduced in time synchronization with the musical sound data. In this case, the following may be performed. As shown in the embodiment, the
<変形例6>
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図7に示すように、例えば、AUX(Auxiliary)端子などの制御信号出力部19を設け、楽曲データ記憶領域14aに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、制御信号データ(第2のデータ)を有するようにする。ここで、制御信号データは、AUX端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコード(同期情報)が付されている。
<Modification 6>
In the embodiment, the lyrics are displayed in accordance with the progress of the music, but in addition to this, other external devices may be controlled in accordance with the progress of the music. In this case, the following configuration may be used. As shown in FIG. 7, for example, a control
そして、図8に示すように、実施形態における楽曲データ選択部101の動作に加えて、楽曲データ記憶領域14aに記憶されている制御信号データを読み出す。そして、制御信号データをデータ読出部103に読み出されるまでRAM13にバッファしておく。データ読出部103は、歌詞データを読み出すときと同様に、タイムコード予測部105から順次出力される予測タイムコードと、制御信号データに付されたタイムコードとを対応させるようにして、楽曲データ選択部101がRAM13にバッファした制御信号データを読み出し、制御信号出力部19に順次出力していく。このようにすると、データ再生装置を有する映像表示装置1は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行に追従して外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部19に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。
Then, as shown in FIG. 8, in addition to the operation of the music
<変形例7>
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、ライブ演奏に別の楽音を楽曲の進行に合わせて再生するようにしてもよい。この場合は、以下のような構成とすればよい。図9に示すように、楽曲データ記憶領域14aに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、MIDIデータ(第2のデータ)を有するようにする。ここで、MIDIデータには、歌詞データと同様に、リファレンス楽音データと時間同期して再生できるように時刻情報(同期情報)が付されている。
<Modification 7>
In the embodiment, the lyrics are displayed in accordance with the progress of the music. However, in addition to this, another musical sound may be reproduced in accordance with the progress of the music in the live performance. In this case, the following configuration may be used. As shown in FIG. 9, the reference music data stored in the music
そして、図10に示すように、楽曲データ選択部101は、実施形態における動作に加えて、楽曲データ記憶領域14aに記憶されているMIDIデータを読み出す。そして、MIDIデータをデータ読出部103に読み出されるまでRAM13にバッファしておく。データ読出部103は、歌詞データを読み出すときと同様に、タイムコード予測部105から順次出力される予測タイムコードと、MIDIデータに付された時間情報とを対応させるようにして、楽曲データ選択部101がRAM13にバッファしたMIDIデータを読み出し、再生部(音源部)107に順次出力する。ここで、時刻情報がタイムコードである場合には、そのまま対応させればよいが、デュレーションなどタイムコード以外の相対時刻を表す情報である場合には、CPU11はリファレンス楽音データと時刻同期して再生できるように設定されるテンポなどを参照してタイムコードを生成して対応させればよい。これにより、データ読出部103から順次出力されたMIDIデータは、読み出されるときに楽曲の進行に合わせるように読み出され再生部107に出力される。そして、再生部107は、このMIDIデータを再生してオーディオデータであるMIDI楽音データを生成し、音声合成部108へ出力する。一方、CPU11によってライブデータバッファ領域13aから読み出されたライブ楽音データも音声合成部108へ出力される。そして、音声合成部108は、ライブ楽音データに係るライブ演奏とMIDI楽音データに係るMIDI演奏とをミキシングした音を合成楽音データとして生成し、音声出力部18へ出力する。なお、ライブ楽音データとMIDI楽音データとをミキシングせずに別々に音声出力部18に出力するようにしてもよい。この場合は、それぞれのデータについて音声出力部18においてミキシングしてもよいし、ミキシングせず異なる放音手段から放音するようにしてもよい。ここで、再生部107は、MIDIデータを再生することができる音源部を有することによって、MIDI楽音データを生成することができる。なお、音源部によって生成されるオーディオデータの楽音の発音内容を示すシーケンスデータであれば、必ずしもMIDIデータでなくてもよい。
As shown in FIG. 10, the music
また、楽曲データ記憶領域14aに記憶されているリファレンス楽曲データのMIDIデータに代えて、リファレンス楽音データと時間同期して再生できるようにタイムコード(同期情報)の付されたオーディオデータである追加楽音データ(第2のデータ)としてもよい。この場合は、以下のように処理される。まず、楽曲データ選択部101は、楽曲データ記憶領域14aに記憶されている追加楽音データを読み出す。そして、追加楽音データをデータ読出部103に読み出されるまでRAM13にバッファしておく。データ読出部103は、歌詞データを読み出すときと同様に、タイムコード予測部105から順次出力される予測タイムコードと、追加楽音データに付されたタイムコードとを対応させるようにして、楽曲データ選択部101がRAM13にバッファした追加楽音データを読み出し、再生部107に順次出力する。これにより、データ読出部103から順次出力された追加楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部107に出力される。そして、再生部107は、この時間軸が伸縮された追加楽音データを新たなオーディオデータとして、音声合成部108へ出力する。その後はMIDIデータの場合と同様に処理すればよい。このようにすれば、映像だけでなく様々な音についても、楽曲の進行にあわせて出力することができる。
Further, instead of the MIDI data of the reference music data stored in the music
<変形例8>
変形例3においては、音声入力部21によって、利用者が演奏する楽曲に合わせて歌詞映像を表示することができたが、さらに楽曲の演奏を再生することにより、カラオケ装置のようにして用いることもできる。この場合には、以下のような構成とすればよい。まず、図11に示すように、記憶部14の楽曲データ記憶領域14aに記憶されているリファレンス楽音データを楽曲のパートごとに録音したトラック(本変形例においては、ボーカルトラック、ギタートラック、ピアノトラック、ベーストラック、ドラムトラック)を有するオーディオデータとする。また、利用者は、操作部(トラック選択手段)16を操作して、演奏するトラック(本変形例においてはボーカル)を選択する。
<Modification 8>
In the third modification, the
そして、図12に示すソフトウエアの構成において、楽曲データ選択部101は、読み出したリファレンス楽音データについて、タイムアライメント部102へ出力するとともに、データ読出部103に読み出されるまでRAM13に歌詞データとともにバッファしておく。タイムアライメント部102は、操作部16を操作して選択されたボーカルトラックと、音声入力部21によって収音されて生成した音声データ(以下、本変形例においては、当該音声データをライブ楽音データという)とを比較する。一方、データ読出部103は、実施形態における歌詞データを読み出す場合と同様にして予測タイムコードに基づいてリファレンス楽音データを読み出し、当該リファレンス楽音データを再生部107へ順次出力する。これにより、データ読出部103から順次出力されたリファレンス楽音データは、読み出されるときに利用者によるボーカルの進行に追従するように時間軸が伸縮されて再生部107に出力される。そして、再生部107は、この時間軸が伸縮されたリファレンス楽音データを再生楽音データとして、音声合成部108へ出力する。以下、音声合成部108の構成について、図13を用いて説明する。
In the software configuration shown in FIG. 12, the music
音声合成部108は、リファレンストラック選択部1082、およびトラック合成部1083を有する。リファレンストラック選択部1082は、入力された再生楽音データのうち、操作部16の操作によって選択されたボーカルトラック以外のトラックを有する再生楽音データをトラック合成部1083に出力する。
The
トラック合成部1083は、CPU11によってライブデータバッファ領域13aから読み出されたライブ楽音データと、リファレンストラック選択部1082から出力されたボーカルトラック以外のトラックを有する再生楽音データをミキシングして、合成楽音データを音声出力部18へ出力する。このようにして生成された合成楽音データを音声出力部18から放音すると、利用者のボーカルの進行にあわせて時間伸縮されたボーカル以外のリファレンス演奏が放音されるから、ボーカルの進行に追従して演奏が時間同期するカラオケ装置のようにすることもできる。なお、リファレンストラック選択部1082の処理は必ずしも音声合成部108において行なわれなくてもよい。この場合は、リファレンストラック選択部1082の処理は、リファレンス楽音データが楽曲データ記憶領域14aから読み出されてから音声出力部18において放音されるまでのどのタイミングでもよい。また、必ずしもボーカルトラックを除外しなくてもよいし、除外する代わりに音量を低減する処理を行なってもよい。さらに、リファレンス楽音データに代えて、またはリファレンス楽音データとともに、変形例7のようにMIDIデータを用いても同様な効果を得ることができる。
The
<変形例9>
変形例3、変形例8においては、楽曲情報データは操作部16を操作して利用者によって入力されていたが、音声入力部21によって収音されて生成した音声データ(以下、本変形例においては、当該音声データをライブ楽音データという)に基づいて、楽曲情報データを生成してもよい。この場合は、図14に示すように楽曲検索部100を設ければよい。ここで、楽曲検索部100は、入力されたライブ楽音データの一部と楽曲データ記憶領域14aに記憶されているリファレンス楽音データの一部(トラック単位でもよい)とを比較して、対応する楽曲を特定し、特定した楽曲の楽曲情報データを出力すればよい。このようにすれば、利用者が自ら楽曲を指定することなく、楽曲情報データを生成して楽曲を特定することができる。なお、これは変形例3、8に限らず実施形態、他の変形例において、楽曲情報データが提供されなかった場合においても適用することができる。
<Modification 9>
In
<変形例10>
実施形態においては、通信部17は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信していたが、図1に破線で示したように、データ入力部20を設けて、これらのデータがデータ入力部20から入力されるようにしてもよい。例えば、これらのデータが、DVD(Digital Versatile Disc)などの記録メディアに記録されたデータであれば、データ入力部は、DVDに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。
<
In the embodiment, the
<変形例11>
実施形態においては、タイムアライメント部102は、楽曲の進行のずれを検出する機能について、DPマッチングを用いていたが、異なった手法によって楽曲の進行のずれを検出するようにしてもよい。例えば、HMM(Hidden Markov Model:隠れマルコフモデル)を用いてもよいし、比較対象である各データから波形の特徴量(音程、音量など)を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。このようにしても、実施形態と同様な効果を得ることができる。
<
In the embodiment, the
1…映像表示装置、10…バス、11…CPU、12…ROM、13…RAM、13a…ライブデータバッファ領域、14…記憶部、14a…楽曲データ記憶領域、15…表示部、16…操作部、17…通信部、18…音声出力部、19…制御信号出力部、20…データ入力部、21…音声入力部、100…楽曲検索部、101…楽曲データ選択部、102…タイムアライメント部、103…データ読出部、104…データ処理部、105…タイムコード予測部、106…映像合成部、107…再生部、108…音声合成部、1082…リファレンストラック選択部、1083…トラック合成部
DESCRIPTION OF
Claims (12)
外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント手段と、
前記タイムアライメント手段によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測手段と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータを読み出すデータ読出手段と、
前記データ読出手段によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成手段と
を具備することを特徴とするデータ再生装置。 Storage means for storing the first audio data and storing the first data having synchronization information for defining the time for each part of the data;
Time alignment means for associating the second audio data supplied from the outside with the first audio data in units of a frame of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion;
Based on a change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment unit, a frame position predicted to be associated by the time alignment unit after a predetermined set time is calculated, and the calculated frame A predicting means for generating time information indicating the time of the position;
Data reading means for reading the first data from the storage means based on the correspondence between the time information and the synchronization information;
And a video data generation unit configured to generate first video data based on the first data read by the data reading unit.
外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント手段と、
前記タイムアライメント手段によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測手段と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータと前記第2のデータとを読み出すデータ読出手段と、
前記データ読出手段によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成手段と
を具備することを特徴とするデータ再生装置。 Storage means for storing the first audio data and the first data and the second data having synchronization information for defining the time for each part of the data;
Time alignment means for associating the second audio data supplied from the outside with the first audio data in units of a frame of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion;
Based on a change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment unit, a frame position predicted to be associated by the time alignment unit after a predetermined set time is calculated, and the calculated frame A predicting means for generating time information indicating the time of the position;
Data reading means for reading out the first data and the second data from the storage means based on the correspondence between the time information and the synchronization information;
And a video data generation unit configured to generate first video data based on the first data read by the data reading unit.
前記第2のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであることを特徴とする請求項2に記載のデータ再生装置。 A sound source unit for generating audio data based on the second data read by the data reading unit;
3. The data reproducing apparatus according to claim 2, wherein the second data is sequence data indicating the pronunciation content of a musical sound related to audio data generated by the sound source unit.
前記データ読出手段は、さらに前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のオーディオデータを読み出すこと
を特徴とする請求項1乃至請求項3のいずれかに記載のデータ再生装置。 The first audio data stored in the storage means has a plurality of tracks having synchronization information that defines the time for each part of the data,
The said data reading means reads the said 1st audio data from the said memory | storage means further based on the correspondence of the said time information and the said synchronization information, The Claim 1 thru | or 3 characterized by the above-mentioned. Data playback device.
前記操作手段の操作に基づいて前記第1のオーディオデータの各トラックのうち、一部のトラックを選択するトラック選択手段と、
前記データ読み出し手段によって読み出された第1のオーディオデータは、前記トラック選択手段によって選択されたトラック以外のデータであること
を特徴とする請求項4に記載のデータ再生装置。 An operation means for inputting a user instruction by operation;
Track selection means for selecting some of the tracks of the first audio data based on the operation of the operation means;
5. The data reproducing apparatus according to claim 4, wherein the first audio data read by the data reading unit is data other than the track selected by the track selection unit.
前記操作手段の操作に基づいて前記第1のオーディオデータの各トラックのうち、一部のトラックを選択する第1のトラック選択手段と、
前記タイムアライメント手段は、外部から供給される第2のオーディオデータと、前記第1のオーディオデータのうち前記トラック選択手段によって選択されたトラックとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成すること
を特徴とする請求項4または請求項5に記載のデータ再生装置。 An operation means for inputting a user instruction by operation;
First track selection means for selecting a part of the tracks of the first audio data based on the operation of the operation means;
The time alignment unit associates the second audio data supplied from the outside with the track selected by the track selection unit of the first audio data in a frame unit of a predetermined time length, and 6. The data reproducing apparatus according to claim 4, wherein correspondence information indicating the frame positions of the frames is sequentially generated.
を特徴とする請求項1乃至請求項6のいずれかに記載のデータ再生装置。 The preset set time is set as a time from when the second audio data is supplied to the time alignment means to when the video data generating means generates the first video data. The data reproduction apparatus according to any one of claims 1 to 6.
前記映像合成手段は、外部から供給され、前記第2のオーディオデータと時間同期がとられた第2の映像データに係る映像に対して、前記映像データ生成手段によって生成された第1の映像データに係る映像をスーパーインポーズすること
を特徴とする請求項1乃至請求項7のいずれかに記載のデータ再生装置。 A plurality of video data is input, and further comprising video composition means for superimposing a video related to other video data on a video related to one video data among the plurality of video data,
The video synthesizing means is supplied from outside, and the first video data generated by the video data generating means for the video related to the second video data synchronized with the second audio data. The data reproducing apparatus according to any one of claims 1 to 7, wherein the video according to the above is superimposed.
前記タイムアライメント過程によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測過程と、
第1のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第1のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第1のデータを読み出すデータ読出過程と、
前記データ読出過程において読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成過程と
を備えることを特徴とするデータ再生方法。 Time alignment in which second audio data supplied from the outside and first audio data stored in the storage means are associated with each other in units of frames having a predetermined time length, and correspondence information indicating the frame position of the corresponding portion is sequentially generated. Process,
Based on the change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment process, the frame position predicted to be associated with the time alignment process after a predetermined set time is calculated, and the calculated frame A prediction process for generating time information indicating the time of the position;
Based on the correspondence between the time information and the synchronization information, the first audio data is stored and the first data having the synchronization information for defining the time for each part of the data is stored. A data reading process for reading one data;
And a video data generating process for generating first video data based on the first data read in the data reading process.
前記タイムアライメント過程によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測過程と、
第1のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第1のデータおよび第2のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第1のデータと前記第2のデータとを読み出すデータ読出過程と、
前記データ読出過程において読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成過程と
を備えることを特徴とするデータ再生方法。 Time alignment in which second audio data supplied from the outside and first audio data stored in the storage means are associated with each other in units of frames having a predetermined time length, and correspondence information indicating the frame position of the corresponding portion is sequentially generated. Process,
Based on the change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment process, the frame position predicted to be associated with the time alignment process after a predetermined set time is calculated, and the calculated frame A prediction process for generating time information indicating the time of the position;
The first audio data is stored, and from the storage means for storing the first data and the second data having the synchronization information for defining the time for each part of the data, the correspondence between the time information and the synchronization information A data reading process for reading out the first data and the second data,
And a video data generating process for generating first video data based on the first data read in the data reading process.
前記記憶手段に第1のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第1のデータを記憶させる記憶機能と、
外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント機能と、
前記タイムアライメント機能によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測機能と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータを読み出すデータ読出機能と、
前記データ読出機能によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成機能と
を実現させるためのコンピュータ読み取り可能なプログラム。 In a computer having storage means,
A storage function for storing the first audio data in the storage means and storing the first data having synchronization information for defining the time for each part of the data;
A time alignment function for associating the second audio data supplied from the outside with the first audio data in units of a frame of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion;
Based on the change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment function, the frame position predicted to be associated by the time alignment function after a predetermined set time is calculated, and the calculated frame A prediction function for generating time information indicating the time of the position;
A data read function for reading the first data from the storage means based on the correspondence between the time information and the synchronization information;
A computer-readable program for realizing a video data generation function for generating first video data based on first data read by the data read function.
前記記憶手段に第1のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第1のデータを記憶させる記憶機能と、
外部から供給される第2のオーディオデータと前記第1のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応部分のフレーム位置を示す対応情報を順次生成するタイムアライメント機能と、
前記タイムアライメント機能によって順次生成された対応情報が示すフレーム位置の間隔の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能が対応づけると予測されるフレーム位置を算出し、算出したフレーム位置の時刻を示す時刻情報を生成する予測機能と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第1のデータと前記第2のデータとを読み出すデータ読出機能と、
前記データ読出機能によって読み出された第1のデータに基づいて第1の映像データを生成する映像データ生成機能と
を実現させるためのコンピュータ読み取り可能なプログラム。 In a computer having storage means,
A storage function for storing the first audio data in the storage means and storing the first data having synchronization information for defining the time for each part of the data;
A time alignment function for associating the second audio data supplied from the outside with the first audio data in units of a frame of a predetermined time length, and sequentially generating correspondence information indicating the frame position of the corresponding portion;
Based on the change in the interval between the frame positions indicated by the correspondence information sequentially generated by the time alignment function, the frame position predicted to be associated by the time alignment function after a predetermined set time is calculated, and the calculated frame A prediction function for generating time information indicating the time of the position;
A data read function for reading out the first data and the second data from the storage means based on the correspondence between the time information and the synchronization information;
A computer-readable program for realizing a video data generation function for generating first video data based on first data read by the data read function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007031064A JP4458096B2 (en) | 2007-02-09 | 2007-02-09 | Data reproducing apparatus, data reproducing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007031064A JP4458096B2 (en) | 2007-02-09 | 2007-02-09 | Data reproducing apparatus, data reproducing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008197270A true JP2008197270A (en) | 2008-08-28 |
JP4458096B2 JP4458096B2 (en) | 2010-04-28 |
Family
ID=39756290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007031064A Expired - Fee Related JP4458096B2 (en) | 2007-02-09 | 2007-02-09 | Data reproducing apparatus, data reproducing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4458096B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010085581A (en) * | 2008-09-30 | 2010-04-15 | Victor Co Of Japan Ltd | Lyrics data display, lyrics data display method, and lyrics data display program |
JP2012093632A (en) * | 2010-10-28 | 2012-05-17 | Yamaha Corp | Sound processor |
CN103597543A (en) * | 2011-02-03 | 2014-02-19 | 弗兰霍菲尔运输应用研究公司 | Semantic audio track mixer |
JP2015179116A (en) * | 2014-03-18 | 2015-10-08 | 株式会社エクシング | Server device, karaoke communication terminal device, program and data providing method |
JP2023515122A (en) * | 2020-02-20 | 2023-04-12 | アンテスコフォ | Improved Synchronization of Prerecorded Musical Accompaniment as User Plays Music |
-
2007
- 2007-02-09 JP JP2007031064A patent/JP4458096B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010085581A (en) * | 2008-09-30 | 2010-04-15 | Victor Co Of Japan Ltd | Lyrics data display, lyrics data display method, and lyrics data display program |
JP2012093632A (en) * | 2010-10-28 | 2012-05-17 | Yamaha Corp | Sound processor |
CN103597543A (en) * | 2011-02-03 | 2014-02-19 | 弗兰霍菲尔运输应用研究公司 | Semantic audio track mixer |
KR101512259B1 (en) * | 2011-02-03 | 2015-04-15 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | Semantic audio track mixer |
US9532136B2 (en) | 2011-02-03 | 2016-12-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Semantic audio track mixer |
JP2015179116A (en) * | 2014-03-18 | 2015-10-08 | 株式会社エクシング | Server device, karaoke communication terminal device, program and data providing method |
JP2023515122A (en) * | 2020-02-20 | 2023-04-12 | アンテスコフォ | Improved Synchronization of Prerecorded Musical Accompaniment as User Plays Music |
JP7366282B2 (en) | 2020-02-20 | 2023-10-20 | アンテスコフォ | Improved synchronization of pre-recorded musical accompaniments when users play songs |
Also Published As
Publication number | Publication date |
---|---|
JP4458096B2 (en) | 2010-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4124247B2 (en) | Music practice support device, control method and program | |
TWI492216B (en) | Display control apparatus, method, and computer-readable recording medium | |
JP5151245B2 (en) | Data reproducing apparatus, data reproducing method and program | |
JP4458096B2 (en) | Data reproducing apparatus, data reproducing method and program | |
JP2004205817A (en) | Karaoke apparatus | |
JP4595947B2 (en) | Data reproducing apparatus, data reproducing method and program | |
JP5012263B2 (en) | Performance clock generating device, data reproducing device, performance clock generating method, data reproducing method and program | |
JP4595948B2 (en) | Data reproducing apparatus, data reproducing method and program | |
JP5092589B2 (en) | Performance clock generating device, data reproducing device, performance clock generating method, data reproducing method and program | |
JP2009169103A (en) | Practice support device | |
JP4470947B2 (en) | Data reproducing apparatus, data reproducing method and program | |
JP4506750B2 (en) | Content playback device | |
JP4561735B2 (en) | Content reproduction apparatus and content synchronous reproduction system | |
JP2008197272A (en) | Data reproducer, data reproducing method and program | |
JP5672960B2 (en) | Sound processor | |
JP6657866B2 (en) | Sound effect imparting device and sound effect imparting program | |
JP2008244888A (en) | Communication device, communication method, and program | |
JP4182898B2 (en) | Karaoke equipment | |
JP4539647B2 (en) | Content playback device | |
JP5012269B2 (en) | Performance clock generating device, data reproducing device, performance clock generating method, data reproducing method and program | |
JP2009244790A (en) | Karaoke system with singing teaching function | |
JP2010181769A (en) | Karaoke device, and control method and control program for same | |
JP4967747B2 (en) | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM | |
JP2007233078A (en) | Evaluation device, control method, and program | |
JP4506749B2 (en) | Content playback device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100201 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |