JP2008286946A - データ再生装置、データ再生方法およびプログラム - Google Patents

Abstract

【課題】ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせた映像データの再生を簡単に行うことができるとともに、再生するデータを楽曲に応じて加工したり、通信網を介して取得したりすることもできるデータ再生装置、データ再生方法およびプログラムを提供すること。
【解決手段】本発明のデータ再生装置を有する映像表示装置は、同期情報に基づいて、データ読出部１０３が歌詞データ、楽譜加工データを読み出すことにより、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせて事前に準備したデータを再生することができる。また、楽譜映像は、加工情報に基づいて加工された楽譜加工データによって生成された楽譜映像データに係る映像であるから、同じ楽曲でも和音コードの用い方が異なるなどして演奏が異なる場合に、当該異なった演奏にあわせた映像とすることができる。
【選択図】図３

Description

本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。

一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータである歌詞データおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。

また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
特開２００３−１５６７５号公報 特開２０００−３４７６７６号公報

しかし、特許文献１に開示された技術を用いる場合には、伴奏データはＭＩＤＩ形式のデータの再生であるため、ＭＩＤＩ形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献２に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、ライブ演奏の場合には、演奏者によっては、演奏をアレンジしたり、歌詞を変えたりして、多様な演奏となることがあり、それぞれの演奏に合わせたシーケンスデータを全て用意しておく必要があった。さらに、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。

本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるとともに、再生するデータを楽曲に応じて加工したり、通信網を介して取得したりすることもできるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、データ各部についての時刻を規定する時刻情報を有した第１のデータを取得するデータ取得手段と、前記第１のデータの加工内容を示す加工情報を取得する加工情報取得手段と、前記加工情報に基づいて、前記データ取得手段が取得した第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する加工データ生成手段と、前記加工データ生成手段が生成した加工データを記憶する加工データ記憶手段と、データの読み出し時刻を示す同期情報を取得する同期情報取得手段と、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶手段から加工データを読み出すデータ読出手段と、外部から供給される第２のデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、別の好ましい態様において、前記加工情報取得手段は、外部機器からの通信によって加工情報を受信して取得してもよい。

また、別の好ましい態様において、前記加工情報を記憶する加工情報記憶手段をさらに具備し、前記加工情報取得手段は、前記加工情報記憶手段から加工情報を読み出して取得してもよい。

また、別の好ましい態様において、前記データ取得手段は、外部機器からの通信によって前記第１のデータを受信して取得してもよい。

また、別の好ましい態様において、前記第１のデータを記憶する第１のデータ記憶手段をさらに具備し、前記データ取得手段は、前記第１のデータ記憶手段から第１のデータを読み出して取得してもよい。

また、本発明は、データ各部についての時刻を規定する時刻情報を有した第１のデータと、前記第１のデータの加工内容を示す加工情報とを有し、前記加工情報に基づいて第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する外部機器からの通信によって、前記加工データを受信する加工データ受信手段と、前記加工データ受信手段が受信した加工データを記憶する加工データ記憶手段と、データの読み出し時刻を示す同期情報を取得する同期情報取得手段と、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶手段から加工データを読み出すデータ読出手段と、外部から供給される第２のデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、別の好ましい態様において、リファレンスデータを記憶するリファレンスデータ記憶手段と、前記外部から供給される第２のデータと前記リファレンスデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す同期情報を生成するタイムアライメント手段とをさらに具備し、前記同期情報取得手段は、前記タイムアライメント手段によって生成された同期情報を取得してもよい。

また、別の好ましい態様において、前記データ読出手段によって読み出された加工データに基づいて映像データを生成する映像データ生成手段をさらに具備してもよい。

また、別の好ましい態様において、データ各部についての時刻を規定する時刻情報を有した第３のデータを記憶する第３のデータ記憶手段をさらに具備し、前記データ読出手段は、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶手段から加工データを読み出すとともに、前記第３のデータ記憶手段から第３のデータを読み出し、前記映像データ生成手段は、前記データ読出手段によって読み出された加工データと第３のデータとに基づいて映像データを生成してもよい。

また、本発明は、データ各部についての時刻を規定する時刻情報を有した第１のデータを取得するデータ取得過程と、前記第１のデータの加工内容を示す加工情報を取得する加工情報取得過程と、前記加工情報に基づいて、前記データ取得過程において取得した第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する加工データ生成過程と、前記加工データ生成過程において生成した加工データを記憶する加工データ記憶過程と、データの読み出し時刻を示す同期情報を取得する同期情報取得過程と、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶過程において記憶した加工データを読み出すデータ読出過程と、外部から供給される第２のデータを所定量遅延させる遅延過程とを具備することを特徴とするデータ再生方法を提供する。

また、本発明は、データ各部についての時刻を規定する時刻情報を有した第１のデータと、前記第１のデータの加工内容を示す加工情報とを有し、前記加工情報に基づいて第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する外部機器からの通信によって、前記加工データを受信する加工データ受信過程と、前記加工データ受信過程において受信した加工データを記憶する加工データ記憶過程と、データの読み出し時刻を示す同期情報を取得する同期情報取得過程と、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶過程において記憶した加工データを読み出すデータ読出過程と、外部から供給される第２のデータを所定量遅延させる遅延過程とを具備することを特徴とするデータ再生方法を提供する。

また、本発明は、コンピュータに、データ各部についての時刻を規定する時刻情報を有した第１のデータを取得するデータ取得機能と、前記第１のデータの加工内容を示す加工情報を取得する加工情報取得機能と、前記加工情報に基づいて、前記データ取得機能において取得した第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する加工データ生成機能と、前記加工データ生成過程において生成した加工データを記憶する加工データ記憶機能と、データの読み出し時刻を示す同期情報を取得する同期情報取得機能と、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶機能において記憶した加工データを読み出すデータ読出機能と、外部から供給される第２のデータを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。

また、本発明は、コンピュータに、データ各部についての時刻を規定する時刻情報を有した第１のデータと、前記第１のデータの加工内容を示す加工情報とを有し、前記加工情報に基づいて第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する外部機器からの通信によって、前記加工データを受信する加工データ受信機能と、前記加工データ受信機能において受信した加工データを記憶する加工データ記憶機能と、データの読み出し時刻を示す同期情報を取得する同期情報取得機能と、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶機能において記憶した加工データを読み出すデータ読出機能と、外部から供給される第２のデータを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。

本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるとともに、再生するデータを楽曲に応じて加工したり、通信網を介して取得したりすることもできるデータ再生装置、データ再生方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
本発明の実施形態に係る映像表示装置１は、図１に示すように、通信網１００を介してサーバ２とデータの送受信を行う。図２は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置１のハードウエアの構成を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、映像表示装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。

さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（第２のデータ）、ライブ楽音データ（第２のデータ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報（以下、楽曲情報という）、後述する楽譜データの加工に関する情報（以下、加工情報という）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。

ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。

記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ（リファレンスデータ）、歌詞データ（第３のデータ）および楽譜データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（時刻情報）が付されている。

楽譜データは、楽曲の伴奏における和音コードを示す和音コードデータと、当該和音コードデータの各和音コードの表示タイミングを示すデータとを有するシーケンスデータであって、歌詞情報と同様にタイムコードが付されている。そして、リファレンス楽音データと、歌詞データおよび楽譜データは、同じ時刻を示すタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞と楽譜（和音コード譜）が表示されるようになっている。

表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、映像表示装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

通信部１７は、有線、無線などによって、サーバ２とデータの送受信を行う通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報、加工情報を受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。

音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。

次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現するデータ再生の機能について説明する。図３は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報を読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データ、歌詞データおよび楽譜データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データをタイムアライメント部１０２へ出力するとともに、読み出した楽譜データは後述するデータ加工部１０７に出力する。また、読み出した歌詞データについては、後述するデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。

データ加工部１０７は、ライブデータバッファ領域１３ａから加工情報を読み取り、当該加工情報に基づいて楽曲データ選択部１０１から出力された楽譜データを加工して、楽譜加工データを生成する。そして当該楽譜加工データは、データ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。具体的な一例として、本実施形態における加工情報について説明する。

加工情報は、楽譜データが示す和音コードを削除、他の和音コードに置換、和音コードの追加などを行うことにより当該楽譜データを加工するための情報であって、加工を行う楽譜データ上の位置を示すタイムコードと加工後のデータとを有する。ここで、加工後のデータとは、和音コードを削除する場合には、削除を指示するデータまたは表示を停止するデータ、また、和音コードの追加する場合、他の和音コードに置換する場合には、当該追加される又は置換される和音コードを示すデータである。

例えば、加工情報において、タイムコードＴｎに対応する和音コードがＧ９であり、楽譜データにおいて、タイムコードＴｎに対応する和音コードがＧ７である場合、データ加工部１０７は、楽譜データにおけるタイムコードＴｎに対応する和音コードＧ７をＧ９に置き換える。また、加工情報において、タイムコードＴｍに対応する和音コードがＤｍ７であり、楽譜データにおいて、タイムコードＴｍに対応する和音コードが存在しない場合、データ加工部１０７は、楽譜データにおけるタイムコードＴｍに対応する和音コードがＤｍ７であるとしてデータを追加する。さらに、加工情報において、タイムコードＴｋに対応する和音コードが指定無し、または削除指令であり、楽譜データにおいて、あるタイムコードＴｋに対応する和音コードがＣ７である場合には、データ加工部１０７は、楽譜データにおけるタイムコードＴｋに対応する和音コードＣ７を削除する。このようにして、データ加工部１０７は、楽譜データを加工して、楽譜加工データを生成する。これにより、例えば、同じ楽曲でも演奏者によって和音コードの用い方が異なるなどして演奏が異なっている場合であっても、楽譜データと異なっている部分を示す加工情報を受信し、当該加工情報に基づいて楽譜データを加工することにより、当該演奏にあわせた楽譜加工データを生成することができる。

タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード（同期情報）を出力する機能を有している。

ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。

タイムアライメント部１０２は、図４に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。

そして、タイムアライメント部１０２は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。

そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図４に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。

次に、タイムアライメント部１０２が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部１０２は、上述したように、ライブ楽音データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。

図３に戻って、説明を続ける。データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。また、同様にして、データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、楽譜加工データに付されたタイムコードとを対応させるようにして、データ加工部１０７がＲＡＭ１３にバッファした楽譜加工データを読み出し、データ処理部１０４に順次出力していく。

そして、データ処理部１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データを生成し、映像合成部１０６に出力する。また、データ処理部１０４は、データ読出部１０３から順次出力された楽譜加工データに基づいて楽譜映像データを生成し、映像合成部１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータとを有する歌詞データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。また、楽曲の伴奏における和音コードを示す和音コードデータと、その和音コードの表示タイミングを示すデータとを有する楽譜データを加工情報に基づいて加工した楽譜加工データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、楽譜映像データは、和音コードの表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。また、楽譜加工データは、データ加工部１０７で加工されたデータであるから、楽譜データが示す和音コードが加工情報に基づいて変更された映像のデータとして生成される。

遅延部１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述したタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データおよび楽譜映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データおよび楽譜映像データは時間同期したものとなる。

映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）および楽譜映像データに係る楽譜の映像（以下、楽譜映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像および楽譜映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像および楽譜映像が合成されることによって、その歌詞映像、楽譜映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。

このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像および楽譜映像が合成された映像と楽曲とを再生することができる。また、楽譜映像は、受信した加工情報に基づいて楽譜データを加工した楽譜加工データによって生成された楽譜映像データに係る映像であるから、同じ楽曲でも演奏者によって和音コードの用い方が異なるなどして演奏が異なる場合であっても、当該異なった演奏にあわせた映像とすることができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
実施形態においては、加工情報は楽譜データにおける和音コードを変更、追加、削除を行うための情報であり、楽譜データのデータ各部のデータ内容の加工を行っていたが、楽譜データにおけるタイムコードの変更を行うための情報としてもよい。この場合は、加工情報は、変更前後のタイムコードを示す情報とすればよい。このようにすれば、例えば、Ａメロ、Ｂメロが入れ替わっているなど楽曲の構成が変更されている場合にも、その楽曲の構成にあわせた加工を行うことができる。なお、タイムコードの変更により、楽譜加工データにおけるデータの各部をタイムコードの順に並び替えてデータの再構成を行ってもよい。

＜変形例２＞
実施形態においては、加工情報は楽譜データを加工するための情報であったが、歌詞データを加工するための情報としてもよい。この場合は、楽曲情報は、追加、変更する和音コードに替えて、歌詞を示すテキストデータとすればよい。また、楽曲データ選択部１０１は歌詞データをＲＡＭ１３にバッファする代わりにデータ加工部１０７へ出力すればよい。このようにすれば、歌詞データの加工を行うことができる。ここで、加工情報に基づいて加工されるデータが歌詞データであるか楽譜データであるかについては、加工情報に基づいて加工されるデータを示す情報を楽曲情報が有するようにし、楽曲データ選択部１０１は、楽曲情報が示す加工されるデータをデータ加工部１０７に出力する。なお、加工情報に基づいて加工されるデータを加工情報が有するようにすれば、楽曲データ選択部１０１は、歌詞データおよび楽譜データをともにデータ加工部１０７に出力し、データ加工部１０７は、加工情報が示す加工されるデータに対応するデータを加工するようにすれば良い。このようにすれば、加工情報を複数受信することにより、各加工情報に対応する複数のデータ例えば楽譜データと歌詞データ双方を加工することもできる。

＜変形例３＞
実施形態においては、映像表示装置１のデータ加工部１０７は、サーバ２から加工情報を受信し、当該加工情報に基づいて楽譜データを加工して楽譜加工データを生成していたが、楽譜加工データをサーバ２から受信するようにしてもよい。この場合、サーバ２は、加工情報と楽譜データとを記憶し、当該加工情報に基づいて当該楽譜データを加工して生成した楽譜加工データを映像表示装置１に送信するようにすればよい。そして、図５に示すように、映像表示装置１の通信部１７は、サーバ２から受信した楽譜加工データをライブデータバッファ領域１３ａにバッファし、データ読出部１０３は、バッファされた楽譜加工データを読み出すようにすればよい。このようにすれば、映像表示装置１においてデータ加工を行わなくてもよいから、データ加工部１０７を用いなくてもよく、楽曲データ記憶領域１４ａに楽譜データを記憶させる必要も無い。なお、サーバ２は、事前に楽譜データを加工した楽譜加工データを記憶しておき、当該楽譜加工データを送信してもよいし、加工されたデータではなく加工前のデータ、すなわち楽譜データを送信してもよい。このようにすれば、楽曲データ記憶領域１４ａに楽曲情報が特定する楽曲に対応する楽譜データが記憶されていない場合に、ＣＰＵ１１がサーバ２に楽譜データなどを要求することにより、サーバ２から楽譜データなどを受信して楽曲データ記憶領域１４ａに記憶させることもできる。

＜変形例４＞
実施形態においては、加工情報はサーバ２から受信していたが、映像表示装置１は、受信した楽曲情報に基づいて、必要な加工情報をサーバ２に要求して、サーバ２に要求した加工情報を送信させてもよい。この場合には、サーバ２は、楽曲と楽曲の演奏者とに対応させて加工情報を記憶しておく。そして、楽曲情報が楽曲の演奏者の情報を有するようにし、映像表示装置１は、楽曲と、楽曲の演奏者と示す情報をサーバ２に送信し、サーバ２は、送信された情報に対応する加工情報を特定し、映像表示装置１に送信するようにすればよい。このようにすれば、ライブ楽音データ、ライブ映像データ、楽曲情報を送信するサーバと加工情報を送信するサーバが異なるサーバとすることもできる。また、受信した加工情報を楽曲データ記憶領域１４ａに記憶しておいてもよい。このようにすれば、次に同一のデータを再生するときに、要求すべき加工情報が楽曲データ記憶領域１４ａに記憶されているかをＣＰＵ１１が判断し、記憶されているときには、サーバ２へ要求せずに記憶されている加工情報を用いることができる。なお、楽曲と楽曲の演奏者とに対応させて加工情報を特定していたが、演奏者に限らず、例えば演奏日時、編曲者、識別番号など、映像表示装置１が受信しているライブ楽音データ、ライブ映像データについての編曲内容を特定することができる情報であればよい。そして、サーバ２に記憶する加工情報に対して、当該情報を対応付けておけばよい。

＜変形例５＞
実施形態においては、タイムコードの生成は、ライブ楽音データに基づいてタイムアライメント部１０２において行っていたが、他の方法によって行なわれてもよい。例えば、図６に示すように、通信部１７は、サーバ２から同期情報を受信してライブデータバッファ領域１３ａにバッファした後、ライブ楽音データ、ライブ映像データにあわせて出力する。そして、出力された同期情報に基づいてタイムコードを生成するタイムコード生成部１０８を設ければよい。ここで、同期情報は、再生するデータの位置の時間変化を示すものであれば、どのような情報でもよい。例えば、サーバ２において、タイムアライメント部１０２において行われている処理を行い、再生位置とテンポを同期情報とすればよい。このようにすれば、タイムアライメント部１０２における同期処理の一部または全部を送信側であるサーバ２で行うこともできる。なお、タイムアライメント部１０２における同期処理は、ＤＰマッチングを用いていたが、異なった手法によって同期処理をするようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。また、映像表示装置１のタイムアライメント部１０２においても処理を行うときには、受信した同期情報も用いて処理を行うことにより、タイムアライメント部１０２における処理の精度を向上させてもよい。

＜変形例６＞
実施形態においては、タイムアライメント部１０２における同期処理は、ライブ楽音データとリファレンス楽音データを比較することにより行われていた。ここで、楽曲データ記憶領域１４ａに、楽曲の進行における映像の見本となるリファレンス映像データを記憶させることにより、タイムアライメント部１０２は、ライブ映像データとリファレンス映像データを比較することにより同期処理を行なうようにしてもよい。この場合は、映像全体で比較してもよいし、例えば映像のうち一部分の特徴、例えば歌唱者の唇付近を抽出して、その動きの特徴量を比較することによって同期処理を行えばよい。このようにしても、タイムアライメント部１０２における同期処理ができる。

＜変形例７＞
実施形態においては、楽曲の進行にあわせて再生するデータは歌詞データと楽譜データであったが、歌詞データは無くてもよい。また、歌詞データを加工情報に基づいて加工する場合には、楽譜データは無くてもよい。また、歌詞データ、楽譜データに替えて、以下のような様々なデータを用いることもできる。

例えば、歌詞データは、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データであってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したようにタイムコードを参照し、映像データである歌詞データを読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データとして生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力された音声データの楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。また、このような映像データである歌詞データを加工する場合には、データ加工部１０７において歌詞データを加工し、加工情報は、歌詞データに係る映像に、視覚効果などを付与するような加工を行う情報としてもよい。なお、楽譜データについても同様である。

また、実施形態においては、楽曲の進行に合わせて歌詞、和音コードを表示させるようにしていたが、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図７に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部１９を設け、楽曲データ記憶領域１４ａに制御信号データを記憶するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データ、楽譜データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコードが付されている。そして、データ読出部１０３によって読み出された制御信号データを制御信号出力部１９から出力するようにすればよい。また、上述したように、データ加工部１０７によって制御信号データを加工することもできる。このようにすると、映像表示装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行にあわせて外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部１９に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。

その他にも、楽曲データ記憶領域１４ａに、リファレンス楽音データと時間同期して再生できるようにタイムコードなどの時刻情報が付されたＭＩＤＩデータ、音声データを記憶させてもよい。このようにすれば、データ読出部１０３がこれらのデータを読み出して、音声合成手段によって受信音声データとミキシングして音声出力部１８に出力することにより、楽曲の進行に合わせて音声出力部１８からＭＩＤＩデータ、音声データに基づく楽音を放音させることができる。ここで、ＭＩＤＩデータを用いる場合には、ＭＩＤＩデータを再生して音声データとして出力する音源をデータ処理部１０４に設け、音声合成手段によってデータ処理部１０４から出力された音声データを受信音声データとミキシングして音声出力部１８に出力するようにすればよい。なお、この場合においても、上述したようにデータ加工部１０７においてＭＩＤＩデータ、音声データを加工することができ、加工情報は、ＭＩＤＩデータのデルタタイム、イベントなどを加工する情報としたり、音声データに係る音声に、音響効果などを付与するような加工を行う情報としたりすればよい。

＜変形例８＞
実施形態においては、楽譜データの加工はデータ加工部１０７において行われたが、データ処理部１０４において行なってもよい。この場合は、図８に示すように、加工情報がデータ処理部１０４に出力される構成とすればよい。そして、加工情報が視覚効果などを与える情報とすることで、データ処理部１０４は、楽譜映像データを生成するときに、加工情報が示す視覚効果を与えるようにすればよい。また、変形例７のようにＭＩＤＩデータを用いた場合は、加工情報が音響効果などを与える情報とすることで、データ処理部１０４は、ＭＩＤＩデータを再生して得られる音声データに、加工情報が示す音響効果を与えるようにすればよい。このようにしても、加工情報に基づいて各データの加工を行うことができる。

＜変形例９＞
実施形態においては、データ読出部１０３が各データの読み出しに用いるタイムコードについて、タイムアライメント部１０２がライブ楽音データとリファレンス楽音データとの比較に基づいて生成していたが、リファレンス楽音データを用いずに、ライブ楽音データに基づいてタイムコードを生成するようにしてもよい。この場合は、図９に示すように、タイムアライメント部１０２の代わりにビート抽出部１０９を用いるようにすればよい。ビート抽出部１０９は、ライブ楽音データに係るライブ演奏の音量レベルを検出し、その音量レベルの変化（例えば、急激に音量レベルが大きくなる部分）に基づいてビートを抽出し、ライブ演奏のＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ）値を計算する。そして、ＢＰＭ値とライブ演奏が開始されてから経過した時間とに基づいて、タイムコードを順次生成して、データ読出部１０３に出力する。ここで、ライブ演奏が開始された時点の特定は、ビート抽出部１０９にライブ楽音データが供給された時点としてもよいし、楽曲情報にライブ演奏の開始時点を示す情報を持たせて、楽曲情報がビート抽出部１０９にも出力されるようにすればよい。また、ビート抽出部１０９にライブ楽音データが入力された時点において、ライブ演奏が既に途中まで進んでいる場合には、楽曲情報にライブ演奏が開始された時点から経過した時刻を持たせて、楽曲情報がビート抽出部１０９に出力されるようにすればよい。このようにすれば、リファレンス楽音データが無くても、実施形態と同様な効果を得ることができる。

＜変形例１０＞
実施形態においては、通信部１７は、有線、無線などによって、サーバ２とデータの送受信を行う通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データなどを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。

実施形態に係る映像表示装置とサーバの接続を示すブロック図である。 実施形態に係る映像表示装置のハードウエアの構成を示すブロック図である。 実施形態に係る映像表示装置のソフトウエアの構成を示すブロック図である。 ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。 変形例３に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例５に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例７に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例８に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例９に係る映像表示装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…映像表示装置、２…サーバ、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、１９…制御信号出力部、２０…データ入力部、１００…通信網、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…データ加工部、１０８…タイムコード生成部、１０９…ビート抽出部

Claims (13)

1. データ各部についての時刻を規定する時刻情報を有した第１のデータを取得するデータ取得手段と、
   前記第１のデータの加工内容を示す加工情報を取得する加工情報取得手段と、
   前記加工情報に基づいて、前記データ取得手段が取得した第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する加工データ生成手段と、
   前記加工データ生成手段が生成した加工データを記憶する加工データ記憶手段と、
   データの読み出し時刻を示す同期情報を取得する同期情報取得手段と、
   前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶手段から加工データを読み出すデータ読出手段と、
   外部から供給される第２のデータを所定量遅延させる遅延手段と
   を具備することを特徴とするデータ再生装置。
2. 前記加工情報取得手段は、外部機器からの通信によって加工情報を受信して取得する
   ことを特徴とする請求項１に記載のデータ再生装置。
3. 前記加工情報を記憶する加工情報記憶手段をさらに具備し、
   前記加工情報取得手段は、前記加工情報記憶手段から加工情報を読み出して取得する
   ことを特徴とする請求項１に記載のデータ再生装置。
4. 前記データ取得手段は、外部機器からの通信によって前記第１のデータを受信して取得する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ再生装置。
5. 前記第１のデータを記憶する第１のデータ記憶手段をさらに具備し、
   前記データ取得手段は、前記第１のデータ記憶手段から第１のデータを読み出して取得する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ再生装置。
6. データ各部についての時刻を規定する時刻情報を有した第１のデータと、前記第１のデータの加工内容を示す加工情報とを有し、前記加工情報に基づいて第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する外部機器からの通信によって、前記加工データを受信する加工データ受信手段と、
   前記加工データ受信手段が受信した加工データを記憶する加工データ記憶手段と、
   データの読み出し時刻を示す同期情報を取得する同期情報取得手段と、
   前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶手段から加工データを読み出すデータ読出手段と、
   外部から供給される第２のデータを所定量遅延させる遅延手段と
   を具備することを特徴とするデータ再生装置。
7. リファレンスデータを記憶するリファレンスデータ記憶手段と、
   前記外部から供給される第２のデータと前記リファレンスデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す同期情報を生成するタイムアライメント手段と
   をさらに具備し、
   前記同期情報取得手段は、前記タイムアライメント手段によって生成された同期情報を取得する
   ことを特徴とする請求項１乃至請求項６のいずれかに記載のデータ再生装置。
8. 前記データ読出手段によって読み出された加工データに基づいて映像データを生成する映像データ生成手段をさらに具備する
   ことを特徴とする請求項１乃至請求項７のいずれかに記載のデータ再生装置。
9. データ各部についての時刻を規定する時刻情報を有した第３のデータを記憶する第３のデータ記憶手段をさらに具備し、
   前記データ読出手段は、前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶手段から加工データを読み出すとともに、前記第３のデータ記憶手段から第３のデータを読み出し、
   前記映像データ生成手段は、前記データ読出手段によって読み出された加工データと第３のデータとに基づいて映像データを生成する
   ことを特徴とする請求項８に記載のデータ再生装置。
10. データ各部についての時刻を規定する時刻情報を有した第１のデータを取得するデータ取得過程と、
    前記第１のデータの加工内容を示す加工情報を取得する加工情報取得過程と、
    前記加工情報に基づいて、前記データ取得過程において取得した第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する加工データ生成過程と、
    前記加工データ生成過程において生成した加工データを記憶する加工データ記憶過程と、
    データの読み出し時刻を示す同期情報を取得する同期情報取得過程と、
    前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶過程において記憶した加工データを読み出すデータ読出過程と、
    外部から供給される第２のデータを所定量遅延させる遅延過程と
    を具備することを特徴とするデータ再生方法。
11. データ各部についての時刻を規定する時刻情報を有した第１のデータと、前記第１のデータの加工内容を示す加工情報とを有し、前記加工情報に基づいて第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する外部機器からの通信によって、前記加工データを受信する加工データ受信過程と、
    前記加工データ受信過程において受信した加工データを記憶する加工データ記憶過程と、
    データの読み出し時刻を示す同期情報を取得する同期情報取得過程と、
    前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶過程において記憶した加工データを読み出すデータ読出過程と、
    外部から供給される第２のデータを所定量遅延させる遅延過程と
    を具備することを特徴とするデータ再生方法。
12. コンピュータに、
    データ各部についての時刻を規定する時刻情報を有した第１のデータを取得するデータ取得機能と、
    前記第１のデータの加工内容を示す加工情報を取得する加工情報取得機能と、
    前記加工情報に基づいて、前記データ取得機能において取得した第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する加工データ生成機能と、
    前記加工データ生成過程において生成した加工データを記憶する加工データ記憶機能と、
    データの読み出し時刻を示す同期情報を取得する同期情報取得機能と、
    前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶機能において記憶した加工データを読み出すデータ読出機能と、
    外部から供給される第２のデータを所定量遅延させる遅延機能と
    を実現させるためのプログラム。
13. コンピュータに、
    データ各部についての時刻を規定する時刻情報を有した第１のデータと、前記第１のデータの加工内容を示す加工情報とを有し、前記加工情報に基づいて第１のデータのデータ各部または時刻情報の一部を加工して加工データを生成する外部機器からの通信によって、前記加工データを受信する加工データ受信機能と、
    前記加工データ受信機能において受信した加工データを記憶する加工データ記憶機能と、
    データの読み出し時刻を示す同期情報を取得する同期情報取得機能と、
    前記同期情報と前記加工データの時刻情報との対応関係に基づいて、前記加工データ記憶機能において記憶した加工データを読み出すデータ読出機能と、
    外部から供給される第２のデータを所定量遅延させる遅延機能と
    を実現させるためのプログラム。

Images