JP4595947B2 - データ再生装置、データ再生方法およびプログラム - Google Patents

Description

本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。

一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：登録商標）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。

また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
特開２００３−１５６７５号公報 特開２０００−３４７６７６号公報

しかし、特許文献１に開示された技術を用いる場合には、伴奏データはＭＩＤＩ形式のデータの再生であるため、ＭＩＤＩ形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献２に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。

本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、本発明は、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、別の好ましい態様において、前記第２のデータは、外部に接続した装置を制御するためのシーケンスデータである制御信号データであってもよい。

また、別の好ましい態様において、前記第２のデータは、オーディオデータであってもよい。

また、別の好ましい態様において、前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであってもよい。

また、別の好ましい態様において、前記記憶手段に記憶されている前記第１のデータは、映像の表示内容を指示するシーケンスデータであってもよい。

また、別の好ましい態様において、前記記憶手段に記憶されている前記第１のデータは、映像自体の内容を示すデータであってもよい。

また、別の好ましい態様において、複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、 前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズしてもよい。

また、別の好ましい態様において、前記遅延手段における遅延量は、タイムアライメント手段に第２のオーディオデータが供給されてから前記映像データ生成手段によって第１の映像データを生成するまでの時間として設定されていてもよい。

また、本発明は、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と、記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント過程と、前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延過程とを備えることを特徴とするデータ再生方法を提供する。

また、本発明は、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と、記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント過程と、前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延過程とを備えることを特徴とするデータ再生方法を提供する。

また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延機能とを実現させるためのプログラムを提供する。

また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延機能とを実現させるためのプログラムを提供する。

本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置１のハードウエアの構成を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、映像表示装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。

さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（第２の映像データ）、ライブ楽音データ（第２のオーディオデータ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報のデータ（以下、楽曲情報データという）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。

ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。

記憶部（記憶手段）１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ（第１のオーディオデータ）と歌詞データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（同期情報）が付されている。そして、リファレンス楽音データと歌詞データは、同じタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。

表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、映像表示装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。

音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。

次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報データを読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データをタイムアライメント部（タイムアライメント手段）１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部（データ読出手段）１０３に読み出されるまでＲＡＭ１３にバッファしておく。

タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード（時刻情報）を出力する機能を有している。

ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。

タイムアライメント部１０２は、図３に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。

そして、タイムアライメント部１０２は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。

そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図３に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。

次に、タイムアライメント部１０２が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部１０２は、上述したように、ライブ楽音データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。

図２に戻って、説明を続ける。データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。そして、データ処理部（映像データ生成手段）１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データ（第１の映像データ）を生成し、映像合成部（映像合成手段）１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。

遅延部（遅延手段）１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述したタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。

映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。

このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図４に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。

＜変形例２＞
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データ（第１のデータ）であってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したようにタイムコードを参照し、映像データである歌詞データを読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データ（第１の映像データ）として生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力されたオーディオデータ（実施形態においてはライブ楽音データ）の楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。

＜変形例３＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図５に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部１９を設け、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、制御信号データ（第２のデータ）を有するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコード（同期情報）が付されている。

そして、図６に示すように、実施形態における楽曲データ選択部１０１の動作に加えて、楽曲データ記憶領域１４ａに記憶されている制御信号データを読み出す。そして、制御信号データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、制御信号データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした制御信号データを読み出し、制御信号出力部１９に順次出力していく。このようにすると、データ再生装置を有する映像表示装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行にあわせて外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部１９に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。

＜変形例４＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、ライブ演奏に別の楽音を楽曲の進行に合わせて再生するようにしてもよい。この場合は、以下のような構成とすればよい。図７に示すように、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、ＭＩＤＩデータ（第２のデータ）を有するようにする。ここで、ＭＩＤＩデータには、歌詞データと同様に、リファレンス楽音データと時間同期して再生できるように時刻情報（同期情報）が付されている。

そして、図８に示すように、楽曲データ選択部１０１は、実施形態における動作に加えて、楽曲データ記憶領域１４ａに記憶されているＭＩＤＩデータを読み出す。そして、ＭＩＤＩデータをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次で出力されるタイムコードと、ＭＩＤＩデータに付された時刻情報とを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファしたＭＩＤＩデータを読み出し、再生部（音源部）１０７に順次出力する。ここで、時刻情報がタイムコードである場合には、そのまま対応させればよいが、デュレーションなどタイムコード以外の相対時刻を表す情報である場合には、ＣＰＵ１１はリファレンス楽音データと時間同期して再生できるように設定されるテンポなどを参照してタイムコードを生成して対応させればよい。これにより、データ読出部１０３から順次出力されたＭＩＤＩデータは、読み出されるときに楽曲の進行に合わせるように読み出され再生部１０７に出力される。そして、再生部１０７は、このＭＩＤＩデータを再生してオーディオデータであるＭＩＤＩ楽音データを生成し、音声合成部１０８へ出力する。一方、遅延部１０５によって遅延処理されたライブ楽音データも音声合成部１０８へ出力される。そして、音声合成部１０８は、ライブ楽音データに係るライブ演奏とＭＩＤＩ楽音データに係るＭＩＤＩ演奏とをミキシングした音を合成楽音データとして生成し、音声出力部１８へ出力する。なお、ライブ楽音データとＭＩＤＩ楽音データとをミキシングせずに別々に音声出力部１８に出力するようにしてもよい。この場合は、それぞれのデータについて音声出力部１８においてミキシングしてもよいし、ミキシングせず異なる放音手段から放音するようにしてもよい。ここで、再生部１０７は、ＭＩＤＩデータを再生することができる音源部を有することによって、ＭＩＤＩ楽音データを生成することができる。なお、音源部によって生成されるオーディオデータの楽音の発音内容を示すシーケンスデータであれば、必ずしもＭＩＤＩデータでなくてもよい。

また、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データのＭＩＤＩデータに代えて、リファレンス楽音データと時間同期して再生できるようにタイムコード（同期情報）の付されたオーディオデータである追加楽音データ（第２のデータ）としてもよい。この場合は、以下のように処理される。まず、楽曲データ選択部１０１は、楽曲データ記憶領域１４ａに記憶されている追加楽音データを読み出す。そして、追加楽音データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、追加楽音データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした追加楽音データを読み出し、再生部１０７に順次出力する。これにより、データ読出部１０３から順次出力された追加楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮された追加楽音データを新たなオーディオデータとして、音声合成部１０８へ出力する。その後はＭＩＤＩデータの場合と同様に処理すればよい。このようにすれば、映像だけでなく様々な音についても、楽曲の進行にあわせて出力することができる。

＜変形例５＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。

＜変形例６＞
実施形態においては、遅延部１０５を設け、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに、タイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間（以下、遅延時間という）の遅延処理を行って出力していた。一方、図９に示すように、タイムアライメント部１０２からのタイムコードの出力は、タイムコード予測部１０９を介してデータ読出部１０３に出力されるようにしてもよい。この場合は、タイムコード予測部１０９は、タイムアライメント部１０２から順次出力されるタイムコードを参照して、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測する。そして、タイムコード予測部１０９は、予測したタイムコードをデータ読出部１０３に順次出力すればよい。ここで、タイムコードの予測は、タイムアライメント部１０２から順次出力されたタイムコードのうち、過去の所定の数のタイムコードを参照し、これらのタイムコードの示す時間軸上の位置の変化量から、遅延時間後のタイムコードを推定すればよい。なお、タイムコードの予測は、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測すればよいから、上記方法に限らず、所定のアルゴリズムに基づいて行なえばよい。このようにすれば、遅延部１０５を用いたライブ楽音データ、ライブ演奏データの遅延をさせずに、実施形態の効果を得ることができる。

＜変形例７＞
実施形態においては、タイムアライメント部１０２は、楽曲の進行のずれを検出する機能について、ＤＰマッチングを用いていたが、異なった手法によって楽曲の進行のずれを検出するようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。このようにしても、実施形態と同様な効果を得ることができる。

実施形態に係る映像表示装置のハードウエアの構成を示すブロック図である。 実施形態に係る映像表示装置のソフトウエアの構成を示すブロック図である。 ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。 変形例１に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例３に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例３に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例４に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例４に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例６に係る映像表示装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…映像表示装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、１９…制御信号出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…再生部、１０８…音声合成部、１０９…タイムコード予測部

Claims (13)

1. 音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、
   外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント手段と、
   前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
   前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延手段と
   を具備することを特徴とするデータ再生装置。
2. 音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、
   外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント手段と、
   前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
   前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延手段と
   を具備することを特徴とするデータ再生装置。
3. 前記第２のデータは、外部に接続した装置を制御するためのシーケンスデータである制御信号データである
   ことを特徴とする請求項２に記載のデータ再生装置。
4. 前記第２のデータは、オーディオデータである
   ことを特徴とする請求項２に記載のデータ再生装置。
5. 前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、
   前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータである
   ことを特徴とする請求項２に記載のデータ再生装置。
6. 前記記憶手段に記憶されている前記第１のデータは、映像の表示内容を指示するシーケンスデータである
   ことを特徴とする請求項１乃至請求項５のいずれかに記載のデータ再生装置。
7. 前記記憶手段に記憶されている前記第１のデータは、映像自体の内容を示すデータである
   ことを特徴とする請求項１乃至請求項５のいずれかに記載のデータ再生装置。
8. 複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、
   前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、
   前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズする
   ことを特徴とする請求項１乃至請求項７のいずれかに記載のデータ再生装置。
9. 前記遅延手段における遅延量は、タイムアライメント手段に第２のオーディオデータが供給されてから前記映像データ生成手段によって第１の映像データが生成されるまでの時間として設定されている
   ことを特徴とする請求項１乃至請求項８のいずれかに記載のデータ再生装置。
10. 外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と、記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント過程と、
    前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、
    前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、
    前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延過程と
    を備えることを特徴とするデータ再生方法。
11. 外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と、記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント過程と、
    前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、
    前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、
    前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延過程と
    を備えることを特徴とするデータ再生方法。
12. 記憶手段を有するコンピュータに、
    前記記憶手段に、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、
    外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント機能と、
    前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、
    前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、
    前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延機能と
    を実現させるためのプログラム。
13. 記憶手段を有するコンピュータに、
    前記記憶手段に、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、
    外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた時刻情報を生成するタイムアライメント機能と、
    前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、
    前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、
    前記外部から供給される第２のオーディオデータを所定量遅延させて出力する遅延機能と
    を実現させるためのプログラム。

Images