JP4380694B2 - コンテンツ再生装置 - Google Patents

Description

この発明は、外部から入力されるオーディオ信号に同期した映像を表示するコンテンツ再生装置に関する。

カラオケ装置による演奏では、楽曲の演奏と同期して歌詞テロップが表示される（たとえば特許文献１）。これは予め曲データ中に演奏用の演奏トラックと歌詞テロップを表示するための歌詞トラックとを並列に記憶しているからである。

特開２０００−９９０４４号公報

近年、カラオケ装置だけでなく、テレビ放送等でも歌手の歌唱に合わせて歌詞を表示することがよく行われている。また、テレビ放送では、歌詞に限定されず、ニュース番組等で人物の発言を文字に記述したものをテロップとして画面にスーパーインポーズ表示（テロップ化）したり、語学学習番組では講師の発言をテロップとしてスーパーインポーズ表示することが広く行われている。

これらは、いずれも事前に映像にテロップを合成したものを再生表示するものであり、たとえば演奏の生中継（いわゆるライブ中継）などのリアルタイムに行われ、ストリーミングで到来する演奏や発言等をテロップとしてスーパーインポーズ表示しているものではなかった。

この発明は、ライブ演奏等のリアルタイムに発生するオーディオ信号に対応づけて歌詞テロップ等の映像を同期再生することができるコンテンツ再生装置を提供することを目的とする。

請求項１の発明は、並列に形成された複数パートの音声時系列データと映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、外部から１または複数パートのオーディオ信号を入力するオーディオ信号入力部と、外部から補助情報を入力する補助情報入力部と、前記オーディオ信号の各パートと音声時系列データの対応するパートとを対比する対比処理を実行するとともに、前記補助情報に基づいて前記対比処理を修正し、各トラックの対比処理の結果に基づいて前記オーディオ信号に同期した再生クロックを生成するクロック生成部と、前記クロック生成部が生成した再生クロックに基づいて前記映像時系列データを再生する映像再生部と、を備えたコンテンツ再生装置である。

請求項２の発明は、請求項１の発明において、前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、前記対比するパートのうち、最も信頼度の高い１つのパートを用いて再生クロックを生成することを特徴とする。

請求項３の発明は、請求項１の発明において、前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、前記対比するパートのうち、信頼度の低い１または複数パートの対比結果を無視し、他のパートの対比結果を平均して再生クロックを生成することを特徴とする。

請求項４の発明は、請求項１の発明において、前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、各パートの対比結果をその信頼度に基づいて加重平均することによって再生クロックを生成することを特徴とする。

請求項５の発明は、請求項１〜４の発明において、外部からビデオ信号を入力するビデオ信号入力部と、前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部と、をさらに備えたことを特徴とする。

請求項６の発明は、請求項５の発明において、前記ビデオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち前記映像合成部に入力するビデオ遅延部を備えたことを特徴とする。

請求項７の発明は、請求項５〜６の発明において、前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック生成部に供給する補助情報抽出部と、をさらに備えたことを特徴とする。

請求項８の発明は、請求項１〜４の発明において、外部から前記オーディオ信号に同期したビデオ信号を入力するビデオ信号入力部と、前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック生成部に供給する補助情報抽出部と、をさらに備えたことを特徴とする。

請求項９の発明は、請求項１〜８の発明において、前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち再出力するオーディオ信号出力部を備えたことを特徴とする。

請求項１０の発明は、請求項１〜９の発明において、前記クロック生成部は、さらに、前記補助情報に基づいて、前記映像再生部に対して、前記映像時系列データの再生位置を指示することを特徴とする。

請求項１１の発明は、請求項１〜１０の発明において、前記補助情報入力部は、補助情報として前記オーディオ信号の進行位置情報を入力し、前記クロック生成部は、前記補助情報に基づいて、前記対比処理における前記音声時系列データの対比位置を修正することを特徴とする。

請求項１２の発明は、請求項１〜１１の発明において、前前記補助情報入力部は、補助情報として前記オーディオ信号の進行速度情報を入力し、前記クロック生成部は、前記補助情報に基づいて、前記対比処理におけるクロック周期を修正することを特徴とする。

請求項１３の発明は、請求項１〜１２の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含むことを特徴とする。

請求項１４の発明は、請求項１〜１３の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含むことを特徴とする。

請求項１５の発明は、請求項１〜４の発明において、前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、前記クロック予測生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えたことを特徴とする。

請求項１６の発明は、請求項１〜１５の発明において、前記クロック予測生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部を、さらに備えたことを特徴とする。

請求項１７の発明は、請求項１６の発明において、前記クロック生成部が対比に用いたパート以外のパートを再生すべきパートとして選択して前記音声再生部に指示するトラック選択部をさらに備えたことを特徴とする。

［作用］
この発明では、複数パートのオーディオ信号と複数パートの音声時系列データを対応するパートごとに対比し、さらに各種の補助情報に基づいてこれらの対比結果を修正する。複数の対比結果を参照する（例えば結果を平均化する）ことでオーディオ信号に同期した再生クロックを生成する。また、各トラックの対比結果の信頼度を求め、これらの信頼度に基づいて再生クロックを生成してもよい。この再生クロックに基づいて映像時系列データを再生することにより、オーディオ信号に同期した映像（および音声）を再生することができる。なお、オーディオ信号は、この装置を経由して再生用に出力されるようにしてもよく、この装置をバイパスする別の経路で再生されるようにしてもよい。

また、各トラックの対比結果の信頼度からオーディオ信号に含まれていないパートを求め、このパートの音声時系列データを再生することもできる。

この発明によれば、入力されたオーディオ信号に同期して映像を再生することができるため、たとえばライブ演奏等の事前に歌詞テロップを用意できない場面でも、別に用意されたカラオケ用の同じ楽曲用の歌詞テロップを用いて、演奏に同期した歌詞テロップを表示することができる。

図面を参照してこの発明の実施形態について説明する。
<<第１実施形態>>
図１はこの発明の第１実施形態であるコンテンツ再生装置の構成図である。このコンテンツ再生装置は、オーディオ入力部（Ａｕｄｉｏ Ｉｎ）１から入力されたオーディオ信号に同期させて映像シーケンスデータ（Ｄｉｓｐｌａｙ Ｓｅｑｕｅｎｃｅ Ｄａｔａ）９を再生出力する装置である。以下の説明では、カラオケ曲の演奏に用いられる曲データを用いて、ライブ演奏の歌詞を表示する場合を例に挙げて説明する。

コンテンツ再生装置は、外部からオーディオ信号が入力されるオーディオ入力部１、補助情報が入力される補助情報入力部（Ａｕｘ Ｉｎｆｏ）２、オーディオ信号が出力されるオーディオ出力部 （Ａｕｄｉｏ Ｏｕｔ）１１、映像が出力される映像出力部（Ｖｉｄｅｏ Ｏｕｔ）１２、音声データ（Ａｕｄｉｏ Ｄａｔａ）８および前記映像シーケンスデータ９を含むカラオケ曲の曲データが記憶される記憶部（Ｓｏｎｇ Ｄａｔａ）７、入力されたオーディオ信号と映像とを同期させるための信号処理部６および前記映像シーケンスデータ９を再生する映像シーケンサ（Ｇｒａｐｈｉｃｓ Ｓｅｑｕｅｎｃｅｒ）１０を備えている。

ライブ演奏の歌詞を表示する場合、オーディオ入力部１から入力されるオーディオ信号は、ライブ演奏の演奏音であり、マルチチャンネルのオーディオ信号である。マルチチャンネルのオーディ信号とは、ボーカル、ギター、ドラム、ベース等の各パート毎に別々のチャンネルデータとして配信されるオーディオデータである。このライブ演奏の演奏音は、公共放送網、インターネット等を経由して配信されてくる。また、カラオケ曲の曲データの場合、音声データ８は、ＭＩＤＩ等のフォーマットでインプリメントされたシーケンスデータ（演奏トラック）である。演奏トラックは、ガイドメロディやベース音等、多数の楽器（パート）の楽音を発生するために複数トラックの音声データ８−１〜音声データ８−Ｎ（トラック１〜トラックＮ）で構成されており、例えばガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。シーケンスデータは、楽音の発音動作や消音動作を実行するための情報であるイベントデータとこのイベントデータの読み出しタイミングを指示するタイミングデータからなっている。また、カラオケ曲の曲データの場合、映像シーケンスデータ９は、歌詞を表示するための歌詞トラックである。この演奏トラックと歌詞トラックは同じクロックで再生されるように同期づけて表示されている。

信号処理部６は、複数の同期制御部３−１（Ｔｉｍｅ Ａｌｉｇｎｍｅｎｔ ｆｏｒ
Ｔｒｋ １）〜同期制御部３−Ｎ（Ｔｉｍｅ Ａｌｉｇｎｍｅｎｔ ｆｏｒ Ｔｒｋ Ｎ）、クロック生成部 （Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ）４および遅延部（Ｄｅｌａｙ）５を有している。同期制御部３−１〜３−Ｎは、それぞれ曲データの各演奏トラック（音声データ８−１〜音声データ８−Ｎ）に対応している。同期制御部３−１〜３−Ｎは、それぞれオーディオ入力部１から入力された各チャンネルのオーディオ信号と曲データ中の各トラックの音声データとを対比し、且つ、補助情報入力部２から入力された補助情報に基づいて対比位置や速度を修正しつつ、前記オーディオ信号と同期した再生位置情報（タイミング情報）およびテンポ情報を生成する。オーディオ信号のチャンネルと曲データのトラックとの対応づけは、それぞれのチャンネル、トラックに付されているパート名で対応づけてもよく、総当たり的に全チャンネルを全トラックと対比して最も類似しているもの同士を対応づけるようにしてもよい。なお、チャンネルとトラックとの対応づけは、必ずしも１対１に限定されるものではなく、１チャンネルを複数トラックに対応づけて対比してもよく、複数チャンネルを同一のチャンネルとそれぞれ個別に対比してもよい。特に、総当たり検索の結果、対応づけが確実でない場合等にこのような対応づけで対比すればよい。

クロック生成部４は、同期制御部３−１〜３−Ｎが生成した再生位置情報（タイミング情報）およびテンポ情報に基づいて再生クロックを生成する。遅延部５は、オーディオ入力部１から入力されたオーディオ信号１を所定時間遅延させてオーディオ出力部１１に入力する。

同期制御部３−１〜３−Ｎは、オーディオ入力部１から入力された担当チャンネルのオーディオ信号を数十ミリ秒ずつのフレームに分割し、各フレームごとのスペクトル、音量等を分析する。その一方で、記憶部７に記憶されている音声データの担当トラックを読み出す。音声データが上述したＭＩＤＩシーケンスデータの場合には、各演奏トラックのイベントデータに基づき、各タイミングで発音されているべき楽音のスペクトルおよび音量を分析する。また、記憶されている音声データが音声波形データ（ＡＤＰＣＭ，ＭＰ３等）であった場合には、オーディオ入力部１から入力されたオーディオ信号と同様にフレームに分割して、フレームごとのスペクトル，音量等を分析する。

同期制御部３−１〜３−Ｎは、それぞれオーディオ入力部１から入力されたオーディオ信号のスペクトル，音量等の情報と、記憶部７から読み出した音声データの各トラックのスペクトル，音量等の情報とを対比し、スペクトルおよびその変化曲線が最も近似する時間軸上の対応位置を検出し、その対応位置における曲データの時間情報を曲の演奏位置情報とする。すなわち、ライブ演奏の演奏音が曲データのどの位置を演奏しているかを検出する。また、同期制御部３−１〜３−Ｎは、それぞれ検出した演奏位置情報の信頼度（Ｃｏｎｆｉｄｅｎｃｅ Ｌｅｖｅｌ）を算出する。信頼度は、スペクトル、音量の近似度に基づいて算出される。スペクトル、音量が完全に一致した場合、信頼度を最大（例えば１００％）とし、スペクトル、音量が近似する対応位置を検出できない場合、信頼度を最小（例えば０％）とする。なお、スペクトル、音量が近似する対応位置を検出した場合であってもスペクトルまたは音量の近似度が低い場合、すべて信頼度を最小としてもよい。信頼度が低い場合、曲データのトラックとオーディオ信号のチャンネルの対応づけが誤っていると考えられる。すなわち、そのトラックに対応するチャンネルのオーディオ信号が入力されていないと考えられる。

この演奏位置の検出すなわち同期検出により、現在入力されているオーディオ信号の曲データの時間軸上の位置を割り出すとともに、そのオーディオ信号の進行速度すなわちテンポを割り出す。そして、この時間軸上の位置すなわち演奏位置情報、タイミング情報（いつ拍タイミングを通過するかの情報）とテンポ情報、および信頼度をクロック生成部４に出力する。なお、テンポおよび拍タイミングの決定は、たとえば特開平９−１６１７１号公報に記載された技術等を用いればよい。

クロック生成部４は、各同期制御部３−１〜３−Ｎから入力された上記の各情報を用いて再生クロックを生成する。すなわち、各同期制御部３−１〜３−Ｎから入力された信頼度に基づいて、最も適正な演奏位置情報をタイミング情報、テンポ情報を決定し、再生クロックを生成する。クロック生成部４は、以下のようにして適正な演奏位置情報をタイミング情報、テンポ情報を決定する。
（１）信頼度が最小（０％）を出力した同期制御部の情報は無視する。
（２）最も高い信頼度を出力した同期制御部の情報を採用する。
（３）信頼度に応じて各情報に重み付けをし、各情報の加重平均をとる。
（１）〜（３）の手法を全て用いてもよいし、いずれか１の手法を用いるようにしてもよい。なお、信頼度を用いずに再生クロックを生成することもできる。同期制御部３−１〜３−Ｎが信頼度を出力していない場合、各情報の単純平均をとればよい。このようにして生成された再生クロックは、映像シーケンサ１０に入力される。映像シーケンサ１０は、歌詞テロップである映像シーケンスデータ９を、クロック信号にしたがって読み出し、歌詞テロップの映像を再生する。上記のようにクロック信号が、外部から入力されたオーディオ信号すなわちライブ演奏音に同期したものであるため、この映像シーケンサ１０によって再生され、映像出力部１２から出力される歌詞テロップは、ライブ演奏に同期したものとなる。

なお、同期制御部３−１〜３−Ｎによる同期検出およびクロック生成部４によるクロック信号の生成には若干の処理時間が必要であるため、オーディオ入力部１から入力されたオーディオ信号をこの処理時間分、遅延部５で遅延させてオーディオ出力部１１から出力する。これにより、映像出力部１２から出力される歌詞テロップは、オーディオ出力部１１から出力されるオーディオ信号とより精度よく同期する。

ここで、図２，図３を参照して、カラオケ曲の曲データと歌詞テロップの表示方式について説明する。
図２において、曲データは、同図（Ａ）に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源に入力することにより楽音が発音／消音される。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図３（Ａ）に示すように、タイミングデータに基づいて読み出される歌詞表示データから構成されている。

歌詞表示データは１行分の歌詞表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ（表示ポイント数、表示座標、文字間データなどを含む）、色１データ、色２データ、歌詞の色変えデータなどからなっている。

同図（Ｂ）を参照して、歌詞表示データによる歌詞テロップの表示態様について説明する。この図のグラフは、縦軸が時間、横軸が歌詞テロップ（モニタ画面）のｘ座標を表している。曲の演奏がこの歌詞の箇所に到達するｔｏｎ前に、１行分の歌詞を色１で先出し表示する。そして、曲の演奏がこの歌詞の箇所まで進行してくるまでの間色１で表示し続ける。曲の演奏がこの歌詞の箇所に到達すると、曲の進行に合わせて表示色を左から順に色１から色２に色変え（ワイプ）してゆく。ワイプが終了したのちも暫くの間（ｔｅ）色２で残表示したのちこの歌詞テロップを消去する。

歌詞の色変えデータは同図（Ｂ）に示すようにワイプの（時間−ｘ座標）曲線の主要な点を示す複数のプロッティングデータで構成されている。映像シーケンス部１０はこのプロッティングデータを２次曲線で補間して色変え（ワイプ）を行う。

ここで、再び図１において、同期制御部３−１〜３−Ｎは、オーディオ入力部１から入力されるオーディオ信号のみでは演奏位置の割り出しや正確な同期確定が困難である。そこで、補助情報入力部２から入力された補助情報を用いて確実な演奏位置の決定や同期の確定を行う。これにより、同期制御部３−１〜３−Ｎの出力する信頼度を向上させる。

補助情報は、例えばライブ会場にいる係員によって入力される情報、ライブ映像等から検出される情報である。ライブ会場には、ライブ中継のためにカメラマンや音声担当を含む複数人のスタッフが従事しており、そのうちの一人がカラオケ装置での同期再生のための補助情報を入力する。補助情報としては、曲がスタートしたことを示すスタート情報、曲が一時停止したことを示すストップ情報、曲が終了したことを示すエンド情報、曲の演奏位置が通常の進行からジャンプすることを示すジャンプ情報等である。ライブ演奏の場合、時間の制約で３コーラス目を省略したり、聴衆の反応に合わせてサビを繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。
このような場合に、会場の係員がどこにジャンプしたか（またはどこにジャンプしそうかという予測）をジャンプ情報として入力する。ジャンプ位置は、曲データ中のジャンプマークで指定すればよいが、曲データにおける時刻軸の値で指定してもよい。ジャンプマークとしては、上述したように、１番、２番、サビ、クライマックス、イントロ、間奏、エンディングを示すマークがあり、それぞれの曲に応じて曲データにおける時刻軸の値に対応づけて付される。このジャンプマークは、図２に示したように元々曲データに付加されていることが好ましいが、ジャンプマークを持たない曲データについては、ライブ会場の係員が、曲のスタート時に補助情報としてジャンプマークトラックのデータを配信するようにしてもよい。

また、ライブ会場の係員が入力する補助情報として、曲スタート時やテンポ変化時に手動（タッピング）で入力されるビート信号も送られてくる。このビート信号は精度が高いものではなく、また、曲の開始から終了まで継続的に送られてくるものではないため、これをそのままテンポクロック信号として用いることはできないが、テンポ決定や拍タイミングを割り出すための情報として用いることができる。

同期制御部３−１〜３−Ｎは、補助情報入力部２から入力される上記のような補助情報を参照して、現在の演奏位置がどのあたりであるかを割り出し、その周辺の音声データを読み出して、入力されるオーディオ信号と対比する。また、間欠的に入力されるビート信号を参照して概ねの拍タイミングとテンポを把握し、この概ねの拍タイミングとテンポ（時間軸のスケーリング）で入力オーディオ信号と音声データとを対比することで同期を容易にし、信頼度を向上する。

<<第２実施形態>>
図４はこの発明の第２実施形態であるコンテンツ再生装置の構成図である。図４において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置では、記憶部７は、映像シーケンスデータ９（図１参照）に代えてビデオデータ（Ｖｉｄｅｏ Ｄａｔａ）１４を記憶している。そしてこのビデオデータ１４を再生する機能部として、映像シーケンサ１０（図１参照）に代えてビデオ再生部（Ｖｉｄｅｏ Ｐｌａｙｅｒ）１５を備えている。ビデオ再生部１５としては、可変フレームレートの再生装置（または再生ソフトウェア）を用いる。これにより、クロック生成部４から入力されたクロック信号に同期したビデオ再生が可能になる。

<<第３実施形態>>
図５はこの発明の第３実施形態であるコンテンツ再生装置の構成図である。図５において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置では、記憶部７は、映像シーケンスデータ９に加えて外部機器を制御するための外部シーケンスデータ（Ａｕｘ Ｓｅｑｕｅｎｃｅ Ｄａｔａ）１７を記憶している。そしてこの外部シーケンスデータ１７をシーケンスする機能部として、外部シーケンサ１８を備えている。外部シーケンサ１８がシーケンスした制御データは制御信号出力部１９から外部機器に対して出力される。

制御信号出力部１９には、たとえば、自動演奏ピアノ、照明機器や花火，噴水等の演出装置が接続される。このような、機器をオーディオ信号入力部１から入力されるオーディオ信号に同期して制御することにより、ライブ演奏に同期して生ピアノが演奏されたり、照明が変化したり花火が点火されたりするような演出を加えることができる。

<<第４実施形態>>
図６はこの発明の第４実施形態であるコンテンツ再生装置の構成図である。図６において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置は、オーディオ入力部１に加えてビデオ入力部２４を備えている。このビデオ入力部２４には、例えばライブ映像が入力される。さらに、このコンテンツ再生装置は、映像遅延部２５、映像ミキサ２６を備えている。ビデオ入力部２４に入力されたビデオ信号は、映像遅延部２５において、同期制御部３−１〜３−Ｎおよびクロック生成部４の処理時間だけ遅延される。映像遅延部２５は、この遅延時間分のフレームバッファを備えている。
この映像遅延部２５で遅延されたビデオ信号は、映像ミキサ２６に入力される。映像ミキサ２６には、映像シーケンサ１０が再生した映像も入力される。映像ミキサ２６は、ビデオ入力部２４から入力されたビデオ信号と映像シーケンサ１０が再生した映像とを合成する。この映像ミキサ２６で合成された映像（ビデオ信号）が映像出力部１２から出力される。

たとえば、入力されたビデオ信号がライブ映像であり、映像シーケンサ１０が再生した映像が歌詞テロップであった場合には、ライブ映像上に歌詞テロップがスーパーインポーズ合成され、この合成映像が外部出力されて表示される。

<<第５実施形態>>
図７はこの発明の第５実施形態であるコンテンツ再生装置の構成図である。図７において、図６に示した第４の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置では、ビデオ入力部２４から入力されたビデオ信号を再生映像と合成して出力するのみでなく、このビデオ映像を解析し、その解析結果を補助情報として同期制御部３−１〜３−Ｎに供給している。この解析を行う機能部としてパターン認識部（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）２８を備えている。このパターン認識部２８は、ライブ演奏を認識する場合、以下のようなパターン認識を行い、補助情報として同期制御部３−１〜３−Ｎに入力する。

歌唱者の口の動きを認識して、歌い始めや概ねのフレーズを認識する。
演奏者の動作を認識して、概ねのフレーズや繰り返し，曲の終了等を認識する。
照明の変化（画面の明るさの変化）で、曲のスタートや概ねのビートを認識する。

同期制御部３−１〜３−Ｎは、この認識結果を補助情報として取り込むことにより、外部から入力される補助情報が無くても演奏位置や拍タイミング，テンポ等の認識が容易になり、外部から入力される補助情報が存在する場合にはさらに高精度に演奏位置や拍タイミング，テンポ等の認識が容易になり、前記信頼度が向上する。

<<第６実施形態>>
図８はこの発明の第６実施形態であるコンテンツ再生装置の構成図である。図８において、図６に示した第４の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置では、音声データ８Ａを再生する機能部として、音声再生部 （Ａｕｄｉｏ Ｐｌａｙｅｒ ａｎｄ／ｏｒ ＭＩＤＩ Ｓｅｑ＋ＴＧ）２１を備えている。音声データ８Ａは、オーディオ信号との同期を検出するためのリファレンスとして用いた音声データ８−１〜８−Ｎと同一のものであってもよく、他のデータであってもよい。また、図２に示した曲データの場合、ガイドメロディトラックを含む楽音をシーケンスする演奏データトラックが複数あるが、同期検出のための対比に用いたトラックを更に再生用に用いてもよく、対比に用いなかったトラックを再生用に用いてもよい。また、再生用の音声データ８Ａとして、ＡＤＰＣＭやＭＰ３等のオーディオ波形データを記憶しておいてもよい。
再生用の音声データ８ＡがＭＩＤＩ等のシーケンスデータの場合、音声再生部２１は、シーケンサおよび音源の機能を備える。また、再生用の音声データ８Ａがオーディオ波形データの場合には、音声再生部２１は、デコーダを備える。

音声再生部２１が再生した音声データ８Ａの音声信号は、ミキサ２２に入力される。ミキサ２２には、オーディオ入力部１から入力され遅延部５で遅延されたオーディオ信号も入力される。ミキサ２２は、この入力されたオーディオ信号および再生された音声信号をミキシングしてオーディオ出力部１１から出力する。

これにより、入力されたオーディオ信号（ライブ演奏音）に同期して、歌詞テロップ等の映像を再生することができるとともに、さらに音声信号を再生して前記入力されたオーディオ信号にミキシングして出力することができる。

<<第７実施形態>>
図９はこの発明の第７実施形態であるコンテンツ再生装置の構成図である。図９において、図８に示した第６の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置では、再生するトラックを選択する機能部として、トラック選択部（Ｔｒａｃｋ Ｓｅｌｅｃｔｏｒ）２９を備えている。トラック選択部２９は、同期制御部３−１〜３−Ｎから、曲データのどのトラックが、同期検出においてオーディオ信号のチャンネルに対応づけられたかの情報を入力する。トラック選択部２９は、オーディオ信号のチャンネルに対応づけられなかったトラックは、オーディオ信号が含まれていない音声のトラックであると判断して、この対応づけられなかったトラックを再生トラックとして選択する。音声再生部２１は、トラック選択部２９が選択したトラックの音声データ８Ａを再生する。

なお、トラック選択部２９のトラック選択方式は上記に限定されない。ここで、音声再生部２１に、オーディオ信号のチャンネルに対応づけられたトラックを再生させる場合、そのチャンネルとトラックの対比結果の信頼度に応じて再生音量を制御するようにしてもよい。すなわち、信頼度が高いときは、入力されたオーディオ信号がそのパートの演奏音である可能性が高いため、オーディオ信号を優先してトラックの再生音が目立たないように音量を小さくし、信頼度が低い場合には、そのパートの演奏音でない可能性があるため、トラックの再生音量を大きくして、どのような場合でもそのパートの音声が出力されるようにする。

また、トラック選択部２９は、記憶部７に記憶されているトラック情報（Ｔｒａｃｋ
Ｉｎｆｏ）３０を入力し、トラック選択の補助情報として用いる。トラック情報は、曲データの各トラックと関連づけされている。例えば各トラックの担当する楽器名が記載されている。このトラック情報は必須ではないが、トラック選択の補助として用いることができる。

<<尚書き>>
上記第３実施形態は、第１実施形態に外部シーケンスデータ１７，外部シーケンサ１８等による外部機器制御機能を付加した例を示したが、この外部機器制御機能を第２，４〜７実施形態のどれに設けてもよく、いずれの形態も本発明の技術的範囲内のものである。

また、第４実施形態のビデオ入力部２４，映像ミキサ２６等によるビデオ合成機能は、それぞれ第１実施形態以外のどの実施形態と組み合わせてもよく、そのいずれの形態も本発明の技術的範囲内のものである。また、第５実施形態のビデオ入力部２４，パターン認識部２８による映像解析機能は第１実施形態及び第４実施形態以外のどの実施形態と組み合わせてもよく、そのいずれの形態も本発明の技術的範囲内のものである。また、第６実施形態の音声データ８Ａ，音声再生部２１等による音声再生機能、および第７実施形態のトラック選択部によるトラック選択機能は、他のどの実施形態と組み合わせてもよく、そのいずれの形態も本発明の技術的範囲内のものである。

また上記実施形態では、補助情報を補助情報入力部２から入力するようにしているが、マルチチャンネルのオーディオ信号の１チャンネルとしてオーディオ入力部１から入力するようにしてもよい。たとえば、オーディオ信号のサブコード等の付加情報として伝送すればよい。

また、上記実施形態では、主としてライブ演奏の中継を例にあげて説明したが、本発明は、ライブ演奏に限定されることなく、オーディオ信号に同期して映像を再生する場面であれば、どのような場面にも適用することができる。たとえば、テレビのキャプション表示装置、映画等のマルチリンガル字幕表示装置、語学学習装置等に適用することが可能である。
また、上記実施形態では、ネットワークや放送を通じてオーディオ信号やビデオ信号が送られてくる例を示したが、オーディオ信号，ビデオ信号および補助情報がＤＶＤやＨＤＤ等のメディア，ストレージに記憶されており、これを再生したものをオーディオ信号，ビデオ信号，補助情報として入力する形態で、本コンテンツ再生装置を用いることも可能である。

また、上記実施形態では、コンテンツ再生装置をローカル（カラオケボックス）側に設置する構成で説明したが、このコンテンツ再生装置を配信側（たとえばライブ会場）に設置し、オーディオ信号と、それに同期した映像を一緒に配信するようにしてもよい。

この発明の第１の実施形態であるコンテンツ再生装置のブロック図 コンテンツ再生装置に記憶されている曲データの構成を示す図 歌詞テロップの表示方式を説明する図 この発明の第２の実施形態であるコンテンツ再生装置のブロック図 この発明の第３の実施形態であるコンテンツ再生装置のブロック図 この発明の第４の実施形態であるコンテンツ再生装置のブロック図 この発明の第５の実施形態であるコンテンツ再生装置のブロック図 この発明の第６の実施形態であるコンテンツ再生装置のブロック図 この発明の第７の実施形態であるコンテンツ再生装置のブロック図

符号の説明

１ オーディオ入力部
２ 補助情報入力部
３ 同期制御部
４ クロック生成部
５ 遅延部
６ 信号処理部
７ 記憶部
８ 音声データ
８Ａ （再生用の）音声データ
９ 映像シーケンスデータ
１０ 映像シーケンサ
１１ オーディオ出力部
１２ 映像出力部
１４ ビデオデータ
１５ ビデオ再生部
１７ 外部シーケンスデータ
１８ 外部シーケンサ
１９ 制御信号出力部
２１ 音声再生部
２２ ミキサ
２４ ビデオ入力部
２５ 映像遅延部
２６ 映像ミキサ
２８ パターン認識部

Claims (17)

1. 並列に形成された複数パートの音声時系列データと映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、
   外部から１または複数パートのオーディオ信号を入力するオーディオ信号入力部と、
   外部から補助情報を入力する補助情報入力部と、
   前記オーディオ信号の各パートと音声時系列データの対応するパートとを対比する対比処理を実行するとともに、前記補助情報に基づいて前記対比処理を修正し、各トラックの対比処理の結果に基づいて前記オーディオ信号に同期した再生クロックを生成するクロック生成部と、
   前記クロック生成部が生成した再生クロックに基づいて前記映像時系列データを再生する映像再生部と、
   を備えたコンテンツ再生装置。
2. 前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、前記対比するパートのうち、最も信頼度の高い１つのパートを用いて再生クロックを生成する請求項１に記載のコンテンツ再生装置。
3. 前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、前記対比するパートのうち、信頼度の低い１または複数パートの対比結果を無視し、他のパートの対比結果を平均して再生クロックを生成する請求項１に記載のコンテンツ再生装置。
4. 前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、各パートの対比結果をその信頼度に基づいて加重平均することによって再生クロックを生成する請求項１に記載のコンテンツ再生装置。
5. 外部からビデオ信号を入力するビデオ信号入力部と、
   前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部と、
   をさらに備えた請求項１乃至請求項４のいずれかに記載のコンテンツ再生装置。
6. 前記ビデオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち前記映像合成部に入力するビデオ遅延部を備えた請求項５に記載のコンテンツ再生装置。
7. 前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック生成部に供給する補助情報抽出部と、
   をさらに備えた請求項５または請求項６に記載のコンテンツ再生装置。
8. 外部から前記オーディオ信号に同期したビデオ信号を入力するビデオ信号入力部と、
   前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック生成部に供給する補助情報抽出部と、
   をさらに備えた請求項１乃至請求項４のいずれかに記載のコンテンツ再生装置。
9. 前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち再出力するオーディオ信号出力部を備えた請求項１乃至請求項８のいずれかに記載のコンテンツ再生装置。
10. 前記クロック生成部は、さらに、前記補助情報に基づいて、前記映像再生部に対して、前記映像時系列データの再生位置を指示する請求項１乃至請求項９のいずれかに記載のコンテンツ再生装置。
11. 前記補助情報入力部は、補助情報として前記オーディオ信号の進行位置情報を入力し、
    前記クロック生成部は、前記補助情報に基づいて、前記対比処理における前記音声時系列データの対比位置を修正する請求項１乃至請求項１０のいずれかに記載のコンテンツ再生装置。
12. 前記補助情報入力部は、補助情報として前記オーディオ信号の進行速度情報を入力し、
    前記クロック生成部は、前記補助情報に基づいて、前記対比処理におけるクロック周期を修正する請求項１乃至請求項１１のいずれかに記載のコンテンツ再生装置。
13. 前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、
    前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含む請求項１乃至請求項１２のいずれかに記載のコンテンツ再生装置。
14. 前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、
    前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含む請求項１乃至請求項１３のいずれかに記載のコンテンツ再生装置。
15. 前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、
    前記クロック生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えた請求項１乃至請求項１４のいずれかに記載のコンテンツ再生装置。
16. 前記クロック生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部をさらに備えた請求項１乃至請求項１５のいずれかに記載のコンテンツ再生装置。
17. 前記クロック生成部が対比に用いたパート以外のパートを再生すべきパートとして選択して前記音声再生部に指示するトラック選択部をさらに備えた請求項１６に記載のコンテンツ再生装置。

Images