以下、本発明の実施形態を、添付図面を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
[第1実施形態]
まず、本発明の第1実施形態を、図1を参照して説明する。
<構成>
図1には、第1実施形態に係る同期再生装置700Aの概略的な構成が示されている。
図1に示されるように、同期再生装置700Aは、撮影手段710と、取得手段720Aと、生成手段730Aと、再生用情報記憶部735とを備えている。また、同期再生装置700Aは、表示制御手段740と、表示部745とを備えている。ここで、表示部745は、表示手段746と、特定表示手段としての表示手段747とを備えている。
また、同期再生装置700Aは、音源データ部750と、音出力制御手段760Aと、音出力部765とを備えている。さらに、同期再生装置700Aは、入力手段770を備えている。
なお、同期再生装置700Aは、音源データ部750に記憶されている楽曲コンテンツに基づく再生楽曲音に同期した映像を撮影し、その後に、撮影時における当該再生楽曲音と当該撮影された映像との同期関係と同一の同期関係で、当該再生楽曲音と当該撮影された映像とを同期再生する装置である。
上記の撮影手段710は、周辺映像の撮影を行い、撮影結果を映像データとして出力するビデオカメラ等を備えている。音出力部765からの再生楽曲音の出力に同期して行われた撮影手段710による撮影結果は、映像データとして、取得手段720A及び表示制御手段740へ送られる。
上記の取得手段720Aは、撮影手段710から送られた映像データを受ける。また、取得手段720Aは、入力手段770から送られた取得動作の開始指令及び終了指令を受ける。そして、取得手段720Aは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの期間に受けた映像データを取得する。取得手段720Aにより取得された映像データは、取得映像データとして、生成手段730Aへ送られる。
上記の生成手段730Aは、取得手段720Aから送られた取得映像データを受ける。また、生成手段730Aは、入力手段770から送られた再生同期情報の生成指令を受ける。さらに、生成手段730Aは、上述した取得手段720Aと同様に、入力手段770から送られた取得動作の開始指令及び終了指令を受ける。
また、生成手段730Aは、入力手段770から送られた楽曲音再生の開始指令及び終了指令を受ける。ここで、楽曲音再生の開始指令では、再生対象となる楽曲コンテンツが指定されるようになっている。
さらに、生成手段730Aは、入力手段770から送られた同期再生の開始指令及び終了指令を受ける。ここで、同期再生の開始指令では、再生用情報記憶部735に記憶されている再生同期情報又は編集同期情報のうちの1つが指定されるようになっている。なお、同期再生の開始指令では、表示制御手段740が参照する同時表示の有無が更に指定されるようになっている。
生成手段730Aは、これらの指令を受けると、その受信時刻を検出する。そして、生成手段730Aは、当該受信時刻の検出結果に基づいて、再生同期情報を生成する。かかる再生同期情報の生成処理の詳細については後述する。
なお、生成手段730Aにより生成される再生同期情報は、撮影時における再生楽曲音と撮影された映像との同期関係と同一の同期関係で、再生楽曲音と当該撮影された映像とを同期再生する際に利用される情報である。本第1実施形態では、再生同期情報は、再生同期情報の生成処理期間に音出力部765から出力される再生楽曲音の再生開始時刻を基準時刻として、取得動作の開始指令の受信時刻、取得動作の終了指令の受信時刻、楽曲音再生又は同期再生の終了指令の受信時刻のそれぞれの当該基準時刻に対する相対時刻情報に、対応する再生用映像データ及び楽曲コンテンツの指定情報が加えられたものとなっている。なお、楽曲音再生の終了指令に関する相対時刻情報については、当該再生同期情報に含まれる場合もあるし、含まれない場合もある。
また、生成手段730Aは、入力手段770から送られた再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令を受ける。ここで、再生同期情報編集の開始指令では、再生用情報記憶部735に記憶されている再生同期情報又は編集同期情報のうちの1つが指定されるようになっている。また、同期映像切換指令(再生内容指定)では、再生用情報記憶部735に記憶されている複数種類の再生用映像データの中の1つが指定されるようになっている。
生成手段730Aは、これらの指令に従って、編集同期情報の生成処理を実行する。かかる編集同期情報の生成処理については後述する。
なお、生成手段730Aにより生成される編集同期情報は、撮影時における再生楽曲音と撮影された映像との同期関係と同一の同期関係で、再生楽曲音と当該撮影された映像とを同期再生させつつ、利用者により行われた同期映像切換指定に従って、当該撮影された映像を順次切り換わっていくようにした映像の再生に利用される情報である。
上記の再生用情報記憶部735は、生成手段730Aから送られた再生用映像データ及び再生同期情報、並びに、編集同期情報を受ける。そして、再生用情報記憶部735は、当該再生用映像データ及び当該再生同期情報、並びに、当該編集同期情報を内部に記憶する。なお、再生用情報記憶部735へは、生成手段730A、表示制御手段740及び音出力制御手段760Aがアクセスできるようになっている。
上記の表示制御手段740は、撮影手段710から送られた映像データを受ける。また、表示制御手段740は、上述した生成手段730Aと同様に、入力手段770から送られた同期再生の開始指令及び終了指令を受ける。
表示制御手段740は、同期再生の開始指令を受けると、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照した同期表示処理を開始する。かかる同期表示処理の詳細については、後述する。
また、表示制御手段740は、上述した生成手段730Aと同様に、入力手段770から送られた再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令を受ける。そして、表示制御手段740は、これらの指令に従って、同期映像の切換表示処理を実行する。かかる同期映像の切換表示処理の詳細については、後述する。
上記の表示手段746,747は、映像プロジェクタや、液晶ディスプレイパネル等の表示デバイスを備えて構成される。ここで、表示手段746は、表示制御手段740から送られた同期映像表示用の同期映像データを受ける。そして、表示手段746は、当該同期映像データに対応する同期映像を再生表示する。
また、表示手段747は、表示制御手段740から送られたリアルタイム映像表示用のリアルタイム映像データを受ける。そして、表示手段746は、当該リアルタイム映像データに対応するリアルタイム映像を再生表示する。なお、表示手段746,747は、互いに独立に映像表示ができるようになっている。
上記の音源データ部750は、様々な楽曲コンテンツを、デジタルコンテンツとして記憶している。かかる音源データ部750に対しては、音出力制御手段760Aがアクセスできるようになっている。
上記の音出力制御手段760Aは、上述した生成手段730Aと同様に、入力手段770から送られた楽曲音再生の開始指令及び終了指令を受ける。音出力制御手段760Aは、楽曲音再生の開始指令を受けると、楽曲再生処理を開始する。かかる楽曲再生処理では、楽曲音再生の開始指令において指定されている楽曲コンテンツのデータを順次読み取る。そして、音出力制御手段760Aは、読み取られた楽曲コンテンツのデータに基づいて、再生楽曲音データを生成し、音出力部765へ送る。
また、音出力制御手段760Aは、上述した生成手段730A及び表示制御手段740と同様に、入力手段770から送られた同期再生の開始指令及び終了指令を受ける。音出力制御手段760Aは、同期再生の開始指令を受けると、同期音出力処理を開始する。かかる同期音出力処理の詳細については、後述する。
また、音出力制御手段760Aは、上述した生成手段730A及び表示制御手段740と同様に、入力手段770から送られた再生同期情報編集の開始指令及び終了指令を受ける。音出力制御手段760Aは、再生同期情報編集の開始指令を受けると、上述した生成手段730Aによる編集同期情報の生成処理と並行して、同期音出力処理を開始する。かかる同期音出力処理の詳細については、後述する。
上記の音出力部765は、スピーカを備えて構成される。この音出力部765は、音出力制御手段760Aから送られた出力音(本第1実施形態では、再生楽曲音)データを受ける。そして、音出力部765は、当該出力音データに対応する出力音を再生出力する。
上記の入力手段770は、キーボード等を備えて構成されている。入力手段770は、利用者の入力操作に応答して、当該入力操作に対応した情報を、伝達が必要な要素へ送るようになっている。こうした入力操作に対応した情報には、上述した再生同期情報の生成指令、取得動作の開始指令及び終了指令、楽曲音再生の開始指令及び終了指令、同期再生の開始指令及び終了指令、再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令が含まれている。
<動作>
次に、上記のように構成された同期再生装置700Aの動作について、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に主に着目して説明する。
《再生同期情報の生成処理》
利用者が、再生同期情報の生成指令の入力操作を入力手段770に対して行うと、再生同期情報の生成指令が、入力手段770から生成手段730Aへ送られる。再生同期情報の生成処理は、この再生同期情報の生成指令を受けた生成手段730Aにより実行される。
再生同期情報の生成指令を受けた生成手段730Aは、再生同期情報の生成処理を開始する。なお、生成処理を実行していない期間中に楽曲音再生又は同期再生の開始指令を受けた場合には、生成手段730Aは、その後における再生同期情報の生成処理のための準備として、楽曲音再生又は同期再生の開始指令に応じて行われる再生楽曲音の再生の進行状況を監視する。
再生同期情報の生成処理を開始すると、生成手段730Aは、取得動作の終了指令を受けるまでの期間における取得動作の開始指令及び終了指令、並びに、楽曲音再生又は同期再生の開始指令及び終了指令の受信の監視を行い、それぞれの受信時刻を検出する。また、生成手段730Aは、取得動作の開始指令の受信から終了指令の受信までの取得期間に取得手段720Aから送られた映像データのバッファリング処理を行う。
そして、生成手段730Aは、取得動作の終了指令を受けると、バッファリングしている取得映像データを、再生用映像データとして、再生用情報記憶部735へ送る。
次に、生成手段730Aは、再生同期情報の生成処理中における楽曲音再生又は同期再生の開始指令の受信時刻の検出結果、又は、上述した再生同期情報の生成処理前の監視結果に基づいて、再生同期情報の生成処理期間に音出力部765から出力される再生楽曲音の再生開始時刻を基準時刻として、取得動作の開始指令の受信時刻、取得動作の終了指令の受信時刻、楽曲音再生又は同期再生の終了指令の受信時刻のそれぞれの当該基準時刻に対する相対時刻情報を算出する。
なお、再生同期情報の生成指令の受信から、取得動作の終了指令の受信までの間に、楽曲音再生又は同期再生の終了指令の受信時刻は、検出される場合もあるし、検出されない場合もある。このため、楽曲音再生の終了指令の受信時刻が検出されている場合には、楽曲音再生又は同期再生の終了指令の受信時刻の相対時刻情報が算出されるが、楽曲音再生又は同期再生の終了指令の受信時刻が検出されていない場合には、楽曲音再生の終了指令の受信時刻の相対時刻情報は算出されない。
次いで、生成手段730Aは、算出された相対時刻情報に、今回の再生用映像データ、及び、楽曲音再生の開始指令で指定された楽曲コンテンツの指定情報を加えて、再生同期情報を生成する。そして、生成手段730Aは、生成された再生同期情報を再生用情報記憶部735へ送る。この後、生成手段730Aは、再生同期情報の生成処理を終了する。
《同期再生処理》
利用者が、同期再生の開始指令の入力操作を入力手段770に対して行うと、同期再生の開始指令が、入力手段770から生成手段730A、表示制御手段740及び音出力制御手段760Aへ送られる。同期再生処理は、この同期再生の開始指令を受けた表示制御手段740による同期映像表示処理、及び、音出力制御手段760Aによる同期音出力処理として、実行される。
同期再生の開始指令を受けると表示制御手段740は、同期映像表示処理を開始する。かかる同期映像表示処理では、表示制御手段740は、同期再生の開始指令において指定された再生同期情報又は編集同期情報で示されている再生楽曲音との同期関係に従って、各時点において再生すべき映像に対応する再生用映像データの部分のデータを、逐次、再生用情報記憶部735から読み取る。
そして、表示制御手段740は、読み取られたデータに基づいて、同期映像データを生成する。こうして生成された同期映像データは、表示手段746へ送られる。この結果、表示手段746により、同期映像が表示される。
また、表示制御手段740は、同期再生の開始指令において同時表示有が指定されていると、撮影手段710から送られた映像データに基づいて、撮影中の映像をリアルタイムで表示するためのリアルタイム映像データを生成し、表示部745における表示手段747へ送る。この結果、表示手段746における同期映像の表示と同時に、表示手段747により、リアルタイム映像の表示が行われる。
そして、今回の同期再生を終了させるために、利用者が入力手段770に入力した同期再生の終了指令を受けると、表示制御手段740は、同期映像表示処理を終了し、同期映像データの生成を終了する。なお、同期映像表示処理において、同期映像の表示とリアルタイム映像の表示との同時表示制御を行っていた場合には、同期再生の終了指令を受けた表示制御手段740は、同期映像データ及びリアルタイム映像データの生成の双方を終了する。
同期再生の開始指令を受けると音出力制御手段760Aは、同期音出力処理を開始する。この同期音出力処理では、音出力制御手段760Aが、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲音に対応する楽曲コンテンツの部分のデータを、逐次、音源データ部750から読み取る。そして、音出力制御手段760Aは、読み取られたデータに基づいて、再生楽曲音データを生成し、生成された再生楽曲音データを音出力部765へ送る。この結果、音出力部765から、再生楽曲音が再生出力される。
そして、今回の同期再生を終了させるための同期再生の終了指令を受けると、音出力制御手段760Aは、同期音出力処理を終了し、再生楽曲音データの生成を終了する。
《編集同期情報の生成処理》
利用者が、再生同期情報編集の開始指令の入力操作を入力手段770に対して行うと、再生同期情報編集の開始指令が、入力手段770から生成手段730A、表示制御手段740及び音出力制御手段760Aへ送られる。編集同期情報の生成処理は、この再生同期情報編集の開始指令を受けた生成手段730Aにより実行される。
生成手段730Aは、再生同期情報編集の開始指令を受けると、編集同期情報の生成処理を開始する。かかる編集同期情報の生成処理に際して、生成手段730Aは、まず、再生同期情報編集の開始指令において指定された再生同期情報又は編集同期情報を、暫定編集同期情報として、再生用情報記憶部735から読み取る。なお、後述するように、再生同期情報編集の開始指令を受けると、表示制御手段740及び音出力制御手段760Aは、上述した同期再生の開始指令を受けた場合と同様に、同期再生処理を開始するようになっている。
この後、再生同期情報編集の終了指令を受けるまでの編集期間中に同期映像切換指令を受ける度に、生成手段730Aは、まず、当該編集期間における同期再生処理に関する基準時刻(再生楽曲音出力の開始時刻)に対する現在時刻の相対時刻を特定する。引き続き、生成手段730Aは、当該特定された相対時刻の情報、及び、同期映像切換指令において指定された再生用映像データの情報の指定を追加することにより、その時点における暫定編集同期情報を更新する。
なお、当該編集期間の開始時点において生成手段730Aが読み取った暫定編集同期情報が編集同期情報であった場合には、生成手段730Aは、当該同期再生処理の開始後における最初の同期映像切換指令を受けると、当該最初の同期映像切換指令の受信時刻に対応する相対時刻以降における暫定編集同期情報の部分を消去する。
この後、再生同期情報編集の終了指令を受けると、生成手段730Aは、暫定編集同期情報の更新が行われていた場合には、その時点における暫定編集同期情報を、今回生成された新たな編集同期情報に確定する。そして、生成手段730Aは、生成された新たな編集同期情報を再生用情報記憶部735へ送る。
なお、表示制御手段740は、再生同期情報編集の開始指令を受けると、上述した同期再生処理の場合と同様に、当該再生同期情報編集の開始指令で指定された再生同期情報又は編集同期情報を参照した同期表示処理を開始する。そして、再生同期情報編集の終了指令を受けるまでに同期映像切換指令を受けると、表示制御手段740は、同期映像切換指令で指定された映像データに対応する再生同期情報を参照し、それまでの再生楽曲音の再生タイミングとの同期関係を維持しつつ、映像切換後に再生すべき当該指定された映像データの部分を特定する。
引き続き、表示制御手段740は、次の同期映像切換指令又は再生同期情報編集の終了指令を受けるまで、今回特定された映像データの部分のデータを、逐次、再生用情報記憶部735から順次読み取って同期映像データを生成し、表示部745における表示手段746へ送る。この結果、表示手段746により、同期映像切換指令で指定された映像データに基づく同期映像が表示される。
そして、再生同期情報編集の終了指令を受けると、表示制御手段740は、同期映像データの生成処理を終了する。この結果、表示部745への同期映像データの供給が停止される。
また、音出力制御手段760Aは、再生同期情報編集の開始指令を受けると、上述した同期音出力処理の場合と同様に、当該再生同期情報編集の開始指令で指定された再生同期情報又は編集同期情報を参照した同期音出力処理を開始する。引き続き、再生同期情報編集の終了指令を受けるまで、音出力制御手段760Aは、再生楽曲音の再生出力処理を継続する。
そして、再生同期情報編集の終了指令を受けると、音出力制御手段760Aは、再生楽曲音の再生出力処理を終了する。この結果、音出力部765への再生楽曲音データの供給が停止される。
以上説明したように、本第1実施形態では、取得手段720Aが、撮影手段710が撮影した再生楽曲音に同期した映像のデータを取得する。引き続き、生成手段730Aが、撮影時における再生楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミングとの同期関係を、撮影時における再生楽曲音と映像との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、表示制御手段740が、当該取得された映像データを利用する同期映像を表示部745における表示手段746により表示させるとともに、音出力制御手段760Aが、再生楽曲音を音出力部765から出力させる。
したがって、本第1実施形態によれば、撮影時における再生楽曲音と映像との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像とを再生することができる。
また、本第1実施形態では、同期再生の開始指令において同時表示有が指定された場合には、表示制御手段740が、同期映像を表示手段746により表示させつつ、撮影手段710により撮影されているリアルタイム映像を表示手段747により表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。
また、本第1実施形態では、同期再生中に同期映像切換指令を受けるたびに、生成手段730Aが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、同期再生中に同期映像切換指令を受けると、表示制御手段740は、同期映像切換指令において指定された同期映像に切り換えて、表示手段746により表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。
[第2実施形態]
次に、本発明の第2実施形態を、図2を参照して説明する。
<構成>
図2には、第2実施形態に係る同期再生装置700Bの概略的な構成が示されている。
図2に示されるように、同期再生装置700Bは、上述した同期再生装置700Aと比べて、取得手段720A、生成手段730A及び音出力制御手段760Aに代えて、取得手段720B、生成手段730B及び音出力制御手段760Bを備えている。また、同期再生装置700Bは、収音手段715及び取得情報記憶部725を更に備えている。以下、これらの相違点に主に着目して説明する。
本第2実施形態では、音源データ部750には、生成手段730B及び音出力制御手段760Bがアクセスできるようになっている。
なお、同期再生装置700Bは、同期再生装置700B以外の装置から出力された楽曲音に同期した映像を撮影し、その後に、撮影時における当該楽曲音と当該撮影された映像との同期関係と同一の同期関係で、音源データ部750に記憶されている楽曲コンテンツに基づく再生楽曲音と当該撮影された映像とを同期再生する装置である。
上記の収音手段715は、周囲の音声を収音するマイクロフォンを備えて構成されている。収音手段715による収音結果(撮影された映像の背景音である周辺音声)は、収音データとして、取得手段720Bへ送られる。
上記の取得手段720Bは、上述した取得手段720Aと同様に、撮影手段710から送られた映像データ、及び、入力手段770から送られた取得動作の開始指令及び終了指令を受ける。さらに、取得手段720Bは、収音手段715から送られた収音データを受ける。そして、取得手段720Bは、当該映像データ及び当該収音データに基づいて、取得映像データ、取得楽曲音データ及び取得残余音データの取得処理を実行する。かかる取得処理の詳細については、後述する。
上記の取得情報記憶部725は、取得手段720Bから送られた取得映像データ、取得楽曲音データ及び取得残余音データを受ける。そして、再生用情報記憶部735は、当該取得映像データ、当該取得楽曲音データ及び当該取得残余音データを内部に記憶する。なお、取得情報記憶部725へは、取得手段720B及び生成手段730Bがアクセスできるようになっている。
上記の生成手段730Bは、上述した生成手段730Aが入力手段770から受ける指令のうち、再生同期情報の生成指令、並びに、再生同期情報編集の開始指令及び終了指令を受ける。これらの指令のうちにおける再生同期情報の生成指令を除いて、生成手段730Bは、生成手段730Aと同様の処理を実行するようになっている。
生成手段730Bは、再生同期情報の生成指令を受けると、再生同期情報の生成処理を開始する。かかる再生同期情報の生成処理の詳細については、後述する。
上記の音出力制御手段760Bは、上述した音出力制御手段760Aが入力手段770から受ける指令のうち、同期再生の開始指令及び終了指令、並びに、同期映像切換指令を受ける。これらの指令のうちにおける同期再生の終了指令及び同期映像切換指令を受けた場合には、音出力制御手段760Bは、音出力制御手段760Aと同様の処理を行う。
なお、本第2実施形態においては、同期再生の開始指令には、残余音同時再生の有無の指定が更に含まれるようになっている。
同期再生の開始指令を受けると音出力制御手段760Bは、同期音出力処理を開始する。かかる同期音出力処理の詳細については、後述する。
<動作>
次に、上記のように構成された同期再生装置700Bの動作について、取得動作、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に主に着目して説明する。
《取得処理》
利用者が、取得動作の開始指令の入力操作を入力手段770に対して行うと、取得動作の開始指令が、入力手段770から取得手段720Bへ送られる。取得処理は、取得動作の開始指令を受けた取得手段720Bにより実行される。
取得動作の開始指令を受けた取得手段720Bは、取得処理を開始する。かかる取得処理に際して、取得手段720Bは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの取得期間に撮影手段710から送られた映像データを受ける。そして、取得動作の終了指令を受けると、取得手段720Bは、当該期間中に取得された映像データを、取得映像データとして取得情報記憶部725へ送る。
また、取得手段720Bは、当該取得期間に収音手段715から送られた収音データを受ける。そして、取得動作の終了指令を受けると、取得手段720Bは、当該期間中に取得された収音データを解析して、楽曲音と、楽曲以外の残余音(収音結果から楽曲音を除去した音)とを識別し、楽曲音データと残余音データとに分離する。そして、取得手段720Bは、当該取得期間に得られた楽曲音データ及び残余音データを、取得楽曲音データ及び取得残余音データとして取得情報記憶部725へ送る。
こうして取得映像データ、取得楽曲音データ及び取得残余音データを取得情報記憶部725へ送ると、取得手段720Bは、取得処理を終了する。そして、取得手段720Bは、新たな取得動作の開始指令の待ち状態となる。
《再生同期情報の生成処理》
利用者が、再生同期情報の生成指令の入力操作を入力手段770に対して行うと、再生同期情報の生成指令が、入力手段770から生成手段730Bへ送られる。再生同期情報の生成処理は、この再生同期情報の生成指令を受けた生成手段730Bにより実行される。
再生同期情報の生成指令を受けた生成手段730Bは、再生同期情報の生成処理を開始する。かかる再生同期情報の生成処理に際して、生成手段730Bは、まず、取得情報記憶部725から取得楽曲音データを読み取る。引き続き、生成手段730Bは、取得楽曲音データを解析して、取得楽曲音データに対応する楽曲音の特徴を示すメタデータを抽出した後、当該メタデータに対応する音源データ部750中の楽曲コンテンツを特定する。そして、生成手段730Bは、特定された楽曲コンテンツに基づいて、再生同期情報を生成する。
再生同期情報が生成されると、生成手段730Bは、取得情報記憶部725から取得映像データ及び取得残余音データを読み取って、再生用映像データ及び再生用残余音データとして、再生用情報記憶部735へ送るとともに、生成された再生同期情報を、当該再生用映像データ及び当該再生用残余音データと1対1で関連付けられた再生同期情報として、再生用情報記憶部735へ送る。この結果、再生用情報記憶部735内には、新たな再生用映像データ、再生用残余音データ及び再生同期情報が追加される。
こうして新たな再生用映像データ、再生用残余音データ及び再生同期情報を再生用情報記憶部735へ送ると、生成手段730Bは、当該新たな再生用映像データ、再生用残余音データ及び再生同期情報の生成のために利用した取得情報記憶部725内の取得映像データ、取得楽曲音データ及び取得残余音データを消去し、再生同期情報の生成処理を終了する。そして、生成手段730Bは、新たな再生同期情報の生成指令の待ち状態となる。
《同期再生処理及び編集同期情報の生成処理》
本第2実施形態の同期再生処理における同期映像表示処理は、表示制御手段740により、上述した第1実施形態の場合と同様に行われる。
また、第2実施形態の同期再生処理における同期音出力処理は、音出力制御手段760Bにより実行される。この同期音出力処理は、同期再生の開始指令を受けた音出力制御手段760Bにより実行される。
同期再生の開始指令を受けると音出力制御手段760Bは、同期音出力処理を開始する。この同期音出力処理では、音出力制御手段760Bが、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲音に対応する楽曲コンテンツのデータを、逐次、音源データ部750から読み取る。また、同期再生の開始指令を受けると、音出力制御手段760Bは、残余音同時再生有の指定がなされている場合には、当該指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき再生用残余音データの部分のデータを、逐次、再生用情報記憶部735から読み取る。
引き続き、音出力制御手段760Bは、音出力部765から再生出力すべき同期出力音に対応する同期出力音データを生成する。ここで、残余音同時再生無の指定がなされている場合には、音出力制御手段760Bは、再生楽曲音のみから成る同期出力音に対応する同期出力音データを生成する。一方、残余音同時再生有の指定がなされている場合には、音出力制御手段760Bは、再生楽曲音と残余音との合成音に対応する同期出力音データを生成する。そして、音出力制御手段760Bは、生成された同期出力音データを、音出力部765へ送る。この結果、音出力部765からは、同期出力音が再生出力される。
そして、今回の同期再生処理を終了させるための同期再生の終了指令を受けると、音出力制御手段760Bは、同期音出力処理を終了し、同期出力音データの生成を終了する。
本第2実施形態における編集同期情報の生成は、生成手段730Bが、第1実施形態における生成手段730Aによる編集同期情報の生成処理と同様の処理を実行することにより行う。
以上説明したように、本第2実施形態では、取得手段720Bが、撮影手段710が撮影した楽曲音に同期した映像のデータ、及び、収音手段715により収音された音声のデータを受ける。引き続き、取得手段720Bが、当該収音された音声のデータを解析して、楽曲音と、楽曲以外の残余音とを識別し、楽曲音データと残余音データとに分離する。そして、取得手段720Bは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの期間における映像データ、楽曲音データ及び残余音データを取得する。
次に、生成手段730Bが、撮影時における楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミング、及び、当該取得された残余音データに基づく再生映像の再生タイミングとの同期関係を、撮影時における楽曲音と、映像及び残余音との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、表示制御手段740が、当該取得された映像データに基づく同期映像を表示部745における表示手段746により表示させるとともに、音出力制御手段760Bが、再生楽曲音と残余音との合成音を音出力部765から出力させる。
したがって、本第2実施形態によれば、撮影時における再生楽曲音と、映像及び残余音との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像と残余音とを再生することができる。
また、本第2実施形態では、第1実施形態の場合と同様に、同期再生指令において同時再生表示が指定された場合には、表示制御手段740が、同期映像を表示手段746により表示させつつ、撮影手段710により撮影されているリアルタイム映像を表示手段747により表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。
また、本第2実施形態では、第1実施形態の場合と同様に、同期再生中に同期映像切換指令を受けるたびに、生成手段730Bが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、同期再生中に同期映像切換指令を受けると、表示制御手段740は、同期映像切換指令において指定された同期映像を切り換えて、表示手段746により表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。
[実施形態の変形]
本発明は、上記の第1及び第2実施形態に限定されるものではなく、様々な変形が可能である。
例えば、上記の第1及び第2実施形態では、撮影手段を1つ用意するとともに、1つの表示手段によりリアルタイム映像を表示できるようにした。これに対して、撮影手段を複数用意するとともに、リアルタイム映像の表示用の表示手段を複数用意し、複数の撮影手段の中から選択された1以上の撮影手段で撮影されている映像を、1以上の表示手段を用いて同時に表示できるようにしてもよい。
また、上記の第1及び第2実施形態では、同期表示する一の映像を同期表示するようにしたが、同期表示するための表示手段を複数用意したうえで、選択された1以上の映像データに基づく同期映像を同時に表示できるようにしてもよい。
また、上記の第1及び第2実施形態において、編集同期情報に対応する再生用データ(第1実施形態においては編集同期情報に対応する再生用映像データ、第2実施形態においては編集同期情報に対応する再生用映像データ及び再生用残余音データ)の生成を行うことができるようにしてもよい。この場合には、編集同期情報及び当該編集同期情報に対応する再生用データを、記録媒体又は通信回線を利用して、他の再生装置に供給することができるようになる。
上記の第1及び第2実施形態において、同期映像表示に際しては、拍送りや拍戻しができるようにしてもよい。
また、上記の第1実施形態において、収音手段を更に備えるようにし、第2実施形態の場合と同様に、再生用残余音データを再生用情報に含まれるようにした上で、同期再生時に、再生楽曲音と残余音とを合成した合成音を再生出力できるようにしてもよい。
また、上記の第1実施形態では、生成手段が、入力手段から送られる各種の指令の受信時刻の検出結果に基づいて、再生同期情報を生成するようにした。これに対し、生成手段が、音出力制御手段から再生楽曲音の再生の進行情報を受けるとともに、取得手段から映像取得動作の進行情報を受けるようにし、これらの受信情報に基づいて、再生同期情報を生成するようにしてもよい。
また、上記の第2実施形態では、楽曲音に対応する楽曲コンテンツが音源データ部に記憶されていることを前提とした。これに対して、楽曲音に対応する楽曲コンテンツが音源データ部に記憶されていないことが判明した場合には、生成手段が、楽曲音に対応する楽曲コンテンツを、インターネット上の楽曲サーバからダウンロードし、音源データ部に記憶させることができるようにしてもよい。
また、上記の第1及び第2実施形態において、例えば、ダンスの練習時に見る鏡に映る風景と同様に見せるために、同期映像やリアルタイム映像を左右反転させた映像を、投影表示することができるようにしてもよい。
また、上記の第1及び第2実施形態では、撮影手段、表示部、音源データ部及び音出力部(第2実施形態においては、更に収音手段)を同期再生装置が備えるようにした。これに対し、これらの一部又は全部の機能を他の装置が有しているときには、当該他の装置の機能を利用するようにしてもよい。
また、上記の第1及び第2実施形態の同期再生装置を、演算部としてのコンピュータを備えたコンピュータ装置として構成し、上述した取得手段、生成手段、表示制御手段及び音出力制御部の機能の一部又は全部の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、CD−ROM,DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。
以下、本発明の同期再生装置の実施例を説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。
[第1実施例]
まず、本発明の同期再生装置の第1実施例について、図3〜図9を主に参照して説明する。
<構成>
図3には、第1実施例に係る同期再生装置100Aの概略的な構成が示されている。なお、同期再生装置100Aは、上述した第1実施形態の同期再生装置700A(図1参照)の一態様となっている。
図3に示されるように、同期再生装置100Aは、取得手段720A、生成手段730A、表示制御手段740及び音出力制御手段760Aとしての制御ユニット110Aと、再生用情報記憶部735としての記憶ユニット120とを備えている。また、同期再生装置100は、音源データ部750としての音源ユニット130、音出力部765としての音出力ユニット140と、表示手段746としての投影ユニット1501と、表示手段747としての投影ユニット1502とを備えている。さらに、同期再生装置100Aは、情報表示ユニット160と、入力手段770としての操作入力ユニット170と、撮影手段710としての撮影ユニット180とを備えている。
上記の制御ユニット110Aは、同期再生装置100Aの全体を統括制御するとともに、様々な処理を実行する。この制御ユニット110Aについては、後述する。
上記の記憶ユニット120は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット120は、再生用情報RDAを記憶する。この再生用情報RDAの内容については、後述する。
上記の音源ユニット130は、不揮発性の記憶素子を備えて構成される。この音源ユニットは、様々な楽曲に関する楽曲コンテンツ情報MCDを記憶する。
上記の音出力ユニット140は、スピーカを備えて構成される。この音出力ユニット140は、制御ユニット110Aから送られた出力音(本第1実施例では、再生楽曲音)データを受ける。そして、音出力ユニット140は、制御ユニット110Aによる制御のもとで、当該出力音データに対応する出力音を再生出力する。
上記の投影ユニット1501は、映像プロジェクタを備えて構成される。この投影ユニット1501は、制御ユニット110Aから送られた同期映像データを受ける。そして、投影ユニット1501は、制御ユニット110Aによる制御のもとで、同期映像データに対応する同期映像を、スクリーン又は壁面に投影表示する。
上記の投影ユニット1502は、上記の投影ユニット1501と同様に、映像プロジェクタを備えて構成される。この投影ユニット1502は、制御ユニット110Aから送られたリアルタイム映像データを受ける。そして、投影ユニット1502は、制御ユニット110Aによる制御のもとで、リアルタイム映像データに対応するリアルタイム映像を、スクリーン又は壁面に投影表示する。
上記の情報表示ユニット160は、液晶パネル等の表示デバイスを備えて構成される。この情報表示ユニット160は、制御ユニット110Aから送られた情報表示データを受ける。そして、情報表示ユニット160は、情報表示データに対応する画像を表示する。この情報表示ユニット160は、制御ユニット110Aによる制御のもとで、同期再生装置100Aの動作状態情報、操作ガイダンス情報等を表示する。
上記の操作入力ユニット170は、同期再生装置100Aの本体部に設けられたキー部、及び/又はキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、情報表示ユニット160の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。また、カメラによる撮影画像についての画像認識や、モーションキャプチャによる動作認識を操作入力に際して利用することもできる。
この操作入力ユニット170を利用者が操作することにより、同期再生装置100Aの動作内容の設定や動作指令の入力が行われる。こうした動作指定には、取得動作の開始指令及び終了指令、再生同期情報の生成指令、楽曲音再生の開始指令及び終了指令、同期再生の開始指令及び終了指令、再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令が、含まれている。操作入力ユニット170への入力内容は、操作入力データとして、制御ユニット110Aへ送られる。
上記の撮影ユニット180は、撮影カメラを備えて構成されている。この撮影ユニット180は、制御ユニット110Aによる制御のもとで、周辺映像を撮影する。撮影ユニット180による撮影結果は、映像データとして、制御ユニット110Aへ送られる。
次に、上記の制御ユニット110Aについて説明する。この制御ユニット110Aは、中央処理装置(CPU)及びその周辺回路を備えて構成されている。制御ユニット110Aが様々なプログラムを実行することにより、上述した取得手段720A、生成手段730A、表示制御手段740及び音出力制御手段760Aとしての機能が実現されるようになっている。かかる制御ユニット110Aが実行する処理の詳細については、後述する。
なお、制御ユニット110Aは、操作入力ユニット170から送られた楽曲音再生の開始指令を受けると、楽曲再生処理を開始する。かかる楽曲再生処理では、楽曲音再生の開始指令において指定されている楽曲コンテンツのデータを音源ユニット130から順次読み取る。そして、制御ユニット110Aは、読み取られた楽曲コンテンツのデータに基づいて、再生楽曲音データを生成し、音出力ユニット140へ送る。この結果、音出力ユニット140から、当該再生楽曲音データに対応する再生楽曲音が再生出力される。
次いで、上記の記憶ユニット120内に記憶される再生用情報RDAの内容について、説明する。図4に示されるように、再生用情報RDAは、同期再生用情報と、編集再生用情報とから構成されている。ここで、同期再生用情報は、個別同期再生用情報#1、個別同期再生用情報#2、…を含むことができるようになっている。かかる個別同期再生用情報#j(j=1,2,…)のそれぞれは、再生用映像データ#jと、再生同期情報#jとから構成される。また、編集再生用情報は、編集同期情報#1、編集同期情報#2、…を含むことができるようになっている。
[動作]
次に、上記のように構成された同期再生装置100Aの動作について、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に際しての制御ユニット110Aの処理に主に着目して説明する。
《再生同期情報の生成処理》
再生同期情報の生成処理に際しては、図5に示されるように、まず、ステップS11において、制御ユニット110Aが、再生同期情報の生成指令を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS11:N)には、ステップS11の処理が繰り返される。
ステップS11の処理の繰り返し中に、利用者が、再生同期情報の生成指令の入力操作を操作入力ユニット170に対して行うと、再生同期情報の生成指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この再生同期情報の生成指令を受け、ステップS11における判定の結果が肯定的となると(ステップS11:Y)、処理はステップS12へ進む。
なお、ステップS11の処理の繰り返し中に、楽曲音再生又は同期再生の開始指令を受けた場合には、制御ユニット110Aは、その後における再生同期情報の生成のための準備として、楽曲音再生又は同期再生の開始指令に応じて行われる再生楽曲音の再生の進行状況を監視する。
ステップS12では、制御ユニット110Aが、取得動作の終了指令を受けるまでの期間における取得動作の開始指令及び終了指令、並びに、楽曲音再生又は同期再生の開始指令及び終了指令の受信の監視を行い、それぞれの受信時刻を検出する。また、制御ユニット110Aは、記憶ユニット120を利用して、取得動作の開始指令の受信から終了指令の受信までの取得期間に撮影ユニット180から送られた映像データのバッファリング処理を行う。
次に、ステップS13において、制御ユニット110Aが、取得動作の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS13:N)には、処理はステップS12へ戻る。そして、指令受信時刻の検出、及び、映像データのバッファリング処理が継続される。
ステップS12,S13の処理の繰り返し中に、利用者が、取得動作の終了指令の入力操作を操作入力ユニット170に対して行うと、取得動作の終了指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この取得動作の終了指令を受け、ステップS13における判定の結果が肯定的となると(ステップS13:Y)、処理はステップS14へ進む。
ステップS14では、制御ユニット110Aが、バッファリングしている映像データを、新たな再生用映像データとして、記憶ユニット120に格納する。引き続き、制御ユニット110Aが、楽曲音再生又は同期再生の開始指令の受信時刻の検出結果、又は、上述した再生同期情報の生成処理前の監視結果に基づいて、今回の取得期間中に音出力ユニット140から出力される再生楽曲音の再生開始時刻を基準時刻として、取得動作の開始指令の受信時刻、取得動作の終了指令の受信時刻、楽曲音再生又は同期再生の終了指令の受信時刻の当該基準時刻に対する相対時刻情報を算出する。
なお、再生同期情報の生成指令の受信から、取得動作の終了指令の受信までの間に、楽曲音再生又は同期再生の終了指令の受信時刻は、検出される場合もあるし、検出されない場合もある。このため、楽曲音再生又は同期再生の終了指令の受信時刻が検出されている場合には、楽曲音再生又は同期再生の終了指令の受信時刻の相対時刻情報が算出されるが、楽曲音再生又は同期再生の終了指令の受信時刻が検出されていない場合には、楽曲音再生又は同期再生の終了指令の受信時刻の相対時刻情報は算出されない。
次に、制御ユニット110Aは、算出された相対時刻情報に、今回取得された再生用映像データ、及び、楽曲音再生又は同期再生の開始指令で指定された楽曲コンテンツの指定情報を加えて、再生同期情報を生成する。そして、制御ユニット110Aは、生成された再生同期情報を、新たな再生同期情報として記憶ユニット120内に格納する。この後、制御ユニット110Aは、再生同期情報の生成処理を終了する。
上述した新たな再生用映像データと、新たな再生同期情報とから、新たな個別同期再生用情報が構成されることになる。
《同期再生処理》
同期再生処理としては、同期映像表示処理と同期音出力処理とが並行して実行される。
同期映像表示処理に際しては、図6に示されるように、まず、ステップS21において、制御ユニット110Aが、同期再生の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS21:N)、ステップS21の処理が繰り返される。
ステップS21の処理の繰り返し中に、利用者が、同期再生の開始指令の入力操作を操作入力ユニット170に対して行うと、同期再生の開始指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この同期再生の開始指令を受け、ステップS21における判定の結果が肯定的となると(ステップS21:Y)、処理はステップS22へ進む。
ステップS22では、制御ユニット110Aが、同期再生の開始指令において指定された再生同期情報又は編集同期情報で示されている再生楽曲音との同期関係に従って、各時点において再生すべき再生用映像データの部分のデータを、逐次、記憶ユニット120から読み取る。引き続き、制御ユニット110Aは、読み取られたデータに基づいて、同期映像データを生成する。そして、制御ユニット110Aは、生成された同期映像データを投影ユニット1501へ送る。この結果、投影ユニット1501により、スクリーン又は壁面に、同期映像が投影表示される。
また、制御ユニット110Aは、同期再生の開始指令において同時表示有が指定されている場合には、撮影ユニット180から送られている映像データに基づいて、撮影中の映像をリアルタイムで表示するためのリアルタイム映像データを生成する。そして、制御ユニット110Aは、生成されたリアルタイム映像データを投影ユニット1502へ送る。この結果、投影ユニット1501による同期映像の投影表示と同時に、投影ユニット1502によるリアルタイム映像の投影表示が行われる。
次に、ステップS23において、制御ユニット110Aが、同期再生の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS23:N)には、処理はステップS22へ戻る。そして、同期映像表示処理が継続される。
ステップS22,S23の処理の繰り返し中に、利用者が、同期再生の終了指令の入力操作を操作入力ユニット170に対して行うと、同期再生の終了指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この同期再生の終了指令を受け、ステップS23における判定の結果が肯定的となると(ステップS23:Y)、制御ユニット110Aは、同期映像表示処理を終了する。
同期音出力処理に際しては、図7に示されるように、まず、ステップS31において、制御ユニット110Aが、同期再生の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS31:N)、ステップS31の処理が繰り返される。
ステップS31の処理の繰り返し中に、利用者が、同期再生の開始指令の入力操作を操作入力ユニット170に対して行うと、同期再生の開始指令が、操作入力ユニットから制御ユニット110Aへ送られる。この同期再生の開始指令を受け、ステップS31における判定の結果が肯定的となると(ステップS31:Y)、処理はステップS32へ進む。
ステップS32では、制御ユニット110Aが、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲コンテンツの部分のデータを、逐次、音源ユニット130から読み取る。引き続き、制御ユニット110Aは、読み取られたデータに基づいて再生楽曲音データを生成する。そして、制御ユニット110Aは、生成された再生楽曲音データを音出力ユニット140へ送る。この結果、音出力ユニット140から、再生楽曲音が再生出力される。
次に、ステップS33において、制御ユニット110Aが、同期再生の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS33:N)には、処理はステップS32へ戻る。そして、同期音出力処理が継続される。
ステップS32,S33の処理の繰り返し中に、利用者が、同期再生の終了指令の入力操作を操作入力ユニット170に対して行うと、同期再生の終了指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この同期再生の終了指令を受け、ステップS33における判定の結果が肯定的となると(ステップS33:Y)、制御ユニット110Aは、同期音出力処理を終了する。
《編集同期情報の生成処理》
編集同期情報の生成処理に際しては、図8に示されるように、まず、ステップS41において、制御ユニット110Aが、再生同期情報編集の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS41:N)、ステップS41の処理が繰り返される。
ステップS41の処理の繰り返し中に、利用者が、再生同期情報編集の開始指令の入力操作を操作入力ユニット170に対して行うと、再生同期情報編集の開始指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この再生同期情報編集の開始指令を受け、ステップS41における判定の結果が肯定的となると(ステップS41:Y)、処理はステップS42へ進む。
ステップS42では、制御ユニット110Aが、再生同期情報編集の開始指令において指定された再生同期情報又は編集同期情報を特定する。そして、制御ユニット110Aは、特定された同期情報を、暫定編集同期情報として記憶ユニット120から読み取る。
次に、ステップS43において、制御ユニット110Aが、再生同期情報編集の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS43:N)、処理はステップS44へ進む。
ステップS44では、制御ユニット110Aが、同期映像切換指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS44:N)、処理はステップS43へ戻る。
ステップS43,S44の処理の繰り返し中に、利用者が、同期映像切換指令の入力操作を操作入力ユニット170に対して行うと、同期映像切換指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この同期映像切換指令を受け、ステップS44における判定の結果が肯定的となると(ステップS44:Y)、処理はステップS45へ進む。
ステップS45では、制御ユニット110Aが、今回の編集同期情報の生成処理中における同期再生処理に関する基準時刻に対応する時刻(再生楽曲音出力の開始時刻)に対する現在時刻の相対時刻を特定する。引き続き、制御ユニット110Aは、当該特定された相対時刻の情報、及び、同期映像切換指令において指定された再生用映像データの特定情報を追加することにより、その時点における暫定編集同期情報を更新する。そして、処理はステップS43へ戻る。
なお、再生同期情報編集の開始時に読み取った暫定編集同期情報が編集同期情報であった場合には、制御ユニット110Aは、その後に最初の同期映像切換指令を受けると、当該最初の同期映像切換指令の受信時刻が対応する相対時刻以降における暫定編集同期情報を消去する。
ステップS43〜S45の繰り返し中に、利用者が、再生同期情報編集の終了指令の入力操作を操作入力ユニット170に対して行うと、再生同期情報編集の終了指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この再生同期情報編集の終了指令を受け、ステップS43における判定の結果が肯定的となると(ステップS43:Y)、処理はステップS46へ進む。
ステップS46では、制御ユニット110Aが、同期映像切換指令の受信に伴う暫定編集同期情報の更新があったか否かを判定する。この判定の結果が否定的であった場合(ステップS46:N)には、制御ユニット110Aは、直ちに、編集同期情報の生成処理を終了する。
一方、ステップS46における判定の結果が肯定的であった場合(ステップS46:Y)には、処理はステップS47へ進む。このステップS47では、制御ユニット110Aが、その時点における暫定編集同期情報を、新たな編集同期情報に確定する。そして、制御ユニット110Aは、新たな編集同期情報を記憶ユニット120内に格納する。この後、制御ユニット110Aは、編集同期情報の生成処理を終了する。
なお、制御ユニット110Aは、上述した編集同期情報の生成処理と並行して、同期映像の切換表示処理及び同期音出力処理を実行する。
同期映像の切換表示処理及び同期音出力処理に際しては、図9に示されるように、まず、ステップS51において、制御ユニット110Aが、再生同期情報編集の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS51:N)、ステップS51の処理が繰り返される。
ステップS51の処理の繰り返し中に、利用者が、再生同期情報編集の開始指令の入力操作を操作入力ユニット170に対して行うと、再生同期情報編集の開始指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この再生同期情報編集の開始指令を受け、ステップS51における判定の結果が肯定的となると(ステップS51:Y)、処理はステップS52へ進む。
ステップS52では、制御ユニット110Aが、当該再生同期情報編集の開始指令で指定された再生同期情報又は編集同期情報を参照して、上述した同期再生処理の場合と同様にして、同期映像表示処理及び同期音出力処理を行う。
次に、ステップS53において、制御ユニット110Aが、再生同期情報編集の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS53:N)、処理はステップS54へ進む。
ステップS54では、制御ユニット110Aが、同期映像切換指令を受けたか否かを判定する。この判定の結果が否定的であった場合には(ステップS54:N)、処理はステップS53へ戻る。
ステップS53,S54の処理の繰り返し中に、利用者が、同期映像切換指令の入力操作を操作入力ユニット170に対して行うと、同期映像切換指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この同期映像切換指令を受け、ステップS54における判定の結果が肯定的となると(ステップS54:Y)、処理はステップS55へ進む。
ステップS55では、制御ユニット110Aが、同期映像切換指令で指定された映像データに対応する再生同期情報を参照し、それまでの再生楽曲音の再生タイミングとの同期を維持しつつ、映像切換後に再生すべき当該指定された映像データの部分を特定する。引き続き、制御ユニット110Aは、特定された映像データの部分のデータを順次読み取り、同期映像データを生成する。そして、制御ユニット110Aは、生成された同期映像データを投影ユニット1501へ送る。この結果、投影ユニット1501により投影表示される同期映像が切り換わる。この後、処理はステップS53へ戻る。
ステップS53〜S55の繰り返し中に、利用者が、再生同期情報編集の終了指令の入力操作を操作入力ユニット170に対して行うと、再生同期情報編集の終了指令が、操作入力ユニット170から制御ユニット110Aへ送られる。この再生同期情報編集の終了指令を受け、ステップS53における判定の結果が肯定的となると(ステップS53:Y)、制御ユニット110Aは、同期映像の切換表示処理及び同期音出力処理を終了する。
以上説明したように、本第1実施例では、制御ユニット110Aが、撮影ユニット180が撮影した再生楽曲音に同期した映像データを取得する。引き続き、制御ユニット110Aが、撮影時における再生楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミングとの同期関係を、撮影時における再生楽曲音と映像との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、制御ユニット110Aが、当該取得された映像データに基づく同期映像を投影ユニット1501に投影表示させるとともに、再生楽曲音を音出力ユニット140から出力させる。
したがって、本第1実施例によれば、撮影時における再生楽曲音と映像との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像とを再生することができる。
また、本第1実施例では、同期再生指令において同時再生表示が指定された場合には、制御ユニット110Aが、同期映像を投影ユニット1501により投影表示させつつ、撮影ユニット180により撮影されているリアルタイム映像を投影ユニット1502により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。
また、本第1実施例では、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けるたびに、制御ユニット110Aが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けると、制御ユニット110Aは、同期映像切換指令において指定された映像に切り換えて、投影ユニット1501により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。
[第2実施例]
次に、本発明に係る第2実施例を、図10から図14を主に参照して説明する。
図10には、第2実施例に係る同期再生装置100Bの概略的な構成が示されている。なお、同期再生装置100Bは、上述した第2実施形態の同期再生装置700B(図2参照)の一態様となっている。
図10に示されるように、同期再生装置100Bは、上述した第1実施例の同期再生装置100Aと比べて、制御ユニット110Aに代えて制御ユニット110Bを備える点、収音ユニット190を更に備える点、記憶ユニット120は、取得情報記憶部725としても機能し、記憶ユニット120には取得情報AQD及び再生用情報RDBが記憶される点が、異なっている。以下、これらの相違点に主に着目して、説明する。
制御ユニット110Bは、上述した制御ユニット110Aと同様に、中央処理装置及びその周辺回路を備えて構成されている。制御ユニット110Bが様々なプログラムを実行することにより、上述した取得手段720B、生成手段730B、表示制御手段740及び音出力制御手段760Bとしての機能が実現されるようになっている。かかる制御ユニット110Bが実行する処理の詳細については、後述する。
上記の収音ユニット190は、マイクロフォンを備えて構成される。この収音ユニット190は、制御ユニット110Bによる制御のもとで、周囲音を収音する。収音ユニット190による収音結果は、収音データとして制御ユニット110Bへ送る。
上記の取得情報AQDは、図11に示されるように、取得映像データと、取得楽曲音データと、取得残余音データとから構成される。また、上記の再生用情報RDBは、図12に示されるように、上述した第1実施例における再生用情報RDA(図4参照)と比べて、個別同期再生用情報#j(j=1,2,…)が、再生用残余音データ#jを更に含む点のみが異なっている。
<動作>
次に、上記のように構成された同期再生装置100Bの動作について、取得動作、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に際しての制御ユニット110Bの処理に主に着目して説明する。
《取得処理》
取得処理に際しては、図13に示されるように、まず、ステップS61において、制御ユニット110Bが、取得動作の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS61:N)には、ステップS61の処理が繰り返される。
ステップS61の処理の繰り返し中に、利用者が、取得動作の開始指令の入力操作を操作入力ユニット170に対して行うと、取得動作の開始指令が、操作入力ユニット170から制御ユニット110Bへ送られる。この取得動作の開始指令を受け、ステップS61における判定の結果が肯定的となると(ステップS61:Y)、処理はステップS62へ進む。
ステップS62では、制御ユニット110Bが、取得動作の終了指令を受けるまでの取得期間に撮影ユニット180から送られた映像データ、及び、収音ユニット190から送られた収音データを受け、記憶ユニット120を利用したバッファリングを行う。引き続き、ステップS63において、制御ユニット110Bが、取得動作の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS63:N)には、処理はステップS62へ戻る。そして、映像データ及び収音データのバッファリング処理が継続される。
ステップS62,S63の処理の繰り返し中に、利用者が、取得動作の終了指令の入力操作を操作入力ユニット170に対して行うと、取得動作の終了指令が、操作入力ユニット170から制御ユニット110Bへ送られる。この取得動作の終了指令を受け、ステップS63における判定の結果が肯定的となると(ステップS63:Y)、処理はステップS64へ進む。
ステップS64では、制御ユニット110Bが、記憶ユニット120内にバッファリングされている収音データを解析して、楽曲音と、楽曲以外の残余音とを識別し、楽曲音データと残余音データとに分離する。そして、制御ユニット110Bは、記憶ユニット120内にバッファリングされている映像データ、並びに、当該分離された楽曲音データ及び残余音データを、取得映像データ、取得楽曲音データ及び取得残余音データとして、記憶ユニット120内に格納する。この後、制御ユニット110Bは、取得処理を終了する。
《再生同期情報の生成処理》
再生同期情報の生成処理に際しては、図14に示されるように、まず、ステップS71において、制御ユニット110Bが、再生同期情報の生成指令を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS71:N)には、ステップS71の処理が繰り返される。
ステップS71の処理の繰り返し中に、利用者が、再生同期情報の生成指令の入力操作を操作入力ユニット170に対して行うと、再生同期情報の生成指令が、操作入力ユニット170から制御ユニット110Bへ送られる。この再生同期情報の生成指令を受け、ステップS71における判定の結果が肯定的となると(ステップS71:Y)、処理はステップS72へ進む。
ステップS72では、制御ユニット110Bが、楽曲音の特定を行う。かかる楽曲音の特定に際して、まず、制御ユニット110Bは、記憶ユニット120から取得楽曲音データを読み取る。引き続き、制御ユニット110B、取得楽曲音データを解析して、取得楽曲音データに対応する楽曲音の特徴を示すメタデータを抽出する。そして、制御ユニット110Bは、当該メタデータに対応する音源ユニット130内の楽曲コンテンツを特定する。
次に、ステップS73において、制御ユニット110Bは、特定された楽曲コンテンツにおける取得楽曲音データの部分を特定する。そして、特定された楽曲コンテンツにおける取得楽曲音データの部分、及び、特定された楽曲コンテンツの識別情報に基づいて、第1実施例で生成された再生同期情報と同等な再生同期情報を生成する。引き続き、制御ユニット110Bは、記憶ユニット120から取得映像データ及び取得残余音データを読み取って、新たな再生用映像データ及び再生用残余音データとして、記憶ユニット120内に格納するとともに、生成された再生同期情報を、新たな再生同期情報として、記憶ユニット120内に格納する。この結果、記憶ユニット120内には、新たな再生用映像データ、再生用残余音データ及び再生同期情報が追加される。
次に、制御ユニット110Bは、当該新たな再生用映像データ、再生用残余音データ及び再生同期情報の生成のために利用した取得映像データ、取得楽曲音データ及び取得残余音データを、記憶ユニット120内から消去する。この後、制御ユニット110Bは、再生同期情報の生成処理を終了する。
《同期再生処理及び編集同期情報の生成処理》
本第2実施例の同期再生処理における同期映像表示処理は、制御ユニット110Bが、上述した第1実施例における制御ユニット110Aによる同期映像表示処理と同様の処理を実行することにより、行われる。
また、本第2実施例の同期再生処理における同期音出力処理は、同期再生の開始指令において残余音の同時再生無の指定がされている場合には、制御ユニット110Bが、上述した第1実施例における制御ユニット110Aによる同期音出力処理と同様の処理を実行することにより行われる。一方、同期再生の開始指令において残余音の同時再生有の指定がされている場合には、次のようにして、制御ユニット110Bが、同期音出力処理を実行する。
かかる残余音の同時再生有の指定がされている場合の同期音出力処理に際して、制御ユニット110Bは、同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲音に対応する楽曲コンテンツの部分のデータを、逐次、音源ユニット130からから読み取るとともに、各時点において再生すべき再生用残余音データの部分のデータを、逐次、記憶ユニット120から読み取る。
引き続き、制御ユニット110Bは、読み取られた2種類のデータに基づいて、再生楽曲音と残余音との合成音に対応する同期出力音データを生成する。そして、制御ユニット110Bは、生成された同期出力音データを、音出力ユニット140へ送る。この結果、音出力ユニット140からは、再生楽曲音と残余音との合成音が再生出力される。
なお、同期再生の開始指令において残余音の同時再生の有無の指定がいずれであっても、同期再生の終了指令を受けると、制御ユニット110Bは、同期音出力処理を終了する。
本第2実施例における編集同期情報の生成は、制御ユニット110Bが、上述した第1実施例における制御ユニット110Aによる編集同期情報の生成処理と同様の処理を実行することにより、行われる。
以上説明したように、本第2実施例では、制御ユニット110Bが、撮影ユニット180により撮影された楽曲音に同期した映像データ、及び、収音ユニット190により収音された音声のデータ受ける。引き続き、制御ユニット110Bが、当該収音された音声のデータを解析して、楽曲音と、楽曲以外の残余音とを識別し、楽曲音データと残余音データとに分離する。そして、制御ユニット110Bは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの期間における映像データ、楽曲音データ及び残余音データを取得する。
次に、制御ユニット110Bが、撮影時における楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミング、及び、当該取得された残余音データに基づく再生映像の再生タイミングとの同期関係を、撮影時における楽曲音と、映像及び残余音との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、制御ユニット110Bが、当該取得された映像データに基づく同期映像を投影ユニット1501により投影表示させるとともに、再生楽曲音と残余音との合成音を音出力ユニット140から出力させる。
したがって、本第2実施例によれば、撮影時における再生楽曲音と、映像及び残余音との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像と残余音とを再生することができる。
また、本第2実施例では、第1実施例の場合と同様に、同期再生指令において同時再生表示が指定された場合には、制御ユニット110Bが、同期映像を投影ユニット1501により投影表示させつつ、撮影ユニット180により撮影されているリアルタイム映像を投影ユニット1502により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。
また、本第2実施例では、第1実施例の場合と同様に、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けるたびに、制御ユニット110Bが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けると、制御ユニット110Bは、同期映像切換指令において指定された映像を切り換えて、投影ユニット1501により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。
[実施例の変形]
本発明は、上記の第1及び第2実施例に限定されるものではなく、様々な変形が可能である。
例えば、上記の第1及び第2実施例では、同期映像及びリアルタイム映像のために、投影プロジェクタを備える投影ユニットを採用したが、液晶ディスプレイパネル等の表示デバイスを備える表示ユニットを採用してもよい。
また、上述した第1及び第2実施形態について説明した変形を、上記の第1及び第2実施例に適用してもよい。
なお、上記の実施例では、制御ユニット110A,110Bのよるプログラムの実行により、同期再生のための処理を行うようにしたが、当該同期再生のための処理の全部又は一部を、専用のLSI(Large Scale Integrated circuit)等を用いたハードウェアにより行うようにしてもよい。