JP5097149B2

JP5097149B2 - コンテンツデータ再生装置

Info

Publication number: JP5097149B2
Application number: JP2009034218A
Authority: JP
Inventors: 義昭荻澤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2009-02-17
Filing date: 2009-02-17
Publication date: 2012-12-12
Anticipated expiration: 2029-02-17
Also published as: JP2010193081A

Description

本発明は、映像／音声の通常再生またはダイジェスト再生に合わせて、周辺機器（例えば、照明装置）を動作させることにより、映像／音声の視聴者に高臨場感を与えるコンテンツデータ再生装置に関する。

近年、映像／音声コンテンツの再生と連動して、視聴空間における照明装置、扇風機、エアコン等の各種周辺機器を動作させることにより、映像／音声の視聴者に高臨場感を与える方法が提案されている。例えば、特許文献１では、画像表示装置の画像に連動して照明を制御することによって、高い臨場感が得られる照明制御方法が開示されている。

一方で、ハードディスクドライブ等を用いたコンテンツ蓄積装置の大容量化や、サーバ型コンテンツ放送サービスの普及等により、ユーザの視聴形態は多様化しており、その一つに、映像／音声内の一部のシーン（例えば、盛り上がったシーン等の重要なシーン）のみを再生し短時間で映像／音声の概要を把握するダイジェスト再生がある（例えば、特許文献２〜４参照）。
このようなダイジェスト再生の際にも、照明装置等の周辺機器を制御し、視聴者に高臨場感を与えることが考えられている。

特開２０００−１７３７８３号公報特開平１０−１５０６２９号公報特開平１１−２０５７０４号公報特開平２０００−２３０６２号公報

しかしながら、ダイジェスト再生するシーンについて、通常再生のときと同じ制御値を用いて周辺機器を制御すると、周辺機器がもたらす効果（付加効果）が視聴者に不快感を与えることがある。例えば、一部のシーンのみを繋ぎ合わせるダイジェスト再生では、シーン間のつながりによっては、照明の効果がコンテンツ製作者が意図しないフラッシュとなってしまい、視聴者に不快感を与えることがある。
このようなダイジェスト再生時の付加効果による影響を避けるには、ダイジェスト再生用に制御値を定める方法が考えられるが、この方法はコンテンツ製作者に必要とされる労力が大きい。

本発明は、上記課題を解決するためのものであって、コンテンツ製作者の負担が少なく、また、映像／音声の通常再生のときだけでなくダイジェスト再生のときも、周辺機器を動作させることにより、視聴者に、コンテンツ製作者が意図しない不快感を与えずに、高臨場感を与えるコンテンツデータ再生装置を提供する。

上記課題を解決するため、本発明の第１の技術手段は、映像及び／又は音声を含むコンテンツと、該コンテンツと対応して視聴環境を制御する付加効果制御値が記録され、少なくとも前記コンテンツが再生時間軸に沿ってシーン区分され、前記付加効果制御値が前記再生時間軸に沿って制御値が一定値で連続する範囲毎に区分記録され、ダイジェスト再生時の前記制御値の補正形態を示す補正形態情報がシーン毎に記録されたコンテンツデータを再生するコンテンツデータ再生装置であって、少なくとも前記制御値の抽出手段と、ダイジェスト再生シーン抽出手段とを備え、通常再生時には再生と連動して、前記記録された制御値に基づいて前記視聴環境を制御する機器を制御し、ダイジェスト再生時には、抽出したダイジェスト再生シーンに対応する前記再生時間軸に対応して記録された前記制御値を抽出し、前記補正形態情報に基づいて、前記再生時間軸に対する制御値の変化率を緩和するフェードイン／フェードアウト、通常再生時と同じ制御値を用いるＯＮの制御または制御値に基づく制御を行わないＯＦＦの制御を前記機器に対して行うことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記ダイジェスト再生シーン抽出手段が、前記区分されたシーンごとの記録された映像及び／又は音声データの重要度に基づいて前記ダイジェスト再生シーンを抽出することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記ダイジェスト再生シーンの前記重要度に基づいて、当該シーンの再生速度を決定することを特徴としたものである。

第４の技術手段は、第１の技術手段において、前記ダイジェスト再生シーン抽出手段が、ダイジェスト再生するシーンを示すダイジェストシーン情報が記録された前記コンテンツデータの再生において、当該ダイジェストシーン情報に基づいて前記ダイジェスト再生シーンを抽出することを特徴としたものである。

第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記コンテンツのシーン区分と前記制御値の付加区分が一致している前記コンテンツデータを再生することを特徴としたものである。

本発明によれば、映像／音声の通常再生のときだけでなくダイジェスト再生のときも、周辺機器を動作させることにより、視聴者に、コンテンツ製作者が意図しない不快感を与えずに、高臨場感を与えることができる。また、コンテンツ製作者の負担が少ない。

本発明の第１の実施形態のコンテンツデータ再生装置の構成例を示すブロック図である。音声／映像コンテンツの一例を示す図である。補正形態情報付き付加効果制御データの一例を示す図である。ダイジェスト再生情報の一例を示す図である。通常再生及びダイジェスト再生のときのＡＶシーンと照明との関係の一例を示す図である。ダイジェスト再生時に連続して再生されるＡＶシーン間における制御値の変化例を示す図である。高臨場感再生における、図１のコンテンツデータ再生装置による照明装置の制御処理例を説明するための図である。本発明の第２の実施形態のコンテンツデータ再生装置の構成例を示すブロック図である。音声／映像コンテンツの他の例を示す図である。図９の音声／映像コンテンツのうちダイジェスト再生するＡＶシーンを示す図である。付加効果制御データの一例を示す図である。ダイジェスト再生のときのＡＶシーンと照明との関係の他の例を示す図である。照明装置の制御値の補正形態の一例を示す図である。照明装置の制御値の補正形態の他の例を示す図である。高臨場感再生における、図８のコンテンツデータ再生装置による照明装置の制御処理例を説明するための図である。ＡＶシーンの重要度と当該ＡＶシーンの再生速度の対応例を示す図である。

以下、図面を参照して、本発明のコンテンツデータ再生装置を説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態のコンテンツデータ再生装置の構成例を示すブロック図である。
図の例のコンテンツデータ再生装置１は、音声データに基づき音声を出力する音声出力装置Ｘと、映像データに基づき映像を表示する映像表示装置Ｙと接続され、さらに、周辺機器としての照明装置Ｚと接続されている。そして、このコンテンツデータ再生装置１は、音声及び映像コンテンツの通常再生、または、再生時間軸に沿って区分したＡＶシーン単位でのダイジェスト再生に合わせて、照明装置Ｚを制御し動作させることで、ユーザに高臨場感を与えることができるものである。なお、以下では、上述のように音声及び映像コンテンツの再生に合わせて、高臨場感を与えるよう照明装置Ｚを制御することを、高臨場感再生という。

コンテンツデータ再生装置１は、データ取得部１０、データ分離部１１、再生制御部１２、ユーザ指示取得部１３、音声復号部１４、映像復号部１５、付加効果設定部１６、音声データ出力部１７、映像データ出力部１８、機器制御部１９からなる。

データ取得部１０は、高臨場感再生に必要なコンテンツデータを取得するものである。本例のコンテンツデータには、符号化音声データ及び符号化映像データと、後述の補正形態情報付き付加効果制御データと、ダイジェスト再生情報とが含まれる。
符号化音声データ及び符号化映像データはそれぞれ、後述の図２で例示するように、再生時間軸に沿ってＡＶシーンとして区分されている。
また、補正形態情報付き付加効果制御データは、照明装置Ｚの制御に用いられる。付加効果制御データは、後述の図３で例示するように、通常再生時の照明装置Ｚの制御値が一定値で連続する範囲で再生時間軸に沿って区分される制御シーン毎に、制御値情報（通常再生時の制御値、当該制御値での制御の開始時刻、当該制御値での制御時間長）を記載したものである。また、補正形態情報は、上記制御シーン毎すなわち制御値毎に付されるもので、当該シーンをダイジェスト再生したときの制御値の補正形態を示す。
ダイジェスト再生情報は、後述の図４で例示するように、ダイジェスト再生するＡＶシーンの情報を示す。

これらの情報を含むコンテンツデータは、データ分離部１１に送出され、符号化映像データ、符号化音声データ、補正形態情報付き付加効果制御データ、ダイジェスト再生情報に分離される。分離された各データは、再生制御部１２に送出される。

再生制御部１２は、高臨場感再生の制御を行う。高臨場感再生には、通常再生によるものとダイジェスト再生によるものの２通りがあり、再生制御部１２は、いずれの方法で高臨場感再生を行うかを、ユーザ指示取得部１３が取得したユーザ（視聴者）の指示に従って決定する。ユーザの指示は、例えば、リモコン等の入力装置を介して行われる。再生制御部１２による制御並びにダイジェスト再生シーン抽出手段１２ａ及び制御値抽出手段１２ｂについては、後述する。

音声復号部１４及び映像復号部１５はそれぞれ、再生制御部１２から出力された符号化音声データ及び符号化映像データを復号する。復号により得られた音声データ及び映像データはそれぞれ、音声データ出力部１７及び映像データ出力部１８を介して音声再生装置Ｘ及び映像表示装置Ｙに出力される。

付加効果設定部１６は、再生制御部１２から受け取る付加効果制御に関する情報（制御値情報等）に基づき、照明装置Ｚの制御（すなわち付加効果）に関して設定する。例えば、制御対象の設定（照明装置が赤、青、緑の三色の照明から成る場合にいずれの色の照明を制御対象とするか等の設定）、制御値の設定や、ダイジェスト再生時にどのような制御をするかを設定する。設定した情報（設定情報）は、機器制御部１９に出力される。

機器制御部１９は、上記設定情報に合わせて照明装置Ｚを制御する。例えば、設定情報に応じた照明装置Ｚを制御するためのコマンドを生成し、送出することで、照明装置Ｚを制御する。これにより、照明装置Ｚの照明の色や輝度を変更することができる。なお、照明装置は、種類等によって照明能力が異なることが考えられるため、自らの照明能力を、機器制御部１９に通知できる機能を有するものが望ましい。

以上のような各部からなるコンテンツデータ再生装置１では、通常再生時は、音声／映像コンテンツの再生と連動して、データ分離部１１から取得した付加効果制御データに示される制御値をそのまま用いて照明装置Ｚを制御する。

その一方で、ダイジェスト再生時は、再生制御部１２のダイジェスト再生シーン抽出手段１２ａによりダイジェスト再生するＡＶシーンを抽出する。この抽出は、例えば、前記ダイジェスト再生情報に基づき行うことができる。そして、抽出したＡＶシーンの時間軸に対応して記録された制御値を制御値抽出手段１２ｂで抽出し、当該制御値を用いることにより不快感を与える照明とならないよう、抽出した制御値を補正して照明装置Ｚを制御する。制御値の補正の形態としては、フェードイン、フェードアウト等があり、いずれの形態で補正するかは、例えば、前記付加効果制御データ内の補正形態情報に基づき決定することができる。
上述の照明装置の制御を音声／映像コンテンツのダイジェスト再生に合わせて行うことで、視聴者に、コンテンツ製作者が意図しない不快感を与えずに、高い臨場感を与えることができる。

以下では、コンテンツデータの例と、そのコンテンツデータを高臨場感再生したときの動作例を説明する。
本例のコンテンツデータのうち、映像／音声コンテンツは、図２のように、６つのＡＶシーン（Ｓ１〜Ｓ６）から成り、例えば、ＡＶシーンＳ１，Ｓ２の[通常再生時のシーン開始時刻，通常再生時のシーンの時間長]が、［０：００：００，０：０１：００］、［０：０１：００，０：００：３０］となっているものとする。

また、コンテンツデータに含まれる付加効果制御データには、制御シーン毎に、制御値情報が与えられている。制御値情報は、通常再生時の照明装置Ｚの制御値、並びに通常再生時の当該制御値による制御の開始時間及び制御時間長を示す情報である。図３の例では、「開始時間」、「時間長」、「値（Ｒ，Ｇ，Ｂ）」のデータフィールドで制御値情報が示されており、例えば、制御値Ｒが０、制御値Ｇが２００、制御値Ｂが０である、制御シーンＬ１の開始時間が０：００：００、時間長が００：０１：００、となっている。

図２の例の映像／音声コンテンツの通常再生に合わせて、図３の付加効果制御データ（すなわち制御値情報）に基づき照明装置Ｚを制御したときの、各ＡＶシーンと照明との関係を図５（Ａ）に示す。本例では、ＡＶシーンそれぞれは制御シーンそれぞれと一致しており（つまり、ＡＶシーンＳｎと制御シーンＬｎ（ｎ＝１〜６）の通常再生時の開始時刻及び時間長が等しくなっており）、ＡＶシーンＳ１のときの照明は緑、ＡＶシーンＳ２のときの照明はライトグリーン等となる。

付加効果制御データと共に取得される補正形態情報は、図３の例では、「ダイジェスト制御」のデータフィールドで示される。例えば、照明が黄色（Ｒ＝２５５,Ｇ＝２５５，Ｂ＝０）である制御シーンＬ１（０：０７：００〜０：０９：００）には、補正形態情報として「フェードイン」が与えられている。

制御シーン毎に与えられる補正形態情報としては、「フェードイン」の他、「フェードアウト」、「ＯＮ」、「ＯＦＦ」等がある。「フェードイン」は、ダイジェスト再生時に、制御値をフェードインさせること、すなわち、該当する制御シーンへの前の制御シーンからの切換えの際に、該当する制御シーンの最初の部分で、前の制御シーンの通常再生時の制御値から当該制御シーンの通常再生時の制御値に徐々に移り変わるように制御することを示す。「フェードアウト」は、ダイジェスト再生時に、制御値をフェードアウトさせること、すなわち、該当する制御シーンから次の制御シーンへ移る際に制御値が急激に変わらないように、該当する制御シーンの最後の部分で、次の制御シーンの通常再生時の制御値に徐々に移り変わるように制御することを示す。「ＯＮ」は、ダイジェスト再生時に、通常再生時と同じ補正値を用いること、すなわち、制御値を補正しないことを示す。「ＯＦＦ」は、ダイジェスト再生時に、付加効果を再生しないよう制御値をゼロに補正すること(すなわち、照明装置Ｚを消灯すること)を示す。

図４は、コンテンツデータに含まれる、ダイジェスト再生するＡＶシーンを示すダイジェスト再生情報の一例である。図の例のダイジェスト再生情報は、ＡＶシーンＳ１（００:００：００〜００：０１：００）、ＡＶシーンＳ３（００：０１:３０〜００:０３:３０）、ＡＶシーンＳ４（００:０３：３０〜００：０６：３０）、ＡＶシーンＳ６（００:０７：３０〜００：１０：３０）のそれぞれのシーンをダイジェスト再生のときに再生することを示す。

なお、本実施形態においては、補正形態情報付き付加効果制御データとダイジェスト再生情報は、コンテンツ製作者が作成して音声／映像コンテンツに付与されてコンテンツデータとされている。

図２の映像／音声コンテンツを図４のダイジェスト再生情報に基づいてダイジェスト再生するのに合わせて、図３の補正形態情報付き付加効果制御データに基づき照明装置Ｚを制御したとする。この例では、ＡＶシーンそれぞれは制御シーンそれぞれと一致しており、ダイジェスト再生するＡＶシーンＳ１、Ｓ３、Ｓ４に対応する制御シーンＬ１、Ｌ３、Ｌ４の補正形態情報が「ＯＮ」となっており、ＡＶシーンＳ６に対応する制御シーンＬ６の補正形態情報が「フェードイン」となっている。

そのため、この例におけるダイジェスト再生する各ＡＶシーンと照明との関係は、図５（Ｂ）に示すようになっており、ＡＶシーンＳ１では、ダイジェスト再生においても照明が通常再生時と同様に緑となり、続くＡＶシーンＳ３及びＡＶシーンＳ４でもそれぞれ、照明が通常再生時と同様に水色及び白となるが、ＡＶシーンＳ６では、その最初において補正値をフェードインするようになっており、白の照明から通常再生時の色の黄色となるように変化する。そのため、ＡＶシーンＳ４からＡＶシーンＳ６への切換えの際に、照明の色が白から黄色にいきなり変わることがなく、ユーザに不快感を与えることがない。

ここで、フェードイン制御の例について説明する。図３の制御シーンＬ６のように、補正形態情報でフェードインの指定がされた制御シーンについて、ダイジェスト再生を行う場合、フェードイン処理が行われる。フェードイン制御は、直前の制御シーンでの通常再生時の制御値から、指定された制御シーンの通常再生時の制御値へ、段階的に変化させる制御である。

図６は、ダイジェスト再生時に連続して再生される図４のＡＶシーンＳ４とＳ６の間の制御値の変化を説明するものである。この変化の際、制御値のうちＲ値、Ｇ値については変化が無いため、Ｂ値についてのみ図示している。縦軸が制御値（Ｂ値）を、横軸が再生時間を表している。
ＡＶシーンＳ６に対応する制御シーンＬ６の補正形態情報がフェードイン制御ではなく、通常制御を示している場合、図６（Ａ）に示すように、ＡＶシーンＳ４（すなわち制御シーンＬ４）では制御値が２５５であったＢの照明が、時刻ｔ_０に（つまり、制御シーンの切換えと同時に）、ＡＶシーンＳ６（すなわち制御シーンＬ６）の通常再生時の制御値である０に変化する。

一方、ＡＶシーンＳ６に対応する制御シーンＬ６の補正形態情報がフェードイン制御を示している場合、図６（Ｂ）に示すように、制御値は、ＡＶシーンが切り換わる時刻ｔ_０で直ぐに、ＡＶシーンＳ６（すなわち制御シーンＬ４）の制御値に変化せず、時刻ｔ_１までの間に段階的に変化する。変化中の制御値は、スムーズに変更されればよく、例えば、次のような算出方式が考えられる。

時刻ｔ_０の制御値をＢ_１、終了時の制御値をＢ_２とし、フェードイン制御時間（変化時間）をｔｘとすると、時刻ｔｎ（＜ｔｘ）での制御値は、
Ｂ_１＊ｔｎ＋Ｂ_２＊（ｔ_０−ｔｎ）／ｔｘ
で、表すことができる。その他の色（Ｒ，Ｇ）の照明についても同様に与えることができる。なお、フェードイン制御時間（変化時間）ｔｘは、照明装置Ｚの階調表現能力から決めても良いし、該当する制御シーンのダイジェスト再生時の時間長から決めても良い。例えば、上記ダイジェスト再生時の時間長が１分３０秒であり、当該時間長の１０％の時間をかけて変化させる設定であれば、フェードイン制御時間は約９秒となる。

ここではフェードイン制御について説明したが、フェードアウト制御も同様である。図３の例と異なり、ＡＶシーンＳ４に対応する制御シーンＬ４の補正形態情報がフェードアウト制御を示し、ＡＶシーンＳ６に対応する制御シーンＬ６の補正形態情報が通常制御を示している場合、図６（Ｃ）に示すように、制御値は、ＡＶシーンが切り換わる時刻ｔ_０より所定時間前の時刻ｔ_２から上記時刻ｔ_０までの間に段階的に変化する。上記所定時間（フェードアウト制御時間）は、フェードインの時と同様に、階調表現能力から決めても良いし、ＡＶシーンＳ４に対応する制御シーンのダイジェスト再生時の時間長から決めてもよい。

続いて、高臨場感再生における、図１のコンテンツデータ再生装置１による照明装置Ｚの制御処理例を、図７のフローチャートを用いて説明する。
まず、データ取得部１０が、再生するコンテンツデータを取得する（ステップＳ１）。取得されたコンテンツデータは、データ分離部１１に出力される。続いて、データ分離部１１が、コンテンツデータを、符号化映像データと符号化音声データ、補正形態情報付き付加効果制御データ、ダイジェスト再生情報に分離する（ステップＳ２）。分離されたデータは、再生制御部１２に出力される。

再生制御部１２は、ユーザ指示取得部１３から、再生方法に関するユーザの指示を取得し（ステップＳ３）、ダイジェスト再生が指示されたか否かを判断する（ステップＳ４）。
ダイジェスト再生でない場合（ＮＯの場合）、つまり、通常再生の場合、ステップＳ５において、通常再生で照明機器Ｚの制御を行うために、各制御シーンの制御値情報を取得し、付加効果設定部１６に出力し、付加効果設定部１６で、制御値情報に基づき、ＲＧＢの何れの色の照明装置を制御対象とするかの設定などの各種設定を行う。この設定情報は機器制御部１９に出力される。機器制御部１９では、設定情報に基づき、照明装置Ｚの制御コマンドの生成を行う（ステップＳ６）。
そして、再生制御部１２は、ＡＶコンテンツの再生に合わせて、制御コマンドを機器制御部１９から出力させ、高臨場感再生を通常再生で行う（ステップＳ７）。

一方、ステップＳ４で、ダイジェスト再生と判断された場合（ＹＥＳの場合）、再生制御部１２は、ダイジェスト再生シーン抽出手段１２ａでダイジェスト再生情報に基づき、ダイジェスト再生するＡＶシーンを選択する（ステップＳ８）。そして、選択したダイジェスト再生するＡＶシーンの情報に基づいて、補正形態情報付き付加効果制御データから、再生するＡＶシーンに対応する時間軸に対応して記録された制御値、当該制御値への変化時刻、当該制御値での制御の時間長、及び当該制御値についての補正形態情報を取得する（ステップＳ８）。例えば、図３のＡＶシーン６については、それに対応する制御シーンＬ６の制御値情報及び補正形態情報を取得する。これらの情報は、付加効果設定部１６に出力される。

続いて、付加効果設定部１６は、取得された制御値及び補正形態情報に基づき、ダイジェスト再生する各ＡＶシーンでの照明装置Ｚの制御値及び補正形態（付加効果の再生方法）等を設定する（ステップＳ１０）。この設定情報は機器制御部１９に出力される。機器制御部１９では、設定情報に基づき、照明装置Ｚの制御コマンドの生成を行う（ステップＳ６）。
そして、再生制御部１２は、ＡＶコンテンツの再生に合わせて、制御コマンドを機器制御部１９から出力させ、高臨場感再生をダイジェスト再生で行う（ステップＳ７）。

以上のように、コンテンツデータに、照明装置の通常再生時の制御値に加えて、通常再生時の制御値についてのダイジェスト再生時の補正形態を示す制御形態情報を付加するだけで、ダイジェスト再生用の制御値の情報をコンテンツデータに付さずとも、高臨場感再生をダイジェスト再生で行うことができる。
また、ダイジェスト再生の際のＡＶシーンの切り換わりの際に不快感となる付加効果が生じると想定されるものでも、制御値に対してフェードイン、フェードアウト、オフの補正が行われるよう補正形態情報を適宜付加しておけば、視聴者に不快感を与えることなく、高臨場感再生をダイジェスト再生で行うことができる。

なお、上述の例では、映像／音声コンテンツのシーン区分と、照明装置の制御値の付加区分が一致していたが、本発明は、一致していない場合にも適用することができる。

［第２の実施形態］
第２の実施形態では、コンテンツデータに、ダイジェスト再生情報及び補正形態情報が、コンテンツの製作者又は配信者によって付されていたが、本実施の形態は、これらの情報がコンテンツデータに含まれていない場合のものである。

図８は、本発明の第２の実施形態のコンテンツデータ再生装置の構成例を示すブロック図である。なお、以下では、本実施形態のコンテンツデータ再生装置に関し、図１のコンテンツデータ再生装置と同様な部分については、同じ参照符号を付すことにより、その説明を適宜省略する。

図８のコンテンツデータ再生装置と、図１のものとの主な差異は、データ取得部２０、再生制御部２１、付加効果設定部２２に関するものである。
図の例のコンテンツデータ再生装置２は、図１のコンテンツデータ再生装置１と同様に、データ取得部２０により、コンテンツデータを取得する。しかし、図１の例と異なり、このコンテンツデータには、符号化音声データ及び符号化映像データと、付加効果制御データのみが含まれ、ダイジェスト再生情報及び補正形態情報が含まれていない。

再生制御部２１には、ダイジェスト再生時に関わる手段として、重要度算出手段２１ａを含むダイジェスト再生シーン抽出手段２１ｂと、制御値抽出手段２１ｃとを有する。

重要度算出手段２１ａは、コンテンツデータに含まれる音声／映像コンテンツ等に基づき、各ＡＶシーンに対して重要度を算出するものである。例えば、まず、再生対象のコンテンツ解析により各ＡＶシーンの特徴を抽出して重要度を算出する。上記「特徴」としては、符号化映像データから抽出できる、ＡＶシーンの切り替え情報やエッジ情報、動きベクトル情報等があり、音声情報から抽出できる、音声レベル情報や無音区間情報や発話情報、字幕情報から抽出できるテロップ情報等がある。また、ＥＰＧからの番組名、出演者、番組内容情報が上記「特徴」となる。

なお、重要度の算出方法としては、例えば、映像情報のＡＶシーン切り替え情報や動きベクトル情報からシーン位置の情報を抽出し、各ＡＶシーンの音声レベルに応じた重要度を算出する方法が適用できる。

ダイジェスト再生シーン抽出手段２１ｂは、算出された重要度に基づき、ダイジェスト再生するＡＶシーンを抽出する。
例えば、再生する映像／音声コンテンツが、図９（Ａ）のように、６つのＡＶシーン（Ａ〜Ｆ）から成るものとする。この場合、重要度算出手段２１ａにより、ＡＶシーンＡ〜Ｆのそれぞれについて、重要度が算出される。算出結果が、図９（Ｂ）のようであった場合、重要度３以上のシーンを用いてダイジェスト再生を行うときは、ダイジェスト再生シーン抽出手段２１ｂは、図１０（Ａ），（Ｂ）に示すように、ＡＶシーンＢ，Ｄ，Ｆを、ダイジェスト再生するＡＶシーンとして抽出する。
抽出されたダイジェスト再生するＡＶシーンの情報は、制御値抽出手段２１ｃに出力される。

制御値抽出手段２１ｃは、抽出されたダイジェスト再生するＡＶシーンの時間軸に対応して記録された制御値と、通常再生時間軸における当該制御値での制御の開始予定時刻、及び、当該制御値での制御の時間長を抽出する。制御値抽出手段２１ｃにより抽出された情報は、付加効果設定部２２に出力される。

例えば、ダイジェスト再生するＡＶシーンが、上述の図１０（Ａ），（Ｂ）に示すようなものであり、付加効果制御データが、図１１（Ａ）,（Ｂ）に示すようなものであったとする。この場合、付加効果制御データと、コンテンツデータとの関係は、図１２（Ａ）に示すような関係となる。この例では、制御値抽出手段２１ｃは、ダイジェスト再生するＡＶシーンＢ，Ｄ，Ｆそれぞれについて、当該ＡＶシーンの時間軸に対応して記録された制御値と、当該制御値での制御の開始予定時刻、及び、当該制御値での制御の時間長を抽出し、ダイジェスト再生時の付加効果制御データを作成する。本例での抽出結果は、図１２（Ｂ）に示すようなものとなる。例えば、ＡＶシーンＢについては、２つの制御値が抽出される。このうち、Ｒ＝０、Ｇ＝２５５、Ｂ＝２５５の制御値については、通常再生時間軸における当該制御値での制御の開始予定時刻として０：０１：３０、及び、当該制御値での制御の時間長として０：０：０５が抽出される。

ダイジェスト再生する際、抽出した各制御値について、当該制御値の時間での制御時間が所定の値（閾値）より小さいか否かを、付加効果設定部２２の制御値判定手段２２ａで判定し、当該制御値を補正するかを決定する。制御時間が短時間である制御値を補正対象とするのは、制御時間が短時間の場合、照明がフラッシュとなり不快感を与える恐れがあるからである。例えば、上記閾値を１０秒とすると、ＡＶシーンＢの後半に対応するＲ＝０,Ｇ＝２５５,Ｂ＝２５５の制御値は、補正対象となる。
このとき、シーンｂ−２については、シーンｂ−２が開始されたとき、抽出した制御値を無効にして適用しないこととする。

無効にした期間中は、図１３に示すように、直前の抽出シーン（抽出シーンｂ１）に与えられた制御値から直後の抽出シーン（抽出シーンｄ１）の制御値に段階的に変化するよう、制御値の補正を行うとよい。また、図１４に示すように、制御値が補正対象である抽出シーン（抽出シーンｂ−２）について、直前の抽出シーン（抽出シーンｂ−１）の制御値と同じ制御値となるよう、制御値の補正を行ってもよい。もちろん、制御値が補正対象である抽出シーンについて、直後の抽出シーンの制御値と同じ制御値となるよう、制御値の補正を行ってもよい。
また、制御値が補正対象である抽出シーンについて、制御値がフェードインしたりフェードアウトしたりするよう補正を行っても良い。

続いて、高臨場感再生における、図８のコンテンツデータ再生装置２による照明装置Ｚの制御処理例を、図１５のフローチャートを用いて説明する。
まず、データ取得部１０が、再生するコンテンツデータを取得する（ステップＳ２１）。取得されたコンテンツデータは、データ分離部１１に出力される。続いて、データ分離部１１が、コンテンツデータを、符号化映像データと符号化音声データ、付加効果制御データに分離する（ステップＳ２２）。分離されたデータは、再生制御部２１に出力される。

再生制御部２１は、ユーザ指示取得部１３から、再生方法に関するユーザの指示を取得し（ステップＳ２３）、ダイジェスト再生が指示されたか否かを判断する（ステップＳ２４）。
ダイジェスト再生でない場合（ＮＯの場合）、つまり、通常再生の場合、ステップＳ２５〜Ｓ２７の処理を行う。この処理は、図７のステップＳ５〜７の処理と同様であるので、その説明を省略する。

一方、ステップＳ２４で、ダイジェスト再生と判断された場合（ＹＥＳの場合）、再生制御部２１は、重要度算出手段２１ａで音声／映像コンテンツを解析し、その解析結果に基づき、ダイジェスト再生シーン抽出手段２１ｂでダイジェスト再生するＡＶシーンを選択・決定する（ステップＳ２８）。そして、制御値抽出手段２１ｃが、選択したダイジェスト再生するＡＶシーンの情報に基づいて、付加効果制御データから、再生するＡＶシーンに対応する時間軸に対応して記録された制御値、当該制御値への変化時刻、及び当該制御値での制御の時間長を取得する（ステップＳ２９）。これらの情報は、付加効果設定部２２に出力される。

付加効果設定部２２は、制御値抽出手段２１ｃの抽出結果に基づき、ダイジェスト再生する各ＡＶシーンでの照明装置Ｚの制御値及び補正形態（付加効果の再生方法）等を設定する（ステップＳ３０）。このとき、抽出された当該制御値での制御の時間長が所定値より小さい制御値については、当該制御値を無効にして適用しない補正を行う。無効期間中は、コンテンツデータ再生装置２（ユーザであってもよい）に決められた補正が行われるようにする。付加効果設定部２２で設定された情報（設定情報は、機器制御部１９に出力される。

機器制御部１９では、設定情報に基づき、照明装置Ｚの制御コマンドの生成を行う（ステップＳ２６）。そして、再生制御部２１は、ＡＶコンテンツの再生に合わせて、制御コマンドを機器制御部１９から出力させ、高臨場感再生をダイジェスト再生で行う（ステップＳ２７）。

以上のように、コンテンツデータに、ダイジェスト再生情報及び補正形態情報が含まれていなくても、ダイジェスト再生時に、映像／音声コンテンツの内容や、設定されている制御値での制御時間の情報に基づいて照明装置を制御することで、視聴者に不快感を与えることなく、高臨場感に与えることができる。

［第３の実施形態］
本実施形態では、ＡＶシーンの重要度に応じて再生速度を変化させてダイジェスト再生を行う。
図１６に、ＡＶシーンの重要度と再生速度の対応例を示す。図１６に示すように、重要度が高いほど、通常再生に近い速度で再生し、重要度が低いと高速で再生することで、ユーザは、コンテンツの全体を確認できるとともに、重要な部分の内容を把握できる。なお、全てのＡＶシーンを再生する必要はなく、重要度の低いＡＶシーンについては、再生しないようにしてもよい。

このダイジェスト再生の場合、高速で再生されるシーンの照明がフラッシュとなってしまうことがあるので、これを避けるため、第２の実施形態のときと同様に、ダイジェスト再生時の制御時間長さが所定値より小さい制御値については補正を行う。補正の方法には、第２の実施形態と同様、制御値をゼロにする補正や、前後の制御シーンの制御値へのフェードイン、フェードアウトなどが考えられる。

なお、以上では、視聴環境を制御する機器（周辺機器）として、照明装置を例に説明したが、本発明で制御する周辺機器は、これに限られない。例えば、風の効果を生む扇風機や、気温及び風の効果を生じさせるエアコン、振動効果を生じさせる振動装置など、音声／映像コンテンツの臨場感を高める機器であればよい。また、以上では、一つの照明装置のみを記載しているが、複数台接続されていても構わない。もちろん、異なる機器（例えば、照明と扇風機）が接続されていても構わない。また、周辺機器が照明装置でない場合、その照明装置にあった、制御値を用いる。例えば、振動を発生させる装置であればｄｂ（デジベル）、扇風機であれは、風力値や、風速を示すｍ／ｓ（ミリ秒）やｋｔ（ノット）などで表される制御値を用いることができる。なお、照明装置の制御値も、上述の例のＲＧＢの値で表されるものに限られず、輝度（ｃｄ／ｍ^２）や照度（ｌｘ）で指定できるものでもよい。

また、本発明で用いるコンテンツデータは、あらかじめ、図示しない記録装置（ハードディスクを搭載したレコーダや、Ｂｌｕ−ＲａｙＤｉｓｃやＤＶＤなどの大容量記録媒体を有する機器や、コンパクトフラッシュ（登録商標）、ＳＤカードなどの小型半導体記録媒体を有する機器など）に蓄積されていてもよいし、放送あるいはネットワーク通信の形態で配信されてもよい。また、付加効果制御データ（補正形態情報付きのものも含む）やダイジェスト再生情報は、音声／映像コンテンツと多重化されていてもよいし、音声／映像コンテンツとの関連が分かり、音声／映像コンテンツともども取得できれば、音声／映像コンテンツとは別の形式（例えば、別ファイル）であってもよい。

なお、各ＡＶシーンの重要度の算出が必要な実施形態において、その算出方法は、上述の例に限られず、例えば、ＷＯ００／４００１１に開示された、シーンを構成するショットそれぞれに、操作者が点数付けする映像特性に関する項目を設け、各シーンの重要度を、当該シーンを構成するショットの上記項目に点けられた点数に基づき算出する方法や、特開２００７−２８２２６８号公報に開示された、映像信号及び音声信号のシーン（セグメント）の重要度を、動きベクトル、カラーヒストグラム、音声周波数、特性、音量、に基づき、重要度算出する方法等が適用できる。

１，２…コンテンツデータ再生装置、１０，２０…データ取得部、１１…データ分離部、１２，２１…再生制御部、１２ａ，２１ｂ…ダイジェスト再生シーン抽出手段、１２ｂ，２１ｃ…制御値抽出手段、１３…ユーザ指示取得部、１４…音声復号部、１５…映像復号部、１６，２２…付加効果設定部、１７…音声データ出力部、１８…映像データ出力部、１９…機器制御部，２１ａ・・・重要度算出手段，２２ａ…制御値判定手段。

Claims

映像及び／又は音声を含むコンテンツと、該コンテンツと対応して視聴環境を制御する付加効果制御値が記録され、少なくとも前記コンテンツが再生時間軸に沿ってシーン区分され、前記付加効果制御値が前記再生時間軸に沿って制御値が一定値で連続する範囲毎に区分記録され、ダイジェスト再生時の前記制御値の補正形態を示す補正形態情報がシーン毎に記録されたコンテンツデータを再生するコンテンツデータ再生装置であって、
少なくとも前記制御値の抽出手段と、ダイジェスト再生シーン抽出手段とを備え、
通常再生時には再生と連動して、前記記録された制御値に基づいて前記視聴環境を制御する機器を制御し、
ダイジェスト再生時には、抽出したダイジェスト再生シーンに対応する前記再生時間軸に対応して記録された前記制御値を抽出し、前記補正形態情報に基づいて、前記再生時間軸に対する制御値の変化率を緩和するフェードイン／フェードアウト、通常再生時と同じ制御値を用いるＯＮの制御または制御値に基づく制御を行わないＯＦＦの制御を前記機器に対して行うことを特徴とするコンテンツデータ再生装置。
前記ダイジェスト再生シーン抽出手段は、前記区分されたシーンごとの記録された映像及び／又は音声データの重要度に基づいて前記ダイジェスト再生シーンを抽出することを特徴とする請求項１に記載のコンテンツデータ再生装置。
前記ダイジェスト再生シーンの前記重要度に基づいて、当該シーンの再生速度を決定することを特徴とする請求項２に記載のコンテンツデータ再生装置。
前記ダイジェスト再生シーン抽出手段は、ダイジェスト再生するシーンを示すダイジェストシーン情報が記録された前記コンテンツデータの再生において、当該ダイジェストシーン情報に基づいて前記ダイジェスト再生シーンを抽出することを特徴とする請求項１に記載のコンテンツデータ再生装置。
前記コンテンツのシーン区分と前記制御値の付加区分が一致している前記コンテンツデータを再生することを特徴とする請求項１〜４のいずれか１に記載のコンテンツ再生装置。