JP6031016B2 - 映像表示装置及び映像表示プログラム - Google Patents

Description

本発明は、映像表示装置及び映像表示プログラムに関する。

映像の視聴形態において、従来の予め定められた視点からの映像を視聴する受動型映像視聴に対し、視聴者側が視点を指定し、その視点に応じた映像を視聴する能動型映像視聴に関する研究が盛んに行われている。非特許文献１では視聴者がパノラマ映像の一部を切り出して視聴するという視聴形態を提案している。このような能動型映像視聴は視聴者の趣向に応じた映像が視聴できるという利点がある一方、常に操作をしなければならないため、長時間の映像視聴においては受動型映像視聴が好まれるケースがある。

この能動型映像視聴の利点を活かしつつ、長時間の映像視聴において視聴者の負担を軽減させる方法として、図１０に示すような２スクリーン式能動受動型映像視聴が考えられる。図１０は、２スクリーン式能動受動型映像視聴を行う際の装置構成を示す図である。これは同一コンテンツを使用して、一方のスクリーンに映像提供者の意図等に基づき視点が自動的に移動するような受動型映像を提示（受動型映像提示スクリーン）し、他方のスクリーンに視聴者が視点操作端末を操作して視点を指定することにより、任意の能動型映像を提示（能動型映像提示スクリーン）するものである。これにより、視聴者は、自分が見たい場面を操作によって選択して視聴することが可能となるとともに、映像提供者が意図する映像も同時に視聴することが可能になる。

Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, Akira Kojima:"Mobile and multi-device interactive panorama video distribution system",IEEE GCCE 2012 2012.10.2-5 Tokyo, Japan

しかしながら、前述した２スクリーン式能動受動型映像視聴においては、視聴者が視線を移動させて視聴する対象の画像を能動型映像と受動型映像との間で変える際、互いのスクリーンが提示している映像の視点が独立している。このため、視聴者は視聴する対象映像を能動型映像から受動型映像にした際、あるいは受動型映像から能動型映像にした際に２つの映像に映し出されている位置の関係が分かりづらいという問題がある。

本発明は、このような事情に鑑みてなされたもので、同一の映像から生成された能動型映像と受動型映像の２つの映像を視聴する際に、視聴者が視線を移動して２つの映像間で視聴する対象を換えた場合に、２つの映像の視点の位置関係を直感的に把握することができる映像表示装置及び映像表示プログラムを提供することを目的とする。

本発明は、映像データが記憶された映像データ記憶手段と、視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段とを備えることを特徴とする。

本発明は、前記能動型映像提示手段は、前記配置位置関係を求めるために、前記受動型映像提示手段を含む映像を撮影する撮影手段を備え、前記位置関係推定手段は、前記撮影手段によって撮影された前記受動型映像提示手段を含む映像から前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定することを特徴とする。

本発明は、前記能動型映像提示手段は、ジャイロセンサをさらに備え、前記位置関係推定手段は、前記撮影手段によって前記受動型映像提示手段を含む映像を撮影することができなかった場合に、固定された前記受動型映像提示手段の位置情報と前時刻における前記能動型映像提示手段と前記受動型映像提示手段の相対的な位置関係と前記ジャイロセンサの検出値から前記相対的な配置位置関係を推定することを特徴とする。

本発明は、映像データが記憶された映像データ記憶手段と、視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、前記能動型映像提示手段との相対的な位置関係を推定する能動型映像提示装置位置姿勢推定手段と、前記能動型映像提示装置位置姿勢推定手段と前記能動型映像提示手段との相対的な位置関係と、前記能動型映像提示装置位置姿勢推定手段と前記受動型映像提示手段との相対的な位置関係とを用いて、前記能動型映像提示手段と前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段とを備えることを特徴とする。

本発明は、コンピュータを、前記映像表示装置として機能させるための映像表示プログラムである。

本発明によれば、同一の映像から生成された能動型映像と受動型映像の２つの映像を視聴する際に、２つの映像の視点の位置関係を直感的に把握することができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 視点と提示される映像の関係を示す説明図である。 図１に示す映像表示装置全体の処理動作を示すフローチャートである。 本発明の第２実施形態の構成を示すブロック図である。 図４に示す映像表示装置全体の処理動作を示すフローチャートである。 本発明の第３実施形態の構成を示すブロック図である。 図６に示す映像表示装置全体の処理動作を示すフローチャートである。 本発明の第５実施形態による映像表示装置の構成を示す図である。 本発明の第６実施形態による映像表示装置の構成を示す図である。 ２スクリーン式能動受動型映像視聴を行う際の装置構成を示す図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像表示装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、配信すべき映像データを含むコンテンツを配信するコンテンツ配信部である。符号１１は、コンテンツが予め記憶されたコンテンツ保存部である。符号１２は、コンテンツ保存部１１に記憶されているコンテンツに含まれる映像データを配信する配信部である。符号２は、受動型映像を提示する受動型映像提示部である。符号２１は、受動型映像提示部２内に備えられ、映像を提示（表示）するディスプレイ装置で構成する映像提示部である。符号３は、能動型映像を提示する能動型映像提示部である。符号３１は、能動型映像提示部３内に備えられ、映像を提示（表示）するディスプレイ装置で構成する映像提示部である。符号３２は、受動型映像提示部２の映像提示部２１の位置関係が分かるように映像を撮影するカメラである。符号４は、カメラ３２によって撮影された映像から受動型映像提示部２と能動型映像提示部３との位置関係を推定する位置関係推定部である。

図２は、視点と提示される映像の関係を示す説明図である。本発明において提示される映像は、図２に示すようにあるシーンに対して視点Ｏと画像平面Ｉを仮定し、画像平面Ｉに投影されたものを指すこととする。能動型映像視聴においてはこの視点Ｏの位置や姿勢を操作することに相当する。ただし、本発明でいう視点の移動とは視点Ｏのみの移動ではなく、画像平面Ｉと視点Ｏの位置関係を保存しながらの移動を指すこととする。

次に、図１を参照して、図１に示す映像表示装置の構成の詳細を説明する。コンテンツ保存部１１は、パノラマ映像またはＣＧ等で製作された３次元データなど、配信する映像の元データを保存する。配信部１２は、位置関係推定部４から送信された、能動型映像提示部３と受動型映像提示部２の位置関係の情報を入力し、位置関係に応じた映像を出力する。前提として、受動型映像提示部２に配信する映像の視点は既知であるものとする。配信部１２は、まず、受動型映像提示部２と能動型映像提示部３の相対位置関係に応じて、それぞれの視点を決定する。そして、コンテンツ保存部１１から取り出したコンテンツをそれぞれの視点に応じて変換し、映像提示部２１、３１に対して映像を配信する。

受動型映像提示部２は、コンテンツ配信部１から送信された映像を入力し、入力した映像を映像提示部２１から出力する。

能動型映像提示部３の映像提示部３１は、コンテンツ配信部１から送信された映像を入力し、入力した映像を出力する。映像提示部３１は液晶ディスプレイ等に映像を表示する映像表示型とプロジェクタで投影するような映像投影型のものがある。カメラ３２は、撮影した受動型映像提示部２を含む映像を位置関係推定部４に出力する。

位置関係推定部４は、能動型映像提示部３のカメラ３から送信された映像と、予め保持している受動型映像提示部２の位置姿勢から、能動型映像提示部３と受動型映像提示部２の配置位置関係を推定し、コンテンツ配信部に送信する。ここで、一般に受動型映像提示部２を含むある物体Ａの位置姿勢とは、適当に設定された世界座標系と物体Ａが持つ座標系の変換を表す情報、つまりカメラキャリブレーションにおける外部パラメータ（回転行列Ｒ、並進ベクトルＴ）のことをいう。前提として、受動型映像提示部２にはグリッドの数と一辺の長さが既知のチェスパターンを持つ物体が付属され、かつその物体が能動型映像提示部３に備えるカメラ３２から撮影できるものとする。

位置関係推定部４は、撮影された映像からチェスパターンを検出し、その結果を基に撮影に用いられた能動型映像提示部３に備えられるカメラ３２と受動型映像提示部２のチェスパターンの位置関係を推定する。この推定には、カメラ３２の外部キャリブレーションを用いることができる。ここで、ある物体Ａと物体Ｂの位置関係とは、各物体が持つ座標系の変換を表す情報、つまりカメラにおける外部パラメータ（回転行列Ｒ、並進ベクトルＴ）である。なお、本実施形態において位置姿勢と位置関係は座標系の変換を行うパラメータ（回転行列Ｒ、並進ベクトルＴ）であり、基本的には同じ意味を有するが、「位置姿勢」は端末の持つ座標系−世界座標系を表し、「位置関係」は端末の持つ座標系−端末の持つ座標系を表す。位置関係推定部４は、推定された位置関係をコンテンツ配信部１に送信する。なお、ここでは、チェスパターンを用いたが、それ以外の既知のテクスチャ、例えば、ＡＲマーカを用いることも可能である。

次に、図３を参照して、図１に示す映像表示装置全体の処理動作を説明する。図３は、図１に示す映像表示装置全体の処理動作を示すフローチャートである。まず、カメラ３２は、受動型映像提示部２を含む映像を撮影する（ステップＳ１）。そして、カメラ３２は、撮影した映像を位置関係推定部４に送信する（ステップＳ２）。これを受けて、位置関係推定部４は、送信された映像に基づいて能動型映像提示部３と受動型映像提示部２の位置関係を推定する（ステップＳ３）。位置関係推定部４は、推定された位置関係を示す情報をコンテンツ配信部１に送信する（ステップＳ４）。

次に、配信部１２は、送信された位置関係を示す情報に応じて能動型映像提示部３に配信すべき映像を決定する（ステップＳ５）。そして、配信部１２は、能動型映像提示部３に映像を配信する（ステップＳ６）。これを受けて、能動型映像提示部３の映像提示部３１は、配信された映像を提示する（ステップＳ７）。

一方、ステップＳ１〜Ｓ７の処理動作と並行して、配信部１２は、予め定められた視点の映像を読み出して（ステップＳ８）、受動型映像提示部２に読み出した映像を配信する（ステップＳ９）。これを受けて、受動型映像提示部２の映像提示部２１は、配信された映像を提示する（ステップＳ１０）。

このように、能動型映像提示部３を視聴者が手に持って、受動型映像提示部２との位置関係を変えると、位置関係推定部４は、カメラ３２によって撮影した映像から受動型映像提示部２と能動型映像提示部３の配置位置関係がどのようになっているかを推定する。例えば、図１に示す例では、能動型映像提示部３は、受動型映像提示部２の右側に配置されているため、映像提示部３１には、映像提示部２１に映し出されている映像の右側方向の映像が映し出されることになる。

また、視聴者が能動型映像提示部３を受動型映像提示部２の左側に持ってくると、その位置関係を位置関係推定部４が推定し、その位置関係に基づいて、映像提示部３１には、映像提示部２１に映し出されている映像の左側方向の映像が映し出されることになる。同様に、能動型映像提示部３を受動型映像提示部２の上方向または下方向に持ってくることにより、映像提示部２１に映し出されている映像の上側または下側の映像が映し出されることになる。このようにすることによって、受動型映像提示部２に映し出されている映像と、能動型映像提示部３に映し出されている映像の位置関係を直感的に把握することができるようになる。

＜第２実施形態＞
次に、本発明の第２実施形態による映像表示装置を説明する。図４は同実施形態の構成を示すブロック図である。図４において、図１示す装置と同一の部分には同一の符号を付し、その説明を省略する。図４に示す装置が図１に示す装置と異なる点は、能動型映像提示部３にジャイロセンサ３３が新たに備えられている点である。ジャイロセンサ３３を備えることにより、カメラ３２で受動型映像提示部を含む映像を撮影することができなかった場合においても補完的に位置関係を取得することが可能となる。

ジャイロセンサ３３は、検出した値を位置関係推定部４に送信する。位置関係推定部４は、能動型映像提示部３より送信された情報（カメラの映像、またはジャイロセンサの検出値）と、予め保持している受動型映像提示部２の位置姿勢から、能動型映像提示部３と受動型映像提示部３の位置関係を推定し、推定結果をコンテンツ配信部に送信する。前提として、前時刻の能動型映像提示部３と受動型映像提示部２の位置関係が既知であり、かつ受動型映像提示部２は固定されているものとする。位置関係推定部４は、入力であるジャイロセンサの値を基に、前時刻に対する現時刻の能動型映像提示部の位置関係を推定する。そして、位置関係推定部４は、前時刻と現時刻の能動型映像提示部３の位置関係、前時刻の能動型映像提示部３と受動型映像提示部２の位置関係から、現時刻の能動型映像提示部３と受動型映像提示部２の位置関係を推定する。位置関係推定部４は、推定された位置関係をコンテンツ配信部１に送信する。

なお、カメラ３２とジャイロセンサ３３の組み合わせの他、ＣＭＯＳセンサ（赤外線）、３軸加速度センサ、赤外線ＬＥＤを利用することで同等の効果を得ることが可能である。この場合、ＣＭＯＳセンサ（赤外線）および３軸加速度センサが能動型映像提示部３に付与するカメラ３２およびジャイロセンサ３３に相当し、赤外線ＬＥＤが受動型映像提示部２に付与するチェスパターンに相当する。

次に、図５を参照して、図４に示す映像表示装置全体の処理動作を説明する。図５は、図４に示す映像表示装置全体の処理動作を示すフローチャートである。まず、ジャイロセンサ３３は、検出値を獲得する（ステップＳ１１）。そして、ジャイロセンサ３３は、獲得した検出値を位置関係推定部４に送信する（ステップＳ１２）。これを受けて、位置関係推定部４は、送信された検出値に基づいて能動型映像提示部３と受動型映像提示部２の位置関係を推定する（ステップＳ３）。位置関係推定部４は、推定された位置関係を示す情報をコンテンツ配信部１に送信する（ステップＳ４）。

次に、配信部１２は、送信された位置関係を示す情報に応じて能動型映像提示部３に配信すべき映像を決定する（ステップＳ５）。そして、配信部１２は、能動型映像提示部３に映像を配信する（ステップＳ６）。これを受けて、能動型映像提示部３の映像提示部３１は、配信された映像を提示する（ステップＳ７）。

一方、ステップＳ１１、Ｓ１２、Ｓ３〜Ｓ７の処理動作と並行して、配信部１２は、予め定められた視点の映像を読み出して（ステップＳ８）、受動型映像提示部２に読み出した映像を配信する（ステップＳ９）。これを受けて、受動型映像提示部２の映像提示部２１は、配信された映像を提示する（ステップＳ１０）。

このように、ジャイロセンサ３３を備えることにより、カメラ３２で受動型映像提示部を含む映像を撮影することができなかった場合においても補完的に位置関係を取得することが可能となる。

＜第３実施形態＞
次に、本発明の第３実施形態による映像表示装置を説明する。図６は同実施形態の構成を示すブロック図である。図６において、図１示す装置と同一の部分には同一の符号を付し、その説明を省略する。図６に示す装置が図１に示す装置と異なる点は、カメラ３２に代えて、能動型映像提示装置位置姿勢推定部５を能動型映像提示部３の外部に設けた点である。

能動型映像提示装置位置姿勢推定部５は、付属のカメラを用いて能動型映像提示装置位置姿勢推定部５と能動型映像提示装置３の位置関係を求め、位置関係推定部４に送信する。前提として、能動型映像提示装置３にはグリッドの数と一辺の長さが既知のチェスパターンを持つ物体が付属され、かつその物体が能動型映像提示装置位置姿勢推定部５が備えるカメラから観測できるものとする。なお、能動型映像提示装置位置姿勢推定部５の位置姿勢は既知であるとする。

能動型映像提示装置位置姿勢推定部５は、撮影された映像からチェスパターンを検出し、その結果を基に撮影に用いられた、能動型映像提示装置位置姿勢推定部５のカメラと能動型映像提示部３のチェスパターンの位置関係を推定する（外部キャリブレーション）。そして、能動型映像提示装置位置姿勢推定部５は、推定された位置関係を位置関係推定部４に送信する。ここではチェスパターンを用いたが、それ以外の既知のテクスチャ、例えば、ＡＲマーカを用いることも可能である。

位置関係推定部４は、能動型映像提示装置位置姿勢推定部５より送信された情報と、予め保持している受動型映像提示部３の位置姿勢から、能動型映像提示部３と受動型映像提示部２の配置位置関係を推定し、コンテンツ配信部１に送信する。前提として、能動型映像提示装置位置姿勢推定部５の有するカメラと受動型映像提示部２の位置関係は既知であるとし、受動型映像提示装置２は固定されているものとする。

位置関係推定部４は、入力として与えられた能動型映像提示部３と能動型映像提示装置位置姿勢推定部５の位置関係、既知である能動型映像提示装置位置姿勢推定部５と受動型映像提示部２の位置関係を用い、能動型映像提示部３と受動型映像提示部２の位置関係を推定する。そして、位置関係推定部４は、推定された位置関係を毎時間コンテンツ配信部１に送信する。

なお、ここでは能動型映像提示装置位置姿勢推定部５と受動型映像提示部２の位置関係は既知であるとしたが、受動型映像提示部２に既知のチェスパターンを添付し、それを能動型映像提示装置位置姿勢推定部５の有するカメラで撮影することができれば推定することも可能である。

次に、図７を参照して、図６に示す映像表示装置全体の処理動作を説明する。図７は、図６に示す映像表示装置全体の処理動作を示すフローチャートである。まず、能動型映像提示装置位置姿勢推定部５は、カメラで能動型映像提示部３を含む映像を撮影する（ステップＳ２１）。そして、能動型映像提示装置位置姿勢推定部５は、能動型映像提示部３と能動型映像提示装置位置姿勢推定部５の位置関係を推定し、この推定結果を位置関係推定部４に送信する（ステップＳ２２）。これを受けて、位置関係推定部４は、送信された推定結果に基づいて能動型映像提示部３と受動型映像提示部２の位置関係を推定する（ステップＳ３）。位置関係推定部４は、推定された位置関係を示す情報をコンテンツ配信部１に送信する（ステップＳ４）。

次に、配信部１２は、送信された位置関係を示す情報に応じて能動型映像提示部３に配信すべき映像を決定する（ステップＳ５）。そして、配信部１２は、能動型映像提示部３に映像を配信する（ステップＳ６）。これを受けて、能動型映像提示部３の映像提示部３１は、配信された映像を提示する（ステップＳ７）。

一方、ステップＳ２１、Ｓ２２、Ｓ３〜Ｓ７の処理動作と並行して、配信部１２は、予め定められた視点の映像を読み出して（ステップＳ８）、受動型映像提示部２に読み出した映像を配信する（ステップＳ９）。これを受けて、受動型映像提示部２の映像提示部２１は、配信された映像を提示する（ステップＳ１０）。

このように、能動型映像提示部３の外部から能動型映像提示部３を撮影することにより、能動型映像提示部３の配置位置と姿勢を推定することが可能となる。

＜第４実施形態＞
次に、本発明の第４実施形態による映像表示装置を説明する。第４実施形態による装置が第１〜第３実施形態による装置と異なる点は、能動型映像提示部３がユーザ入力を行うためにタッチパネル等のユーザインタフェースを備えている点である。第１〜第３実施形態においては提示される映像が、能動型映像提示部３の位置関係に従う例を説明したが、拡大など一部の操作は視聴する上で不便に感ずることもある。そこで、ユーザの入力によって一部の視点操作を可能にするために、ユーザインタフェースをさらに備えている。映像の視点を決定するための情報の１つとして利用されることから、位置関係推定部４への入力、つまりカメラやジャイロセンサを補完するという位置づけとなるものである。ユーザインタフェースは、ユーザの操作内容（画面の拡大率及び縮小率など）を入力し、この入力内容を位置関係推定部４に送信する。これにより、ユーザが所望する映像になるように操作することができるようになり、ユーザが所望する映像を提示することが可能となる。

＜第５実施形態＞
次に、本発明の第５実施形態による映像表示装置を説明する。図８は、第５実施形態による映像表示装置の構成を示す図である。図８に示す例では、能動型映像提示部３としてタブレット端末を、受動型映像提示部２として液晶ディスプレイ端末を用いている。ただし、液晶ディスプレイ端末にはＡＲマーカが添付され、タブレット端末はカメラとジャイロセンサを備えている。さらに、両端末が有する画面が図２に示す画像平面Ｉとし、視点Ｏは端末ごとに適当な位置に固定するとする。また、位置関係推定部４及びコンテンツ配信部１はサーバによって実現する。なお、本実施形態は非特許文献１と同様のパノラマ映像、３ＤＣＧを始め、大画面映像あるいは自由視点映像のように視点が選択できるコンテンツに対して適用が可能であるが、ここでは主にパノラマ映像視聴時について説明する。

視聴において、タブレット端末が有するカメラで液晶ディスプレイ端末に添付されたＡＲマーカを撮影し、その映像を基にタブレット端末と液晶ディスプレイの相対位置関係を推定する。カメラの視野からＡＲマーカが外れた時も、カメラに付属のジャイロセンサの値を用いて相対位置関係を推定することが可能である。この時、ＡＲマーカがカメラの視野から外れる直前の値を初期値として利用する。

本実施形態では能動型映像提示部３であるタブレット端末および受動型映像提示部２である液晶ディスプレイ端末が存在する空間に仮想的にパノラマ映像Ｐが存在すると見做し、各端末の画面に投影された映像を提示する。受動型映像提示部２における視点０１は予め配信側が定めた視点、あるいは非特許文献１に記載のようにユーザの操作履歴の自動再生を想定する。なお、受動型映像提示部２が固定されている場合には上記の視点移動に伴いパノラマ映像Ｐの方が動くものとする。また、基本的に提示される映像はタブレット端末と液晶ディスプレイ端末の相対位置関係によるものだが、両端末を所望の相対位置関係に設置することが困難な場合（例えば映像を大きく拡大縮小するために両者の距離を大きく変化させる場合）に備え、ユーザ操作に伴う視点０２の移動を許容する。

＜第６実施形態＞
次に、本発明の第６実施形態による映像表示装置を説明する。図９は、第６実施形態による映像表示装置の構成を示す図である。図９に示す例では、能動型映像提示部３としてモバイルプロジェクタを用いてパノラマ映像を視聴するものとして説明する。なお、このモバイルプロジェクタはカメラとジャイロセンサ、及び深度センサを具備していることとする。その他、受動型映像提示部２、能動型映像提示部３、コンテンツ配信部１及び能動型映像提示部３と受動型映像提示部３の位置関係の推定方法に関しては前述したものと同様であるので、詳細な説明は省略する。

受動型映像提示部２である液晶ディスプレイ端末には第５実施形態と同様の映像を提示する。能動型映像提示部３であるモバイルプロジェクタは、図９に示すようにモバイルプロジェクタが向けられている先にある壁などのスクリーン１０にパノラマ映像Ｐの映像を投影する。

なお、モバイルプロジェクタが投影する対象は必ずしも白い壁のようにテクスチャの無い平面では無いため、投影した映像が視聴者からは異なる色や形状で観測される場合がある。この時、映像の品質向上のためにカメラや深度センサを用いて投影対象のテクスチャや形状を獲得し、それに応じて投影する映像を変換させるようにしてもよい。

以上説明したように、２スクリーン式能動受動型映像視聴において、受動型映像提示部２と能動型映像提示部３が提示する映像の視点を、両提示部の相対位置関係を用いて関連付けるようにした。すなわち、両提示部は同一の大画面映像の一部を映し出しており、その映し出している映像の視点の位置関係が、両提示部の相対位置関係によって決定するようにした。これにより、能動型映像提示部３に提示される映像は両提示部の相対位置関係に基づいて決定されるため、視聴者は視線移動後の映像がどの視点から映している映像であるかを容易に理解できるようになる。

前述した実施形態におけるコンテンツ配信部１、受動型映像提示部２、能動型映像提示部３、位置関係推定部４、能動型映像提示装置位置姿勢推定部５をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

同一の映像から生成された能動型映像と受動型映像の２つの映像を視聴する際に、２つの映像の視点の位置関係を直感的に把握することが不可欠な用途に適用できる。

１・・・コンテンツ配信部、１１・・・コンテンツ保存部、１２・・・配信部、２・・・受動型映像提示部、２１・・・映像提示部、３・・・能動型映像提示部、３１・・・映像提示部、３２・・・カメラ、３３・・・ジャイロセンサ、４・・・位置関係推定部、５・・・能動型映像提示装置位置姿勢推定部

Claims (4)

1. 映像データを記憶する映像データ記憶手段と、
   視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、
   予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、
   前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、
   前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段と、
   を備え、
   前記能動型映像提示手段は、前記配置位置関係を求めるために、前記受動型映像提示手段を含む映像を撮影する撮影手段を備え、
   前記位置関係推定手段は、前記撮影手段によって撮影された前記受動型映像提示手段を含む映像から前記能動型映像提示手段と、前記受動型映像提示手段との相対的な配置位置関係を推定し、
   前記配信手段は、前記能動型映像提示手段と前記受動型映像提示手段とへの映像配信を並行して行い、推定した前記受動型映像提示手段と前記能動型映像提示手段との相対的な配置位置に応じて、受動型映像提示手段に映し出される映像の前記能動型映像提示手段が置かれた位置の方向の映像を前記能動型映像提示手段に対して提示すべき映像として配信することを特徴とする映像表示装置。
2. 前記能動型映像提示手段は、ジャイロセンサをさらに備え、
   前記位置関係推定手段は、前記撮影手段によって前記受動型映像提示手段を含む映像を撮影することができなかった場合に、固定された前記受動型映像提示手段の位置情報と前時刻における前記能動型映像提示手段と前記受動型映像提示手段の相対的な位置関係と前記ジャイロセンサの検出値から前記相対的な配置位置関係を推定することを特徴とする請求項１に記載の映像表示装置。
3. 映像データを記憶する映像データ記憶手段と、
   視聴者が指定した視点の映像データに基づき映像の提示を行う能動型映像提示手段と、
   予め定められた視点の映像データに基づき映像の提示を行う受動型映像提示手段と、
   前記能動型映像提示手段との相対的な位置関係を推定する能動型映像提示装置位置姿勢推定手段と、
   前記能動型映像提示装置位置姿勢推定手段と前記能動型映像提示手段との相対的な位置関係と、前記能動型映像提示装置位置姿勢推定手段と前記受動型映像提示手段との相対的な位置関係とを用いて、前記能動型映像提示手段と前記受動型映像提示手段との相対的な配置位置関係を推定する位置関係推定手段と、
   前記受動型映像提示手段に配信すべき前記映像の視点と前記相対的な配置位置関係から前記能動型映像提示手段に配信すべき映像の視点を算出し、前記映像データから前記受動型映像提示手段に配信すべき映像を生成するとともに、算出した前記視点に基づいて前記映像データから前記能動型映像提示手段に配信すべき映像を生成して、それぞれ前記受動型映像提示手段及び能動型映像提示手段に提示する配信手段と
   を備え、
   前記配信手段は、前記能動型映像提示手段と前記受動型映像提示手段とへの映像配信を並行して行い、推定した前記受動型映像提示手段と前記能動型映像提示手段との相対的な配置位置に応じて、受動型映像提示手段に映し出される映像の前記能動型映像提示手段が置かれた位置の方向の映像を前記能動型映像提示手段に対して提示すべき映像として配信することを特徴とする映像表示装置。
4. コンピュータを、請求項１から３のいずれか１項に記載の映像表示装置として機能させるための映像表示プログラム。

Images