JP2019216344A - 全天周立体映像表示装置及びそのプログラム、全天周立体映像撮影装置、並びに、全天周立体映像システム - Google Patents

Abstract

【課題】全天周の２眼立体映像を実写撮影して表示する。【解決手段】全天周立体映像表示装置５は、複数の対カメラ位置関係特定ベクトルを記憶するベクトル記憶手段５１と、両目の位置情報が入力されるセンサ情報入力手段５３と、カメラ選択判定ベクトルを生成するベクトル生成手段５４と、カメラ選択判定ベクトルに最も近い方向の対カメラ位置関係特定ベクトルを選択するベクトル選択手段５５と、対カメラ位置関係特定ベクトルの始点及び終点に対応する全天周映像を選択する全天周映像選択手段５６と、プラネタリウム３に２眼立体映像を表示する表示制御手段５７とを備える。【選択図】図３

Description

本発明は、全天周の２眼立体映像を撮影して表示する技術に関する。

人間の視覚において、右目の位置と左目の位置が異なることで生じる視差により、被写体までの遠近や立体感を知覚することが知られており、この視差が様々な立体映像システムに応用されている。従来の立体映像システムでは、この視差を持たせて右目カメラと左目カメラを配置し、それぞれのカメラで撮影した映像を人間の右目と左目に提示している。

ここで、平面に映像を表示するだけでなく、全天周映像を表示する手法が知られている。この手法では、視点追従型のヘッドマウントディスプレイ装置（非特許文献１）や、プラネタリウムなどの全天周映像表示手段が用いられる。
さらに、全天周映像を撮影する手法も知られている。この手法では、６個の超広角レンズを球状の本体に搭載し、３６０°のパノラマ映像を撮影する撮影装置が用いられる（非特許文献２）。

これらの手法を用いれば、全天周映像を撮影して表示することができる（以後、「従来技術」）。まず、この従来技術では、非特許文献３に記載されている位置センサやジャイロセンサを用いて、視聴者の姿勢を検出する。そして、この従来技術では、検出した姿勢に応じて、コンピュータグラフィックで生成した３Ｄオブジェクトをリアルタイムにレンダリングし、右目用全天周映像と左目用全天周映像を生成する。さらに、この従来技術では、生成した右目用全天周映像及び左目用全天周映像を全天周映像表示手段に表示する。

「Ｇｏｏｇｌｅ Ｃａｒｄｂｏａｒｄ」、［online］、［平成３０年４月２０日検索］、インターネット〈URL：https://www.youtube.com/playlist?list=PLm6qoFmp6K50i01D358II_PZenFYTrcUZ> 「Ｉｎｓｔａ３６０Ｐｒｏ」、［online］、［平成３０年４月２０日検索］、インターネット〈URL：https://www.insta360.com/product/insta360-pro/> 「ＦＡＳＴＲＡＫ」、［online］、［平成３０年４月２０日検索］、インターネット〈URL：https://polhemus.com/motion-tracking/all-trackers/fastrak>

しかし、従来技術では、隣接するカメラで撮影した映像から視差画像を得ることができるが、全天周映像を得るためには隣接カメラ映像の繋ぎ合わせ処理が必要であり、視差映像であるため、カメラからの距離が異なる被写体を撮影した場合、映像の繋ぎ合わせ処理が困難である。視差画像より距離情報を抽出し、３Ｄオブジェクト情報を算出すれば、前記した右目用全天周映像と左目用全天周映像の生成も可能であるが、距離情報の抽出誤りの問題や演算コストが大きく、リアルタイムの映像生成も困難である。これらの問題があるため、全天周の２眼立体映像を実写撮影して表示したいという強い要望がある。

そこで、本発明は、全天周の２眼立体映像を実写撮影して表示することを課題とする。

前記した課題に鑑みて、本発明に係る全天周立体映像表示装置は、所定の視点位置に配置された２台以上の全天周カメラが撮影した全天周映像を用いて、全天周で２眼立体映像を表示する全天周立体映像表示装置であって、検出位置入力手段と、ベクトル記憶手段と、ベクトル生成手段と、ベクトル選択手段と、全天周映像選択手段と、表示制御手段と、を備える構成とした。

かかる全天周立体映像表示装置によれば、検出位置入力手段は、人物の一方の目が基準目及び他方の目が参照目として予め設定され、頭部における基準目側及び参照目側の検出位置を検出する検出手段から、検出位置が入力される。
ベクトル記憶手段は、２台の全天周カメラで構成されるカメラ対の位置関係を示す対カメラ位置関係特定ベクトルとして、一方の全天周カメラの位置が始点で他方の全天周カメラの位置が終点となるベクトルと、他方の全天周カメラの位置が始点で一方の全天周カメラの位置が終点となるベクトルとを予め記憶する。
ベクトル生成手段は、基準目側と参照目側との検出位置の差分により、基準目から参照目の方向を表す選択用ベクトルを生成する。

ベクトル選択手段は、ベクトル記憶手段から、ベクトル生成手段が生成した選択用ベクトルに最も近い方向の対カメラ位置関係特定ベクトルを選択する。
全天周映像選択手段は、各全天周カメラが撮影した全天周映像から、ベクトル選択手段が選択した対カメラ位置関係特定ベクトルの始点にある全天周カメラの全天周映像を基準目側の全天周映像として選択し、当該対カメラ位置関係特定ベクトルの終点にある全天周カメラの全天周映像を参照目側の全天周映像として選択する。
表示制御手段は、２眼立体映像として、全天周映像選択手段が選択した基準目側及び参照目側の全天周映像を、全天周映像を表示する全天周映像表示手段に表示させる。

このように、全天周立体映像表示装置は、全天周立体映像撮影装置が実写撮影した全天周映像を用いて、全天周の２眼立体映像を表示することができる。
なお、この全天周立体映像表示装置は、一般的なコンピュータを前記した各手段として協調動作させるプログラムで実現することもできる。

また、前記した課題に鑑みて、本発明に係る全天周立体映像撮影装置は、本発明に係る全天周立体映像表示装置で用いる全天周映像を撮影する全天周立体映像撮影装置であって、所定の視点位置に配置された２台以上の全天周カメラを備える構成とした。
かかる全天周立体映像表示装置によれば、２台以上の全天周カメラを用いて、全天周の２眼立体映像を実写撮影することができる。

また、前記した課題に鑑みて、本発明に係る全天周立体映像システムは、本発明に係る全天周立体映像撮影装置と、本発明に係る全天周立体映像表示装置と、全天周立体映像表示装置が出力する２眼式立体映像を表示する全天周映像表示手段と、２眼式立体映像を視聴する人物の頭部における基準目側及び参照目側の検出位置を検出する検出手段と、を備える構成とした。
かかる全天周立体映像システムによれば、全天周立体映像撮影装置が実写撮影した全天周映像を用いて、全天周立体映像表示装置が全天周の２眼立体映像を表示することができる。

本発明によれば、以下のような優れた効果を奏する。
本発明によれば、全天周の２眼立体映像を実写撮影して表示することができる。

第１実施形態に係る全天周立体映像システムの全体構成図である。 第１実施形態において、全天周カメラの配置、及び、対カメラ位置関係特定ベクトルを説明する説明図である。 第１実施形態に係る全天周立体映像表示装置の構成を示すブロック図である。 第１実施形態において、右目用全天周映像及び左目用全天周映像の選択を説明する説明図である。 第１実施形態において、カメラ選択判定ベクトルの方向と対カメラ位置関係特定ベクトルの関係を説明する説明図である。 第１実施形態において、全天周カメラが撮影した全天周映像のフレーム周波数を説明する説明図である。 第１実施形態において、（ａ）は表示制御手段による全天周映像の時分割表示を説明する説明図であり、（ｂ）及び（ｃ）はシャッタの開閉の制御を説明する説明図である。 図３の全天周立体映像表示装置の動作を示すフローチャートである。 第２実施形態に係る全天周立体映像システムの全体構成図である。 第２実施形態に係る全天周立体映像表示装置の構成を示すブロック図である。 第３実施形態において、対カメラ位置関係特定ベクトルの切り換えを説明する説明図である。 第３実施形態において、チャタリングの抑制を説明する説明図である。 変形例１において、全天周カメラの配置、及び、対カメラ位置関係特定ベクトルを説明する説明図である。 変形例２において、全天周カメラの配置、及び、対カメラ位置関係特定ベクトルを説明する説明図である。 変形例３において、全天周カメラの配置を説明する説明図である。 変形例４において、全天周映像の撮影を説明する説明図である。 変形例４において、全天周カメラが撮影した全天周映像のフレーム周波数を説明する説明図である。

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。

（第１実施形態）
［全天周立体映像システムの概略］
図１を参照し、第１実施形態に係る全天周立体映像システム１の概略について説明する。
全天周立体映像システム１は、プラネタリウム（全天周映像表示手段）３に全天周の２眼立体映像を表示するものである。図１に示すように、全天周立体映像システム１は、全天周立体映像撮影装置２と、プラネタリウム３と、立体メガネ４と、全天周立体映像表示装置５とを備える。

全天周立体映像撮影装置２は、プラネタリウム３に表示する全天周の２眼立体映像を実写撮影するものであり、所定の視点位置に配置された全天周カメラＣで構成されている。ここで、全天周立体映像撮影装置２は、２台以上の全天周カメラＣを備えればよい。例えば、図２に示すように、全天周立体映像撮影装置２では、水平面上において、３台の全天周カメラＣ（Ｃ１〜Ｃ３）が円周上に等間隔で配置されており、３台同時に全天周映像を撮影する。つまり、全天周カメラＣ１〜Ｃ３は、カメラ原点である原点Ｏを中心とする円Ｒに１２０度の間隔で配置されている。

なお、視点位置とは、各視聴者（人物）が２眼立体映像を視聴する位置を表しており、各視聴者９の右目又は左目の位置に対応するものである。
また、視聴という用語を用いているが、全天周立体映像システム１では音声の有無を問わない。

全天周カメラＣは、全天周映像を撮影する一般的な３６０度ＶＲ（Virtual Reality）カメラである（例えば、参考文献１）。全天周カメラＣは、各視点位置で撮影した全天周映像を全天周立体映像表示装置５に出力する。また、全天周カメラＣには、固有のカメラＩＤが予め割り当てられている。つまり、カメラＩＤを参照すれば、全天周映像を撮影した全天周カメラＣを特定できる。
全天周カメラＣは、支持脚２１を介して、環状フレーム２０に固定されている。この環状フレーム２０は、３台の全天周カメラＣ１〜Ｃ３を円周上に等間隔で保持する部材である。
参考文献１：「ＴＨＥＴＡ」、［online］、［平成３０年４月２０日検索］、インターネット〈URL：https://theta360.com/ja/>

プラネタリウム３は、全天周映像を表示する一般的な全天周映像投影装置であり、ドーム型スクリーン３１と、投影装置３２とを備える。
ドーム型スクリーン３１は、投影装置３２が全天周映像を投影する半球状のスクリーンである。例えば、ドーム型スクリーン３１は、三角形状の白色アルミパネルを組み合わせて、半球面状に構成されたものである。
投影装置３２は、後記する全天周立体映像表示装置５からの全天周映像をドーム型スクリーン３１に投影する一般的なプロジェクタである。例えば、投影装置３２は、全天周に映像を投影できるように複数の投射レンズを有する。

ここで、全天周立体映像システム１では、２眼立体映像を視聴するため、視聴者９が立体メガネ４を装着している。本実施形態では、時分割方式で２眼立体映像を表示するため、立体メガネ４が液晶シャッタメガネとなる。例えば、立体メガネ４は、リム４２に保持されたシャッタ４０と、テンプル４３の中央部に埋め込まれたセンサ（検出手段）４１とを備える。また、立体メガネ４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を用いて、全天周立体映像表示装置５との間で各種情報を送受信する。
なお、図１では、立体メガネ４のテンプル４３に埋め込まれたセンサ４１を破線で図示した。

シャッタ４０は、全天周立体映像表示装置５からの制御信号に従って開閉するものであり、例えば、一般的な液晶シャッタである。ここで、シャッタ４０Ｒは、視聴者９の右目（基準目）に対応しており、右目用全天周映像を表示するタイミングで開く。また、シャッタ４０Ｌは、視聴者９の左目（参照目）に対応しており、左目用全天周映像を表示するタイミングで開く。

センサ４１は、視聴者９の両目の位置を検出する一般的な位置センサやジャイロセンサである。本実施形態では、基準目を始点とし参照目を終点とするカメラ選択判定ベクトルの向きを用いるため、このカメラ選択判定ベクトルと向きが一致するベクトルを求められるのであれば、例えば、両耳の位置を検出することとしてもよい。そこで、センサ４１は、視聴者９の右耳位置（基準目側の検出位置）を検出するセンサ４１Ｒと、視聴者９の左耳位置（参照目側の検出位置）を検出するセンサ４１Ｌとがペアになっている。また、図１に示すように、２人の視聴者９Ａ，９Ｂがそれぞれ立体メガネ４を装着しているので、各センサ４１が視聴者９Ａ，９Ｂの両耳の位置をそれぞれリアルタイムで検出する。
センサ４１は、視聴者９の両目（両耳）の位置情報を全天周立体映像表示装置５（センサ情報入力手段５３）に出力する。

全天周立体映像表示装置５は、全天周立体映像撮影装置２が撮影した全天周映像を用いて、プラネタリウム３で全天周の２眼立体映像を時分割表示するものである。なお、全天周立体映像表示装置５の詳細については、後記する。

＜全天周立体映像システムの撮影手順及び表示手順＞
まず、全天周立体映像システム１における撮影手順を説明する。
全天周立体映像撮影装置２が、円周上に等間隔で配置された３台の全天周カメラＣ１〜Ｃ３により、同時に全天周映像を撮影する。ここで、全天周立体映像撮影装置２は、屋内や屋外を問わず配置可能であり、自然風景やスポーツなど任意の全天周映像を撮影できる。この全天周映像は、全天周カメラＣ１〜Ｃ３のカメラＩＤに対応付けて、全天周立体映像表示装置５に出力される。

次に、全天周立体映像システム１における表示手順を説明する。
全天周立体映像システム１では、２台の全天周カメラＣを組み合わせて、右目視点位置及び左目視点位置の全天周カメラＣで構成されるカメラ対を予め設定しておく。つまり、ある右目視点位置の全天周カメラＣには、対となる左目視点位置の全天周カメラＣが設定されている。また、全天周立体映像表示装置５には、カメラ対の位置関係を特定する対カメラ位置関係特定ベクトルを予め記憶させておく。この対カメラ位置関係特定ベクトルは、右目視点位置の全天周カメラＣを始点とし、左目視点位置の全天周カメラＣを終点とするベクトルである。

視聴者９は、全天周立体映像システム１で視聴する際、立体メガネ４を装着する。立体メガネ４のセンサ４１が、視聴者９の両耳（両目）の位置を検出し、検出した両目の位置情報を全天周立体映像表示装置５に出力する。全天周立体映像表示装置５は、センサ４１より入力された両目の位置情報から、視聴者９の右目位置を始点とし、左目位置を終点とするカメラ選択判定ベクトル（選択用ベクトル）を算出する。

全天周立体映像表示装置５は、全ての対カメラ位置関係ベクトルのうち、カメラ選択判定ベクトルに最も向きが近い対カメラ位置関係ベクトルを選択する。そして、全天周立体映像表示装置５は、各全天周カメラＣが撮影した全天周映像から、選択した対カメラ位置関係ベクトルで始点にある全天周カメラＣの全天周映像を右目用全天周映像として選択する。さらに、全天周立体映像表示装置５は、各全天周カメラＣが撮影した全天周映像から、対カメラ位置関係ベクトルで終点にある全天周カメラＣの全天周映像を左目用全天周映像として選択する。

全天周立体映像表示装置５は、全天周カメラＣの台数に基づいて、全天周映像を時分割表示する。さらに、全天周立体映像表示装置５は、視聴者９毎に選択した右目用全天周映像及び左目用全天周映像の表示タイミングに同期して、各視聴者９が装着する立体メガネ４のシャッタ４０の開閉を制御する。

［全天周立体映像表示装置の構成］
図３を参照し、全天周立体映像表示装置５の構成について説明する。
図３に示すように、全天周立体映像表示装置５は、ベクトル記憶手段５１と、全天周映像記憶手段５２と、センサ情報入力手段（検出位置入力手段）５３と、ベクトル生成手段５４と、ベクトル選択手段５５と、全天周映像選択手段５６と、表示制御手段５７とを備える。

ベクトル記憶手段５１は、複数の対カメラ位置関係特定ベクトルを記憶するメモリ、ＨＤＤ（Hard Disk Drive）等の記憶装置である。例えば、全天周立体映像システム１の管理者が、図示を省略したマウス、キーボード等の操作手段を用いて、手動で対カメラ位置関係特定ベクトルをベクトル記憶手段５１に設定する。この対カメラ位置関係特定ベクトルは、後記するベクトル選択手段５５によって参照される。
なお、各対カメラ位置関係特定ベクトルの大きさが異なる場合、同一の大きさとなるように対カメラ位置関係特定ベクトルを規格化しておくものとする。

＜対カメラ位置関係特定ベクトル＞
図２を参照し、対カメラ位置関係特定ベクトルＶについて説明する。
前記したように、カメラ対は、右目視点位置及び左目視点位置に対応する２台の全天周カメラＣで構成されている。以下、（１台目の全天周カメラＣ，２台目の全天周カメラＣ）という書式でカメラ対を表すこととする。本実施形態では、図２に示すように、３台の全天周カメラＣ１〜Ｃ３を用いるので、（Ｃ１，Ｃ２）、（Ｃ２，Ｃ３）、（Ｃ３，Ｃ１）というカメラ対が設定される。

対カメラ位置関係特定ベクトルＶは、カメラ対の位置関係を示すベクトルであり、各カメラ対を構成する２台の全天周カメラＣのそれぞれを始点及び終点とする。つまり、対カメラ位置関係特定ベクトルＶは、カメラ対毎に、反対方向の２つのベクトルで構成される。具体的には、対カメラ位置関係特定ベクトルＶとして、１台目（一方）の全天周カメラＣの位置が始点で２台目（他方）の全天周カメラＣの位置が終点となるベクトルが設定される。さらに、対カメラ位置関係特定ベクトルＶとして、２台目の全天周カメラＣの位置が始点で１台目の全天周カメラの位置が終点となるベクトルも設定される。

例えば、カメラ対（Ｃ１，Ｃ２）では、対カメラ位置関係特定ベクトルＶ１として、全天周カメラＣ１の位置が始点で全天周カメラＣ２の位置が終点となるベクトルが設定される。また、カメラ対（Ｃ１，Ｃ２）では、対カメラ位置関係特定ベクトルＶ４として、全天周カメラＣ２の位置が始点で全天周カメラＣ１の位置が終点となるベクトルが設定される。つまり、対カメラ位置関係特定ベクトルＶ４は、対カメラ位置関係特定ベクトルＶ１の始点及び終点を入れ替えた反対方向のベクトルとなる。

また、カメラ対（Ｃ２，Ｃ３）では、全天周カメラＣ２，Ｃ３のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ２，Ｖ５が設定される。さらに、カメラ対（Ｃ３，Ｃ１）では、全天周カメラＣ３，Ｃ１のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ３，Ｖ６が設定される。

図３に戻り、全天周立体映像表示装置５の構成について説明を続ける。
全天周映像記憶手段５２は、全天周カメラＣ１〜Ｃ３が撮影した全天周映像を記憶するメモリ、ＨＤＤ等の記憶装置である。この全天周映像は、後記する全天周映像選択手段５６によって参照される。

センサ情報入力手段５３は、センサ４１から、視聴者９毎に両目の位置情報が入力されるものである。そして、センサ情報入力手段５３は、入力された視聴者９の両目の位置情報をベクトル生成手段５４に出力する。

ベクトル生成手段５４は、センサ情報入力手段５３からの両目の位置情報に基づいて、視聴者９毎に、右耳位置と左耳位置との差分によりカメラ選択判定ベクトルを生成するものである。前記したように、カメラ選択判定ベクトルとは、視聴者９の右目から左目の方向を表すベクトルである。本実施形態では、ベクトル生成手段５４は、左耳位置の３次元位置座標から右耳位置の３次元位置座標を減算し、カメラ選択判定ベクトルを生成する。そして、ベクトル生成手段５４は、生成したカメラ選択判定ベクトルをベクトル選択手段５５に出力する。

本実施形態では、全天周カメラＣとセンサ４１との位置関係を予め校正しておくこととする。言い換えるなら、各対カメラ位置関係特定ベクトルＶとカメラ選択判定ベクトルＷとの関係を予め設定しておく。
まず、図４に示すように、原点Ｏから見て、較正用視線方向ＵにマーカＭ１を設置する。このマーカＭ１は、校正を行うための指標であり、視聴者９が視認できるものであればよい。そして、対カメラ位置関係特定ベクトルＶ１は、視聴者９がマーカＭ１を見たときのカメラ選択判定ベクトルＷ１に基づいて設定する。つまり、カメラ選択判定ベクトルＷ１が較正用視線方向Ｕ１と直角になり、対カメラ位置関係特定ベクトルＶ１とカメラ選択判定ベクトルＷ１とが平行になるように設定する。他の対カメラ位置関係特定ベクトルＶ２〜Ｖ６は、カメラ選択判定ベクトルＷ１を基準として設定してもよいし、カメラ選択判定ベクトルＷ２〜Ｗ６によって提示される位置のマーカＭ２〜Ｍ６を基準として設定してもよい。
なお、図４では、図面を見やすくするため、対カメラ位置関係特定ベクトルＶ４〜Ｖ６、カメラ選択判定ベクトルＷ２〜Ｗ６、マーカＭ２〜Ｍ６の図示を省略したが、対カメラ位置関係特定ベクトルＶ４〜Ｖ６も設定することとする。

ベクトル選択手段５５は、視聴者９毎に、ベクトル生成手段５４が生成したカメラ選択判定ベクトルＷに最も近い方向の対カメラ位置関係特定ベクトルＶをベクトル記憶手段５１から選択するものである。具体的には、ベクトル選択手段５５は、カメラ選択判定ベクトルＷと各対カメラ位置関係特定ベクトルＶとの内積値を算出し、算出した内積値が正で最大となる対カメラ位置関係特定ベクトルＶを選択する。そして、ベクトル選択手段５５は、選択した対カメラ位置関係特定ベクトルＶを全天周映像選択手段５６に出力する。

＜対カメラ位置関係特定ベクトルの選択＞
図４を参照し、対カメラ位置関係特定ベクトルの選択について説明する。
図４に示すように、ベクトル選択手段５５は、カメラ選択判定ベクトルＷと対カメラ位置関係特定ベクトルＶ１との内積値を算出する。これと同様、ベクトル選択手段５５は、カメラ選択判定ベクトルＷと対カメラ位置関係特定ベクトルＶ２〜Ｖ６との内積値を算出する。

図４に示すように、対カメラ位置関係特定ベクトルＶ１とカメラ選択判定ベクトルＷとが同じ方向である。このため、カメラ選択判定ベクトルＷと対カメラ位置関係特定ベクトルＶ１〜Ｖ６との内積値のうち、カメラ選択判定ベクトルＷと対カメラ位置関係特定ベクトルＶ１との内積値が最大となる。その結果、ベクトル選択手段５５は、ベクトル記憶手段５１の対カメラ位置関係特定ベクトルＶ１〜Ｖ６のうち、カメラ選択判定ベクトルＷに最も近い方向となる対カメラ位置関係特定ベクトルＶ１を選択する。

図３に戻り、全天周立体映像表示装置５の構成について説明を続ける。
全天周映像選択手段５６は、視聴者９毎に、ベクトル選択手段５５が選択した対カメラ位置関係特定ベクトルＶの始点にある全天周カメラＣの全天周映像を右目用全天周映像として選択するものである。また、全天周映像選択手段５６は、視聴者９毎に、その対カメラ位置関係特定ベクトルＶの終点にある全天周カメラＣの全天周映像を左目用全天周映像として選択する。

＜右目用全天周映像及び左目用全天周映像の選択＞
図４及び図５を参照し、右目用全天周映像及び左目用全天周映像の選択について説明する。
図４に示すように、ある視聴者９について、対カメラ位置関係特定ベクトルＶ１が選択された場合を考える。この場合、全天周映像選択手段５６は、全天周映像記憶手段５２から、対カメラ位置関係特定ベクトルＶ１の始点にある全天周カメラＣ１の全天周映像を右目用全天周映像として選択する。また、全天周映像選択手段５６は、全天周映像記憶手段５２から、対カメラ位置関係特定ベクトルＶ１の終点にある全天周カメラＣ２の全天周映像を左目用全天周映像として選択する。

ここで、視聴者９が顔の向きを変えて、カメラ選択判定ベクトルＷの方向が変わったこととする。この場合、カメラ選択判定ベクトルＷの方向に応じて対カメラ位置関係特定ベクトルＶが選択され、右目用全天周映像及び左目用全天周映像も変わることになる。

図５に示すように、全天周カメラＣ１，Ｃ２，Ｃ３の位置をそれぞれγ，α，βとする。また、全天周カメラＣ１，Ｃ２，Ｃ３と原点Ｏとを通過する直線が円Ｒに交わる位置をそれぞれγ´，α´，β´とする。
なお、図５は、図面を見やすくするため、図４と同様に対カメラ位置関係特定ベクトルＶ４〜Ｖ６の図示を省略した。

図５において、カメラ選択判定ベクトルＷの方向が、線分αＯと線分Ｏγ´との範囲内（以後、「∠αＯγ´の範囲内」）の場合、対カメラ位置関係特定ベクトルＶ１がカメラ選択判定ベクトルＷに最も近い向きとなる。この場合、全天周映像選択手段５６は、全天周カメラＣ１の全天周映像を右目用全天周映像として選択し、全天周カメラＣ２の全天周映像を左目用全天周映像として選択する。
カメラ選択判定ベクトルＷの方向が∠α´Ｏγの範囲内の場合、対カメラ位置関係特定ベクトルＶ４（不図示）がカメラ選択判定ベクトルＷに最も近い向きとなる。この場合、全天周映像選択手段５６は、全天周カメラＣ２の全天周映像を右目用全天周映像として選択し、全天周カメラＣ１の全天周映像を左目用全天周映像として選択する。

カメラ選択判定ベクトルＷの方向が∠βＯα´の範囲内の場合、対カメラ位置関係特定ベクトルＶ２がカメラ選択判定ベクトルＷに最も近い向きとなる。この場合、全天周映像選択手段５６は、全天周カメラＣ２の全天周映像を右目用全天周映像として選択し、全天周カメラＣ３の全天周映像を左目用全天周映像として選択する。
カメラ選択判定ベクトルＷの方向が∠β´Ｏαの範囲内の場合、対カメラ位置関係特定ベクトルＶ５（不図示）がカメラ選択判定ベクトルＷに最も近い向きとなる。この場合、全天周映像選択手段５６は、全天周カメラＣ３の全天周映像を右目用全天周映像として選択し、全天周カメラＣ２の全天周映像を左目用全天周映像として選択する。

カメラ選択判定ベクトルＷの方向が∠γＯβ´の範囲内の場合、対カメラ位置関係特定ベクトルＶ３がカメラ選択判定ベクトルＷに最も近い向きとなる。この場合、全天周映像選択手段５６は、全天周カメラＣ３の全天周映像を右目用全天周映像として選択し、全天周カメラＣ１の全天周映像を左目用全天周映像として選択する。
カメラ選択判定ベクトルＷの方向が∠γ´Ｏβの範囲内の場合、対カメラ位置関係特定ベクトルＶ６（不図示）がカメラ選択判定ベクトルＷに最も近い向きとなる。この場合、全天周映像選択手段５６は、全天周カメラＣ１の全天周映像を右目用全天周映像として選択し、全天周カメラＣ３の全天周映像を左目用全天周映像として選択する。

図３に戻り、全天周立体映像表示装置５の構成について説明を続ける。
表示制御手段５７は、全天周映像選択手段５６が選択した右目用全天周映像及び左目用全天周映像を２眼立体映像としてプラネタリウム３に表示させるものである。本実施形態では、表示制御手段５７は、各視聴者９が同一のプラネタリウム３で視聴するため、全天周カメラＣの台数で全天周映像の時分割表示制御を行う。

＜時分割表示制御＞
以下、表示制御手段５７による時分割表示制御について説明する。
例えば、図１に示すように、２人の視聴者９Ａ，９Ｂが、プラネタリウム３で同時に視聴するので立体メガネ４を装着している。また、図６に示すように、３台の全天周カメラＣ１〜Ｃ３が１／３０間隔で全天周映像を撮影し、フレーム周波数３０Ｈｚの全天周映像を全天周映像記憶手段５２が記憶していることとする。

この場合、表示制御手段５７は、図７（ａ）に示すように、全天周カメラＣ１〜Ｃ３が撮影した各全天周映像のそれぞれを順番に切り替えて、投影装置３２に出力する。各全天周映像を時分割表示するときのフレーム周波数は、撮影時のフレーム周波数を全天周カメラＣの台数で除算した値（例えば、３０Ｈｚ／３＝１０Ｈｚ）となる。

このとき、表示制御手段５７は、視聴者９Ａ，９Ｂの姿勢（視点）がそれぞれ異なるため、その姿勢に応じて、立体メガネ４にシャッタ４０の開閉を制御する。つまり、表示制御手段５７は、各視聴者９に対応する右目用全天周映像及び左目用全天周映像の表示に合わせて、その視聴者９が装着する立体メガネ４のシャッタ４０の開閉を制御する。

図７（ｂ）に示すように、視聴者９Ａについては、対カメラ位置関係特定ベクトルＶ１が選択されたこととする。この場合、視聴者９Ａの右目用全天周映像として全天周カメラＣ１の全天周映像が選択され、視聴者９Ａの左目用全天周映像として全天周カメラＣ２の全天周映像が選択される。つまり、視聴者９Ａの右目視点に全天周カメラＣ１が対応し、視聴者９Ａの左目視点に全天周カメラＣ２が対応する。

この場合、表示制御手段５７は、全天周カメラＣ１が全天周映像を表示するタイミングに合わせて、視聴者９Ａが装着する立体メガネ４の右目側のシャッタ４０Ｒを開く。また、表示制御手段５７は、全天周カメラＣ２が全天周映像を表示するタイミングに合わせて、視聴者９Ａが装着する立体メガネ４の左目側のシャッタ４０Ｌを開く。つまり、表示制御手段５７は、視聴者９Ａの立体メガネ４について、０秒，３／３０秒，６／３０秒，…のときに右目側のシャッタ４０Ｒを開き、１／３０秒，４／３０秒，７／３０秒，…のときに左目側のシャッタ４０Ｌを開く。

図７（ｃ）に示すように、視聴者９Ｂについては、対カメラ位置関係特定ベクトルＶ３が選択されたこととする。この場合、視聴者９Ｂの右目用全天周映像及び左目用全天周映像として全天周カメラＣ３，Ｃ１の全天周映像が選択される。つまり、視聴者９Ｂの右目視点に全天周カメラＣ３が対応し、視聴者９Ａの左目視点に全天周カメラＣ１が対応する。この場合、表示制御手段５７は、全天周カメラＣ３，Ｃ１が全天周映像を表示するタイミングに合わせて、視聴者９Ｂが装着する立体メガネ４のシャッタ４０Ｒ，４０Ｌを開く。つまり、表示制御手段５７は、視聴者９Ｂの立体メガネ４について、２／３０秒，５／３０秒，８／３０秒，…のときに右目側のシャッタ４０Ｒを開き、０秒，３／３０秒，６／３０秒，…のときに左目側のシャッタ４０Ｌを開く。

視聴者９が２人であることとして説明したが、視聴者９が３人以上の場合でも時分割表示制御を行うことができる。
３人目の視聴者９については、右目用全天周映像及び左目用全天周映像に全天周カメラＣ２，Ｃ３の全天周映像が対応する場合を考える。この場合、全天周カメラＣ２，Ｃ３が全天周映像を表示するタイミングに合わせて、３人目の視聴者９が装着する立体メガネ４のシャッタ４０Ｒ，４０Ｌを開けばよい。
４人目以降の視聴者９についても、その視聴者９の右目用全天周映像及び左目用全天周映像を全天周カメラＣが表示するタイミングに合わせ、シャッタ４０Ｒ，４０Ｌを開けばよい。

［全天周立体映像表示装置の動作］
図８を参照し、全天周立体映像表示装置５の動作について説明する。
ここで、対カメラ位置関係特定ベクトルＶがベクトル記憶手段５１に記憶され、全天周映像が全天周映像記憶手段５２に記憶されていることとする。

図８に示すように、センサ情報入力手段５３は、各視聴者９が装着する立体メガネ４のセンサ４１から、視聴者９の両目（両耳）の位置情報が入力される（ステップＳ１）。
ベクトル生成手段５４は、ステップＳ１で入力された両目の位置情報に基づいて、視聴者９毎に、右耳位置と左耳位置との差分によりカメラ選択判定ベクトルＷを生成する（ステップＳ２）。

ベクトル選択手段５５は、視聴者９毎に、ステップＳ２で生成したカメラ選択判定ベクトルＷと、ベクトル記憶手段５１に記憶されている対カメラ位置関係特定ベクトルＶとの内積値を算出する（ステップＳ３）。

ベクトル選択手段５５は、視聴者９毎に、ステップＳ２で生成したカメラ選択判定ベクトルＷに最も近い方向の対カメラ位置関係特定ベクトルＶを選択する。具体的には、ベクトル選択手段５５は、ベクトル記憶手段５１の対カメラ位置関係特定ベクトルＶのうち、ステップＳ３で算出した内積値が正で最大となる対カメラ位置関係特定ベクトルＶを選択する（ステップＳ４）。

全天周映像選択手段５６は、視聴者９毎に、ステップＳ４で選択した対カメラ位置関係特定ベクトルＶの始点にある全天周カメラＣの全天周映像を右目用全天周映像として選択する。また、全天周映像選択手段５６は、その対カメラ位置関係特定ベクトルＶの終点にある全天周カメラＣの全天周映像を左目用全天周映像として選択する（ステップＳ５）。

表示制御手段５７は、ステップＳ５で選択した右目用全天周映像及び左目用全天周映像を２眼立体映像としてプラネタリウム３に表示させる。例えば、表示制御手段５７は、全天周カメラＣの台数で、全天周カメラＣの全天周映像を切り換えて時分割表示を行う。さらに、表示制御手段５７は、各視聴者９に対応する右目用全天周映像及び左目用全天周映像の表示に合わせて、その視聴者９が装着する立体メガネ４のシャッタ４０の開閉を制御する（ステップＳ６）。

［作用・効果］
以上のように、全天周立体映像システム１は、全天周の２眼立体映像を実写撮影して表示することができる。
さらに、全天周立体映像システム１は、各全天周カメラＣが撮影した全天周映像から右目用全天周映像及び左目用全天周映像を選択するだけで、従来技術のように映像同士の繋ぎ合わせ処理を行う必要がない。これにより、全天周立体映像システム１は、高品質な２眼立体映像をリアルタイムで表示することができる。

さらに、全天周立体映像システム１では、カメラ選択判定ベクトルＷを導入したので、正立姿勢だけでなく仰向け姿勢や倒立姿勢でも左右の目に対応する全天周映像を正しく選択することができる。これにより、視聴者αが、全天周の２眼立体映像を様々な姿勢で視聴することができる。
例えば、プラネタリウム３の視聴では、視聴者が、正立姿勢、仰向け姿勢、さらには、目よりも頭頂部が低い倒立姿勢になる場合がある。このような姿勢の場合、従来の視線方向ベクトルでは左右の目を反対に誤検出してしまい、右目用全天周映像及び左目用全天周映像を正しく選択できない。しかし、全天周立体映像システム１は、カメラ選択判定ベクトルＷにより、どのような姿勢の視聴でも、右目用全天周映像及び左目用全天周映像を正しく選択できる。

さらに、全天周立体映像システム１は、全天周カメラＣの台数に基づいて全天周映像の時分割表示制御を行うので、複数の視聴者９が同時にプラネタリウム３で視聴することができる。

（第２実施形態）
［全天周立体映像システムの概略］
図９を参照し、第２実施形態に係る全天周立体映像システム１Ｂについて、第１実施形態と異なる点を説明する。
全天周立体映像システム１Ｂでは、視聴者９が装着したヘッドマウントディスプレイ（全天周映像表示手段）６に２眼立体映像を表示するため、時分割表示を行わない点が第１実施形態と異なる。以後、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を「ＨＭＤ」と略記する。図９に示すように、全天周立体映像システム１Ｂは、全天周立体映像撮影装置２と、全天周立体映像表示装置５Ｂと、ＨＭＤ６とを備える。

全天周立体映像表示装置５Ｂは、全天周立体映像撮影装置２が撮影した全天周映像を用いて、ＨＭＤ６で全天周の２眼立体映像を表示するものである。なお、全天周立体映像表示装置５Ｂの詳細については、後記する。

ここで、全天周立体映像システム１Ｂでは、全天周の２眼立体映像を表示するため、視聴者９がＨＭＤ６を装着している。例えば、ＨＭＤ６は、ゴーグル型のフレーム６２の前面に取り付けられた表示素子６０と、フレーム６２の側部に埋め込まれたセンサ（検出手段）６１とを備える。また、ＨＭＤ６は、Ｂｌｕｅｔｏｏｔｈ等の無線通信を用いて、全天周立体映像表示装置５との間で各種情報を送受信する。
なお、図９では、ＨＭＤ６のフレーム６２に埋め込まれたセンサ６１を破線で図示した。

表示素子６０は、全天周立体映像表示装置５（表示制御手段５７Ｂ）からの右目用全天周映像及び左目用全天周映像を表示するものであり、例えば、一般的な小型ディスプレイである。ここで、表示素子６０Ｒは、視聴者９の右目に対応しており、右目用全天周映像を表示する。また、表示素子６０Ｌは、視聴者９の左目に対応しており、左目用全天周映像を表示する。なお、ＨＭＤ６は、右目用全天周映像及び左目用全天周映像が視聴者９の反対側の目に映り込まないように、表示素子６０Ｒ，６０Ｌの間に遮蔽板（不図示）を設けてもよい。

センサ６１は、視聴者９の両目の位置を検出する一般的な位置センサやジャイロセンサである。このセンサ６１は、図１のセンサ４１と同様、両耳の位置を検出することとしてもよい。そこで、センサ６１は、視聴者９の右耳位置を検出するセンサ６１Ｒと、視聴者９の左耳位置を検出するセンサ６１Ｌとがペアになっている。また、図９に示すように、２人の視聴者９Ａ，９ＢがそれぞれＨＭＤ６を装着しているので、各センサ６１が視聴者９Ａ，９Ｂの両耳の位置をそれぞれリアルタイムで検出する。
センサ６１は、視聴者９の両目の位置情報を全天周立体映像表示装置５Ｂ（センサ情報入力手段５３）に出力する。

＜全天周立体映像システムの撮影手順及び表示手順＞
全天周立体映像システム１Ｂの撮影手順については、第１実施形態と同様のため、説明を省略する。
以下、全天周立体映像システム１Ｂにおける表示手順を説明する。

全天周立体映像システム１Ｂでは、第１実施形態と同様、カメラ対を予め設定し、対カメラ位置関係特定ベクトルＶを予め記憶させておく。
視聴者９は、全天周立体映像システム１Ｂで視聴する際、ＨＭＤ６を装着する。ＨＭＤ６のセンサ６１が、視聴者９の両耳（両目）の位置を検出し、検出した両目の位置情報を全天周立体映像表示装置５Ｂに出力する。全天周立体映像表示装置５Ｂは、第１実施形態と同様、カメラ選択判定ベクトルＷを算出する。

全天周立体映像表示装置５Ｂは、第１実施形態と同様、全ての対カメラ位置関係ベクトルＶのうち、カメラ選択判定ベクトルＷに最も向きが近い対カメラ位置関係ベクトルＶを選択する。さらに、全天周立体映像表示装置５Ｂは、第１実施形態と同様、選択した対カメラ位置関係ベクトルＶの始点及び終点にある全天周カメラＣの全天周映像を、右目用全天周映像及び左目用全天周映像として選択する。その後、全天周立体映像表示装置５Ｂは、選択した右目用全天周映像及び左目用全天周映像をＨＭＤ６に表示する。

［全天周立体映像表示装置の構成］
図１０を参照し、全天周立体映像表示装置５Ｂの構成について説明する。
図１０に示すように、全天周立体映像表示装置５Ｂは、ベクトル記憶手段５１と、全天周映像記憶手段５２と、センサ情報入力手段５３と、ベクトル生成手段５４と、ベクトル選択手段５５と、全天周映像選択手段５６と、表示制御手段５７Ｂとを備える。

表示制御手段５７Ｂは、全天周映像選択手段５６が選択した右目用全天周映像及び左目用全天周映像を２眼立体映像としてＨＭＤ６に表示させるものである。前記したように、表示制御手段５７Ｂは、各視聴者９がＨＭＤ６を装着しているため、第１実施形態のように時分割表示制御を行う必要がない。つまり、表示制御手段５７Ｂは、各視聴者９に対応する右目用全天周映像及び左目用全天周映像を、その視聴者９が装着するＨＭＤ６に出力すればよい。
なお、全天周立体映像表示装置５Ｂの動作については、時分割表示制御を行わないこと以外、第１実施形態と同様のため、説明を省略する。

［作用・効果］
以上のように、全天周立体映像システム１Ｂは、第１実施形態と同様、高品質な２眼立体映像を表示すると共に、様々な姿勢で視聴することができる。
さらに、全天周立体映像システム１Ｂは、時分割表示が不要なので、高フレームレート化を図り、より高品質な２眼立体映像を表示することができる。
さらに、全天周立体映像システム１Ｂは、ＨＭＤ６に２眼立体映像を表示するので、構成の簡略化と省スペース化を図ることができる。

（第３実施形態）
［全天周立体映像表示装置の構成］
図３を参照し、第３実施形態に係る全天周立体映像表示装置５Ｃについて、第１実施形態と異なる点を説明する。
図３に示すように、全天周立体映像表示装置５Ｃは、後記するチャタリングを抑制するため、ベクトル選択手段５５の代わりにベクトル選択手段５５Ｃを備える点が第１実施形態と異なる。

ベクトル選択手段５５Ｃは、第１実施形態と同様、カメラ選択判定ベクトルＷと各対カメラ位置関係特定ベクトルＶとの内積値を算出し、内積値の最大値とその最大値の次に大きな内積値との差分を算出する。そして、ベクトル選択手段５５Ｃは、算出した差分が予め設定した閾値以上となった場合、内積値が最大となる対カメラ位置関係特定ベクトルＶを選択するものである。

＜チャタリングの抑制＞
図１１及び図１２を参照し、ベクトル選択手段５５Ｃによるチャタリングの抑制を説明する。
チャタリングとは、視聴者９の右目視点位置及び左目視点位置に対応する全天周カメラＣが短時間で繰り返し変更されることである。つまり、チャタリングとは、カメラ選択判定ベクトルＷに最も近い方向の対カメラ位置関係特定ベクトルＶが頻繁に切り替わることである。このチャタリングが発生すると、視聴者αに２眼立体映像を安定して表示できない。

図１１に示すように、原点Ｏを中心にカメラ選択判定ベクトルＷを３６０°回転させたこととする。カメラ選択判定ベクトルＷとＯα軸とのなす角θ＝０°の場合、カメラ選択判定ベクトルＷがＯα軸を向いている。このとき、カメラ選択判定ベクトルＷと対カメラ位置関係特定ベクトルＶ１〜Ｖ６との内積値を表すと、図１２に示すグラフとなる。
なお、図１２では、横軸がなす角θであり、縦軸が内積値である。また、カメラ選択判定ベクトルＷと対カメラ位置関係特定ベクトルＶ１との内積値を表す曲線に符号Ｖ１を付した（符号Ｖ２〜Ｖ６も同様）。

カメラ選択判定ベクトルＷと対カメラ位置関係特定ベクトルＶとの内積値は、カメラ対の間隔であるベースラインを１として規格化したこととする。この場合、その内積値は、視聴者９の視線方向に垂直な平面に投影した実効的なベースライン距離を表す。図１２より、全天周カメラＣの切り換え角度において、実効的なベースライン距離が連続し、視差のギャップが生じていないことがわかる。

前記したように、内積値が最大となる対カメラ位置関係特定ベクトルＶの始点及び終点にある全天周カメラＣの全天周映像が表示される。従って、対カメラ位置関係特定ベクトルＶが切り替わる角度の付近でチャタリングが生じ、２眼立体映像を安定して表示できない事態が想定される。この事態に対応するため、対カメラ位置関係特定ベクトルＶの切り換えに閾値ΔＴＨを導入することとする。

まず、対カメラ位置関係特定ベクトルＶ１から対カメラ位置関係特定ベクトルＶ６への正方向の切り替えを説明する。ここでは、閾値ΔＴＨ＝０であり、なす角θ＝０°からカメラ選択判定ベクトルＷを反時計周りに回転させることとする。図１２に示すように、なす角θ＝６０°になったとき、対カメラ位置関係特定ベクトルＶ１から対カメラ位置関係特定ベクトルＶ６に切り替わる。つまり、なす角θが６０°を前後するように視聴者αが微動すると、チャタリングが発生する。

ここで、閾値ΔＴＨを正の値で設定し、なす角θ＝０°からカメラ選択判定ベクトルＷを反時計周りに回転させることとする。図１２に示すように、なす角θ＝θＡになったとき、対カメラ位置関係特定ベクトルＶ６と対カメラ位置関係特定ベクトルＶ１との内積値の差分が閾値ΔＴＨと等しくなる。従って、なす角θ＝θＡになったとき、対カメラ位置関係特定ベクトルＶ１から対カメラ位置関係特定ベクトルＶ６に切り替わる。

次に、対カメラ位置関係特定ベクトルＶ６から対カメラ位置関係特定ベクトルＶ１への逆方向の切り替えを説明する。ここでは、なす角θ＝６０°からカメラ選択判定ベクトルＷを時計周りに回転させることとする。図１２に示すように、なす角θ＝θＢになったとき、対カメラ位置関係特定ベクトルＶ１と対カメラ位置関係特定ベクトルＶ６との内積値の差分が閾値ΔＴＨと等しくなる。従って、なす角θ＝θＢになったとき、対カメラ位置関係特定ベクトルＶ６から対カメラ位置関係特定ベクトルＶ１に切り替わる。

つまり、ベクトル選択手段５５Ｃでは、閾値ΔＴＨを導入することで、正方向及び逆方向で対カメラ位置関係特定ベクトルＶ１，Ｖ６の切り替えを異なる角度（なす角θ＝θＡ，θＢ）で行う。これにより、なす角θが６０°を前後するように視聴者αが微動した場合でも、即座に対カメラ位置関係特定ベクトルＶ１，Ｖ６が切り替わらず、チャタリングが抑制される。

［作用・効果］
以上のように、全天周立体映像表示装置５Ｃは、チャタリングを抑制し、２眼立体映像を安定して表示することができる。なお、全天周立体映像表示装置５Ｃは、第１実施形態だけでなく、第２実施形態にも適用することができる。

以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

（変形例１）
前記した各実施形態では、全天周カメラＣが３台であることとして説明したが、２台以上であればよい。
図１３に示すように、変形例１に係る全天周立体映像撮影装置２Ｂでは、７台の全天周カメラＣ（Ｃ１〜Ｃ７）が円周上に等間隔で配置されている。また、全天周立体映像撮影装置２Ｂでは、隣り合うように配置された２台の全天周カメラＣでカメラ対を構成する。ここでは、（Ｃ１，Ｃ２）、（Ｃ２，Ｃ３）、（Ｃ３，Ｃ４）、（Ｃ４，Ｃ５）、（Ｃ５，Ｃ６）、（Ｃ６，Ｃ７）、（Ｃ７，Ｃ１）というカメラ対が設定されている。

この場合、カメラ対（Ｃ１，Ｃ２）では、全天周カメラＣ１，Ｃ２のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ１，Ｖ８が設定される。また、カメラ対（Ｃ２，Ｃ３）では、全天周カメラＣ２，Ｃ３のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ２，Ｖ９が設定される。また、カメラ対（Ｃ３，Ｃ４）では、全天周カメラＣ３，Ｃ４のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ３，Ｖ１０が設定される。また、カメラ対（Ｃ４，Ｃ５）では、全天周カメラＣ４，Ｃ５のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ４，Ｖ１１が設定される。また、カメラ対（Ｃ５，Ｃ６）では、全天周カメラＣ５，Ｃ６のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ５，Ｖ１２が設定される。また、カメラ対（Ｃ６，Ｃ７）では、全天周カメラＣ６，Ｃ７のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ６，Ｖ１３が設定される。また、カメラ対（Ｃ７，Ｃ１）では、全天周カメラＣ７，Ｃ１のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ７，Ｖ１４が設定される。

このように、全天周立体映像撮影装置２Ｂでは、全天周カメラＣの台数に比例して視点位置が増加するので、視点が滑らかに切り替わり、高品質な２眼立体映像の視聴が可能となる。

（変形例２）
全天周カメラが５台以上の場合、１台以上の間隔を空けた２台の全天周カメラＣでカメラ対を構成してもよい。
図１４に示すように、変形例２に係る全天周立体映像撮影装置２Ｃでは、１台以上の他の全天周カメラＣを挟むように離して配置された２台の全天周カメラＣでカメラ対が構成されている。具体的には、カメラ対（Ｃ１，Ｃ３）は、他の全天周カメラＣ２を挟むように離して配置された２台の全天周カメラＣ１，Ｃ３で構成されている。これと同様、（Ｃ２，Ｃ４）、（Ｃ３，Ｃ５）、（Ｃ４，Ｃ６）、（Ｃ６，Ｃ１）、（Ｃ７，Ｃ２）というカメラ対が設定されている。

この場合、カメラ対（Ｃ１，Ｃ３）では、全天周カメラＣ１，Ｃ３のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ１，Ｖ８が設定される。また、カメラ対（Ｃ２，Ｃ４）では、全天周カメラＣ２，Ｃ４のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ２，Ｖ９が設定される。また、カメラ対（Ｃ３，Ｃ５）では、全天周カメラＣ３，Ｃ５のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ３，Ｖ１０が設定される。また、カメラ対（Ｃ４，Ｃ６）では、全天周カメラＣ４，Ｃ６のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ４，Ｖ１１が設定される。また、カメラ対（Ｃ５，Ｃ７）では、全天周カメラＣ５，Ｃ７のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ５，Ｖ１２が設定される。また、カメラ対（Ｃ６，Ｃ１）では、全天周カメラＣ６，Ｃ１のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ６，Ｖ１３が設定される。また、カメラ対（Ｃ７，Ｃ２）では、全天周カメラＣ７，Ｃ２のそれぞれを始点及び終点とした対カメラ位置関係特定ベクトルＶ７，Ｖ１４が設定される。

このように、全天周立体映像撮影装置２Ｃでは、カメラ対を構成する２台の全天周カメラＣの間隔を広くすることで、適切な視差を確保し、高品質な２眼立体映像の視聴が可能となる。
なお、変形例２では、全天周カメラＣが７台であることとして説明したが、全天周カメラＣが５台以上であればよい。

（変形例３）
前記した各実施形態では、３台の全天周カメラＣが円周上に配置されることとして説明したが、これに限定されない。
図１５に示すように、変形例３に係る全天周立体映像撮影装置２Ｄでは、少なくとも１台の全天周カメラＣが、他の全天周カメラＣ同士を結ぶ直線から外れるように配置されていればよい。言い換えるなら、全天周立体映像撮影装置２Ｄでは、全ての全天周カメラＣが同一直線上に並んでいなければよい。例えば、全天周カメラＣ１は、全天周カメラＣ２，Ｃ３を結ぶ直線から外れている。また、全天周カメラＣ２は、全天周カメラＣ１，Ｃ３を結ぶ直線から外れている。また、全天周カメラＣ３は、全天周カメラＣ１，Ｃ２を結ぶ直線から外れている。
なお、全天周カメラＣが４台以上の場合も同様である。

（変形例４）
前記した各実施形態では、各視点位置に配置された全天周カメラＣで同時に全天周映像を撮影することとして説明したが、これに限定されない。
図１６に示すように、変形例４に係る全天周立体映像撮影装置２Ｅでは、１台の全天周カメラＣを円周上に移動させながら、全天周カメラＣ１〜Ｃ３の視点位置で撮影する。例えば、フレーム周波数３０Ｈｚで全天周映像を撮影する場合を考える。図１７に示すように、全天周カメラＣは、０秒において全天周カメラＣ１の視点位置で撮影し、１／３０秒において全天周カメラＣ２の視点位置で撮影し、２／３０秒において全天周カメラＣ３の視点位置で撮影する。３／３０秒以降も、全天周カメラＣは、全天周カメラＣ１〜Ｃ３の視点位置に移動しながら撮影を行う。このようにして、全天周カメラＣ１〜Ｃ３の視点位置において、フレーム周波数１０Ｈｚの全天周映像を撮影できる。なお、表示フレーム周波数との同期が困難な場合、フレームメモリを用いたフレーム同期装置を用いてもよい。

ここで、全天周カメラＣを視点位置に移動させる方法は任意である。例えば、図１の全天周カメラＣを１台とし、環状フレーム２０の中心を軸に回転させればよい。また、１台の全天周カメラＣをロープの先に固定し、ロープを回転させてもよい。さらに、環状のレール（不図示）を設置し、このレール上で全天周カメラＣを移動させてもよい。
また、全天周カメラＣの台数１台に限定されず、複数台の全天周カメラＣを移動させながら撮影してもよい。例えば、円周上に３０°の間隔で３台の全天周カメラＣを配置し、前記した速度で全天周カメラＣを移動させると、９視点位置でフレーム周波数１０Ｈｚの全天周映像を撮影できる。

（その他変形例）
前記した各実施形態では、基準目が右目及び参照目が左目であることとして説明したが、基準目を左目及び参照目を右目としてもよい。
前記した各実施形態では、基準目側及び参照目側の検出位置が両耳の位置であることとして説明したが、これに限定されない。つまり、カメラ選択判定ベクトルが視聴者の両目方向と平行になれば、基準目側及び参照目側の検出位置は任意である。例えば、基準目側及び参照目側の検出位置としては、視聴者の両耳の他、両目位置、両頬位置又は両方のこめかみ位置があげられる。

前記した実施形態では、全天周立体映像表示装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した全天周立体映像表示装置として協調動作させるプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

例えば、本発明に係る全天周立体映像システムは、エンターテイメント、遠隔操作やシミュレーション訓練などで利用することができる。

１，１Ｂ 全天周立体映像システム
２，２Ｂ〜２Ｅ 全天周立体映像撮影装置
３ プラネタリウム（全天周映像表示手段）
４ 立体メガネ
５，５Ｂ，５Ｃ 全天周立体映像表示装置
６ ヘッドマウントディスプレイ（全天周映像表示手段）
９，９Ａ，９Ｂ 視聴者
２０ 環状フレーム
２１ 支持脚
３１ ドーム型スクリーン
３２ 投影装置
４０，４０Ｒ，４０Ｌ シャッタ
４１，４１Ｒ，４１Ｌ センサ（検出手段）
４２ リム
４３ テンプル
５１ ベクトル記憶手段
５２ 全天周映像記憶手段
５３ センサ情報入力手段（検出位置入力手段）
５４ ベクトル生成手段
５５，５５Ｃ ベクトル選択手段
５６ 全天周映像選択手段
５７，５７Ｂ 表示制御手段
６０，６０Ｒ，６０Ｌ 表示素子
６１，６１Ｒ，６１Ｌ センサ（検出手段）
６２ フレーム
Ｃ，Ｃ１〜Ｃ７ 全天周カメラ
Ｍ１ マーカ
Ｒ 円
Ｕ１ 較正用視線方向
Ｗ，Ｗ１ カメラ選択判定ベクトル（選択用ベクトル）
Ｖ，Ｖ１〜Ｖ１４ 対カメラ位置関係特定ベクトル

Claims (10)

1. 所定の視点位置に配置された２台以上の全天周カメラが撮影した全天周映像を用いて、全天周で２眼立体映像を表示する全天周立体映像表示装置であって、
   人物の一方の目が基準目及び他方の目が参照目として予め設定され、頭部における前記基準目側及び前記参照目側の検出位置を検出する検出手段から、当該検出位置が入力される検出位置入力手段と、
   ２台の前記全天周カメラで構成されるカメラ対の位置関係を示す対カメラ位置関係特定ベクトルとして、一方の前記全天周カメラの位置が始点で他方の前記全天周カメラの位置が終点となるベクトルと、他方の前記全天周カメラの位置が始点で一方の前記全天周カメラの位置が終点となるベクトルとを予め記憶するベクトル記憶手段と、
   前記基準目側と前記参照目側との検出位置の差分により、前記基準目から前記参照目の方向を表す選択用ベクトルを生成するベクトル生成手段と、
   前記ベクトル記憶手段から、前記ベクトル生成手段が生成した選択用ベクトルに最も近い方向の前記対カメラ位置関係特定ベクトルを選択するベクトル選択手段と、
   各全天周カメラが撮影した全天周映像から、前記ベクトル選択手段が選択した対カメラ位置関係特定ベクトルの始点にある全天周カメラの全天周映像を前記基準目側の全天周映像として選択し、当該対カメラ位置関係特定ベクトルの終点にある全天周カメラの全天周映像を前記参照目側の全天周映像として選択する全天周映像選択手段と、
   前記２眼立体映像として、前記全天周映像選択手段が選択した基準目側及び参照目側の全天周映像を、全天周で映像を表示する全天周映像表示手段に表示させる表示制御手段と、
   を備えることを特徴とする全天周立体映像表示装置。
2. 前記ベクトル選択手段は、前記選択用ベクトルと各対カメラ位置関係特定ベクトルとの内積値を算出し、算出した前記内積値が正で最大となる前記対カメラ位置関係特定ベクトルを選択することを特徴とする請求項１に記載の全天周立体映像表示装置。
3. 前記ベクトル選択手段は、前記選択用ベクトルと各対カメラ位置関係特定ベクトルとの内積値を算出し、前記内積値の最大値と当該最大値の次に大きな前記内積値との差分を算出し、算出した前記差分が予め設定した閾値以上となった場合、前記内積値が最大となる対カメラ位置関係特定ベクトルを選択することを特徴とする請求項１に記載の全天周立体映像表示装置。
4. 前記表示制御手段は、前記全天周カメラの台数で前記全天周映像の時分割表示制御を行うことを特徴とする請求項１から請求項３の何れか一項に記載の全天周立体映像表示装置。
5. 請求項１から請求項４の何れか一項に記載の全天周立体映像表示装置で用いる全天周映像を実写撮影する全天周立体映像撮影装置であって、
   所定の視点位置に配置された２台以上の全天周カメラを備えることを特徴とする全天周立体映像撮影装置。
6. 前記全天周カメラは、３台以上であり、
   少なくとも１台の前記全天周カメラが、他の前記全天周カメラ同士を結ぶ直線から外れるように配置されたことを特徴とする請求項５に記載の全天周立体映像撮影装置。
7. 前記全天周カメラは、円周上に等間隔で配置されたことを特徴とする請求項６に記載の全天周立体映像撮影装置。
8. 前記全天周カメラは、５台以上であり、
   隣り合うように配置された２台の前記全天周カメラでカメラ対を構成するか、又は、１台以上の他の前記全天周カメラを挟むように離して配置された２台の前記全天周カメラで前記カメラ対を構成することを特徴とする請求項７に記載の全天周立体映像撮影装置。
9. コンピュータを、請求項１から請求項４の何れか一項に記載の全天周立体映像表示装置として機能させるためのプログラム。
10. 請求項５から請求項８の何れか一項に記載の全天周立体映像撮影装置と、
    請求項１から請求項４の何れか一項に記載の全天周立体映像表示装置と、
    前記全天周立体映像表示装置が出力する２眼式立体映像を表示する全天周映像表示手段と、
    前記２眼式立体映像を視聴する人物の頭部における基準目側及び参照目側の検出位置を検出する検出手段と、
    を備えることを特徴とする全天周立体映像システム。

Images