JP5607146B2 - 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 - Google Patents

Description

本発明は、ユーザに融像させる映像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法に関する。

左右の撮影光学系を持つステレオカメラにおいて、最適な左右の両眼視差調整には様々な試みが行われている。例えば、フオーカス情報に基づいて立体効果調整機構により駆動モーターで左右ビデオカメラの光軸の交差位置を被写体の位置と一致させるようにしたり、ズーム倍率情報から、立体画像撮影装置の左右の撮影光学系間の基線長、輻輳角の制御を行い、適切な両眼視差を作り出したりしている（特許文献１から４を参照）。

また、ズーム倍率変動前の基線長にズーム倍率変動分の逆数を掛けた値を新たな基線長に設定し、なおかつ左右の撮影光学系の光軸の交点を基線長変動前と同じ位置にする輻輳角に設定することで、ずれ量をズーム変動前とほぼ変わらないように抑えるようにして、観察者の立体画像の自然な融像を促すことが開示されている（特許文献５を参照）。ここで、自然な融像とは、右目用の映像と左目用の映像を観察者が立体の映像として認識することを言う。

特開２００８−２３３５７９号公報 特開１９９５−３２２１２８号公報 特開２００９−２１０９５７号公報 特開２００５−２４６２９号公報 特開２００３−１０７６０１号公報

しかしながら、中・近距離実写における立体映像の撮影時には有効であった上述のような調整方法が、中・長距離実写の放送用映像として利用する場合においては望ましくない場合がある。例えば、同様の立体映像を提供する技術としてのＣＧ（コンピュータグラフィクス）においては視差のある映像レンダリング時に任意の視点からの観察者視差を設定できるため、どのようなシーンにおいても観察者の視点として任意の位置を設定し、単なる拡大ズームのみならず、観察者が対象物体に近づいたかのようなズーム（以降、区別のため没入ズームと表記、ズームアウトの際の逆動作も含むものとする）を演出することも可能である。ここで「没入ズーム」とは、通常の映像の拡大のみを行うズームに対し、視差も合わせて変化させることで、実際に観察者が近づいたり離れたりした状態に近くなるようにするズーム方法を意味する。つまり、遠くの立体を拡大するズーム（双眼鏡で覗いた感覚）に対し、観察者が物体に近づいたために大きく見える状態（視点の移動に伴う感覚）という表現上の差異がある。

ここで、中・近距離実写においてはそれほど問題とならず、むしろ両眼の視差を抑えることで観察者の融像を容易にしていたシーンとは異なり、中・長距離実写のシーンにおいては、被写体までの距離に対する被写体の凹凸の割合（視野空間の奥行きに対する被写体に生じる視差）が異なることによる没入感の喪失という問題が生じる。例えば、奥行き１ｍの３Ｄ領域における１０ｃｍの凹凸の飛び出し量（１０％）と、奥行き５０ｍの３Ｄ領域における１０ｃｍの凹凸の飛び出し量（０．２％）とを考慮すると、観察者が感じる立体感が異なることを表現したいシーンでは、単なる拡大ズームではなく、観察者の（演出上想定される）立ち位置と連動した没入ズームを表現しなければ、観察者の感じる没入感、臨場感を損ねてしまうかもしれない。

従来の方法にのみ基づいた場合、距離に応じた基線長設定、輻輳角設定をしても融像の際の歪みやズレを軽減できるが、ズームしているにもかかわらず没入感が薄いという問題がある。また、ズーム時に基線長を短くすることによる近像ズレの軽減をしても没入感が失われるという問題がある。

また、没入感を演出する上で、実環境では対象物に近づくと輻輳角は大きくなるはずだが、図１１の破線で示されるように、拡大ズームで得られる画像はそうではなく輻輳角は変化なし又は小さくなってしまうので、観察者は普段の感覚と異なる視覚情報に違和感を覚えたり融像が困難になったりするという問題がある。再生時点で観察者の視点位置が観察者にとって不明瞭になる。

なお、図１１の直線で示されるものは、基本となる倍率で画面領域を撮影した場合であって、その場合の２台の光学系の位置、輻輳角、基線長、視差画像を示している。また、図１１の一点鎖線で示されるものは、被写体にカメラが近づいた場合であって、その場合の２台の光学系の位置（近づいている）、輻輳角（大きくなっている）、基線長（変化なし）、視差画像（被写体が大きくなる、かつ視差が大きくなる）を示している。

本発明は、上記の問題点に鑑み、仮想視点を焦点一定のままズーム位置と一致させ、没入感のある拡大ズームを実現することができる画像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置であって、所定の基線長の間隔で配置された少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段と、前記基線長間隔で配された前記少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出手段と、前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御手段とを備え、前記撮像手段は、前記制御手段によって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像制御装置が提供される。この構成により、没入感のある拡大ズームを実現することができる。なお、所定の距離とは、ズームに連動して基線長を長く変更することで没入感のあるズームを実現できる距離を言う。また、ここでのユーザは後述する観察者に相当する（以下同様）。

また、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置からの情報に基づいて、前記被写体を立体として認識させるための情報を生成する没入位置情報生成装置であって、前記撮像制御装置から、前記ユーザの仮想視点位置の情報を受信する受信手段と、受信された前記仮想視点位置の情報を、前記撮像制御装置からの撮影映像に付加した映像情報を生成する生成手段とを、備える没入位置情報生成装置が提供される。この構成により、没入感のある拡大ズームを実現することができる。

また、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御方法であって、所定の基線長の間隔で配置された少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出ステップと、前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御ステップと、前記制御ステップによって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像ステップとを、有する撮像制御方法が提供される。この構成により、没入感のある拡大ズームを実現することができる。

また、本発明によれば、撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置からの情報に基づいて、前記被写体を立体として認識させるための情報を生成する没入位置情報生成方法であって、前記撮像制御装置から、前記ユーザの仮想視点位置の情報を受信する受信ステップと、受信された前記仮想視点位置の情報を、前記撮像制御装置からの撮影映像に付加した映像情報を生成する生成ステップとを、有する没入位置情報生成方法が提供される。この構成により、没入感のある拡大ズームを実現することができる。

本発明の立体画像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法は、没入感のある拡大ズームを実現することができる。

本発明の実施の形態の概要を説明するための図 本発明の実施の形態における仮想視点位置を通知する様子の一例を説明するための図 本発明の実施の形態に係る撮像制御装置及び没入位置情報生成装置が適用される一例を説明するための図 本発明の実施の形態に係る撮像制御装置及び没入位置情報生成装置が適用される他の一例を説明するための図 本発明の実施の形態で提供される映像の一例を示す図 本発明の実施の形態におけるモニタに表示されたズーム率の表示バー（現在のズームの表示や現在の仮想視点位置の表示を含む）の一例を示す図 本発明の実施の形態に係る撮像制御装置の構成の一例を示す構成図 本発明の実施の形態に係る没入位置情報生成装置の構成の一例を示す構成図 本発明の実施の形態に係る撮像制御装置での処理フローの一例を示すフローチャート 本発明の実施の形態に係る没入位置情報生成装置での処理フローの一例を示すフローチャート 従来の問題点を説明するための図

本発明の実施の形態について図１から図１０を用いて説明する。なお、説明を簡単にするため、ズーム動作が開始する時点での撮影倍率と視点設定を基準とする。例えば、倍率１倍、光学系の設置位置が観察者視点で、基線長が一般的な視聴者の両眼間距離に設定されている。ここで「基線長」とは、光学系の間隔（例えばデフォルト値）であって、一般的な人間の目と同じくらい離れているとその状態で撮影したものが観察者で立体視できるようになる間隔をいう。また、被写体を画面の中央付近に捉える構図で、光学系の焦点位置を被写体の位置に設定しているとする。

図１では２つの光学系１０１、１０２が示されており、２つの光学系１０１、１０２の間の距離を基線長とする。この光学系１０１、１０２は後述する撮像部７０１の一部となり得るものである。図１には、光学系１０１、１０２の位置から光学系１０１、１０２それぞれが撮影した被写体の像１０３、１０４が示されている。ここで、光学系１０１、１０２の位置とは、ズーム前の構図での視差から定まる仮想視点を言う。また、ズーム前の構図での視差とは、右目用の映像と左目用の映像の見え方の差を言う。また、仮想視点とは、ズーム倍率を変化させたとき、基準となる倍率に対して、視点が移動した結果、観察者が感じる大きさになると想定される視点、視点の位置を言う。撮像制御装置では、この光学系１０１、１０２の位置（視点）を基準として、画面拡大のズーム倍率に合わせて、相当する位置まで観察者の視点（仮想視点）を移動させた際に生じる輻輳角を確保（没入ズーム）するよう制御する。ここで、輻輳角とは、２つの光学系１０１、１０２が焦点位置に対して成す角度を言う。

具体的には、図１の一点鎖線に示すように、それぞれの光学系１０１、１０２の基線長が大きくなるように制御することで、焦点位置に対して成す輻輳角を、拡大ズームの倍率に仮想視点の位置が対応するようにした場合に成す（大きくなる）輻輳角に一致するようにさせる。そのようにさせた場合の像１０５、１０６が図１に示されている。このとき、焦点位置を一定とし、被写体を捉える構図を変化させないようにする場合、もしくは、任意の構図に変化させる場合、それに応じた光学系の向きが変化することも考慮できていることが望ましい。ここでの光学系の向きとは、光学系の鉛直方向を軸とした自転角度を言う。

また、これは別の観点の制御方法で表現すると、基線長を大きくするための変更量は、それぞれの光学系１０１、１０２の自転方向の制御で成す輻輳角で対応できる、すなわち光学系１０１、１０２を自転させることで輻輳角を大きくできるのであれば、光学系１０１、１０２の自転方向の制御のみ（もしくは基線長の制御との組み合わせ）で行うことができる。すなわち、複数の光学系（少なくとも２つの光学系）が自ら回転できる場合、後述する仮想視点位置算出部７０４は、基線長の長さ（間隔）を算出する際、複数の光学系を回転させることで輻輳角を大きくできる場合、複数の光学系の回転による輻輳角を考慮して基線長の長さ（間隔）を算出する。

没入ズーム前後での構図の変化は撮影シーンによって様々であるので、焦点位置までの距離、ズーム前後の仮想視点の位置、画面中の主たる被写体の位置（画面の中心位置からのズレ）によって、大きくするべき基線長と光学系の自転角度が異なる場合があるが、結果として、ズーム後に観察者の視点が移動する仮想視点の位置に応じて輻輳角が大きくなるよう制御されるという点で上述の制御方法は同様の効果をもたらす。ここで、没入ズーム前後での構図の変化には、構図としては、画面の中心で捉えるという意味で変更がないことも含む。

また、別の方法として、撮影時の演出によっては、ズーム動作中の変更を無視できたり（別視点カメラに切り替えるなどでカット可能であるような場合）、固定的な複数の仮想視点位置間を切り替えたりできる場合は、別の光学系からの映像で基線長を確保してもよい。なお、別の光学系には、カメラユニットとして分離されているような構成も含む。

特に、カメラユニットとして分離されているような場合は、それぞれの光学系の水平位置は一致していることが望ましい。少なくとも最終的に融像する映像は、構図、焦点位置が一致していなければ観察者の自然な融像を困難にしてしまうためである。

以上のような制御の結果、ズーム時に基線長が大きくなるように光学系間の距離を大きくするように撮影することで、近づいた場合と同様の視差映像を得ることができ、没入感のあるズームが可能となる。なお、上述の説明は、ズーム（拡大方向、ズームイン）時の動作について示しているが、縮小方向のズーム（ズームアウト、ズームバック）時には逆の動作を行うことになる。

次に、撮像制御装置によって算出された仮想視点位置（ズームにより近づいたと見なせる位置）の通知について説明する。なお、仮想視点位置の算出など撮像制御装置における具体的な処理については後述する。この仮想視点位置は、焦点位置（ズーム対象の被写体までの距離）とカメラ位置（実視点）に対するズーム倍率から求められる視点の位置である。

実際は、このように単純ではない場合もあり、光学系の自転角度などから輻輳角が変わった分を勘案するなども行うことで、より正確な仮想視点位置を求めることができるようにしてもよい。具体的に、仮想視点位置を通知する様子の一例を図２に示す。図２に示すように、仮想視点位置の情報は、カメラ２０１（撮像制御装置を含む）から中継局（放送局なども含む）２０２などに送信され、中継局２０２などは、視聴者のテレビ受像機２０３などへ撮影コンテンツとともに仮想視点位置の情報を送信する。なお、仮想視点位置の情報が伝達される流れはこれに限られるものではない。

仮想視点位置が通知されることにより、全撮影領域における観察者の位置をディスプレイなどに表示することに利用できる。例えば、図３に示すように、野球場における撮影コンテンツを提供する場合に、投手（ピッチャー）の位置３０１からの打者（バッター）の見え方を撮影する際に、仮想視点位置が野球場内のどこになるか（観察者がどこに居ると想定されているか）をディスプレイなどに表示することができる。なお、カメラ位置３０２は、実際には野球場の後方にある。

その他にも、図４に示すように、競技場内４０１にカメラが入れない場合にズームにより仮想的に選手の近距離から撮影しているようにする際に、仮想視点位置４０２をディスプレイなどに表示することができる。なお、カメラ位置４０３は、実際には競技場内４０１の外にある。この他にも、審判のいる位置からの選手の見え方を撮影する際やゴール位置からのシュートの見え方を撮影する際に、仮想視点位置をディスプレイなどに表示することができる。このように、観察者（視聴者）に自然な臨場感を伝える手段として、観察者（視聴者）に自分の位置を把握させることで、３Ｄ視点酔い（融像の際の不快感など）を軽減させることができる。

また、カメラの設定状態（ズーム倍率など）から求めた仮想視点位置と、映像から得られる没入感の評価値の誤差分を導き、仮想視点位置の情報を修正したり、カメラの設定状態を変更したりするようにしてもよい。ここで、映像から得られる没入感の評価値とは、観察者が感じる没入位置を言う。また、観察者が感じる没入位置とは、観察者が実際のカメラ位置（もしくは基準となる位置）から移動するとした場合、光学系の制御を行った結果、観察者が居ると想定される位置を言う。人間が感じる違和感、錯覚は必ずしもカメラの設定状態のみで求められる情報で解消できる訳ではないので、実際に撮影された視差映像を評価し、その誤差分を補正するものである。

ここで、より具体的に仮想視点位置の通知について説明する。ここでは、映像コンテンツの一例として野球中継を用いて説明する。野球中継において、投手の視点からの打者の見え方を考える。実際のカメラの位置はセンターバックネット裏であり、その位置から打者を撮影する（１倍ズーム）。カメラの位置から打者までの距離（奥行き）が、例えば１２０ｍであり、基線長が、例えば６ｃｍとする。この状況で、投手視点までズーム（４倍ズーム）すると、仮想視点位置は焦点（打者）から３０ｍ地点（カメラから９０ｍ地点）となり、基線長は２４ｃｍとなる。

この場合、仮想視点位置は中継局などに通知される。仮想視点位置の通知により、図５に示すように、視点がマウンド近くにあることを知らせる表示（例えば、マウンドビュー表示５０１）がＴＶ画面５０２上に表示される。また、あたかもカメラがそこに入っているように仮想視点位置を表示（カメラ表示５０３）させ、球場中の視点の位置（視聴者がいると想定される場所）をスーパーインポーズなどにて放送することができる。なお、どの地点からの視点かを示すのに文字テロップをＴＶ画面５０２上に流すなどでもよい。また、表示するだけでなく、音声、アナウンス、データガイダンスなどで通知してもよい。

これにより、観客席から見るのとはまた違った臨場感を提供することができる。また、視聴者は自分の仮想的な位置を知る（自分がどこに移動したか、どこから見ていることに相当する映像かを知る）ことで、ズームやカメラ切り替えに伴う３Ｄ融像の困難さを生理的に補償することができる。これは、例えば、第一人称視点のゲームの操作者（自分自身は仮想３Ｄ空間内でどう操作し、どこに移動しようとしているかを把握している）の画面酔いが、観覧者（操作者が操作した結果の画面を見ている）の酔いに比較して軽度であるような場合があることから、観覧者が視聴している映像において、自身の動きや位置を理解することにより、３Ｄ映像酔いのようなものを低減させることが期待できることなどに類似している。

また、仮想視点位置を演出者（監督やカメラマンなどを含む）に通知することも考えられる。演出者に通知されることにより、ズームによる視点の移動に相当する位置とともにリアルタイムに表示することで、演出の際の参照情報として利用できるようになる。また、ズームの制御と仮想視点位置の制御が独立して変更できるようにしてもよい。独立して変更できるようにすることで、演出時の効果として使用することができる。

図６に示すように、演出者は、モニタ６０１に表示されたズーム率の表示バー６０２（現在のズームの表示６０３や現在の仮想視点位置の表示６０４を含む）を用いて様々な演出を行うことが可能となる。具体的には、カメラのズーム速度（ズーム量の変化）に対して、敢えてズレを持たせながら仮想視点を追従させることで特別な演出を可能にする。すなわち、後述する基線長制御部７０５や光学系制御部７０３は、撮像部７０１によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも２つの光学系の配置を制御する。例えば、ズームの開始時点では仮想視点を変更せず、少し遅れてから仮想視点を移動するよう制御し始め、加速度的に仮想視点が最終ズーム倍率に一致するように追従させることで、ズーム動作に特徴を持たせることができる。また、例えば、ズーム速度に対して遅い速度でゆっくりと仮想視点を追従させることで、観察者の感じる変化を少なく抑え、視聴時の負担を軽減させることができる。

このような、ズーム動作と仮想視点位置の変更は、むしろ観察者の自然な融像を損なう結果にもなりかねないので、演出としての利用シーンや頻度は演出者が管理できることが望ましく、このような目的でも仮想視点位置を演出者（撮影者である場合もある）が確認できるように通知することは有効である。

次に、本発明の実施の形態に係る撮像制御装置の構成の一例について図７を用いて説明する。なお、構成はこれに限られるものではなく、他の構成要素を含むものでもよい。撮像制御装置７００は、光学系を制御しながら、没入ズームなどの仮想視点位置を変更させるような撮影を行い、制御の結果、設定した仮想視点位置を出力するものである。以下で撮像制御装置の構成要素について説明する。

撮像部７０１は、映像を撮影する一般的なカメラの機能を有している。本発明では、特に一般的な複数光学系を用いるカメラの機能を含むものである。撮像部７０１は、例えば図１で示す光学系１０１、１０２を有する。ズーム倍率制御部７０２は、設定されたズーム倍率を満たすための情報を光学系制御部７０３に送り、また光学系制御部７０３からの制御結果を含むフィードバック情報を利用し、制御に反映する。

光学系制御部７０３は、ズーム倍率制御部７０２、基線長制御部７０５などと連携し、撮像部７０１で撮影するための映像を導くために光学系を機械的・ソフト的に制御する。また、光学系制御部７０３は、それぞれの制御指示に基づいて行った制御結果を指示元にフィードバックする。なお、光学系制御部７０３では、光学系の自転方向の制御、カメラぶれの制御、明るさの制御など、本発明において詳しい説明を省略しているその他の制御も含まれるとする。

仮想視点位置算出部７０４は、基準とするズーム倍率とその基準倍率に対する現在の倍率、およびその他の光学系の設定値を元に、カメラの基準位置からどれくらい焦点位置（例えば、被写体の位置）に近づいたか（又は離れたか）の没入位置（没入距離）を算出する。ここで、カメラの基準位置とは、例えば、カメラの実位置（光学系の実位置でもよい）を言う。なお、基準とするズーム倍率は、観察者が１倍のズーム（拡大、縮小のない状態）を基準とする位置で観察する際に適切な視差（基線長が観察者の両眼の間隔に相当している状態）を成す設定状態を基準とすることが望ましい。端的な基準状態の設定例は、カメラの設置位置を観察者の位置とし、光学系のズーム倍率を１倍に設定し、光学系間の基線長を一般的な観察者の両眼の間隔に設定する。

ここで、没入位置は、設定したズーム倍率を映像の拡大（もしくは、縮小）ではなく、観察者が映像を拡大（もしくは、縮小）したように見える位置まで移動したと想定する場合の移動位置（移動距離）を意味する。例えば、ズームインする場合、拡大前に比べて大きく見える分だけ観察者が近づくものとした時の、想定される移動位置（すなわち、没入位置）では、その位置から観察者が撮影対象を見る場合、輻輳角は大きくなる。しかしながら、実際にはカメラは映像を拡大したのみで、カメラ自体は移動しないため、相当する輻輳角の増大量を得るため、光学系の基線長を増大させるようにする。

また、例えば、ズームアウトする場合、縮小前に比べて小さく見える分だけ観察者が遠ざかるものとした時の、想定される移動位置では、その位置から観察者が撮影対象を見る場合、輻輳角は小さくなる。しかしながら、実際にはカメラは映像を縮小したのみで、カメラ自体は移動しないため、相当する輻輳角の減少量を得るため、光学系の基線長を減少させるようにする。

したがって、カメラ自体はズームを行っているが想定する観察者視点が没入位置へ移動するため、その没入位置から見た場合、ズーム倍率はあたかも１倍のまま維持されていることに相当する。なお、カメラ自体がズーム動作の方向（順方向であれ逆方向であれ）に実際に移動を行う場合は、その移動量を勘案して基線長を変更できるよう、仮想視点位置を補正するか、もしくは、仮想視点位置を実際の位置に対応させるのに必要な情報を関連づけておくことが望ましい。

また、仮想視点位置算出部７０４は、算出した所望の没入位置に仮想視点位置を移動させるため、適切な視差（輻輳角）を得ることのできる基線長の量、その他の光学系の制御量（光学系の自転量、光量など）を算出し、それぞれの制御系に伝達する。なお、ズームによる没入位置に仮想視点位置を常に一致させるよう制御する（没入ズーム）ほか、その変化の度合いや変化量を任意の演出パターンに応じて揺らぎや誤差、その他の変動パターンで仮想視点位置を変化させるようにしてもよい。また、カメラの操作者などによる手動の仮想視点位置変化入力に応じて変化させるようにしてもよい。

基線長制御部７０５は、仮想視点位置算出部７０４により算出された基線長を実現するため、光学系間の距離を制御する。また、基線長制御部７０５は、上述したような演出、すなわち撮像部７０１によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも２つの光学系間の配置（距離）を制御してもよい。これにより、ズーム動作に特徴を持たせることができる。

仮想視点位置出力部７０６は、算出された仮想視点位置を取得し、必要に応じて光学系の制御値を取得する。すなわち、算出された没入距離の情報に基づく観察者の仮想視点位置の情報を取得し、外部へ出力する。例えば、仮想視点位置出力部７０６は、撮影対象の焦点位置とカメラ位置に対する仮想視点位置にマッピングさせた情報として、通知情報を生成し、出力する。なお、単に仮想視点位置のみを出力するだけでよい場合、すなわち、例えば、その他の情報を含めて、後述する没入位置情報生成装置で十分なマッピンングが可能であるような場合は、仮想視点位置出力部７０６はそのまま仮想視点位置を出力する。

また、仮想視点位置は、撮像部７０１によって撮像された撮影映像（撮影コンテンツ）に同期してリアルタイムに出力されるか、撮影映像に同期したタイムスタンプなどとの対応が取れるような情報を含んでいることが望ましい。すなわち、仮想視点位置の情報を出力する際、仮想視点位置の情報を、撮影映像に同期させて出力するか又は撮影映像に同期したタイムスタンプとの対応がとれる情報を含めて出力する。これにより、映像のどのシーンでの仮想視点位置であるかがリアルタイムに一致したり、収録（録画）の際の情報の同期（どのタイミングで仮想視点がどこにあるか）が容易になったりする。

また、ズームと仮想視点位置の情報を常に出力する代わりに、シーンの切り替え、ズーム動作など、画角、構図が変更になる場合にのみ追加のデータ要素として出力してもよい。すなわち、所定のタイミングで仮想視点位置の情報を出力する。これにより、映像、音声、その他のデータを伝送する必要がある場合のトラフィックを低く抑えることができる。また、カメラの位置、焦点位置（カメラ位置からの焦点距離）の情報も合わせて出力することで、特にそれぞれの位置が固定でないような場合は、全***置とのマッピング（撮影ロケーションのどこに相当するか）を把握する際に有用である。

次に、本発明の実施の形態に係る没入位置情報生成装置の構成の一例について図８を用いて説明する。なお、構成はこれに限られるものではなく、他の構成要素を含むものでもよい。没入位置情報生成装置８００は、撮像制御装置７００もしくは、何らかの通信インタフェースを介して撮像制御装置７００から出力された仮想視点位置を受信する。ここで、撮像制御装置７００から出力された仮想視点位置は、その他の情報を含む場合、撮影対象との位置関係にマッピングされている情報の場合を含む。なお、撮像制御装置７００との位置関係は、全体として同一の機材内で接続されていたり（カメラに両装置とも内蔵しているような場合）、撮像制御装置７００の存在する機材から、任意の伝送装置などを介して伝送され、それを受信した機材内に仮想視点位置取得部８０１が存在していたり（放送局の編集機材にカメラからの情報を受信する装置を介して接続されるような場合）することが考えられる。

また、没入位置情報生成装置８００は、必要に応じて、撮影コンテンツや仮想視点位置などを表示する仮想視点位置表示装置を参照している観察者にとって理解が容易になるような表示方法に変更する。例えば、撮影者が観察者であれば、ズーム倍率との対比情報を表示する。また、例えば、映像の演出、監督者が観察者であれば、仮想視点の変化の様子や演出上の変化パターンの情報を表示する。また、例えば、視聴者が観察者であれば、全***置における仮想視点位置のマッピッング情報を表示する。以下で没入位情報生成装置８００の構成要素について説明する。

仮想視点位置取得部８０１は、撮像制御装置７００から仮想視点の位置に関する情報を受け取る。受け取る情報要素の構成によって、多くの場合、観察者に対して直感的に理解できる（理解しやすい）情報に変換する必要があるため、受け取った情報が没入位置情報通知部８０３に送られる。

光学系制御値取得部８０２は、撮像制御装置７００から仮想視点の位置に関する追加の情報を受け取る。受け取る情報要素の構成によって、多くの場合、仮想視点の位置に関する情報は、観察者に対して直感的に理解できる（理解しやすい）情報に変換する必要があるため、追加の情報が没入位置情報通知部８０３に送られる。ここで、追加に取得される情報の例としては、撮影映像のタイムスタンプなどとの対応が取れるような情報（一連の光学系制御の流れとそれに対応するタイムスタンプなど）が考えられる。また、シーンの切り替え、ズーム動作など、画角、構図が変更になったことを示す情報を取得してもよい。また、撮影エリアにおけるカメラの位置、焦点位置（カメラ位置からの焦点距離）の情報も合わせて取得してもよい。

なお、仮想視点の位置に関する情報として、一括して仮想視点位置取得部８０１で必要な情報が取得できるような場合には、仮想視点位置取得部８０１が光学系制御値取得部８０２を兼ねているということができる。

没入位置情報通知部８０３は、仮想視点位置取得部８０１と光学系制御値取得部８０２からの情報を受け、観察者に対して没入位置に関する情報を通知する。この際、例えば、図５に示すような、没入位置に関する情報を撮影映像に付加した映像を生成するものであってもよい。すなわち、没入位置情報通知部８０３は、仮想視点位置を認識できる他の情報を加えて映像情報を生成する。なお、この情報は、仮想視点の位置に基づく位置情報の他、どのような視点であるのかを簡易に通知することのできる情報（例えば、「いまは〜〜の視点です」と表記するものなど）であったり、撮影エリアの地図や模式図上に没入位置を示す記号を配したマッピング情報であったり、単に没入位置がそれまでの状態から変わったことを示す記号や音声によるアラーム情報であったり、２次的に仲介者（映像の編集者、アナウンサーなど）がコメント（アナウンス）することができるような通知情報であったりなど、状況に応じた形態が取られることが望ましい。

没入位置情報通知部８０３は、仮想視点位置取得部８０１と光学系制御値取得部８０２からの情報を組み合わせることで、より観察者に分かりやすい情報に変化させることができる。例えば、撮影映像のタイムスタンプなどとの対応がとれるような情報により、映像のどのシーンでの仮想視点位置であるかが、リアルタイムに一致したり、収録（録画）の際の情報の同期（どのタイミングで仮想視点がどこにあるか）が容易になったりする。すなわち、没入位置情報通知部８０３は、撮影映像のタイムスタンプと対応がとれる情報に基づいて、仮想視点位置の情報を撮影映像に付加する。

また、例えば、画角、構図が変更になったことを示す情報により、映像、音声、その他のデータを伝送する必要がある場合のトラフィックを低く抑えながら、仮想視点の切り替えタイミングを知らせることができる。また、例えば、カメラの実際のズーム倍率の情報により、ズーム倍率と並行して仮想視点位置を表示することで、観察者（この場合はカメラ操作者や演出者など）に撮影の状態を知らせることができるようになる。特に、カメラのズーム倍率に対して、没入ズームを常に追従させるのではなく、演出等の目的で異なった制御を行うような場合に有用な情報の通知形態となる。

また、撮影エリアにおけるカメラの位置、焦点位置、などの情報により、特にそれぞれの位置が固定でないような場合は、全***置とのマッピング（撮影ロケーションのどこに相当するか）を示すことが容易になる。例えば、仮想視点位置はカメラのズームに応じて、カメラと被写体の中点位置に設定されたとする（つまり、カメラと被写体が動かないとするとおよそ倍のズームを行ったような状態）。しかしながら、その時の焦点距離が変更になっているとすると（被写体移動、カメラ移動など様々な要因が考えられる）、被写体の位置や、カメラの位置の情報を合わせて考慮しないと、正確な撮影エリア内での位置が特定できなくなってしまう。したがって、このような場合は、カメラの位置と焦点距離から、その中点の位置を特定するなどして、仮想視点位置の撮影エリアへのマッピングを行う。

マッピングに必要な制御値情報（位置情報も含む）は撮影エリアによって様々であり、例えば、エリアの空間的状況を含めて通知する必要がある場合には、カメラの上下への仰角も必要な情報の一つとなる場合がある。観察者にとって理解がしやすい情報が構成できると、この情報を観察者に対して出力する。通知の方法、通知先は、観察者によってそれぞれ異なる。

没入位置情報通知部８０３は、例えば、観察者が生中継の視聴者である場合は、放送波に乗せてテレビ受像機などを介して通知する。また、例えば、観察者が録画素材の視聴者である場合は、録画素材（映像そのものを含む）や、記録媒体に追加の情報として記録することで再生時に通知する。また、例えば、観察者が、編集者、演出者、監督など中継局、放送局において、映像コンテンツの編集や制御を行う者の場合は、スイッチャや編集機材などの装置のモニタなどを介して通知する。また、例えば、観察者がカメラマンなどの、直接的にカメラを操作している者の場合は、カメラのビューファインダや情報表示部分で通知する。

次に、本発明の実施の形態に係る撮像制御装置における処理フローの一例について図９を用いて説明する。図９に示すように、仮想視点位置算出部７０４は、所定の基準ズーム倍率（例えば、１倍）と、所定の基準ズーム倍率に対する所望のズーム倍率と、撮像制御装置（撮像部７０１でもあってもよい）から被写体までの距離とに基づいて、所望のズーム倍率を実現するために撮像制御装置が配されるべき仮想的な位置から撮像制御装置の現実の位置までの距離である没入距離（例えば、９０ｍ）を算出する（ステップＳ９０１）。仮想視点位置算出部７０４は、算出された没入距離に基づいて、仮想的な位置に撮像制御装置が配されていて所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、複数の光学系が現実の位置を結ぶ延長線上に配される場合の複数の光学系の間隔（設定すべき基線長の長さ）を算出する（ステップＳ９０２）。基線長制御部７０５は、所定の基線長（例えば、デフォルト値）を算出された間隔（設定すべき基線長の長さ）に変更して複数の光学系を配置する（ステップＳ９０３）。撮像部７０１は、基線長制御部７０５によって複数の光学系が配置された状態で被写体を撮像する（ステップＳ９０４）。なお、演出の一環で、基線長制御部７０５は、撮像部７０１によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも２つの光学系の配置を制御することも可能である。

次に、本発明の実施の形態に係る没入位置情報生成装置における処理フローの一例について図１０を用いて説明する。図１０に示すように、仮想視点位置取得部８０１は、撮像制御装置から、観察者の仮想視点位置の情報を受信する（ステップＳ１００１）。没入位置情報通知部８０３は、受信された仮想視点位置の情報を、撮像制御装置から受信した撮影映像に付加した映像情報を生成する（ステップＳ１００２）。このとき、没入位置情報通知部８０３は、仮想視点位置を認識できる他の情報（上述した記号、コメントなど）を加えて映像情報を生成してもよく、撮影映像のタイムスタンプと対応がとれる情報に基づいて、仮想視点位置の情報を撮影映像に付加してもよい。

これまで示したとおり、本発明によると、カメラのズームに合わせて（もしくは何らかの表現意図を加えて）没入ズームを行い、その状態を観察者に伝えることができるが、これらは主に、中長距離から映像を撮影する場合（特にスポーツなど）や、構図において近像に障害物やその他の被写体を含まないような場合に有効となる。なお、構図において近像に障害物やその他の被写体を含まないような場合とは、近中距離の撮影であっても構図をあらかじめ焦点位置の被写体のみを捉えることができるように設定できる場合などを言う。

その一方で、異なる条件の場合、特に、近・中距離の撮影であって、構図において近像に障害物やその他の被写体を含んでしまったり、構図をあらかじめ確定できなかったりする場合には、手前にある被写体（意図しない障害物を含む）の視差が必要以上に強調されるなど、観察者にとって融像を妨げる結果になってしまう場合がある。このような場合には本発明の没入ズームを行う状態から、従来の（もしくは他の）ズーム制御を行う状態に切り替えることができるようになっていることが望ましい。

例えば、カメラの操作者が没入ズームのモードとその他のズームのモードをそれぞれ切り替えて撮影できるような設定メニューやスイッチを設けるとよい。もしくは、没入ズームを行う際にも並行して通常の撮影も行えるように基線長の変更の目的では別の光学系を使用し、没入ズームの撮影と同時に、基線長を変更しない（もしくは別の制御を行う）映像も撮影する。すなわち、基線長制御部７０５は、算出された基線長（間隔）に基づいて、複数の光学系（少なくとも２つの光学系）とは別の光学系間の基線長を調整し、別の光学系を備える撮像手段に被写体を撮像させ、撮像部７０１は、複数の光学系が所定の基線長で配置された状態で被写体を撮像する。最終的には、編集者や演出者が、撮影の構図などを元にいずれの映像を使用するか（放送するか）を選択できるようにすることが望ましい。

なお、上記説明したものは本発明の実施の形態の一例であり、これに限られるものではない。例えば、基線長を大きくする以外の方法で仮想視点を移動させるような制御を行ってもよい。また、例えば、基線長の長いところに第３の視点（第３の光学系）を備えるようにしてもよい。すなわち、２つの光学系とは別の光学系を備えるようにしてもよい。具体的には、算出された基線長（間隔）を複数の光学系（少なくとも２つの光学系）で確保することができない場合、撮像部７０１が、複数の光学系とは別の光学系を用いて基線長（間隔）を確保した状態で被写体を撮像する。これにより、２つの光学系では対応できない長い基線長であっても第３の光学系（別の光学系）を用いることで本発明の目的を達成することができる。また、例えば、演出動作のプリセットプログラムと発動コマンド、ボタンを備えるようにしてもよい。これにより、様々な演出を誰でも容易に行うことができる。また、例えば、提供される映像コンテンツは、生中継されるものであっても、あらかじめ収録されたものであってもよい。

なお、上記の本発明の実施の形態の説明で用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応などが可能性としてあり得る。

本発明に係る撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法は、没入感のある拡大ズームを実現することができるため、ユーザに融像させる映像を撮像する撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法などに有用である。

Claims (17)

1. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置であって、
   所定の基線長の間隔で配置された少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段と、
   前記基線長間隔で配された前記少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出手段と、
   前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御手段と、
   算出された前記没入距離の情報に基づく前記ユーザの仮想視点位置の情報を取得し、外部へ出力する出力手段とを備え、
   前記撮像手段は、前記制御手段によって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像制御装置。
2. 前記出力手段は、前記仮想視点位置の情報を出力する際、前記仮想視点位置の情報を、撮影映像に同期させて出力するか又は前記撮影映像に同期したタイムスタンプとの対応がとれる情報を含めて出力する請求項１に記載の撮像制御装置。
3. 前記出力手段は、所定のタイミングで前記仮想視点位置の情報を出力する請求項１又は２に記載の撮像制御装置。
4. 前記少なくとも２つの光学系自体を回転制御できる場合、
   前記算出手段は、前記間隔を算出する際、前記少なくとも２つの光学系を回転させることで輻輳角を大きくできる場合、前記少なくとも２つの光学系の回転による前記輻輳角を考慮して前記間隔を算出する請求項１から３のいずれか１つに記載の撮像制御装置。
5. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置であって、
   所定の基線長の間隔で配置された少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段と、
   前記基線長間隔で配された前記少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出手段と、
   前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御手段とを備え、
   前記撮像手段は、前記制御手段によって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像し、
   算出された前記間隔を前記少なくとも２つの光学系で確保することができない場合、
   前記撮像手段は、前記少なくとも２つの光学系とは別の光学系を用いて前記間隔を確保した状態で前記被写体を撮像する撮像制御装置。
6. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置であって、
   所定の基線長の間隔で配置された少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段と、
   前記基線長間隔で配された前記少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出手段と、
   前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御手段とを備え、
   前記撮像手段は、前記制御手段によって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像し、
   前記制御手段は、算出された前記間隔に基づいて、前記少なくとも２つの光学系とは別の光学系間の基線長を調整し、前記別の光学系を備える撮像手段に前記被写体を撮像させ、
   前記撮像手段は、前記少なくとも２つの光学系が前記所定の基線長の間隔で配置された状態で前記被写体を撮像する撮像制御装置。
7. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置であって、
   所定の基線長の間隔で配置された少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段と、
   前記基線長間隔で配された前記少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出手段と、
   前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御手段とを備え、
   前記撮像手段は、前記制御手段によって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像し、
   前記制御手段は、前記撮像手段によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう前記少なくとも２つの光学系の配置を制御する撮像制御装置。
8. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御装置からの情報に基づいて、前記被写体を立体として認識させるための情報を生成する没入位置情報生成装置であって、
   前記撮像制御装置から、前記ユーザの仮想視点位置の情報を受信する受信手段と、
   受信された前記仮想視点位置の情報を、前記撮像制御装置からの撮影映像に付加した映像情報を生成する生成手段とを、
   備える没入位置情報生成装置。
9. 前記生成手段は、前記仮想視点位置を認識できる他の情報を加えて前記映像情報を生成する請求項８に記載の没入位置情報生成装置。
10. 前記生成手段は、前記撮影映像のタイムスタンプと対応がとれる情報に基づいて、前記仮想視点位置の情報を前記撮影映像に付加する請求項８又は９に記載の没入位置情報生成装置。
11. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御方法であって、
    所定の基線長の間隔で配置された少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出ステップと、
    前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御ステップと、
    算出された前記没入距離の情報に基づく前記ユーザの仮想視点位置の情報を取得し、外部へ出力する出力ステップと、
    前記制御ステップによって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像ステップとを、
    有する撮像制御方法。
12. 前記出力ステップにおいて、前記仮想視点位置の情報を出力する際、前記仮想視点位置の情報を、撮影映像に同期させて出力するか又は前記撮影映像に同期したタイムスタンプとの対応がとれる情報を含めて出力する請求項１１に記載の撮像制御方法。
13. 前記出力ステップにおいて、所定のタイミングで前記仮想視点位置の情報を出力する請求項１１又は１２に記載の撮像制御方法。
14. 前記少なくとも２つの光学系が自ら回転できる場合、
    前記算出ステップにおいて、前記間隔を算出する際、前記少なくとも２つの光学系を回転させることで輻輳角を大きくできる場合、前記少なくとも２つの光学系の回転による前記輻輳角を考慮して前記間隔を算出する請求項１１から１３のいずれか１つに記載の撮像制御方法。
15. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御方法であって、
    所定の基線長の間隔で配置された少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出ステップと、
    前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御ステップと、
    前記制御ステップによって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像ステップとを、
    有し、
    算出された前記間隔を前記少なくとも２つの光学系で確保することができない場合、
    前記撮像ステップにおいて、前記少なくとも２つの光学系とは別の光学系を用いて前記間隔を確保した状態で前記被写体を撮像する撮像制御方法。
16. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御方法であって、
    所定の基線長の間隔で配置された少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出ステップと、
    前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御ステップと、
    前記制御ステップによって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像ステップとを、
    有し、
    前記制御ステップにおいて、算出された前記間隔に基づいて、前記少なくとも２つの光学系とは別の光学系間の基線長を調整し、前記別の光学系を備える撮像手段に前記被写体を撮像させ、
    前記撮像ステップにおいて、前記少なくとも２つの光学系が前記所定の基線長の間隔で配置された状態で前記被写体を撮像する撮像制御方法。
17. 撮像地点から所定の距離以上離れた被写体を立体としてユーザに認識させるために用いられる少なくとも２つの画像を撮像する撮像制御方法であって、
    所定の基線長の間隔で配置された少なくとも２つの光学系のズーム倍率を基準ズーム倍率とするとき、前記基準ズーム倍率と、前記所定の基準ズーム倍率に対する所望のズーム倍率と、前記少なくとも２つの光学系を備え、前記被写体を撮像する撮像手段から前記被写体までの距離とに基づいて、前記所望のズーム倍率を実現するために前記撮像手段が配されるべき仮想的な位置から前記撮像手段の現実の位置までの距離である没入距離を算出し、算出された前記没入距離に基づいて、前記仮想的な位置に前記撮像手段が配されていて前記所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、前記少なくとも２つの光学系の実際の位置同士を結ぶ線の延長線上に前記少なくとも２つの光学系が配される場合の前記少なくとも２つの光学系の間隔を算出する算出ステップと、
    前記所定の基線長を算出された前記間隔に変更して前記少なくとも２つの光学系を配置する制御ステップと、
    前記制御ステップによって前記少なくとも２つの光学系が配置された状態で前記被写体を撮像する撮像ステップとを、
    有し、
    前記撮像手段によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう前記少なくとも２つの光学系の配置を制御するステップを更に有する撮像制御方法。

Images