本発明の実施の形態について図1から図10を用いて説明する。なお、説明を簡単にするため、ズーム動作が開始する時点での撮影倍率と視点設定を基準とする。例えば、倍率1倍、光学系の設置位置が観察者視点で、基線長が一般的な視聴者の両眼間距離に設定されている。ここで「基線長」とは、光学系の間隔(例えばデフォルト値)であって、一般的な人間の目と同じくらい離れているとその状態で撮影したものが観察者で立体視できるようになる間隔をいう。また、被写体を画面の中央付近に捉える構図で、光学系の焦点位置を被写体の位置に設定しているとする。
図1では2つの光学系101、102が示されており、2つの光学系101、102の間の距離を基線長とする。この光学系101、102は後述する撮像部701の一部となり得るものである。図1には、光学系101、102の位置から光学系101、102それぞれが撮影した被写体の像103、104が示されている。ここで、光学系101、102の位置とは、ズーム前の構図での視差から定まる仮想視点を言う。また、ズーム前の構図での視差とは、右目用の映像と左目用の映像の見え方の差を言う。また、仮想視点とは、ズーム倍率を変化させたとき、基準となる倍率に対して、視点が移動した結果、観察者が感じる大きさになると想定される視点、視点の位置を言う。撮像制御装置では、この光学系101、102の位置(視点)を基準として、画面拡大のズーム倍率に合わせて、相当する位置まで観察者の視点(仮想視点)を移動させた際に生じる輻輳角を確保(没入ズーム)するよう制御する。ここで、輻輳角とは、2つの光学系101、102が焦点位置に対して成す角度を言う。
具体的には、図1の一点鎖線に示すように、それぞれの光学系101、102の基線長が大きくなるように制御することで、焦点位置に対して成す輻輳角を、拡大ズームの倍率に仮想視点の位置が対応するようにした場合に成す(大きくなる)輻輳角に一致するようにさせる。そのようにさせた場合の像105、106が図1に示されている。このとき、焦点位置を一定とし、被写体を捉える構図を変化させないようにする場合、もしくは、任意の構図に変化させる場合、それに応じた光学系の向きが変化することも考慮できていることが望ましい。ここでの光学系の向きとは、光学系の鉛直方向を軸とした自転角度を言う。
また、これは別の観点の制御方法で表現すると、基線長を大きくするための変更量は、それぞれの光学系101、102の自転方向の制御で成す輻輳角で対応できる、すなわち光学系101、102を自転させることで輻輳角を大きくできるのであれば、光学系101、102の自転方向の制御のみ(もしくは基線長の制御との組み合わせ)で行うことができる。すなわち、複数の光学系(少なくとも2つの光学系)が自ら回転できる場合、後述する仮想視点位置算出部704は、基線長の長さ(間隔)を算出する際、複数の光学系を回転させることで輻輳角を大きくできる場合、複数の光学系の回転による輻輳角を考慮して基線長の長さ(間隔)を算出する。
没入ズーム前後での構図の変化は撮影シーンによって様々であるので、焦点位置までの距離、ズーム前後の仮想視点の位置、画面中の主たる被写体の位置(画面の中心位置からのズレ)によって、大きくするべき基線長と光学系の自転角度が異なる場合があるが、結果として、ズーム後に観察者の視点が移動する仮想視点の位置に応じて輻輳角が大きくなるよう制御されるという点で上述の制御方法は同様の効果をもたらす。ここで、没入ズーム前後での構図の変化には、構図としては、画面の中心で捉えるという意味で変更がないことも含む。
また、別の方法として、撮影時の演出によっては、ズーム動作中の変更を無視できたり(別視点カメラに切り替えるなどでカット可能であるような場合)、固定的な複数の仮想視点位置間を切り替えたりできる場合は、別の光学系からの映像で基線長を確保してもよい。なお、別の光学系には、カメラユニットとして分離されているような構成も含む。
特に、カメラユニットとして分離されているような場合は、それぞれの光学系の水平位置は一致していることが望ましい。少なくとも最終的に融像する映像は、構図、焦点位置が一致していなければ観察者の自然な融像を困難にしてしまうためである。
以上のような制御の結果、ズーム時に基線長が大きくなるように光学系間の距離を大きくするように撮影することで、近づいた場合と同様の視差映像を得ることができ、没入感のあるズームが可能となる。なお、上述の説明は、ズーム(拡大方向、ズームイン)時の動作について示しているが、縮小方向のズーム(ズームアウト、ズームバック)時には逆の動作を行うことになる。
次に、撮像制御装置によって算出された仮想視点位置(ズームにより近づいたと見なせる位置)の通知について説明する。なお、仮想視点位置の算出など撮像制御装置における具体的な処理については後述する。この仮想視点位置は、焦点位置(ズーム対象の被写体までの距離)とカメラ位置(実視点)に対するズーム倍率から求められる視点の位置である。
実際は、このように単純ではない場合もあり、光学系の自転角度などから輻輳角が変わった分を勘案するなども行うことで、より正確な仮想視点位置を求めることができるようにしてもよい。具体的に、仮想視点位置を通知する様子の一例を図2に示す。図2に示すように、仮想視点位置の情報は、カメラ201(撮像制御装置を含む)から中継局(放送局なども含む)202などに送信され、中継局202などは、視聴者のテレビ受像機203などへ撮影コンテンツとともに仮想視点位置の情報を送信する。なお、仮想視点位置の情報が伝達される流れはこれに限られるものではない。
仮想視点位置が通知されることにより、全撮影領域における観察者の位置をディスプレイなどに表示することに利用できる。例えば、図3に示すように、野球場における撮影コンテンツを提供する場合に、投手(ピッチャー)の位置301からの打者(バッター)の見え方を撮影する際に、仮想視点位置が野球場内のどこになるか(観察者がどこに居ると想定されているか)をディスプレイなどに表示することができる。なお、カメラ位置302は、実際には野球場の後方にある。
その他にも、図4に示すように、競技場内401にカメラが入れない場合にズームにより仮想的に選手の近距離から撮影しているようにする際に、仮想視点位置402をディスプレイなどに表示することができる。なお、カメラ位置403は、実際には競技場内401の外にある。この他にも、審判のいる位置からの選手の見え方を撮影する際やゴール位置からのシュートの見え方を撮影する際に、仮想視点位置をディスプレイなどに表示することができる。このように、観察者(視聴者)に自然な臨場感を伝える手段として、観察者(視聴者)に自分の位置を把握させることで、3D視点酔い(融像の際の不快感など)を軽減させることができる。
また、カメラの設定状態(ズーム倍率など)から求めた仮想視点位置と、映像から得られる没入感の評価値の誤差分を導き、仮想視点位置の情報を修正したり、カメラの設定状態を変更したりするようにしてもよい。ここで、映像から得られる没入感の評価値とは、観察者が感じる没入位置を言う。また、観察者が感じる没入位置とは、観察者が実際のカメラ位置(もしくは基準となる位置)から移動するとした場合、光学系の制御を行った結果、観察者が居ると想定される位置を言う。人間が感じる違和感、錯覚は必ずしもカメラの設定状態のみで求められる情報で解消できる訳ではないので、実際に撮影された視差映像を評価し、その誤差分を補正するものである。
ここで、より具体的に仮想視点位置の通知について説明する。ここでは、映像コンテンツの一例として野球中継を用いて説明する。野球中継において、投手の視点からの打者の見え方を考える。実際のカメラの位置はセンターバックネット裏であり、その位置から打者を撮影する(1倍ズーム)。カメラの位置から打者までの距離(奥行き)が、例えば120mであり、基線長が、例えば6cmとする。この状況で、投手視点までズーム(4倍ズーム)すると、仮想視点位置は焦点(打者)から30m地点(カメラから90m地点)となり、基線長は24cmとなる。
この場合、仮想視点位置は中継局などに通知される。仮想視点位置の通知により、図5に示すように、視点がマウンド近くにあることを知らせる表示(例えば、マウンドビュー表示501)がTV画面502上に表示される。また、あたかもカメラがそこに入っているように仮想視点位置を表示(カメラ表示503)させ、球場中の視点の位置(視聴者がいると想定される場所)をスーパーインポーズなどにて放送することができる。なお、どの地点からの視点かを示すのに文字テロップをTV画面502上に流すなどでもよい。また、表示するだけでなく、音声、アナウンス、データガイダンスなどで通知してもよい。
これにより、観客席から見るのとはまた違った臨場感を提供することができる。また、視聴者は自分の仮想的な位置を知る(自分がどこに移動したか、どこから見ていることに相当する映像かを知る)ことで、ズームやカメラ切り替えに伴う3D融像の困難さを生理的に補償することができる。これは、例えば、第一人称視点のゲームの操作者(自分自身は仮想3D空間内でどう操作し、どこに移動しようとしているかを把握している)の画面酔いが、観覧者(操作者が操作した結果の画面を見ている)の酔いに比較して軽度であるような場合があることから、観覧者が視聴している映像において、自身の動きや位置を理解することにより、3D映像酔いのようなものを低減させることが期待できることなどに類似している。
また、仮想視点位置を演出者(監督やカメラマンなどを含む)に通知することも考えられる。演出者に通知されることにより、ズームによる視点の移動に相当する位置とともにリアルタイムに表示することで、演出の際の参照情報として利用できるようになる。また、ズームの制御と仮想視点位置の制御が独立して変更できるようにしてもよい。独立して変更できるようにすることで、演出時の効果として使用することができる。
図6に示すように、演出者は、モニタ601に表示されたズーム率の表示バー602(現在のズームの表示603や現在の仮想視点位置の表示604を含む)を用いて様々な演出を行うことが可能となる。具体的には、カメラのズーム速度(ズーム量の変化)に対して、敢えてズレを持たせながら仮想視点を追従させることで特別な演出を可能にする。すなわち、後述する基線長制御部705や光学系制御部703は、撮像部701によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも2つの光学系の配置を制御する。例えば、ズームの開始時点では仮想視点を変更せず、少し遅れてから仮想視点を移動するよう制御し始め、加速度的に仮想視点が最終ズーム倍率に一致するように追従させることで、ズーム動作に特徴を持たせることができる。また、例えば、ズーム速度に対して遅い速度でゆっくりと仮想視点を追従させることで、観察者の感じる変化を少なく抑え、視聴時の負担を軽減させることができる。
このような、ズーム動作と仮想視点位置の変更は、むしろ観察者の自然な融像を損なう結果にもなりかねないので、演出としての利用シーンや頻度は演出者が管理できることが望ましく、このような目的でも仮想視点位置を演出者(撮影者である場合もある)が確認できるように通知することは有効である。
次に、本発明の実施の形態に係る撮像制御装置の構成の一例について図7を用いて説明する。なお、構成はこれに限られるものではなく、他の構成要素を含むものでもよい。撮像制御装置700は、光学系を制御しながら、没入ズームなどの仮想視点位置を変更させるような撮影を行い、制御の結果、設定した仮想視点位置を出力するものである。以下で撮像制御装置の構成要素について説明する。
撮像部701は、映像を撮影する一般的なカメラの機能を有している。本発明では、特に一般的な複数光学系を用いるカメラの機能を含むものである。撮像部701は、例えば図1で示す光学系101、102を有する。ズーム倍率制御部702は、設定されたズーム倍率を満たすための情報を光学系制御部703に送り、また光学系制御部703からの制御結果を含むフィードバック情報を利用し、制御に反映する。
光学系制御部703は、ズーム倍率制御部702、基線長制御部705などと連携し、撮像部701で撮影するための映像を導くために光学系を機械的・ソフト的に制御する。また、光学系制御部703は、それぞれの制御指示に基づいて行った制御結果を指示元にフィードバックする。なお、光学系制御部703では、光学系の自転方向の制御、カメラぶれの制御、明るさの制御など、本発明において詳しい説明を省略しているその他の制御も含まれるとする。
仮想視点位置算出部704は、基準とするズーム倍率とその基準倍率に対する現在の倍率、およびその他の光学系の設定値を元に、カメラの基準位置からどれくらい焦点位置(例えば、被写体の位置)に近づいたか(又は離れたか)の没入位置(没入距離)を算出する。ここで、カメラの基準位置とは、例えば、カメラの実位置(光学系の実位置でもよい)を言う。なお、基準とするズーム倍率は、観察者が1倍のズーム(拡大、縮小のない状態)を基準とする位置で観察する際に適切な視差(基線長が観察者の両眼の間隔に相当している状態)を成す設定状態を基準とすることが望ましい。端的な基準状態の設定例は、カメラの設置位置を観察者の位置とし、光学系のズーム倍率を1倍に設定し、光学系間の基線長を一般的な観察者の両眼の間隔に設定する。
ここで、没入位置は、設定したズーム倍率を映像の拡大(もしくは、縮小)ではなく、観察者が映像を拡大(もしくは、縮小)したように見える位置まで移動したと想定する場合の移動位置(移動距離)を意味する。例えば、ズームインする場合、拡大前に比べて大きく見える分だけ観察者が近づくものとした時の、想定される移動位置(すなわち、没入位置)では、その位置から観察者が撮影対象を見る場合、輻輳角は大きくなる。しかしながら、実際にはカメラは映像を拡大したのみで、カメラ自体は移動しないため、相当する輻輳角の増大量を得るため、光学系の基線長を増大させるようにする。
また、例えば、ズームアウトする場合、縮小前に比べて小さく見える分だけ観察者が遠ざかるものとした時の、想定される移動位置では、その位置から観察者が撮影対象を見る場合、輻輳角は小さくなる。しかしながら、実際にはカメラは映像を縮小したのみで、カメラ自体は移動しないため、相当する輻輳角の減少量を得るため、光学系の基線長を減少させるようにする。
したがって、カメラ自体はズームを行っているが想定する観察者視点が没入位置へ移動するため、その没入位置から見た場合、ズーム倍率はあたかも1倍のまま維持されていることに相当する。なお、カメラ自体がズーム動作の方向(順方向であれ逆方向であれ)に実際に移動を行う場合は、その移動量を勘案して基線長を変更できるよう、仮想視点位置を補正するか、もしくは、仮想視点位置を実際の位置に対応させるのに必要な情報を関連づけておくことが望ましい。
また、仮想視点位置算出部704は、算出した所望の没入位置に仮想視点位置を移動させるため、適切な視差(輻輳角)を得ることのできる基線長の量、その他の光学系の制御量(光学系の自転量、光量など)を算出し、それぞれの制御系に伝達する。なお、ズームによる没入位置に仮想視点位置を常に一致させるよう制御する(没入ズーム)ほか、その変化の度合いや変化量を任意の演出パターンに応じて揺らぎや誤差、その他の変動パターンで仮想視点位置を変化させるようにしてもよい。また、カメラの操作者などによる手動の仮想視点位置変化入力に応じて変化させるようにしてもよい。
基線長制御部705は、仮想視点位置算出部704により算出された基線長を実現するため、光学系間の距離を制御する。また、基線長制御部705は、上述したような演出、すなわち撮像部701によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも2つの光学系間の配置(距離)を制御してもよい。これにより、ズーム動作に特徴を持たせることができる。
仮想視点位置出力部706は、算出された仮想視点位置を取得し、必要に応じて光学系の制御値を取得する。すなわち、算出された没入距離の情報に基づく観察者の仮想視点位置の情報を取得し、外部へ出力する。例えば、仮想視点位置出力部706は、撮影対象の焦点位置とカメラ位置に対する仮想視点位置にマッピングさせた情報として、通知情報を生成し、出力する。なお、単に仮想視点位置のみを出力するだけでよい場合、すなわち、例えば、その他の情報を含めて、後述する没入位置情報生成装置で十分なマッピンングが可能であるような場合は、仮想視点位置出力部706はそのまま仮想視点位置を出力する。
また、仮想視点位置は、撮像部701によって撮像された撮影映像(撮影コンテンツ)に同期してリアルタイムに出力されるか、撮影映像に同期したタイムスタンプなどとの対応が取れるような情報を含んでいることが望ましい。すなわち、仮想視点位置の情報を出力する際、仮想視点位置の情報を、撮影映像に同期させて出力するか又は撮影映像に同期したタイムスタンプとの対応がとれる情報を含めて出力する。これにより、映像のどのシーンでの仮想視点位置であるかがリアルタイムに一致したり、収録(録画)の際の情報の同期(どのタイミングで仮想視点がどこにあるか)が容易になったりする。
また、ズームと仮想視点位置の情報を常に出力する代わりに、シーンの切り替え、ズーム動作など、画角、構図が変更になる場合にのみ追加のデータ要素として出力してもよい。すなわち、所定のタイミングで仮想視点位置の情報を出力する。これにより、映像、音声、その他のデータを伝送する必要がある場合のトラフィックを低く抑えることができる。また、カメラの位置、焦点位置(カメラ位置からの焦点距離)の情報も合わせて出力することで、特にそれぞれの位置が固定でないような場合は、全***置とのマッピング(撮影ロケーションのどこに相当するか)を把握する際に有用である。
次に、本発明の実施の形態に係る没入位置情報生成装置の構成の一例について図8を用いて説明する。なお、構成はこれに限られるものではなく、他の構成要素を含むものでもよい。没入位置情報生成装置800は、撮像制御装置700もしくは、何らかの通信インタフェースを介して撮像制御装置700から出力された仮想視点位置を受信する。ここで、撮像制御装置700から出力された仮想視点位置は、その他の情報を含む場合、撮影対象との位置関係にマッピングされている情報の場合を含む。なお、撮像制御装置700との位置関係は、全体として同一の機材内で接続されていたり(カメラに両装置とも内蔵しているような場合)、撮像制御装置700の存在する機材から、任意の伝送装置などを介して伝送され、それを受信した機材内に仮想視点位置取得部801が存在していたり(放送局の編集機材にカメラからの情報を受信する装置を介して接続されるような場合)することが考えられる。
また、没入位置情報生成装置800は、必要に応じて、撮影コンテンツや仮想視点位置などを表示する仮想視点位置表示装置を参照している観察者にとって理解が容易になるような表示方法に変更する。例えば、撮影者が観察者であれば、ズーム倍率との対比情報を表示する。また、例えば、映像の演出、監督者が観察者であれば、仮想視点の変化の様子や演出上の変化パターンの情報を表示する。また、例えば、視聴者が観察者であれば、全***置における仮想視点位置のマッピッング情報を表示する。以下で没入位情報生成装置800の構成要素について説明する。
仮想視点位置取得部801は、撮像制御装置700から仮想視点の位置に関する情報を受け取る。受け取る情報要素の構成によって、多くの場合、観察者に対して直感的に理解できる(理解しやすい)情報に変換する必要があるため、受け取った情報が没入位置情報通知部803に送られる。
光学系制御値取得部802は、撮像制御装置700から仮想視点の位置に関する追加の情報を受け取る。受け取る情報要素の構成によって、多くの場合、仮想視点の位置に関する情報は、観察者に対して直感的に理解できる(理解しやすい)情報に変換する必要があるため、追加の情報が没入位置情報通知部803に送られる。ここで、追加に取得される情報の例としては、撮影映像のタイムスタンプなどとの対応が取れるような情報(一連の光学系制御の流れとそれに対応するタイムスタンプなど)が考えられる。また、シーンの切り替え、ズーム動作など、画角、構図が変更になったことを示す情報を取得してもよい。また、撮影エリアにおけるカメラの位置、焦点位置(カメラ位置からの焦点距離)の情報も合わせて取得してもよい。
なお、仮想視点の位置に関する情報として、一括して仮想視点位置取得部801で必要な情報が取得できるような場合には、仮想視点位置取得部801が光学系制御値取得部802を兼ねているということができる。
没入位置情報通知部803は、仮想視点位置取得部801と光学系制御値取得部802からの情報を受け、観察者に対して没入位置に関する情報を通知する。この際、例えば、図5に示すような、没入位置に関する情報を撮影映像に付加した映像を生成するものであってもよい。すなわち、没入位置情報通知部803は、仮想視点位置を認識できる他の情報を加えて映像情報を生成する。なお、この情報は、仮想視点の位置に基づく位置情報の他、どのような視点であるのかを簡易に通知することのできる情報(例えば、「いまは〜〜の視点です」と表記するものなど)であったり、撮影エリアの地図や模式図上に没入位置を示す記号を配したマッピング情報であったり、単に没入位置がそれまでの状態から変わったことを示す記号や音声によるアラーム情報であったり、2次的に仲介者(映像の編集者、アナウンサーなど)がコメント(アナウンス)することができるような通知情報であったりなど、状況に応じた形態が取られることが望ましい。
没入位置情報通知部803は、仮想視点位置取得部801と光学系制御値取得部802からの情報を組み合わせることで、より観察者に分かりやすい情報に変化させることができる。例えば、撮影映像のタイムスタンプなどとの対応がとれるような情報により、映像のどのシーンでの仮想視点位置であるかが、リアルタイムに一致したり、収録(録画)の際の情報の同期(どのタイミングで仮想視点がどこにあるか)が容易になったりする。すなわち、没入位置情報通知部803は、撮影映像のタイムスタンプと対応がとれる情報に基づいて、仮想視点位置の情報を撮影映像に付加する。
また、例えば、画角、構図が変更になったことを示す情報により、映像、音声、その他のデータを伝送する必要がある場合のトラフィックを低く抑えながら、仮想視点の切り替えタイミングを知らせることができる。また、例えば、カメラの実際のズーム倍率の情報により、ズーム倍率と並行して仮想視点位置を表示することで、観察者(この場合はカメラ操作者や演出者など)に撮影の状態を知らせることができるようになる。特に、カメラのズーム倍率に対して、没入ズームを常に追従させるのではなく、演出等の目的で異なった制御を行うような場合に有用な情報の通知形態となる。
また、撮影エリアにおけるカメラの位置、焦点位置、などの情報により、特にそれぞれの位置が固定でないような場合は、全***置とのマッピング(撮影ロケーションのどこに相当するか)を示すことが容易になる。例えば、仮想視点位置はカメラのズームに応じて、カメラと被写体の中点位置に設定されたとする(つまり、カメラと被写体が動かないとするとおよそ倍のズームを行ったような状態)。しかしながら、その時の焦点距離が変更になっているとすると(被写体移動、カメラ移動など様々な要因が考えられる)、被写体の位置や、カメラの位置の情報を合わせて考慮しないと、正確な撮影エリア内での位置が特定できなくなってしまう。したがって、このような場合は、カメラの位置と焦点距離から、その中点の位置を特定するなどして、仮想視点位置の撮影エリアへのマッピングを行う。
マッピングに必要な制御値情報(位置情報も含む)は撮影エリアによって様々であり、例えば、エリアの空間的状況を含めて通知する必要がある場合には、カメラの上下への仰角も必要な情報の一つとなる場合がある。観察者にとって理解がしやすい情報が構成できると、この情報を観察者に対して出力する。通知の方法、通知先は、観察者によってそれぞれ異なる。
没入位置情報通知部803は、例えば、観察者が生中継の視聴者である場合は、放送波に乗せてテレビ受像機などを介して通知する。また、例えば、観察者が録画素材の視聴者である場合は、録画素材(映像そのものを含む)や、記録媒体に追加の情報として記録することで再生時に通知する。また、例えば、観察者が、編集者、演出者、監督など中継局、放送局において、映像コンテンツの編集や制御を行う者の場合は、スイッチャや編集機材などの装置のモニタなどを介して通知する。また、例えば、観察者がカメラマンなどの、直接的にカメラを操作している者の場合は、カメラのビューファインダや情報表示部分で通知する。
次に、本発明の実施の形態に係る撮像制御装置における処理フローの一例について図9を用いて説明する。図9に示すように、仮想視点位置算出部704は、所定の基準ズーム倍率(例えば、1倍)と、所定の基準ズーム倍率に対する所望のズーム倍率と、撮像制御装置(撮像部701でもあってもよい)から被写体までの距離とに基づいて、所望のズーム倍率を実現するために撮像制御装置が配されるべき仮想的な位置から撮像制御装置の現実の位置までの距離である没入距離(例えば、90m)を算出する(ステップS901)。仮想視点位置算出部704は、算出された没入距離に基づいて、仮想的な位置に撮像制御装置が配されていて所望のズーム倍率を実現する場合と同様の所望のズーム倍率を実現するために、複数の光学系が現実の位置を結ぶ延長線上に配される場合の複数の光学系の間隔(設定すべき基線長の長さ)を算出する(ステップS902)。基線長制御部705は、所定の基線長(例えば、デフォルト値)を算出された間隔(設定すべき基線長の長さ)に変更して複数の光学系を配置する(ステップS903)。撮像部701は、基線長制御部705によって複数の光学系が配置された状態で被写体を撮像する(ステップS904)。なお、演出の一環で、基線長制御部705は、撮像部701によって撮影される撮影映像のズームの変化に対して仮想視点を遅れて追従させるよう少なくとも2つの光学系の配置を制御することも可能である。
次に、本発明の実施の形態に係る没入位置情報生成装置における処理フローの一例について図10を用いて説明する。図10に示すように、仮想視点位置取得部801は、撮像制御装置から、観察者の仮想視点位置の情報を受信する(ステップS1001)。没入位置情報通知部803は、受信された仮想視点位置の情報を、撮像制御装置から受信した撮影映像に付加した映像情報を生成する(ステップS1002)。このとき、没入位置情報通知部803は、仮想視点位置を認識できる他の情報(上述した記号、コメントなど)を加えて映像情報を生成してもよく、撮影映像のタイムスタンプと対応がとれる情報に基づいて、仮想視点位置の情報を撮影映像に付加してもよい。
これまで示したとおり、本発明によると、カメラのズームに合わせて(もしくは何らかの表現意図を加えて)没入ズームを行い、その状態を観察者に伝えることができるが、これらは主に、中長距離から映像を撮影する場合(特にスポーツなど)や、構図において近像に障害物やその他の被写体を含まないような場合に有効となる。なお、構図において近像に障害物やその他の被写体を含まないような場合とは、近中距離の撮影であっても構図をあらかじめ焦点位置の被写体のみを捉えることができるように設定できる場合などを言う。
その一方で、異なる条件の場合、特に、近・中距離の撮影であって、構図において近像に障害物やその他の被写体を含んでしまったり、構図をあらかじめ確定できなかったりする場合には、手前にある被写体(意図しない障害物を含む)の視差が必要以上に強調されるなど、観察者にとって融像を妨げる結果になってしまう場合がある。このような場合には本発明の没入ズームを行う状態から、従来の(もしくは他の)ズーム制御を行う状態に切り替えることができるようになっていることが望ましい。
例えば、カメラの操作者が没入ズームのモードとその他のズームのモードをそれぞれ切り替えて撮影できるような設定メニューやスイッチを設けるとよい。もしくは、没入ズームを行う際にも並行して通常の撮影も行えるように基線長の変更の目的では別の光学系を使用し、没入ズームの撮影と同時に、基線長を変更しない(もしくは別の制御を行う)映像も撮影する。すなわち、基線長制御部705は、算出された基線長(間隔)に基づいて、複数の光学系(少なくとも2つの光学系)とは別の光学系間の基線長を調整し、別の光学系を備える撮像手段に被写体を撮像させ、撮像部701は、複数の光学系が所定の基線長で配置された状態で被写体を撮像する。最終的には、編集者や演出者が、撮影の構図などを元にいずれの映像を使用するか(放送するか)を選択できるようにすることが望ましい。
なお、上記説明したものは本発明の実施の形態の一例であり、これに限られるものではない。例えば、基線長を大きくする以外の方法で仮想視点を移動させるような制御を行ってもよい。また、例えば、基線長の長いところに第3の視点(第3の光学系)を備えるようにしてもよい。すなわち、2つの光学系とは別の光学系を備えるようにしてもよい。具体的には、算出された基線長(間隔)を複数の光学系(少なくとも2つの光学系)で確保することができない場合、撮像部701が、複数の光学系とは別の光学系を用いて基線長(間隔)を確保した状態で被写体を撮像する。これにより、2つの光学系では対応できない長い基線長であっても第3の光学系(別の光学系)を用いることで本発明の目的を達成することができる。また、例えば、演出動作のプリセットプログラムと発動コマンド、ボタンを備えるようにしてもよい。これにより、様々な演出を誰でも容易に行うことができる。また、例えば、提供される映像コンテンツは、生中継されるものであっても、あらかじめ収録されたものであってもよい。
なお、上記の本発明の実施の形態の説明で用いた各機能ブロックは、典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されてもよいし、一部又はすべてを含むように1チップ化されてもよい。なお、ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応などが可能性としてあり得る。