JP2012105169A - 立体映像撮像装置および立体映像撮像方法 - Google Patents

Abstract

【課題】被写体と輻輳点との位置関係を瞬時に把握させる。
【解決手段】立体映像撮像装置１００は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部１０６ａ、１０６ｂと、複数の撮像部から、複数の撮像部それぞれの光軸１０８ａ、１０８ｂが交差する輻輳点１０２までの距離である輻輳点距離を導出する輻輳点距離導出部１７４と、複数の撮像部から被写体１０４までの距離である被写体距離を導出する被写体距離導出部１７６と、輻輳点距離と被写体距離との差分値を導出する差分値導出部１７８と、左眼用映像データおよび右眼用映像データの少なくとも一方に差分値を示すデータを合成する表示制御部１８０と、左眼用映像データおよび右眼用映像データを併合して立体映像データを生成する映像併合部１２４と、立体映像データに基づく立体映像を表示する表示部１２８とを備える。
【選択図】図３

Description

本発明は、映像中の被写体を立体的に存在するかのように知覚させる立体映像データを生成する立体映像撮像装置および立体映像撮像方法に関する。

一般に、デジタルビデオカメラ等の撮像装置には、ビューファインダ等の表示部が設けられている。この表示部には、撮像中の映像の他、撮像の補助となる補助情報を示す文字や指標も表示される。例えば、補助情報として、映像中の任意の２点間の実際の距離を表示する技術が提案されている（例えば、特許文献１）。また、この補助情報の表示媒体は撮像装置の表示部に限られず、例えば、別筐体の表示装置を表示媒体とし、表示装置における透明なガラス部分に補助情報である撮像範囲を示す枠を表示し、ガラス越しに視認される風景のどの部分が撮像範囲であるか撮像者に把握させる技術が提案されている（例えば、特許文献２）。

ところで、近年、両眼視差を有する２つの映像を表示部に表示し、観察者に対して恰も被写体が立体的に存在するかのように知覚させる映像（立体映像）の技術が脚光を浴びている。このような立体映像を撮像する立体映像撮像装置の表示部にも、立体映像と共に補助情報を示す文字や指標を表示することができる。例えば、表示部に向けられた撮像者の視線を角膜反射光によって検出し、撮像中の映像が立体映像として認識できる範囲に含まれるか否かを示す補助情報を表示部に表示する技術が提案されている（例えば、特許文献３）。また、フォーカスレンズの位置と、ズームレンズの焦点距離と、レンズ鏡筒の基線長情報とに基づいて、２つのレンズそれぞれの光軸が交差する点である輻輳点と合焦位置とが一致するように、２つのレンズそれぞれの光軸が成す角である輻輳角を調整する立体映像撮像装置が提案されている（例えば、特許文献４）。

特開２００５−１４２９３８号公報 特開２００９−２０６５８４号公報 特開平１１−１６８７５５号公報 特開平８−２０１９４０号公報

輻輳角は調整できるが、表示部が２Ｄ映像にしか対応していない立体映像撮像装置で立体映像の撮像を行った場合、撮像者は、２Ｄ映像にしか対応していない表示部の表示画面を視認しても、立体感の程度を把握することができないので、輻輳角（輻輳点の位置）をどう調整してよいか分からず、撮像範囲内のすべての物体が輻輳点より遠くに位置するように撮像してしまうことがある。このようにして撮像された映像を、観察者が、立体映像表示装置で観察した場合、表示画面より観察者側に結像される物体、すなわち、表示画面から飛び出して見える物体がないこととなり、立体感に乏しい映像となってしまう。

この場合、立体映像撮像装置に、立体映像に対応した表示部が設けられていれば、撮像者は、撮像時に立体映像の立体感を少なからず把握できたはずである。しかし、立体映像撮像装置自体の小型軽量化の要望から、立体映像撮像装置の表示部は、テレビジョン等、表示専用の表示装置に比べ表示画面のサイズが非常に小さく、表示部に表示される映像の視差も表示画面のサイズに比例して小さくなるので、表示部に表示された立体映像の立体感はやはり乏しいものになる。そのため、撮像者は、所望する立体感で立体映像を撮像できているか否か把握するのは困難であった。

ここで、特許文献１、２の技術を用いたとしても、このような立体映像の撮像に特有の問題は解消されない。また、特許文献３の技術では、撮像中の映像が、立体映像として認識できるか否かについては分かるが、その立体感の程度を把握することはできない。さらに、特許文献４に記載の立体映像撮像装置で撮像した場合、撮像時において、輻輳点が被写体の位置に追従するので、表示部に立体映像を表示したとしても、被写体が常に表示画面の位置で知覚されることとなり、立体感の程度を把握できないばかりか、被写体が表示画面から飛び出したり奥まったりする立体感を与えることすらできなかった。このように、従来の立体映像撮像装置では、撮像中の映像の立体感を定量的に把握する手段がなかった。

そこで本発明は、このような課題に鑑み、被写体と輻輳点との位置関係を瞬時に把握させることが可能な、立体映像撮像装置および立体映像撮像方法を提供することを目的としている。

上記課題を解決するために、本発明の立体映像撮像装置は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、輻輳点距離と被写体距離との差分値を導出する差分値導出部と、左眼用映像データおよび右眼用映像データの少なくとも一方に差分値を示すデータを合成する表示制御部と、差分値を示すデータが合成された、左眼用映像データおよび右眼用映像データを併合して立体映像データを生成する映像併合部と、立体映像データに基づく立体映像を表示する表示部とを備えることを特徴とする。

差分値を示すデータは、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データにのみ合成されてもよい。

撮像者の利き眼を示す利き眼情報を記録する利き眼記録部をさらに備え、差分値を示すデータは、左眼用映像データまたは右眼用映像データのうち、利き眼情報で示される利き眼に対応する映像データにのみ合成されてもよい。

複数の撮像部それぞれの光軸が成す輻輳角の大きさを取得する輻輳角取得部をさらに備え、表示制御部は、さらに輻輳角の大きさを示すデータを左眼用映像データおよび右眼用映像データの少なくとも一方に合成してもよい。

上記課題を解決するために、本発明の他の立体映像撮像装置は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、輻輳点距離と被写体距離との差分値を導出する差分値導出部と、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データに差分値を示すデータを合成する表示制御部と、差分値を示すデータが合成された一方の映像データに基づく２Ｄ映像を表示する表示部とを備えることを特徴とする。

上記課題を解決するために、本発明の他の立体映像撮像装置は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、輻輳点距離と被写体距離との差分値を導出する差分値導出部と、差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成する指標生成部と、左眼用映像データおよび右眼用映像データの少なくとも一方に指標を示すデータを合成する表示制御部と、指標を示すデータが合成された、左眼用映像データおよび右眼用映像データを併合して立体映像データを生成する映像併合部と、立体映像データに基づく立体映像を表示する表示部とを備えることを特徴とする。

指標を示すデータは、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データにのみ合成されてもよい。

撮像者の利き眼を示す利き眼情報を記録する利き眼記録部をさらに備え、指標を示すデータは、左眼用映像データまたは右眼用映像データのうち、利き眼情報で示される利き眼に対応する映像データにのみ合成されてもよい。

上記課題を解決するために、本発明の他の立体映像撮像装置は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、輻輳点距離と被写体距離との差分値を導出する差分値導出部と、差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成する指標生成部と、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データに指標を示すデータを合成する表示制御部と、指標を示すデータが合成された一方の映像データに基づく２Ｄ映像を表示する表示部とを備えることを特徴とする。

指標生成部は、第１相対量の大きさに対応した大きさで指標を生成してもよい。

指標は、四角形で形成されてもよい。

指標生成部は、被写体から輻輳点までの距離が基準距離以上になると、四角形で形成された指標の縦方向または横方向の少なくとも一方の長さが、映像データに基づく映像の表示範囲の、一方に対応する方向の長さと等しくなるように指標を生成してもよい。

指標生成部は、被写体から輻輳点までの距離が基準距離以上になると、四角形で形成された指標の縦方向または横方向の少なくとも一方の長さが、表示部の表示画面の、一方に対応する方向の長さと等しくなるように指標を生成してもよい。

指標生成部は、指標に、複数の撮像部それぞれの光軸が成す輻輳角の、所定の基準角に対する相対量である第２相対量を示す表示態様を付加してもよい。

指標は、相似な２つの多角形で形成され、指標生成部は、２つの多角形の各頂点同士の結線の長さが第２相対量の大きさに対応した長さとなるように指標を生成してもよい。

基準距離は、複数の撮像部の水平画角を成す線のうち、他の撮像部側にある線同士が交差する点を通り光軸と垂直に交わる直線と、光軸との交点から輻輳点までの距離であってもよい。

指標生成部は、輻輳点距離と被写体距離とを比較し、どちらが大きいかに従って指標の表示態様を異ならせてもよい。

上記課題を解決するために、本発明の立体映像撮像方法は、両眼視差を有する左眼用映像データと右眼用映像データとを生成し、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、複数の撮像部から被写体までの距離である被写体距離を導出し、輻輳点距離と被写体距離との差分値を導出し、左眼用映像データおよび右眼用映像データの少なくとも一方に差分値を示すデータを合成し、差分値を示すデータを合成した、左眼用映像データおよび右眼用映像データを併合して立体映像データを生成し、立体映像データに基づく立体映像を表示することを特徴とする。

上記課題を解決するために、本発明の他の立体映像撮像方法は、両眼視差を有する左眼用映像データと右眼用映像データとを生成し、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、複数の撮像部から被写体までの距離である被写体距離を導出し、輻輳点距離と被写体距離との差分値を導出し、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データに差分値を示すデータを合成し、差分値を示すデータを合成した一方の映像データに基づく２Ｄ映像を表示することを特徴とする。

上記課題を解決するために、本発明の他の立体映像撮像方法は、両眼視差を有する左眼用映像データと右眼用映像データとを生成し、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、複数の撮像部から被写体までの距離である被写体距離を導出し、輻輳点距離と被写体距離との差分値を導出し、差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成し、左眼用映像データおよび右眼用映像データの少なくとも一方に指標を示すデータを合成し、指標を示すデータを合成した、左眼用映像データおよび右眼用映像データを併合して立体映像データを生成し、立体映像データに基づく立体映像を表示することを特徴とする。

上記課題を解決するために、本発明の他の立体映像撮像方法は、両眼視差を有する左眼用映像データと右眼用映像データとを生成し、複数の撮像部から、複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、複数の撮像部から被写体までの距離である被写体距離を導出し、輻輳点距離と被写体距離との差分値を導出し、差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成し、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データに指標を示すデータを合成し、指標を示すデータを合成した一方の映像データに基づく２Ｄ映像を表示することを特徴とする。

以上説明したように本発明では、被写体と輻輳点との位置関係を瞬時に把握させることが可能となる。

立体映像撮像装置の輻輳点と被写体との相対的な位置と、立体感の関係を説明するための説明図である。 立体映像撮像装置の輻輳点と被写体との相対的な位置と、立体感の関係を説明するための説明図である。 立体映像撮像装置の概略的な構成を示した機能ブロック図である。 輻輳点距離と被写体距離との差分値を示す文字列、および輻輳角の大きさを示す文字列の表示例を示した説明図である。 指標の表示例を説明するための説明図である。 指標生成部で生成される指標の一例を説明するための説明図である。 近接位置を説明するための説明図である。 近接距離の導出処理を説明するための説明図である。 被写体距離を説明するための説明図である。 輻輳点距離よりも被写体距離が短い場合における平面図形の大きさを説明するための説明図である。 輻輳点距離よりも被写体距離が長い場合における平面図形の大きさを説明するための説明図である。 平面図形を重畳する位置を説明するための説明図である。 平面図形と被写体の画像が重なることによる問題を説明するための説明図である。 指標の重畳処理の例を示す説明図である。 立体映像撮像方法の処理の流れを示すフローチャートである。 立体映像撮像方法の処理の流れを示すフローチャートである。 立体映像撮像方法の処理の流れを示すフローチャートである。 立体映像撮像方法の処理の流れを示すフローチャートである。 立体映像撮像方法の処理の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本実施形態において、撮像者は、立体映像撮像装置を用いて立体映像または２Ｄ映像を撮像する者を示し、観察者は、その撮像された立体映像や２Ｄ映像を、立体映像表示装置を通じて観察する者を示す。また、本実施形態中で単に「近い」または「遠い」といった表現が用いられている場合、撮像者または観察者から近いまたは遠いことを示す。さらに、実施形態中で用いられる立体映像データや２Ｄ映像データを総称して映像データという場合や、立体映像や２Ｄ映像を総称して映像という場合もある。

また、本実施形態においては、立体映像撮像装置が２つの撮像部を有する場合を例示しているが、撮像部の数はかかる場合に限定されず、例えば３つ以上といったように任意の数で構成することができる。撮像は、撮像部を通じて映像データを生成することを言い、記録は、取得した映像データを符号化して映像記録部に記録することを言う。また、画角は、各撮像部における撮像可能な範囲を角度で表したものであり、２つの撮像部それぞれの光軸を含む面における画角を水平画角とする。

図１および図２は、立体映像撮像装置１００の輻輳点１０２と被写体１０４との相対的な位置と、立体感の関係を説明するための説明図である。ここでは、立体映像撮像装置１００に設けられた例えば２つの撮像部１０６ａ、１０６ｂが所定間隔離れており、撮像部１０６ａ、１０６ｂそれぞれの光軸１０８ａ、１０８ｂが同一平面上で交差している。特に、図１（ａ）は、立体映像撮像装置１００の撮像部１０６ａ、１０６ｂそれぞれの光軸１０８ａ、１０８ｂが交差する点である輻輳点１０２に、背景となる木１１０が位置し、輻輳点１０２より立体映像撮像装置１００側に被写体１０４が位置する状態の上面視を示し、図１（ｂ）は、図１（ａ）の状態で、立体映像撮像装置１００が生成した左眼用映像データに基づく左眼用映像および右眼用映像データに基づく右眼用映像を示し、図１（ｃ）は、その左眼用映像データおよび右眼用映像データを併合した立体映像データに基づく立体映像を立体映像表示装置１１２に表示した場合を示す。

図１（ａ）に示す位置関係で撮像を行った場合、図１（ｂ）に示すように、左眼用映像と右眼用映像において、輻輳点１０２にある木１１０には視差が生じず、輻輳点１０２より立体映像撮像装置１００に近い位置にある被写体１０４には視差が生じる。そのため、図１（ｃ）のように立体映像表示装置１１２に立体映像を表示し、図１（ｃ）に示す位置で観察者がその立体映像を観察した場合、木１１０は立体映像表示装置１１２の表示画面１１４上に結像し、被写体１０４は表示画面１１４より観察者側の点１１６の位置で結像することとなり、観察者は、恰も被写体１０４が表示画面１１４から飛び出しているように知覚する。このような立体映像中の被写体１０４や木１１０といった被撮像物の立体感は、被撮像物と輻輳点１０２との相対的な位置関係によって変化する。被撮像物と輻輳点１０２との相対的な位置関係の他の例について図２を用いて説明する。

図２（ａ）は、輻輳点１０２より遠方に被写体１０４と木１１０の両被撮像物が位置する状態の上面視を示し、図２（ｂ）は、図２（ａ）の状態で、立体映像撮像装置１００が生成した左眼用映像データに基づく左眼用映像および右眼用映像データに基づく右眼用映像を示し、図２（ｃ）は、立体映像を立体映像表示装置１１２に表示した場合を示す。図２（ａ）に示すように、撮像範囲内のすべての被撮像物（ここでは被写体１０４と木１１０）が輻輳点１０２より、撮像者側から見て遠くに位置している状態で立体映像を撮像し、図２（ｃ）に示すように、撮像した立体映像を立体映像表示装置１１２に表示すると、図２（ｃ）に示す位置で観察者が立体映像表示装置１１２に表示された立体映像を観察した場合、表示画面１１４より観察者側に結像する被撮像物はなく、黒丸で示したように、すべて奥まって知覚され、立体感が乏しい映像となってしまう。

このように、撮像者は、被写体１０４と輻輳点１０２との相対的な位置関係を把握した上で撮像を行わないと、より効果的な立体映像を撮像することができない。しかし、従来の立体映像撮像装置では、被写体１０４と輻輳点１０２との位置関係を把握する手段がなく、撮像者は、所望する立体感のある映像を適切に撮像できているか否かを確認するのは困難であった。

また、携帯性を有する小型の立体映像撮像装置１００では、立体映像撮像装置１００に設けられた表示部の表示画面の大きさが非常に小さいため、撮像された立体映像が比較的小さく表示され、立体映像中の視差も小さくなってしまう。このように視差が小さくなると、撮像者は、立体映像における立体感の程度を把握し難くなり、被写体１０４と輻輳点１０２との位置関係を推測することが難しくなる。

さらに、立体映像撮像装置１００における、立体映像を表示可能な表示部の表示画面と、撮像者の両眼との位置関係は非常に限定的であり、一度、表示画面から眼を離してしまうと、再度観察するとき、撮像者は眼の位置を変えながら最適な観察位置を探さなければならなかった。このため、輻輳点１０２の位置の判断に至るまでには時間を要することになり、とっさの撮像に対応することができないといった問題があった。そこで、以下の実施形態では、被写体１０４と輻輳点１０２との位置関係を瞬時に把握させることが可能な立体映像撮像装置１００を提案する。

（第１の実施形態：立体映像撮像装置１００）
図３は、立体映像撮像装置１００の概略的な構成を示した機能ブロック図である。図３に示すように、立体映像撮像装置１００は、撮像部１０６（図３中、１０６ａ、１０６ｂで示す。）と、操作部１２０と、映像処理部１２２と、映像併合部１２４と、映像圧縮部１２６と、表示部１２８と、外部出力部１３０と、映像記録部１３２と、利き眼記録部１３４と、中央制御部１３６とを含んで構成される。ここでは、立体映像撮像装置１００としてビデオカメラを挙げて説明するが、デジタルスチルカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、様々な電子機器を採用することができる。

ここで、撮像部１０６ａ、１０６ｂは、図１（ａ）および図２（ａ）に示したように、それぞれの光軸１０８ａ、１０８ｂが交わるように配置される。

また、撮像部１０６ａ、１０６ｂは、それぞれ、焦点調整に用いられるフォーカスレンズ１５０（図３中、１５０ａ、１５０ｂで示す。）と、露光調整に用いられる絞り（アイリス）１５２（図３中、１５２ａ、１５２ｂで示す。）と、撮像対象の拡大および縮小が可能なズームレンズ１５４（図３中、１５４ａ、１５４ｂで示す。）と、各レンズを通じて入射した光を光電変換し映像データにＡ／Ｄ変換する撮像素子１５６（図３中、１５６ａ、１５６ｂで示す。）と、フォーカスレンズ１５０、絞り１５２、ズームレンズ１５４および撮像素子１５６を駆動させる駆動回路１５８（図３中、１５８ａ、１５８ｂで示す。）とを含んで構成される。撮像部１０６ａ、１０６ｂは、映像中の被写体を立体的に存在するかのように知覚させるための、両眼視差を有する左眼用映像データと右眼用映像データとを生成する。左眼用映像データおよび右眼用映像データは、動画および静止画のいずれの映像としても生成可能である。

操作部１２０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述する表示部１２８の表示画面に配されたタッチパネル等で構成され、撮像または記録の開始や停止、撮像部１０６ａ、１０６ｂそれぞれの光軸１０８ａ、１０８ｂが成す角である輻輳角の大きさの設定、利き眼情報の設定、および各種設定変更等、撮像者による操作入力を受け付ける。利き眼情報については後に詳述する。

映像処理部１２２は、撮像部１０６で生成された左眼用映像データおよび右眼用映像データに対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（映像データからＲＧＢデータへの変換、γ補正、色補正等）、エンハンス処理、ノイズ低減処理、ホワイトバランス調整処理等の映像処理を行う。

そして、映像処理部１２２は、後述する表示制御部１８０の制御指令に応じて、映像処理を行った、左眼用映像データおよび右眼用映像データの両映像データを映像併合部１２４に出力したり、映像処理を行った、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データを、映像圧縮部１２６、表示部１２８、または、外部出力部１３０に出力したりする。

映像併合部１２４は、映像処理部１２２から出力された左眼用映像データおよび右眼用映像データを、サイドバイサイド方式、トップアンドボトム方式等の、立体映像における所定の収録方式で併合して立体映像データを生成し、映像圧縮部１２６、表示部１２８、または、外部出力部１３０に出力する。

映像圧縮部１２６は、後述する記録制御部１８２の制御指令に応じ、映像併合部１２４で併合された立体映像データを、Ｈ．２６４などの既存の様々な符号化方式で符号化して立体映像符号化データを生成し、映像記録部１３２に記録させる。また、映像圧縮部１２６は、記録制御部１８２の制御指令に応じ、映像処理部１２２から出力された２Ｄ映像データを既存の様々な符号化方式で符号化して２Ｄ映像符号化データを生成し、映像記録部１３２に記録させる。

さらに、映像圧縮部１２６は、表示制御部１８０の制御指令に応じ、映像記録部１３２に記録された立体映像符号化データを復号して立体映像データを生成し、表示部１２８または外部出力部１３０に出力する。また、映像圧縮部１２６は、表示制御部１８０の制御指令に応じ、映像記録部１３２に記録された２Ｄ映像符号化データを復号して２Ｄ映像データを生成し、表示部１２８または外部出力部１３０に出力する。

表示部１２８は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。例えば、表示部１２８をラインバイライン方式に対応させる場合、表示部１２８は、その表示画面の偏光特性が表示ラインの１ライン毎に異なるように形成される。このとき、表示部１２８は、表示制御部１８０の制御指令に応じ、映像併合部１２４または映像圧縮部１２６が出力した立体映像データに基づいて立体映像を表示し、または、映像処理部１２２または映像圧縮部１２６が出力した２Ｄ映像データに基づいて２Ｄ映像を表示する。

具体的に、表示部１２８は、入力された映像データが、例えば、サイドバイサイド方式で併合された立体映像データであれば、その立体映像データを、ラインバイライン方式に変換し、例えば、右眼用映像データに基づく右眼用映像を奇数ラインに表示し、左眼用映像データに基づく左眼用映像を、奇数ラインとは偏光特性の異なる偶数ラインに表示することで、立体映像データに基づく立体映像を表示する。撮像者は、表示部１２８に表示された立体映像を、左右で偏光特性が異なる眼鏡を通じて視認することで、映像中の被写体を立体的に存在するかのように知覚する。また、例えば、フレームシーケンシャル方式に対応した表示部１２８の場合、撮像者は、立体映像データのフレーム周期と同期して開閉するシャッタ式の眼鏡を通じて、映像中の被写体を立体的に存在するかのように知覚する。また、入力された映像データが２Ｄ映像データであれば、表示部１２８は２Ｄ映像データに基づく２Ｄ映像を表示し、撮像者は、裸眼でその２Ｄ映像を視認することができる。

さらに、表示部１２８は、操作部１２０と連動した撮像状態、例えば、立体映像符号化データまたは２Ｄ映像符号化データを映像記録部１３２に記録可能な残り時間（映像記録部１３２の記録可能な残り容量）、表示中の映像の残り再生時間、バッテリの残量等を示す補助情報をＯＳＤ（On-Screen Display）として表示する。

外部出力部１３０は、表示制御部１８０の制御指令に応じて、立体映像データまたは２Ｄ映像データのいずれかを選択し、例えば、立体映像撮像装置１００に接続された立体映像表示装置１１２に出力する。立体映像表示装置１１２は、表示部１２８と同様、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、立体映像データに基づく立体映像または２Ｄ映像データに基づく２Ｄ映像を表示する。

映像記録部１３２は、立体映像撮像装置１００と一体的に形成された、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＨＤＤ等の記録媒体であり、立体映像符号化データまたは２Ｄ映像符号化データを記録する。

また、映像記録部１３２として、立体映像撮像装置１００から着脱可能な、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、磁気テープ、磁気ディスクといった磁気媒体、フラッシュメモリ、ポータブルＨＤＤ等の外部記録媒体を適用してもよい。

利き眼記録部１３４は、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記録媒体であり、撮像者の利き眼を示す利き眼情報を記録する。

中央制御部１３６は、中央処理装置（ＣＰＵ）（図示せず）、中央制御部１３６を動作するためのプログラム等を格納したＲＯＭ（図示せず）、一時的なデータ保存およびワークエリアとして利用されるＲＡＭ（図示せず）等を含む半導体集積回路により、立体映像撮像装置１００全体を管理および制御する。また、本実施形態において、中央制御部１３６は、撮像制御部１７０、輻輳角取得部１７２、輻輳点距離導出部１７４、被写体距離導出部１７６、差分値導出部１７８、表示制御部１８０、記録制御部１８２、指標生成部１８４としても機能する。

撮像制御部１７０は、焦点調整、輻輳角調整、ズーム倍率調整、露光調整等を行う。具体的に、撮像制御部１７０は、撮像を制御するための制御指令を撮像部１０６の駆動回路１５８に伝達し、駆動回路１５８は、撮像制御部１７０からの制御指令に従って、例えば、コントラストが最も高くなる性質を利用したコントラスト方式を用い、被写体が合焦する（フォーカスが合う）ようにフォーカスレンズ１５０の位置を調整する。

また、撮像制御部１７０は、撮像部１０６ａ、１０６ｂそれぞれの光軸１０８ａ、１０８ｂが成す輻輳角の大きさが、操作部１２０を通じた撮像者の操作入力で指定された輻輳角の大きさとなるように、駆動回路１５８を制御する。さらに、撮像制御部１７０は、光学ズームの倍率が、操作部１２０を通じた撮像者の操作入力で指定された拡大率または縮小率となるように、駆動回路１５８を制御する。

輻輳角取得部１７２は、撮像制御部１７０が制御する駆動回路１５８から輻輳角の大きさを示す輻輳角情報を取得する。

輻輳点距離導出部１７４は、輻輳角取得部１７２が取得した輻輳角情報に基づいて、撮像部１０６ａ、１０６ｂから輻輳点までの距離である輻輳点距離を導出する。ここでは、撮像部１０６ａから輻輳点までの距離と、撮像部１０６ｂから輻輳点までの距離が等しくなるので、いずれか一方の距離を輻輳点距離とすればよいが、両方の距離の平均値を輻輳点距離としてもよい。また、駆動回路１５８を通じて輻輳角の大きさを変更する構成を採用していない場合（輻輳角が固定されている場合）、輻輳点距離は、固定された輻輳角の大きさから一意に求められるので、予め中央制御部１３６のＲＯＭに記録しておくことができる。この場合、輻輳点距離導出部１７４は、中央制御部１３６のＲＯＭから輻輳点距離を参照する。

被写体距離導出部１７６は、撮像部１０６から被写体までの距離である被写体距離を導出する。例えば、被写体距離導出部１７６は、駆動回路１５８を通じてフォーカスレンズ１５０の位置を示す位置情報を取得し、フォーカスレンズ１５０の位置と合焦距離（撮像部１０６から合焦している位置である合焦位置までの距離）とを対応付けたテーブルを参照して合焦距離を求め、その合焦距離を被写体距離とする。

また、被写体距離の導出手段としては、フォーカスレンズ１５０の位置を用いる場合に限定されず、例えば、被写体距離導出部１７６としてレーザ発光部とレーザ受光部を備え、被写体距離導出部１７６は、レーザ発光部を通じて、被写体にレーザ光を照射すると共に、レーザ受光部で反射光を受光し、レーザ光の反射に費やす時間（ＴＯＦ：Time Of Flight）を測定して被写体距離を導出してもよい。また、レーザ光の代わりに赤外線、音波、超音波、または電磁波等を用いることもできる。

さらに、被写体距離導出部１７６は、撮像部１０６ａ、１０６ｂが生成した左眼用映像データと右眼用映像データとから、映像データに含まれる被写体の映像上の視差を導出し、その視差に基づいて被写体距離を求めてもよい。

差分値導出部１７８は、輻輳点距離と被写体距離との差分値を導出する。本実施形態において、輻輳点距離と被写体距離との差分値は、被写体距離から輻輳点距離を減算した値とする。すなわち、被写体が輻輳点よりも遠くに位置する場合、輻輳点距離と被写体距離との差分値は正の値となり、被写体が輻輳点よりも近くに位置する場合、輻輳点距離と被写体距離との差分値は負の値となる。

表示制御部１８０は、操作部１２０を通じた撮像者の操作入力に応じて、映像併合部１２４で併合された立体映像データもしくは映像圧縮部１２６で復号された立体映像データに基づく立体映像、または、映像処理部１２２から出力された２Ｄ映像データもしくは映像圧縮部１２６で復号された２Ｄ映像データに基づく２Ｄ映像を表示部１２８に表示させる。

さらに、表示制御部１８０は、補助情報を表示部１２８に表示させる。例えば、表示制御部１８０は、補助情報として、差分値導出部１７８が導出した、輻輳点距離と被写体距離との差分値を示す文字列（数字列を含む）を映像と共に表示部１２８に表示させる。具体的に、立体映像を表示する場合、表示制御部１８０は、例えば、左眼用映像データおよび右眼用映像データそれぞれに、輻輳点距離と被写体距離との差分値を示すデータを、左眼用映像と右眼用映像とにおいて所定の視差を有するように、または視差０となるように合成する。映像併合部１２４は、差分値を示すデータが合成された、左眼用映像データおよび右眼用映像データを併合して立体映像データを生成する。そして、表示部１２８は、輻輳点距離と被写体距離との差分値を示す文字列が重畳された立体映像を表示する。また、２Ｄ映像を表示する場合、表示制御部１８０は、輻輳点距離と被写体距離との差分値を示すデータを２Ｄ映像データに合成する。そして、表示部１２８は、輻輳点距離と被写体距離との差分値を示す文字列が重畳された２Ｄ映像を表示する。

図４は、輻輳点距離と被写体距離との差分値を示す文字列２００、および輻輳角の大きさを示す文字列２０２の表示例を示した説明図である。特に、図４（ａ）は、輻輳点距離と被写体距離との差分値を示す文字列２００に関する表示例を、図４（ｂ）は、輻輳点距離と被写体距離との差分値を示す文字列２００、および輻輳角の大きさを示す文字列２０２に関する表示例を示す。

図４（ａ）の例において、表示制御部１８０は、輻輳点距離と被写体距離との差分値を示すデータを、例えば、左眼用映像データおよび右眼用映像データに、左眼用映像と右眼用映像とにおいて視差が０となるように合成する。そして、表示制御部１８０は、差分値を示すデータが合成された左眼用映像データおよび右眼用映像データを併合した立体映像データに基づく立体映像を表示部１２８に表示させる。したがって、表示部１２８には、立体映像と共に、差分値を示す文字列２００が表示される。図４（ａ）では、理解を容易にするため、仮に、左眼用映像データに基づく左眼用映像および右眼用映像データに基づく右眼用映像を並置して表している。撮像者は、差分値を示す文字列２００を確認することで、被写体１０４と輻輳点の位置関係、すなわち、被写体１０４等の立体感を定量的に把握しながら立体映像を撮像することができる。このとき、表示部１２８が比較的小型であったとしても、撮像者は、差分値を示す文字列２００を数値として把握するので、立体映像の立体感を定量的に把握できることに変わりはない。

また、表示制御部１８０は、輻輳点距離と被写体距離との差分値を示す文字列２００に加えて、または代えて、輻輳角の大きさを示す文字列２０２を表示部１２８に表示させてもよい。

図４（ｂ）の例では、輻輳点距離と被写体距離との差分値を示すデータと輻輳角の大きさを示すデータとを、例えば、左眼用映像データおよび右眼用映像データに、左眼用映像と右眼用映像とにおいて視差が０となるように合成している。そして、表示制御部１８０は、差分値を示すデータおよび輻輳角の大きさを示すデータが合成された左眼用映像データおよび右眼用映像データを併合した立体映像データに基づく立体映像を表示部１２８に表示させる。したがって、表示部１２８には、立体映像と共に、差分値を示す文字列２００と輻輳角の大きさを示す文字列２０２とが表示される。図４（ｂ）でも、理解を容易にするため、左眼用映像データに基づく左眼用映像および右眼用映像データに基づく右眼用映像を並置して表している。こうして、撮像者は、被写体１０４と輻輳点の位置関係に加えて、輻輳角の大きさも定量的に把握しながら、例えば、操作部１２０を通じて輻輳角の大きさを調整し、撮像者が所望する輻輳角の大きさで立体映像を撮像することができる。

記録制御部１８２は、操作部１２０を通じた撮像者の操作入力に応じて、立体映像符号化データまたは２Ｄ映像符号化データを映像記録部１３２に記録させる。また、記録制御部１８２は、操作部１２０を通じて撮像者が入力した利き眼情報を利き眼記録部１３４に記録させる。

指標生成部１８４は、差分値導出部１７８で導出された差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成する。基準距離は撮像状態に応じて定まる基準となる距離であり、その導出方法は後に詳述する。具体的に、指標生成部１８４は、指標の態様（指標が重畳される映像上の位置、指標を構成する線種、色等）を決定し、その指標を示すデータを表示制御部１８０に送信する。立体映像を表示部１２８に表示させる場合、表示制御部１８０は、例えば、左眼用映像データおよび右眼用映像データそれぞれに対し、左眼用映像と右眼用映像とにおいて所定の視差を有するように、または視差が０となるように、指標生成部１８４から受信した指標を示すデータを合成する。また、２Ｄ映像を表示させる場合、表示制御部１８０は、２Ｄ映像データに指標を示すデータを合成する。そして、表示制御部１８０は、指標を示すデータが合成された、左眼用映像データおよび右眼用映像データを併合した立体映像データに基づく立体映像、または、指標を示すデータが合成された２Ｄ映像データに基づく２Ｄ映像を表示部１２８に表示させる。

図５は、指標２０４の表示例を説明するための説明図である。図５では、立体映像データに指標を示すデータを合成する場合について説明する。立体映像データに指標を示すデータを合成する場合、例えば、左眼用映像データおよび右眼用映像データそれぞれに同じ指標を示すデータを合成することができるが、説明の便宜のため、ここでは、一方の映像データである右眼用映像データに指標を示すデータを合成する例を挙げている。したがって、図５には、右眼用映像データに基づく右眼用映像と、右眼用映像に重畳された指標２０４とが示されている。図５（ａ）、（ｂ）、（ｃ）、（ｄ）は、撮像者のいる撮像位置を変えずに、輻輳角の大きさのみを順次大きくし、輻輳点が撮像者に近づいた場合の指標２０４の変化を示している。このとき指標生成部１８４は、第１相対量の大きさに比例した大きさで星形の指標２０４を生成するとする。

輻輳点が被写体１０４よりも遠くに位置しているとき、指標２０４は、図５（ａ）に示すように、第１相対量の大きさに比例して大きな星形となり、かつ、輻輳点が被写体１０４より遠くに位置するので、その旨を示す黒の塗り潰しで表される。そして、撮像者が操作部１２０を通じて輻輳角の大きさを調節し、輻輳点を撮像者に近づけると、それに伴って第１相対量が小さくなるので、指標２０４も、図５（ｂ）に示すように小さくなる。輻輳点が被写体１０４より近くなった時点で、図５（ｃ）に示すように、輻輳点が被写体１０４より近くなったことを示すべく、指標２０４の黒の塗り潰しが白抜きに変化する。さらに輻輳点を撮像者に近づけると、今度は、第１相対量が大きくなるので、指標２０４は、図５（ｄ）に示すように、第１相対量の大きさに比例して大きな星形となる。

このように、指標生成部１８４は、輻輳点距離と被写体距離との差分値を第１相対量に変換して、第１相対量の大きさに対応した大きさの指標２０４を生成する。かかる構成により、撮像者は、被写体１０４から輻輳点までの距離とその方向（輻輳点が被写体１０４より撮像者に近いか遠いか）を直感的に把握することができる。そのため、撮像者は、指標２０４を通じて撮像中の被写体１０４の立体感の程度を把握し、自身の移動や輻輳角の大きさの調整によって被写体１０４の立体感を調整することができる。ここでは、指標２０４として星形を示す図形を例に挙げたが、かかる場合に限定されず、他の様々な図形を用いることができる。

また、指標生成部１８４は、第１相対量に基づく指標に、輻輳角の、任意に設定された基準角に対する相対量である第２相対量を示す表示態様、例えば、第２相対量に対応した他の図形や表示色等を付加することもできる。かかる構成により、撮像者は、被写体１０４から輻輳点までの距離のみならず、輻輳角も直感的に把握することができる。

また、上述した第１相対量を導出する際に用いる基準距離は、輻輳点から、光軸１０８ａ、１０８ｂ上の撮像者側にある任意の近接位置までの距離とすることができる。以下では、近接位置を定義し、近接位置に基づいて指標生成部１８４で生成される指標の一例を説明する。

図６は、指標生成部１８４で生成される指標の一例を説明するための説明図である。特に、図６（ａ）は、撮像部１０６ａの光学位置から輻輳点１０２までの位置関係を示し、図６（ｂ）は、図６（ａ）における図形２２０を示し、図６（ｃ）は、図形２２０を光学位置側から見た場合に平面的に捉えられる平面図形２２０ａを指標とし、その指標を示すデータを例えば右眼用映像データに合成した場合の右眼用映像を示す。ここでは、撮像部１０６ａに関して例示しているが、以下の図６（ａ）〜（ｃ）における説明は撮像部１０６ｂについても適用できる。

図６（ａ）において、光学位置は、撮像部１０６ａの撮像素子１５６ａの位置を示す。近接位置は、光軸１０８ａ上を光学位置から輻輳点１０２側に、例えば、任意の近接距離Ｌｍｉｎ離れた位置である。ここでは、近接位置から輻輳点１０２までの距離を基準距離とする。近接面２２２は、近接位置における撮像部１０６ａの撮像範囲である。合焦位置は、被写体１０４にフォーカスレンズのフォーカスが合ったときの被写体１０４の位置であり、光学位置から合焦位置までの距離Ｌ１が上述した被写体距離に相当する（以下、被写体距離Ｌ１とする。）。また、光学位置から輻輳点１０２までの距離Ｌ０が上述した輻輳点距離に相当する（以下、輻輳点距離Ｌ０とする。）。

図６（ａ）に示す図形２２０は、指標を生成する元となる仮想の多面体であり、近接面２２２の４つの頂点２２４と輻輳点１０２とを結ぶ４本の直線２２６と合焦位置における光軸１０８ａに垂直な面２２８との交点（図６（ｂ）における点Ｆ１〜Ｆ４）と、４本の直線２２６と合焦位置から距離Ｌｔだけ光学位置に近い点における光軸１０８ａに垂直な面２３０との交点（図６（ｂ）における点Ｒ１〜Ｒ４）とをそれぞれ結線して成る図形である。ここで、距離Ｌｔは、所定の長さが予め設定されている。ただし、立体映像または２Ｄ映像に重畳する指標は、図６（ｃ）に示すように、図６（ａ）に示した図形２２０を光学位置側から見て平面的に捉えられる平面図形２２０ａである。以下の説明では、指標として、平面図形２２０ａを用いる場合、指標の文言に代えて単に平面図形２２０ａと言う場合もある。

図形２２０において、図６（ｂ）に示す点Ｆ１〜点Ｆ４が成す四角形（図６（ｃ）の平面図形２２０ａにおける内側の四角形２３２ｂに相当）の大きさは合焦位置が輻輳点１０２に近いほど小さくなり、合焦位置が輻輳点１０２と等しくなると点Ｆ１〜点Ｆ４は１つに重なる。逆に、合焦位置が輻輳点１０２から遠いほど大きくなり、近接位置では近接面２２２と等しい大きさになる。すなわち、点Ｆ１〜点Ｆ４が成す四角形の大きさは、合焦位置から輻輳点１０２までの距離（輻輳点距離Ｌ０と被写体距離Ｌ１との差分値）に比例することとなる。

また、点Ｒ１と点Ｆ１、点Ｒ２と点Ｆ２、点Ｒ３と点Ｆ３、点Ｒ４と点Ｆ４を結ぶ４つの結線は、図６（ａ）に示すように、光軸１０８ａに対して傾斜を有する。ここで、輻輳角が大きくなると、近接面２２２の縦横の幅に対して輻輳点１０２から近接位置までの距離が相対的に短くなり、直線２２６の光軸１０８ａに対する傾斜角が大きくなる。それに伴って、４つの結線の傾斜角も大きくなる。このように傾斜角が大きくなると、点Ｆ１〜点Ｆ４が成す四角形（図６（ｃ）の平面図形２２０ａにおける内側の四角形２３２ｂに相当）と、点Ｒ１〜点Ｒ４が成す四角形（図６（ｃ）の平面図形２２０ａにおける外側の四角形２３２ａに相当）との面積差が大きくなり、距離Ｌｔが固定値であれば、図形２２０の４つの結線が長くなるので、それを平面的に捉えた図６（ｃ）の平面図形２２０ａにおいても４つの結線２３２ｃは長くなる。つまり、この平面図形２２０ａの結線２３２ｃの長さは輻輳角の大きさを示すこととなる。

指標生成部１８４は、図６（ａ）の位置関係に準じて、図６（ｃ）に示す平面図形２２０ａを生成する。そして表示制御部１８０は、この平面図形２２０ａを指標とし、指標を示すデータを立体映像データに合成し、立体映像データに基づく立体映像を表示部１２８に表示させる。こうして、撮像者は、被写体１０４（合焦位置）から輻輳点１０２までの距離および輻輳角の大きさを直感的に把握できる。

上述した近接面２２２を定める近接位置は、任意の位置に設定できるが、特に、以下のように設定するとよい。

図７は、近接位置を説明するための説明図である。図７において、撮像部１０６ａ、１０６ｂの水平画角はβであり、撮像部１０６ａ、１０６ｂの光軸１０８ａ、１０８ｂは輻輳角αで交わっているものとする。

図７において、左眼用映像データに基づく左眼用映像には、撮像部１０６ａの水平画角βで決まる撮像範囲の左端にある被写体２４０ａの右半分と、撮像部１０６ａの撮像範囲の中央にある被写体２４０ｂと、撮像部１０６ａの撮像範囲の右端にある被写体２４０ｃの左半分が映っている。一方、右眼用映像データに基づく右眼用映像には、被写体２４０ａ、２４０ｂは映らず、撮像部１０６ｂの撮像範囲の左端にある被写体２４０ｃの右半分のみが映っている。

一般に、映像中の被写体を立体映像として結像させるためには、左眼用映像と右眼用映像に同じ被写体が映り込んでいる必要があるので、図７における被写体２４０ｂにフォーカスを合わせて撮像を行っても、被写体２４０ｃの一部しか立体映像として結像されない。つまり、被写体２４０ｃよりも近くに被写体があっても、立体映像として結像することができないということになる。したがって、撮像者は、被写体２４０ｃの位置よりも遠くに被写体が位置するように撮像しなければならない。つまり、被写体２４０ｃの位置が、立体映像として結像できなくなる限界位置となる。

ところが、撮像部１０６ａ、１０６ｂの光学ズームの倍率を変化すると、それに伴って、撮像部１０６ａ、１０６ｂの水平画角βも変化し、撮像部１０６ａの水平画角βを成す線のうち図７中右側の線と撮像部１０６ｂの水平画角βを成す線のうち図７中左側の線との交点の位置（被写体２４０ｃの位置）、すなわち、上述した立体映像として結像できなくなる限界位置も変化することとなる。このように、光学ズームの倍率によって限界位置も変化するため、撮像者は被写体との距離をどの程度にして撮像すれば所望する立体映像を得ることができるのか定量的な判断ができない。

そこで、本実施形態においては、上述した、立体映像として結像できなくなる限界位置を図６で示した近接位置とすることで、被写体の位置と近接位置（限界位置）との関係を撮像者に明示することが可能となる。限界位置を近接位置としたとき、基準距離は、撮像部１０６ａ、１０６ｂの水平画角βを成す線のうち、他の撮像部１０６ｂ、１０６ａ側にある線同士が交差する点（図７における被写体２４０ｃの位置）を通り、光軸１０８ａ、１０８ｂと垂直に交わる直線（例えば、被写体２４０ａの位置と被写体２４０ｃの位置を通る直線）と、光軸１０８ａ、１０８ｂとの交点から、輻輳点１０２までの距離となる。

図６で説明したように、近接位置では、指標として用いられる平面図形２２０ａの点Ｆ１〜点Ｆ４が成す四角形の大きさと、近接面２２２の大きさは等しくなるので、撮像者は、任意の合焦位置における平面図形２２０ａの点Ｆ１〜点Ｆ４が成す四角形の大きさと近接面２２２の大きさとを比較することで、合焦位置にいる被写体と近接位置との位置関係を把握できる。

このとき、近接面２２２で撮像される映像が、表示部１２８の表示画面の縦横全幅に渡って表示されるようにすると、表示部１２８の表示画面の大きさが近接面２２２の大きさを表すことになるので、撮像者は、表示画面上に表示された平面図形２２０ａの点Ｆ１〜点Ｆ４が成す四角形の大きさと表示画面の大きさとを比較することによって、被写体と近接位置との位置関係を把握できるようになる。

こうして、撮像者は、被写体から輻輳点１０２までの距離を直感的に把握できるのみならず、さらに、立体映像として結像できなくなる限界位置を容易に把握することが可能となる。

続いて、かかる近接位置を規定する近接距離Ｌｍｉｎの導出処理について説明する。また、以下の説明では、指標として、図６で説明した平面図形２２０ａを用いることとし、指標と平面図形２２０ａとを同義に扱っている。

図８は、近接距離Ｌｍｉｎの導出処理を説明するための説明図である。図８において、点Ａは、輻輳点１０２であり、点Ｂは、撮像部１０６ａの水平画角βを成す線のうち右側の線と撮像部１０６ｂの水平画角βを成す線のうち左側の線との交点であり、点Ｄは、点Ｂを通り光軸１０８ａと垂直に交わる直線と光軸１０８ａとの交点であり、点Ｃは、同直線と撮像部１０６ａの水平画角βを成す線のうち左側の線との交点であり、撮像部１０６ａ、１０６ｂの間の距離をＬｃ、撮像部１０６ａと、撮像部１０６ｂとの中間点を点Ｃｃ、輻輳角の大きさをα、撮像部１０６ａ、１０６ｂの水平画角をβとする。点Ｂと点Ｃｃを通る直線２５０ａと、撮像部１０６ａの水平画角βを成す線のうち図８中右側の線２５０ｂとが成す角をγとすると、γは式１で表わされる。
γ＝（α＋β）／２ …（式１）
撮像部１０６ａと点Ｂの間の距離をＬｂとすると、以下の式２が成立する。
ｓｉｎγ＝Ｌｃ／（２・Ｌｂ） …（式２）
式１と式２から式３が成立する。
Ｌｂ＝Ｌｃ／［２・ｓｉｎ｛（α＋β）／２｝］ …（式３）
撮像部１０６ａから近接位置までの距離（撮像部１０６ａから点Ｄまでの距離）である近接距離をＬｍｉｎとすると式４が成立する。
ｃｏｓ（β／２）＝Ｌｍｉｎ／Ｌｂ …（式４）
式３と式４から、近接距離Ｌｍｉｎは、以下の式５で導出される。
Ｌｍｉｎ＝Ｌｃ・ｃｏｓ（β／２）／［２・ｓｉｎ｛（α＋β）／２｝］…（式５）

図９は、被写体距離（合焦距離）Ｌ１を説明するための説明図である。図９を用いて、撮像部１０６ａ、１０６ｂの合焦位置について説明を行う。図９に示すように撮像部１０６ａ、１０６ｂから等距離の位置（点Ｃｃと輻輳点１０２とを通る直線２５０ａ上の任意の点）に被写体２４０ｄがない場合、撮像部１０６ａの合焦位置と撮像部１０６ｂの合焦位置とは異なることとなる。このとき、左右の撮像部１０６ａ、１０６ｂのいずれか一方の合焦位置に基づいて平面図形２２０ａを生成すると、被写体２４０ｄの位置によっては被写体距離に誤差が生じてしまう。

そこで、被写体距離導出部１７６は、撮像部１０６ａによる被写体距離Ｌｌ１と、撮像部１０６ｂによる被写体距離Ｌｒ１との平均値を被写体距離Ｌ１とする。かかる構成により、撮像部１０６ａ、１０６ｂの間の被写体距離の誤差の影響を抑制することができる。また、被写体距離Ｌｌ１と被写体距離Ｌｒ１との差分が無視できる（許容できる）状態であれば、いずれか一方を被写体距離Ｌ１とすることも可能である。

続いて、上述した近接距離Ｌｍｉｎ、被写体距離Ｌ１を用いて、指標として用いられる平面図形２２０ａの大きさを導出する処理について説明する。

図１０は、輻輳点距離Ｌ０よりも被写体距離Ｌ１が短い（輻輳点１０２が被写体より遠い）場合における平面図形２２０ａの大きさを説明するための説明図である。図１０において、点Ａは輻輳点１０２であり、点Ｂ〜Ｄは図８の点Ｂ〜Ｄに相当し、輻輳点距離をＬ０、被写体距離をＬ１、被写体距離Ｌ１より所定の距離Ｌｔだけ短い距離をＬ２、近接距離をＬｍｉｎ、撮像部１０６ａ、１０６ｂの間の距離をＬｃ、点Ｂと点Ｃの間の距離をＤｍａｘ、輻輳角をα、撮像部１０６ａ、１０６ｂの水平画角をβとする。

また、点Ｃと点Ａ（輻輳点１０２）とを結ぶ直線２５０ｃ上の被写体距離Ｌ１にある点を点Ｆ１、直線２５０ｃ上の距離Ｌ２にある点を点Ｒ１、点Ｂと点Ａとを結ぶ直線２５０ａ上の被写体距離Ｌ１にある点を点Ｆ２、直線２５０ａ上の距離Ｌ２にある点を点Ｒ２、点Ｆ１から点Ｆ２までの距離をＤ１、点Ｒ１から点Ｒ２までの距離をＤ２とする。また、被写体距離Ｌ１は、図９を用いて説明したように、撮像部１０６ａによる被写体距離Ｌｌ１と、撮像部１０６ｂによる被写体距離Ｌｒ１との平均値であり、近接位置までの近接距離Ｌｍｉｎは上述した式５で求められる。図１０中、面２２０ｂを形成する４つの点（Ｆ１、Ｆ２、Ｒ１、Ｒ２）は、図６（ｂ）における図形２２０の同一の符号の点に相当する。

平面図形２２０ａの大きさを導出するために、まず、距離Ｄ１、Ｄ２を導出する。図１０に示すように、△ＡＣＢと△Ａ（Ｆ１）（Ｆ２）は相似関係にあるので、以下の式６が成立する。
（Ｌ０−Ｌｍｉｎ）：（Ｌ０−Ｌ１）＝Ｄｍａｘ：Ｄ１ …（式６）
よって、距離Ｄ１は以下の式７で導出される。
Ｄ１＝｛Ｄｍａｘ・（Ｌ０−Ｌ１）｝／（Ｌ０−Ｌｍｉｎ） …（式７）
ただし、式６において、輻輳点距離Ｌ０は輻輳角αと撮像部１０６ａ、１０６ｂの間の距離Ｌｃによって決まるものであり、輻輳点距離導出部１７４は、以下の式８を用いて輻輳点距離Ｌ０を導出する。
Ｌ０＝Ｌｃ／｛２・ｓｉｎ（α／２）｝ …（式８）
同様に、△ＡＣＢと△Ａ（Ｒ１）（Ｒ２）は相似関係にあるので、以下の式９が成立する。
（Ｌ０−Ｌｍｉｎ）：（Ｌ０−Ｌ２）＝Ｄｍａｘ：Ｄ２ …（式９）
よって、距離Ｄ２は以下の式１０となる。
Ｄ２＝｛Ｄｍａｘ・（Ｌ０−Ｌ２）｝／（Ｌ０−Ｌｍｉｎ） …（式１０）
Ｌ２＝Ｌ１−Ｌｔであるので、Ｄ２は、以下の式１１で導出される。
Ｄ２＝｛Ｄｍａｘ・（Ｌ０−Ｌ１＋Ｌｔ）｝／（Ｌ０−Ｌｍｉｎ） …（式１１）

図１１は、輻輳点距離Ｌ０よりも被写体距離Ｌ１が長い（輻輳点１０２が被写体より近い）場合における平面図形２２０ａの大きさを説明するための説明図である。図１１において、被写体距離Ｌ１より所定の距離Ｌｔだけ長い距離をＬ２、点Ｃと点Ａとを通る直線２５０ｃ上の被写体距離Ｌ１にある点を点Ｆ１、直線２５０ｃ上の距離Ｌ２にある点を点Ｒ１、点Ｂと点Ａを通る直線２５０ａ上の被写体距離Ｌ１にある点を点Ｆ２、直線２５０ａ上の距離Ｌ２にある点を点Ｒ２とする。また、点Ａ〜Ｄは図１０の点Ａ〜Ｄに相当し、輻輳点距離Ｌ０、被写体距離Ｌ１、近接距離Ｌｍｉｎ、撮像部１０６ａ、１０６ｂの間の距離Ｌｃについては、図１０と同様の値とする。

図１０と同様、△ＡＣＢと△Ａ（Ｆ１）（Ｆ２）は相似関係にあるので、以下の式１２が成立する。
（Ｌ０−Ｌｍｉｎ）：（Ｌ１−Ｌ０）＝Ｄｍａｘ：Ｄ１ …（式１２）
よって、距離Ｄ１は以下の式１３で導出される。
Ｄ１＝｛Ｄｍａｘ・（Ｌ１−Ｌ０）｝／（Ｌ０−Ｌｍｉｎ） …（式１３）
同様に、△ＡＣＢと△Ａ（Ｒ１）（Ｒ２）は相似関係にあるので、以下の式１４が成立する。
（Ｌ０−Ｌｍｉｎ）：（Ｌ２−Ｌ０）＝Ｄｍａｘ：Ｄ２ …（式１４）
よって、距離Ｄ２は以下の式１５となる。
Ｄ２＝｛Ｄｍａｘ・（Ｌ２−Ｌ０）｝／（Ｌ０−Ｌｍｉｎ） …（式１５）
Ｌ２＝Ｌ１＋Ｌｔであるので、Ｄ２は、以下の式１６で導出される。
Ｄ２＝｛Ｄｍａｘ・（−Ｌ０＋Ｌ１＋Ｌｔ）｝／（Ｌ０−Ｌｍｉｎ） …（式１６）

上述したように、撮像者は、指標として用いられる平面図形２２０ａの点Ｆ１〜点Ｆ４が成す四角形の大きさを表示部１２８の表示画面と比較することで、被写体から輻輳点１０２までの距離を把握し、平面図形２２０ａの点Ｆ１〜点Ｆ４が成す四角形の大きさと平面図形２２０ａの点Ｒ１〜点Ｒ４が成す四角形の大きさとの比率によって輻輳角の大きさを把握する。したがって、撮像者が表示部１２８の表示画面を通じて平面図形２２０ａの大きさを適切に把握できるように、指標生成部１８４は、導出された距離Ｄ１、Ｄ２を表示画面の画素数に変換しなければならない。続いて、距離Ｄ１、Ｄ２を、平面図形２２０ａの横幅および縦幅の画素数に変換する処理、および平面図形２２０ａを重畳する表示画面上の位置を導出する処理について説明する。

図１２は、平面図形２２０ａを重畳する位置を説明するための説明図である。平面図形２２０ａを形成する８つの点（Ｆ１〜Ｆ４、Ｒ１〜Ｒ４）は、図６（ｂ）における同一の符号の点に相当する。図１２において、点Ｆ１〜Ｆ４、Ｒ１〜Ｒ４は、平面図形２２０ａの表示画面の表示位置を示すために便宜的に黒丸を用いて示しているが、実際に点Ｆ１〜Ｆ４、Ｒ１〜Ｒ４の位置に黒丸が表示されるわけではない。

図６を用いて説明したように、被写体が近接位置にある場合、平面図形２２０ａの点Ｆ１〜点Ｆ４が成す四角形２３２ｂの大きさが近接面２２２の大きさと等しくなる。ここでは、近接面２２２を表示部１２８の表示画面の縦横全幅に対応付けているので、被写体が近接位置にある場合、平面図形２２０ａの点Ｆ１〜点Ｆ４が成す四角形２３２ｂの大きさが、表示部１２８の表示画面の大きさと等しくなる。つまり、近接位置での距離Ｄｍａｘが表示画面を基準とした水平方向（図１２に示すＸ軸方向）の画素数に相当することになる。そのため、表示部１２８の表示画面のＸ軸方向の画素数をＮｘとすると、距離Ｄ１に相当するＸ軸方向の画素数Ｎｘ１は、Ｄ１とＤｍａｘの比によって、以下の式１７で表わされる。
Ｎｘ１＝（Ｄ１／Ｄｍａｘ）・Ｎｘ …（式１７）
被写体距離Ｌ１が輻輳点距離Ｌ０より短い場合、式７と式１７によって、以下の式１８が導かれる。
Ｎｘ１＝Ｎｘ・（Ｌ０−Ｌ１）／（Ｌ０−Ｌｍｉｎ） …（式１８）
被写体距離Ｌ１が輻輳点距離Ｌ０より長い場合、式１３と式１７によって、以下の式１９が導かれる。
Ｎｘ１＝Ｎｘ・（Ｌ１−Ｌ０）／（Ｌ０−Ｌｍｉｎ） …（式１９）
同様に、距離Ｄ２に相当するＸ軸方向の画素数Ｎｘ２は、Ｄ２とＤｍａｘの比によって、以下の式２０で導出される。
Ｎｘ２＝（Ｄ２／Ｄｍａｘ）・Ｎｘ …（式２０）
被写体距離Ｌ１が輻輳点距離Ｌ０より短い場合、式１１と式２０によって、以下の式２１が導かれる。
Ｎｘ２＝Ｎｘ・（Ｌ０−Ｌ１＋Ｌｔ）／（Ｌ０−Ｌｍｉｎ） …（式２１）
被写体距離Ｌ１が輻輳点距離Ｌ０より長い場合、式１６と式２０によって、以下の式２２が導かれる。
Ｎｘ２＝Ｎｘ・（−Ｌ０＋Ｌ１＋Ｌｔ）／（Ｌ０−Ｌｍｉｎ） …（式２２）

表示画面を基準とした垂直方向（図１２に示すＹ軸方向）に関しても、表示画面を基準とした水平方向と同様、距離Ｄ１に相当するＹ軸方向の画素数Ｎｙ１は、表示部１２８の表示画面のＹ軸方向の画素数をＮｙとすると、被写体距離Ｌ１が輻輳点距離Ｌ０より短い場合、以下の式２３で導出される。
Ｎｙ１＝Ｎｙ・（Ｌ０−Ｌ１）／（Ｌ０−Ｌｍｉｎ） …（式２３）
また、画素数Ｎｙ１は、被写体距離Ｌ１が輻輳点距離Ｌ０より長い場合、以下の式２４で導出される。
Ｎｙ１＝Ｎｙ・（Ｌ１−Ｌ０）／（Ｌ０−Ｌｍｉｎ） …（式２４）
距離Ｄ２に相当するＹ軸方向の画素数Ｎｙ２は、被写体距離Ｌ１が輻輳点距離Ｌ０より短い場合、以下の式２５で導出される。
Ｎｙ２＝Ｎｙ・（Ｌ０−Ｌ１＋Ｌｔ）／（Ｌ０−Ｌｍｉｎ） …（式２５）
また、画素数Ｎｙ２は、被写体距離Ｌ１が輻輳点距離Ｌ０より長い場合、以下の式２６で導出される。
Ｎｙ２＝Ｎｙ・（−Ｌ０＋Ｌ１＋Ｌｔ）／（Ｌ０−Ｌｍｉｎ） …（式２６）

このような画素数への変換式を用いることで、被写体が近接位置にある場合に、平面図形２２０ａの点Ｆ１〜点Ｆ４を成す四角形２３２ｂの大きさが表示部１２８の表示画面の大きさと等しくなり、撮像者は、立体映像として結像できなくなる限界位置を容易に把握することができる。また、近接位置と輻輳点との間における被写体の位置（合焦位置）に応じて、四角形２３２ｂの大きさがリニアに変化するので、撮像者は、被写体と近接位置との位置関係を容易に把握することが可能となる。

ここでは、平面図形２２０ａの縦方向の長さと横方向の長さの比率（以下、単に縦横比という。）が表示部１２８の表示画面の縦横比と等しくなる例を挙げて説明したが、本実施形態の目的を達成するためには、被写体が近接位置にある場合に、四角形で形成された平面図形２２０ａの縦方向または横方向の少なくとも一方の長さが表示画面の一方の長さと等しくなるようにすればよい。したがって、指標生成部１８４は、被写体が近接位置にある場合、四角形で形成された平面図形２２０ａの縦方向または横方向の少なくとも一方の長さが、表示部１２８の表示画面の、一方に対応する（同じ）方向の長さと等しくなるように平面図形２２０ａを生成してもよい。

このように、近接面で撮像される映像を表示部１２８の表示画面の縦横全幅に渡って表示されるように構成した場合において、被写体が近接位置にある場合に、平面図形２２０ａの縦方向または横方向の少なくとも一方の長さが、表示部１２８の表示画面の、一方に対応する方向の長さと等しくなるようにしさえすれば、撮像者は、表示画面上に表示された平面図形２２０ａの一方の大きさ（長さ）と表示画面の大きさ（長さ）とを比較することによって、被写体と近接位置との位置関係や、立体映像として結像できなくなる限界位置を容易に把握することができる。

また、指標生成部１８４は、被写体が近接位置にある場合に、四角形で形成された、平面図形２２０ａの縦方向または横方向の少なくとも一方の長さが、映像データに基づく映像の表示部１２８上の表示範囲の、一方に対応する方向の長さと等しくなるように平面図形２２０ａを生成してもよい。この場合、表示部１２８の表示画面の画素数の代わりに、上記映像データに基づく映像が表示されている範囲の画素数をＮｘ、ＮｙとしてＮｘ１、Ｎｙ１、Ｎｘ２、Ｎｙ２の導出を行う。

例えば、立体映像撮像装置１００がＨＤ(High Definition、アスペクト比１６：９）規格に対応していたとしても、ＳＤ（Standard Definition、アスペクト比４：３）規格に対応した立体映像表示装置１１２で観察したい等、立体映像符号化データをＳＤ規格で記録したい場合がある。この場合、表示部１２８は、記録されるＳＤ規格による立体映像符号化データの撮像範囲を撮像者に示すために、ＨＤ規格に対応した表示部１２８にＳＤ規格の立体映像を表示する。また、表示部１２８は、ＨＤ規格とＳＤ規格との縦横比の相違から生じる左右両端の撮像映像が表示されない部分に黒の表示色を表示する。このとき、仮に、平面図形２２０ａの縦横比を表示部１２８の表示画面の縦横比と等しくすると、被写体が近接位置にある場合に、表示部１２８上で平面図形２２０ａが立体映像からはみ出してしまう。そこで、指標生成部１８４は、被写体が近接位置にある場合に、平面図形２２０ａの縦方向または横方向の少なくとも一方の長さが、映像データに基づく映像の表示範囲の、一方に対応する方向の長さと等しくなるように平面図形２２０ａを生成する。

こうして、撮像者は、平面図形２２０ａの一方の大きさ（長さ）と、表示部１２８に表示された、映像データに基づく映像の表示範囲の大きさとを比較することによって、被写体と近接位置との位置関係や、立体映像として結像できなくなる限界位置を容易に把握することができる。

続いて、平面図形２２０ａの８つの点（Ｆ１〜Ｆ４、Ｒ１〜Ｒ４）の表示部１２８上の表示位置の導出について説明する。

図１２において、表示位置（Ｘｃ，Ｙｃ）は表示部１２８の表示画面の略中央に位置する点であり、括弧内はその点の座標を画素数で示している。点Ｆ１〜点Ｆ４の表示位置（Ｘ１１，Ｙ１１）、（Ｘ１２，Ｙ１２）、（Ｘ１３，Ｙ１３）、（Ｘ１４，Ｙ１４）は、上述した平面図形２２０ａのＸ軸方向の画素数Ｎｘ１、Ｙ軸方向の画素数Ｎｙ１を用いて、以下の式２７〜式３４で導出される。
Ｘ１１＝Ｘｃ−Ｎｘ１・１／２ …（式２７）
Ｙ１１＝Ｙｃ−Ｎｙ１・１／２ …（式２８）
Ｘ１２＝Ｘｃ＋Ｎｘ１・１／２ …（式２９）
Ｙ１２＝Ｙｃ−Ｎｙ１・１／２ …（式３０）
Ｘ１３＝Ｘｃ−Ｎｘ１・１／２ …（式３１）
Ｙ１３＝Ｙｃ＋Ｎｙ１・１／２ …（式３２）
Ｘ１４＝Ｘｃ＋Ｎｘ１・１／２ …（式３３）
Ｙ１４＝Ｙｃ＋Ｎｙ１・１／２ …（式３４）

同様に、点Ｒ１〜点Ｒ４の表示位置（Ｘ２１，Ｙ２１）、（Ｘ２２，Ｙ２２）、（Ｘ２３，Ｙ２３）、（Ｘ２４，Ｙ２４）は、上述した平面図形２２０ａのＸ軸方向の画素数Ｎｘ２、Ｙ軸方向の画素数Ｎｙ２を用いて、以下の式３５〜式４２で導出される。
Ｘ２１＝Ｘｃ−Ｎｘ２・１／２ …（式３５）
Ｙ２１＝Ｙｃ−Ｎｙ２・１／２ …（式３６）
Ｘ２２＝Ｘｃ＋Ｎｘ２・１／２ …（式３７）
Ｙ２２＝Ｙｃ−Ｎｙ２・１／２ …（式３８）
Ｘ２３＝Ｘｃ−Ｎｘ２・１／２ …（式３９）
Ｙ２３＝Ｙｃ＋Ｎｙ２・１／２ …（式４０）
Ｘ２４＝Ｘｃ＋Ｎｘ２・１／２ …（式４１）
Ｙ２４＝Ｙｃ＋Ｎｙ２・１／２ …（式４２）

指標生成部１８４は、導出した点Ｆ１〜点Ｆ４の表示位置と点Ｒ１〜点Ｒ４の表示位置とを図１２のように結線し、平面図形２２０ａを生成する。

続いて、平面図形２２０ａと被写体１０４とが映像上で重なる場合に生じ得る問題について説明する。

図１３は、平面図形２２０ａと被写体１０４の画像が重なることによる問題を説明するための説明図である。特に、図１３（ａ）は、平面図形２２０ａを左眼用映像と右眼用映像の両方に重畳した場合を示し、図１３（ｂ）は、平面図形２２０ａを右眼用映像のみに重畳した場合を示す。

図１３（ａ）において、左眼用映像と右眼用映像における被写体１０４の視差は、左眼用映像と右眼用映像における平面図形２２０ａの視差より大きい。そのため、被写体１０４の結像位置は、平面図形２２０ａの結像位置よりも、撮像者に近くなる。

しかし、平面図形２２０ａを左眼用映像と右眼用映像の両方に重畳すると、図１３（ａ）のように、左眼用映像と右眼用映像の被写体の一部が平面図形２２０ａに置換された状態となるため、表示部１２８に表示された立体映像において、被写体１０４の一部を平面図形２２０ａが隠す（覆う）こととなる。人間は重なって表示される２つの物体について、視認できる物体が手前に位置し、その視認できる物体に置換されたことによって視認できなくなっている物体が奥に位置すると判断する。この場合、結像位置に関しては、被写体１０４が平面図形２２０ａより手前に知覚されるにも拘わらず、映像の重なり方次第では平面図形２２０ａが被写体１０４より手前にあるように見え、撮像者は、平面図形２２０ａと被写体１０４の前後関係を判断できないため、正常な立体映像を知覚できない。

そこで、表示制御部１８０は、輻輳点距離Ｌ０と被写体距離Ｌ１との差分値を示すデータ、輻輳角の大きさを示すデータ、平面図形２２０ａ等の指標を示すデータを、左眼用映像データまたは右眼用映像データのいずれか一方の映像データにのみ合成する（差分値を示す文字列、輻輳角の大きさを示す文字列、指標を、左眼用映像または右眼用映像のいずれか一方の映像にのみ重畳する。）。例えば、図１３（ｂ）の例では、平面図形２２０ａを右眼用映像にのみ重畳させた場合の左眼用映像と右眼用映像とが示されている。

このように一方の映像にのみ指標や、差分値を示す文字列、輻輳角の大きさを示す文字列を重畳すれば、これら指標等の結像点は生成されない。その結果、上述した結像位置と映像の重なり方の関係の不一致が起きず、撮像者は、正常な立体映像を知覚できる。

また、人間は、利き眼で視認対象に焦点を合わせ、もう一方の眼は漠然と背景を捉えているため、利き眼側の映像データに指標を示すデータ等を合成することが望ましい。この場合、表示制御部１８０は、予め、撮像者が操作入力によって利き眼記録部１３４に記録した、撮像者の利き眼を示す利き眼情報に基づいて、左眼用映像データまたは右眼用映像データのうち、利き眼に対応する映像データにのみ、輻輳点距離Ｌ０と被写体距離Ｌ１との差分値を示すデータ、輻輳角の大きさを示すデータ、または、平面図形２２０ａ等の指標を示すデータを合成する。かかる構成により、表示制御部１８０は、立体映像の結像関係に影響を与えることなく指標等を表示することができ、撮像者は、立体映像を知覚しつつ、正常に指標等を視認することができる。

また、指標生成部１８４は、輻輳点距離Ｌ０と被写体距離Ｌ１とを比較し、どちらが大きいかに従って指標の表示態様を異ならせてもよい。指標生成部１８４は、例えば、指標として用いられる平面図形２２０ａの線の太さや色を異ならせて、輻輳点距離Ｌ０と被写体距離Ｌ１のどちらが大きいかを表す。

図１４は、指標の重畳処理の例を示す説明図である。図１４では、理解を容易にするため、２Ｄ映像に指標を重畳する例を挙げているが、勿論、立体映像に指標を重畳する場合にも適用できる。したがって、ここでは、２Ｄであるか立体であるかに限定せず、単に映像データや映像といった表現を用いている。ここでも、指標として図６で説明した平面図形２２０ａを用いることとし、指標と平面図形２２０ａとを同義に扱っている。また、図１４（ａ）〜（ｉ）の外枠は、表示部１２８の表示画面を示している。

図１４中、特に、図１４（ａ）は、輻輳点より近くにある被写体１０４を撮像している場合を示し、図１４（ｂ）は、輻輳点より遠くにある被写体１０４を撮像している場合を示し、図１４（ｃ）は、輻輳点にある被写体１０４を撮像している場合を示し、図１４（ｄ）は、近接位置にある被写体１０４を撮像している場合を示し、図１４（ｅ）は、輻輳点から（Ｌ０−Ｌｍｉｎ）の距離だけ撮像者から遠くにある被写体１０４を撮像している場合を示し、図１４（ｆ）は、輻輳点より近くにある被写体１０４を、図１４（ａ）のときより輻輳角を大きくして撮像している場合を示し、図１４（ｇ）は、輻輳点より近くにある被写体１０４を撮像し、表示画面の一部の範囲に、撮像された映像を表示する場合を示し、図１４（ｈ）および図１４（ｉ）は、近接位置にある被写体１０４を撮像し、図１４（ｇ）と同様、表示画面の一部の範囲に、撮像された映像を表示する場合を示す。

図１４（ａ）のように、被写体１０４が輻輳点より近くに位置する場合、指標生成部１８４は、平面図形２２０ａのうち、外側の四角形２３２ａの線種には太線を用い、内側の四角形２３２ｂの線種には細線を用いる。また、指標生成部１８４は、外側の四角形２３２ａの色を、内側の四角形２３２ｂの色、および結線２３２ｃの色（いずれも表示色１）よりも濃い色（表示色２）とし、恰も内側の四角形２３２ｂと結線２３２ｃとが外側の四角形２３２ａの背後に隠れているように見せる。さらに、四角形２３２ａ、２３２ｂ同士の頂点を結ぶ結線２３２ｃを外側の四角形２３２ａの頂点から内側の四角形２３２ｂの頂点に向けて細くして楔形の線を形成する。このような表示態様によって、撮像者は、内側の四角形２３２ｂが、外側の四角形２３２ａよりも遠方にあるように知覚し、平面図形２２０ａから多面体（図６における図形２２０）を想起し易い。

撮像者は、多面体の図形２２０のイメージを想起することで、輻輳点が被写体１０４より遠くにあることを瞬時に把握することが可能となる。また、上述したように、内側の四角形２３２ｂは、被写体１０４から輻輳点までの距離に応じた大きさを持つので、撮像者はこの四角形２３２ｂの大きさに従って、被写体１０４から輻輳点までの距離を直感的に把握することが可能となる。

また、平面図形２２０ａと共に、表示制御部１８０は、上述した差分値を示す文字列２００を表示部１２８に表示させてもよい。このとき、表示制御部１８０は差分値を示す文字列２００に正負の符号を付けてもよい。例えば、上述した図４（ａ）と同様、被写体１０４が輻輳点より近くに位置するとき、表示制御部１８０は、差分値を示す文字列２００に負（マイナス）の符号を付ける。逆に被写体１０４が輻輳点より遠くにあるとき、表示制御部１８０は、差分値を示す文字列２００に正（プラス）の符号を付ける。図１４（ａ）の例では、撮像者は、マイナス符号を付した差分値を示す文字列２００を通じて被写体１０４が輻輳点より１ｍ近くに位置することを瞬時かつ定量的に把握することができる。ここでは、指標としての平面図形２２０ａと共に差分値を示す文字列２００を表示する例を示しているが、輻輳角の大きさを示す文字列２０２も表示できることは言うまでもない。

図１４（ｂ）のように、被写体１０４が輻輳点より遠くに位置する場合、指標生成部１８４は、平面図形２２０ａのうち、外側の四角形２３２ａの線種には細線を用い、内側の四角形２３２ｂの線種には太線を用いる。また、外側の四角形２３２ａ、内側の四角形２３２ｂ、結線２３２ｃを１色（表示色３）のみで表示する。さらに、結線２３２ｃを外側の四角形２３２ａの頂点から内側の四角形２３２ｂの頂点に向けて太くする。

このような表示態様によって、撮像者は、内側の四角形２３２ｂが、外側の四角形２３２ａよりも近くにあるように知覚し、平面図形２２０ａから多面体（図６における図形２２０）を想起し易い。さらに、指標生成部１８４は、被写体１０４が輻輳点より近くにある図１４（ａ）の場合と異なる色（表示色３）を用いて平面図形２２０ａを生成することによって、平面図形２２０ａの方向性、すなわち、平面図形２２０ａの元となる図６で説明した図形２２０における、光軸１０８ａに垂直な断面の面積の大きさが減少する方向が撮像者側に向いているのか、撮像者と反対の方向を向いているのかを表すことができる。

撮像者は、多面体の図形２２０のイメージを想起することで、輻輳点が被写体１０４より近くにあることを瞬時に把握することが可能となる。また、内側の四角形２３２ｂは、被写体１０４から輻輳点までの距離に応じた大きさを持つので、撮像者はこの四角形の大きさに従って、被写体１０４から輻輳点までの距離を直感的に把握することが可能となる。

また、図１４（ｂ）の例において、被写体１０４は輻輳点より遠くにあるので、表示制御部１８０はプラス符号を付した差分値を示す文字列２００を表示部１２８に表示させ、撮像者は、差分値を示す文字列２００を通じて被写体１０４が輻輳点より１ｍ遠くに位置することを瞬時かつ定量的に把握することができる。

図１４（ｃ）に示すように、輻輳点にある被写体１０４を撮像している場合、指標生成部１８４は、平面図形２２０ａの内側の四角形２３２ｂを構成する４つの点を重ね、１つの点として平面図形２２０ａを生成する。また、指標生成部１８４は、結線２３２ｃを外側の四角形２３２ａからこの点に向けて細くすることで、撮像者は、平面図形２２０ａから、外側の四角形２３２ａを底面とする四角錐を想起する。また、指標生成部１８４は、結線２３２ｃを外側の四角形２３２ａの色（表示色２）より淡い色（表示色１）とし、恰も結線２３２ｃが外側の四角形２３２ａの背後に隠れているようにすることで、平面図形２２０ａの方向性を表すことができる。

また、図１４（ｃ）の例においては、被写体１０４が輻輳点にあるので、表示制御部１８０はプラスマイナスの符号を付した差分値を示す文字列２００を表示部１２８に表示させ、撮像者は、差分値を示す文字列２００を通じて被写体１０４が輻輳点にあることを瞬時に把握することができる。

近接面で撮像される映像を表示部１２８の表示画面の縦横全幅に渡って表示されるように構成している場合において、図１４（ｄ）に示すように、近接位置にある被写体１０４を撮像すると、指標生成部１８４は、平面図形２２０ａの内側の四角形２３２ｂが表示部１２８の表示画面の縦横全幅に渡って表示されるように平面図形２２０ａを生成し、平面図形２２０ａの外側の四角形２３２ａと結線２３２ｃとを形成しない。このとき、指標生成部１８４は、平面図形２２０ａの内側の四角形２３２ｂの色を表示色１とする。こうして、撮像者は、被写体１０４が近接位置にあることを瞬時に把握することができる。

また、図１４（ｄ）の例において、被写体１０４は輻輳点より近くにあるので、表示制御部１８０はマイナスの符号を付した差分値を示す文字列２００を表示部１２８に表示させ、撮像者は、差分値を示す文字列２００を通じて被写体１０４が輻輳点より４ｍ近くにあることを瞬時に把握することができる。

近接面で撮像される映像を表示部１２８の表示画面の縦横全幅に渡って表示されるように構成している場合において、図１４（ｅ）に示すように、輻輳点から（Ｌ０−Ｌｍｉｎ）の距離だけ遠くにある被写体１０４を撮像すると、指標生成部１８４は、図１４（ｄ）と同様、平面図形２２０ａの内側の四角形２３２ｂが表示部１２８の表示画面の縦横全幅に渡って表示されるように平面図形２２０ａを生成し、外側の四角形２３２ａと結線２３２ｃとを形成しない。ここで、輻輳点から（Ｌ０−Ｌｍｉｎ）の距離だけ遠い位置とは、輻輳点を中心として近接位置と対称となる位置である。このとき、指標生成部１８４は、平面図形２２０ａの内側の四角形２３２ｂの色を表示色３とする。指標生成部１８４は、被写体１０４が輻輳点より近くにある場合と異なる表示色３を用いて内側の四角形２３２ｂを生成することによって、平面図形２２０ａの方向性を表すことができる。こうして、撮像者は、被写体１０４が輻輳点より（Ｌ０−Ｌｍｉｎ）だけ遠い距離にあることを把握することができる。

このように平面図形２２０ａの表示態様を変える構成により、撮像者は、平面図形２２０ａの形状に基づいて、輻輳点が被写体１０４より遠いのか近いのかを瞬時に把握することができる。

また、図１４（ｅ）の例において、被写体１０４は輻輳点より遠くにあるので、表示制御部１８０はプラスの符号を付した差分値を示す文字列２００を表示部１２８に表示させ、撮像者は、差分値を示す文字列２００を通じて被写体１０４が輻輳点より４ｍ遠くにあることを瞬時に把握することができる。

図１４（ｆ）に示すように、輻輳点より近くにある被写体１０４を撮像している場合であって、図１４（ａ）のときより輻輳角を大きくして、かつ、平面図形２２０ａの内側の四角形２３２ｂの大きさが図１４（ａ）と等しくなる位置に、被写体１０４がくるように撮像している場合（内側の四角形２３２ｂの大きさが等しくなるように撮像しているので、輻輳角が大きい図１４（ｆ）における撮像者から被写体１０４までの距離は、図１４（ａ）における撮像者から被写体１０４までの距離より短くなる。）、図６を用いて説明したように輻輳角が大きくなると外側の四角形２３２ａと内側の四角形２３２ｂの面積差が大きくなる。したがって、指標生成部１８４は、図１４（ａ）で示した平面図形２２０ａと比較して外側の四角形２３２ａが大きくなるように平面図形２２０ａを生成し、結果的に、外側の四角形２３２ａと内側の四角形２３２ｂとの頂点を結ぶ結線２３２ｃが長くなる。撮像者は、平面図形２２０ａの内側の四角形２３２ｂと外側の四角形２３２ａの大きさの差によって、輻輳角の大きさを直感的に把握することができる。

表示画面の一部の範囲に、撮像された映像を表示する場合、すなわち、表示部１２８の表示画面のすべての画素を使用しない場合（図１４（ｇ）〜（ｉ）中、使用しない範囲にはクロスハッチングを施している。）において、図１４（ｇ）に示すように、図１４（ａ）同様、輻輳点より近くにある被写体１０４を撮像すると、指標生成部１８４は、映像データに基づく映像の表示範囲の縦横の比率と、平面図形２２０ａの縦横の比率が等しくなるように平面図形２２０ａを生成する。ここでは、表示部１２８に表示されている撮像された映像の表示範囲全体を使って平面図形２２０ａが表示されるので、撮像者は、平面図形２２０ａの僅かな大きさの変化も把握し易くなる。

図１４（ｇ）同様、表示画面の一部の範囲に、撮像された映像を表示する場合において、図１４（ｈ）に示すように、近接位置にある被写体１０４を撮像すると、指標生成部１８４は、平面図形２２０ａの内側の四角形２３２ｂを映像データに基づく映像の表示範囲の縦横全幅に渡る大きさに生成し、撮像された映像の表示範囲の縦横全幅に渡って平面図形２２０ａの内側の四角形２３２ｂを表示させる。こうして、表示画面の一部の範囲に、撮像された映像を表示する場合であっても、撮像者は、被写体１０４が近接位置にあることを瞬時に把握することができる。

図１４（ｈ）と同様、表示画面の一部の範囲に、撮像された映像を表示する場合において、図１４（ｉ）に示すように、近接位置にある被写体１０４を撮像した場合に、指標生成部１８４は、平面図形２２０ａの内側の四角形２３２ｂのうち、少なくとも横方向の線分に関して、表示部１２８の映像の表示範囲の横方向の全幅に渡って表示されるように平面図形２２０ａを生成してもよい。このように、平面図形２２０ａの少なくとも一方の大きさを変化させただけでも、撮像者は、表示画面上に表示された平面図形２２０ａの一方の大きさと、撮像された映像の表示範囲の大きさとを比較することによって、被写体１０４と近接位置との位置関係や、立体映像として結像できなくなる限界位置を容易に把握することができる。

本実施形態では、指標の形状を四角形としたが、かかる場合に限定されず、四角形以外の多角形、直線、曲線、楕円を含む円、文字、記号等であってもよい。例えば、指標は、相似な２つの多角形で形成され、指標生成部１８４は、２つの多角形の各頂点同士の結線の長さが第２相対量の大きさに対応した長さとなるように指標を生成する。また、輻輳点距離Ｌ０と被写体距離Ｌ１との大小関係によって、異なる色の指標を表示する場合を例に挙げたが、かかる場合に限定されず、指標生成部１８４は、模様、形状、大きさ、質感、光沢、透明度などの表示形態を変えて指標を生成してもよい。

上述したように、指標等を表示部１２８に表示させる構成により、撮像者は、被写体１０４と輻輳点との位置関係および輻輳角の大きさを瞬時に把握することが可能となる。

（立体映像撮像方法）
さらに、上述した立体映像撮像装置１００を用いた立体映像撮像方法も提供される。図１５〜図１９は、立体映像撮像方法の処理の流れを示すフローチャートである。ここでも、指標として図６で説明した平面図形２２０ａを用いることとし、指標と平面図形２２０ａとを同義に扱う。

図１５に示す処理を開始すると、撮像部１０６ａ、１０６ｂは、左眼用映像データと右眼用映像データを生成し（Ｓ３０２）、指標生成部１８４は、撮像部１０６ａ、１０６ｂに指示した光学ズームの倍率から水平画角βを導出し、水平画角βと、駆動回路１５８から得られる輻輳角の大きさαと、撮像部１０６ａ、１０６ｂの間の距離Ｌｃとを用い、撮像部１０６から近接位置までの近接距離Ｌｍｉｎを式５より導出する（Ｓ３０４）。

輻輳点距離導出部１７４は、輻輳角の大きさαと撮像部１０６ａ、１０６ｂの間の距離Ｌｃとを用い、撮像部１０６から輻輳点までの距離Ｌ０を式８より導出する（Ｓ３０６）。被写体距離導出部１７６は、撮像部１０６ａ、１０６ｂのフォーカスレンズ１５０ａ、１５０ｂの合焦位置を取得し、撮像部１０６ａから被写体までの距離Ｌｌ１と、撮像部１０６ｂから被写体までの距離Ｌｒ１を導出する（Ｓ３０８）。そして、被写体距離導出部１７６は、被写体距離Ｌｌ１とＬｒ１の平均値Ｌ１を導出し、その平均値を改めて被写体距離Ｌ１とする（Ｓ３１０）。

続いて、差分値導出部１７８は、被写体距離Ｌ１と輻輳点距離Ｌ０との差分値Ｌｄを導出する（Ｓ３１２）。指標生成部１８４は、上記で求めた各値を用いて、合焦位置での距離Ｄ１と、合焦位置から距離Ｌｔだけ離れた位置での距離Ｄ２とを求めるための距離導出処理を行う（Ｓ３１４）。距離導出ステップＳ３１４については、図１６を用いて後に詳述する。

指標生成部１８４は、表示部１２８に表示されている映像のＸ軸方向の画素数ＮｘとＹ軸方向の画素数Ｎｙを導出する（Ｓ３１６）。ここで、映像が表示部１２８の表示画面の縦横全幅に渡って表示されている場合には表示画面の画素数からＮｘ、Ｎｙを求めればよい。そして、指標生成部１８４は、距離Ｄ１に相当する、表示部１２８に表示されている映像のＸ軸方向の画素数Ｎｘ１を式１８または式１９より導出し、Ｙ軸方向の画素数Ｎｙ１を式２３または式２４より導出する。また、距離Ｄ２に相当する、表示部１２８に表示されている映像のＸ軸方向の画素数Ｎｘ２を式２１または式２２より導出し、Ｙ軸方向の画素数Ｎｙ２を式２５または式２６より導出する（Ｓ３１８）。

続いて、指標生成部１８４は、指標としての平面図形２２０ａの内側の四角形２３２ｂを構成する点Ｆ１〜点Ｆ４の表示位置（Ｘ１１，Ｙ１１）、（Ｘ１２，Ｙ１２）、（Ｘ１３，Ｙ１３）、（Ｘ１４，Ｙ１４）を式２７〜３４より導出する（Ｓ３２０）。そして、指標生成部１８４は、指標としての平面図形２２０ａの外側の四角形２３２ａを構成する点Ｒ１〜点Ｒ４の表示位置（Ｘ２１，Ｙ２１）、（Ｘ２２，Ｙ２２）、（Ｘ２３，Ｙ２３）、（Ｘ２４，Ｙ２４）を式３５〜４２より導出する（Ｓ３２２）。

表示制御部１８０は、立体映像の表示が選択されているか否かを判定し（Ｓ３２４）、立体映像の表示が選択されている場合（Ｓ３２４におけるＹＥＳ）、利き眼記録部１３４から利き眼情報を読み出し（Ｓ３２６）、平面図形２２０ａを示すデータの合成対象として、左眼用映像データまたは右眼用映像データのうち利き眼に対応する映像データを選択する（Ｓ３２８）。また、立体映像の表示が選択されていない場合、すなわち、２Ｄ映像の表示が選択されている場合（Ｓ３２４におけるＮＯ）、表示制御部１８０は、平面図形２２０ａを示すデータの合成対象として、２Ｄ映像データを選択する（Ｓ３３０）。

表示制御部１８０は、輻輳点距離Ｌ０と被写体距離Ｌ１との差分値Ｌｄを示すデータを、平面図形２２０ａを示すデータの合成対象として選択された映像データに合成する（Ｓ３３２）。差分値Ｌｄは、差分値Ｌｄを示す文字列として符号付きで表示されるので、撮像者はこの差分値Ｌｄを示す文字列を通じて、被写体と輻輳点との前後関係を瞬時に把握することができる。また、ここでは差分値Ｌｄを示すデータを合成する例を挙げているが輻輳角の大きさを示すデータを合成することも可能である。指標生成部１８４は、点Ｆ１〜点Ｆ４の表示位置（Ｘ１１，Ｙ１１）、（Ｘ１２，Ｙ１２）、（Ｘ１３，Ｙ１３）、（Ｘ１４，Ｙ１４）を結線するための合成処理Ａを行い、合成対象として選択された映像データに、生成された、平面図形２２０ａにおける点Ｆ１〜点Ｆ４が成す内側の四角形２３２ｂを示すデータを合成する（Ｓ３３４）。合成処理Ａについては、図１７を用いて後述する。

指標生成部１８４は、合焦位置での距離Ｄ１が近接位置での距離Ｄｍａｘと等しいか否かを判定し（Ｓ３３６）、距離Ｄ１が距離Ｄｍａｘと等しくない場合（Ｓ３３６におけるＮＯ）、合成処理Ｂ（Ｓ３３８）および合成処理Ｃを行い（Ｓ３４０）、表示制御部１８０は、合成対象として選択された映像データに、生成された、平面図形２２０ａにおける点Ｒ１〜点Ｒ４が成す外側の四角形２３２ａおよび結線２３２ｃを示すデータを合成する。合成処理Ｂについては図１８を用い、合成処理Ｃについては図１９を用いて、後に詳述する。

距離Ｄ１が距離Ｄｍａｘと等しい場合（Ｓ３３６におけるＹＥＳ）、平面図形２２０ａにおける点Ｆ１〜点Ｆ４が成す内側の四角形２３２ｂの大きさが、表示部１２８に表示されている映像の大きさと等しくなっており、平面図形２２０ａにおける点Ｒ１〜点Ｒ４が成す外側の四角形２３２ａおよび結線２３２ｃを映像内に表示できないため、指標生成部１８４は合成処理Ｂおよび合成処理Ｃを行わない。ただし、距離Ｄ１が距離Ｄｍａｘと等しい場合に、平面図形２２０ａの内側の四角形２３２ｂのうち、縦方向または横方向の少なくとも一方に関して、映像の表示範囲の大きさと等しくなるように構成した場合、他方に関して合成処理Ｂおよび合成処理Ｃを行ってもよい。

立体映像の表示が選択されている場合（Ｓ３４２におけるＹＥＳ）、表示制御部１８０は、利き眼に対応する映像データに差分値を示すデータおよび平面図形２２０ａを示すデータが合成された立体映像データに基づく立体映像を表示部１２８に表示させる（Ｓ３４４）。また、立体映像の表示が選択されていない場合、すなわち、２Ｄ映像の表示が選択されている場合（Ｓ３４２におけるＮＯ）、表示制御部１８０は、差分値を示すデータおよび平面図形２２０ａを示すデータが合成された２Ｄ映像データに基づく２Ｄ映像を表示部１２８に表示させる（Ｓ３４６）。そして、映像データ生成ステップＳ３０２に戻る。

ここで、撮像者が、表示部１２８に表示された平面図形２２０ａや映像を視認しながら、任意のタイミングで映像の記録を指示すると、記録制御部１８２は、映像圧縮部１２６が所定の符号化方式で符号化した立体映像符号化データまたは２Ｄ映像符号化データを映像記録部１３２に記録させる。

続いて、図１６を用いて、距離導出ステップＳ３１４について説明する。指標生成部１８４は、被写体距離Ｌ１が輻輳点距離Ｌ０以下か否かを判定し（Ｓ３５０）、被写体距離Ｌ１が輻輳点距離Ｌ０以下である場合（Ｓ３５０におけるＹＥＳ）、すなわち被写体が輻輳点より近くに位置する場合、距離Ｄ１を式７により導出する（ステップＳ３５２）。被写体距離Ｌ１が輻輳点距離Ｌ０より大きい場合（Ｓ３５０におけるＮＯ）、すなわち被写体が輻輳点より遠くにある場合、指標生成部１８４は、距離Ｄ１を式１３により導出する（Ｓ３５４）。

指標生成部１８４は、距離導出ステップＳ３５２またはＳ３５４で導出した距離Ｄ１が距離Ｄｍａｘより大きいか否かを判定し（Ｓ３５６）、大きい場合（Ｓ３５６におけるＹＥＳ）、距離Ｄ１にＤｍａｘの値を代入する（Ｓ３５８）。距離Ｄ１が距離Ｄｍａｘ以下である場合（Ｓ３５６におけるＮＯ）、代入ステップＳ３５８は行わない。

合焦位置での距離Ｄ１が近接位置での距離Ｄｍａｘと等しい場合、平面図形２２０ａの点Ｆ１〜点Ｆ４が成す内側の四角形２３２ｂは表示部１２８に表示されている映像の表示範囲の大きさと等しくなるように表示されている。したがって、合焦位置での距離Ｄ１が、近接位置での距離Ｄｍａｘより大きくなるような位置に被写体がある場合、例えば、被写体が近接位置より近くにある場合などには平面図形２２０ａの内側の四角形２３２ｂの大きさが表示部１２８に表示されている映像の表示範囲を超えることとなってしまう。このような場合でも、上述した代入ステップＳ３５８によって、距離Ｄ１が距離Ｄｍａｘ以上とならないようにし、平面図形２２０ａの内側の四角形２３２ｂを、表示部１２８に表示されている映像の表示範囲の大きさと等しくしている。

続いて、指標生成部１８４は、被写体距離Ｌ１が輻輳点距離Ｌ０以下か否かを判定し（Ｓ３６０）、被写体距離Ｌ１が輻輳点距離Ｌ０以下である場合（Ｓ３６０におけるＹＥＳ）、すなわち被写体が輻輳点より近くにいる場合、距離Ｄ２を式１１により導出する（Ｓ３６２）。被写体距離Ｌ１が輻輳点距離Ｌ０より大きい場合（Ｓ３６０におけるＮＯ）、すなわち被写体が輻輳点より遠くにいる場合には、指標生成部１８４は、距離Ｄ２を式１６により導出する（Ｓ３６４）。

そして、指標生成部１８４は、距離Ｄ２が距離Ｄｍａｘより大きいか否かを判定し（Ｓ３６６）、大きい場合（Ｓ３６６におけるＹＥＳ）、距離Ｄ２にＤｍａｘの値を代入する（Ｓ３６８）。距離Ｄ２が近接位置での距離Ｄｍａｘ以下である場合（Ｓ３６６におけるＮＯ）、代入ステップＳ３６８は行わない。

ここでも、距離Ｄ２が、近接位置での距離Ｄｍａｘより大きくなるような位置に被写体がいる場合などには、平面図形２２０ａの外側の四角形２３２ａの大きさが表示部１２８に表示されている映像の範囲を超えることとなってしまう。このような場合でも、上述した代入ステップＳ３６８によって、距離Ｄ２が距離Ｄｍａｘ以上とならないようにし、平面図形２２０ａの外側の四角形２３２ａを、表示部１２８に表示されている映像の大きさと等しくしている。

続いて、図１７を用いて、合成処理ＡステップＳ３３４について説明する。合成処理Ａは、平面図形２２０ａの点Ｆ１〜点Ｆ４で構成される内側の四角形２３２ｂを生成するための処理である。指標生成部１８４は、被写体距離Ｌ１が輻輳点距離Ｌ０以下か否かを判定し（Ｓ３８０）、被写体距離Ｌ１が輻輳点距離Ｌ０以下である場合（Ｓ３８０におけるＹＥＳ）、すなわち被写体が輻輳点より近くにある場合、表示色１を選択し（ステップＳ３８２）、線種として細線を選択する（ステップＳ３８４）。

被写体距離Ｌ１が輻輳点距離Ｌ０より大きい場合（Ｓ３８０におけるＮＯ）、すなわち被写体が輻輳点より遠くにある場合、指標生成部１８４は、表示色３を選択し（Ｓ３８６）、線種として太線を選択する（Ｓ３８８）。

上記の表示色選択ステップＳ３８２またはＳ３８６の処理は、被写体が輻輳点より近くにあるのか遠くにあるのかを撮像者に直感的に把握させるための処理であり、被写体が輻輳点より近くにある場合と遠くにある場合とで平面図形２２０ａの内側の四角形２３２ｂの表示色を変えることにより、撮像者に対して輻輳点に対する被写体の位置を直感的に把握させることができる。

また、線種選択ステップＳ３８４またはＳ３８８は、平面図形２２０ａをより立体的に見せるための処理であり、平面図形２２０ａの内側の四角形２３２ｂと外側の四角形２３２ａとの線の太さを異ならせることで、撮像者に対して平面図形２２０ａの向きを直感的に把握させることができる。撮像者は、平面図形２２０ａが撮像者と反対側に向いているように見えれば（平面図形２２０ａの元となる図６で説明した図形２２０における、光軸１０８ａに垂直な断面の面積の大きさが撮像者から遠くになるに連れ減少していれば）、被写体が輻輳点より近くにあると把握でき、平面図形２２０ａが撮像者側に向いているように見えれば（平面図形２２０ａの元となる図６で説明した図形２２０における、光軸１０８ａに垂直な断面の面積の大きさが撮像者から遠くになるに連れ増加していれば）、被写体が輻輳点より遠くにあることを把握できる。

指標生成部１８４は、表示色選択ステップＳ３８２またはＳ３８６で選択した表示色、および線種選択ステップＳ３８４またはＳ３８８で選択した線種を用いて、点Ｆ１、Ｆ２間を結線し（Ｓ３９０）、点Ｆ３、Ｆ４間を結線し（Ｓ３９２）、点Ｆ１、Ｆ３間を結線し（Ｓ３９４）、点Ｆ２、Ｆ４間を結線し（Ｓ３９６）、平面図形２２０ａの内側の四角形２３２ｂを生成する。

このとき、立体映像の表示が選択されていれば、表示制御部１８０は、このように生成された平面図形２２０ａの内側の四角形２３２ｂを示すデータを、利き眼情報読み出しステップＳ３２６にて利き眼記録部１３４から読み出した利き眼情報に基づいて、撮像者の利き眼に対応する映像データに合成する。

続いて、図１８を用いて、合成処理ＢステップＳ３３８について説明する。合成処理Ｂは、平面図形２２０ａの点Ｒ１〜点Ｒ４で構成される外側の四角形２３２ａを表示するための処理である。指標生成部１８４は、被写体距離Ｌ１が輻輳点距離Ｌ０以下か否かを判定し（Ｓ４００）、被写体距離Ｌ１が輻輳点距離Ｌ０以下である場合（Ｓ４００におけるＹＥＳ）、すなわち被写体が輻輳点より近くにある場合、表示色１よりも濃い表示色２を選択し（Ｓ４０２）、線種として太線を選択する（Ｓ４０４）。被写体距離Ｌ１が輻輳点距離Ｌ０より大きい場合（Ｓ４００におけるＮＯ）、すなわち被写体が輻輳点より遠くにある場合、指標生成部１８４は、表示色３を選択し（Ｓ４０６）、線種として細線を選択する（Ｓ４０８）。

上記の表示色選択ステップＳ４０２またはＳ４０６の処理は、被写体が輻輳点より近くにあるのか遠くにあるのかを撮像者に直感的に把握させるための処理であり、被写体が輻輳点より近くにある場合と遠くにある場合とで平面図形２２０ａの外側の四角形２３２ａの表示色を変えることにより、撮像者に対して輻輳点に対する被写体の位置を直感的に把握させることができる。

また、線種選択ステップＳ４０４またはＳ４０８は、平面図形２２０ａをより立体的に見せるための処理であり、平面図形２２０ａの内側の四角形２３２ｂと外側の四角形２３２ａとの線の太さを異ならせることで、撮像者に対して平面図形２２０ａの向きを直感的に把握させることができる。撮像者は、平面図形２２０ａが撮像者と反対側に向いているように見えれば、被写体が輻輳点より近くにあると把握でき、平面図形２２０ａが撮像者側に向いているように見えれば、被写体が輻輳点より遠くにあることを把握できる。

指標生成部１８４は、表示色選択ステップＳ４０２またはＳ４０６で選択した表示色、および線種選択ステップＳ４０４またはＳ４０８で選択した線種を用いて、点Ｒ１、Ｒ２間を結線し（Ｓ４１０）、点Ｒ３、Ｒ４間を結線し（Ｓ４１２）、点Ｒ１、Ｒ３間を結線し（Ｓ４１４）、点Ｒ２、Ｒ４間を結線し（Ｓ４１６）、平面図形２２０ａの外側の四角形２３２ａを生成する。

このとき、立体映像の表示が選択されていれば、表示制御部１８０は、このように生成された平面図形２２０ａの外側の四角形２３２ａを示すデータを、利き眼情報読み出しステップＳ３２６にて利き眼記録部１３４から読み出した利き眼情報に基づいて、撮像者の利き眼に対応する映像データに合成する。

続いて、図１９を用いて、合成処理ＣステップＳ３４０について説明する。合成処理Ｃは、平面図形２２０ａの点Ｆ１〜Ｆ４で構成される内側の四角形２３２ｂと、点Ｒ１〜Ｒ４で構成される外側の四角形２３２ａとの結線２３２ｃを生成するための処理である。

指標生成部１８４は、被写体距離Ｌ１が輻輳点距離Ｌ０以下か否かを判定し（Ｓ４３０）、被写体距離Ｌ１が輻輳点距離Ｌ０以下である場合（Ｓ４３０におけるＹＥＳ）、すなわち被写体が輻輳点より近くにある場合、表示色１を選択し（Ｓ４３２）、線種として、外側の四角形２３２ａの頂点から内側の四角形２３２ｂの頂点に向けて細くなる線（楔形線）を選択する（Ｓ４３４）。被写体距離Ｌ１が輻輳点距離Ｌ０より大きい場合（Ｓ４３０におけるＮＯ）、すなわち被写体が輻輳点より遠くにある場合、指標生成部１８４は、表示色３を選択し（Ｓ４３６）、線種として、内側の四角形２３２ｂの頂点から外側の四角形２３２ａの頂点に向けて細くなる線（楔形線）を選択する（Ｓ４３８）。

上記の表示色選択ステップＳ４３２またはＳ４３６の処理は、被写体が輻輳点より近くにあるのか遠くにあるのかを撮像者に直感的に把握させるための処理であり、被写体が輻輳点より近くにある場合と遠くにある場合とで結線２３２ｃの表示色を変えることにより、撮像者に対して輻輳点に対する被写体の位置を直感的に把握させることができる。

また、線種選択ステップＳ４３４またはＳ４３８は、平面図形２２０ａをより立体的に見せるための処理であり、平面図形２２０ａの内側の四角形２３２ｂと外側の四角形２３２ａとを、方向性を有する楔形の線で結ぶことで、撮像者に対して平面図形２２０ａの向きを直感的に把握させることができる。撮像者は、平面図形２２０ａが撮像者と反対側に向いているように見えれば、被写体が輻輳点より近くにあると把握でき、平面図形２２０ａが撮像者側に向いているように見えれば、被写体が輻輳点より遠くにあることを把握できる。

指標生成部１８４は、表示色選択ステップＳ４３２またはＳ４３６で選択した表示色、および線種選択ステップＳ４３４またはＳ４３８で選択した線種を用いて、点Ｆ１、Ｒ１間を結線し（Ｓ４４０）、点Ｆ２、Ｒ２間を結線し（Ｓ４４２）、点Ｆ３、Ｒ３間を結線し（Ｓ４４４）、点Ｆ４、Ｒ４間を結線し（Ｓ４４６）、平面図形２２０ａの結線２３２ｃを生成する。

このとき、立体映像の表示が選択されていれば、表示制御部１８０は、このように生成された結線２３２ｃを示すデータを、利き眼情報読み出しステップＳ３２６にて利き眼記録部１３４から読み出した利き眼情報に基づいて、撮像者の利き眼に対応する映像データに合成する。

表示色選択ステップＳ３８２、Ｓ３８６、Ｓ４０２、Ｓ４０６、Ｓ４３２、Ｓ４３６および線種選択ステップＳ３８４、Ｓ３８８、Ｓ４０４、Ｓ４０８、Ｓ４３４、Ｓ４３８の処理によって、指標生成部１８４は、平面図形２２０ａの表示態様を変化させ、被写体が輻輳点より近くにあるのか遠くにあるのかを撮像者に直感的に把握させることができる。

上述したように、立体映像撮像装置１００を用いた立体映像撮像方法によれば、被写体と輻輳点との位置関係を瞬時に把握させることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の立体映像撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、映像中の被写体を立体的に存在するかのように知覚させる立体映像データを生成する立体映像撮像装置および立体映像撮像方法に利用することができる。

１００ …立体映像撮像装置
１０２ …輻輳点
１０４ …被写体
１０６（１０６ａ、１０６ｂ） …撮像部
１０８ａ、１０８ｂ …光軸
１２４ …映像併合部
１２８ …表示部
１３４ …利き眼記録部
１７２ …輻輳角取得部
１７４ …輻輳点距離導出部
１７６ …被写体距離導出部
１７８ …差分値導出部
１８０ …表示制御部
１８４ …指標生成部

Claims (21)

1. 両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、
   前記複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、
   前記複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、
   前記輻輳点距離と前記被写体距離との差分値を導出する差分値導出部と、
   前記左眼用映像データおよび前記右眼用映像データの少なくとも一方に前記差分値を示すデータを合成する表示制御部と、
   前記差分値を示すデータが合成された、前記左眼用映像データおよび前記右眼用映像データを併合して立体映像データを生成する映像併合部と、
   前記立体映像データに基づく立体映像を表示する表示部と、
   を備えることを特徴とする立体映像撮像装置。
2. 前記差分値を示すデータは、前記左眼用映像データまたは前記右眼用映像データのうち予め定められた一方の映像データにのみ合成されることを特徴とする請求項１に記載の立体映像撮像装置。
3. 撮像者の利き眼を示す利き眼情報を記録する利き眼記録部をさらに備え、
   前記差分値を示すデータは、前記左眼用映像データまたは右眼用映像データのうち、前記利き眼情報で示される利き眼に対応する映像データにのみ合成されることを特徴とする請求項２に記載の立体映像撮像装置。
4. 前記複数の撮像部それぞれの光軸が成す輻輳角の大きさを取得する輻輳角取得部をさらに備え、
   前記表示制御部は、さらに前記輻輳角の大きさを示すデータを前記左眼用映像データおよび前記右眼用映像データの少なくとも一方に合成することを特徴とする請求項１に記載の立体映像撮像装置。
5. 両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、
   前記複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、
   前記複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、
   前記輻輳点距離と前記被写体距離との差分値を導出する差分値導出部と、
   前記左眼用映像データまたは前記右眼用映像データのうち予め定められた一方の映像データに前記差分値を示すデータを合成する表示制御部と、
   前記差分値を示すデータが合成された一方の映像データに基づく２Ｄ映像を表示する表示部と、
   を備えることを特徴とする立体映像撮像装置。
6. 両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、
   前記複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、
   前記複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、
   前記輻輳点距離と前記被写体距離との差分値を導出する差分値導出部と、
   前記差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成する指標生成部と、
   前記左眼用映像データおよび前記右眼用映像データの少なくとも一方に前記指標を示すデータを合成する表示制御部と、
   前記指標を示すデータが合成された、前記左眼用映像データおよび前記右眼用映像データを併合して立体映像データを生成する映像併合部と、
   前記立体映像データに基づく立体映像を表示する表示部と、
   を備えることを特徴とする立体映像撮像装置。
7. 前記指標を示すデータは、前記左眼用映像データまたは前記右眼用映像データのうち予め定められた一方の映像データにのみ合成されることを特徴とする請求項６に記載の立体映像撮像装置。
8. 撮像者の利き眼を示す利き眼情報を記録する利き眼記録部をさらに備え、
   前記指標を示すデータは、前記左眼用映像データまたは右眼用映像データのうち、前記利き眼情報で示される利き眼に対応する映像データにのみ合成されることを特徴とする請求項７に記載の立体映像撮像装置。
9. 両眼視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部と、
   前記複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出する輻輳点距離導出部と、
   前記複数の撮像部から被写体までの距離である被写体距離を導出する被写体距離導出部と、
   前記輻輳点距離と前記被写体距離との差分値を導出する差分値導出部と、
   前記差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成する指標生成部と、
   前記左眼用映像データまたは前記右眼用映像データのうち予め定められた一方の映像データに前記指標を示すデータを合成する表示制御部と、
   前記指標を示すデータが合成された一方の映像データに基づく２Ｄ映像を表示する表示部と、
   を備えることを特徴とする立体映像撮像装置。
10. 前記指標生成部は、前記第１相対量の大きさに対応した大きさで前記指標を生成することを特徴とする請求項６から９のいずれか１項に記載の立体映像撮像装置。
11. 前記指標は、四角形で形成されることを特徴とする請求項６から１０のいずれか１項に記載の立体映像撮像装置。
12. 前記指標生成部は、前記被写体から前記輻輳点までの距離が前記基準距離以上になると、四角形で形成された前記指標の縦方向または横方向の少なくとも一方の長さが、映像データに基づく映像の表示範囲の、前記一方に対応する方向の長さと等しくなるように前記指標を生成することを特徴とする請求項１１に記載の立体映像撮像装置。
13. 前記指標生成部は、前記被写体から前記輻輳点までの距離が前記基準距離以上になると、四角形で形成された前記指標の縦方向または横方向の少なくとも一方の長さが、前記表示部の表示画面の、前記一方に対応する方向の長さと等しくなるように前記指標を生成することを特徴とする請求項１１に記載の立体映像撮像装置。
14. 前記指標生成部は、前記指標に、前記複数の撮像部それぞれの光軸が成す輻輳角の、所定の基準角に対する相対量である第２相対量を示す表示態様を付加することを特徴とする請求項６から１０のいずれか１項に記載の立体映像撮像装置。
15. 前記指標は、相似な２つの多角形で形成され、前記指標生成部は、前記２つの多角形の各頂点同士の結線の長さが前記第２相対量の大きさに対応した長さとなるように前記指標を生成することを特徴とする請求項１４に記載の立体映像撮像装置。
16. 前記基準距離は、前記複数の撮像部の水平画角を成す線のうち、他の撮像部側にある線同士が交差する点を通り前記光軸と垂直に交わる直線と、前記光軸との交点から前記輻輳点までの距離であることを特徴とする請求項６から１５のいずれか１項に記載の立体映像撮像装置。
17. 前記指標生成部は、前記輻輳点距離と前記被写体距離とを比較し、どちらが大きいかに従って前記指標の表示態様を異ならせることを特徴とする請求項６から１６のいずれか１項に記載の立体映像撮像装置。
18. 両眼視差を有する左眼用映像データと右眼用映像データとを生成し、
    複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、
    前記複数の撮像部から被写体までの距離である被写体距離を導出し、
    前記輻輳点距離と前記被写体距離との差分値を導出し、
    前記左眼用映像データおよび前記右眼用映像データの少なくとも一方に前記差分値を示すデータを合成し、
    前記差分値を示すデータを合成した、前記左眼用映像データおよび前記右眼用映像データを併合して立体映像データを生成し、
    前記立体映像データに基づく立体映像を表示することを特徴とする立体映像撮像方法。
19. 両眼視差を有する左眼用映像データと右眼用映像データとを生成し、
    複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、
    前記複数の撮像部から被写体までの距離である被写体距離を導出し、
    前記輻輳点距離と前記被写体距離との差分値を導出し、
    前記左眼用映像データまたは前記右眼用映像データのうち予め定められた一方の映像データに前記差分値を示すデータを合成し、
    前記差分値を示すデータを合成した一方の映像データに基づく２Ｄ映像を表示することを特徴とする立体映像撮像方法。
20. 両眼視差を有する左眼用映像データと右眼用映像データとを生成し、
    複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、
    前記複数の撮像部から被写体までの距離である被写体距離を導出し、
    前記輻輳点距離と前記被写体距離との差分値を導出し、
    前記差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成し、
    前記左眼用映像データおよび前記右眼用映像データの少なくとも一方に前記指標を示すデータを合成し、
    前記指標を示すデータを合成した、前記左眼用映像データおよび前記右眼用映像データを併合して立体映像データを生成し、
    前記立体映像データに基づく立体映像を表示することを特徴とする立体映像撮像方法。
21. 両眼視差を有する左眼用映像データと右眼用映像データとを生成し、
    複数の撮像部から、前記複数の撮像部それぞれの光軸が交差する輻輳点までの距離である輻輳点距離を導出し、
    前記複数の撮像部から被写体までの距離である被写体距離を導出し、
    前記輻輳点距離と前記被写体距離との差分値を導出し、
    前記差分値に基づいて、被写体から輻輳点までの距離の、所定の基準距離に対する相対量である第１相対量を示す指標を生成し、
    前記左眼用映像データまたは前記右眼用映像データのうち予め定められた一方の映像データに前記指標を示すデータを合成し、
    前記指標を示すデータを合成した一方の映像データに基づく２Ｄ映像を表示することを特徴とする立体映像撮像方法。

Images