JP6066765B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮影の結果得られた画像に応じて撮影位置から被写体までの距離を示す距離情報を取得する撮像装置に関する。

一般に、複数の視点で被写体を撮像して複数の画像を得て、これら画像間の対応関係を検出して、撮像装置から被写体まで距離を示す距離情報を取得することが行われている。この手法を用いて距離情報を得る際には、一方の視点からは撮像されたが、他方の視点からは撮像されなかった領域（オクルージョン領域と呼ぶ）が存在する。そして、当該オクルージョン領域においては画像間の対応関係が検出できないので、距離情報を得ることが困難となってしまう。

このような点を解消するため、例えば、オクルージョン領域と当該オクルージョン領域を囲む周辺領域とからなる画像参照領域を画像から抽出して、画像参照領域をその特徴量からクラスタ（領域）に分類することが行われている（特許文献１参照）。そして、ここでは、クラスタにおいて距離情報を得られる場合には、クラスタにおける撮像装置との距離の平均値をオクルージョン領域における距離とする。

特開２０１１−６０２１６号公報

しかしながら、上述の特許文献１に記載の手法では、主要被写体の背景側に位置するオクルージョン領域と前景側に位置する非オクルージョン領域の特徴量（例えば、色、輝度、およびテクスチャ）が類似すると、撮像装置とオクルージョン領域との距離を誤判定することがある。

そこで、本発明の目的は、前景および背景の特徴量が類似している場合においても、オクルージョン領域に係る距離情報を精度よく検出することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、撮像レンズを備え、複数の視点で被写体を撮像して得られた複数の画像に応じて前記被写体を撮影した撮像位置から前記被写体までの距離を示す距離情報を得る撮像装置であって、前記被写体に合焦した状態で前記複数の視点において被写体を撮像して複数の視点画像を得る第１の撮像手段と、前記複数の視点画像によって前記撮像位置から前記被写体までの距離を示す第１の距離情報を取得する第１の距離情報取得手段と、前記複数の視点画像の間において互いに対応する領域を対応領域として探索する探索手段と、前記複数の視点の１つを基準視点として前記撮像レンズによる合焦位置を変更して前記被写体を撮像して少なくとも１つの合焦位置変更画像を得る第２の撮像手段と、前記対応領域を除く領域について前記合焦位置変更画像と前記基準視点で撮像された前記視点画像とに応じて前記撮像位置から前記被写体までの距離を示す第２の距離情報を取得する第２の距離情報取得手段とを有し、前記第１の距離情報と前記第２の距離情報とを前記距離情報とすることを特徴とする。

本発明による制御方法は、撮像レンズを備え、複数の視点で被写体を撮像して得られた複数の画像に応じて前記被写体を撮影した撮像位置から前記被写体までの距離を示す距離情報を得る撮像装置の制御方法であって、前記被写体に合焦した状態で前記複数の視点において被写体を撮像して複数の視点画像を得る第１の撮像ステップと、前記複数の視点画像によって前記撮像位置から前記被写体までの距離を示す第１の距離情報を取得する第１の距離情報取得ステップと、前記複数の視点画像の間において互いに対応する領域を対応領域として探索する探索ステップと、前記複数の視点の１つを基準視点として前記撮像レンズによる合焦位置を変更して前記被写体を撮像して少なくとも１つの合焦位置変更画像を得る第２の撮像ステップと、前記対応領域を除く領域について前記合焦位置変更画像と前記基準視点で撮像された前記視点画像とに応じて前記撮像位置から前記被写体までの距離を示す第２の距離情報を取得して、前記第１の距離情報と前記第２の距離情報とを前記距離情報とする第２の距離情報取得ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮像レンズを備え、複数の視点で被写体を撮像して得られた複数の画像に応じて前記被写体を撮影した撮像位置から前記被写体までの距離を示す距離情報を得る撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記被写体に合焦した状態で前記複数の視点において被写体を撮像して複数の視点画像を得る第１の撮像ステップと、前記複数の視点画像によって前記撮像位置から前記被写体までの距離を示す第１の距離情報を取得する第１の距離情報取得ステップと、前記複数の視点画像の間において互いに対応する領域を対応領域として探索する探索ステップと、前記複数の視点の１つを基準視点として前記撮像レンズによる合焦位置を変更して前記被写体を撮像して少なくとも１つの合焦位置変更画像を得る第２の撮像ステップと、前記対応領域を除く領域について前記合焦位置変更画像と前記基準視点で撮像された前記視点画像とに応じて前記撮像位置から前記被写体までの距離を示す第２の距離情報を取得して、前記第１の距離情報と前記第２の距離情報とを前記距離情報とする第２の距離情報取得ステップと、を実行させることを特徴とする。

本発明によれば、対応点が探索できないオクルージョン領域などの領域、つまり、対応領域を除く領域について合焦位置変更画像と基準視点で撮像された視点画像とに応じて撮像位置から被写体までの距離を示す第２の距離情報を取得するようにしたので、対応点が探索できないオクルージョン領域などの領域についても距離情報を精度よく検出することができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラで行われる距離情報の取得処理を説明するためのフローチャートである。 図２に示す基準画像の撮像ステップで得られた基準画像の一例を示す図である。 図２に示す第２の右目画像の撮像ステップで得られた第２の右目画像の一例を示す図である。 図１に示すカメラで第１の右目画像および第２の右目画像を撮像した際のカメラと被写体との位置関係を示す図である。 図１に示すカメラと被写体の位置関係を上方からみた図である。 図２に示す第１の左目画像の撮像ステップで得られた第１の左目画像の一例を示す図である。 本発明の実施の形態による二眼カメラの一例を示すブロック図である。 図１に示す第１の距離情報取得部で行われる距離情報取得のための探索を説明するための図である。 図９に示す探索においてその対応点が探索できなった輪郭線に囲まれた領域の一例を示す図である。 図２の示す第２の距離情報の算出処理を説明するためのフローチャートである。 図１０に示す対応点が探索できなかった領域を拡大して示す図である。 図１に示すカメラよって得られた第１の右目画像に含まれ第１の左目画像に含まれない領域を示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像レンズユニット（以下単に撮像レンズと呼ぶ）１０を備えている。撮像レンズ１０を介して撮像素子（例えば、ＣＭＯＳイメージセンサ）１２に光学像（被写体像）が結像する。撮像素子１２は光学像を光電変換して光学像に応じた電気信号（アナログ信号）を出力する。そして、Ａ／Ｄ変換器１４はアナログ信号をデジタル信号（画像データ）にＡ／Ｄ変換する。

レンズ駆動部１６は、制御部２０の制御下で撮像レンズ１０を水平垂直方向にシフト駆動するとともに、ピッチ方向およびヨー方向に駆動する。さらに、レンズ駆動部１６は撮像レンズ１０をワイド端方向又はテレ端方向に駆動する。メモリ１８には、撮影の結果得られた画像データが一時的に格納される。メモリ１８は、例えば、揮発性メモリである。制御部２０は、カメラ１００全体の制御を司る。つまり、制御部２０はＡ／Ｄ変換器１４、メモリ１８、第１の距離情報取得部３０、第２の距離情報取得部４０、輪郭抽出部５０、および対応点探索部６０におけるデータの送受を制御するとともに、レンズ駆動部１６の駆動制御を行う。

第１の距離情報取得部３０は、後述するように、被写体に合焦した状態で視点を変えて撮影された複数枚の画像（視点画像）を用いてカメラ１００（つまり、撮像位置）から被写体までの距離を算出して、第１の距離情報を得る。第２の距離情報取得部４０は、後述するように、複数の視点のうちの１つを基準視点として合焦位置を変更して撮影された少なくとも１つの画像（合焦位置変更画像）と基準視点で撮影された画像（視点画像）とを用いてカメラ１００（撮像位置）から被写体までの距離を算出して、第２の距離情報を得る。

輪郭抽出部５０は、後述するように、第１の距離情報取得部３０において画像間の対応点を検出できなかった領域の輪郭線を抽出する。対応点探索部６０は、異なる視点から撮影した複数枚の画像間の対応位置を検出する。

図２は、図１に示すカメラ１００で行われる距離情報の取得処理を説明するためのフローチャートである。

距離情報取得処理を開始すると、制御部２０はレンズ駆動部１６を制御して所定の合焦位置で複数の被写体を撮像レンズ１０を介して撮影して、画像データ（以下単に画像と呼ぶ）。そして、制御部２０はこの画像を基準画像として用いる第１の右目画像とする（ステップＳ２０２）。

図３は、図２に示す基準画像（第１の右目画像）の撮像ステップで得られた基準画像の一例を示す図である。

基準画像（第１の右目画像）には、被写体３１０および３２が存在し、ここでは、被写体３１０に撮像レンズ１０のピントが合っている。つまり、被写体３１０に合焦されている。

続いて、制御部２０はレンズ駆動部１６を制御して撮像レンズ１０を光軸に沿って駆動する。そして、制御部２０は撮像レンズ１０の合焦位置（フォーカス位置）を変更して、被写体３１０および３２を撮影して画像を得る（ステップＳ２０３）。制御部２０はこの画像を第２の右目画像とする。

図４は、図２に示す第２の右目画像の撮像ステップで得られた第２の右目画像の一例を示す図である。

第２の右目画像には、被写体３１０および３２が存在し、ここでは、被写体３１０に撮像レンズ１０のピントが合っていない。つまり、被写体３１０に合焦されていない状態である。

図５は、図１に示すカメラ１００で第１の右目画像および第２の右目画像を撮像した際のカメラ１００と被写体との位置関係を示す図である。

図示のように、第１の右目画像および第２の右目画像を撮像した際、カメラ１００に対して被写体３００は被写体３１０よりも手前側に位置する。そして、第１の右目画像においては、被写体３００および被写体３１０ともに被写界深度に入っているが、第２の右目画像においては、被写体３１０は被写界深度に入っているが、被写体３００は被写界深度に入っていない。

続いて、カメラ１００を移動させた後、制御部２０は第１の右目画像を撮影した視点とは異なる視点で被写体３００および３１を撮影して画像を得る（ステップＳ２０４）。そして、制御部２０はこの画像を第１の左目画像とする。

図６は、図１に示すカメラ１００と被写体の位置関係を上方からみた図である。

図示のように、カメラ１００に対して被写体３００は被写体３１０よりも手前側にあり、第１の右目画像を撮影した際のカメラ１００の位置を撮影位置１３００とすると、第１の左目画像を撮影する際には、撮影位置１３００から図中左側にカメラ１００を移動させる。そして、撮影位置１３０１で第１の左目画像を撮影する。

図７は、図２に示す第１の左目画像の撮像ステップで得られた第１の左目画像の一例を示す図である。

図３に示す第１の右目画像を撮影した際には、カメラ１００は撮影位置１３００に位置する（図６参照）。つまり、撮像レンズ１０の光軸は被写体３００と被写体３１０との間に位置する。一方、第１の左目画像を撮影した際には、カメラ１００は撮影位置１３０１に位置する。つまり、撮像レンズ１０の光軸は被写体３００の左側に位置する。従って、第１の左目画像では、図７に示すように、被写体３００と被写体３１０との間隔がほとんどない状態となる。

ところで、１つの撮影レンズ１０のみを有するカメラ１００では、右目画像および左目画像を得る際には、前述のように、カメラ１００を移動させる必要がある。一方、一対の撮像レンズを備えて、これら撮影レンズの光軸を所定の間隔離して配置した所謂二眼カメラを用いれば、カメラを移動することなく、右目画像および左目画像を得ることができる。

図８は本発明の実施の形態による二眼カメラの一例を示すブロック図である。なお、図示の二眼カメラ１０１において、図１に示すカメラ１００と同一の構成要素については同一の参照番号を付して説明を省略する。

図示の二眼カメラ１０１は、撮像レンズ１０、撮像素子１２、Ａ／Ｄ変換器１４、およびレンズ駆動部１６を備える第１の撮像系統の他に、撮像レンズ９０、撮像素子９２、Ａ／Ｄ変換器９４、およびレンズ駆動部９６を備える第２の撮像系統を有している。なお、第２の撮像系統の機能は、第１の撮像系統の機能と同様である。

図８に示す二眼カメラ１０１では、図１に示すカメラ１００のようにその撮影位置を移動させて第１の右目画像および第１の左目画像を撮影する必要はなく、例えば、第１の撮像系統で第１の右目画像を撮影し、第２の撮像系統で第１の左目画像を撮影すればよい。撮影後の処理は、図１に示すカメラ１００および図８に示す二眼カメラ１０１ともに同様である。

再び図２を参照して、上述のようにして得られた第１の右目画像および第１の左目画像が制御部２０から第１の距離情報取得部３０に与えられる。そして、第１の距離情報取得部３０は、後述するようにして、第１の右目画像および第１の左目画像に応じてカメラ１００と被写体３００との距離を示す第１の距離情報を取得する（ステップＳ２０５）。

図９は、図１に示す第１の距離情報取得部３０で行われる距離情報取得のための探索を説明するための図である。

第１の距離情報を取得する際には、第１の距離情報取得部３０は第１の右目画像の１点を囲むテンプレート画像８００を設定する。そして、第１の距離情報取得部３０は当該テンプレート画像８００に対応する第１の左目画像の画像領域と第１の右目画像の画像領域との類似性を比較してその対応点を探索して、当該対応点における被写体３００とカメラ１００との距離である１の距離情報を、三角測量の原理に基づいて求める。

例えば、第１の右目画像におけるエピポーラ線上の全ての画素および第１の左目画像のエピポーラ線上の全ての画素について、第１の距離情報取得部３０は第１の右目画像のテンプレート画像８００における画素値と探索先である第１の左目画像の画素値との差分絶対値を加算して和（差分絶対値和）を得る。そして、第１の距離情報取得部３０は差分絶対値が最小となる座標を対応点の座標とする。

図１０は、図９に示す探索においてその対応点が探索できなった輪郭線に囲まれた領域の一例を示す図である。

図１０において、いま、破線の円で囲まれた領域９０において斜線で示す領域９１は、図９で説明した手法において対応点が探索できなかった領域であり、領域９０において領域９１を除く領域は図９で説明した手法によって対応点が探索できた領域を示している。対応点が探索できない領域９１は、例えば、第１の右目画像１のテンプレート画像８００を第１の左目画像の所定範囲で移動させて算出した差分絶対値和が常に所定の値以上である領域である。

上述のような領域９１（つまり、対応点が探索できなかった領域）について、輪郭抽出部５０は第１の右目画像と第１の左目画像とに基づいてその輪郭線（対応点探索不能輪郭線）を抽出する（ステップＳ２０６）。

続いて、第２の距離情報取得部４０は第１の右目画像および第２の右目画像を制御部２０から受けて、第１の右目画像および第２の右目画像に応じて被写体３００とカメラ１００との距離を示す第２の距離情報を求める（ステップＳ２０７）。

図１１は、図２の示す第２の距離情報の算出処理を説明するためのフローチャートである。

第２の距離情報の算出を開始すると、第２の距離情報取得部４０は第１の右目画像および第２の右目画像からそれぞれエッジを抽出して第１のエッジ画像および第２のエッジ画像を生成する（ステップＳ１２０２）。エッジの抽出を行う際には、第２の距離情報取得部４０は第１の右目画像および第２の右目画像の各々にハイパスフィルタ処理を行って、第１のエッジ画像および第２のエッジ画像を得る。

続いて、第２の距離情報取得部４０は第１のエッジ画像および第２のエッジ画像についてそのエッジ量を比較する（ステップＳ１２０３）。図５で説明したように、被写体３１０は第１の右目画像および第２の右目画像２のいずれにおいてもカメラ１００の被写界深度に存在するので、第１のエッジ画像および第２のエッジ画像においてそのエッジ量は変わらない。

一方、被写体３００は第１の右目画像においてはカメラ１００の被写界深度に存在するが、第２の右目画像についてはカメラの被写体深度外に存在する。よって、第２の右目画像では第１の右目画像に比べて被写体３００はボケており、第２のエッジ画像では第１のエッジ画像に比べてエッジ量が減少する。

第２の距離情報取得部４０は第１のエッジ画像と第２のエッジ画像とを比べてエッジ量が変化していない領域（エッジ量不変化領域）とエッジ量が減少している領域（エッジ量変化領域）とを検出する。そして、第２の距離情報取得部４０はエッジ量不変化領域とエッジ量変化領域との境界を抽出して、被写体３００の輪郭線（被写体輪郭線）とする。

図１２は、図１０に示す対応点が探索できなかった領域、つまり、第１の距離情報を算出できなかった領域を拡大して示す図である。

領域９０における領域１０００および領域１００３については、第１の距離情報取得部３０がその距離を第１の距離情報として求めている。一方、図９に示す領域９１であるところの領域１００１および領域１００２については、第１の距離情報取得部３０によってその距離が求められていない。

ところで、前述のステップＳ１２０３において、第２の距離情報取得部４０は領域１００１と領域１００２との境界線、つまり、被写体３００の輪郭線を抽出している。ここでは、領域１００１および領域１００２において、第２の距離情報取得部４０は第１の距離情報が算出された領域から輪郭線までは同一の距離に位置する被写体であると判定する。

この結果、第２の距離情報取得部４０は領域１００１を領域１０００と同一の距離に存在すると判定する。同様にして、第２の距離情報取得部４０は領域１００２を領域１００３と同一の距離に存在すると判定する。そして、第２の距離情報取得部４０は領域１００１および１００２の距離を第２の距離情報として、第２の距離情報の算出を終了する。

このようにして、第２の距離情報取得部４０は、第２の右目画像（合焦位置変更画像）のエッジ量と第１の右目画像（視点画像）のエッジ量とに応じて被写体の輪郭線を被写体輪郭線として検出する。そして、第２の距離情報取得部４０は、探索不能輪郭線で囲まれた領域について第２の距離情報を取得する際、被写体領域輪郭線に応じて探索不能輪郭線で囲まれた領域を複数の分割領域に区分し当該分割領域の各々について隣接する対応領域における第１の距離情報を第２の距離情報とする。

再び図２を参照して、制御部２０は、上述のようにして得られた第１および第２の距離情報を画像全体（ここでは、第１の右目画像又は第２の右目画像）の距離情報として（ステップＳ２０８）、距離情報取得処理を終了する。

なお、第１の右目画像と第１の左目画像を撮影する場合のように、複数の視点で撮影を行うと、撮影の結果得られた画像の画角が異なる。このため、１つの画像には含まれるが視点の異なる別の画像には含まれない領域が存在することがある。

図１３は、図１に示すカメラよって得られた第１の右目画像に含まれ第１の左目画像に含まれない領域を示す図である。

図１３において、領域１１００は図３に示す第１の右目画像に含まれる領域であるが、当該領域１１００は異なる視点で撮影した結果得られた第１の左目画像（図７参照）には含まれない領域である。画角が一致しない領域１１００については、第１の距離情報取得部３０は第１の距離情報を取得することができないので、第２の距離情報取得部４０で得られた第２の距離情報が用いられる。

また、上述の例では、対応点探索部６０において対応点が探索できなかった領域（対応領域）に対してのみ第２の距離情報を用いて被写体までの距離を示す距離情報を取得するようにしたが、画像の全領域について距離情報を取得する際に第１の距離情報および第２の距離情報を用いるようにしてもよい。

例えば、画像上の同一の位置において第１の距離情報と第２の距離情報とを比較して、第１の距離情報が示す距離と第２の距離情報が示す距離との差が所定の値よりも小さいと、制御部２０は第１の距離情報が示す距離と第２の距離情報が示す距離との平均値を選択するようにしてもよい。さらには、制御部２０は第１の距離情報および第２の距離情報のいずれかを当該位置の距離情報として選択するようにしてもよい。

そして、第１の距離情報が示す距離と第２の距離情報が示す距離との差が所定の値以上であると、制御部２０は一方の距離情報が不正確であると判定する。この場合には、制御部２０は当該位置における距離と周辺領域の距離との連続性（例えば、周辺領域との距離の差）を調べて、連続性のある方の距離情報を選択する。

なお、上述の実施の形態では、第１の右目画像を基準画像としたが、第１の左目画像を基準画像として、撮像レンズの合焦位置を変更して第２の左目画像を取得する。そして、第１の左目画像を撮影した視点とは異なる視点から被写体を撮影して、第１の右目画像を取得するようにしてもよい。この場合には、上述の説明において、第１の右目画像を第１の左目画像、第２の右目画像を第２の左目画像、そして、第１の左目画像を第１の右目画像に置き換えて処理を行うようにすればよい。

このようにして、本発明の実施の形態では、前景および背景などの特徴量が類似している場合においても、対応点が探索できないオクルージョン領域などの領域についても距離情報を精度よく検出することができる。

上述の説明から明らかなように、図１に示す例においては、撮像素子１２、Ａ／Ｄ変換器１４、レンズ駆動部１６、および制御部２０が第１の撮像手段および第２の撮像手段として機能する。また、第１の距離情報取得部３０は第１の距離情報取得手段として機能し、対応点探索部６０は探索手段として機能する。そして、輪郭抽出部５０は抽出手段として機能し、第２の距離情報取得部４０は、フィルタ処理手段、検出手段、および被写体輪郭抽出手段を備えて第２の距離情報取得手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも第１の撮像ステップ、第１の距離情報取得ステップ、探索ステップ、第２の撮像ステップ、および第２の距離情報取得ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０ 撮像レンズ
１２ 撮像素子
１４ Ａ／Ｄ変換器
１６ レンズ駆動部
２０ 制御部
３０ 第１の距離情報取得部
４０ 第２の距離情報取得部
５０ 輪郭抽出部
６０ 対応点探索部
１００ 撮像装置

Claims (7)

1. 撮像レンズを備え、複数の視点で被写体を撮像して得られた複数の画像に応じて前記被写体を撮影した撮像位置から前記被写体までの距離を示す距離情報を得る撮像装置であって、
   前記被写体に合焦した状態で前記複数の視点において被写体を撮像して複数の視点画像を得る第１の撮像手段と、
   前記複数の視点画像によって前記撮像位置から前記被写体までの距離を示す第１の距離情報を取得する第１の距離情報取得手段と、
   前記複数の視点画像の間において互いに対応する領域を対応領域として探索する探索手段と、
   前記複数の視点の１つを基準視点として前記撮像レンズによる合焦位置を変更して前記被写体を撮像して少なくとも１つの合焦位置変更画像を得る第２の撮像手段と、
   前記対応領域を除く領域について前記合焦位置変更画像と前記基準視点で撮像された前記視点画像とに応じて前記撮像位置から前記被写体までの距離を示す第２の距離情報を取得する第２の距離情報取得手段とを有し、
   前記第１の距離情報と前記第２の距離情報とを前記距離情報とすることを特徴とする撮像装置。
2. 前記対応領域を除く領域について前記複数の視点画像に基づいてその輪郭線を示す探索不能輪郭線を抽出する抽出手段を備え、
   前記第２の距離情報取得手段は、前記探索不能輪郭線で囲まれた領域について前記第２の距離情報を取得することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の距離情報取得手段は、前記合焦位置変更画像のエッジ量と前記基準視点で撮像された前記視点画像のエッジ量とに応じて前記被写体の輪郭線を被写体輪郭線として検出し、前記探索不能輪郭線で囲まれた領域について前記第２の距離情報を取得する際、前記被写体領域輪郭線に応じて前記探索不能輪郭線で囲まれた領域を複数の分割領域に区分して、当該分割領域の各々について隣接する対応領域における前記第１の距離情報を前記第２の距離情報とすることを特徴とする請求項２に記載の撮像装置。
4. 前記第２の距離情報取得手段は、前記合焦位置変更画像のエッジ量と前記基準視点で撮像された前記視点画像をハイパスフィルタ処理してそれぞれ第１のエッジ画像および第２のエッジ画像を得るフィルタ処理手段と、
   第１のエッジ画像および第２のエッジ画像のエッジ量を比較してエッジ量が変化したか否かを判定してエッジ量が変化していない領域であるエッジ量不変化領域とエッジ量が変化している領域であるエッジ量変化領域とを検出する検出手段と、
   前記エッジ量不変化領域と前記エッジ量変化領域との境界を抽出して前記被写体輪郭線とする被写体輪郭抽出手段とを有することを特徴とする請求項３に記載の撮像装置。
5. 前記第２の距離情報取得手段は、前記複数の視点画像においてその画角が一致しない領域について前記対応領域を除く領域であるとすることを特徴とする請求項１に記載の撮像装置。
6. 撮像レンズを備え、複数の視点で被写体を撮像して得られた複数の画像に応じて前記被写体を撮影した撮像位置から前記被写体までの距離を示す距離情報を得る撮像装置の制御方法であって、
   前記被写体に合焦した状態で前記複数の視点において被写体を撮像して複数の視点画像を得る第１の撮像ステップと、
   前記複数の視点画像によって前記撮像位置から前記被写体までの距離を示す第１の距離情報を取得する第１の距離情報取得ステップと、
   前記複数の視点画像の間において互いに対応する領域を対応領域として探索する探索ステップと、
   前記複数の視点の１つを基準視点として前記撮像レンズによる合焦位置を変更して前記被写体を撮像して少なくとも１つの合焦位置変更画像を得る第２の撮像ステップと、
   前記対応領域を除く領域について前記合焦位置変更画像と前記基準視点で撮像された前記視点画像とに応じて前記撮像位置から前記被写体までの距離を示す第２の距離情報を取得して、前記第１の距離情報と前記第２の距離情報とを前記距離情報とする第２の距離情報取得ステップと、
   を有することを特徴とする制御方法。
7. 撮像レンズを備え、複数の視点で被写体を撮像して得られた複数の画像に応じて前記被写体を撮影した撮像位置から前記被写体までの距離を示す距離情報を得る撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   前記被写体に合焦した状態で前記複数の視点において被写体を撮像して複数の視点画像を得る第１の撮像ステップと、
   前記複数の視点画像によって前記撮像位置から前記被写体までの距離を示す第１の距離情報を取得する第１の距離情報取得ステップと、
   前記複数の視点画像の間において互いに対応する領域を対応領域として探索する探索ステップと、
   前記複数の視点の１つを基準視点として前記撮像レンズによる合焦位置を変更して前記被写体を撮像して少なくとも１つの合焦位置変更画像を得る第２の撮像ステップと、
   前記対応領域を除く領域について前記合焦位置変更画像と前記基準視点で撮像された前記視点画像とに応じて前記撮像位置から前記被写体までの距離を示す第２の距離情報を取得して、前記第１の距離情報と前記第２の距離情報とを前記距離情報とする第２の距離情報取得ステップと、
   を実行させることを特徴とする制御プログラム。