JP6598621B2 - 撮像装置 - Google Patents

Description

本発明は、距離測定機能を有する撮像装置に関する。

従来、２つ以上の撮像光学系を用いて被写体までの距離測定（測距）を行う撮像装置が知られている。また、特許文献１では、単一の撮像光学系の射出瞳のうちそれぞれ異なる領域を透過した複数の光束を、撮像素子の互いに異なる画素に分離して撮像することで測距を行うことが可能な撮像装置が提案されている。

特許第５６３３１８１号公報

しかしながら、２つ以上の撮像光学系を用いて測距を行う撮像装置は、それぞれの撮像光学系の画角が重畳していない領域では測距を行うことができない。また、特許文献１に開示された従来技術では、基線長が短いために高い精度で測距を行うことができない。さらに、いずれの従来技術においても、測距を行うことができる領域は撮像光学系の画角により定まるため、広画角の測距を実現するためには、広画角の撮像光学系を用意する必要がある。

このような課題に鑑みて、高精度な測距機能を有する広画角の撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、撮像光学系の射出瞳における異なる複数の領域を通過した光束のそれぞれを光電変換する複数の画素を含む画素群と、該画素群ごとに設けられた光学素子とをそれぞれが備える第１及び第２の撮像系と、該第１及び第２の撮像系のうち少なくとも一方により取得される複数の視差画像に基づいて被写体距離を算出する画像処理手段とを有し、該画像処理手段は、前記第１及び第２の撮像系の画角が互いに重畳する重畳領域では、画像選択情報に基づいて前記第１の撮像系により取得される複数の視差画像及び前記第２の撮像系により取得される複数の視差画像から少なくとも二つの視差画像を選択し、該選択された視差画像に基づいて被写体距離を算出し、前記第１及び第２の撮像系の画角が互いに重畳しない非重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される複数の視差画像に基づいて被写体距離を算出することを特徴とする。

本発明によれば、高精度な測距機能を有する広画角の撮像装置を提供することができる。

２つの撮像系を用いた測距方法の説明図である。 画像座標の説明図である。 撮像素子の受光部と撮像光学系の射出瞳との関係図である。 瞳分割を行う撮像系の模式図である。 撮像素子の受光部と撮像光学系の射出瞳との関係図である。 射出瞳のうちそれぞれ異なる領域を透過した光束が撮像面に結像する様子を示す模式図である。 瞳分割を行う撮像系により撮像面に形成される点像強度分布図である。 撮像装置の基本構成を示すブロック図である（実施例１，２）。 撮像モジュールの説明図である（実施例１，２）。 被写体距離の算出手順を示すフローチャートである（実施例１）。 被写体距離を算出手順を示すフローチャートである（実施例２）。 撮像装置の基本構成を示すブロック図である（実施例３，４）。 撮像モジュールにおける撮像系の配置図である（実施例３）。 各撮像系および撮像モジュールの画角を示す模式図である（実施例３）。 撮像モジュールにおける撮像系の配置図である（実施例４）。 各撮像系および撮像モジュールの画角を示す模式図である（実施例４）。 撮像装置の基本構成を示すブロック図である（実施例５）。 撮像モジュールの説明図である（実施例５）。

以下、本発明を実施した光学機器の一例としてのレンズ鏡筒について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、視差量から被写体距離を算出する方法について説明する。図１は、２つの撮像系（撮像系ＣＬおよび撮像系ＣＲ）を用いた測距方法の説明図である。撮像系ＣＬおよび撮像系ＣＲの主点が点（−Ｄ／２，０）および点（＋Ｄ／２，０）にそれぞれ位置し、被写体Ａが点（ｚ，ｘ）に位置している。また、２つの撮像系の焦点距離をｆとする。２つの撮像系で被写体Ａを撮像した場合、撮像系ＣＬおよび撮像系ＣＲにおける被写体Ａの像のそれぞれのセンサ中心からのズレｚｌ，ｚｒは以下の式（１）および式（２）により算出される。

被写体Ａまでの距離ｘは、式（１），（２）に基づく式（３）により算出される。

式（３）中のＤは、２つの撮像系の基線長である。以下の説明では、ｚｒ−ｚｌを視差または位相差という。また、２つの撮像系を用いて測距を行う方法をステレオ測距という。

視差ｄ（＝ｚｒ−ｚｌ）、画像上の視差の分解能をΔｄとすると、測距分解能Δｘは、式（４）により算出される。

式（４）より、基線長Ｄを長くすれば、測距分解能Δｘが小さくなるので高精度な測距を行うことができる。簡単のため、Ｘ−Ｚ平面上において視差を有する視差画像について説明したが、同様の原理を用いて任意の平面上においても測距を行うことが可能である。

ステレオ測距により測距を行うためには、視差画像から視差量を算出する必要がある。図１の２つの撮像系を用いて同一の被写体を撮像した場合、撮像系ＣＬおよび撮像系ＣＲから取得される視差画像ＩＭＧｌおよび視差画像ＩＭＧｒにおいて被写体は異なる位置に写っており、その位置の差が視差量となる。すなわち、視差画像から視差量を算出するためには、視差画像ＩＭＧｌおよび視差画像ＩＭＧｒから位置の異なる同一の被写体領域を抽出する必要がある。

画像ＩＭＧｌおよび視差画像ＩＭＧｒから位置の異なる同一の被写体領域を抽出する方法について、図２を参照して説明する。図２は、画像座標の説明図である。図２において、各画像の左上を原点、水平方向をＺ軸、垂直方向をＹ軸とする。また、視差画像ＩＭＧｌ上の画素（Ｚ，Ｙ）の輝度をＦ１（Ｚ，Ｙ）とし、視差画像ＩＭＧｒ上の画素（Ｚ，Ｙ）の輝度をＦ２（Ｚ，Ｙ）とする。視差画像ＩＭＧｌ上の画素（Ｚ，Ｙ）に対応する視差画像ＩＭＧｒの画素（Ｚ，Ｙ）を抽出するには、視差画像ＩＭＧｌの画素（Ｚ，Ｙ）の輝度Ｆ１（Ｚ，Ｙ）と最も類似する輝度の視差画像ＩＭＧｒの画素を探せばよい。図２において、視差画像ＩＭＧｌおよび視差画像ＩＭＧｒ上の縦線画素がそれぞれ対応する画素である。ただし、一般的に任意の画素と最も類似した画素を探すことは難しいため、対応する画素の近傍の画素も用いるブロックマッチング処理で類似画素を探索する。

ブロックサイズが３である場合のブロックマッチング処理について説明する。視差画像ＩＭＧｌの任意の画素（Ｚ，Ｙ）と、その前後の２つの画素（Ｚ−１、Ｙ）、（Ｚ＋１、Ｙ）の輝度はそれぞれ、Ｆ１（Ｚ，Ｙ）、Ｆ１（Ｚ−１，Ｙ）、Ｆ１（Ｚ＋１，Ｙ）である。一方、視差画像ＩＭＧｒ上の画素（Ｚ，Ｙ）からＺ方向にｋだけずれた画素（Ｚ＋ｋ，Ｙ）と、その前後の２つの画素（Ｚ＋ｋ−１，Ｙ），（Ｚ＋ｋ＋１，Ｙ）の輝度はそれぞれ、Ｆ２（Ｚ＋ｋ，Ｙ），Ｆ２（Ｚ＋ｋ−１，Ｙ），Ｆ２（Ｚ＋ｋ＋１，Ｙ）である。このとき、視差画像ＩＭＧｌの画素と視差画像ＩＭＧｒの画素との類似度Ｅは、以下の式（５）で定義される。

式（５）において、逐次ｋの値を変えて類似度Ｅの値を計算し、類似度Ｅが最も小さくなる画素（Ｚ＋ｋ、Ｙ）が、視差画像ＩＭＧｌの画素（Ｚ，Ｙ）に対応する。このようにして得られた対応する被写体領域の位置の差分が視差量である。

次に、撮像光学系の射出瞳のうちそれぞれ異なる領域を透過した複数の光束を、撮像素子における互いに異なる画素に分離して撮像する撮像系について、図３を参照して説明する。図３は、撮像素子の受光部（画素）と撮像光学系の射出瞳との関係図である。撮像素子には、受光部であるＧ１画素とＧ２画素から構成される画素群が複数配列されている。カラーフィルタＣＦは、撮像素子の前方に配置されている。Ｇ１画素とＧ２画素は、共通の（つまりは画素群ごとに１つずつ設けられた）マイクロレンズ（光学素子）ＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。具体的には、Ｇ１画素は射出瞳ＥＸＰ上のＰ１領域と共役な関係を有し、Ｇ２画素はＰ２領域と共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という。

図４（ａ）は、射出瞳ＥＸＰの位置に厚さが無い仮想的な薄肉レンズが配置されていると仮定した場合の撮像系の模式図である。Ｇ１画素は、射出瞳ＥＸＰのうちＰ１領域を透過した光束を受光し、受光した光束を光電変換する。Ｇ２画素は、射出瞳ＥＸＰのうちＰ２領域を透過した光束を受光し、受光した光束を光電変換する。撮像している物点ＯＳＰからの光束は、透過する射出瞳ＥＸＰ内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。射出瞳ＥＸＰ上の互いに異なる領域を光束が透過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素群からの出力信号を用いて生成される画像とＧ２画素群からの出力信号を用いて生成される画像とが、互いに視差を有する複数（ここでは１対）の視差画像となる。以下の説明において、射出瞳ＥＸＰ内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。なお、撮像系は、瞳分割を行うことができれば、図４（ａ）の撮像系に限定されない。図４（ｂ）は、瞳分割を行う撮像系の他の例を示す図である。図４（ｂ）の撮像系では、射出瞳ＥＸＰのＰ１領域およびＰ２領域を通過した１対の光束は、三角形ミラーＴＭＲによってそれぞれ異なる撮像素子ＳＥＮ１および撮像素子ＳＥＮ２に導かれる。そのため、撮像素子ＳＥＮ１および撮像素子ＳＥＮ２の出力信号をそれぞれ別々に読み出すことで１対の視差画像を生成することができる。

図５（ａ）は、Ｇ１画素およびＧ２画素から構成される画素群とマイクロレンズＭＬを物点ＯＳＰから見た図である。図５（ａ）では、カラーフィルタＣＦを省略している。図５（ｂ）は、図５（ａ）のＧ１画素およびＧ２画素にそれぞれ対応する射出瞳ＥＸＰ上のＰ１領域およびＰ２領域を示す図である。図５（ａ），（ｂ）に示される撮像系では、１対の視差画像が得られる。なお、撮像素子には図５（ａ），（ｂ）に示されるＧ１画素およびＧ２画素から構成される画素群の代わりに、図５（ｃ）に示される画素群を配列してもよい。

図５（ｃ）は、Ｇ１画素、Ｇ２画素、Ｇ３画素およびＧ４画素から構成される画素群とマイクロレンズＭＬを物点ＯＳＰから見た図である。図５（ｃ）では、カラーフィルタＣＦを省略している。Ｇ１画素、Ｇ２画素、Ｇ３画素およびＧ４画素は、共通のマイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。図５（ｄ）は、図５（ｃ）のＧ１画素、Ｇ２画素、Ｇ３画素およびＧ４画素にそれぞれ対応する射出瞳ＥＸＰ上のＰ１領域、Ｐ２領域、Ｐ３領域およびＰ４領域を示す図である。Ｐ１領域、Ｐ２領域、Ｐ３領域およびＰ４領域を透過した物点ＯＳＰからの光束はそれぞれ、Ｇ１画素、Ｇ２画素、Ｇ３画素およびＧ４画素により受光される。すなわち、各画素からの出力信号を用いて生成される複数の画像が、互いに視差を有する４枚の視差画像となる。

なお、各実施例の撮像系では、射出瞳ＥＸＰの位置ずれ等によって、上述した共役関係が完全でなくてもよい。また、各実施例の撮像系では、射出瞳ＥＸＰの領域同士が部分的に重なってもよいし、領域間に間隔が形成されてもよい。

また、画素群は、２つまたは４つの画素からなる構成に限定されず、更に多くの画素からなる構成でもよい。言い換えれば、１つのマイクロレンズＭＬを介して更に多くの画素が射出瞳ＥＸＰと共役な関係を有してもよい。

次に、図６、図７を参照して、瞳分割を行う撮像系を用いて被写体までの距離を算出する方法について説明する。図６は、図３および図４（ａ）で説明した撮像系において、Ｐ１領域およびＰ２領域をそれぞれ透過した光束が撮像面ＩＰに結像する様子を示す模式図である。図７は、瞳分割を行う撮像系により撮像面に形成される点像強度分布図である。

図６（ａ）は物点ＯＳＰに撮像系のフォーカスが合っている状態であり、Ｐ１領域およびＰ２領域を通過した光束は撮像面ＩＰ上の同一の領域に結像している。このとき、撮像面ＩＰ上に形成される点像強度分布（ＰＳＦ）が図７（ａ）に示されている。図７（ａ）において、実線はＰ１領域を通過した光束により形成されるＰＳＦ、破線はＰ２領域を通過した光束により形成されるＰＳＦである。物点ＯＳＰにフォーカスが合っているために、それぞれのＰＳＦのピークが一致する。なお、それぞれのＰＳＦのピークが一致している状態をフォーカスが合っている状態としているが、それぞれのＰＳＦの重心や二乗平均平方根（ＲＭＳ）等が一致している状態をフォーカスが合っている状態としてもよい。

図６（ｂ）は物点ＯＳＰよりも遠方に撮像系のフォーカスが合っている状態であり、Ｐ１領域およびＰ２領域を通過した光束は撮像面ＩＰ上のそれぞれ異なる領域に入射する。このとき、撮像面ＩＰ上に形成されるＰＳＦが図７（ｂ）に示されている。図７（ｂ）において、実線はＰ１領域を通過した光束により形成されるＰＳＦ、破線はＰ２領域を通過した光束により形成されるＰＳＦである。物点ＯＳＰにフォーカスが合っていないために、それぞれのＰＳＦのピークは視差の分だけずれている。この視差を用いてデフォーカス量を算出することができるため、被写体（物点ＯＳＰ）までの距離を測定することができる。このように、単一の瞳分割を行う光学系を用いる測距を瞳分割測距という。

瞳分割測距では、射出瞳上のＰ１領域およびＰ２領域それぞれの中心点はステレオ測距における撮像系ＣＬおよび撮像系ＣＲの主点位置に相当し、基線長は射出瞳の半径である。そのため、瞳分割測距では、単一の光学系で測距を行うことができるという利点がある反面、２つの撮像系の配置により大きな基線長を持つことが可能なステレオ測距に比べ基線長の制限が大きく、高い測距精度を得難い。

また、瞳分割を行う撮像系として、画素群が２つの画素から構成され、射出瞳を２つの領域に分割する撮像系だけでなく、画素群が２つよりも多くの画素から構成され、射出瞳を画素群に応じた領域に分割する撮像系を使用してもよい。その際には、複数の画素から構成される画素群のうち、それぞれの画素に入射する光束が互いに射出瞳上で最も離れた領域を通過する２つの画素の出力信号を用いて瞳分割測距を行うことが好ましい。これは、基線長が射出瞳上の領域の中心点間の距離であるためである。

次に、瞳分割を行う複数の撮像系を用いて行うステレオ測距について説明する。瞳分割を行うことで、前述のように複数の視差画像を得ることができる。以下、瞳分割を行う２つの撮像系をＣＬおよびＣＲ、撮像系ＣＬから取得される２枚の視差画像を視差画像ＣＬａおよびＣＬｂ、撮像系ＣＲから取得される２枚の視差画像をＣＲａおよびＣＲｂという。

瞳分割を行う複数の撮像系ＣＬ，ＣＲを用いてステレオ測距を行う際には、視差画像ＣＬａ，ＣＬｂの合成画像ＣＬｉおよび視差画像ＣＲａ，ＣＲｂの合成画像ＣＲｉを用いてステレオ測距を行う。合成画像ＣＬｉ，ＣＲｉは、撮像系ＣＬ，ＣＲが瞳分割を行わない撮像系である場合に得られる画像と同一である。また、視差画像ＣＬａ，ＣＬｂのうちの１枚の視差画像と、視差画像ＣＲａ，ＣＲｂのうちの１枚の視差画像を用いてステレオ測距を行ってもよい。具体的には、以下に述べる要素を考慮してステレオ測距に用いる画像を決定するのが望ましい。

視差画像ＣＬａ，ＣＬｂはそれぞれ、合成画像ＣＬｉに比べて被写界深度が深い。同様に、視差画像ＣＲａ，ＣＬｂはそれぞれ、合成画像ＣＲｉに比べて被写界深度が深い。これは、各視差画像を生成するための出力データを出力する画素に入射する光束が射出瞳上の対応する一部の領域を通過する状態、すなわち、撮像光学系の絞りを絞った状態に相当するためである。被写界深度が深いと、撮像光学系の焦点面からより離れた被写体を良好に結像させることが可能である。そのため、視差画像ＣＬａ，ＣＬｂのうちの１枚の視差画像と、視差画像ＣＲａ，ＣＲｂのうちの１枚の視差画像を用いてステレオ測距を行うことで、対応する被写体領域の抽出精度が高く、精度の良い測距を行うことができる。

一般的に、光束が通過する射出瞳上の領域によって、発生する収差は異なる。そのため、視差画像ＣＬａ，ＣＬｂ，ＣＲａ，ＣＲｂはそれぞれ、異なる収差の影響を受けている。また、視差画像ＣＬａ，ＣＬｂ，ＣＲａ，ＣＲｂ上の画素領域によってもその影響は異なる。そこで、画像上の領域ごとに４枚の視差画像のうち、収差による劣化の少ない視差画像を選択し、それらを用いてステレオ測距を行うことで、対応する被写体領域の抽出精度が高く、精度の良い測距を行うことができる。

夜間等の暗い環境下でステレオ測距を行う際には、合成画像ＣＬｉ，ＣＲｉを用いてステレオ測距を行うことが望ましい。これは、視差画像ＣＬａ，ＣＬｂ，ＣＲａ，ＣＲｂに比べて、合成画像ＣＬｉ，ＣＲｉはより多くの光を記録しているために信号対雑音比が大きく、ノイズの影響を低減することができるためである。一方、画角内に発光物体等の周囲に比べて明るい被写体が存在する場合、画素値が飽和しやすくなるため、視差画像ＣＬａ，ＣＬｂのうちの１枚の視差画像および視差画像ＣＲａ，ＣＲｂのうちの１枚の視差画像を用いてステレオ測距を行うことが望ましい。

本実施例では、瞳分割を行う撮像系を２つ有し、それらを用いて測距を行う撮像装置について説明する。

図８は、本実施例の撮像装置の基本構成を示すブロック図である。撮像モジュール１００は、それぞれが瞳分割を行う撮像系１０１ａおよび撮像系１０１ｂを備える。図８において、撮像系１０１ａ，１０１ｂは、それぞれの光軸が互いに平行な状態で配置されているが、一方の光軸が他方の光軸と非平行である状態で配置されてもよい。撮像系１０１ａ，１０１ｂは、図５（ａ）に示される撮像系であり、それぞれが瞳分割を行うことで図５（ａ）のＺ方向へ視差を持つ２枚の（１対の）視差画像を生成するための出力データを出力する。Ａ／Ｄコンバータ１０２は、撮像系１０１ａ，１０１ｂから出力されたアナログ信号をデジタル信号に変換し、画像処理部（画像処理手段）１０３に入力する。画像処理部１０３は、１対の視差画像、またはそれらの合成画像を用いて画像上の被写体までの距離を算出する。システムコントローラ１０６は、撮像モジュール１００の駆動および画像処理部１０３の処理を制御する。撮像光学系制御部１０５は、システムコントローラ１０６からの制御指示に応じて、撮像系１０１ａ，１０１ｂの不図示の絞りおよびフォーカスレンズの機械的な駆動を行う。

図９は、撮像モジュール１００の説明図である。図９（ａ）は、撮像系１０１ａの画角を破線で示す図である。図９（ｂ）は、撮像系１０１ｂの画角を点線で示す図である。図９（ｃ）は、２つの撮像系の配置図である。撮像系１０１ａ，１０１ｂは、Ｘ−Ｚ平面上において互いの光軸が角度を持つように配置されている。また、撮像系１０１ａ，１０１ｂの間隔は、２つの撮像系でステレオ測距を行う際の基線長に相当し、本実施例では１００ｍｍに設定する。撮像系１０１ａ，１０１ｂの間隔は、任意の値を設定でき、大きく設定する場合、後述する重畳領域において精度の良いステレオ測距が可能であり、小さく設定する場合、撮像モジュールを小型化することが可能である。図９（ｄ）は、撮像系１０１ａ，１０１ｂの画角を重ねた図である。撮像モジュール１００の画角は、図９（ｄ）に示されるように、２つの撮像系の画角を統合した画角である。撮像モジュール１００の画角には、各撮像系の画角が重畳する重畳領域Ｒ１および画角が重畳しない非重畳領域Ｒ２，Ｒ３が存在する。

撮像系１０１ａ，１０１ｂのそれぞれの光軸間の角度は、重畳領域Ｒ１が形成可能な角度であればよい。隣接する撮像系の光軸間の角度は、広い画角領域で高精度に測距を行うために、撮像モジュールの画角（複数の撮像系の画角を統合した画角）の半画角以下であることが好ましい。本実施例では、各撮像系は一点鎖線で示すそれぞれの光軸を中心に±５０度の画角を持ち、各光軸間の角度を５０度にしている。すなわち、撮像モジュール１００は、１５０度の画角を持つ。

画像処理部１０３は、重畳領域Ｒ１では、撮像系１０１ａから取得される画像および撮像系１０１ｂから取得される画像を用いてステレオ測距を行う。このとき、撮像系１０１ａから取得される１対の視差画像の合成画像、および撮像系１０１ｂから取得される１対の視差画像の合成画像を用いてステレオ測距を行う。また、撮像系１０１ａから取得される１対の視差画像のうち１枚の視差画像、および撮像系１０１ｂから取得される１対の視差画像のうち１枚の視差画像を用いてステレオ測距を行ってもよい。

１対の視差画像を合成した画像の画素値が飽和画素値（所定値）を超える場合、撮像系１０１ａ，１０１ｂからそれぞれ取得される１対の視差画像のうち１枚の視差画像を用いてステレオ測距を行うことが好ましい。合成した画像の画素値が飽和画素値を超えない場合、撮像系１０１ａから取得される１対の視差画像の合成画像、および撮像系１０１ｂから取得される１対の視差画像の合成画像を用いてステレオ測距を行う。このような測距処理を行うことで、画角内に周囲に比べて特に明るい被写体が存在するシーンにおいても、画素値飽和の影響を受けずに測距を行うことができる。

画像処理部１０３は、非重畳領域Ｒ２では撮像系１０１ａから取得される１対の視差画像を用いて瞳分割測距を行い、非重畳領域Ｒ３では撮像系１０１ｂから取得される１対の視差画像を用いて瞳分割測距を行う。

このように、瞳分割を行う撮像系を２つ組み合わせることで、広画角の測距を行うことが可能であるとともに、重畳領域では高精度な測距を行うことが可能である。

次に、本実施例の撮像装置における被写体距離の算出手順について、図１０のフローチャートを用いて説明する。

ステップＳ１０１では、撮像モジュール１００はシステムコントローラ１０６からの指示により撮像を行い、画像処理部１０３は撮像モジュール１００から出力されるデータに基づいて複数の視差画像を生成する。以下、撮像系１０１ａから取得される１対の視差画像を視差画像対Ａ、撮像系１０１ｂから取得される１対の視差画像を視差画像対Ｂという。

ステップＳ１０２では、画像処理部１０３は、視差画像対Ａおよび視差画像対Ｂ上での重畳領域Ｒ１および非重畳領域Ｒ２，Ｒ３の座標情報を記憶部１０４から読み出す。

ステップＳ１０３では、画像処理部１０３は、重畳領域Ｒ１において視差画像対Ａの合成画像および視差画像対Ｂの合成画像の対応する被写体領域を抽出する。画像処理部１０３は、視差画像対Ａのうち１枚の視差画像および視差画像対Ｂのうち１枚の視差画像の対応する被写体領域を抽出してもよい。また、画像処理部１０３は、非重畳領域Ｒ２では視差画像対Ａの対応する被写体領域を抽出し、非重畳領域Ｒ３では視差画像対Ｂの対応する被写体領域を抽出する。本実施例では、対応する被写体領域を抽出する方法として、ブロックマッチング処理を用いているが、これに限定されない。

ステップＳ１０４では、まず、画像処理部１０３は、重畳領域Ｒ１、非重畳領域Ｒ２，Ｒ３において、ステップＳ１０３で抽出された対応する被写体領域の２枚の画像上での位置の差（視差量）に基づき被写体距離を算出する。次に、画像処理部１０３は、重畳領域Ｒ１、非重畳領域Ｒ２，Ｒ３上で算出された被写体距離を統合することで、撮像モジュール１００の画角分の被写体距離を算出する。

ステップＳ１０５では、画像処理部１０３は、ステップＳ１０４で算出された被写体距離を画像とともに記憶部１０４に記録する。画像処理部１０３は、被写体距離を表示部（不図示）に出力してもよいし、被写体距離を用いて物体検出を行ってもよい。

本実施例では、撮像系１０１ａ，１０１ｂは、図５（ａ）に示されるように、Ｚ方向へ瞳分割を行う撮像系であるが、Ｙ方向へ瞳分割を行う撮像系であってもよい。この場合、それぞれの撮像系からＹ方向へ視差を持つ１対の視差画像が取得される。そのため、画像処理部１０３は、重畳領域Ｒ１ではＺ方向の視差を用いたステレオ測距を行うことができ、非重畳領域Ｒ２，Ｒ３ではＹ方向の視差を用いた瞳分割測距を行うことができる。これにより、Ｚ方向の視差が得難い被写体、例えばＺ方向へ伸びる棒状の被写体等に対する測距精度を高めることができる。

また、撮像系１０１ａ，１０１ｂは、図５（ｃ）に示されるように、Ｙ，Ｚ両方向へ瞳分割を行う撮像系であってもよい。この場合、撮像モジュール１００の全画角において、Ｙ，Ｚ両方向の視差を用いた被写体依存性の少ない測距を行うことができる。

重畳領域Ｒ１では、厳密には２つの撮像系の画角が重畳しない領域が存在する。例えば、図９（ｃ）に示されるように、撮像モジュール１００の極近傍領域では、各撮像系の画角が重畳していない。そのため、重畳領域Ｒ１において画角が重畳しない領域では、２つの撮像系のうち、その領域に画角をもつ撮像系を用いて瞳分割測距を行う。

以上説明したように、本実施例では、瞳分割を行う２つの撮像系がそれぞれの光軸が互いに傾くように配置されることで、画角が重畳する領域ではステレオ測距を行うことができ、重畳しない領域では瞳分割測距を行うことができる。そのため、広い画角領域で測距を行うことが可能であるとともに、重畳領域では特に高精度に測距を行うことが可能な撮像装置を提供することができる。

本実施例では、実施例１で説明した撮像装置の変形例について説明する。本実施例の撮像装置では、複数の撮像装置の画角が重畳する領域において、撮像系内の光学系の収差に関する光学情報により選択される視差画像を用いて測距を行う。

本実施例の撮像装置の基本構成は実施例１と同様であるため、その説明を省略する。本実施例では、記憶部１０４は、重畳領域Ｒ１において測距に用いる画像に関する情報である画像選択情報を記憶している。本実施例では、実施例１と同様に、視差画像対Ａは撮像系１０１ａから取得され、視差画像対Ｂは撮像系１０１ｂから取得される。以下の説明において、視差画像対Ａを成す２枚の視差画像をそれぞれ視差画像Ａａ，Ａｂ、視差画像対Ｂを成す２枚の視差画像をそれぞれ視差画像Ｂａ，Ｂｂとする。

本実施例の撮像装置は、重畳領域Ｒ１において、視差画像Ａａ，Ａｂのうちの１枚の視差画像と、視差画像Ｂａ，Ｂｂのうちの１枚の視差画像を用いてステレオ測距を行う。画像処理部１０３は、重畳領域Ｒ１を複数の領域に分割した場合、分割領域ごとに視差画像Ａａ，Ａｂのうちの１枚の視差画像と、視差画像Ｂａ，Ｂｂのうちの１枚の視差画像を画像選択情報に基づいて選択する。

瞳分割を行う撮像系から取得される複数の視差画像はそれぞれ、異なる収差の影響を受ける。また、収差の影響は、視差画像上の各領域によっても異なる。具体的には、複数の視差画像は、撮像系による劣化のない理想的な被写体像に対し、視差画像ごと、さらに画像上の領域ごとに異なるＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）が畳み込まれて形成される。より広がったＰＳＦの影響を受けた被写体は、撮像光学系による劣化が大きい画像として記録される。劣化が大きくなると、測距のための対応点抽出の精度が低減する。そのため、測距に用いる画像としては、より広がりの小さいＰＳＦの影響を受けた画像が好ましい。本実施例では、重畳領域Ｒ１上の分割領域ごとに、視差画像Ａａ，ＡｂのうちＰＳＦの広がりが小さい１枚の視差画像と、視差画像Ｂａ，ＢｂのうちＰＳＦの広がりが小さい１枚の視差画像が画像選択情報に基づいて選択される。ＰＳＦの広がりは、例えば、ＰＳＦの重心を中心として、全光量の５０％を含む円の半径で評価する。すなわち、複数の視差画像のうち、ＰＳＦの広がりが小さい視差画像とは、分割領域上においてＰＳＦの半径が一番小さい視差画像を指す。重畳領域Ｒ１において、撮像光学系で発生する収差の影響が小さい２枚の視差画像を画像選択情報に基づき選択し、選択された２枚の視差画像を用いて測距を行うことで高精度に測距を行うことができる。発生する収差の影響は厳密には各分割領域内でも異なっているため、分割数が多ければ多いほど、より好ましい視差画像を用いてステレオ測距を行うことができるが、画像選択情報のデータ量が増大する。

本実施例では、測距に用いる２枚の視差画像は、ＰＳＦの半径に関する画像選択情報に基づいて選択されるが、発生する収差に関する情報に基づいて選択されればよく、例えば撮像光学系の横収差量に基づいて選択されてもよい。

次に、本実施例の撮像装置における被写体距離の算出手順について、図１１のフローチャートを用いて説明する。

ステップＳ２０１およびステップＳ２０２は実施例１のステップＳ１０１およびステップＳ１０２と同様であるため、その説明を省略する。

ステップＳ２０３では、画像処理部１０３は、重畳領域Ｒ１が分割された複数の分割領域（本実施例では、１０個×１０個の領域）の各分割領域の測距に用いる２枚の視差画像を指定するための画像選択情報を記憶部１０４から読み出す。記憶部１０４は収差に関する情報を記憶し、画像処理部１０３は記憶部１０４から収差に関する情報を読み出し、読み出した収差に関する情報に基づいて画像選択情報を決定してもよい。

ステップＳ２０４では、画像処理部１０３は、重畳領域Ｒ１では、各分割領域において視差画像対Ａおよび視差画像対Ｂの４枚のうち２枚の視差画像を画像選択情報に基づいて選択し、選択した２枚の視差画像の対応する被写体領域を抽出する。また、画像処理部１０３は、非重畳領域Ｒ２では視差画像対Ａの対応する被写体領域を抽出し、非重畳領域Ｒ３では視差画像対Ｂの対応する被写体領域を抽出する。本実施例では、対応する被写体領域を抽出する方法として、ブロックマッチング処理を用いているが、これに限定されない。

ステップＳ２０５およびステップＳ２０６は実施例１のステップＳ１０４およびステップＳ１０５と同様であるため、その説明を省略する。

以上説明したように、本実施例では、瞳分割を行う複数の撮像系の画角が重畳する領域において、ステレオ測距に使用する視差画像を撮像系内の光学系の収差に関する情報に基づいて決定する。そのため、画角が重畳する領域において、撮像光学系の収差の影響を低減させた高精度な測距を行うことが可能な撮像装置を提供することができる。

なお、重畳領域の全体または分割領域の一部において、画角が互いに重複する複数の撮像系のうちいずれか一方の撮像系の収差が大きい場合、他方の撮像系から取得される視差画像対のみを用いて瞳分割測距を行うようにしてもよい。

本実施例では、瞳分割を行う撮像系を４つ有し、それらを用いて全周にわたって被写体距離を算出可能な撮像装置について説明する。

図１２は、本実施例の撮像装置の基本構成を示すブロック図である。図１３は、撮像モジュール２００における撮像系２０１ａ〜２０１ｄの配置図である。Ａ／Ｄコンバータ２０２、画像処理部２０３、記憶部２０４、撮像光学系制御部２０５およびシステムコントローラ２０６は実施例１と同様であるため、それらの説明を省略する。撮像モジュール２００は、それぞれが瞳分割を行う撮像系２０１ａ、撮像系２０１ｂ、撮像系２０１ｃおよび撮像系２０１ｄを備える。４つの撮像系は、図１２には簡単のためそれぞれの光軸が互いに平行として示されているが、本実施例では図１３に示されるようにそれぞれの光軸が互いに角度を持つ状態で配置されている。４つの撮像系は、図５（ａ）に示される撮像系であり、それぞれが瞳分割を行うことで図５（ａ）のＺ方向へ視差を持つ２枚（１対）の視差画像を生成するための出力データを出力する。

図１４は、各撮像系および撮像モジュール２００の画角の模式図である。図１４（ａ）は、撮像系２０１ａおよび撮像系２０１ｃの画角を破線で示す図である。図１４（ｂ）は、撮像系２０１ｂおよび撮像系２０１ｄの画角を点線で示す図である。図１４（ｃ）は、４つの撮像系の画角を重ねた図である。各撮像系は、図１３に示されるように、Ｘ−Ｚ平面上において互いの光軸が角度を持つように配置されている。そのため、撮像モジュール２００は、図１４（ｃ）に示されるように、全周にわたる画角を持っている。隣り合う２つの撮像系の間隔は、２つの撮像系でステレオ測距を行う際の基線長に相当する。この間隔は、任意の値を設定でき、本実施例では１００ｍｍに設定する。撮像系同士が隣り合うとは、２つの撮像系が図１３のＸ方向またはＺ方向に隣接することを意味している。例えば、撮像系２０１ａと撮像系２０１ｂおよび撮像系２０１ｄは隣り合っており、撮像系２０１ａおよび２０１ｃは隣り合っていない。図１４（ｃ）において、領域Ｒ２１は隣り合う撮像系の画角が重畳する重畳領域であり、領域Ｒ２２は画角が重畳しない非重畳領域である。

画像処理部２０３は、重畳領域Ｒ２１では、重畳する画角を持つ隣り合う２つの撮像系から取得される画像を用いてステレオ測距を行う。このとき、各撮像系から取得される１対の視差画像の合成画像同士を用いてステレオ測距を行ってもよいし、１対の視差画像のうち１枚の視差画像同士でステレオ測距を行ってもよい。また、画像処理部２０３は、非重畳領域Ｒ２２では、各撮像系から取得される１対の視差画像を用いて瞳分割測距を行う。

以上説明したように、本実施例では、瞳分割を行う４つの撮像系がそれぞれの光軸が互いに傾くように配置されることで、全周画角のうち重畳領域ではステレオ測距を行うことができ、非重畳領域では瞳分割測距を行うことができる。そのため、全周にわたって測距を行うことが可能であるとともに、重畳領域では特に高精度に測距を行うことが可能な撮像装置を提供することができる。

本実施例では、実施例３で説明した撮像装置の変形例について説明する。実施例３の撮像装置では撮像系は全てＸ−Ｚ平面上に配置されていたが、本実施例の撮像装置では撮像系は立体的に配置されている。本実施例の撮像装置の基本構成は実施例３と同様であるため、その説明を省略する。

図１５は、撮像モジュール２００における撮像系２０１ａ〜２０１ｄの配置図である。図１５（ａ）はＸ軸上で正の方向へ撮像モジュール２００を見た図である。図１５（ｂ）は、Ｙ軸上で正の方向へ撮像モジュール２００を見た図であり、撮像系２０１ｂと重なっている撮像系２０１ａおよび撮像系２０１ｃと重なっている撮像系２０１ｄを省略している。図１５（ｃ）は、Ｚ軸上で正の方向へ撮像モジュール２００を見た図であり、撮像系２０１ｄと重なっている撮像系２０１ａおよび撮像系２０１ｃと重なっている撮像系２０１ｂを省略している。撮像モジュール２００では、隣り合う撮像系がＸ−Ｚ平面上およびＸ−Ｙ平面上において互いの光軸が角度を持つように配置されている。

図１６（ａ）は、Ｚ軸上で正の方向へ撮像モジュール２００を見た図であり、破線が撮像系２０１ａおよび撮像系２０１ｄの画角を、点線が撮像系２０１ｂおよび撮像系２０１ｃの画角を表している。図１６（ｂ）は、Ｙ軸上で正の方向へ撮像モジュール２００を見た図であり、破線が撮像系２０１ｃおよび撮像系２０１ｄの画角を、点線が撮像系２０１ａおよび撮像系２０１ｄの画角を表している。

本実施例の測距方法の概要について、撮像系２０１ａを基準にした場合の測距を例にして説明する。Ｘ−Ｙ平面上において、画像処理部２０３は、撮像系２０１ａ，２０１ｂの画角が重畳する重畳領域Ｒ３１では、撮像系２０１ａ，２０１ｂから取得される画像を用いてステレオ測距を行う。また、画像処理部２０３は、撮像系２０１ａ，２０１ｂの画角が重畳しない非重畳領域Ｒ３２では、撮像系２０１ａ，２０１ｂのいずれか一方から取得される１対の視差画像を用いて瞳分割測距を行う。また、Ｘ−Ｚ平面上において、画像処理部２０３は、撮像系２０１ａ，２０１ｄの画角が重畳する重畳領域Ｒ３１では、撮像系２０１ａ，２０１ｄから取得される画像を用いてステレオ測距を行う。また、画像処理部２０３は、撮像系２０１ａ，２０１ｄの画角が重畳しない非重畳領域Ｒ３２では、撮像系２０１ａ，２０１ｄのいずれか一方から取得される１対の視差画像を用いて瞳分割測距を行う。撮像系２０１ａ，２０１ｃを用いて測距を行う際も同様である。また、他の撮像系を基準にした場合の測距も同様である。そのとき、全ての測距を実施してもよいし、選択された測距だけを実施してもよい。

以上説明したように、本実施例では、瞳分割を行う４つの撮像系がそれぞれの光軸が互いに傾くように配置されることで、画角が重畳する領域ではステレオ測距を行うことができ、重畳しない領域では瞳分割測距を行うことができる。そのため、広い画角領域で測距を行うことが可能であるとともに、重畳領域では特に高精度に測距を行うことが可能な撮像装置を提供することができる。さらに、撮像系が立体的に配置されていることにより、Ｙ方向、Ｚ方向およびＹ−Ｚ平面上の斜め方向の視差を用いた測距を行うことができるため、被写体依存性の少ない測距を行うことができる。

また、重畳領域の全体または分割領域の一部において、画角が互いに重複する複数の撮像系のうちいずれか一方の撮像系の収差が大きい場合、他方の撮像系から取得される視差画像対のみを用いて瞳分割測距を行うようにしても良い。

なお、実施例１から実施例４における複数の撮像系は、全てが瞳分割を行う撮像系でなくてもよい。言い換えれば、撮像モジュールは瞳分割を行わない撮像系を備えていてもよい。この場合には、画角が重畳する領域ではステレオ測距を行い、瞳分割を行わない撮像系のみが画角を持つ領域では測距を行わない。

本実施例では、２つの瞳分割を行う撮像系および１つの瞳分割を行わない撮像系を備え、それらを用いて被写体距離を算出可能な撮像装置について説明する。

図１７は、本実施例の撮像装置の基本構成を示すブロック図である。Ａ／Ｄコンバータ３０２、画像処理部３０３、記憶部３０４、撮像光学系３０５およびシステムコントローラ３０６は実施例１と同様であるため、それらの説明を省略する。

本実施例における撮像モジュール３００は、それぞれが瞳分割を行う撮像系３０１ａ，３０１ｂと、瞳分割を行わない撮像系３０１ｃを備える。３つの撮像系は、図１７には簡単のためそれぞれの光軸が互いに平行として示されているが、本実施例では図１８（ｃ）に示されるようにそれぞれの光軸が互いに角度を持つ状態で配置されている。撮像系３０１ａ，３０１ｂは、図５（ａ）に示される撮像系であり、それぞれが瞳分割を行うことで、図５（ａ）のＺ方向へ視差を持つ１対の視差画像を生成可能である。撮像系３０１ｃは、瞳分割を行わない撮像系である。

図１８は、撮像モジュール３００の説明図である。図１８（ａ）は、撮像系３０１ａおよび撮像系３０１ｂの画角をそれぞれ破線および点線で示す図である。図１８（ｂ）は、撮像系３０１ｃの画角を一点鎖線で示す図である。図１８（ｃ）は、３つの撮像系の配置図である。各撮像系は、Ｘ−Ｚ平面上において、互いの光軸が角度を持つように配置されている。図１８（ｄ）は、３つの撮像系の画角を重ねた図である。撮像モジュール３００の画角は、図１８（ｄ）に示されるように、３つの撮像系の画角を統合した画角である。撮像モジュール３００の画角には、撮像系３０１ａ，３０１ｃの画角が重畳する重畳領域Ｒ４１と撮像系３０１ｂ，撮像系３０１ｃの画角が重畳する重畳領域Ｒ４２、および画角が重畳しない非重畳領域Ｒ４３が存在する。

撮像系３０１ａ，３０１ｂが備える撮像素子は、それぞれの画角が重畳しない領域でのみ瞳分割を行う撮像素子でもよい。具体的には、撮像系３０１ａが備える撮像素子は、重畳領域Ｒ４１に相当する画素領域では、画素ごとに１つのマイクロレンズを備え、瞳分割を行わない。また、非重畳領域Ｒ４３に相当する画素領域では、画素群ごとに１つのマイクロレンズを備え、瞳分割を行う。撮像系３０１ｂが備える撮像素子についても同様である。

画像処理部３０３は、重畳領域Ｒ４１では、撮像系３０１ａ，３０１ｃから取得される画像を用いてステレオ測距を行う。このとき、撮像系３０１ａから取得される１対の視差画像の合成画像と撮像系３０１ｃから取得される画像を用いて測距を行ってもよいし、１対の視差画像のうち１枚の視差画像と撮像系３０１ｃから取得される画像を用いて測距を行なってもよい。また、撮像系３０１ａが備える撮像素子が非重畳領域Ｒ４３でのみ瞳分割を行う場合、撮像系３０１ａ，３０１ｃから取得される画像を用いてステレオ測距を行う。

また、画像処理部３０３は、重畳領域Ｒ４２では、撮像系３０１ｂ，３０１ｃから取得される画像を用いてステレオ測距を行う。このとき、撮像系３０１ｂから取得される１対の視差画像の合成画像と撮像系３０１ｃから取得される画像を用いて測距を行ってもよいし、１対の視差画像のうち１枚の視差画像および撮像系３０１ｃから取得される画像を用いて測距を行なってもよい。また、撮像系３０１ｂが備える撮像素子が非重畳領域Ｒ４３でのみ瞳分割を行う場合、撮像系３０１ｂ，３０１ｃから取得される画像を用いてステレオ測距を行う。

また、画像処理部２０３は、非重畳領域Ｒ４３では、撮像系３０１ａ，３０１ｂのいずれか一方から取得される１対の視差画像を用いて瞳分割測距を行う。

以上説明したように、本実施例では、瞳分割を行う２つの撮像系および瞳分割を行わない１つの撮像系がそれぞれの光軸が互いに傾くように配置されることで、重畳領域ではステレオ測距を行うことができ、非重畳領域では瞳分割測距を行うことができる。そのため、広い画角領域で測距を行うことが可能であるとともに、重畳領域では特に高精度に測距を行うことが可能な撮像装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ａ 撮像系
１０１ｂ 撮像系
１０３ 画像処理部（画像処理手段）

Claims (13)

1. 撮像光学系の射出瞳における異なる複数の領域を通過した光束のそれぞれを光電変換する複数の画素を含む画素群と、該画素群ごとに設けられた光学素子とをそれぞれが備える第１及び第２の撮像系と、
   該第１及び第２の撮像系のうち少なくとも一方により取得される複数の視差画像に基づいて被写体距離を算出する画像処理手段とを有し、
   該画像処理手段は、
   前記第１及び第２の撮像系の画角が互いに重畳する重畳領域では、画像選択情報に基づいて前記第１の撮像系により取得される複数の視差画像及び前記第２の撮像系により取得される複数の視差画像から少なくとも二つの視差画像を選択し、該選択された視差画像に基づいて被写体距離を算出し、
   前記第１及び第２の撮像系の画角が互いに重畳しない非重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される複数の視差画像に基づいて被写体距離を算出することを特徴とする撮像装置。
2. 前記第１及び第２の撮像系の光軸は、互いに非平行であることを特徴とする請求項１に記載の撮像装置。
3. 前記光学素子は、マイクロレンズであることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１及び第２の撮像系の光軸間の角度は、前記第１及び第２の撮像系の画角の半値以下であることを特徴とする請求項１から３の何れか１項に記載の撮像装置。
5. 前記画像処理手段は、前記重畳領域では、前記第１の撮像系により取得される複数の視差画像の合成画像と、前記第２の撮像系により取得される複数の視差画像の合成画像とに基づいて被写体距離を算出することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
6. 前記画像処理手段は、前記重畳領域では、前記第１の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像と、前記第２の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像とに基づいて被写体距離を算出することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
7. 前記画像処理手段は、前記重畳領域における分割領域ごとに前記少なくとも二つの視差画像を選択することを特徴とする請求項１から６の何れか１項に記載の撮像装置。
8. 前記画像選択情報は、前記第１及び第２の撮像系の収差に関する情報であることを特徴とする請求項１から７の何れか１項に記載の撮像装置。
9. 前記画像処理手段は、前記重畳領域では、
   前記複数の画素のうち何れかの画素値が所定値よりも大きい場合、前記第１の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像と、前記第２の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像とを選択し、該選択された視差画像に基づいて被写体距離を算出し、
   前記画素値が前記所定値よりも小さい場合、前記第１の撮像系により取得される複数の視差画像の合成画像と、前記第２の撮像系により取得される複数の視差画像の合成画像とに基づいて被写体距離を算出することを特徴とする請求項１から８の何れか１項に記載の撮像装置。
10. 撮像光学系の射出瞳における異なる複数の領域を通過した光束のそれぞれを光電変換する複数の画素を含む画素群と、該画素群ごとに設けられた光学素子とをそれぞれが備える第１及び第２の撮像系と、
    該第１及び第２の撮像系のうち少なくとも一方により取得される複数の視差画像に基づいて被写体距離を算出する画像処理手段とを有し、
    該画像処理手段は、
    前記第１及び第２の撮像系の画角が互いに重畳する重畳領域では、前記複数の画素のうち何れかの画素値が所定値よりも大きい場合、前記第１の撮像系により取得される複数の視差画像のうち少なくとも一つと、前記第２の撮像系により取得される複数の視差画像のうち少なくとも一つとを選択し、該選択された視差画像に基づいて被写体距離を算出し、前記画素値が前記所定値よりも小さい場合、前記第１の撮像系により取得される複数の視差画像の合成画像と、前記第２の撮像系により取得される複数の視差画像の合成画像とに基づいて被写体距離を算出し、
    前記第１及び第２の撮像系の画角が互いに重畳しない非重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される複数の視差画像に基づいて被写体距離を算出することを特徴とする撮像装置。
11. 複数の画素と該画素ごとに設けられた光学素子とを備える第３の撮像系を更に有することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
12. 前記画像処理手段は、
    前記第１及び第２の撮像系の何れか一方の画角と前記第３の撮像系の画角とが互いに重畳する重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される画像と、前記第３の撮像系により取得される画像とに基づいて被写体距離を算出し、
    前記第１又は第２の撮像系の画角と前記第３の撮像系とが重畳しない非重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される複数の視差画像に基づいて被写体距離を算出することを特徴とする請求項１１に記載の撮像装置。
13. 前記第１及び第２の撮像系のそれぞれは、
    前記第１及び第２の撮像系の画角が互いに重畳する重畳領域に対応する画素領域では、画素ごとに設けられた光学素子を備え、
    前記第１及び第２の撮像系の画角が互いに重畳しない非重畳領域に対応する画素領域では、前記画素群ごとに設けられた光学素子を備えることを特徴とする請求項１から４の何れか１項に記載の撮像装置。