JP6112419B2 - 撮像装置および測距装置 - Google Patents

Description

本願はカメラ等の撮像装置および測距装置に関する。

近年、デジタルスチルカメラやムービー用カメラ、医療用の内視鏡用カメラ等に、複数の撮像光学系間によって被写体を立体視するための撮像装置が実用化されている。また、自動車の車間距離測定やカメラの自動焦点システム、３次元形状測定システムに、複数の撮像光学系間の視差によって被写体（測距対象物）までの距離を測定する測距装置が用いられている。

このような撮像装置では、左右に配置する一対の撮像光学系によって立体視するための左目画像と右目画像を取得し、測距装置においては、左目画像と右目画像の視差から三角測量によって被写体までの距離が検出される。

このような撮像装置や測距装置は、２つの撮像装置が用いられるため、装置の大型化とコストアップの課題が生じる。

このような課題を解決するために、単一の撮像光学系から、立体視用の画像を取得する撮像装置が開示されている（特許文献１、２）。

特開２００６−３１４６５０号公報 特表２０１１−５１５０４５号公報

しかしながら、上述した従来の技術では、専用の撮像素子を必要とせず、より解像度の高い画像を得ることが可能な撮像装置が求められていた。

本願の、限定的ではない例示的なある実施形態は、専用の撮像素子を必要とせず、より解像度の高い画像を得ることが可能な撮像装置を提供する。

本発明の一態様にかかる撮像装置は、第１の瞳領域と、前記第１の瞳領域とは異なる第２の瞳領域を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する第１、第２、第３および第４の４つの画素が撮像面において２行２列に配置された画素群を複数有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、複数の光学要素を有するアレイ状光学素子とを備え、前記複数の画素群は、前記撮像面において、第１の方向および第２の方向に配置され、前記第１、第２の画素は第１の分光透過率特性を有し、前記第３の画素は前記第２の分光透過率特性を有し、前記第４の画素は前記第３の分光透過率特性を有し、前記複数の画素群のそれぞれにおいて、前記第１、第２の画素は、前記第２の方向の異なる位置に配置され、前記アレイ状光学素子における前記複数の光学要素のそれぞれは、前記複数の画素群のうち前記第１の方向に並ぶ１行の画素群に対応する位置に設けられている。

本発明の一態様にかかる撮像装置によれば、単一の撮像系を用いて解像度の高い立体視用のカラー画像を取得することができる。また、一般的なベイヤー配列の撮像素子を流用することができ、初期投資を抑えることができる。

本発明による撮像装置Ａの実施の形態１を示す模式図である。 本発明の実施の形態１における領域Ｄ１、Ｄ２を被写体側から見た正面図である。 本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態１における第１のカラー画像と第２のカラー画像を生成するフローを説明する図である。 本発明の実施の形態１におけるＳＡＤ演算について説明する図である。 （ａ）から（ｄ）は、本発明の実施の形態１においてそれぞれ第１および第２の領域を通過した光が到達する画素を抽出した図である。 本発明の実施の形態１におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係の別の形態を示す図である。 （ａ）および（ｂ）は、本発明の実施の形態２におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。 （ａ）および（ｂ）は、本発明の実施の形態３における領域Ｄ１，Ｄ２を被写体側から見た正面図である。 （ａ）〜（ｃ）は、本発明の実施の形態４における領域Ｄ１，Ｄ２を被写体側から見た正面図である。 本発明の実施の形態４における液晶シャッターアレイの断面図である。 （ａ１）〜（ｅ１）は、本発明の実施の形態５における領域Ｄ１，Ｄ２を被写体側から見た正面図である。（ａ２）〜（ｅ２）は、領域Ｄ１，Ｄ２の相対透過率を示すグラフである。 （ａ）および（ｂ）は、本発明の実施の形態６における光学系の模式図である。 本発明による光学系の実施の形態７を示す光学系の模式図である。 本発明による撮像装置Ａの実施の形態８を示す模式図である。 （ａ）および（ｂ）は、本発明の実施の形態８における測距原理について説明するための概念図である。 （ａ）は、本発明の実施の形態において、クロストークの発生する場合の撮像面の近傍を拡大して示す図であり、（ｂ）は、クロストークを軽減した場合の撮像面の近傍を拡大して示す図である。 本発明の実施の形態における撮像素子上のフィルタ配列のその他の実施形態を示す図である。 （ａ）および（ｂ）は、比較例におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、比較例において、それぞれ第１および第２の領域を通過した光が到達する画素を抽出した図である。

本願発明者が特許文献１、２に開示された撮像装置を検討した結果によれば、特許文献１、および特許文献２では、既存のベイヤー配列のカラー撮像素子を用いた実施形態が開示されているが、いずれの特許文献においても、図２０（ａ）に示すようにレンチキュラレンズの１つの光学要素が４つの画素列を覆うように配置されているため、解像度が大幅に低下するという課題が生じる。

また、特許文献２に記載の他の実施例では、図２０（ｂ）のようにレンチキュラレンズの１つの光学要素が２つの画素列を覆うように配置されているが、破線の領域において右目画像および左目画像の情報をそれぞれ抽出すると、図２１（ａ）および（ｂ）のようになる。各画素は１つの色情報のみであり、欠落した色情報が存在する。欠落した色情報は、通常周辺の画素から補間して生成されるため、解像度が低下する。さらには、専用のカラーフィルタ配列の撮像素子が新たに必要となり、既存のベイヤー配列のカラー撮像素子を流用する場合と比べて専用のカラーフィルタ形成用のフォトマスク等が必要となり、初期投資が増加する。

このような課題に鑑み、本願発明者は、単一の撮像光学系を用いて、解像度の高い立体視用のカラー画像を取得することが可能な新規な撮像装置を想到した。本発明の一態様の概要は以下のとおりである。

本発明の一態様である撮像装置は、第１の瞳領域と、前記第１の瞳領域とは異なる第２の瞳領域を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する第１、第２、第３および第４の４つの画素が撮像面において２行２列に配置された画素群を複数有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、複数の光学要素を有するアレイ状光学素子とを備え、前記複数の画素群は、前記撮像面において、第１の方向および第２の方向に配置され、前記第１、第２の画素は第１の分光透過率特性を有し、前記第３の画素は第２の分光透過率特性を有し、前記第４の画素は第３の分光透過率特性を有し、前記複数の画素群のそれぞれにおいて、前記第１、第２の画素は、方向の異なる位置に配置され、前記アレイ状光学素子における前記複数の光学要素のそれぞれは、前記複数の画素群のうち前記第１の方向に並ぶ１行の画素群に対応する位置に設けられている。

前記第１の瞳領域および前記第２の瞳領域は、前記撮像素子における前記撮像面と平行な平面において、前記第２の方向に異なる位置に設けられていてもよい。

前記アレイ状光学素子は、前記第１の瞳領域を通過した光を前記第１の画素と前記第３の画素に入射させ、前記第２の瞳領域を通過した光を前記第２の画素と前記第４の画素に入射させてもよい。

前記撮像装置は、信号処理部をさらに備え、前記信号処理部は、前記第１の画素によって生成された第１の画像情報と前記第２の画素によって生成された第２の画像情報から前記第１の画像情報と前記第２の画像情報との視差量を抽出し、前記第１、第２、第３および第４の画素と前記視差量に基づいて、互いに視差のある第１のカラー画像と第２のカラー画像とを生成してもよい。

前記撮像装置は、前記第３の画素によって生成された第３の画像情報および前記第４の画素によって生成された第４の画像情報を前記視差量の分だけ移動させて、前記第１のカラー画像と前記第２のカラー画像とを生成してもよい。

前記第１のカラー画像は、前記第１の画像情報と、前記第３の画像情報と、前記第４の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含み、前記第２のカラー画像は、前記第２の画像情報と、前記第４の画像情報と、前記第３の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含んでいてもよい。

前記撮像装置は、前記第１、第２、第３、および第４の画素によってそれぞれ生成された第１、第２、第３、および第４の画像情報を前記視差量の分だけ移動させて、前記第１のカラー画像と前記第２のカラー画像とを生成してもよい。

前記第１のカラー画像は、前記第１の画像情報と、前記第３の画像情報と、前記第２および前記第４の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含み、前記第２のカラー画像は、前記第２の画像情報と、前記第４の画像情報と、前記第１および前記第３の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含んでいてもよい。

前記撮像素子の前記第１、第２、第３および第４の画素はベイヤー配列で配列されていてもよい。

前記第１の瞳領域および前記第２の瞳領域は、前記レンズ光学系の光軸を境界中心として分割された領域であってもよい。

前記アレイ状光学素子はレンチキュラレンズであってもよい。

前記アレイ状光学素子はマイクロレンズアレイであり、前記複数の光学要素のそれぞれは、前記第１の方向に配列される複数のマイクロレンズから構成されており、前記複数のマイクロレンズのそれぞれは、前記第２の方向に配置される２つの画素に対応する位置に設けられていてもよい。

前記レンズ光学系は像側テレセントリック光学系であってもよい。

前記レンズ光学系は像側非テレセントリック光学系であって、前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせていてもよい。

前記アレイ状光学素子は前記撮像素子上に形成されていてもよい。

前記撮像装置は、前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されていてもよい。

前記撮像装置は、前記第１の瞳領域と前記第２の瞳領域の位置を変更する液晶シャッターアレイをさらに有していてもよい。

前記液晶シャッターアレイにおける各液晶シャッターの透過率が可変であってもよい。

前記レンズ光学系は、前記第１の瞳領域に光を入射させる第１Ａの反射部材および第１Ｂの反射部材と、前記第２の瞳領域に光を入射させる第２Ａの反射部材および第２Ｂの反射部材とをさらに備えていてもよい。

前記撮像装置は、リレー光学系をさらに備えていてもよい。

前記撮像装置は、絞りをさらに備え、前記絞りによって被写体からの光は前記第１、第２の瞳領域に入射してもよい。

本発明の一態様である測距装置は、上記いずれかに記載の撮像装置と、被写体までの距離を測定する第２の信号処理部をさらに備える。

本発明の一態様である撮像システムは、上記いずれかに記載の撮像装置と信号処理装置とを備え、前記信号処理装置は、前記第１の画素によって生成された第１の画像情報と前記第２の画素によって生成された第２の画像情報から前記第１の画像情報と前記第２の画像情報との視差量を抽出し、前記第１、第２、第３および第４の画素と前記視差量に基づいて、互いに視差のある第１のカラー画像と第２のカラー画像とを生成する。

以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖ０を光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第１の信号処理部Ｃ１とを備える。

レンズ光学系Ｌは、絞りＳと、絞りＳを通過した光が入射する対物レンズＬ１とを含む。レンズ光学系Ｌは、領域（瞳領域）Ｄ１と、領域Ｄ１とは異なる位置に配置された領域（瞳領域）Ｄ２とを有する。図１に示すように、領域Ｄ１、Ｄ２は、レンズ光学系Ｌを、光軸を通る平面によって分けた領域であり、絞りｓにおける開口領域を含んでいる。絞りｓによって、被写体からの光は、領域Ｄ１または領域Ｄ２に入射される。

図２は、絞りＳを被写体側から見た正面図である。図１および図２における矢印Ｈが、撮像装置が使用される場合における水平方向を示す。絞りＳにおける領域Ｄ１とＤ２は、光軸Ｖ０を境界中心として、光軸Ｖ０に垂直な面内で水平方向における左右（図では上下）に２分割されている。言い換えれば、領域Ｄ１、Ｄ２は、光軸Ｖ０に垂直な面内（例えば、撮像素子Ｎの撮像面Ｎｉと平行な面内）において、ｙ方向に異なる位置に設けられている。また、Ｖ１とＶ２はそれぞれ領域Ｄ１、Ｄ２の重心であり、Ｖ１とＶ２との間の距離Ｂは、両眼視の基線長に相当する。

図１において、光束Ｂ１は、絞りＳの中の領域Ｄ１を通過する光束であり、光束Ｂ２は、絞りｓの中の瞳領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、絞りＳ、対物レンズＬ１、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図４に示す）に到達する。

図３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋは、レンズ面をそれぞれ有する複数の光学要素Ｍを含む。本実施の形態においては、各光学要素Ｍのレンズ面はシリンドリカル面である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、ｘ方向（第1の方向）に細長い複数の光学要素Ｍがｙ方向（第２の方向）に配置されている。本実施形態では、ｘ方向およびｙ方向は互いに直交する。それぞれの光学要素Ｍのｘ方向に垂直な断面は、撮像素子Ｎ側に突出した曲面の形状を有する。このように、アレイ状光学素子Ｋにおいて、複数の光学要素Ｍは、レンチキュラレンズの構成をしている。

図４（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、アレイ状光学素子Ｋは、光学要素Ｍが形成された面が撮像面Ｎｉ側に向かうように配置されている。図１に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。アレイ状光学素子Ｋが配置される位置は、例えば、対物レンズＬ１の焦点を基準にして決定すればよい。

図４（ｂ）は、アレイ状光学素子Ｋの光学要素Ｍと撮像素子Ｎ上の画素との位置関係を示す図である。撮像素子Ｎは、撮像面Ｎｉに配列された複数の画素を含む。図４（ｂ）に示すように、複数の画素は、ｘ方向およびｙ方向に２次元に配列されている。複数の画素は、それぞれ複数の画素Ｐ１、Ｐ２、Ｐ３、およびＰ４に区別できる。ｘ方向およびｙ方向への配列をそれぞれ行および列と呼ぶ場合、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は、撮像面Ｎｉにおいて、２行２列に配置されており、この４つの画素は画素群Ｐｇを構成している。画素群Ｐｇは撮像面Ｎｉにおいて複数設けられ、ｘ方向およびｙ方向に配列されている。

アレイ状光学素子Ｋは、その光学要素Ｍの１つが、撮像面Ｎｉ上における２行の画素に対応するように配置されている。言い換えれば、１つの光学要素Ｍは、複数の画素群Ｐｇのうちｘ方向に並ぶ１行の画素群に対応する位置に設けられており、光軸に垂直な方向から平面視して、１つの光学要素Ｍは、ｘ方向に配列する１行の画素群Ｐｇと重なる位置に設けられている。アレイ状光学素子Ｋは、領域Ｄ１を通過した光の大部分を撮像素子Ｎにおける画素Ｐ１、Ｐ３に、瞳領域Ｄ２を通過した光の大部分を撮像素子Ｎにおける画素Ｐ２、Ｐ４に入射させる。

アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳで分割された領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光を入射させることができる。このような画素への光の入射を実現するには、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ表面の曲率半径等のパラメータを適切に設定すればよい。

撮像面Ｎｉ上には、各画素の表面を覆うようにマイクロレンズＭｓが設けられている。

また、画素Ｐ１、およびＰ２には第１の分光透過率特性を有するフィルタが備えられており、緑色帯域の光線を主に通過し、他の帯域の光線を吸収する。また、画素Ｐ３には、第２の分光透過率特性を有するフィルタが備えられており、赤色帯域の光線を主に通過し、他の帯域の光線を吸収する。また、画素Ｐ４には、第３の分光透過率特性を有するフィルタが備えられており、青色帯域の光線を主に通過し、他の帯域の光線を吸収する。

画素Ｐ１とＰ３、および画素Ｐ２とＰ４とは、いずれもｘ方向に交互に配置されている。また、画素Ｐ１とＰ４、および画素Ｐ２とＰ３は、いずれもｙ方向に交互に配置されている。また、画素Ｐ１、およびＰ３は同じ行に配列され、画素Ｐ２、およびＰ４は同じ行に配列され、画素Ｐ１、およびＰ３の行と画素Ｐ２、およびＰ４の行は、ｙ方向に交互に配置されている。このように、それぞれの複数の画素は、ベイヤー配列を成している。なお、後に説明するが、複数の画素はベイヤー配列を成していなくてもよく、画素群Ｐｇ内において、同じ分光透過率特性を有する画素Ｐ１、Ｐ２が、ｙ方向（視差の生じる方向）に異なる位置に設けられていればよい。

本実施の形態において、複数の画素（画素Ｐ１、Ｐ２、Ｐ３、およびＰ４）はいずれも撮像面Ｎｉにおいて同じ形状を有している。例えば、複数の第１の画素Ｐ１および複数の第２の画素Ｐ２は同じ矩形形状を有しており、面積も互いに等しい。また、複数の画素を行単位でみた場合、ｙ方向に隣接する２つの行における各画素のｘ方向の位置はシフトしていない。同様に複数の画素を列単位でみた場合、ｘ方向に隣接する２つの列における各画素のｙ方向の位置はシフトしていない。

次に、第１の信号処理部Ｃ１によって、第１のカラー画像と第２のカラー画像を生成するフローについて説明する。

図５は、第１の信号処理部Ｃ１において、第１のカラー画像と第２のカラー画像を生成するフローを示す図である。図５のステップ１０１Ａでは、画素Ｐ１で構成された緑色（一つの原色）の画像情報Ｇ１、および画素Ｐ３で構成された赤色の画像情報Ｒが生成され、ステップ１０１Ｂでは、画素Ｐ２で構成された緑色の画像情報Ｇ２、および画素Ｐ４で構成された青色の画像情報Ｂが生成される。また、図４で示したように、各画素はｘ方向に交互に配置されているため、欠落した色情報は、隣接する画素の色情報を用いて補間される。また、ｙ方向については、１列おきに画素情報が欠落するため、隣接する画素情報を用いて補間される。

ここで、画像情報Ｇ１、Ｇ２は、同じ分光情報を有しており、互いに異なる瞳領域を通過した光線が結像した画像であるため、互いに視差のある画像が生成される。この視差（Ｐｘ）を図５のステップ１０２で抽出する。ステップ１０２では、画像情報Ｇ１における所定の画像ブロック（基準画像）と、画像情報Ｇ２における所定の画像ブロック（参照画像）との間に生じる視差をパターンマッチングにより抽出する。パターンマッチングの相関度は、例えば基準画像と参照画像との間の各画素の輝度の差分（絶対値）の総和である評価関数ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）によって求めることができる。ここで、小領域の演算ブロックサイズをｍ×ｎ画素とすると、ＳＡＤは（数１）によって求めることができる。

（数１）において、ｘ、ｙは撮像面の座標であり、Ｉ０、Ｉ１はそれぞれ括弧内で示した座標における基準画像の輝度値と参照画像の輝度値である。

図６はＳＡＤ演算について説明する図である。ＳＡＤ演算では、基準画像の基準ブロック領域に対して参照画像の探索ブロック領域の位置を図６のように基線方向にｄｘだけずらしながら演算し、ＳＡＤが極小値となるｄｘが視差Ｐｘとなる。ＳＡＤは任意の座標で演算できるので、撮像視野内の全領域の視差を抽出することができる。ステップ１０２では、画像の全領域において微小領域毎に視差Ｐｘを抽出する。

次に、図５のステップ１０３Ａにおいて、ステップ１０１Ｂで生成した青色の画像情報Ｂをステップ１０２で抽出した視差Ｐｘだけプラス方向にシフトする。これを画像の全領域において微小領域毎に実行することにより、青色の画像情報Ｂ’が生成される。これにより緑色の画像情報Ｇ１、赤色の画像情報Ｒ、および青色の画像情報Ｂ’で構成された（成分として有する）第１のカラー画像ＩＭ１が生成される。同様に、図５のステップ１０３Ｂにおいて、ステップ１０１Ａで生成した赤色の画像情報Ｒをステップ１０２で抽出した視差Ｐｘだけマイナス方向にシフトする。これを画像の全領域において微小領域毎に実行することにより、赤色の画像情報Ｒ’が生成される。これにより緑色の画像情報Ｇ２、青色の画像情報Ｂ、および赤色の画像情報Ｒ’で構成された（成分として有する）第２のカラー画像ＩＭ２が生成される。

ここで、所定領域における画像の情報量について比較例と比較する。図２１（ａ）および（ｂ）は、それぞれ比較例である図２０（ｂ）の左下の４×４画素の画像領域において、第１のカラー画像と第２のカラー画像の補間前の画像情報を抽出した図である。図２１（ａ）および（ｂ）によると、抽出した領域では、いずれも緑色の情報量は４画素分、赤色および青色の情報量は２画素分である。これらの画像情報から欠落した画素情報を補完してカラー画像が生成される。

図７（ａ）および（ｂ）は、それぞれ図４（ｂ）の左下の４×４画素の画像領域において、第１のカラー画像と第２のカラー画像の補間前の画像情報を抽出した図である。図７（ａ）および（ｂ）によると、抽出した領域では、いずれも赤色、緑色、および青色の情報量は４画素分である。これらの画像情報から欠落した画素情報を補完してカラー画像が生成される。

比較例と本実施の形態を比較すると、緑色の画像の情報量は同じであるが、本実施の形態では赤色と青色の画像の情報量は比較例の２倍となるため、補完して生成されるカラー画像の解像度を高くすることができる。

このように、本実施の形態では、単一の撮像系を用いて、解像度の高い第１のカラー画像と第２のカラー画像を取得することができる。第１のカラー画像と第２のカラー画像は、右目視点の画像と左目視点の画像として扱うことができるため、３Ｄモニターに表示することにより、対象物を立体的に見ることができる。

また、単一の撮像系により被写体を立体視するための画像を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。

また、本実施形態に用いる撮像素子としては、一般的なベイヤー配列型の撮像素子を利用することができるため、専用のフィルタ配列のカラーフィルタ用のフォトマスク等の初期投資が不要となり、初期投資を抑えることができる。

なお、図５と同様のステップで緑色の画像情報Ｇ２を視差Ｐｘだけプラス方向にシフトして得られる画像情報Ｇ２’と、緑色の画像情報Ｇ１を視差Ｐｘだけマイナス方向にシフトして得られる画像情報Ｇ１’をさらに得ることもできる。図７（ａ）および（ｂ）と同様に、図４（ｂ）の左下の４×４画素の画像領域において、第１のカラー画像と第２のカラー画像の補間前の画像情報を抽出すると、図７（ｃ）および（ｄ）のようになる。ここで、視差抽出前に補完して生成した緑色の画像情報は、視差Ｐｘだけシフトして得られた画像情報に置き換えられる。図７（ｃ）および（ｄ）によると、抽出した領域では、いずれも赤色、および青色の情報量は４画素分、緑色の情報量は８画素分となり、さらに解像度の高いカラー画像を生成することができる。

また、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋに対する主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１、Ｐ３と画素Ｐ２、Ｐ４にそれぞれ到達する光束間のクロストークを低減することができる。

また、本実施形態では、アレイ状光学素子Ｋにおける光学要素Ｍは、レンチキュラレンズで構成されていたが、図８に示すように、２つの画素を覆うようなマイクロレンズアレイによって構成されていてもよい。図８において、複数のマイクロレンズｍｌのそれぞれは、ｙ方向に配置される２つの画素に対応する位置に設けられている。言い換えれば、光軸と垂直な方向から平面視して、マイクロレンズｍｌは、ｙ方向に配置される２つの画素と重なる位置に設けられている。複数の光学要素Ｍのそれぞれは、ｘ方向に配列される複数のマイクロレンズｍｌから構成されている。図８に示す構成においても、図４に示す構成と同様に、１つの光学要素Ｍは、ｘ方向に配列される１行の画素群に対応する位置に設けられている。

（実施の形態２）
本実施の形態２は、アレイ状光学素子を撮像面上に形成したという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図９（ａ）は、本実施形態におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、アレイ状光学素子Ｋの光学要素Ｍｄが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１と同様に、画素が行列状に配置されている。これら複数の画素に対して、１つの光学要素Ｍｄが対応している。本実施の形態においても、実施の形態１と同様に、絞りＳの異なる領域を通過した光を、それぞれ異なる画素に導くことができる。また、図９（ｂ）は、本実施形態の変形例を示す図である。図９（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズＭｓが形成され、マイクロレンズＭｓの表面上にアレイ状光学素子が積層されている。図９（ｂ）に示す構成では、図９（ａ）の構成よりも集光効率を高めることができる。

（実施の形態３）
本実施の形態３は、領域Ｄ１とＤ２が所定距離を介して離間しているという点で実施の形態１、２と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１０（ａ）は、絞りＳ’を被写体側から見た正面図である。絞りＳ’によって形成された領域Ｄ１と領域Ｄ２は、いずれも円形の形状を有しており、各領域は分離されている。また、Ｖ１’とＶ２’はそれぞれ領域Ｄ１、Ｄ２の重心であり、Ｖ１’とＶ２’との間の距離Ｂ’は、両眼視の基線長に相当する。本実施の形態では、基線長Ｂ’を実施の形態１の図２で示したＢよりも大きくすることができ、３Ｄモニターで立体視する場合に奥行き感を高めることができる。また、実施の形態１のように領域Ｄ１と領域Ｄ２とが分離されていない場合では、領域Ｄ１と領域Ｄ２の境界付近を通過する光はクロストークの要因となるが、本実施の形態のように領域Ｄ１と領域Ｄ２を分離することにより、クロストークを低減することができる。

また、領域Ｄ１とＤ２の開口形状は、図１０（ｂ）の絞りＳ’’のように楕円形状であってもよい。楕円の開口形状にすることにより、図９（ａ）と比べて各領域を通過する光量を多くすることができ、画像の感度を増すことができる。

（実施の形態４）
本実施の形態４は、絞りによって分離された領域Ｄ１と領域Ｄ２の位置を変更できるという点で実施の形態３と異なる。ここでは、本実施形態において実施の形態３と同様の内容についての詳細な説明は省略する。

本実施の形態４では、図１１（ａ）から（ｃ）に示すように、絞りＳｖは、液晶シャッターアレイから構成され、液晶シャッターアレイの開口位置の切替えによって領域Ｄ１と領域Ｄ２の位置を変更できる。液晶シャッターアレイは、一般的なＴＮ(Twisted Nematic)液晶を用いた透過型液晶等によって構成される。

図１２は、液晶シャッターアレイＷの断面図である。液晶シャッターアレイＷにおいては、基板ＳＢ１と基板ＳＢ２がシール材Ｊによって貼り合わせられ、液晶材料ＬＣが注入されている。基板ＳＢ１は、偏光板ＰＬ１、ガラスＨ１、共通電極ＥＣ、および配向膜Ｔ１から構成され、基板ＳＢ２は、偏光板ＰＬ２、ガラスＨ２、瞳領域を選択する電極群ＥＤ１とＥＤ２、および配向膜Ｔ２から構成されている。また、液晶シャッターアレイはノーマリーブラックであり、駆動電圧がＯＮの場合に光が透過し、オフの場合に光を遮断するように構成されている。

図１１（ａ）、（ｂ）および（ｃ）における基線長は、それぞれＢ１，Ｂ２およびＢ３となり、各液晶シャッターのオンオフによって開口位置を変更することができる。

開口位置を変更できることにより、被写体距離に応じて奥行き感を適切に選択できるようになる。

なお、本実施の形態では、図１１（ａ）から（ｃ）に示すように基線長を３段階に変更できる構成であるが、２段階や４段階以上の構成であってもよい。また、各液晶シャッターの形状は円形や矩形であってもよい。

（実施の形態５）
本実施の形態５は、絞りによって分離された領域Ｄ１とＤ２の位置をさらに高い分解能で変更できるという点で実施の形態４と異なる。

実施の形態５では、図１３（ａ１）〜（ｅ１）に示すように、絞りＳｖ’は、液晶シャッターアレイで構成され、液晶シャッターアレイは、領域Ｄ１、Ｄ２を開口している。領域Ｄ１、Ｄ２のそれぞれは、複数のサブ領域を有している。なお、説明のため、図１３（ａ１）〜（ｅ１）に、領域Ｄ１、Ｄ２のそれぞれが有するサブ領域のうち３つのサブ領域Ｓｕ１、Ｓｕ２、Ｓｕ３を示すが、領域Ｄ１、Ｄ２のそれぞれは、３つのサブ領域Ｓｕ１、Ｓｕ２、Ｓｕ３以外のサブ領域を有していてもよい。

図１３（ａ１）〜（ｅ１）に示すそれぞれのサブ領域Ｓｕ１、Ｓｕ２、Ｓｕ３において、液晶シャッターの透過率が制御される。これにより、領域Ｄ１の透過率分布の重心と領域Ｄ２の透過率分布の重心とを変化させることができる。図１３（ａ２）〜（ｅ２）は、それぞれ図１３（ａ１）〜（ｅ１）に対応する液晶シャッターの透過率を示すグラフである。

図１３（ａ２）〜（ｅ２）において、領域Ｄ１、Ｄ２の透過率分布の重心は、それぞれの領域Ｄ１、Ｄ２における開口重心に相当する。各領域Ｄ１、Ｄ２の開口重心間の距離である基線長は、それぞれ距離Ｂａ〜Ｂｅとなる。

実施の形態４のようにオンオフ２階調の液晶シャッターで基線長の分解能を増すには、液晶シャッターの数も増やさなければならないが、液晶シャッターの数を増やすと液晶シャッターの開口率が低下するため、領域Ｄ１、Ｄ２の透過率が低下する。これにより、画像の感度も低下する等の不具合が生じる。

一方、本実施の形態のように複数階調の液晶シャッターを用いることにより、少ない液晶シャッター数で基線長の分解能を増すことができる。また、液晶シャッターの開口率の低下を抑制することができるため、領域Ｄ１、Ｄ２の透過率の低下も抑制することができる。これにより、画像の感度の低下も抑制することができる。

（実施の形態６）
本実施の形態６は、領域Ｄ１に光を入射させる第１Ａの反射部材（反射面）および第１Ｂの反射部材（反射面）とをレンズ光学系Ｌに備える点において、実施の形態１から５と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１４（ａ）は、実施の形態６の撮像装置Ａの光学系を示す模式図である。図１４（ａ）において、光束Ｂ１は、反射面Ｊ１ａと反射面Ｊ１ｂ、絞りＳの領域Ｄ１、対物レンズＬ１、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉに到達し、光束Ｂ２は、反射面Ｊ２ａと反射面Ｊ２ｂ、絞りＳの領域Ｄ２、対物レンズＬ１、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉに到達する。また、Ｖ１’’とＶ２’’は、両眼視の光軸であり、Ｖ１’’とＶ２’’との距離Ｂ’’は両眼視の基線長に相当する。

本実施の形態では、単一のレンズ光学系を用いて、解像度の高い立体視用のカラー画像を取得することができる。さらに、各領域Ｄ１、Ｄ２までの光路を反射面で折り返すことにより、基線長を大きくすることができ、３Ｄモニターで立体視する場合に奥行き感を高めることができる。

なお、図１４（ａ）では、反射面をミラーで構成しているが、プリズムを設けてもよい。

また、図１４（ｂ）のように、反射面Ｊ１ａおよび反射面Ｊ２ａの前に凹レンズを配置させてもよい。凹レンズを配置することにより、基線長を維持したまま、画角を増すことができる。あるいは、画角を維持したまま、基線長を短く設定することもできる。

本明細書において、「単一の撮像系」とは、レンズ光学系が有する対物レンズ（アレイ状光学素子を除く）が、単一の一次結像面に像を形成する構成のものを言う。「一次結像面」とは、その対物レンズに入射した光が、初めて結像する面のことを言う。本実施の形態以外の他の実施の形態においても同様である。本実施形態においては、図１４（ａ）および図１４（ｂ）ともに、撮像面Ｎｉもしくはその近傍に一次結像面を有している。

（実施の形態７）
本実施の形態７は、レンズ光学系が対物レンズおよびリレー光学系を含む点で、実施の形態１から６と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１５は、実施の形態６の撮像装置Ａの光学系を示す模式図である。本実施の形態の光学系Ｏｓは、図１５に示すように絞りＳ、対物レンズＬ１、およびリレー光学系ＬＬによって構成されている。絞りＳおよび対物レンズＬ１は、レンズ光学系Ｌを構成している。また、リレー光学系ＬＬは、第１のリレーレンズＬＬ１と第２のリレーレンズＬＬ２によって構成されている。このようなリレー光学系ＬＬは、中間像Ｉｍ１、Ｉｍ２をリレーレンズの数に応じて順次結像することができる。このようなリレー光学系ＬＬを対物レンズＬ１とアレイ状光学素子Ｋとの間に配置することにより、焦点距離を維持したまま光学長を延長することができるため、硬性内視鏡のようにリレー光学系ＬＬによって光学長を延長する方式においても、単一の光学系で立体視することができる。

従来の手法のように一対の光学系を配置して立体視する場合、一対のレンズ光学系の光学特性と一対のリレー光学系の光学特性をそれぞれ合せこむ必要があるが、このような光学系は非常に多数のレンズを必要とするため、光学系間の合せこみは極めて困難なものとなる。前述のように、本実施の形態は単一の光学系で構成されているため、光学系間の合せこみは不要となり、組み立て工程を簡素化することができる。

なお、図１５においてリレー光学系ＬＬは２つのリレーレンズＬＬ１、ＬＬ２で構成されているが２つ以外のリレーレンズで構成されていてもよい。また、光路中の中間像が形成される箇所にフィールドレンズを配置した構成であってもよい。

本実施の形態においても、単一の撮像系を用いて、解像度の高い立体視用のカラー画像を取得することができる。本実施形態においては、第１のリレーレンズＬＬ１は、対物レンズＬによって結像された中間像Ｉｍ１から、中間像Ｉｍ２を形成する。第２のリレーレンズＬＬ２は、中間像Ｉｍ２から、撮像面Ｎｉに像を形成する。対物レンズＬにおいて、中間像Ｉｍ１は、一次結像面に結像される。本実施形態においては、対物レンズＬにより、単一の一次結像面に像が形成される。

（実施の形態８）
本実施の形態８は、対象物までの距離を測定する信号処理部を有するという点で実施の形態１から７と異なる。

図１６は、実施の形態８の撮像装置Ａの光学系を示す模式図である。本実施の形態は、図１の構成に対象物までの距離を測定する第２の信号処理部Ｃ２を追加した構成である。その他の構成については、実施の形態１と同様であるため、詳細な説明は省略する。

第２の信号処理部Ｃ２では、第１の信号処理部で抽出した視差Ｐｘに基づいて被写体までの距離を算出する。

以下に抽出した視差Ｐｘに基づいて被写体までの距離を求める方法について説明する。

図１７（ａ）および図１７（ｂ）は、本実施の形態の測距原理について説明するための概念図である。ここでは、測距の基本原理について簡単に説明するため、薄肉レンズを使用した理想光学系を用いて説明する。図１７（ａ）は、領域Ｄ１およびＤ２を被写体側からみた正面図であり、各記号は図２と同じである。原理説明を簡単にするため、領域Ｄ１およびＤ２は、対物レンズＬ１の直径の半分の大きさとし、基線長Ｂも対物レンズＬ１の直径の半分の大きさとしている。また、領域Ｄ１およびＤ２は、対物レンズＬ１の主点を含む平面内に存在し、領域Ｄ１およびＤ２以外の領域は遮光されているものとする。また、説明を簡単にするため、アレイ状光学素子も省略している。図１７（ｂ）は、光学系の光路図である。図１７（ｂ）において、ｏは物点、ｐは対物レンズＬ１の主点、ｉは撮像面を示している。また、ａは物点ｏから対物レンズＬ１の主点ｐまでの光軸方向の距離（被写体距離）、ｂは対物レンズＬ１の主点ｐから結像位置までの光軸方向の距離、ｆは焦点距離、ｅは主点から撮像面Ｎｉまでの距離を示している。ここで、レンズの公式から（数２）が成り立つ。

また、図１７（ｂ）のδ（＝Ｐｘ）は対物レンズＬ１の領域Ｄ１と領域Ｄ２を通過した光線の撮像面上における視差を示している。ここで、図１７（ｂ）の光路の幾何学的な関係から（数３）が成り立つ。

（数２）、（数３）から、被写体距離ａは、（数４）によって求めることができる。

（数４）において、焦点距離ｆと基線長Ｂは既知であり、視差δは前述のパターンマッチングによって抽出する。主点から撮像面ｉまでの距離ｅは、合焦距離の設定によって変化するが、合焦距離を固定しておけば、ｅも定数となるため、被写体距離ａの算出が可能となる。

また、（数４）にｅ＝ｆとし、合焦距離を無限遠に設定すれば、（数４）は、（数５）のようになる。

（数５）は、平行配列した一対の撮像光学系による三角測量の式と同じになる。

以上の計算によって、画像上の任意の位置に撮像された被写体の距離、もしくは画像全体の被写体の距離情報を１つの撮像光学系で取得することができる。

（その他の実施形態）
実施の形態１から８において、対物レンズＬ１は１枚の構成としているが、複数群または複数枚のレンズ構成であってもよい。

また、前述の実施の形態１から８では、レンズ光学系Ｌは像側テレセントリック光学系としているが、像側非テレセントリック光学系であってもよい。図１８（ａ）は、レンズ光学系Ｌが像側非テレセントリック光学系である場合の撮像部近傍を拡大して示す図である。図１８（ａ）では、アレイ状光学素子Ｋを通過する光のうち領域Ｄ１のみを通過する光束のみを示している。図１８（ａ）に示すように、レンズ光学系Ｌが像側非テレセントリック光学系の場合には、隣接画素に光が漏れてクロストークが発生しやすいが、図１８（ｂ）のようにアレイ状光学素子を画素配列に対してΔだけオフセットさせることにより、クロストークを低減させることができる。前記入射角は像高によって異なるため、前記オフセット量Δは、撮像面への光束の入射角に応じて設定すればよい。像側非テレセントリック光学系にすることにより、像側テレセントリック光学系に比べて光学長を短くすることができるため、撮像装置Ａを小型化することができる。

また、本実施形態では、撮像素子の画素の配列はベイヤー配列としているが、図１９に示すような画素の配列であってもよい。図１９に示す構成においては、第１の波長帯域の光を透過する第１、第２の画素が、それぞれの画素群Ｐｇ内において、斜めの位置に配置されているのではなく、同じ列に配置されている。ベイヤー配列の撮像素子Ｎを用いた場合、図５に示すステップ１０３Ａにおいて視差Ｐｘ分のシフトを行う方向とステップ１０３Ｂにおいて視差Ｐｘ分のシフトを行う方向とは反対であったが、図１９に示す構成においては、これらのステップ１０３Ａ、１０３Ｂにおいて同じ方向に視差Ｐｘ分のシフトを行えばよい。

このような画素の配置においても、図５のフローによって第１のカラー画像と第２のカラー画像を生成することができる。

実施の形態１から７は、第１の信号処理部Ｃ１を備え、実施の形態８は、第２の信号処理部Ｃ２をさらに備える撮像装置である。本発明の撮像装置は、これらの信号処理部を備えていなくてもよい。その場合、撮像装置の外部のＰＣ等を用いて、第１の信号処理部Ｃ１および第２の信号処理部Ｃ２が行う処理を行えばよい。すなわち、本発明は、対物レンズＬ、アレイ状光学素子Ｋおよび撮像素子Ｎを備える撮像装置と、外部の信号処理装置とを備えるシステムによっても実現することができる。

本願に開示された撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装として有用である。また、自動車の周辺監視用および乗員監視用の測距装置やゲーム、ＰＣ、携帯端末、内視鏡等の立体視用および３次元情報入力用の用途にも応用できる。

Ａ 撮像装置
Ｂ１、Ｂ２ 光束
Ｖ０ 光軸
Ｌ レンズ光学系
Ｌ１ 対物レンズ
Ｄ１、Ｄ２ 領域（瞳領域）
Ｓ 絞り
Ｋ アレイ状光学素子
Ｎ 撮像素子
Ｎｉ 撮像面
Ｍｓ 撮像素子上のマイクロレンズ
Ｍ、Ｍｄ アレイ状光学素子における光学要素
Ｐ１〜Ｐ４ 撮像素子上の受光素子（画素）
Ｐｇ 画素群
Ｃ１、Ｃ２ 第１、第２の信号処理部
Ｏｐ 光学系
ＳＢ１ 基板
ＳＢ２ 基板
Ｓｕ１、Ｓｕ２、Ｓｕ３ サブ領域
Ｔ１ 配向膜
Ｔ２ 配向膜
ＰＬ１ 偏光板
ＰＬ２ 偏光板
Ｗ 液晶シャッターアレイ
ＬＬ リレー光学系
ＬＬ１ 第１のリレーレンズ
ＬＬ２ 第２のリレーレンズ

Claims (21)

1. 第１の瞳領域と、前記第１の瞳領域とは異なる第２の瞳領域を有するレンズ光学系と、
   前記レンズ光学系を通過した光が入射する第１、第２、第３および第４の４つの画素が撮像面において２行２列に配置された画素群を複数有する撮像素子と、
   前記レンズ光学系と前記撮像素子との間に配置され、複数の光学要素を有するアレイ状光学素子とを備え、
   前記複数の画素群は、前記撮像面において、第１の方向および第２の方向に配置され、
   前記第１の瞳領域および前記第２の瞳領域は、前記撮像素子における前記撮像面と平行な平面において、前記第２の方向に異なる位置に設けられ、
   前記第１、第２の画素は第１の分光透過率特性を有し、前記第３の画素は第２の分光透過率特性を有し、前記第４の画素は第３の分光透過率特性を有し、前記複数の画素群のそれぞれにおいて、前記第１、第２の画素は、前記第２の方向に異なる位置に配置され、
   前記アレイ状光学素子における前記複数の光学要素のそれぞれは、前記複数の画素群のうち前記第１の方向に並ぶ１行の画素群に対応する位置に設けられ、
   前記アレイ状光学素子は、前記第１の瞳領域を通過した光を前記第１の画素と前記第３の画素に入射させ、前記第２の瞳領域を通過した光を前記第２の画素と前記第４の画素に入射させる、撮像装置。
2. 信号処理部をさらに備え、
   前記信号処理部は、
   前記第１の画素によって生成された第１の画像情報と前記第２の画素によって生成された第２の画像情報から前記第１の画像情報と前記第２の画像情報との視差量を抽出し、
   前記第１、第２、第３および第４の画素と前記視差量に基づいて、互いに視差のある第１のカラー画像と第２のカラー画像とを生成する、請求項１に記載の撮像装置。
3. 前記第３の画素によって生成された第３の画像情報および前記第４の画素によって生成された第４の画像情報を前記視差量の分だけ移動させて、前記第１のカラー画像と前記第２のカラー画像とを生成する、請求項２に記載の撮像装置。
4. 前記第１のカラー画像は、前記第１の画像情報と、前記第３の画像情報と、前記第４の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含み、
   前記第２のカラー画像は、前記第２の画像情報と、前記第４の画像情報と、前記第３の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含む、請求項３に記載の撮像装置。
5. 前記第１、第２、第３、および第４の画素によってそれぞれ生成された第１、第２、第３、および第４の画像情報を前記視差量の分だけ移動させて、前記第１のカラー画像と前記第２のカラー画像とを生成する、請求項２に記載の撮像装置。
6. 前記第１のカラー画像は、前記第１の画像情報と、前記第３の画像情報と、前記第２および前記第４の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含み、
   前記第２のカラー画像は、前記第２の画像情報と、前記第４の画像情報と、前記第１および前記第３の画像情報を前記視差量の分だけ移動させた画像情報とを成分として含む、請求項５に記載の撮像装置。
7. 前記撮像素子の前記第１、第２、第３および第４の画素がベイヤー配列で配列されている、請求項１から６のいずれかに記載の撮像装置。
8. 前記第１の瞳領域および前記第２の瞳領域は、前記レンズ光学系の光軸を境界中心として分割された領域である、請求項１から７のいずれかに記載の撮像装置。
9. 前記アレイ状光学素子はレンチキュラレンズである、請求項１から８のいずれかに記載の撮像装置。
10. 前記アレイ状光学素子はマイクロレンズアレイであり、
    前記複数の光学要素のそれぞれは、前記第１の方向に配列される複数のマイクロレンズから構成されており、
    前記複数のマイクロレンズのそれぞれは、前記第２の方向に配置される２つの画素に対応する位置に設けられている、請求項１から８のいずれかに記載の撮像装置。
11. 前記レンズ光学系は像側テレセントリック光学系である、請求項１から１０のいずれかに記載の撮像装置。
12. 前記レンズ光学系は像側非テレセントリック光学系であって、
    前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせている、請求項１から１０のいずれかに記載の撮像装置。
13. 前記アレイ状光学素子は前記撮像素子上に形成されている、請求項１から１２のいずれかに記載の撮像装置。
14. 前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
    前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されている、請求項１３に記載の撮像装置。
15. 前記第１の瞳領域と前記第２の瞳領域の位置を変更する液晶シャッターアレイをさらに有する、請求項１から１４のいずれかに記載の撮像装置。
16. 前記液晶シャッターアレイにおける各液晶シャッターの透過率が可変である、請求項１５に記載の撮像装置。
17. 前記レンズ光学系は、前記第１の瞳領域に光を入射させる第１Ａの反射部材および第１Ｂの反射部材と、前記第２の瞳領域に光を入射させる第２Ａの反射部材および第２Ｂの反射部材とをさらに備える、請求項１から１６のいずれかに記載の撮像装置。
18. リレー光学系をさらに備えている、請求項１から１７のいずれかに記載の撮像装置。
19. 絞りをさらに備え、
    前記絞りによって被写体からの光は前記第１、第２の瞳領域に入射する、請求項１から１８のいずれかに記載の撮像装置。
20. 請求項１から１９のいずれかに記載の撮像装置と、
    被写体までの距離を測定する第２の信号処理部をさらに備える、測距装置。
21. 請求項１に記載の撮像装置と、信号処理装置とを備える撮像システムであって、
    前記信号処理装置は、
    前記第１の画素によって生成された第１の画像情報と前記第２の画素によって生成された第２の画像情報から前記第１の画像情報と前記第２の画像情報との視差量を抽出し、
    前記第１、第２、第３および第４の画素と前記視差量に基づいて、互いに視差のある第１のカラー画像と第２のカラー画像とを生成する、撮像システム。

Images