JP6217918B2 - アレイ状光学素子、撮像用部材、撮像素子、撮像装置および測距装置 - Google Patents

Description

本願はカメラ等の撮像装置およびその測距装置に関する。または、これらに用いられるアレイ状光学素子および撮像用部材に関する。

近年、デジタルスチルカメラやムービー用カメラ、医療用の内視鏡用カメラ等に、複数の撮像光学系間によって被写体を立体視するための撮像装置が実用化されている。また、自動車の車間距離測定やカメラの自動焦点システム、３次元形状測定システムに、複数の撮像光学系間の視差によって被写体（測距対象物）までの距離を測定する測距装置が用いられている。

このような撮像装置では、左右に配置する一対の撮像光学系によって立体視するための左目画像と右目画像を取得し、測距装置においては、左目画像と右目画像の視差から三角測量によって被写体までの距離が検出される。

このような撮像装置や測距装置は、２つの撮像装置が用いられるため、装置の大型化とコストアップの課題が生じる。

このような課題を解決するために、単一の撮像光学系から、立体視用の画像を取得する撮像装置が提案されている（特許文献１、２）。

特開２００６−３１４６５０号公報 特表２０１１−５１５０４５号公報

しかしながら、上述した従来の技術では、さらなる解像度の向上が求められていた。本願の、限定的ではない例示的なある実施形態は、単一の撮像光学系を用いて、解像度の高い立体視用のカラー画像を取得する撮像装置を提供する。また、そのような撮像装置に用いられるアレイ状光学素子、撮像素子および撮像用部材を提供する。

本発明によるある実施形態の撮像装置は、第１の領域と、前記第１の領域とは異なる位置に配置される第２の領域を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、第３の分光透過率特性を有するフィルタを備える複数の第４の画素とを含む複数の画素および撮像面を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、複数の光学要素を有するアレイ状光学素子とを備え、前記複数の画素は、第１の方向に１からｌ個（ｌは２以上の整数）の画素が配列した一行の画素群を構成し、第２の方向に１からｍ行目（ｍは２以上の整数）までのｍ行に配列されることにより、前記撮像面に配置され、前記ｍ行のうちｊ行目（１≦ｊ<ｍ）に配列されたｌ個の画素の前記第１の方向における中心の各位置は、ｊ＋１行目に配列されたｌ個の画素の前記第１の方向における中心の各位置と略同一であり、前記複数の光学要素は、前記アレイ状光学素子の表面において、前記第２の方向に１からｓ個（ｓは２以上の整数）の光学要素が配列した一列の光学要素群が、前記第１の方向に１からｔ列目（ｔは２以上の整数）までのｔ列に配列され、前記ｔ列のうちｋ列目（１≦ｋ<ｔ）に配置される光学要素の前記第２の方向における中心の位置は、ｋ＋１列目に配置される光学要素の前記第２の方向における中心の位置から、前記第２の方向にずれている。

本発明によるある実施形態の撮像システムは、本発明によるある実施形態の撮像装置と、前記第１Ａ、第２Ａ、第３Ａ、および第４Ａの画素の輝度情報を用いて第１のカラー画像を生成し、前記第１Ｂ、第２Ｂ、第３Ｂ、および第４Ｂの画素の輝度情報を用いて第２のカラー画像を生成する信号処理装置とを備える。

本発明によるある実施形態のアレイ状光学素子は、複数の光学要素を表面に有するアレイ状光学素子であって、前記複数の光学要素は、前記表面において、第２の方向に並べられたｓ個の光学要素による列が第１の方向にｔ列並ぶように配置され（ｓ、ｔは２それぞれ以上の整数）、前記ｔ列のうちｋ列目（１≦ｋ<ｔ）に配置される光学要素の前記第２の方向における中心の位置は、ｋ＋１列目に配置される光学要素の前記第２の方向における中心の位置から、前記第２の方向にずれている。

本発明によるある実施形態の撮像用部材は、撮像面を有する撮像素子と、前記撮像面に対向する表面に複数の光学要素を有するアレイ状光学素子とを備える撮像用部材であって、前記撮像素子は、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置された複数の画素を有し、前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられている。

本発明によるある実施形態の撮像素子は、撮像面を有する撮像部と、前記撮像面上に設けられ、複数の光学要素を有するアレイ状光学素子とを備える撮像素子であって、前記撮像部は、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置された複数の画素を有し、前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられている。

本発明による他の実施形態の撮像装置は、第１の領域と、前記第１の領域とは異なる位置に配置される第２の領域とを有するレンズ光学系と、第１Ａ、第２Ｂ、第３Ａおよび第４Ｂの４つの画素が撮像面において２行２列に配置された第１の画素群と、第２Ａ、第１Ｂ、第３Ｂおよび第４Ａの４つの画素が、撮像面において２行２列に配置された第２の画素群とを有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、複数の第１の光学要素と、複数の第２の光学要素とを有するアレイ状光学素子とを備え、前記第１Ａ、第２Ａ、第１Ｂおよび第２Ｂの画素は、第１の分光透過率特性を有するフィルタを有し、前記第３Ａおよび第３Ｂの画素は、第２の分光透過率特性を有するフィルタを有し、前記第４Ａおよび第４Ｂの画素は、第３の分光透過率特性を有するフィルタを有し、前記複数の第１の光学要素のそれぞれは、前記第１の領域を通過した光を前記第１Ａの画素と前記第３Ａの画素に入射させ、前記第２の領域を通過した光を前記第２Ｂの画素と前記第４Ｂの画素に入射させ、前記複数の第２の光学要素のそれぞれは、前記第１の領域を通過した光を前記第２Ａの画素と前記第４Ａの画素に入射させ、前記第２の領域を通過した光を前記第１Ｂの画素と前記第３Ｂの画素に入射させる。

上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本発明の一態様にかかる撮像装置によれば、単一の撮像系を用いて、解像度の高い立体視用のカラー画像を取得することができる。また、そのような撮像装置に用いられるアレイ状光学素子および撮像用部材を得ることができる。

本発明による撮像装置Ａの実施の形態１を示す模式図である。 本発明の実施の形態１における領域Ｄ１，Ｄ２を被写体側から見た正面図である。 （ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイの配置と、その等高線を示す図である。（ａ２）は、（ａ１）に示すマイクロレンズアレイの斜視図である。（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイの配置と、その等高線を示す図である。（ｂ２）は、（ｂ１）に示すマイクロレンズアレイの斜視図である。（ｃ１）は、シリンドリカルマイクロレンズを交互に半ピッチずらした配置と、その等高線を示す図である。（ｃ２）は、（ｃ１）に示すシリンドリカルマイクロレンズアレイの斜視図である。 （ａ）は、図４（ａ１）、（ａ２）、に示すマイクロレンズを実施の形態１のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。（ｂ）は、（ｂ１）、（ｂ２）に示すマイクロレンズを実施の形態１のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。（ｃ）は、（ｃ１）、（ｃ２）に示すマイクロレンズを実施の形態１のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。 （ａ）および（ｂ）は、それぞれ第１および第２の領域を通過した光が到達する画素を抽出した図である。 （ａ）および（ｂ）は、実施の形態１におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係の別の形態を示す図である。 （ａ）および（ｂ）は、実施の形態２におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。 （ａ）および（ｂ）は、実施の形態３における領域Ｄ１，Ｄ２を被写体側から見た正面図である。 （ａ）〜（ｃ）は、実施の形態４における領域Ｄ１、Ｄ２を被写体側から見た正面図である。 実施の形態４における液晶シャッターアレイの断面図である。 （ａ１）〜（ｅ１）は、実施の形態５における領域Ｄ１、Ｄ２を被写体側から見た正面図である。（ａ２）〜（ｅ２）は、領域Ｄ１、Ｄ２の相対透過率を示すグラフである。 （ａ）および（ｂ）は、実施の形態６における光学系の模式図である。 実施の形態７による光学系の模式図である。 実施の形態８による撮像装置を示す模式図である。 実施の形態８におけるＳＡＤ演算について説明する図である。 （ａ）および（ｂ）は、実施の形態８における測距原理について説明するための概念図である。 （ａ）は、実施の形態において、クロストークの発生する場合の撮像面の近傍を拡大して示す図であり、（ｂ）は、クロストークを軽減した場合の撮像面の近傍を拡大して示す図である。 （ａ）および（ｂ）は、実施の形態における撮像素子上のフィルタ配列のその他の実施形態を示す図である。 従来構成におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。

本願発明者は、特許文献１および特許文献２に開示された撮像装置を詳細に検討した。その結果、これらの従来技術による撮像装置では、既存のベイヤー配列のカラー撮像素子を用いるため、図２０に示すようにレンチキュラレンズの１つの光学要素Ｍが４つの画素列を覆うように配置されていることにより、解像度が大幅に低下する。このような課題に鑑み、本願発明者は、新規な構造を有する撮像装置、撮像素子および光学素子を想到した。本発明の一態様の概要は以下のとおりである。

本発明の一態様にかかる撮像装置は、第１の領域と、前記第１の領域とは異なる位置に配置される第２の領域を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、第３の分光透過率特性を有するフィルタを備える複数の第４の画素とを含む複数の画素および撮像面を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、複数の光学要素を有するアレイ状光学素子とを備え、前記複数の画素は、第１の方向に１からｌ個（ｌは２以上の整数）の画素が配列した一行の画素群を構成し、第２の方向に１からｍ行目（ｍは２以上の整数）までのｍ行に配列されることにより、前記撮像面に配置され、前記ｍ行のうちｊ行目（１≦ｊ<ｍ）に配列されたｌ個の画素の前記第１の方向における中心の各位置は、ｊ＋１行目に配列されたｌ個の画素の前記第１の方向における中心の各位置と略同一であり、前記複数の光学要素は、前記アレイ状光学素子の表面において、前記第２の方向に１からｓ個（ｓは２以上の整数）の光学要素が配列した一列の光学要素群が、前記第１の方向に１からｔ列目（ｔは２以上の整数）までのｔ列に配列され、前記ｔ列のうちｋ列目（１≦ｋ<ｔ）に配置される光学要素の前記第２の方向における中心の位置は、ｋ＋１列目に配置される光学要素の前記第２の方向における中心の位置から、前記第２の方向にずれている。

前記アレイ状光学素子の表面において、前記複数の光学要素のうち、前記第２の方向に隣接する２つの光学要素の前記第２の方向における中心間の距離をＹとした場合、前記ｋ列目に配置される光学要素の前記第２の方向における中心の位置は、前記ｋ＋１列目における光学要素の前記第２の方向における中心の位置から、０．４５Ｙ以上０．５５Ｙ以下だけ前記第２の方向にずれていてもよい。

前記撮像面には、前記複数の第１、第２、第３、第４の画素が、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置され、前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられていてもよい。

前記複数の第１の画素は、第１Ａおよび第１Ｂの画素を有し、前記複数の第２の画素は、第２Ａおよび第２Ｂの画素を有し、前記複数の第３の画素は、第３Ａおよび第３Ｂの画素を有し、前記複数の第４の画素は、第４Ａおよび第４Ｂの画素を有し、前記ｋ行目における光学要素は、前記第１の領域を通過した光を前記第１Ａの画素と前記第３Ａの画素に入射させ、前記第２の領域を通過した光を前記第２Ｂの画素と前記第４Ｂの画素に入射させ、前記ｋ＋１行目における光学要素は、前記第１の領域を通過した光を複数の第２Ａの画素と前記第４Ａの画素に入射させ、前記第２の領域を通過した光を前記第１Ｂの画素と前記第３Ｂの画素に入射させてもよい。

前記撮像装置は、前記第１Ａ、第２Ａ、第３Ａ、および第４Ａの画素の輝度情報を用いて第１のカラー画像を生成し、前記第１Ｂ、第２Ｂ、第３Ｂ、および第４Ｂの画素の輝度情報を用いて第２のカラー画像を生成する第１の信号処理部をさらに備えていてもよい。

前記複数の光学要素のそれぞれは、１つまたは２つのマイクロレンズであってもよい。

前記第１、第２、第３および第４の画素は、ベイヤー配列によって配列されていてもよい。

前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸を境界中心として分けられた領域であってもよい。

前記複数の光学要素のそれぞれは、光軸に対して回転対称な形状を有していてもよい。

前記複数の光学要素のそれぞれは、シリンドリカル形状を有していてもよい。

前記レンズ光学系は、像側テレセントリック光学系であってもよい。

前記レンズ光学系は像側非テレセントリック光学系であって、前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせていてもよい。

前記アレイ状光学素子は前記撮像素子上に形成されていてもよい。

前記撮像装置は、前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されていてもい。

前記レンズ光学系は、前記第１の領域および前記第２の領域の位置を変更する液晶シャッターアレイをさらに有していてもよい。

前記レンズ光学系は、開口部における透過率が変化する液晶シャッターアレイをさらに有していてもよい。

前記撮像装置は、前記レンズ光学系は、前記第１の領域に光を入射させる第１Ａの反射部材および第１Ｂの反射部材と、前記第２の領域に光を入射させる第２Ａの反射部材および第２Ｂの反射部材とをさらに備えていてもよい。

前記レンズ光学系は、リレー光学系をさらに備えていてもよい。

本発明の一態様にかかる測距装置は、上記撮像装置と、前記第１のカラー画像と前記第２のカラー画像を用いて被写体までの距離を算出する第２の信号処理部とを備える。

本発明の一態様にかかる撮像システムは、上記撮像装置と、前記第１Ａ、第２Ａ、第３Ａ、および第４Ａの画素の輝度情報を用いて第１のカラー画像を生成し、前記第１Ｂ、第２Ｂ、第３Ｂ、および第４Ｂの画素の輝度情報を用いて第２のカラー画像を生成する信号処理装置とを備える。

本発明の一態様にかかるアレイ状光学素子は、複数の光学要素を表面に有するアレイ状光学素子であって、前記複数の光学要素は、前記表面において、第２の方向に並べられたｓ個の光学要素による列が第１の方向にｔ列並ぶように配置され（ｓ、ｔはそれぞれ２以上の整数）、前記ｔ列のうちｋ列目（１≦ｋ<ｔ）に配置される光学要素の前記第２の方向における中心の位置は、ｋ＋１行目に配置される光学要素の前記第２の方向における中心の位置から、前記第２の方向にずれている。

前記複数の光学要素のそれぞれは、１つまたは２つのマイクロレンズであってもよい。

本発明の一態様にかかる撮像用部材は、撮像面を有する撮像素子と、前記撮像面に対向する表面に複数の光学要素を有するアレイ状光学素子とを備える撮像用部材であって、前記撮像素子は、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置された複数の画素を有し、前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられている。

本発明の一態様にかかる撮像素子は、撮像面を有する撮像部と、前記撮像面上に設けられ、複数の光学要素を有するアレイ状光学素子とを備え、前記撮像部は、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置された複数の画素を有し、前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられている。

前記撮像素子は、前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像部上に形成されていてもよい。

本発明の他の一態様にかかる撮像装置は、第１の領域と、前記第１の領域とは異なる位置に配置される第２の領域とを有するレンズ光学系と、第１Ａ、第２Ｂ、第３Ａおよび第４Ｂの４つの画素が撮像面において２行２列に配置された第１の画素群と、第２Ａ、第１Ｂ、第３Ｂおよび第４Ａの４つの画素が、撮像面において２行２列に配置された第２の画素群とを有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、複数の第１の光学要素と、複数の第２の光学要素とを有するアレイ状光学素子とを備え、前記第１Ａ、第２Ａ、第１Ｂおよび第２Ｂの画素は、第１の分光透過率特性を有するフィルタを有し、前記第３Ａおよび第３Ｂの画素は、第２の分光透過率特性を有するフィルタを有し、前記第４Ａおよび第４Ｂの画素は、第３の分光透過率特性を有するフィルタを有し、前記複数の第１の光学要素のそれぞれは、前記第１の領域を通過した光を前記第１Ａの画素と前記第３Ａの画素に入射させ、前記第２の領域を通過した光を前記第２Ｂの画素と前記第４Ｂの画素に入射させ、前記複数の第２の光学要素のそれぞれは、前記第１の領域を通過した光を前記第２Ａの画素と前記第４Ａの画素に入射させ、前記第２の領域を通過した光を前記第１Ｂの画素と前記第３Ｂの画素に入射させる。

以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖ０を光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第１の信号処理部Ｃ１とを備える。

レンズ光学系Ｌは、絞りｓと、絞りｓを通過した光が入射する対物レンズＬ１とを含む。レンズ光学系Ｌは、領域Ｄ１と、領域Ｄ１とは異なる位置に配置された領域Ｄ２とを有する。図１に示すように、領域Ｄ１、Ｄ２は、レンズ光学系Ｌを、光軸を通る平面によって分けた領域であり、絞りｓにおける開口領域を含んでいる。絞りｓによって、被写体からの光は、領域Ｄ１または領域Ｄ２に入射される。

図２は、絞りｓを被写体側から見た正面図である。図１および図２における矢印Ｈが、撮像装置が使用される場合における水平方向を示す。絞りｓにおける領域Ｄ１とＤ２は、光軸Ｖ０を境界中心として、光軸Ｖ０に垂直な面内で水平方向における左右（図では上下）に２分割されている。また、点Ｖ１、点Ｖ２は、それぞれ、絞りｓにおける領域Ｄ１、Ｄ２の重心であり、点Ｖ１と点Ｖ２との間の距離Ｂは、両眼視の基線長に相当する。

図１において、光束Ｂ１は、絞りｓにおける領域Ｄ１を通過する光束であり、光束Ｂ２は、絞りｓにおける領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、絞りｓ、対物レンズＬ１、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図３に示す）に到達する。

図３（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。アレイ状光学素子Ｋは複数の光学要素Ｍ１および複数の光学要素Ｍ２を含み、複数の光学要素Ｍ１、Ｍ２が形成された面が撮像面Ｎｉ側に向かうように配置されている。

図１に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。アレイ状光学素子Ｋが配置される位置は、例えば、対物レンズＬ１の焦点を基準にして決定すればよい。

図３（ｂ）は、アレイ状光学素子Ｋの複数の光学要素Ｍ１、Ｍ２と撮像素子Ｎ上の画素との位置関係を示す図である。撮像素子Ｎは、撮像面Ｎｉに配列された複数の画素を含む。図３（ｂ）に示すように、複数の画素は、ｘ方向（第１の方向）およびｙ方向（第２の方向）に２次元に配列されている。ｘ方向およびｙ方向への配列をそれぞれ行および列と呼ぶ場合、複数の画素は、撮像面Ｎｉ上において、例えば、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置されている。つまり、ｘ方向に１からｌ個の画素が配列した一行の画素群が、ｙ方向に１からｍ行目までのｍ行に配列されている。

ｍ行の画素群のうちｊ行目（１≦ｊ<ｍ）に配列されたｌ個の画素のｘ方向における中心Ｃ’ｊの各位置は、ｊ＋１行目に配列されたｌ個の画素のｘ方向における中心Ｃ’ｊ＋１の各位置と略同一である。

同様に、複数の画素をｙ方向に配列された複数画素群による１列の画素群がｘ方向に１からｌ列までのｌ列に配列されていると見ることもできる。この場合、ｌ列の画素群のうちｕ列行目（１≦ｕ<ｌ）に配列されたｍ個の画素のｙ方向における中心の各位置は、ｕ＋１行目に配列されたｍ個の画素のｙ方向における中心の各位置と略同一である。

また、本実施の形態において、複数の画素は本実施の形態ではいずれも撮像面Ｎｉにおいて同じ形状を有している。例えば、複数の画素は同じ矩形形状を有しており、面積も互いに等しい。また、本実施の形態では、複数の画素はｘ方向およびｙ方向に同じピッチで配置されている。

説明のため、複数の画素を、それぞれ複数の画素Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ４Ａ、Ｐ１Ｂ、Ｐ２Ｂ、Ｐ３Ｂ、およびＰ４Ｂに区別する。複数の画素Ｐ１Ａのうちの１つ、複数の画素Ｐ２Ｂのうちの１つ、複数のＰ３Ａのうちの１つ、および、複数のＰ４Ｂのうちの１つは、撮像面Ｎｉにおいて、２行２列に配置されている。これら２行２列に配列されている画素Ｐ１Ａ、Ｐ２Ｂ、Ｐ３Ａ、Ｐ４Ｂを、「第１の画素群Ｐｇ１」と称する。複数の画素Ｐ１Ｂのうちの１つ、複数の画素Ｐ２Ａのうちの１つ、複数の画素Ｐ３Ｂのうちの１つ、および、複数の画素Ｐ４Ａのうちの１つは、撮像面Ｎｉにおいて、２行２列に配列されている。これら２行２列に配列されている画素Ｐ１Ｂ、Ｐ２Ａ、Ｐ３Ｂ、Ｐ４Ａを、「第２の画素群Ｐｇ２」と称する。

ここで、第１の画素群Ｐｇ１に属する画素Ｐ３Ａが、（ｐ、ｑ）の位置に配置されているとする。ｐ、ｑは、それぞれ、１≦ｐ<ｌ、１≦ｑ<ｍを満たす整数である。この場合、第１の画素群Ｐｇ１のうちの残りの画素Ｐ１Ａ、Ｐ２Ｂ、Ｐ４Ｂは、それぞれ、（ｐ＋１、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ＋１）の位置に配置されている。また、第２の画素群Ｐｇ２における画素２Ａ、Ｐ１Ｂ、Ｐ３Ｂ、Ｐ４Ａは、それぞれ、（ｐ＋２、ｑ＋１）、（ｐ＋３、ｑ＋２）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）の位置に配置されている。

アレイ状光学素子Ｋのうち撮像面Ｎｉに対向する表面において、光学要素Ｍ１は、第１の画素群Ｐｇ１の４つの画素に対応する位置に設けられたマイクロレンズである。第１の画素群Ｐｇ１には、アレイ状光学素子Ｋにおける光学要素Ｍ１からの光が入射する。光学要素Ｍ１は、領域Ｄ１を通過した光の大部分を、撮像素子Ｎにおける画素Ｐ１Ａ、Ｐ３Ａに、領域Ｄ２を通過した光の大部分を撮像素子Ｎにおける画素Ｐ２Ｂ、Ｐ４Ｂに入射させる。

アレイ状光学素子Ｋのうち撮像面Ｎｉに対向する表面において、光学要素Ｍ２は、第２の画素群Ｐｇ２の４つの画素に対応する位置に設けられたマイクロレンズである。第２の画素群Ｐｇ２には、アレイ状光学素子Ｋにおける光学要素Ｍ２からの光が入射する。光学要素Ｍ２は、領域Ｄ１を通過した光の大部分を撮像素子Ｎにおける画素Ｐ２Ａ、Ｐ４Ａに、領域Ｄ２を通過した光の大部分を撮像素子Ｎにおける画素Ｐ１Ｂ、Ｐ３Ｂに入射させる。

画素Ｐ１Ａ、Ｐ２Ａ、Ｐ１Ｂ、およびＰ２Ｂには第１の分光透過率特性を有するフィルタが設けられている。第１の分光透過率特性を有するフィルタは、緑色帯域の光線を主に通過し、他の帯域の光線を吸収する。画素Ｐ３ＡおよびＰ３Ｂには、第２の分光透過率特性を有するフィルタが設けられている。第２の分光透過率特性を有するフィルタは、赤色帯域の光線を主に通過し、他の帯域の光線を吸収する。また、画素Ｐ４ＡおよびＰ４Ｂには、第３の分光透過率特性を有するフィルタが設けられている。第３の分光透過率特性を有するフィルタは、青色帯域の光線を主に通過し、他の帯域の光線を吸収する。

画素Ｐ１ＡとＰ３Ａ、画素Ｐ１ＢとＰ３Ｂ、画素Ｐ２ＡとＰ４Ａ、および画素Ｐ２ＢとＰ４Ｂとは、いずれもｘ方向（第１の方向）に交互に配置されている。また、画素Ｐ１ＡとＰ４Ａ、画素Ｐ１ＢとＰ４Ｂ、画素Ｐ２ＡとＰ３Ａ、および画素Ｐ２ＢとＰ３Ｂは、いずれもｙ方向（第２の方向）に交互に配置されている。また、画素Ｐ１Ａ、Ｐ３Ａ、Ｐ１Ｂ、およびＰ３Ｂは同じ行に配列（ｘ方向に配列）され、画素Ｐ２Ａ、Ｐ４Ａ、Ｐ２Ｂ、およびＰ４Ｂは同じ行に配列（ｙ方向に配列）され、画素Ｐ１Ａ、Ｐ３Ａ、Ｐ１Ｂ、およびＰ３Ｂの行と画素Ｐ２Ａ、Ｐ４Ａ、Ｐ２Ｂ、およびＰ４Ｂの行はｙ方向に交互に配置されている。このように、それぞれの複数の画素は、ベイヤー配列を成している。ベイヤー配列で画素が配置されている場合には、共に緑色帯域の光を透過するフィルタを有する画素Ｐ１Ａおよび画素Ｐ２Ｂ、画素Ｐ１Ｂおよび画素Ｐ２Ａは、それぞれの画素群Ｐｇ１、Ｐｇ２において、斜めの位置に配置されている。

アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光を入射させることができる。このような画素への光の入射を実現するには、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

なお、本実施の形態においては、アレイ状光学素子および撮像素子Ｎを有する部材を、「撮像用部材」と称する。

次に、アレイ状光学素子の具体的な構成について説明する。

図４（ａ１）、（ａ２）、（ｂ１）、（ｂ２）、（ｃ１）、および（ｃ２）は、図３（ａ）、（ｂ）で示した光学要素Ｍ１、Ｍ２の形状を示す図である。図４（ａ１）は、光軸に対して回転非対称な形状を有する光学要素（マイクロレンズ）の配置と等高線を示す図であり、図４（ａ２）は、その斜視図である。このようなマイクロレンズアレイは、ガラス板の上に四角柱状のレジストを形成して熱処理を行うことにより形成することができる。

図４（ａ１）に示すように、光学要素Ｍ１、Ｍ２は、アレイ状光学素子Ｋの表面（例えばレンズ光学系Ｌの光軸と垂直な面）において、それぞれｙ方向に並べられたｓ個（ｓは２以上の整数）の列を構成し、光学要素Ｍ１の列および光学要素Ｍ２の列がｘ方向に交互に配列されている。例えば、これらの列は、ｘ方向に１からｔ列目（ｎは２以上の整数）までのｔ列に配列されている。１以上であってｔより小さい任意の整数をｋ（１≦ｋ<ｎ）とすると、ｋ列目に配置される光学要素のｙ方向における中心Ｃｋの位置Ｙｋは、ｋ＋１列目に配置される光学要素のｙ方向の中心Ｃｋ＋１の位置Ｙｋ＋１から、ｙ方向にずれている。つまり、光学要素Ｍ１および光学要素Ｍ２の中心の位置は、互いにｙ方向にずれている。

ここで、アレイ状光学素子Ｋの表面において、ｙ方向に隣接する２つの光学要素Ｍ１、Ｍ２のｙ方向における中心間の距離をＹとする。光学要素Ｍ１、Ｍ２のｙ方向のピッチはいずれもＹである。この場合、ｙ方向において、位置Ｙｋと位置Ｙｋ＋１のｙ方向のずれは、例えば、０．５Ｙ（半ピッチ）である。ただし、アレイ状光学素子Ｋの製造誤差などを考慮すると、このずれは、０．４５Ｙ以上０．５５Ｙ以下であってもよい。ずれが０．４５Ｙ以上０．５５Ｙ以下であれば、領域Ｄ１、Ｄ２に入射した光を、アレイ状光学素子Ｋによって、所望の画素に振り分けることができる。

なお、「光学要素のｙ方向における中心」は、例えば、各光学要素を構成する立体の頂点である。または、各光学要素のｙ方向における２つの端部を結ぶ線分の中点である。

図４（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズの配置と等高線を示す図であり、図４（ｂ２）は、その斜視図である。図４（ｂ１）のマイクロレンズは、それぞれ六角形で区切られている。ただし、それぞれのマイクロレンズは、それぞれ正方配列された４つの画素を覆うように形成されるため、典型的には、正六角形ではない。図４（ｂ１）、（ｂ２）に示されるマイクロレンズ同士の境界は六角形で区切られているが、マイクロレンズのうち境界部分よりも上部は、球面や非球面であってもよい。このような回転対称形状のマイクロレンズは、熱インプリントやＵＶインプリント製法により、ガラス板等の上に形成することができる。

図４（ｃ１）は、シリンドリカルマイクロレンズを２画素毎に交互に半ピッチずらした形状を有するマイクロレンズアレイの配置と等高線を示す図であり、図４（ｃ２）は、その斜視図である。図４（ｃ１）のマイクロレンズアレイも熱インプリントやＵＶインプリント製法により、ガラス板等の上に形成することができる。

図５（ａ）は、図４（ａ１）、（ａ２）に示すマイクロレンズを本実施の形態のアレイ状光学素子に適用した場合の、三次元光線追跡シミュレーションの結果を示す図である。図５（ａ）では、アレイ状光学素子Ｋを通過する光のうち領域Ｄ１を通過する光線のみを示しているが、このように回転非対称形状のマイクロレンズの場合、縦横方向（マイクロレンズの底面の四辺と平行な方向）と斜め方向（マイクロレンズの底面の対角線方向）との曲率半径が異なることにより、隣接の画素に光が漏れてクロストークが発生する。

図５（ｂ）は、図４（ｂ１）、（ｂ２）に示すマイクロレンズを本実施の形態のアレイ状光学素子に適用した場合の、三次元光線追跡シミュレーションの結果を示す図である。図５（ｂ）では、アレイ状光学素子Ｋを通過する光のうち１つの領域を通過する光束のみを示しているが、図５（ａ）のようなクロストークは発生していないことがわかる。このように、アレイ状光学素子の各光学要素を回転対称形状にすることにより、第１のカラー画像と第２のカラー画像間のクロストークを低減させることができる。

なお、図４（ｂ１）、（ｂ２）で示したマイクロレンズは、六角形であるが、回転対称であれば、必ず六角形である必要はない。

図５（ｃ）は、図４（ｃ１）、（ｃ２）に示すシリンドリカルマイクロレンズを本実施の形態のアレイ状光学素子に適用した場合の、三次元光線追跡シミュレーションの結果を示す図である。図５（ｃ）では、アレイ状光学素子Ｋを通過する光のうち１つの領域を通過する光束のみを示しているが、図５（ａ）のようなクロストークは発生していないことがわかる。このように、アレイ状光学素子の各光学要素をシリンドリカル形状にすることにより、第１のカラー画像と第２のカラー画像間のクロストークを低減させることができる。

次にカラー画像を生成する方法について説明する。

図６（ａ）と（ｂ）は、それぞれ領域Ｄ１、Ｄ２を通過した光が入射する画素のみを抽出した図である。図４に示すように、光学要素Ｍ２は、光学要素Ｍ１に対してｙ方向に半ピッチずれているため、領域Ｄ１、Ｄ２を通過した光が入射する画素には、いずれも赤（Ｐ３Ａ、もしくはＰ３Ｂ）、緑（Ｐ１Ａ、Ｐ２Ａ、もしくはＰ１Ｂ、Ｐ２Ｂ）、青（Ｐ４Ａ、もしくはＰ４Ｂ）の色情報が含まれるようになる。

また、図２（ａ）に示したように、領域Ｄ１、Ｄ２の重心は距離Ｂだけ離れているため、領域Ｄ１、Ｄ２を通過した光がそれぞれ結像すると、撮像面Ｎｉ上で被写体距離に応じた視差が生じる。前述の通り、領域Ｄ１、Ｄ２を通過した光が入射する画素には、赤、緑、青の色情報が含まれるため、それぞれの領域を通過した光が入射する画素によって画像を生成すると、互いに視差のある第１のカラー画像と第２のカラー画像を生成することができる。

互いに視差のある第１のカラー画像と第２のカラー画像は、第１の信号処理部Ｃ１（図１に示す）にて生成される。第１のカラー画像と第２のカラー画像は、それぞれ図６（ａ）、（ｂ）に示す画素から得られる色情報、具体的には輝度情報によって生成される。図６（ａ）、（ｂ）に示すように、カラー画素に対応する第１および第２の画素群は、いずれも１つの画素に対して１つの色情報しか有していないため、他の２色の色情報は周辺の画素の輝度値から補完して生成する。

例えば、第１のカラー画像の場合、図６（ａ）に示すように、第２の画素群Ｐｇ２の画素Ｐ２Ａの位置には緑色（Ｇ２）の情報しかない。このため、周辺の画素から赤色（Ｒ）および青色（Ｂ）の情報を補完し、第２の画素群Ｐｇ２の画素Ｐ２Ａの位置において、青色、緑色、赤色の情報を得る。具体的には第２の画素群Ｐｇ２の画素Ｐ２Ａにおける輝度情報に、ｙ方向、ｘ方向あるいは斜め方向に位置する画素Ｐ３Ａおよび画素Ｐ４Ａににおける赤色および青色の輝度情報を補完し、画素Ｐ２Ａにおける赤色および青色の輝度情報とする。同様に、第２の画素群Ｐｇ２の画素Ｐ４Ａにおける輝度情報に、ｙ方向、ｘ方向あるいは斜め方向に位置する画素Ｐ２Ａおよび画素Ｐ３Ａにおける緑色および赤色の輝度情報を補完し、画素Ｐ４Ａにおける緑色および赤色の輝度情報とする。第１の画素群Ｐｇ１の画素Ｐ１Ａにおける赤色および青色の輝度情報、ならびに、第１の画素群Ｐｇ１の画素Ｐ３Ａにおける緑色および青色の輝度情報も同様の補完によって求める。これにより第１のカラー画像を得ることができる。

図６（ｂ）に示すように、第２のカラー画像についても、同様に、第１の画素群Ｐｇ１の画素Ｐ４Ｂにおける赤色および緑色の輝度情報、画素Ｐ２Ｂにおける赤色および青色の輝度情報、ならびに、第２の画素群Ｐｇ２の画素Ｐ１Ｂにおける赤色および青色の輝度情報、画素Ｐ３Ｂにおける緑色および青色の輝度情報を補完によって求める。これにより、第２のカラー画像を得ることができる。

なお、第１、第２のカラー画像のそれぞれでは、ｙ方向の色情報は、部分的に欠落している。例えば、第１のカラー画像の第１の画素群Ｐｇ１の４つの画素において、画素Ｐ４Ｂおよび画素Ｐ２Ｂは欠落している。これらの欠落している画素の輝度情報は、前述の色の補完後に、ｙ方向に隣接する画素において、検出した色の輝度値および補完によって求めた色の輝度値を用いて補完生成してもよい。具体的には、第１の画素群Ｐｇ１の画素Ｐ４Ｂおよび画素Ｐ２Ｂにおける赤色、青色および緑色の輝度情報を、ｙ方向に隣接する画素Ｐ３Ａおよび画素Ｐ１Ａにおける赤色、青色および緑色の輝度情報からそれぞれ求めてもよい。

以上のような補完処理によって、第１のカラー画像と、第２のカラー画像を生成することができる。

本実施の形態によると、ｙ方向に伸びる１列の画素ごとに第１のカラー画像および第２のカラー画像を得ることができる。このため、第１のカラー画像および第２のカラー画像のカラーを構成する画素のピッチが長くなることがなく、解像度の高い立体視用の画像を得ることができる。

本実施形態においては、従来のベイヤー配列型の撮像素子を利用することができるため、専用のフィルタ配列のカラーフィルタ用のフォトマスク等の初期投資が不要となり、初期投資を抑えることができる。

なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋに対する主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１Ａ、Ｐ１Ｂ、Ｐ２Ａ、Ｐ２Ｂ、Ｐ３Ａ、Ｐ３Ｂ、Ｐ４Ａ、およびＰ４Ｂに到達する光束間のクロストークを低減することができる。

また、本実施形態では、アレイ状光学素子の１つの光学要素（Ｍ１またはＭ２）が、１つのマイクロレンズに対応していたが、図７（ａ）、（ｂ）に示すように、１つの光学要素（Ｍ１またはＭ２）が、２つのマイクロレンズを有していてもよい。この場合、１つのマイクロレンズは、２つの画素に対応するように設けられている。

以上のように、本実施形態では、単一の撮像系を用いて、（例えば１回の撮像により）第１のカラー画像と第２のカラー画像を取得することができる。第１のカラー画像と第２のカラー画像は、右目視点の画像と左目視点の画像として扱うことができるため、３Ｄモニターに表示することにより、対象物を立体的に見ることができる。

また、単一の撮像系により被写体を立体視するための画像を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。

（実施の形態２）
実施の形態２は、アレイ状光学素子を撮像面上に形成したという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図８（ａ）は、本実施の形態における撮像素子Ｎを示す図である。撮像部Ｎｐの撮像面Ｎｉには、アレイ状光学素子Ｋが設けられている。本実施形態では、マイクロレンズアレイＭｄが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１と同様に、画素が行列状に配置されている。これら複数の画素に対して、１つのマイクロレンズが対応している。本実施の形態においても、実施の形態１と同様に、絞りｓの異なる領域を通過した光を、それぞれ異なる画素に導くことができる。また、図８（ｂ）は、本実施形態の変形例を示す図である。図８（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズＭｓが形成され、マイクロレンズＭｓの表面上に低屈折率層Ｗを介してアレイ状光学素子Ｋが積層されている。図８（ｂ）に示す構成では、図８（ａ）の構成よりも集光効率を高めることができる。

本実施の形態においては、アレイ状光学素子Ｋにおける光学要素Ｍ１、Ｍ２と撮像素子Ｎにおける各画素とは、実施の形態１と同様の配列を有する。すなわち、第１の画素群Ｐｇ１の４つの画素に対応する位置に光学要素Ｍ１が設けられている。また、第２の画素群Ｐｇ２の４つの画素に対応する位置に光学要素Ｍ２が設けられている。

ここで、第１の画素群Ｐｇ１に属する画素Ｐ３Ａが、（ｐ、ｑ）の位置に配置されているとする。ｐ、ｑは、それぞれ、１≦ｐ<ｌ、１≦ｑ<ｍを満たす整数である。この場合、第１の画素群Ｐｇ１のうちの残りの画素Ｐ１Ａ、Ｐ２Ｂ、Ｐ４Ｂは、それぞれ、（ｐ＋１、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ＋１）の位置に配置されている。また、第２の画素群Ｐｇ２における画素２Ａ、Ｐ１Ｂ、Ｐ３Ｂ、Ｐ４Ａは、それぞれ、（ｐ＋２、ｑ＋１）、（ｐ＋３、ｑ＋２）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）の位置に配置されている。

（実施の形態３）
実施の形態３は、領域Ｄ１と領域Ｄ２とが所定距離を介して離間しているという点で実施の形態１、２と異なる。ここでは、本実施の形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図９（ａ）は、絞りｓ’を被写体側から見た正面図である。絞りｓ’によって形成された領域Ｄ１と領域Ｄ２は、いずれも円形の形状を有しており、各領域は分離している。また、Ｖ１’とＶ２’はそれぞれ領域Ｄ１、Ｄ２の重心であり、Ｖ１’とＶ２’との間の距離Ｂ’は、両眼視の基線長に相当する。本実施の形態では、基線長Ｂ’を実施の形態１の図２で示したＢよりも大きくすることができ、３Ｄモニターで立体視する場合に奥行き感を高めることができる。また、実施の形態１のように領域Ｄ１とＤ２が分離していない場合では、領域Ｄ２とＤ２の境界付近を通過する光はクロストークの要因となるが、本実施の形態のように領域Ｄ１と領域Ｄ２を分離することにより、クロストークを低減することができる。

また、領域Ｄ１とＤ２の開口形状は、図９（ｂ）の絞りｓ’’のように楕円形状であってもよい。楕円の開口形状にすることにより、図９（ａ）と比べて各領域を通過する光量を多くすることができ、画像の感度を増すことができる。

（実施の形態４）
実施の形態４は、絞りによって分離された領域Ｄ１とＤ２の位置を変更できるという点で実施の形態３と異なる。ここでは、本実施の形態において実施の形態３と同様の内容についての詳細な説明は省略する。

本実施の形態４では、図１０（ａ）から（ｃ）に示すように、絞りｓｖは、液晶シャッターアレイから構成され、液晶シャッターアレイの開口位置の切替えによって領域Ｄ１とＤ２の位置を変更できる。液晶シャッターアレイは、一般的なＴＮ(Twisted Nematic)液晶を用いた透過型液晶等によって構成される。

図１１は、液晶シャッターアレイＷの断面図である。液晶シャッターアレイＷにおいては、基板ＳＢ１と基板ＳＢ２がシール材Ｊによって貼り合わせられ、液晶材料ＬＣが基板ＳＢ１と基板ＳＢ２との間に注入されている。基板ＳＢ１は、偏光板ＰＬ１、ガラスＨ１、共通電極ＥＣ、および配向膜Ｔ１によって構成され、基板ＳＢ２は、偏光板ＰＬ２、ガラスＨ２、領域を選択する電極群ＥＤ１とＥＤ２、および配向膜Ｔ２によって構成されている。また、液晶シャッターアレイはノーマリーブラックであり、駆動電圧がＯＮの場合に光が透過し、オフの場合に光を遮断するように構成されている。

図１０（ａ）、（ｂ）および（ｃ）における基線長は、それぞれＢ１，Ｂ２およびＢ３となり、各液晶シャッターのオンオフによって開口位置を変更することができる。開口位置を変更できることにより、被写体距離に応じて奥行き感を適切に選択できるようになる。

なお、本実施の形態では、図１０（ａ）から（ｃ）に示すように基線長を３段階に変更できる構成であるが、２段階や４段階以上の構成であってもよい。また、各液晶シャッターの形状は円形や矩形であってもよい。

（実施の形態５）
実施の形態５においては、絞りによって分離された領域Ｄ１とＤ２の位置をさらに高い分解能で変更できる。

実施の形態５では、図１２（ａ１）〜（ｅ１）に示すように、絞りｓｖ’は、液晶シャッターアレイで構成されている。液晶シャッターアレイは、領域Ｄ１、Ｄ２を開口している。領域Ｄ１、Ｄ２のそれぞれは、複数のサブ領域を有している。なお、説明のため、図１２（ａ１）〜（ｅ１）に、領域Ｄ１、Ｄ２のそれぞれが有するサブ領域のうち３つのサブ領域Ｓｕ１、Ｓｕ２、Ｓｕ３を示すが、領域Ｄ１、Ｄ２のそれぞれは、３つのサブ領域Ｓｕ１、Ｓｕ２、Ｓｕ３以外のサブ領域を有していてもよい。

図１２（ａ１）〜（ｅ１）に示すそれぞれのサブ領域Ｓｕ１、Ｓｕ２、Ｓｕ３において、液晶シャッターの透過率が制御される。これにより、領域Ｄ１の透過率分布の重心と領域Ｄ２の透過率分布の重心を変化させることができる。

図１２（ａ２）〜（ｅ２）は、それぞれ図１２（ａ１）〜（ｅ１）に対応する液晶シャッターの透過率を示すグラフである。

図１２（ａ２）〜（ｅ２）において、領域Ｄ１、Ｄ２の透過率分布の重心は、それぞれの領域Ｄ１、Ｄ２における開口重心に相当する。領域Ｄ１、Ｄ２の開口重心間の距離である基線長は、それぞれ距離Ｂａ〜Ｂｅとなる。

実施の形態４のようにオンオフ２階調の液晶シャッターで基線長の分解能を増すには、液晶シャッターの数も増やさなければならないが、液晶シャッターの数を増やすと液晶シャッターの開口率が低下するため、領域Ｄ１、Ｄ２の透過率が低下する。これにより、画像の感度も低下する等の不具合が生じる。

一方、本実施の形態のように複数階調の液晶シャッターを用いることにより、少ない液晶シャッター数で基線長の分解能を増すことができる。また、液晶シャッターの開口率の低下を抑制することができるため、領域Ｄ１、Ｄ２の透過率の低下も抑制することができる。これにより、画像の感度の低下も抑制することができる。

（実施の形態６）
本実施の形態６は、領域Ｄ１に光を入射させる第１Ａの反射部材（反射面）および第１Ｂの反射部材（反射面）と、領域Ｄ２に光を入射させる第２Ａの反射部材（反射面）および第２Ｂの反射部材（反射面）とをレンズ光学系Ｌとして備える点において、実施の形態１から５と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１３（ａ）は、実施の形態６の撮像装置Ａのレンズ光学系Ｌを示す模式図である。図１３（ａ）において、光束Ｂ１は、反射面Ｊ１ａと反射面Ｊ１ｂ、絞りｓの開口領域Ｄ１、対物レンズＬ１、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉに到達し、光束Ｂ２は、反射面Ｊ２ａと反射面Ｊ２ｂ、絞りｓの開口領域Ｄ２、対物レンズＬ１、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉに到達する。また、両眼視の光軸Ｖ１’’、Ｖ２’’は、それぞれ、絞りｓの開口領域Ｄ１、Ｄ２それぞれの重心を通過する光線によって決定される。光軸Ｖ１’’と光軸Ｖ２’’との間の距離Ｂ’’は、両眼視の基線長に相当する。

本実施の形態では、単一の撮像系を用いて、解像度の高い立体視用のカラー画像を取得することができる。さらに、各領域Ｄ１、Ｄ２までの光路を反射面で折り返すことにより、基線長を大きくすることができ、３Ｄモニターで立体視する場合に奥行き感を高めることができる。

なお、図１３（ａ）では、反射面をミラーによって構成しているが、ミラーの代わりにプリズムを設けてもよい。

また、図１３（ｂ）のように、反射面Ｊ１ａおよび反射面Ｊ２ａの前に凹レンズＬａ、Ｌｂを配置させてもよい。凹レンズを配置することにより、基線長を維持したまま、画角を増すことができる。あるいは、画角を維持したまま、基線長を短く設定することもできる。

また、本明細書において、「単一の撮像系」とは、撮像系が有するレンズ光学系（ただし撮像用部材を構成するアレイ状光学素子を除く）が、単一の一次結像面に像を形成する構成のものを言う。「一次結像面」とは、そのレンズ光学系に入射した光が、初めて結像する面のことを言う。本実施の形態以外の他の実施の形態においても同様である。本実施形態においては、図１３（ａ）図１３（ｂ）ともに、撮像面Ｎｉもしくはその近傍に一次結像面を有している。

（実施の形態７）
本実施の形態７は、レンズ光学系が対物レンズとリレー光学系で構成されているという点で、実施の形態１から６と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１４は、実施の形態６の撮像装置Ａの光学系を示す模式図である。本実施の形態の光学系Ｌは、図１４に示すように、絞りｓ、対物レンズＬ１、およびリレー光学系ＬＬを含む。リレー光学系ＬＬは、第１のリレーレンズＬＬ１と第２のリレーレンズＬＬ２によって構成されている。このようなリレー光学系ＬＬは、中間像Ｉｍ１、Ｉｍ２をリレーレンズの数に応じて順次結像することができる。このようなリレー光学系ＬＬを対物レンズＬとアレイ状光学素子Ｋとの間に配置することにより、焦点距離を維持したまま光学長を延長することができるため、硬性内視鏡のようにリレー光学系によって光学長を延長する方式においても、単一の撮像系で立体視することができる。

従来の手法のように一対の光学系を配置して立体視する場合、一対の対物レンズの光学特性と一対のリレー光学系ＬＬの光学特性をそれぞれ合せこむ必要があるが、このような光学系は非常に多数のレンズを必要とするため、光学系間の合せこみは極めて困難なものとなる。前述のように、本実施の形態は単一の光学系で構成されているため、光学系間の合せこみは不要となり、組み立て工程を簡素化することができる。

なお、図１４においてリレー光学系は２つのリレーレンズで構成されているが２つ以外のリレーレンズで構成されていてもよい。また、光路中の中間像が形成される箇所にフィールドレンズを配置した構成であってもよい。

本実施の形態においても、単一の撮像系を用いて、解像度の高い立体視用のカラー画像を取得することができる。本実施形態においては、第１のリレーレンズＬＬ１は、対物レンズＬ１によって結像された中間像Ｉｍ１から、中間像Ｉｍ２を形成する。第２のリレーレンズＬＬ２は、中間像Ｉｍ２から、撮像面Ｎｉに像を形成する。対物レンズＬ１において、中間像Ｉｍ１は、一次結像面に結像される。本実施形態においては、単一のレンズ光学系により、単一の一次結像面に像が形成される。

（実施の形態８）
実施の形態８は、対象物までの距離を測定する信号処理部を有するという点で実施の形態１から７と異なる。

図１５は、実施の形態８の撮像装置Ａの光学系を示す模式図である。本実施の形態は、図１の構成に対象物までの距離を測定する第２の信号処理部Ｃ２を追加した構成を有する。その他の構成については、実施の形態１と同様であるため、詳細な説明は省略する。

第２の信号処理部Ｃ２では、第１のカラー画像における所定の画像ブロック（基準画像）と第２のカラー画像における所定の画像ブロック（参照画像）との間に生じる視差をパターンマッチングにより抽出し、抽出した視差量に基づいて被写体までの距離を算出する。パターンマッチングの相関度は、例えば基準画像と参照画像との間の各画素の輝度の差分（絶対値）の総和である評価関数ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）によって求めることができる。ここで、小領域の演算ブロックサイズをｍ×ｎ画素とすると、ＳＡＤは（数１）によって求めることができる。

（数１）において、ｘ、ｙは撮像面の座標であり、Ｉ０、Ｉ１はそれぞれ括弧内に示した座標における基準画像の輝度値と参照画像の輝度値である。

図１６はＳＡＤ演算について説明するための図である。ＳＡＤ演算では、基準画像の基準ブロック領域に対して参照画像の探索ブロック領域の位置を図１６のように基線方向にｄｘだけずらしながら演算し、ＳＡＤが極小値となるｄｘが（数１）の視差量δとなる。ＳＡＤは任意の座標で演算できるので、撮像視野内の全領域の距離情報を取得することができる。

ＳＡＤ演算による視差量の抽出は、第１のカラー画像と第２のカラー画像の全ての色信号毎に抽出して平均してもよいし、１つの色信号のみで抽出してもよい。また、カラー信号をモノクロ信号に変換して抽出してもよい。

以下に抽出した視差量に基づいて被写体までの距離を求める方法について説明する。

図１７（ａ）および図１７（ｂ）は、本実施の形態の測距原理について説明するための概念図である。ここでは、測距の基本原理について簡単に説明するため、薄肉レンズを使用した理想光学系を用いて説明する。図１７（ａ）は、絞りｓにおける領域Ｄ１およびＤ２を被写体側からみた正面図である。図１７（ａ）における各符号は図２と同じである。

原理説明を簡単にするため、絞りｓにおいて、領域Ｄ１およびＤ２のための開口は、それぞれ、対物レンズＬ１の直径Ｄの半分の大きさの直径を有する円とする。また、基線長Ｂも、対物レンズＬ１の直径の半分の大きさとする。また、領域Ｄ１およびＤ２は、対物レンズＬ１の主点を含む平面内にも存在し、領域Ｄ１およびＤ２以外の領域は遮光されているものとする。また、説明を簡単にするため、アレイ状光学素子の図示も省略している。

図１７（ｂ）は、光学系の光路図である。図１７（ｂ）において、点ｏは物点、点ｐは対物レンズＬ１の主点、面Ｎｉは撮像面を示している。また、距離ａは物点ｏから対物レンズＬ１の主点ｐまでの光軸方向の距離（被写体距離）、距離ｂは対物レンズＬ１の主点ｐから結像位置までの光軸方向の距離、距離ｆは焦点距離、距離ｅは主点ｐから撮像面Ｎｉまでの距離を示している。ここで、レンズの公式から（数２）が成り立つ。

また、図１７（ｂ）の距離δは対物レンズＬ１の領域Ｄ１と領域Ｄ２を通過した光線の撮像面上における視差を示している。ここで、図１７（ｂ）の光路の幾何学的な関係から（数３）が成り立つ。

（数２）、（数３）から、被写体距離ａは、（数４）によって求めることができる。

（数４）において、焦点距離ｆと基線長Ｂは既知であり、視差δは前述のパターンマッチングによって抽出する。主点ｐから撮像面Ｎｉまでの距離ｅは、合焦距離の設定によって変化するが、合焦距離を固定しておけば、距離ｅも定数となるため、被写体距離ａの算出が可能となる。

また、（数４）に距離ｅ＝焦点距離ｆとし、合焦距離を無限遠に設定すれば、（数４）は、（数５）のようになる。

（数５）は、平行配列した一対の撮像光学系による三角測量の式と同じになる。

以上の計算によって、画像上の任意の位置に撮像された被写体の距離、もしくは画像全体の被写体の距離情報を１つの撮像光学系で取得することができる。

（その他の実施形態）
実施の形態１から８において、レンズ光学系Ｌの対物レンズＬ１は１枚で構成されているが、複数群または複数枚のレンズを備えていてもよい。

また、前述の実施の形態１から８では、レンズ光学系Ｌは像側テレセントリック光学系としているが、像側非テレセントリック光学系であってもよい。図１８（ａ）は、レンズ光学系Ｌが像側非テレセントリック光学系である場合の撮像部近傍を拡大して示す図である。図１８（ａ）では、アレイ状光学素子Ｋを通過する光のうち領域Ｄ１のみを通過する光束のみを示している。図１８（ａ）に示すように、レンズ光学系Ｌが像側非テレセントリック光学系の場合には、隣接画素に光が漏れてクロストークが発生しやすいが、図１８（ｂ）のようにアレイ状光学素子を画素配列に対してΔだけオフセットさせることにより、クロストークを低減させることができる。前記入射角は像高によって異なるため、前記オフセット量Δは、撮像面への光束の入射角に応じて設定すればよい。像側非テレセントリック光学系にすることにより、像側テレセントリック光学系に比べて光学長を短くすることができるため、撮像装置Ａを小型化することができる。

また、実施の形態１から８では、撮像素子の画素の配列はベイヤー配列としているが、図１９（ａ）もしくは図１９（ｂ）に示すような画素の配列であってもよい。図１９（ａ）において、画素群Ｐｇ３における各画素の配置は、図３（ｂ）に示す画素群Ｐｇ１と同じである。画素群Ｐｇ３、Ｐｇ４のそれぞれにおいて、緑色の画素Ｐ１Ａ、Ｐ２Ｂ、Ｐ１Ｂ、Ｐ２Ａは、斜めの位置に配置されている。画素群Ｐｇ３における赤色の画素Ｐ３Ａおよび青色の画素Ｐｇ４Ｂの配置は、画素Ｐｇ４における赤色の画素Ｐ４Ａおよび青色の画素Ｐ３Ｂの配置と逆である。図１９（ｂ）においては、画素群Ｐｇ５、Ｐｇ６のそれぞれにおいて、緑色の画素Ｐ１Ａ、Ｐ２Ｂ、Ｐ１Ｂ、Ｐ２Ａが、上下に配置されている。このような画素の配置においても、図６（ａ）、（ｂ）と同様に領域Ｄ１、Ｄ２を通過した光が入射する画素には、いずれも赤（Ｐ３Ａ、もしくはＰ３Ｂ）、緑（Ｐ１Ａ、Ｐ２Ａ、もしくはＰ１Ｂ、Ｐ２Ｂ）、青（Ｐ４Ａ、もしくはＰ４Ｂ）の色情報が含まれるようになる。

また、実施の形態１から７の撮像装置は、第１の信号処理部Ｃ１を備え、実施の形態８の撮像装置は、第２の信号処理部Ｃ２をさらに備えていた。しかし、撮像装置は、これらの信号処理部を備えていなくてもよい。その場合、撮像装置の外部のＰＣ等を用いて、第１の信号処理部Ｃ１および第２の信号処理部Ｃ２が行う処理を行えばよい。すなわち、本発明は、レンズ光学系Ｌ、アレイ状光学素子Ｋおよび撮像素子Ｎを備える撮像装置と、外部の信号処理装置とを備えるシステムによっても実現することができる。

本願に開示された撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装として有用である。また、自動車の周辺監視用および乗員監視用の測距装置やゲーム、ＰＣ、携帯端末、内視鏡等の立体視用および３次元情報入力用の用途にも応用できる。

Ａ 撮像装置
Ｌ レンズ光学系
Ｌ１ レンズ
Ｄ１、Ｄ２ 領域
ｓ、ｓｖ、ｓｖ’ 絞り
Ｋ アレイ状光学素子
Ｎ 撮像素子
Ｎｉ 撮像面
Ｍｓ 撮像素子上のマイクロレンズ
Ｍ１、Ｍ２、Ｍｄ アレイ状光学素子における光学要素
Ｐ１Ａ（Ｂ）〜Ｐ４Ａ（Ｂ） 撮像素子上の受光素子
Ｃ１ 第１の信号処理部
Ｃ２ 第２の信号処理部
ＬＬ リレー光学系
ＬＬ１ 第１のリレーレンズ
ＬＬ２ 第２のリレーレンズ

Claims (23)

1. 第１の領域と、前記第１の領域とは異なる位置に配置される第２の領域を有するレンズ光学系と、
   前記レンズ光学系を通過した光が入射する第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、第３の分光透過率特性を有するフィルタを備える複数の第４の画素とを含む複数の画素および撮像面を有する撮像素子と、
   前記レンズ光学系と前記撮像素子との間に配置され、複数の光学要素を有するアレイ状光学素子とを備え、
   前記複数の画素は、第１の方向に１からｌ個（ｌは２以上の整数）の画素が配列した一行の画素群を構成し、第２の方向に１からｍ行目（ｍは２以上の整数）までのｍ行に配列されることにより、前記撮像面に配置され、
   前記ｍ行のうちｊ行目（１≦ｊ<ｍ）に配列されたｌ個の画素の前記第１の方向における中心の各位置は、ｊ＋１行目に配列されたｌ個の画素の前記第１の方向における中心の各位置と略同一であり、
   前記複数の光学要素は、前記アレイ状光学素子の表面において、前記第２の方向に１からｓ個（ｓは２以上の整数）の光学要素が配列した一列の光学要素群が、前記第１の方向に１からｔ列目（ｔは２以上の整数）までのｔ列に配列され、前記ｔ列のうちｋ列目（１≦ｋ<ｔ）に配置される光学要素の前記第２の方向における中心の位置は、ｋ＋１列目に配置される光学要素の前記第２の方向における中心の位置から、前記第２の方向にずれており、
   前記撮像面には、前記複数の第１、第２、第３、第４の画素が、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置され、
   前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられている、撮像装置。
2. 前記アレイ状光学素子の表面において、前記複数の光学要素のうち、前記第２の方向に隣接する２つの光学要素の前記第２の方向における中心間の距離をＹとした場合、
   前記ｋ列目に配置される光学要素の前記第２の方向における中心の位置は、前記ｋ＋１列目における光学要素の前記第２の方向における中心の位置から、０．４５Ｙ以上０．５５Ｙ以下だけ前記第２の方向にずれている、請求項１に記載の撮像装置。
3. 前記複数の第１の画素は、第１Ａおよび第１Ｂの画素を有し、前記複数の第２の画素は、第２Ａおよび第２Ｂの画素を有し、前記複数の第３の画素は、第３Ａおよび第３Ｂの画素を有し、前記複数の第４の画素は、第４Ａおよび第４Ｂの画素を有し、
   前記ｋ列目における光学要素は、前記第１の領域を通過した光を前記第１Ａの画素と前記第３Ａの画素に入射させ、前記第２の領域を通過した光を前記第２Ｂの画素と前記第４Ｂの画素に入射させ、
   前記ｋ＋１列目における光学要素は、前記第１の領域を通過した光を複数の第２Ａの画素と前記第４Ａの画素に入射させ、前記第２の領域を通過した光を前記第１Ｂの画素と前記第３Ｂの画素に入射させる、請求項１または２に記載の撮像装置。
4. 前記第１Ａ、第２Ａ、第３Ａ、および第４Ａの画素の輝度情報を用いて第１のカラー画像を生成し、前記第１Ｂ、第２Ｂ、第３Ｂ、および第４Ｂの画素の輝度情報を用いて第２のカラー画像を生成する第１の信号処理部をさらに備える、請求項３に記載の撮像装置。
5. 前記複数の光学要素のそれぞれは、１つまたは２つのマイクロレンズである、請求項１から４のいずれかに記載の撮像装置。
6. 前記第１、第２、第３および第４の画素は、ベイヤー配列によって配列されている、請求項１から５のいずれかに記載の撮像装置。
7. 前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸を境界中心として分けられた領域である、請求項１から６のいずれかに記載の撮像装置。
8. 前記複数の光学要素のそれぞれは、光軸に対して回転対称な形状を有する、請求項１から７のいずれかに記載の撮像装置。
9. 前記複数の光学要素のそれぞれは、シリンドリカル形状を有する、請求項１から８のいずれかに記載の撮像装置。
10. 前記レンズ光学系は、像側テレセントリック光学系である、請求項１から９のいずれかに記載の撮像装置。
11. 前記レンズ光学系は像側非テレセントリック光学系であって、
    前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせている、請求項１から１０のいずれかに記載の撮像装置。
12. 前記アレイ状光学素子は前記撮像素子上に形成されている、請求項１から１１のいずれかに記載の撮像装置。
13. 前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
    前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されている、請求項１２に記載の撮像装置。
14. 前記レンズ光学系は、前記第１の領域および前記第２の領域の位置を変更する液晶シャッターアレイをさらに有する、請求項１から１３のいずれかに記載の撮像装置。
15. 前記レンズ光学系は、開口部における透過率が変化する液晶シャッターアレイをさらに有する、請求項１から１３のいずれかに記載の撮像装置。
16. 前記レンズ光学系は、前記第１の領域に光を入射させる第１Ａの反射部材および第１Ｂの反射部材と、前記第２の領域に光を入射させる第２Ａの反射部材および第２Ｂの反射部材とをさらに備える、請求項１から１５のいずれかに記載の撮像装置。
17. 前記レンズ光学系は、リレー光学系をさらに備える、請求項１から１６のいずれかに記載の撮像装置。
18. 請求項４に記載の撮像装置と、
    前記第１のカラー画像と前記第２のカラー画像を用いて被写体までの距離を算出する第２の信号処理部とを備える、測距装置。
19. 請求項３に記載の撮像装置と、
    前記第１Ａ、第２Ａ、第３Ａ、および第４Ａの画素の輝度情報を用いて第１のカラー画像を生成し、前記第１Ｂ、第２Ｂ、第３Ｂ、および第４Ｂの画素の輝度情報を用いて第２のカラー画像を生成する信号処理装置とを備える、撮像システム。
20. 撮像面を有する撮像素子と、前記撮像面に対向する表面に複数の光学要素を有するアレイ状光学素子とを備える撮像用部材であって、
    前記撮像素子は、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置された複数の画素を有し、
    前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられている、撮像用部材。
21. 撮像面を有する撮像部と、前記撮像面上に設けられ、複数の光学要素を有するアレイ状光学素子とを備える撮像素子であって、
    前記撮像部は、前記撮像面に、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置された複数の画素を有し、
    前記複数の光学要素のうちの１つが、前記撮像面における（ｐ、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ）、（ｐ＋１、ｑ＋１）の位置に配置される４つの画素に対応する位置に設けられている場合（１≦ｐ<ｌ、１≦ｑ<ｍ）、前記複数の光学要素のうちの他の１つは、前記撮像面における（ｐ＋２、ｑ＋１）、（ｐ＋２、ｑ＋２）、（ｐ＋３、ｑ＋１）、（ｐ＋３、ｑ＋２）の位置に配置される４つの画素に対応する位置に設けられている、撮像素子。
22. 前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
    前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像部上に形成されている、請求項２１に記載の撮像素子。
23. 第１の領域と、前記第１の領域とは異なる位置に配置される第２の領域とを有するレンズ光学系と、
    第１Ａ、第２Ｂ、第３Ａおよび第４Ｂの４つの画素が撮像面において２行２列に配置された第１の画素群と、第２Ａ、第１Ｂ、第３Ｂおよび第４Ａの４つの画素が、撮像面において２行２列に配置された第２の画素群とを有する撮像素子と、
    前記レンズ光学系と前記撮像素子との間に配置され、複数の第１の光学要素と、複数の第２の光学要素とを有するアレイ状光学素子とを備え、
    前記第１Ａ、第２Ａ、第１Ｂおよび第２Ｂの画素は、第１の分光透過率特性を有するフィルタを有し、前記第３Ａおよび第３Ｂの画素は、第２の分光透過率特性を有するフィルタを有し、前記第４Ａおよび第４Ｂの画素は、第３の分光透過率特性を有するフィルタを有し、
    前記複数の第１の光学要素のそれぞれは、前記第１の領域を通過した光を前記第１Ａの画素と前記第３Ａの画素に入射させ、前記第２の領域を通過した光を前記第２Ｂの画素と前記第４Ｂの画素に入射させ、
    前記複数の第２の光学要素のそれぞれは、前記第１の領域を通過した光を前記第２Ａの画素と前記第４Ａの画素に入射させ、前記第２の領域を通過した光を前記第１Ｂの画素と前記第３Ｂの画素に入射させる、撮像装置。

Images