JP5836821B2

JP5836821B2 - 撮像装置

Info

Publication number: JP5836821B2
Application number: JP2012016413A
Authority: JP
Inventors: 將夫三本木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-01-30
Filing date: 2012-01-30
Publication date: 2015-12-24
Anticipated expiration: 2032-01-30
Also published as: WO2013114999A1; US20140327763A1; JP2013157780A; US9658367B2

Description

本発明は、撮像装置に関するものである。

従来、距離計測を行う撮像装置が知られている（例えば、特許文献１参照。）。
この撮像装置は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影する撮像素子との間の、撮像レンズによって形成される実像と撮像素子との間に配される位置に配置されたマイクロレンズアレイを備えている。

撮像レンズにより集光された光は、実像を結んだ後にマイクロレンズアレイを構成する各マイクロレンズによってそれぞれ撮像素子の撮像面の異なる位置に結像される。これにより、マイクロレンズ毎に視差画像が得られる。そして、得られた視差画像に対してステレオマッチングを行うことにより被写体までの距離が計測される。

特許第４７５２０３１号公報

しかしながら、距離の分解能はマイクロレンズの直径に比例する一方、距離の測定可能範囲はマイクロレンズアレイの直径に反比例する。このため、特許文献１の撮像装置では、空間的な解像度を維持した場合には、距離の分解能向上と距離の測定範囲拡大とがマイクロレンズの直径に関してトレードオフの関係となり、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができる撮像装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、焦点距離が等しく有効径が異なる２種以上のマイクロレンズを光軸に交差する方向にアレイ状に配列してなり、前記撮像素子と前記撮像レンズの焦点面との間に、該焦点面を通った光が前記各マイクロレンズによって個別に前記撮像素子の撮像面に結像するように光軸方向に間隔をあけて配置されたマイクロレンズアレイと、前記撮像素子により検出された、同一種類の複数の前記マイクロレンズにそれぞれ割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行って、前記マイクロレンズの種類別に複数種類の距離情報を算出する種類別距離情報算出部と、該種類別距離情報算出部により算出された一の種類の距離情報を用いて、他の種類の距離情報を補間する補間部と、を備える撮像装置を提供する。

本態様に係る撮像装置によれば、撮像レンズにより集光された被写体からの光は、撮像レンズの焦点面において実像を結像した後、焦点面に対して光軸方向に間隔をあけて配置されたマイクロレンズアレイに入射され、マイクロレンズアレイを構成している各マイクロレンズによって個別に撮像素子の撮像面に結像される。これにより、撮像素子には、マイクロレンズ毎に被写体の複数の像が取得される。取得された複数の像は、視差を有しているため、ステレオマッチング等によって、被写体までの距離を算出することが可能となる。

この場合において、本態様に係る撮像装置によれば、マイクロレンズアレイが、有効径の異なる複数種のマイクロレンズを配列することにより構成されているので、有効径の大きなマイクロレンズによって、分解能が高いが範囲の狭い距離情報の取得が可能となり、有効径の小さなマイクロレンズによって、分解能は低いが範囲の広い距離情報の取得が可能となる。その結果、両方の距離情報を有する画像を取得することができ、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができる。
また、撮像素子により検出された同一種類の複数の前記マイクロレンズにそれぞれ割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行って、前記マイクロレンズの種類別に複数種類の距離情報を算出する種類別距離情報算出部と、該種類別距離情報算出部により算出された一の種類の距離情報を用いて、他の種類の距離情報を補間する補間部とを備えることで、異なる有効径を有する複数種のマイクロレンズを介して撮像素子により検出された複数種の画像信号を用いて、距離情報算出部により複数種の距離情報が算出され、これにより、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。特に、撮像素子により画像信号が検出されると、種類別距離情報算出部が、同一種類の複数のマイクロレンズに割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行うことにより、マイクロレンズの種類別に複数種類の距離情報を算出する。そして、補間部が、位置の種類の距離情報を用いて、他の種類の距離情報を補間することにより、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。

上記態様においては、前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで挟むように２種類の前記マイクロレンズを配列してなっていてもよい。
このようにすることで、一方の種類のマイクロレンズの位置における距離情報を、それを挟む他方の種類のマイクロレンズの位置における距離情報によって、精度よく補間することができる。

例えば、一方の種類のマイクロレンズの有効径が他方の種類のマイクロレンズの有効径より小さい場合、一方の種類のマイクロレンズを介して得られる距離情報の分解能は他方の種類のマイクロレンズを介して得られる距離情報の分解能より低い。しかし、両側を挟む他方の種類のマイクロレンズによって得られる分解能の高い距離情報によって補間することにより、分解能の高い距離情報を得ることができる。

逆に、一方の種類のマイクロレンズの有効径が他方の種類のマイクロレンズの有効径より大きい場合、一方の種類のマイクロレンズを介して得られる距離情報の範囲は他方の種類のマイクロレンズを介して得られる距離情報の範囲より狭い。しかし、両側を挟む他方の種類のマイクロレンズによって得られる広い範囲の距離情報によって補間することにより、一方の種類のマイクロレンズを介しては取得できなかった範囲外の距離情報を得ることができる。

また、上記態様においては、前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで異なる２方向から挟むように２種類の前記マイクロレンズを配列してなっていてもよい。
このようにすることで、一方の種類のマイクロレンズの位置における距離情報を、それを挟む他方の種類のマイクロレンズの位置における距離情報によって、さらに精度よく補間することができる。

また、上記態様においては、各前記マイクロレンズに、該マイクロレンズの有効径を決定する絞りが設けられていてもよい。
このようにすることで、マイクロレンズ自体の大きさではなく、絞りの開度によって有効径を決定することができる。

また、上記態様においては、前記補間部が、有効径の大きい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を用いて、有効径の小さい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を補間してもよい。

このようにすることで、有効径の大きい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された分解能の高い距離情報により、有効径の小さい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された分解能の低い距離情報が補間され、全体として精度の高い画像信号を得ることができる。

また、上記態様においては、いずれかの前記マイクロレンズを通過した光が、隣接する前記マイクロレンズに対応する画素に入射しないように遮蔽する遮光部材を備えていてもよい。
このようにすることで、隣接するマイクロレンズを通過した光が遮光部材によって遮蔽され、撮像素子上において混じり合うクロストークの発生を未然に防止することができる。

本発明によれば、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができるという効果を奏する。

本発明の一実施形態に係る撮像装置を示す全体構成図である。図１の撮像装置に備えられたマイクロレンズアレイの一例を示す正面図である。図１の撮像装置に備えられた距離情報算出部を示すブロック図である。図２のマイクロレンズアレイの作用を説明する正面図である。図２のマイクロレンズアレイの作用を説明する側面図である。図１の距離情報算出部に備えられた補間部の処理を説明する図である。図２のマイクロレンズアレイの他の配列例を説明する正面図である。図２のマイクロレンズアレイの他の配列例を説明する正面図である。図２のマイクロレンズアレイの他の配列例を説明する正面図である。図２のマイクロレンズアレイの他の形態を説明する正面図である。図２のマイクロレンズアレイの他の形態を説明する正面図である。図５の変形例を示す側面図である。

本発明の一実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、被写体Ａを撮影する撮像部２と、該撮像部２により取得された画像信号を処理する画像処理部３と、撮像部２を制御する撮像制御部４と、画像処理部３および撮像制御部４を制御する制御部５と、該制御部５に対して外部信号を入力するＩ／Ｆ部６とを備えている。

撮像部２は、被写体Ａ側から順に、被写体Ａに対向して配置される撮像レンズ７と、該撮像レンズ７を通過した光の光束径を決定する開口絞り８と、撮像レンズ７の後側焦点位置に形成される実像Ｂに対して光軸方向に被写体Ａから遠ざかる方向に間隔をあけて配置されたマイクロレンズアレイ９と、該マイクロレンズアレイ９に対してさらに光軸方向に間隔をあけて配置され、マイクロレンズアレイ９を通過した光を撮影する撮像素子１０とを備えている。

撮像レンズ７にはＡＦモータ１１が接続されている。撮像レンズ７は、撮像制御部４からの指令信号に応じてＡＦモータ１１が駆動させられることにより、光軸方向に移動させられて、被写体Ａに前側焦点を一致させるようになっている。なお、図１中、撮像レンズ７は単一のレンズとして表示しているが、実際には、光軸方向に配列された複数のレンズからなり、少なくとも１つのレンズがＡＦモータ１１によって光軸方向に移動させられるようになっている。

開口絞り８には開度調節モータ１２が接続されている。開口絞り８は、撮像制御部４からの指令信号に応じて開度調節モータ１２が駆動させられることにより、開度が調節されて、入射光量が調節されるようになっている。

マイクロレンズアレイ９は、図２に示されるように、異なる直径を有する２種類のマイクロレンズ９ａ，９ｂを直径方向に交互に配列することにより構成されている。これらの２種のマイクロレンズ９ａ，９ｂは、焦点距離が同一で有効径が相違している。このように配列することで、大きい方のマイクロレンズ９ａは、小さい方のマイクロレンズ９ｂによって四方を取り囲まれ、同時に、小さい方のマイクロレンズ９ｂも大きい方のマイクロレンズ９ａによって四方を取り囲まれる関係になっている。

その結果、一方の種類のマイクロレンズ９ａ（９ｂ）は、他方の種類のマイクロレンズ９ｂ（９ａ）によって上下左右の２方向から挟まれている。
撮像素子１０は、例えば、ＲＧＢ原色系の単板ＣＣＤである。

画像処理部３は、図１に示されるように、撮像素子１０により検出された画像信号をディジタル信号に変換するＡ／Ｄ変換器１３と、ディジタル信号に変換された画像信号を一時的に格納するバッファ１４と、バッファ１４に格納された単板状態の画像信号を処理して三板状態の画像信号を生成する信号処理部１５と、信号処理部１５により生成された画像信号を用いて、撮像レンズ７から被写体Ａまでの距離情報を算出する距離情報算出部１６とを備えている。

信号処理部１５は、制御部５からの指令信号に基づいてバッファ１４上の単板状態の画像信号を読み込み、公知のデモザイキング処理やホワイトバランス処理を行った後の各画素の画像信号から３板状態の画像信号を生成するようになっている。

距離情報算出部１６は、図３に示されるように、信号処理部１５で生成された画像信号を一時的に格納するバッファ１７と、該バッファ１７に格納された画像信号に基づいてマッチング処理を行うマッチング部１８と、該マッチング部により求められた座標値を用いて、撮像レンズ７から被写体Ａまでの距離をマイクロレンズ９ａ，９ｂ毎に算出する距離算出部１９と、距離算出部１９により算出された距離を格納するバッファ２０と、該バッファ２０に格納された距離を用いて補間処理を行う補間部２１とを備えている。

マッチング部１８は、バッファ１７に格納された画像信号を用いて公知のステレオマッチング処理を行い、視差を伴う複数の画像において対応する座標値を算出するようになっている。
具体的には、図４に示される例では、直径が大きい方のマイクロレンズ９ａの１つであるマイクロレンズＡ_２に対応する撮像素子１０の画素領域で撮影された画像と、直径が大きい方の他のマイクロレンズ９ａであるマイクロレンズＡ_３に対応する撮像素子１０の画素領域で撮影された画像とを用いてステレオマッチング処理を行い、例えば、２つの画素領域間で対応する画素のｘ方向の座標値を求める。

図４において、マイクロレンズＡ_２，Ａ_３に対応する画素領域におけるステレオマッチング処理の基線長はΦ_Ａ＋Φ_Ｂである。ここで、Φ_Ａは大きい方のマイクロレンズ９ａの有効径、Φ_Ｂは小さい方のマイクロレンズ９ｂの有効径である。
距離算出部１９は、マイクロレンズアレイ９と実像Ｂとの距離ｚ、および撮像レンズ７の結像倍率Ｍを用いて、撮像レンズ７と被写体Ａとの距離Ｚを、下式（１）により求めるようになっている。

Ｚ＝ｚ／Ｍ＝ｆ・（Φ_Ａ＋Φ_Ｂ）／（ｘ_３−ｘ_２）・・・（１）
ここで、ｆはマイクロレンズ９ａ，９ｂの焦点距離、ｘ_２，ｘ_３は２つの画素領域間で対応する画素のｘ方向の座標値である。

また、距離算出部１９は、小さい方のマイクロレンズ９ｂであるマイクロレンズＢ_２，Ｂ_３についても同様にステレオマッチング処理を行い、撮像レンズ７と被写体Ａとの距離Ｚを算出するようになっている。

ここで、距離の分解能Δｚおよび距離の測定範囲ΔＲについて、図５を参照して説明する。
図５においてはマイクロレンズ９ａ，９ｂの結像倍率がｄ／４ｄ＝１／４である。小さい方のマイクロレンズ９ｂの直径をΦ、大きい方のマイクロレンズ９ａの直径を２Φとすると、領域Ｒ_１における基線長は６Φ、領域Ｒ_２，Ｒ_３における基線長は３Φである。
領域Ｒ_１，Ｒ_２，Ｒ_３の各々における距離の分解能Δｚ_Ｒ１，Δｚ_Ｒ２，Δｚ_Ｒ３は下式（２）により算出される。

Δｚ_Ｒ１＝ε_μ・Ｚ／６Φ
Δｚ_Ｒ２＝Δｚ_Ｒ３＝ε_μ・Ｚ／３Φ ・・・（２）
ここで、ε_μは、ステレオマッチング処理における対応点の誤差を示す。

上記式（２）から、領域Ｒ_１における距離の分解能Δｚ_Ｒ１と、領域Ｒ_２，Ｒ_３における距離の分解能Δｚ_Ｒ２，Δｚ_Ｒ３の比は、１：２になっていることがわかる。
また、図５に示されるように、領域Ｒ_１，Ｒ_３は直径２Φのマイクロレンズ９ａが視差画像を形成し、領域Ｒ_２は直径Φのマイクロレンズ９ｂが視差画像を形成している。このため、距離の測定範囲ΔＲ_Ｒ１，ΔＲ_Ｒ２，ΔＲ_Ｒ３は、下式（３）の通りとなる。
式（３）から領域Ｒ_２における距離の測定範囲ΔＲ_Ｒ２が最も長いことがわかる。

ΔＲ_Ｒ１＝ΔＲ_Ｒ３＝（Ｚ^２・δ・Ｆ・Ｓ）／（ｆ^２・２Φ＋Ｚ・δ・Ｆ・Ｓ）
＋（Ｚ^２・δ・Ｆ・Ｓ）／（ｆ^２・２Φ−Ｚ・δ・Ｆ・Ｓ）
ΔＲ_Ｒ２＝（Ｚ^２・δ・Ｆ・Ｓ）／（ｆ^２・Φ＋Ｚ・δ・Ｆ・Ｓ）
＋（Ｚ^２・δ・Ｆ・Ｓ）／（ｆ^２・Φ−Ｚ・δ・Ｆ・Ｓ）・・・（３）

補間部２１は、図６に示される距離の分解能ΔＺの性能が高い領域Ｒ_１ｎ（ｎ＝１，２，…，Ｃ）の距離情報Ｚ_Ｒ１ｎを用いて、間に挟まれる領域Ｒ_３ｎ（ｎ＝１，２，…，Ｂ）の距離情報Ｚ_Ｒ３ｎを下式（４）に示されるように補間するようになっている。式（４）は、例えば、距離情報Ｚ_Ｒ３４を補間する場合を示している。

Ｚ_Ｒ３４＝（Ｚ_Ｒ１２＋Ｚ_Ｒ１４＋Ｚ_Ｒ１５＋Ｚ_Ｒ１８）／４・・・（４）

ここで、Ｚ_Ｒ３４，Ｚ_Ｒ１２，Ｚ_Ｒ１４，Ｚ_Ｒ１５，Ｚ_Ｒ１８は領域Ｒ_３４，Ｒ_１２，Ｒ_１４，Ｒ_１５，Ｒ_１８の距離情報である。
式（４）では、領域Ｒ_３４の距離情報Ｚ_Ｒ３４を補間する場合について説明したが、補間部２１は、他の領域Ｒ_３ｎについても同様な処理を行い、距離情報Ｚ_Ｒ３ｎを補間するようになっている。

また、補間部２１は、距離の測定範囲ΔＲの広い領域Ｒ_２ｎ（ｎ＝１，２，…，Ｃ）の距離情報Ｚ_Ｒ２ｎを用いて、間に挟まれる領域Ｒ_１ｎ，Ｒ_３ｎ（ｎ＝１，２，…，）の距離情報Ｚ_Ｒ３ｎを下式（５）に示されるように補間するようになっている。式（５）は、例えば、距離情報Ｚ_Ｒ１５，Ｚ_Ｒ３４を補間する場合を示している。

Ｚ_Ｒ１５＝Ｚ_Ｒ２５
Ｚ_Ｒ３４＝（Ｚ_Ｒ２２＋Ｚ_Ｒ２４＋Ｚ_Ｒ２５＋Ｚ_Ｒ２８）／４・・・（５）
ここで、Ｚ_Ｒ１５，Ｚ_Ｒ２５，Ｚ_Ｒ２２，Ｚ_Ｒ２４，Ｚ_Ｒ２５，Ｚ_Ｒ２８は領域Ｒ_１５，Ｒ_２５，Ｒ_２２，Ｒ_２４，Ｒ_２５，Ｒ_２８の距離情報である。
式（５）では、領域Ｒ_１５，Ｒ_３４の距離情報Ｚ_Ｒ１５，Ｚ_Ｒ３４を補間する場合について説明したが、補間部２１は、他の領域Ｒ_１ｎ，Ｒ_３ｎについても同様な処理を行い、距離情報Ｚ_Ｒ１ｎ，Ｚ_Ｒ３ｎを補間するようになっている。

このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて、被写体Ａと撮像レンズ７との間の距離Ｚを計測するには、Ｉ／Ｆ部６を介してＩＳＯ感度、露出などの撮影条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮影モードに入る。被写体Ａからの光は撮像レンズ７を介して撮像部２内に入り、実像Ｂを結像した後にマイクロレンズアレイ９によって集光され撮像素子１０により撮影される。撮像素子１０により取得された画像信号は、Ａ／Ｄ変換器１３によってディジタル信号に変換された後、バッファ１４に転送され格納される。

バッファ１４内に格納された画像信号は撮像制御部４に送られる。撮像制御部４は、送られてきた画像信号中の輝度レベルを用いて開口絞り８の開度調節モータ１２を制御し、撮像素子１０における電子シャッタ速度を制御する。また、撮像制御部４は、撮像レンズ７のＡＦモータ１１を制御して、画像信号から所定領域におけるコントラスト値を算出し，該コントラスト値が最大になるように撮像レンズ７を所定の焦点距離に設定する。

この状態で、シャッタボタンを全押しすることにより、本撮影が行われる。本撮影は、撮像制御部４において求められた焦点距離および露光条件に基づいて行われ、取得された画像信号は、Ａ／Ｄ変換器１３によってディジタル信号に変換され、バッファ１４に転送されて格納される。その後、バッファ１４内の画像信号は信号処理部１５に転送される。

信号処理部１５においては、バッファ１４内から転送されてきた単板状態の画像信号に対し、公知のデモザイキング処理およびホワイトバランス処理が行われた各画素ＲＧＢの三板状態の画像信号が生成される。生成された画像信号は距離情報算出部１６に転送される。

距離情報算出部１６においては、信号処理部１５から送られてきた画像信号がバッファ１７内に格納される。そして、バッファ１７内に格納された画像信号に対して、マッチング部１８において、被写体Ａに対する公知のステレオマッチング処理が行われ、複数の視差画像に対する対応する座標値が算出される。このとき、同種のマイクロレンズ９ａ，９ｂを介して、各マイクロレンズ９ａ，９ｂに対応する撮像素子１０の画素領域において撮影された画像信号どうしのステレオマッチング処理により、対応する座標値が算出される。

距離算出部１９は、マッチング部１８において取得された座標値を用いて撮像レンズ７から被写体Ａまでの距離を算出する。
同種のマイクロレンズ９ａ，９ｂに対応する画素領域についてそれぞれ算出された距離情報Ｚは、バッファ２０に転送され、その後、補間部２１に転送されて、補間される。

すなわち、本実施形態に係る撮像装置１によれば、異なる有効径を有する２種類のマイクロレンズ９ａ，９ｂを交互に配列してなるマイクロレンズアレイ９を用いているので、大きなマイクロレンズ９ａを介して撮像素子１０により取得された画像信号からは、分解能の高い距離計測を行うことができ、小さなマイクロレンズを介して撮像素子により取得された画像信号からは、広い範囲にわたる距離計測を行うことができる。その結果、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができるという利点がある。

また、本実施形態に係る撮像装置１によれば、取得された画像信号から距離算出部１９によりマイクロレンズ９ａ，９ｂの種類別に距離が算出され、補間部２１において、各種類別の距離の性能を補い合うように補間処理が行われるので、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。

また、本実施形態に係る撮像装置１によれば、２種類のマイクロレンズ９ａ，９ｂが、お互いに上下左右の２方向から挟むように交互に配置されているので、間に挟まれたマイクロレンズ９ａ，９ｂに対応して取得された画像信号に基づく距離情報を、４つのマイクロレンズ９ａ，９ｂ取得された画像信号に基づく距離情報によって、より精度よく補間することができるという利点がある。

なお、本実施形態においては、マイクロレンズアレイ９、直径の異なる２種類のマイクロレンズ９ａ，９ｂ構成されていることとしたが、これに代えて、３種類以上のマイクロレンズを配列して構成することにしてもよい。
また、マイクロレンズ９ａ，９ｂ異ならせるために、直径の異なる２種類のマイクロレンズ９ａ，９ｂをアレイ状に配列することとしたが、これに代えて、各マイクロレンズ９ａ，９ｂに該マイクロレンズの有効径を決定する絞りを設け、該絞りの開度を異ならせることにより、各マイクロレンズ９ａ，９ｂの有効径を異ならせることにしてもよい。

また、本実施形態においては、マイクロレンズアレイ９として、千鳥状に配置した一種類のマイクロレンズ９ａの隙間を埋めるように他の種類のマイクロレンズ９ｂを千鳥状に配置したが、これに代えて、図７〜図９に示されるように、他の配列を採用してもよい。図２と図９はマイクロレンズ９ａ，９ｂの撮像素子１０に対する配列方向を異ならせたものである。

また、円形のマイクロレンズ９ａ，９ｂを配列することによりマイクロレンズアレイ９を構成したが、これに代えて、図１０に示されるような矩形のマイクロレンズ、あるいは、図１１に示されるような８角形と４角形のマイクロレンズを配列することにしてもよい。

また、撮像レンズ７のＦ値によっては、撮像素子１０上でクロストークが発生しないように、図１２に示すように、マイクロレンズアレイ９と撮像素子１０との間の空間を区画する遮光部材２２を配置することにしてもよい。このようにすることで、隣接するマイクロレンズ９ａ，９ｂを通過した光が各マイクロレンズ９ａ，９ｂに対応する撮像素子１０の画素領域に入射することを防止してクロストークの発生を抑制することができる。遮光部材２２は、マイクロレンズ９ａ，９ｂや撮像素子１０に直接貼り付けることにしてもよい。

また、本実施形態においては、撮像素子１０としてＣＣＤを例示したが、これに代えて、ＣＭＯＳイメージセンサを採用してもよい。
また、信号処理部１５において、公知のデモザイキング処理およびホワイトバランス処理が行われた各画素ＲＧＢの三板状態の画像信号を生成することにしたが、これに代えて、さらに、式（６）を用いてＹＣｂＣｒ信号に変換してもよい。

また、本実施形態においては、一方の種類のマイクロレンズ９ａに対応して取得された距離情報を、その４方に配置された他方の種類のマイクロレンズ９ｂに対応して取得された距離情報により補間することとしたが、これに代えて、２方に配置された他方の種類のマイクロレンズ９ｂに対応して取得された距離情報により補間してもよいし、８方に配置された他方の種類のマイクロレンズ９ｂに対応して取得された距離情報により補間してもよい。

Ａ被写体
１撮像装置
７撮像レンズ
９マイクロレンズアレイ
９ａ，９ｂマイクロレンズ
１０撮像素子
１６距離情報算出部
１９距離算出部（種類別距離情報算出部）
２１補間部
２２遮光部材

Claims

被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、
焦点距離が等しく有効径が異なる２種以上のマイクロレンズを光軸に交差する方向にアレイ状に配列してなり、前記撮像素子と前記撮像レンズの焦点面との間に、該焦点面を通った光が前記各マイクロレンズによって個別に前記撮像素子の撮像面に結像するように光軸方向に間隔をあけて配置されたマイクロレンズアレイと、
前記撮像素子により検出された、同一種類の複数の前記マイクロレンズにそれぞれ割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行って、前記マイクロレンズの種類別に複数種類の距離情報を算出する種類別距離情報算出部と、
該種類別距離情報算出部により算出された一の種類の距離情報を用いて、他の種類の距離情報を補間する補間部と、を備える撮像装置。
前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで挟むように２種類の前記マイクロレンズを配列してなる請求項１に記載の撮像装置。
前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで異なる２方向から挟むように２種類の前記マイクロレンズを配列してなる請求項２に記載の撮像装置。
各前記マイクロレンズに、該マイクロレンズの有効径を決定する絞りが設けられている請求項１から請求項３のいずれかに記載の撮像装置。
前記補間部が、有効径の大きい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を用いて、有効径の小さい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を補間する請求項１から請求項４のいずれかに記載の撮像装置。
いずれかの前記マイクロレンズを通過した光が、隣接する前記マイクロレンズに対応する画素に入射しないように遮蔽する遮光部材を備える請求項１から請求項５のいずれかに記載の撮像装置。