JPWO2013080552A1 - 撮像装置及び撮像システム - Google Patents

Abstract

本発明の一態様である撮像装置は、第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える。

Description

本願はカメラ等の撮像装置に関する。

近年、自動車の車間距離測定やカメラの自動焦点システム、３次元形状測定システムに、複数の撮像光学系間の視差によって被写体（測距対象物）までの距離を測定する測距装置が用いられている。

このような測距装置では、左右又は上下に配置する一対の撮像光学系によってそれぞれの撮像領域に画像が形成され、それらの画像の視差から三角測量によって被写体までの距離が検出される。

また、単一の撮像光学系から被写体までの距離を測定する方式として、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）法が知られている。ＤＦＤ法は、取得した画像のボケ量の解析から距離を算出する手法であるが、単一の画像では被写体そのものの模様であるのか、被写体距離によってボケているのかを判別することができないため、複数の画像から距離を推定する手法が用いられている（特許文献１、非特許文献１）。

特許第３１１００９５号公報

Xue Tu, Youn-sik Kang and Murali Subbarao Two- and Three-Dimensional Methods for Inspection and Metrology V. Edited by Huang, Peisen S.. Proceedings of the SPIE, Volume 6762, pp. 676203 (2007).

しかしながら、上述した従来の技術では、撮像装置の小型化や低コスト化、測距精度の向上などが求められていた。本願の、限定的ではない例示的なある実施形態は、小型で精度よく距離を測定することが可能な撮像装置を提供する。

本発明の一態様である撮像装置は、第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える。

本発明の一態様に係る測距装置によれば、単一の撮像系を用い、精度よく距離の計測を行うことができる。

本発明による撮像装置Ａの実施の形態１を示す模式図である。 本発明の実施の形態１における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態１において、光学領域Ｄ１および光学領域Ｄ２を通過した光線による球面収差を示すグラフである。 被写体距離毎の点像強度分布の概念図である。 本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示し、（ｄ）から（ｆ）は、（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。 （ａ）は、被写体である白黒のチャートを示す図である。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図１の撮像装置Ａで撮像した画像の色毎の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１（緑）およびＲ（赤）の輝度の２回微分を示す図である。（ｅ）は、（ｃ）のＧ２（緑）、Ｂ（青）の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。 本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の他の関係を示すグラフである。 本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の他の関係を示すグラフである。 実施の形態１における撮像装置Ａを示す断面図である。 実施の形態１の他の撮像装置を示す図である。 本発明の実施の形態１における他の光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態１における他の光学素子Ｌ１を被写体側から見た正面図である。 （ａ）および（ｂ）は、本発明の実施の形態２におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。 （ａ）および（ｂ）は、本発明による実施の形態３における各光学領域と遮光部材との位置関係を示す正面図である。 本発明による撮像装置Ａの実施の形態４を示す模式図である。 本発明の実施の形態４における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態４におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、図１８に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態４における信号処理部のフローチャート図である。 本発明の実施の形態４において、光学領域Ｄ１および光学領域Ｄ２を通過した光線による球面収差を示すグラフである。 本発明の実施の形態４における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布図であり、（ｄ）から（ｆ）は、図２５（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す図である。 （ａ）は、被写体である白黒のチャートを示す図である。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図１の撮像装置Ａで撮像した画像の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１の輝度の２回微分を示す図。（ｅ）は、（ｃ）のＧ２の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。 本発明の実施の形態４における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態４における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）は本発明の実施の形態４の被写体画像を示す図である。（ｂ）は（ａ）の被写体画像のデプスマップを示す図である。 本発明の実施の形態４における、ガウス分布で表したＰＳＦ（点広がり関数）断面強度の分布図である。 （ａ）および（ｂ）は、本発明の実施の形態４における被写***置とＰＳＦの関係を示す図である。 （ａ）から（ｃ）は、本発明の実施の形態４におけるＰＳＦの２次元データを示す図である。 （ａ）および（ｂ）は、本発明の実施の形態４におけるＰＳＦの２次元強度の分布図である。 本発明の実施の形態４における、図２９（ｂ）のデプスマップをもとに図２９（ａ）の被写体画像をリフォーカスした画像を示す図である。 本発明の実施の形態５における被写***置とＰＳＦの関係を示す図である。 本発明による撮像装置Ａの実施の形態６を示す模式図である。 （ａ）は、図３６に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態６における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）は、被写体である白黒のチャートを示す図。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図３６の撮像装置Ａで撮像した画像の色毎の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１（緑）およびＲ（赤）の輝度の２回微分を示す図である。（ｅ）は、（ｃ）のＧ２（緑）、Ｂ（青）の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。 本発明の実施の形態６における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態６における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態７における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態７におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、本発明の実施の形態７におけるアレイ状光学素子Ｋと撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明による撮像装置Ａの実施の形態８を示す模式図である。 （ａ）は、本発明の実施の形態において、クロストークの発生する場合の撮像面の近傍を拡大して示す図であり、（ｂ）は、クロストークを軽減した場合の撮像面の近傍を拡大して示す図である。 （ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。（ａ２）は、（ａ１）に示すマイクロレンズアレイの等高線を示す図である。（ａ３）は、（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。（ｂ２）は、（ｂ１）に示すマイクロレンズアレイの等高線を示す図である。（ｂ３）は、（ｂ１）、（ｂ２）に示すマイクロレンズを本発明の実施の形態におけるアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。 本発明の実施の形態において、撮像素子上のフィルタ配列のその他の実施形態を示す図である。

本願発明の検討によれば、従来の複数の撮像光学系を用いた構成では、撮像装置が大型化、高コスト化する。また、複数の撮像光学系の特性を揃え、かつ２つの撮像光学系の光軸を高精度で平行にする必要性があるため製造が難しく、さらにはカメラパラメータを求めるためのキャリブレーション工程が必要であるため、多くの工数を要すると考えられる。

特許文献１および非特許文献１に開示されるようなＤＦＤ法では、１つの撮像光学系によって被写体までの距離を算出することができる。しかしながら、特許文献１および非特許文献１の方法では、焦点が合う被写体までの距離（合焦距離）を変化させて、時分割で複数の画像を取得する必要がある。このような手法を動画に適用すると、撮影の時間差により画像間にズレが生じてしまうため、測距精度を低下させてしまうという課題が生じる。

また、特許文献１には、プリズムによって光路を分割し、バックフォーカスを異ならせた２つの撮像面によって撮像することによって、１回の撮像で被写体までの距離を測定することができる撮像装置が開示されている。しかしながら、このような方法では、撮像面が２つ必要になるため、撮像装置が大型化し、かつ大幅なコストアップとなってしまうという課題が生じる。

本願発明者はこのような課題に鑑み、新規な撮像装置を想到した。本発明の一態様の概要は以下の通りである。

本発明の一態様である撮像装置は、第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える。

前記レンズ光学系は、前記第１、第２の波長帯域とは異なる第３の波長帯域の光を透過する第４の領域をさらに有し、前記撮像素子は、複数の第４の画素をさらに有し、前記マイクロレンズアレイは、前記第４の領域を通過した光を前記複数の第４の画素に入射させてもよい。

前記第１、第２、第３の領域は、前記レンズ光学系の光軸を中心として分割された領域であってもよい。

前記レンズ光学系において、前記第３の領域および前記第４の領域を透過した光線による合焦特性は、前記第１の領域を透過した光線による合焦特性および前記第２の領域を透過した光線による合焦特性のいずれかと等しくてもよい。

１回の撮像において、前記第１、第２、第３の領域に光線が入射してもよい。

前記第１、第２の領域は緑色帯域の光線を通過させ、前記第３の領域は青色帯域の光線を通過させ、前記第４の領域は赤色帯域の光線を通過させてもよい。

被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化してもよい。

前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有していてもよい。

前記複数の第１および第２の画素は、１回の撮像によって、それぞれ、第１および第２の輝度情報を生成し、前記第１および第２の輝度情報を用いて、第１の画像および第２の画像を生成する第１の信号処理部をさらに備えていてもよい。

前記第１の信号処理部は、画像における所定領域毎に前記複数の第１から第４の画素の輝度情報のうち少なくとも１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させてもよい。

前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成してもよい。

前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成してもよい。

前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させてもよい。

被写体までの距離を算出する第２の信号処理部をさらに備え、前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出してもよい。

被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出してもよい。

前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出してもよい。

前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出してもよい。

被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出してもよい。

前記第２の領域、前記第３の領域、および前記第４の領域は、互いに異なる光学パワーを有し、前記第２の領域、前記第３の領域、および前記第４の領域が透過する光の合焦位置が、前記第２の領域、前記第３の領域、および前記第４の領域が互いに等しい光学パワーを有する場合と比較して近くてもよい。

前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備えていてもよい。

前記レンズ光学系は絞りをさらに備え、前記第１の領域および前記第２の領域は、前記絞り近傍に配置されていてもよい。

前記第２の信号処理部は、画像の所定領域ごとに被写体距離を算出し、前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備えていてもよい。

前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成してもよい。

前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなてもよい。

前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置であってもよい。

前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成してもよい。

前記点広がり関数はガウス関数であってもよい。

前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成してもよい。

前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成してもよい。

前記少なくとも１つのベストフォーカス位置は、断続的に複数存在してもよい。

前記レンズ光学系の近傍であって、前記第１の領域、前記第２の領域、前記第３の領域および前記第４の領域にそれぞれ配置された第１から第４のフィルタをさらに備え、前記第１フィルタは第１の波長帯域の光を透過し、前記第２フィルタは第１の波長帯域の光を透過し、前記第３フィルタは第２の波長帯域の光を透過し、前記第４フィルタは第３の波長帯域の光を透過してもよい。

前記レンズ光学系は絞りをさらに備え、前記第１から第４のフィルタは、前記絞り近傍に配置されていてもよい。

本発明の一態様である撮像システムは、上記撮像装置と、カラー画像を生成する第１の信号処理装置をさらに備え、前記第１の信号装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する。

被写体までの距離を算出する第２の信号処理装置をさらに備え、前記第２の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出してもよい。

本発明の他の一態様である撮像システムは、撮像装置と、信号処理装置とを備える撮像システムであって、前記撮像装置は、第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、前記信号処理装置は、前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて、撮像画像の所定領域ごとに被写体距離を算出する第１の信号処理部と、前記第１の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第２の信号処理部を備える。

上記態様による撮像装置および撮像システムによれば、単一の光学系を用い、１回の撮像によって、カラー画像の出力及び被写体距離の測定のための輝度情報を取得することができる。このため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、動画の撮影において、時間の経過とともに被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。また、任意の被写***置にフォーカスを合わせ、例えば、主要な人物・物をシャープにし、背景のみぼかしたメリハリのある画像を取得することできる。以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第１の信号処理部Ｃ１と、第２の信号処理部Ｃ２と、記憶部Ｍｅを備える。

レンズ光学系Ｌは、被写体（図示せず）からの光束Ｂ１からＢ４が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。光学素子Ｌ１は、光学領域Ｄ１と、光学領域Ｄ１を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有する光学領域Ｄ２とを有する。光学素子Ｌ１は、絞りＳの近傍に配置されていてもよい。

図２は、光学素子Ｌ１を被写体側から見た正面図である。光学領域Ｄ２は、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを有する。光学素子Ｌ１における光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃは、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下左右に４分割されている。光学領域Ｄ１は、サブ光学領域ｄ２Ｂと同一の分光透過率特性を有する。光学領域Ｄ１、サブ光学領域ｄ２Ａ、ｄ２Ｃは、それぞれ異なる分光透過率特性を有する。

例えば、光学領域Ｄ１およびサブ光学領域ｄ２Ｂは第１の分光透過率特性を有し、緑色帯域の光線を主に通過させ、他の帯域の光線を吸収する。サブ光学領域ｄ２Ａは第２の分光透過率特性を有し、赤色帯域の光線を主に通過させ、他の帯域の光線を吸収する。また、サブ光学領域ｄ１Ｃは第３の分光透過率特性を有し、青色帯域の光線を主に通過させ、他の帯域の光線を吸収する。

光学素子Ｌ１の一部に、例えば異なる波長帯域の光を透過させるフィルタ（例えば有機材料や誘電体多層膜から形成されているフィルタ）が設けられていることにより、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃのそれぞれの領域が透過する光の波長帯域を異ならせることができる。また、光学素子Ｌ１の材料自体が、分光透過率特性を有していてもよい。例えば光学素子Ｌ１が樹脂からなる場合、樹脂に着色材料を添加しておくことにより、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃのそれぞれの領域が透過する光の波長帯域を異ならせることができる。また、光学素子Ｌ１がガラスからなる場合、ガラスに金属などの微粒子を添加しておくことにより、それぞれの領域が透過する光の波長帯域を異ならせることができる。また、吸収材料を用いる代わりに、光学素子Ｌ１の表面に多層干渉膜を形成することにより、それぞれの領域が透過する光の波長帯域を異ならせることができる。この場合、光学素子Ｌ１は反射型のカラーフィルタであり、蒸着法等により形成することができる。

なお、図２に示す例では、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを透過した光線による合焦特性は同一である。これにより、所定の被写体距離における鮮鋭度が同じになるため、自然なカラー画像を得ることができる。ただし、必ずしも、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを透過した光線による合焦特性は同一でなくてもよい。

図２において、破線ｓは、絞りＳの位置を示している。図１に示す光束Ｂ１、Ｂ２、Ｂ３、Ｂ４は、それぞれ、光学素子Ｌ１上の光学領域Ｄ１、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを通過する光束である。光束Ｂ１、Ｂ２、Ｂ３、Ｂ４は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図４等に示す）に到達する。

図３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ１が格子状に配置されている。それぞれの光学要素Ｍ１の断面（縦方向および横方向それぞれの断面）は円弧状であり、それぞれの光学要素Ｍ１は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ１はマイクロレンズであり、アレイ状光学素子Ｋはマイクロレンズアレイである。

図１に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。実際には、光学素子Ｌ１における光学特性がレンズ光学系Ｌ全体としての合焦特性に影響を与えるが、アレイ状光学素子Ｋが配置される位置は、例えば、レンズＬ２の焦点を基準にして決定すればよい。

なお、本実施形態において、「合焦特性が異なる」とは、所定の波長の光で比較した場合に、その光学系においてその光の集光に寄与する特性の少なくとも１つが異なることをいう。具体的には、所定の波長の光で比較した場合に、光学領域Ｄ１、Ｄ２を通過した光によるレンズ光学系Ｌの焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。光学領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率を調整することにより、レンズ光学系Ｌの合焦特性を異なるものとすることができる。

本実施形態では、１回の撮像によって光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを通過した光は、レンズＬ２を通過した後、アレイ状光学素子Ｋに入射する。アレイ状光学素子Ｋは、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを通過した光を、それぞれ、撮像素子Ｎにおける画素に入射させる。

図４（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。

図４（ｂ）に示すように、撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。

説明のため、２行２列に配置される画素Ｐ１、Ｐ２、Ｐ３およびＰ４の１組を、「画素群Ｐｇ」と称する。１つの画素群Ｐｇ内において、画素Ｐ１の位置を（１、１）とすると、画素Ｐ２が（２、１）、画素Ｐ３が（２、２）、画素Ｐ４が（１、２）の位置に配置されている。共に緑色帯域の光が入射する画素Ｐ１および画素Ｐ３は、撮像面Ｎｉの面内において、斜めの位置に配置されている。このように、本実施形態においては、画素Ｐ１、Ｐ２、Ｐ３およびＰ４に入射する光の波長帯域はベイヤー配列によって配列されていてもよい。画素Ｐ１と画素Ｐ３との位置は逆であってもよい。また、ベイヤー配列以外の配列によって配列されていてもよい。なお、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２ＣによりＲ、Ｇ、Ｂの各波長帯域の光を得られるため、画素Ｐ１、Ｐ２、Ｐ３およびＰ４にはカラーフィルタを形成する必要は無く、モノクロのセンサを用いればよい。

アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉにおける２行２列の画素Ｐ１〜Ｐ４（画素群Ｐｇ）の４つの画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図１、図２に示す）を通過した光束Ｂ１（図１において実線で示される光束Ｂ１）（の大部分）が、撮像面Ｎｉ上の画素Ｐ３に到達し、サブ光学領域ｄ２Ａを通過した光束Ｂ２（の大部分）が、撮像面Ｎｉ上の画素Ｐ４に到達し、サブ光学領域ｄ２Ｂを通過した光束Ｂ３（の大部分）が、撮像面Ｎｉ上の画素Ｐ１に到達し、サブ光学領域ｄ２Ｃを通過した光束Ｂ４（の大部分）が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃに用いられるフィルタは、例えば、有機材料から形成されているフィルタである。なお、第１の分光透過率特性、第２の分光透過率特性および第３の分光透過率特性のそれぞれを有するフィルタは、互いに異なる波長帯域の光線を主に透過する。ただし、それぞれのフィルタが透過する光の波長帯域の一部が重複していてもよい。また、ＲＧＢの原色系のフィルタに限らず、補色系（シアン、マゼンタ、イエロー）のフィルタを用いてもよい。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。光学系Ｌの合焦特性を互いに異ならせる光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。

図１においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。

また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃに対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

第１の信号処理部Ｃ１（図１に示す）は、１回の撮像によって画素Ｐ１、Ｐ２、Ｐ３およびＰ４において得られた複数の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。

図１の撮像装置Ａの光学系において、光学領域Ｄ１が非球面を有し、光学領域Ｄ２（サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃ）が平面を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ２は平面を有するため、光学領域Ｄ２とレンズＬ２を通過した光線には、図５の実線で示すグラフのように球面収差は生じない（または少ない）。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

また、光学領域Ｄ１における非球面形状により、光学領域Ｄ１とレンズＬ２を通過した光線による球面収差は、図５の破線で示すグラフのようになる。光学領域Ｄ１における非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ１を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

図６は、被写体距離毎の点像強度分布の概念図である。図６の向かって左端の列は、画素Ｐ３の点像強度分布のみを抽出し、画素Ｐ１、Ｐ２、Ｐ４の点像強度分布を０レベルにてマスキングしたものである。すなわち、光学領域Ｄ１を通過した光束によって形成された点像強度分布である。また、右端の列は画素Ｐ１の点像強度分布のみを抽出し、画素Ｐ２、Ｐ３、Ｐ４の点像強度分布を０レベルにてマスキングしたものである。すなわち、サブ光学領域ｄ２Ｂを通過した光束によって形成された点像強度分布である。画素Ｐ３の点像強度分布は被写体距離が変化しても略一定であり、画素Ｐ１の点像強度分布は被写体距離が遠いほど、点像の大きさが小さくなっていることがわかる。

点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図７のような関係になる。図７のグラフにおいて、Ｇ１は画素Ｐ３（緑色の成分）で生成された画像（光学領域Ｄ１を通過した光によって生成された画像）の所定領域の鮮鋭度を示しており、Ｇ２、Ｒ、Ｂはそれぞれ画素Ｐ１（緑色の成分）、画素Ｐ４（赤色の成分）、Ｐ２（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。

鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

所定の大きさのブロック内における鮮鋭度をＥとし、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の成分毎に隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数１）を用いる。

前述の通り、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４は、ベイヤー配列を成しているため、それぞれの成分の鮮鋭度を求めるには、画像のｘ方向、ｙ方向共に１画素おきの画素情報を抽出して計算する。

（数１）においてΔｘ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋２，ｊ）の画素の輝度値との差分値であり、Δｙ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の画素の輝度値との差分値である。座標ｊおよび座標ｊ＋２を用いて計算されているのは、画素Ｐ３、Ｐ１のそれぞれにおいて得られる画像では、横方向（ｘ方向）、縦方向（ｙ方向）の輝度情報が１画素おきに形成されるためである。

（数１）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。

画像の鮮鋭度は前述の（数１）を用いて求めることもできるが、所定の大きさのブロック内における鮮鋭度をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

図８（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示している。図８（ａ）、（ｂ）、（ｃ）の順に鮮鋭度が小さくなっている。図８（ｄ）から（ｆ）は、図８（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。図８（ｄ）から（ｆ）では、わかりやすくするために、各周波数スペクトルの強度を対数変換して表示しており、周波数スペクトルが強いほど明るく示されている。各周波数スペクトルにおいて中央の最も輝度の高い箇所が直流成分であり、周辺部に近づくほど周波数が高くなっている。

図８（ｄ）から（ｆ）では、画像の鮮鋭度が小さくなるほど高い周波数スペクトルが欠落していくことがわかる。従って、これらの周波数スペクトルから鮮鋭度を求めるには、例えば、周波数スペクトル全体あるいは一部を抽出することによって求めることができる。

カラー画像を生成する場合、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図７のようにＧ１の鮮鋭度は、Ｇ２、Ｂ、Ｒの鮮鋭度に比べて小さいので、Ｇ１の鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。

図９は、Ｇ２、Ｂ、Ｒの鮮鋭度に基づいてＧ１の鮮鋭度を鮮鋭化する方法について説明する図である。図９（ａ）は、被写体である白黒チャートであり、図９（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図９（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１、Ｐ２、Ｐ４に到達する光線が最も合焦する被写***置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図９（ｃ）のようになる。図９（ｃ）のグラフにおいて、Ｇ１は画素Ｐ３（緑色の成分）で生成された画像の輝度断面であり、Ｇ２、Ｂ、Ｒはそれぞれ画素Ｐ１（緑色の成分）、画素Ｐ２（青色の成分）、画素Ｐ４（赤色の成分）で生成された画像の輝度断面である。このように、Ｇ２、Ｂ、Ｒの輝度断面の方が、Ｇ１の輝度断面より図９（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。

図９（ａ）のような白黒チャートを撮像した場合は、Ｇ２、Ｂ、Ｒのそれぞれの輝度断面はほぼ同じ断面となるが、実際にはあらゆる色成分の被写体画像を撮像するため、図９（ｃ）のＧ２、Ｂ、Ｒの輝度断面は、一致しない場合が殆どである。従って、Ｇ２、Ｂ、Ｒの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分を選択して、Ｇ１の輝度断面を鮮鋭化させてもよい。鮮鋭度の検出は、第１の信号処理部Ｃ１内の鮮鋭度検出部において行われる。鮮鋭度の高い輝度断面を選択し、その輝度断面を２回微分すると、図９（ｄ）の分布が得られ、鮮鋭度の高い色成分の画像のエッジを検出することができる。次に、図９（ｄ）の分布を図９（ｃ）のＧ１の輝度分布から減じることにより、図９（ｅ）の分布が得られ、Ｇ１の輝度分布を鮮鋭化することができる。ここで、図９（ｄ）の分布を減じる際、図９（ｄ）の分布に所定の係数を乗じた後に、図９（ｃ）のＧ１の輝度分布から減じることにより、Ｇ１の鮮鋭化の度合いを制御することができる。

本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。

以上のような画像処理により、図７の実線で示したＧ１の鮮鋭度は、破線で示したＧ１’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

図１０は、図１において光学領域Ｄ１における光学面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図７の場合と同様に、カラー画像を鮮鋭化することができる。

図１０においては、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。

以上のような画像処理により、図１０に実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図１１は、Ｇ１の鮮鋭度を鮮鋭化したＧ１’に基づいてＧ２、Ｂ、Ｒの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図７の場合と同じであり、光学領域Ｄ１を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ３（Ｇ１の成分）をそれぞれ抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ３（Ｇ１の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

以下に撮影画像を、予め記憶された点像強度分布関数に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数２）で表すことができる。

（数２）の両辺をフーリエ変換すると（数３）のようになる。

ここで、（数４）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数５）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。

しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数６）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。

（数６）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数７）のフィルタにて劣化画像を復元する。

このような復元フィルタにより、図１１の実線で示すＧ１の鮮鋭度は、点線で示すＧ１’のように鮮鋭化させることができる。このように、本実施形態によると、点像強度分布関数を用いて、光学領域Ｄ１に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行うことができる。一般的に点像強度分布関数は光学系の撮像位置に応じて変化するため、各撮像位置に対応した点像強度分布関数を用いてもよい。但し、点像強度分布関数が撮像位置にほとんど依存しない光学系の場合には、単一の点像強度分布関数で画像の全領域の復元処理を行うことができる。点像強度分布関数は予めメモリ等に保存しておく必要があるが、単一の点像強度分布を用いることにより、メモリの使用量を低減させることができる。さらに図９で示した方法と同様にして、Ｇ１’の輝度断面（復元された鮮鋭化画像）から、所定領域ごとにそれぞれの鮮鋭度を検出し（鮮鋭度検出部）、鮮鋭度の高い色成分の輝度断面を２回微分し、Ｇ２、Ｂ、Ｒから減じることにより、Ｇ２、Ｂ、Ｒの鮮鋭度を、図１１の破線で示すＧ２’、Ｂ’、Ｒ’のように向上させることができる。このように、鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させることができる。

以上のような画像処理により、図１１の実線で示したＧ１の鮮鋭度、およびＧ２、Ｂ、Ｒの鮮鋭度は、点線で示したＧ１’および破線で示したＧ２’、Ｂ’、Ｒ’のように向上し、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図７で示した鮮鋭化処理と比べて、被写界深度をさらに拡張することができる。

次に、具体的に被写体距離を求める方法について説明する。

図１２は、実施の形態１における撮像装置Ａを示す断面図である。図１２において図１と同じ構成要素には、図１と同じ符号を付している。図１２においてはアレイ状光学素子Ｋ（図１等に示す）の図示は省略しているが、図１２の領域Ｈには、実際には、アレイ状光学素子Ｋが含まれている。領域Ｈは、図４（ａ）に示す構成を有する。

表１および表２は、図１２に示す撮像装置Ａの光学系の設計データである。表１および表２において、Ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズもしくはフィルタのｄ線の屈折率、νｄは各光学素子のｄ線のアッベ数を示している。また、非球面形状は、面頂点の接平面から光軸方向の距離をｘ、光軸からの高さをｈとして、ｒを近軸曲率半径、ｋを円錐定数、Ａm（ｍ＝４，６，８，１０）を第ｍ次の非球面係数としたとき（数８）で表される。また、表３は光学領域Ｄ１、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの分光透過率特性を示す。光学領域Ｄ１とサブ光学領域ｄ２Ｂは同一の分光透過率特性である。

図１で示した第１の信号処理部Ｃ１は、画素Ｐ３（Ｇ１の成分）からの輝度情報を抽出して得られる第１の画像Ｉ１（図１に示す）と、画素Ｐ１（Ｇ２の成分）からの輝度情報を抽出して得られる第２の画像Ｉ２とを出力する。２つの光学領域Ｄ１、Ｄ２の光学特性は互いに異なるため、第１、第２の画像Ｉ１、Ｉ２の画像の鮮鋭度（輝度を用いて算出される値）は、被写体距離によって異なる。記憶部Ｍｅ（図１に示す）には、光学領域Ｄ１、Ｄ２のそれぞれを通過した光の鮮鋭度と被写体距離との相関関係が記憶されている。第２の信号処理部Ｃ２（図１に示す）において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。

ここで図７、図１１におけるＺの範囲は、Ｇ２が変化し、かつＧ１がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚの範囲では、被写体距離と、鮮鋭度Ｇ１とＧ２の比に相関があるため、予め被写体距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係を記憶部Ｍｅに記憶しておく。

撮像装置の使用時には、１回の撮像の結果得られるデータのうち、画素Ｐ３（Ｇ１の成分）のみで生成された第１の画像Ｉ１と画素Ｐ１（Ｇ２の成分）のみで生成された第２の画像Ｉ２との鮮鋭度の比を各演算ブロック毎に求める。そして、記憶部Ｍｅに記憶されている相関関係を利用して、被写体距離を求めることができる。具体的には、各演算ブロック毎に、上記相関関係における鮮鋭度の比と、第１の画像Ｉ１と第２の画像Ｉ２との鮮鋭度の比の値とを比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。

画素Ｐ３のみで生成された第１の画像Ｉ１の鮮鋭度と画素Ｐ１のみで生成された第２の画像Ｉ２の鮮鋭度との比から被写体距離を一意的に求めるためには、鮮鋭度の比が、所定の被写体距離範囲内で全て異なっている必要がある。

図７、図１０および図１１においては、Ｚの範囲内で、鮮鋭度の比が全て異なっているため、被写体距離を一意的に求めることができる。また、鮮鋭度の値が低すぎると比を求めることができないため、鮮鋭度の値は一定値以上であってもよい。

なお、被写体距離と鮮鋭度の関係は、光学領域Ｄ１、Ｄ２における面の曲率半径や非球面係数や屈折率によって決まる。つまり、光学領域Ｄ１、Ｄ２は、第１の画像Ｉ１の鮮鋭度と第２の画像Ｉ２の鮮鋭度との比が、所定の距離範囲内で全て異なるような光学特性を有している必要がある。

なお、本実施形態では、輝度を用いて算出される値（輝度情報）であれば、鮮鋭度以外の値、例えばコントラストを用いて被写体距離を求めてもよい。コントラストは、例えば、所定の演算ブロック内における最大輝度値と最低輝度値の比から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラストは輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラストを求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラストを求めてもよい。被写体距離がある一定の範囲内にある場合、第１の画像Ｉ１のコントラストと、第２の画像Ｉ２のコントラストとは、被写体距離と相関関係を有している。コントラストを用いて被写体距離を求める場合も、鮮鋭度の場合と同様に、予め被写体距離と、コントラストの比との相関関係を記憶部Ｍｅに記憶させておく。この場合、第１の信号処理部Ｃ１は、画素Ｐ３によって得られた第１の画像Ｉ１のコントラストと、画素Ｐ１によって得られた第２の画像Ｉ２のコントラストとを検出するコントラスト検出部を備えている。各演算ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２とのコントラストの比を求めることにより、相関関係を利用して被写体距離を求めることができる（第２の信号処理部Ｃ２）。

また、本実施形態では、鮮鋭度やコントラスト以外の値、例えば点像強度分布を用いて被写体距離を求めてもよい。以下に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求める方法について説明する。

前述の（数７）を用いて、画素Ｐ３（Ｇ１の成分）のみで生成された第１の画像Ｉ１を復元すると、元画像ｆ（ｘ，ｙ）に極めて近い復元画像ｉ１’（ｘ，ｙ）が求まる。ここで、画素Ｐ１（Ｇ２の成分）のみで生成された第２の画像をｉ２（ｘ，ｙ）とし、光学領域Ｄ２を通過する光線による点像強度分布をｈ２（ｘ，ｙ）とすると、ｉ２（ｘ，ｙ）は（数９）で表すことができる。

（数９）の両辺をフーリエ変換すると（数１０）のようになる。

（数１０）を変形すると、（数１１）のように、点像強度分布ｈ２（ｘ，ｙ）の周波数領域の値Ｈ２（ｕ，ｖ）が求められる。

これを逆フーリエ変換することによって、光学領域Ｄ２を通過する光線による点像強度分布ｈ２（ｘ，ｙ）を求めることができる。

光学領域Ｄ２を通過する光線による点像強度分布ｈ２（ｘ，ｙ）は、被写体距離によって変化するため、被写体距離がある一定の範囲内にある場合、点像強度分布ｈ２（ｘ，ｙ）と被写体距離とは相関を有する。この相関関係を利用して被写体距離を求めることができる。

点像強度分布を代表的な数値で表す場合、例えば点像強度分布の直径を用いることができる。鮮鋭度やコントラストの場合と同様に、予め被写体距離と、点像の直径との相関関係を記憶部Ｍｅに記憶させておく。各ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求め、点像強度分布から点像の直径を求めることにより、相関関係を利用して被写体距離を求めることができる。点像の直径は、例えば、点像強度分布の半値幅から求めることができる。

本実施形態は、図１０のように各領域の曲率半径を互いに異ならせた場合において、第１の画像Ｉ１および第２の画像Ｉ２を加算した画像を生成する構成を備えていてもよい。第１の画像Ｉ１および第２の画像Ｉ２の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１の画像Ｉ１および第２の画像Ｉ２よりも大きい。この場合、加算によって生成された画像の鮮鋭度と、第１の画像Ｉ１または第２の画像Ｉ２のいずれかの画像の鮮鋭度との比は、被写体距離と相関関係を有する。この相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。

なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４に到達する光束間のクロストークを低減することができる。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、前述の通り、鮮鋭度の高い色成分を選択して他の色成分を鮮鋭化させることができるため、理想レンズでなくても、鮮鋭度のカラー画像を生成することができる。また、被写体距離を求める場合は、単一の色成分（本実施の形態では緑色の成分）に基づいて距離を求めるので、軸上色収差を有していてもよい。

また、理想レンズでないレンズを用いる場合、軸上色収差を光学素子Ｌ１で補正する構成であってもよい。本実施の形態では、光学素子Ｌ１の光学領域Ｄ２（サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃ）は全て平面を有するとしているが、それぞれ異なる光学面を有することにより、軸上色収差を補正することができる。前述の通り、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光線はそれぞれ、画素Ｐ４、画素Ｐ１、および画素Ｐ２に到達する。画素Ｐ４、画素Ｐ１、および画素Ｐ２には、それぞれ赤色、緑色、および青色の波長成分の光が主に到達するため、レンズＬ２に軸上色収差を有するレンズを適用する場合、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃの各光学面は、それぞれの波長帯域の光の合焦位置が等しくなるように、それぞれの光学面上の光学パワーを異ならせてもよい。このような構成により、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃが等しい光学パワーを有する場合と比較して、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃを透過した光の合焦位置を互いに近づけることができるため、レンズＬ２で生じる軸上色収差を光学素子Ｌ１によって補正することができる。軸上色収差を光学素子Ｌ１によって補正することにより、レンズＬ２を構成するレンズ枚数を削減することができ、光学系を小型化することができる。

また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。

また、本実施の形態１では、光学領域Ｄ１とサブ光学領域ｄ２Ｂとの面積を等しくしている。このような構成により、画素Ｐ３と画素Ｐ１の露光時間を等しくすることができる。光学領域Ｄ１とサブ光学領域ｄ２Ｂとの面積が異なる場合には、画素Ｐ３と画素Ｐ１との露光時間を異ならせてもよい。例えば、光学領域Ｄ１の面積のほうがサブ光学領域ｄ２Ｂの面積よりも広い場合には、画素Ｐ３の露光時間を画素Ｐ１の露光時間よりも短くしもてよい。

以上のように、本実施形態では、単一の撮像系を用いた１回の撮像によって、カラー画像と被写体距離の両方を取得することができる。すなわち、本実施形態にかかる撮像装置を用いて１回撮像することにより、カラー画像出力及び被写体距離測定のための輝度情報を取得することができる。そして、当該輝度情報を用いて、カラー画像及び被写体距離の両方を取得することができる。被写体距離については、各演算ブロック毎に算出することができるため、カラー画像の任意の画像位置の被写体距離を取得することができる。従って、画像全域の被写体距離マップを取得することもできる。また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、１回の撮像において、光学領域Ｄ１、Ｄ２（サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃ）に光線が入射するため、撮影時の時間差による画像間のズレは生じない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

本実施形態においては、撮像装置は図１３に示すような構成を有していてもよい。図１３は、実施の形態１の他の撮像装置を示す図である。図１３に示す撮像装置においては、第１の信号処理部Ｃ１によって、画素Ｐ３によって得られた第１の画像Ｉ１と、画素Ｐ１によって得られた第２の画像Ｉ２と、画素Ｐ２、Ｐ４によってそれぞれ得られた第３、第４の画像Ｉ３、Ｉ４とが出力される。第２の信号処理部Ｃ２により、第１の画像Ｉ１と第２の画像Ｉ２とにおいて隣接する画素間の輝度値の差（鮮鋭度）によって表される輝度情報を用いて測距演算が実行される。第３の信号処理部Ｃ３により、各波長帯域の画像Ｉ１〜Ｉ４のうち波長帯域の異なる少なくとも２つ以上の画像を合成してカラー画像が生成される。

図１３に示す構成においては、例えば画像Ｉ２、Ｉ３、Ｉ４を合成することによりカラー画像を形成する。なお、画像Ｉ２の代わりに画像Ｉ１を用いることもできるが、そのままでは、図７に示すように被写体距離に対する鮮鋭度Ｇ１はＧ２、Ｇ３、Ｇ４と異なるため不自然な画像となる。したがって、カラー画像の形成に画像Ｉ１を用いる場合には、図７に示すように画像処理により鮮明な画像に変換しておくとよい。例えば、ラプラシアンフィルタ処理による鮮鋭化処理を用いるとよい。

また、表１には、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの３つの領域が平面、光学領域Ｄ１が略一定の点像強度分布を生成する非球面を有するとしたが、図１４に示すように、光学領域Ｄ１が平面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの３つの領域が略一定の点像強度分布を生成する光学面を有するとしてもよい。この場合、図２と同じように、光学領域Ｄ１とサブ光学領域ｄ２Ｂとを通過した画像Ｉ１、Ｉ２を用いて被写体までの距離を測定することができる。また、それぞれの画素によって得られた画像を合成してカラー画像を生成することができる。このとき、画像処理により、鮮鋭度の低い画像を鮮鋭化させておくと鮮明なカラー画像が得られる。

また、図１５に示すように、光学領域Ｄ１とサブ光学領域ｄ２Ｃとが平面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂの２つの領域が、略一定の点像強度分布を生成する光学面を有するとしてもよい。この場合、画像Ｉ４、画像Ｉ２に鮮鋭化処理を施した後カラー画像を形成するとよい。

（実施の形態２）
本実施の形態２は、マイクロレンズアレイを撮像面上に形成したという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１６（ａ）および（ｂ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、マイクロレンズアレイＭｄが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１等と同様に、画素Ｐが行列状に配置されている。これら複数の画素Ｐに対して、１つのマイクロレンズの光学要素が対応している。本実施の形態においても、実施の形態１と同様に、光学素子Ｌ１上の異なる領域を通過した光束を、それぞれ異なる画素に導くことができる。また、図１６（ｂ）は、本実施形態の変形例を示す図である。図１６（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズＭｓが形成され、マイクロレンズＭｓの表面上にアレイ状光学素子Ｋが積層されている。図１６（ｂ）に示す構成では、図１６（ａ）の構成よりも集光効率を高めることができる。

（実施の形態３）
本実施の形態３は、光学素子Ｌ１の各光学領域の境界部に遮光部材を配置したという点で、実施の形態１および２と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１７（ａ）は、実施の形態３の光学領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。図１７（ａ）は、実施の形態３の光学領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。また、図１７（ｂ）は、実施の形態３の光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの境界部に遮光部材Ｑを配置した正面図である。

各領域の境界部では、形状が不連続に変化するため、境界部では段差が生じ、不要な光が発生する場合がある。したがって、各境界部に遮光部材Ｑを配置することにより、不要な光の発生を抑制することができる。遮光部材Ｑとしては、例えば、カーボンブラックを練りこんだポリエステルフィルム等を用いればよい。遮光部材Ｑは絞りと一体的に形成されていてもよい。

図１７（ｂ）には、線状の遮光部材Ｑを用いることにより、遮光部材Ｑによって区切られる部分の形状が扇形になる形態を示している。本実施形態においては、光を透過させる部分に円形や楕円形、または矩形などの形の開口を有する遮光部材を用いることにより、遮光部材Ｑによって区切られる各部分を、円形や楕円、あるいは矩形にしてもよい。

（実施の形態４）
図１８は、実施の形態４の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、記憶部Ｍｅを備える。

レンズ光学系Ｌは、互いに合焦特性を異ならせる光学特性を有する２つの光学領域Ｄ１、Ｄ２を有し、被写体（図示せず）からの光束Ｂ１、Ｂ２が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。光学素子Ｌ１は、絞りＳの近傍に配置されていてもよい。

図１９は、光学素子Ｌ１を被写体側から見た正面図である。光学素子Ｌ１における光学領域Ｄ１とＤ２は、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下に２分割されている。図１９において、破線ｓは、絞りＳの位置を示している。図１８において、光束Ｂ１は、光学素子Ｌ１上の光学領域Ｄ１を通過する光束であり、光束Ｂ２は、光学素子Ｌ１上の光学領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図２１等に示す）に到達する。

図２０は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に長細い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向の断面）は、撮像素子Ｎ側に突出した円弧状の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。

図１８に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。実際には、光学素子Ｌ１における光学特性がレンズ光学系Ｌ全体としての合焦特性に影響を与えるが、アレイ状光学素子Ｋが配置される位置は、例えば、レンズＬ２の焦点を基準にして決定すればよい。なお、本実施形態において、「合焦特性が異なる」とは、その光学系において光の集光に寄与する特性の少なくとも１つが異なることをいい、具体的には、焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。光学領域Ｄ１、Ｄ２における曲率半径や非球面係数や屈折率を調整することにより、レンズ光学系Ｌの合焦特性を異なるものとすることができる。

本実施形態では、２つの光学領域Ｄ１、Ｄ２を通過した光は、レンズＬ２を通過した後、アレイ状光学素子Ｋに入射する。アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を撮像素子Ｎにおける画素Ｐ１（図２１等に示す）に、光学領域Ｄ２を通過した光を撮像素子Ｎにおける画素Ｐ２に入射させる。

図２１（ａ）は、図１８に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図２１（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１およびＰ２に区別できる。

画素Ｐ１は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ１は１つおきに配置されている。また、画素Ｐ２は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ２は１つおきに配置されている。また、画素Ｐ１の行と画素Ｐ２の行は、縦方向（列方向）に交互に配置されている。

アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１および１行の画素Ｐ２からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１およびＰ２の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図１８、図１９に示す）を通過した光束Ｂ１（図１８において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束（図１８において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。互いに合焦特性を異ならせる光学特性を有する光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。

図１８においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。

また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

図２２は、本実施形態の信号処理部の処理内容を説明するフローチャートである。信号処理部はリフォーカス画像を生成する機能を有する。ここで、リフォーカスとは、撮像装置によって得られた画像（撮像画像）を用い、所望の（任意の）被写体距離にある被写体に焦点を合わせた画像を再構成することである。なお、「被写体距離」とは、撮像装置から被写体までの距離のことを言う。リフォーカスを行うことにより、画像において、所望の被写体距離にある被写体の鮮鋭度が、その周囲の領域の鮮鋭度よりも高い状態になる。また、リフォーカス画像とは、所望の被写体距離にある被写体の鮮鋭度が、その周囲の領域の鮮鋭度よりも高い状態にある画像である。

図２２に示すように、まず、ステップＳＴ１において、撮像素子Ｎから得られた画像の輝度情報を求め、必要に応じて画像を鮮鋭化する。ここで、「輝度情報」の具体的な例は、鮮鋭度、コントラストまたは点像強度分布である。なお、図１８に示すように、撮像素子Ｎから得られた画像は、第１の画素Ｐ１による第１の画像Ｉ１と、第２の画素Ｐ２による第２の画像Ｉ２とに分けられる。本ステップＳＴ１においては、これら２つの画像Ｉ１、Ｉ２の輝度情報が求められる。

次に、ステップＳＴ２において、輝度情報を用い、画像の所定領域ごとに被写体までの距離を算出し、デプスマップを作成する。

次に、ステップＳＴ３において、焦点を合わせたい位置（ベストフォーカス位置）に基づいて、被写***置ごとにＰＳＦを生成をする。ベストフォーカス位置は、ユーザーが撮像装置Ａの外部から入力してもよいし、撮像装置Ａ内の第２の信号処理部Ｃ２が決定してもよい。

最後に、ステップＳＴ４において、鮮鋭化画像にデスプマップを基に決定したＰＳＦを畳み込み、任意の位置のリフォーカス画像を生成する。例えば、ステップＳＴ１からＳＴ３は第２の信号処理部Ｃ２で実施し、ステップＳＴ４は第３の信号処理部Ｃ３で実施する。なお、ステップＳＴ１における画像の鮮鋭化ステップと、ステップＳＴ２、ＳＴ３とは適宜入れ替えてもよい。以下、フローチャートの各項目を具体的に説明する。

まず、ステップＳＴ１について説明する。なお、以下では、「輝度情報」が鮮鋭度である場合を例として説明を行う。

図１８の撮像装置Ａの光学系においては、光学領域Ｄ１が平面を有し、光学領域Ｄ２が非球面形状を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１の表面は平面であるため、図２３の実線で示すように、光学領域Ｄ１とレンズＬ２を通過した光線によって、球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

また、光学領域Ｄ２の非球面形状により、光学領域Ｄ２とレンズＬ２を通過した光線による球面収差は、図２３の破線で示すグラフのようになる。光学領域Ｄ２の非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ２を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図２４のような関係になる。図２４のグラフにおいて、Ｇ１は画素Ｐ１によって得られた画像（第１の画像Ｉ１）の所定領域の鮮鋭度を示しており、Ｇ２は画素Ｐ２によって得られた画像（第２の画像Ｉ２）の所定領域の鮮鋭度を示している。

鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

所定の大きさのブロック内における鮮鋭度をＥとし、隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数１２）を用いる。

（数１２）においてΔｘi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋１，ｊ）の座標の画素の輝度値との差分値であり、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の座標の画素の輝度値との差分値であり、ｋは係数である。Δｙi,jのｙ方向の輝度値が座標ｊおよび座標ｊ＋２を用いて計算されているのは、画素Ｐ１、Ｐ２のそれぞれにおいて得られる画像では、縦方向（ｙ方向）の輝度情報が１画素おきに形成されるためである。Δｙi,jには所定の係数（例えばｋ＝０．５）を乗じることが望ましい。

第１、第２の画像Ｉ１、Ｉ２のそれぞれでは、ｙ方向の画像の輝度情報は、１画素おきに欠落している。欠落している画素の輝度情報を、ｙ方向に隣接する画素の輝度情報によって補間して生成してもよい。例えば、画像において、座標（ｉ，ｊ＋１）の輝度情報が欠落している場合、座標（ｉ，ｊ）と座標（ｉ，ｊ＋２）の輝度情報を平均して座標（ｉ，ｊ＋１）を補間すればよい。座標（ｉ，ｊ＋１）の鮮鋭度Ｅを（数１）によって求める場合には、ｋ＝１とすればよく、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋１）の座標の画素の輝度値（座標（ｉ，ｊ＋２）の輝度情報によって補間された値）との差分値となる。（数２）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。

画像の鮮鋭度は前述の（数１２）を用いて求めることもできるが、所定の大きさのブロック内における鮮鋭度をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

図２５（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示している。図２５（ａ）、（ｂ）、（ｃ）の順に鮮鋭度が小さくなっている。図２５（ｄ）から（ｆ）は、図２５（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。図２５（ｄ）から（ｆ）では、わかりやすくするために、各周波数スペクトルの強度を対数変換して表示しており、周波数スペクトルが強いほど明るく示されている。各周波数スペクトルにおいて中央の最も輝度の高い箇所が直流成分であり、周辺部に近づくほど周波数が高くなっている。

図２５（ｄ）から（ｆ）では、画像の鮮鋭度が小さくなるほど高い周波数スペクトルが欠落していくことがわかる。従って、これらの周波数スペクトルから鮮鋭度を求めるには、例えば、周波数スペクトル全体あるいは一部を抽出することによって求めることができる。

図２６は、Ｇ１の鮮鋭度に基づいてＧ２の鮮鋭度を鮮鋭化する方法について説明する図である。図２６（ａ）は、被写体である白黒チャートであり、図２６（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図２６（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１に到達する光線が最も合焦する被写***置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図２６（ｃ）のようになる。図２６（ｃ）のグラフにおいて、Ｇ１は画素Ｐ１で生成された画像の輝度断面であり、Ｇ２は画素Ｐ２で生成された画像の輝度断面である。このように、Ｇ１の輝度断面の方がＧ２の輝度断面より、図２６（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。

鮮鋭度の高いＧ１の輝度断面を２回微分すると、図２６（ｄ）の分布が得られ、Ｇ１の画像のエッジを検出することができる。次に、図２６（ｄ）の分布を図２６（ｃ）のＧ２の輝度分布から減じることにより、図２６（ｅ）の分布が得られ、Ｇ２の輝度分布を鮮鋭化することができる。ここで、図２６（ｄ）の分布を減じる際、図２６（ｄ）の分布に所定の係数を乗じた後に、図２６（ｃ）のＧ２の輝度分布から減じることにより、Ｇ２の鮮鋭化の度合いを制御することができる。

本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。

以上のような画像処理により、図２４の実線で示したＧ２の鮮鋭度は、破線で示したＧ２’のように鮮鋭化させることができ、生成する画像を鮮鋭化させることができる。

図２７は、図１８において光学領域Ｄ２における表面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図２４の場合と同様に、画像を鮮鋭化することができる。

本実施形態では、図２７に示すように、被写体距離によって鮮鋭度の高い成分が異なる。従って、Ｇ１およびＧ２の輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高いほうの成分を選択して、他の成分を鮮鋭化させる。

以上のような画像処理により、図２７の実線で示したＧ１およびＧ２の鮮鋭度は、それぞれ破線で示したＧ１’およびＧ２’のように鮮鋭化させることができ、生成する画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図２８は、Ｇ２の鮮鋭度を鮮鋭化したＧ２’に基づいてＧ１の鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図２４の場合と同じであり、光学領域Ｄ２を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ２（Ｇ２の成分）を抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ２（Ｇ２の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

以下に撮影画像を点像強度分布に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数１３）で表すことができる。

（数１３）の両辺をフーリエ変換すると（数３）のようになる。

ここで、（数１４）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数１５）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。

しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数１６）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。

（数１６）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数１７）のフィルタにて劣化画像を復元する。

このような復元フィルタにより、図２８の実線で示すＧ２の鮮鋭度は、点線で示すＧ２’のように鮮鋭化させることができる。さらに図２６で示した方法と同様にして、Ｇ２’の輝度断面を２回微分し、Ｇ１から減じることにより、Ｇ１の鮮鋭度が鮮鋭化され、図２８の破線で示すＧ１’のように鮮鋭化させることができる。

以上のような画像処理により、図２８の実線で示したＧ２の鮮鋭度、およびＧ１の鮮鋭度は、点線で示したＧ２’および破線で示したＧ１’のように鮮鋭化させることができる。このような鮮鋭化処理によって、図２４で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。

次に、図２２のステップＳＴ２のデプスマップ作成について具体的に説明する。デプスマップは、撮影画像の所定領域（各演算ブロック）ごとに被写体距離を求めることにより作成する。

図１８で示した第２の信号処理部Ｃ２は、画素Ｐ１（Ｇ１の成分）を抽出して得られる第１の画像Ｉ１（図１８に示す）と、画素Ｐ２（Ｇ２の成分）を抽出して得られる第２の画像Ｉ２とが入力される。２つの光学領域Ｄ１、Ｄ２の光学特性は互いに異なるため、第１、第２の画像Ｉ１、Ｉ２の画像の鮮鋭度（輝度を用いて算出される値）は、被写体距離によって異なる。記憶部Ｍｅ（図１８に示す）には、光学領域Ｄ１、Ｄ２のそれぞれを通過した光の鮮鋭度と被写体距離との相関関係が記憶されている。第３の信号処理部Ｃ３（図１８に示す）において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。

ここで図２４および図２８におけるＺの範囲は、Ｇ１が変化し、かつＧ２がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚの範囲では、被写体距離と、鮮鋭度Ｇ１とＧ２の比に相関があるため、予め被写体距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係を記憶部Ｍｅに記憶しておく。

撮像装置の使用時には、１回の撮像の結果得られるデータ（撮像画像）のうち、画素Ｐ１（Ｇ１の成分）のみで生成された第１の画像Ｉ１と画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２との鮮鋭度の比を各演算ブロック毎に求める。そして、記憶部Ｍｅに記憶されている相関関係を利用して、被写体距離を求めることができる。具体的には、各演算ブロック毎に、上記相関関係における鮮鋭度の比と、第１の画像Ｉ１と第２の画像Ｉ２との鮮鋭度の比の値とを比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。

画素Ｐ１のみで生成された第１の画像Ｉ１の鮮鋭度と画素Ｐ２のみで生成された第２の画像Ｉ２の鮮鋭度との比から被写体距離を一意的に求めるためには、鮮鋭度の比が、所定の被写体距離範囲内で全て異なっている必要がある。

図２４、図２７および図２８においては、Ｚの範囲内で、鮮鋭度の比が全て異なっているため、被写体距離を一意的に求めることができる。また、鮮鋭度の値が低すぎると比を求めることができないため、鮮鋭度の値は一定値以上であってもよい。

なお、被写体距離と鮮鋭度の関係は、光学領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率によって決まる。つまり、光学領域Ｄ１、Ｄ２は第１の画像Ｉ１の鮮鋭度と第２の画像Ｉ２の鮮鋭度との比が、所定の距離範囲内で全て異なるような光学特性を有している必要がある。

なお、本実施形態では、輝度を用いて算出される値（輝度情報）であれば、鮮鋭度以外の値、例えばコントラストを用いて被写体距離を求めてもよい。コントラストは、例えば、所定の演算ブロック内における最大輝度値と最低輝度値の比から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラストは輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラストを求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラストを求めてもよい。コントラストを用いて被写体距離を求める場合も、鮮鋭度の場合と同様に、予め被写体距離と、コントラストの比との相関関係を記憶部Ｍｅに記憶させておく。各演算ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２とのコントラストの比を求めることにより、相関関係を利用して被写体距離を求めることができる。

また、本実施形態では、鮮鋭度やコントラスト以外の値、例えば点像強度分布を用いて被写体距離を求めてもよい。以下に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求める方法について説明する。

前述の（数１７）を用いて、画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２を復元すると、元画像ｆ（ｘ，ｙ）に極めて近い復元画像ｉ２’（ｘ，ｙ）が求まる。ここで、画素Ｐ１（Ｇ１の成分）のみで生成された第1の画像をｉ１（ｘ，ｙ）とし、領域Ｄ１を通過する光線による点像強度分布をｈ１（ｘ，ｙ）とすると、Ｉ１（ｘ，ｙ）は（数１８）で表すことができる。

（数１８）の両辺をフーリエ変換すると（数１９）のようになる。

（数１９）を変形すると、（数２０）のように、点像強度分布ｈ１（ｘ，ｙ）の周波数領域の値Ｈ１（ｕ，ｖ）が求められる。

これを逆フーリエ変換することによって、領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）を求めることができる。

領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）は、被写体距離によって変化するため、点像強度分布ｈ１（ｘ，ｙ）と被写体距離と相関を有する。この相関関係を利用して被写体距離を求めることができる。

点像強度分布を代表的な数値で表す場合、例えば点像強度分布の直径を用いることができる。鮮鋭度やコントラストの場合と同様に、予め被写体距離と、点像の直径との相関関係を記憶部Ｍｅに記憶させておく。各ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求め、点像強度分布から点像の直径を求めることにより、相関関係を利用して被写体距離を求めることができる。点像の直径は、例えば、点像強度分布の半値幅から求めることができる。

本実施形態は、図２７のように各領域の曲率半径を互いに異ならせた場合において、第１の画像Ｉ１と第２の画像Ｉ２を加算した画像を生成する構成を備えていてもよい。第１の画像Ｉ１と第２の画像Ｉ２の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１の画像および第２の画像よりも大きい。この場合、加算によって生成された画像の鮮鋭度と、第１の画像Ｉ１または第２の画像Ｉ２のいずれかの画像の鮮鋭度との比は、被写体距離と相関関係を有する。この相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。

撮影画像の被写体距離を算出し、被写体距離をモノクロの輝度値（たとえば２５６階調）で表すと奥行き情報を表した画像が得られる。これがデプスマップである。図２９（ａ）は本実施の形態の被写体画像（撮像画像）であり、図２９（ｂ）は図２９（ａ）の被写体画像のデプスマップである。２５６階調で表示しており、白ほど手前、黒ほど奥に被写体が存在することを意味する。図２９（ｂ）において、チェック模様の完全な黒箇所は、測距におけるエラー箇所である。被写体画像において、広い均一な輝度値を有する箇所は、その中央付近では鮮鋭度の変化が生じず、測距できないためである。しかし、測距できない箇所であってもリフォーカス画像の生成には影響しない。なぜなら、広い均一な輝度値を有する範囲の中央付近では、リフォーカス計算の有無にかかわらず、画像の鮮鋭度は変化しないためである。デプスマップは必ずしも２５６階調である必要はない。１６ビット（６５５３６階調）の画像でもよいし、必ずしも画像データである必要はなく距離に応じた数値データでもよい。また、負の値を含んでいてもよく、被写体の相対的な位置関係を示せればよい。

次に、図２２のステップＳＴ３のＰＳＦの生成について具体的に説明する。ＰＳＦは、例えば被写***置（被写体距離）ごとに生成する。さらに、画角（画素または所定の領域）ごとにＰＳＦを生成してもよい。

ＰＳＦの形状は数式で表すとよい。例えば、（数２１）に示すガウス分布（ガウス関数）である。なぜなら任意の被写***置のＰＳＦを数式に当てはめて簡単な計算によって逐次得ることができるためであり、事前に膨大な被写体ＰＳＦデータをメモリに保存しておく必要はないためである。

ここで、ｉはＰＳＦの横方向の座標、ｊはＰＳＦの縦方向の座標であり、(ｉ，ｊ)＝(０，０)はＰＳＦの中心を表す。また、Ｗｅｉｇｈｔ(ｉ，ｊ)はｉ、ｊにおけるＰＳＦの強度（重み）、ｄは被写体距離でありベストフォーカス位置を原点（ｄ＝０）として表す。ここで、「ベストフォーカス位置」とは、ＰＳＦの強度変化が極大となる被写体の位置（被写体距離）のことを言う。「ＰＳＦの強度変化」が大きい場合、ＰＳＦのピークは鋭く、例えばピークの半値幅は小さい。一方、「ＰＳＦの強度変化」が小さい場合、ＰＳＦのピークは緩やかであり、例えばピークの半値幅は大きい。また、ｋはゲイン調整用の係数でありＰＳＦの強度変化を調整する。σに“０．００１"を加えているが、これは（ｉ，ｊ）＝(０，０)時の発散防止用の定数でありｋ・ｄに対して十分小さい値を設定している。この定数は、必ずしも“０．００１"である必要はなく適宜変更してよい。

図３０は、（数２１）のガウス分布により求めたＰＳＦ断面強度分布である。ｊ＝０、ｉ＝−５〜５、σ＝１．４としてプロットした。ｉ＝０、ｊ＝０のとき、ＰＳＦの強度が最大となり、左右対称（回転対称）の分布である。ＰＳＦの強度分布は必ずしも回転対称である必要はないが、偏りのない自然なリフォーカス画像を生成するためには、回転対称であることが望ましい。

ＰＳＦの強度の変化（鋭さ）はｋによって調整する。被写***置がベストフォーカス位置である場合にＰＳＦは一番鋭く、ベストフォーカス位置から遠ざかるにつれて緩やかになるように設定する必要がある。どの被写***置をベストフォーカス位置にするかは任意に設定可能である。ベストフォーカス位置は、ユーザが外部から入力してもよいし、第２の信号処理部Ｃ２が決定してもよい。ベストフォーカス位置をユーザが決定する場合には、ユーザが、画像上の領域を選択し、第２の信号処理部Ｃ２が、ユーザが選択した領域の被写体距離を求め、それをベストフォーカス位置としてもよい。または、ユーザが、被写体距離を直接選択してもよい。ベストフォーカス位置を決定したら、その被写***置を原点とする。

図３１は被写***置ｄ２に焦点を合わせた場合のＰＳＦ断面強度分布の変化の概念図である。図３１（ａ）において、被写***置ｄ２からやや離れた位置である被写***置ｄ３ではＰＳＦの強度の傾きが被写***置ｄ２のそれに対し緩やかになる。さらに離れた被写***置ｄ１ではＰＳＦの強度の傾きはさらに緩やかになる。（数２１）においてｄの原点（＝０）をベストフォーカス位置に設定することで被写***置がベストフォーカス位置から離れるほどσの絶対値が大きくなりＰＳＦ強度の傾きを緩やかに設定できる。また、（数２１）においてｋの値を大きくすることで、被写***置に対するＰＳＦの強度分布の変化の度合いを調整することができる。図３１（ｂ）は、ｋの値を図３１（ａ）よりも大きくした場合である。（ｂ）のほうが（ａ）よりも被写***置に対してＰＳＦの強度分布が急激に変化し、同じ被写***置ｄ１（またはｄ３）でＰＳＦの強度分布を比較すると、（ｂ）のほうが緩やかな傾きとなる。このようにｋの値を適宜調整し、後述する画像のボケの変化を調整するとよい。また、（数２１）のσの式はｄに対し線形変化するが、線形関数以外に２次関数や多項式等の非線形の関数を用いてもよい。非線形の関数を用いることで、被写***置ｄに対するＰＳＦの強度変化、つまり、ボケの変化を非線形に調整することができる。

図３１ではＰＳＦ強度の一断面を示したが、ＰＳＦは奥行き方向にも存在する２次元データである。実際の計算には図３２に示すような強度の２次元マトリクスを用いるとよい。（ｉ，ｊ）＝(０，０)を原点として（数２１）より求めることができる。マトリクスの行数と列数は同じであることが望ましく、それぞれ奇数であることが望ましい。なぜなら、原点をマトリクスの中心に１箇所設定することができ、そこを軸とした回転対称のＰＳＦを形成できるためである。マトリクスの行数・列数は任意であるが、大きくするほどぼかし量を増やすことができる。一方、マトリクスの行数・列数を小さくするほど計算時間を短縮することができる。図３２（ａ）は３×３マトリクス、（ｂ）は５×５マトリクス、（ｃ）は７×７マトリクスのＰＳＦ強度の２次元分布である。図３０同様、σ＝１．４として求めた。マトリクス内の値は、マトリクス全体の積算値が１になるように規格化するとよい。具体的には、（数２１）で数値を算出後、マトリクス内の全成分の積算値を求め、各成分をその積算値で割ることで計算することができる。規格化する理由は、このあとのリフォーカス時の畳み込み後の画像の輝度変化を防ぐためである。ＰＳＦの強度積算値を１に規格化することで、リフォーカスの前画像と後画像で画像の明るさを一定に保つことができる。ＰＳＦデータの規格化はＰＳＦ算出時に実施してもよいし、リフォーカス処理直前に実施してもよい。また、参考に図３３（ａ）に図３２（ｃ）の７×７マトリクスのＰＳＦ強度分布の数値データを２５６階調に表現して画像化したものを示す。同様に、図３３（ｂ）は図３２（ｃ）の３次元グラフである。

ＰＳＦの計算には、数式を使用せず光学系のもつ実際のＰＳＦ値を用いてもよいが、この場合、被写体距離ごとのＰＳＦをシミュレーションにより一定間隔ずつ予め計算する必要があるため、データベースとして膨大なメモリが必要になる。一方、数式で表現したガウス分布を用いることで任意の被写***置のＰＳＦをリフォーカス計算時に生成することができ、メモリの節約、計算時間の短縮につながる。また、ガウス分布で表現すると、被写***置がベストフォーカス位置の際のＰＳＦは、中心が１でまわりは０となり、ベストフォーカス位置の画像を劣化させない。言い換えると、ベストフォーカス位置のＰＳＦの強度変化は、他の被写***置のＰＳＦの強度変化よりも大きく、ベストフォーカス位置から被写体距離方向に離れるに従って、ＰＳＦの強度変化は小さくなる。

なお、ＰＳＦを表す数式は、ガウス分布以外の式であってもよい。例えば高次の次数を含む非球面式でもよい。

次に、図２２のステップＳＴ４のリフォーカス画像の生成について説明する。この処理は、ステップＳＴ２で求められた被写体距離と、ステップＳＴ３で生成されたＰＳＦを用いて行われる。第３の信号処理部Ｃ３で実施する。図２９（ｂ）のデプスマップと対応させながら、鮮鋭化画像の各画素に対し、ＰＳＦの畳み込み処理を施す。例えば、デプスマップのある画素（ｉ，ｊ）＝（ｉ₀，ｊ₀）における被写***置が図３１のｄ１であったとすると、鮮鋭化画像の画素（ｉ₀，ｊ₀）を中心とするマトリクス（＝ＰＳＦと同一の行列数のマトリクス）に対し、該当するｄ１のＰＳＦを用いて畳み込み演算をする。この操作を鮮鋭化画像の全画素に対して実施する。この処理により、鮮鋭化画像はいずれの被写***置においても画像のボケが少ない状態である画像であるのに対し、リフォーカス画像は所望の箇所のみ焦点を良好に合わし、それ以外をぼかしたメリハリのある画像となる。

図３４は、図２９（ｂ）のデプスマップをもとに図２９（ａ）の被写体画像をリフォーカスした画像である。ベストフォーカス位置（図３１のｄ２に相当）を手前のみかんとし、ＰＳＦのマトリクスの領域を１５×１５、ｋ＝１として処理した。図２９（ａ）では一様に焦点が合った画像であるが、図３４のリフォーカス画像は手前に焦点が合い、それ以外の背景が遠ざかるにつれてぼけていくのがわかる。なお、図２９（ｂ）において、測距検出エラーとなった箇所は、別途例外処理にてリフォーカス処理を省いてもよい。または、適当な被写体距離の値にてリフォーカスの生成を実施してもよい。なぜなら、輝度値が一定の領域であるため、リフォーカスの実施の有無にかかわらず、鮮鋭度は変化しないためである。

なお、本実施形態においては、ステップＳＴ１のうち、画像の鮮鋭度（輝度情報）を求める処理のみ行い、画像の鮮鋭化処理を省略してもよい。この場合、センサ（フォトダイオード）から取得された画像（撮像画像）に対し、直接リフォーカス処理を実施してもよい。ここで、センサから取得された画像は、図１８に示す第１、第２の画像Ｉ１、Ｉ２であってもよいし、第１、第２の画素Ｐ１、Ｐ２からの画像を含む画像であってもよい。鮮鋭化処理を省略する場合、図２８においてより鮮鋭度の高いＧ１の画像（第１の画像Ｉ１）を用いるのが好ましい。このような処理は、ボケている箇所をさらに強調してぼかしたい場合に特に有効である。

また、画像の特定の領域のみにリフォーカス処理を施しても良い。ぼかしたいところのみ処理することで計算時間の短縮になる。

また、必ずしもＰＳＦを用いる必要は無く、例えばぼかしたい領域のみ平均化フィルタ等の空間フィルタ処理を実施しボケを形成してもよい。また、鮮鋭化したい領域のみ鮮鋭化フィルタ等の空間フィルタ処理を実施し、目的の被写体画像をシャープにしてもよい。これらの場合、図２２に示すフローチャートのステップＳＴ３を行わずに、ステップＳＴ４において、デプスマップに基づいてぼかしたい領域（またはシャープにしたい領域）を決定し、空間フィルタ処理を行えばよい。

ここで、図２２のステップＳＴ１における鮮鋭化処理を省略した場合の、リフォーカス画像生成方法の一例を説明する。

ステップＳＴ１において、画像の輝度情報を求めた後、最も鮮鋭度の高い（焦点が合っている）所定の領域を検出する。そして、ステップＳＴ２において作成されたデプスマップに基づき、最も鮮鋭度の高い領域として検出された被写体からの距離に応じて、所定領域毎にぼかし処理を行う。例えば、最も鮮鋭度の高い領域として検出された被写体からの距離が、より近い領域よりも、より遠い領域の方が、ぼかし具合が大きくなるようにぼかし処理を行う。これにより、焦点が合わずにぼけている箇所をさらに強調してぼかすことができる。また、さらに、最も鮮鋭度の高い領域として検出された領域を、復元フィルタや空間フィルタを用いて鮮鋭化してもよい。これにより、撮影画像における鮮鋭領域とボケ領域とをさらに強調することができる。なお、この方法において、復元フィルタを用いて鮮鋭化する場合、使用するＰＳＦ（点像強度分布）としては、関数によって保持されているものであってもよいし、光学系の特性から被写体距離ごとに予め求めておいたものを保持し使用してもよい。また、さらに望ましくは画角ごとのＰＳＦを保持し使用するとよい。より高精度な鮮鋭化が実現するためである。

また、画像の端部の畳み込みは、元画像の画素が足りないため別途分岐計算処理をしてもよい。例えば、画像端部の一部のケラレに合わせＰＳＦの一部を使用して計算するとよい。

ＰＳＦの畳み込み演算処理としては、フーリエ変換を用いてもよい。例えば、ＤＦＴ(Discrete Fourier Transform)やＦＦＴ(Fast Fourier Transform)を使用するとよく、計算時間を短縮できる。これは被写体距離が一定の領域（所定の領域）が広い場合に特に有効であり、被写体距離が一定の領域を１つのブロックとして演算する。例えば、演算する画像のブロックサイズと一致したＰＳＦマトリクスを生成し、それぞれをフーリエ変換し、周波数空間上で計算するとよい。畳み込み演算はフーリエ変換すると周波数空間上では各成分間の積で計算できるため計算量が激減する。周波数空間上で積を取ったあとは、それを逆フーリエ変換することで畳み込み演算した結果と同様の画像を取得できる。

なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１およびＰ２に到達する光束間のクロストークを低減することができる。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。

また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。

以上のように、本実施形態では、単一の撮像系を用いた（例えば１回の）撮像によって、画像と被写体距離の両方を取得することができる。各演算ブロック毎に被写体距離を算出することができるため、画像の任意の位置の被写体距離を取得することができる。従って、画像全域のデプスマップを取得することもできる。これにより、撮影を行った後に、画像における全ての被写体に焦点を合わせることが可能となる。

また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

（実施の形態５）
本実施の形態５は、ベストフォーカス位置を断続的に複数個所設ける点で、実施の形態４と異なっている。ここでは、本実施形態において実施の形態４と同様の内容についての詳細な説明は省略する。

本実施形態においては、図３５に示すように、ベストフォーカス位置を２ヶ所もしくは任意の複数個所に設定する。位置ｄ２に加え、位置ｄ４もベストフォーカス位置とした。位置ｄ５は位置ｄ２と位置ｄ４の間に位置するが、位置ｄ２、ｄ４に比べＰＳＦの強度分布は緩やかになっている。「ベストフォーカス位置を断続的に複数箇所設ける」とは、ＰＳＦの強度変化が極大になる点（ベストフォーカス位置）が複数存在し、その複数のベストフォーカス位置の間のＰＳＦの強度変化が、ベストフォーカス位置の強度変化よりも小さいことを言う。なお、複数のベストフォーカスのＰＳＦの強度変化の大きさは、互いに異なっていてもよい。

ベストフォーカス位置を２ヶ所に設定するには、（数２１）でσを４次関数で表現するとよい。必ずしも４次関数を用いる必要はなく、それ以上の次数、また、指数や対数表現を用いてもよい。図３５に示す方法を用いれば、近傍に１人、遠方に１人の計２人の人物が撮影された画像において、近傍、遠方の両方の人物に焦点を合わし、それ以外の背景をぼかすといったことが可能となる。これは、従来の光学系では実現できない技術である。例えばＦｎｏが非常に小さい一眼レフによるぼかし効果でさえも近傍、遠方もしくはその間のいずれか１箇所の被写***置のみでしか焦点を合わすことができない。また、任意の２ヶ所に限らず、それ以上の複数個所の物体をベストフォーカスに設定し、それ以外をぼかしてもよい。

（実施の形態６）
本実施の形態６は、画素に分光透過率特性を有するフィルタを備え付けた点で、実施の形態４と異なっている。ここでは、本実施形態において実施の形態４と同様の内容については説明を省略する。

図３６は、実施の形態６の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、第１の信号処理部Ｃ１と、記憶部Ｍｅとを備える。

図３７（ａ）は、図３６に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図３７（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。

画素Ｐ１およびＰ２には第１の分光透過率特性を有するフィルタが備えられており、緑色帯域の光線を主に通過し、他の帯域の光線を吸収する。画素Ｐ３には第２の分光透過率特性を有するフィルタが備えられており、赤色帯域の光線を主に通過し、他の帯域の光線を吸収する。また、画素Ｐ４には第３の分光透過率特性を有するフィルタが備えられており、青色帯域の光線を主に通過し、他の帯域の光線を吸収する。

画素Ｐ１および画素Ｐ３のそれぞれは、同じ行において交互に配置されている。また、画素Ｐ２および画素Ｐ４のそれぞれは、同じ行において交互に配置されている。画素Ｐ１とＰ３の行と画素Ｐ２とＰ４の行とは、縦方向（列方向）に交互に配置されている。このように、それぞれの複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４は、ベイヤー配列を成している。ベイヤー配列で画素Ｐ１、Ｐ２、Ｐ３およびＰ４が配置されている場合には、共に緑色帯域の光を透過するフィルタを有する画素Ｐ１および画素Ｐ２は、撮像面Ｎｉの面内において、斜めの位置に配置されている。画素Ｐ３と画素Ｐ４との位置は逆であってもよい。

アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１、Ｐ３および１行の画素Ｐ２、Ｐ４からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図３６、図１９に示す）を通過した光束Ｂ１（図３６において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１およびＰ３に到達し、光学領域Ｄ２を通過した光束（図３６において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２およびＰ４に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。互いに合焦特性を異ならせる光学特性を有する光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。

図３６においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。

また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

第１の信号処理部Ｃ１（図３６に示す）は、複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。

図３６の撮像装置Ａの光学系において、光学領域Ｄ１が平面を有し、光学面領域Ｄ２が非球面形状を有するとする。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１の表面は平面であるため、図２３のグラフに実線で示すように、光学領域Ｄ１とレンズＬ２を通過した光線による球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

また、光学領域Ｄ２における非球面形状により、光学領域Ｄ２とレンズＬ２を通過した光線による球面収差は、図２３の破線で示すグラフのようになる。光学領域Ｄ２の非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ２を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図３８のような関係になる。図３８のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。

鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

所定の大きさのブロック内における鮮鋭度をＥとし、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の成分毎に隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数２２）を用いる。

前述の通り、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４は、ベイヤー配列を成しているため、それぞれの成分の鮮鋭度を求めるには、画像のｘ方向、ｙ方向共に１画素おきの画素情報を抽出して計算する。

（数２２）においてΔｘ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋２，ｊ）の座標の画素の輝度値との差分値であり、Δｙ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の座標の画素の輝度値との差分値である。

（数２２）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。

カラー画像を生成する場合、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図３８のようにＧ２、Ｂの鮮鋭度は、Ｇ１、Ｒの鮮鋭度に比べて小さいので、Ｇ１、Ｒの鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。

図３９は、Ｇ１、Ｒの鮮鋭度に基づいてＧ２、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。図３９（ａ）は、被写体である白黒チャートであり、図３９（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図３９（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１、Ｐ３に到達する光線が最も合焦する被写***置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図３９（ｃ）のようになる。図３９（ｃ）のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の輝度断面であり、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の輝度断面である。このように、Ｇ１、Ｒの輝度断面の方がＧ２、Ｂの輝度断面より、図３９（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。

図３９（ａ）のような白黒チャートを撮像した場合は、Ｇ１の輝度断面とＲの輝度断面はほぼ同じ断面となるが、実際にはあらゆる色成分の被写体画像を撮像するため、図３９（ｃ）のＧ１、Ｒの輝度断面は、一致しない場合が殆どである。従って、Ｇ１、Ｒの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分を選択して、Ｇ２、Ｂの輝度断面を鮮鋭化させてもよい。鮮鋭度の高い輝度断面を選択し、その輝度断面を２回微分すると、図３９（ｄ）の分布が得られ、鮮鋭度の高い色成分の画像のエッジを検出することができる。次に、図３９（ｄ）の分布を図３９（ｃ）のＧ２、Ｂのそれぞれの輝度分布から減じることにより、図３９（ｅ）の分布が得られ、Ｇ２、Ｂの輝度分布を鮮鋭化することができる。ここで、図３９（ｄ）の分布を減じる際、図３９（ｄ）の分布に所定の係数を乗じた後に、図３９（ｃ）のＧ２、Ｂの輝度分布から減じることにより、Ｇ２、Ｂの鮮鋭化の度合いを制御することができる。

本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。

以上のような画像処理により、図３８の実線で示したＧ２、Ｂの鮮鋭度は、破線で示したＧ２’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

図４０は、図３６において光学領域Ｄ２の表面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図３８の場合と同様に、カラー画像を鮮鋭化することができる。

本実施形態では、図４０に示すように、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。

以上のような画像処理により、図４０の実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図４１は、Ｇ２、Ｂの鮮鋭度を鮮鋭化したＧ２’、Ｂ’に基づいてＧ１、Ｒの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図３８の場合と同じであり、光学領域Ｄ２を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

以下に撮影画像を点像強度分布に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数２３）で表すことができる。

（数２３）の両辺をフーリエ変換すると（数２４）のようになる。

ここで、（数２５）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数２６）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。

しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数２７）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。

（数２７）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数２８）のフィルタにて劣化画像を復元する。

このような復元フィルタにより、図４１の実線で示すＧ２、Ｂの鮮鋭度は、点線で示すＧ２’、Ｂ’のように鮮鋭化させることができる。さらに図３９で示した方法と同様にして、Ｇ２’、Ｂ’ の輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分の輝度断面を２回微分し、Ｇ１、Ｒから減じることにより、Ｇ１、Ｒの鮮鋭度が鮮鋭化され、図４１の破線で示すＧ１’、Ｒ’のように鮮鋭化させることができる。

以上のような画像処理により、図４１の実線で示したＧ２、Ｂの鮮鋭度、およびＧ１、Ｒの鮮鋭度は、点線で示したＧ２’、Ｂ’および破線で示したＧ１’、Ｒ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図３８で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。

なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４に到達する光束間のクロストークを低減することができる。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、前述の通り、鮮鋭度の高い色成分を選択して他の色成分を鮮鋭化させることができるため、理想レンズでなくても、鮮鋭度のカラー画像を生成することができる。また、被写体距離を求める場合は、単一の色成分（本実施の形態では緑色の成分）に基づいて距離を求めるので、軸上色収差を有していてもよい。

また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。

以上のように、本実施形態では、単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができる。被写体距離については、各演算ブロック毎に算出することができるため、カラー画像の任意の画像位置の被写体距離を取得することができる。従って、画像全域の被写体距離マップを取得することもできる。また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

また、リフォーカスは、Ｒ、Ｇ、Ｂ各成分において実施の形態４と同様に実施することができる。具体的には、図２２に示すステップＳＴ１において、ＲＢＧそれぞれについて、輝度情報（鮮鋭度など）を求め、必要に応じて、ＲＢＧのうち鮮鋭度の低い色を鮮鋭化する。次に、ステップＳＴ２において、被写体までの距離を求める。さらに、第１の信号処理部Ｃ１において生成されたカラー画像を用い、デプスマップを生成する。次に、ステップＳＴ３において、ベストフォーカス位置に基づいて、被写***置ごとにＰＳＦを生成する。このとき、ＲＧＢの３色につき１つのＰＳＦを生成すればよい。ただし、軸上色収差などを考慮し、ＲＧＢそれぞれについてＰＳＦを生成してもよい。次に、ステップＳＴ４において、任意の被写***置でのカラーでのリフォーカス画像を生成することができる。

（実施の形態７）
本実施の形態７は、光学素子Ｌ１の領域分割の面積を異ならせた点と、アレイ状光学素子をレンチキュラからマイクロレンズに置き換えた点で、実施の形態６と異なっている。ここでは、本実施形態において実施の形態４から６と同様の内容についての詳細な説明は省略する。

図４２は、光学素子Ｌ１を被写体側から見た正面図であり、光学素子Ｌ１は、光学領域Ｄ１とＤ２に分割されている。また、光学領域Ｄ２はさらに、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃに分割されている。図４２に示すように、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃは、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下左右に４分割されている。光学領域Ｄ１とＤ２は、互いに互いに合焦特性を異ならせる光学特性を有する。

図４３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は円弧状であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。

図４４（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図４４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、実施の形態４と同様に、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

画素Ｐ１、Ｐ２、Ｐ３、およびＰ４には、実施の形態６と同じ分光透過率特性を有するフィルタがそれぞれ備えられている。

また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向うように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ２の１つが、撮像面Ｎｉにおける２行２列の画素Ｐ１〜Ｐ４の４つの画素に対応するように配置されている。

このような構成により、図４２に示す光学素子Ｌ１の光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光束の大部分は、それぞれ撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。

実施の形態６と同様に、第１の信号処理部Ｃ１により、複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。

図４２において、光学領域Ｄ１は非球面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは、全て平面を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１の非球面形状により、実施の形態４と同様にレンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ１を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

また、光学領域Ｄ２は平面であるため、実施の形態６と同様に球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

実施の形態６と同様に、被写体距離と鮮鋭度の関係をグラフで示すと、図４５のような関係になる。図４５のグラフにおいて、Ｇ１は画素Ｐ１（緑色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｒ、およびＢは、それぞれ画素Ｐ２（緑色の成分）、Ｐ３（赤色の成分）およびＰ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。

カラー画像を生成する場合、実施の形態６と同様に、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図４５のようにＧ１の鮮鋭度は、Ｇ２、Ｒ、およびＢの鮮鋭度に比べて小さいので、図２６で説明した方法と同様に、Ｇ１の鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。

以上のような画像処理により、図４５に実線で示したＧ１の鮮鋭度を、破線で示したＧ１’のように高めることができ、生成するカラー画像を鮮鋭化させることができる。

図４６は、図４５において光学領域Ｄ１の光学面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図４５の場合と同様に、カラー画像を鮮鋭化することができる。

本実施形態では、図４６に示すように、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。

以上のような画像処理により、図４６の実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図４６は、Ｇ１の鮮鋭度を鮮鋭化したＧ１’に基づいてＧ２、Ｒ、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１の構成は図４５の場合と同じであり、光学領域Ｄ１を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ１（Ｇ１の成分）を抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ１（Ｇ１の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

実施の形態６で説明した復元フィルタにより、図４７の実線で示すＧ１の鮮鋭度は、点線で示すＧ１’のように鮮鋭化させることができる。さらに図２６で示した方法と同様にして、Ｇ１’の輝度断面を２回微分し、Ｇ２、Ｒ、およびＢから減じることにより、Ｇ２、Ｒ、およびＢの鮮鋭度が鮮鋭化され、図４７の破線で示すＧ２’、Ｒ’、およびＢ’のように鮮鋭化させることができる。

なお、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、軸上色収差を光学素子Ｌ１で補正する構成であってもよい。本実施の形態では、図４２において、光学素子Ｌ１の光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは全て平面を有するとしているが、それぞれ異なる光学面を有することにより、軸上色収差を補正することができる。前述の通り、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光線はそれぞれ、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。画素Ｐ２、画素Ｐ３、および画素Ｐ４は、それぞれ緑色、赤色、および青色の波長成分を主に通過するフィルタを有しているので、レンズＬ２に軸上色収差を有するレンズを適用する場合、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは、各画素に設けられたフィルタの波長帯域における合焦位置が等しくなるように、それぞれの領域面上の光学パワーを異ならせてもよい。このような構成により、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃが等しい光学パワーを有する場合と比較して、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃを透過した光の合焦位置を互いに近づけることができるため、レンズＬ２で生じる軸上色収差を光学素子Ｌ１によって補正することができる。軸上色収差を光学素子Ｌ１によって補正することにより、レンズＬ２を構成するレンズ枚数を削減することができ、光学系を小型化することができる。

以上のような画像処理により、図４７の実線で示したＧ１の鮮鋭度、およびＧ２、Ｒ、Ｂの鮮鋭度は、点線で示したＧ１’、および破線で示したＧ２’、Ｒ’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図４５で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。

本実施の形態では、実施の形態６に対して、鮮鋭度Ｇ１と鮮鋭度Ｇ２の関係が逆転しているだけであって、被写体までの距離を測る方法は同様に実施することができる。また、リフォーカス画像を取得する方法も実施の形態６と同様に実施することができる。

以上のように、本実施形態では、実施の形態６と同様に単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができるとともに、リフォーカス画像を生成することができる。

（実施の形態８）
本実施の形態８は、カラーフィルタを絞り近傍に設置し、撮像面上にはカラーフィルタを設置しないという点で、実施の形態７と異なる。ここでは、本実施形態において実施の形態４から７と同様の内容についての詳細な説明は省略する。

図４８は、実施の形態８の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、第１の信号処理部Ｃ１と、記憶部Ｍｅを備える。

実施の形態８では、図４２同様、光学素子Ｌ１の光学領域Ｄ１が非球面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは全て平面を有するとしている。光学素子Ｌ１の各領域はそれぞれ固有の分光透過率特性を有し、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃが、それぞれ、Ｇ、Ｇ、Ｂ、およびＲの光を透過する特性を有し、それぞれ画素Ｐ１、Ｐ２、Ｐ４、およびＰ３に集光させる。本実施の形態では、画素Ｐ１（緑色の成分）、Ｐ２（緑の成分）、Ｐ３（赤色の成分）、およびＰ４（青色の成分）から得られた画像を用いて鮮鋭化画像を作成するとともに、Ｐ１（緑色の成分）とＰ２（緑色の成分）から得られる画像を用いて被写体距離を測定し、デプスマップを作成する。ＰＳＦデータの作成、リフォーカス方法は実施の形態４から７と同様に実施することができる。

また、互いに異なる波長帯域の光を透過するフィルタと、合焦特性を異ならせる光学素子Ｌ１とを分離して配置されていてもよい。この場合、当該フィルタや光学素子Ｌ１は、いずれも絞りＳの近傍に配置されていてもよい。また当該フィルタや光学素子Ｌ１を配置する順番は問わない。この場合、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃは、光学素子Ｌ１およびフィルタの両方を含む領域である。この場合、各フィルタは各光学領域の近傍に設定するのが良く、また、絞り近傍に設置するのが良い。また、当該フィルタ及び光学素子Ｌ１のうちいずれか一方が、絞りＳの近傍に配置されたレンズＬ２の光学面上に形成されていてもよい。

以上のように、本実施の形態では、実施の形態７と同様に単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができるとともに、リフォーカス画像を生成することができる。

（その他の実施形態）
なお、実施の形態１から８は、光学領域における光学面が光学素子Ｌ１における被写体側の面に配置された形態であるが、光学面は光学素子Ｌ１の像側の面に配置されていてもよい。

また、レンズＬ２は１枚の構成としているが、複数群または複数枚の構成のレンズであってもよい。

また、複数の光学領域は、絞り近傍に配置したレンズＬ２に形成されていてもよい。

また、互いに異なる波長帯域の光を透過するフィルタと、合焦特性を異ならせる光学素子Ｌ１とを分離して配置されていてもよい。この場合、当該フィルタや光学素子Ｌ１は、いずれも絞りＳの近傍に配置されていてもよい。また当該フィルタや光学素子Ｌ１を配置する順番は問わない。この場合、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃは、光学素子Ｌ１およびフィルタの両方を含む領域である。また、当該フィルタ及び光学素子Ｌ１のうちいずれか一方が、絞りＳの近傍に配置されたレンズＬ２の光学面上に形成されていてもよい。

また、光学素子Ｌ１は、絞りの位置に対して被写体側に配置されているが、絞りの位置に対して像側に配置されていてもよい。

また、前述の実施の形態１から８では、レンズ光学系Ｌは像側テレセントリック光学系としているが、像側非テレセントリック光学系であってもよい。図４９（ａ）は、撮像部近傍を拡大して示す図である。図４９（ａ）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示している。図４９（ａ）に示すように、レンズ光学系Ｌが非テレセントリック光学系の場合には、隣接画素に光が漏れてクロストークが発生しやすいが、図４９（ｂ）のようにアレイ状光学素子を画素配列に対してΔだけオフセットさせることにより、クロストークを低減させることができる。前記入射角は像高によって異なるため、前記オフセット量Δは、撮像面への光束の入射角に応じて設定すればよい。

レンズ光学系Ｌが像側テレセントリック光学系である場合、光学素子Ｌ１の光学領域Ｄ１、Ｄ２における２つの曲率半径がそれぞれ異なるため、それぞれの領域によって得られる画像（第１の画像Ｉ１および第２の画像Ｉ２）の倍率が異なる。ここで、前述のような鮮鋭度の比を画像の領域毎に算出した場合、光軸外では互いに参照する所定領域がずれてしまい、鮮鋭度の比を正しく求めることができない。この場合、第１の画像Ｉ１および第２の画像Ｉ２の倍率が略同一になるように補正して、所定領域の鮮鋭度の比を求めてもよい。これにより、所定領域における鮮鋭度の比を正しく求めることができる。

実施の形態１から８は、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２、第３の信号処理部Ｃ３および記憶部Ｍｅ（図１８等に示す）を備える撮像装置である。しかし、撮像装置は、これらの信号処理部および記憶部を備えていなくてもよい。その場合、撮像装置の外部のＰＣ等を用いて、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２および第３の信号処理部Ｃ３が行う処理を行えばよい。すなわち、レンズ光学系Ｌ、アレイ状光学素子Ｋおよび撮像素子Ｎを備える撮像装置と、外部の信号処理装置とを備えるシステムによっても実現することができる。この形態における撮像装置によれば、単一の撮像光学系を用いた１回の撮像によって多色画像出力及び被写体距離測定のための輝度情報を取得することができる。また、当該輝度情報を用いて外部の信号処理部が行う処理によって、多色画像及び被写体距離の双方を取得することができる。

なお、本発明の測距方法においては、必ずしも鮮鋭度と被写体距離との相関関係を用いなくてもよい。例えば、鮮鋭度、コントラスト、もしくは点像の直径と被写体距離との関係を示す式に、得られた鮮鋭度、コントラスト、もしくは点像の直径を代入することにより被写体距離を得てもよい。

また、本実施の形態３におけるマイクロレンズアレイの各光学要素（マイクロレンズ）は、各光学要素（マイクロレンズ）の光軸に対して回転対称形状であってもよい。以下、光軸に対して回転非対称な形状を有するマイクロレンズと比較して説明する。

図５０（ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。このようなマイクロレンズアレイは、アレイの上に四角柱状のレジストを形成して熱処理を行うことによりレジストの角部を丸め、そのレジストを用いてパターニングを行うことにより形成される。図５０（ａ１）に示すマイクロレンズの等高線を図５０（ａ２）に示す。回転非対称な形状を有するマイクロレンズでは、縦横方向（マイクロレンズの底面の四辺と平行な方向）と斜め方向（マイクロレンズの底面の対角線方向）との曲率半径が異なる。

図５０（ａ３）は、図５０（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図５０（ａ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、このように回転非対称形状のマイクロレンズの場合、隣接の画素に光が漏れてクロストークが発生する。

図５０（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。このような回転対称形状のマイクロレンズは、熱インプリントやＵＶインプリント製法により、ガラス板等の上に形成することができる。

図５０（ｂ２）に、回転対称形状のマイクロレンズの等高線を示す。回転対称な形状を有するマイクロレンズでは、縦横方向と斜め方向の曲率半径は等しい。

図５０（ｂ３）は、図５０（ｂ１）、（ｂ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図５０（ｂ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、図５０（ａ３）のようなクロストークは発生していないことがわかる。このように、マイクロレンズを回転対称形状にすることにより、クロストークを低減させることができるため、測距演算における精度の劣化を抑制することができる。

また、実施の形態１から８において、画素Ｐ１と画素Ｐ３とは互いに斜め方向に隣接しているが、図５１のように、画素Ｐ１と画素Ｐ３とは、上下方向に隣接していてもよい。

画素Ｐが、図４、２１等ののいずれの配置を有していても、また、光学素子Ｌ１が、図２、図１４、図１５等のいずれの構成を有していても、画素Ｐ２に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光が入射し、画素Ｐ４に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光が入射する点は同じである。

より好ましくは、画素Ｐ２に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光のみを入射させ、画素Ｐ４に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光のみを入射させる。ただし、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光束の一部は、撮像面Ｎｉにおける画素以外の領域や、隣の画素などに入射する可能性がある。したがって、本明細書および請求の範囲において、例えば、「画素Ｐ２に光学領域Ｄ１を通過した光のみを入射させる」とは、画素Ｐ２に光学領域Ｄ２からの光が全く入射しないことを意味するのではなく、画素Ｐ２に入射する光の大領域（例えば８０％以上）が光学領域Ｄ１からの光であることを示すものとする。

本願に開示された撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また、自動車の周辺監視用および乗員監視用の測距装置やゲーム、ＰＣ、携帯端末、内視鏡等の３次元情報入力用の測距装置の用途にも応用できる。

Ａ 撮像装置
Ｌ レンズ光学系
Ｌ１ 光学素子
Ｌ２ レンズ
Ｄ１、Ｄ２ 光学領域
ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃ サブ光学領域
Ｓ 絞り
Ｋ アレイ状光学素子
Ｎ 撮像素子
Ｎｉ 撮像面
Ｍｅ 記憶部
Ｍｓ、Ｍｄ 撮像素子上のマイクロレンズ
Ｍ１ マイクロレンズの光学要素
Ｐ１、Ｐ２、Ｐ３、Ｐ４ 撮像素子上の画素
Ｐｇ 画素群
Ｃ１、Ｃ２、Ｃ３ 第１、第２、第３の信号処理部
Ｑ 遮光部材

Claims (35)

1. 第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、
   前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、
   前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える、撮像装置。
2. 前記レンズ光学系は、前記第１、第２の波長帯域とは異なる第３の波長帯域の光を透過する第４の領域をさらに有し、
   前記撮像素子は、複数の第４の画素をさらに有し、
   前記マイクロレンズアレイは、前記第４の領域を通過した光を前記複数の第４の画素に入射させる、請求項１に記載の撮像装置。
3. 前記第１、第２、第３の領域は、前記レンズ光学系の光軸を中心として分割された領域である、請求項１または２に記載の撮像装置。
4. 前記レンズ光学系において、前記第３の領域および前記第４の領域を透過した光線による合焦特性は、前記第１の領域を透過した光線による合焦特性および前記第２の領域を透過した光線による合焦特性のいずれかと等しい、請求項２に記載の撮像装置。
5. １回の撮像において、前記第１、第２、第３の領域に光線が入射する、請求項１から４のいずれかに記載の撮像装置。
6. 前記第１、第２の領域は緑色帯域の光線を通過させ、前記第３の領域は青色帯域の光線を通過させ、前記第４の領域は赤色帯域の光線を通過させる、請求項２に記載の撮像装置。
7. 被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化する、請求項１から６のいずれかに記載の撮像装置。
8. 前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有する、請求項１から７のいずれかに記載の撮像装置。
9. 前記複数の第１および第２の画素は、１回の撮像によって、それぞれ、第１および第２の輝度情報を生成し、
   前記第１および第２の輝度情報を用いて、第１の画像および第２の画像を生成する第１の信号処理部をさらに備える、請求項１から８のいずれかに記載の撮像装置。
10. 前記第１の信号処理部は、画像における所定領域毎に前記複数の第１から第４の画素の輝度情報のうち少なくとも１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、
    前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項２に記載の撮像装置。
11. 前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成する請求項１０に記載の撮像装置。
12. 前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成する請求項１１に記載の撮像装置。
13. 前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、
    前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項１２に記載の撮像装置。
14. 被写体までの距離を算出する第２の信号処理部をさらに備え、
    前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出する、請求項９に記載の撮像装置。
15. 被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、
    前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
16. 前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、
    被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、
    前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
17. 前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
18. 被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、
    前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出する、請求項１３に記載の撮像装置。
19. 前記第２の領域、前記第３の領域、および前記第４の領域は、互いに異なる光学パワーを有し、
    前記第２の領域、前記第３の領域、および前記第４の領域が透過する光の合焦位置が、前記第２の領域、前記第３の領域、および前記第４の領域が互いに等しい光学パワーを有する場合と比較して近い、請求項２に記載の撮像装置。
20. 前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備える、請求項１から１９のいずれかに記載の撮像装置。
21. 前記レンズ光学系は絞りをさらに備え、
    前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項１から２０のいずれかに記載の撮像装置。
22. 前記第２の信号処理部は、画像の所定領域ごとに被写体距離を算出し、
    前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備える、請求項１４から１８のいずれかに記載の撮像装置。
23. 前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成する、請求項２２に記載の撮像装置。
24. 前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなる、請求項２３に記載の撮像装置。
25. 前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置である、請求項２４に記載の撮像装置。
26. 前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成する、請求項２３から２５のいずれかに記載の撮像装置。
27. 前記点広がり関数はガウス関数である、請求項２３に記載の撮像装置。
28. 前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成する、請求項２６または２７に記載の撮像装置。
29. 前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成する、請求項２２に記載の撮像装置。
30. 前記少なくとも１つのベストフォーカス位置は、断続的に複数存在する、請求項２４に記載の撮像装置。
31. 前記レンズ光学系の近傍であって、前記第１の領域、前記第２の領域、前記第３の領域および前記第４の領域にそれぞれ配置された第１から第４のフィルタをさらに備え、
    前記第１フィルタは第１の波長帯域の光を透過し、
    前記第２フィルタは第１の波長帯域の光を透過し、
    前記第３フィルタは第２の波長帯域の光を透過し、
    前記第４フィルタは第３の波長帯域の光を透過する、請求項２から６のいずれかに記載の撮像装置。
32. 前記レンズ光学系は絞りをさらに備え、
    前記第１から第４のフィルタは、前記絞り近傍に配置されている、請求項３１に記載の撮像装置。
33. 請求項２に記載の撮像装置と、
    カラー画像を生成する第１の信号処理装置をさらに備え、
    前記第１の信号装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する、撮像システム。
34. 被写体までの距離を算出する第２の信号処理装置をさらに備え、
    前記第２の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出する、請求項３３に記載の撮像システム。
35. 撮像装置と、信号処理装置とを備える撮像システムであって、
    前記撮像装置は、
    第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、
    前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、
    前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、
    前記信号処理装置は、
    前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて、撮像画像の所定領域ごとに被写体距離を算出する第１の信号処理部と、
    前記第１の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第２の信号処理部を備える、撮像システム。

Images