JP2016082325A - 撮像装置、画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】撮影時間のずれを生じさせずに、複数の露出条件下における受光出力を得ることが可能な撮像装置、画像処理装置および画像処理プログラムを提供する。【解決手段】撮像装置は、入射光を減衰する第１領域と、第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、第１領域を通過した第１光束と第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、複数のマイクロレンズの各々について、当該マイクロレンズを通過した第１光束と第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、第１領域を通過した第１光束による第１画像データを、複数の第１受光素子の受光出力に基づき作成する第１画像作成部と、第２領域を通過した第２光束による第２画像データを、複数の第２受光素子の受光出力に基づき作成する第２画像作成部と、を備える。【選択図】図１

Description

本発明は、撮像装置、画像処理装置および画像処理プログラムに関する。

従来、露出設定を少しずつ変更しながら連続して撮影を行う、いわゆる露出ブラケッティング撮影が知られている。露出ブラケッティング撮影には、撮影が時系列的に行われるため、被写体の移動や撮像装置の移動により、撮影内容が異なってしまうという問題がある。例えば特許文献１には、低露出設定で多数の画像を連続撮影し、それらの画像を合成することでダイナミックレンジが拡大された画像を得る、という手順により露出ブラケッティング撮影を行う撮像装置が記載されている。

特開２０１４−２７４６６号公報

従来技術には、実質的に撮影時間を変化させて露出ブラケッティング撮影を行っているので、画像ごとの撮影時間にずれが生じてしまうという問題があった。

請求項１に記載の撮像装置は、入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、前記第１領域を通過した前記第１光束による第１画像データを、複数の前記第１受光素子の受光出力に基づき作成する第１画像作成部と、前記第２領域を通過した前記第２光束による第２画像データを、複数の前記第２受光素子の受光出力に基づき作成する第２画像作成部と、を備える。
請求項４に記載の撮像装置は、入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、同一被写体部分から出射し前記第１領域および前記第２領域をそれぞれ通過した前記第１光束および前記第２光束を前記マイクロレンズアレイを介して受光した前記第１受光素子の受光出力および前記第２受光素子の受光出力を合成して、ハイダイナミックレンジ画像データを作成する画像合成部と、を備える。
請求項６に記載の画像処理装置は、入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力部と、前記第１領域を通過した前記第１光束による第１画像データを、前記入力部に入力された前記複数の第１受光素子の受光出力に基づき作成する第１画像作成部と、前記第２領域を通過した前記第２光束による第２画像データを、前記入力部に入力された前記複数の第２受光素子の受光出力に基づき作成する第２画像作成部と、を備える。
請求項７に記載の画像処理装置は、入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力部と、前記入力部に入力された、同一被写体部分から出射し前記第１領域および前記第２領域をそれぞれ通過した前記第１光束および前記第２光束を前記マイクロレンズアレイを介して受光した前記第１受光素子の受光出力および前記第２受光素子の受光出力を合成して、ハイダイナミックレンジ画像データを作成する画像合成部と、を備える。
請求項８に記載の画像処理プログラムは、入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力ステップと、前記第１領域を通過した前記第１光束による第１画像データを、前記入力ステップにおいて入力された前記複数の第１受光素子の受光出力に基づき作成する第１画像作成ステップと、前記第２領域を通過した前記第２光束による第２画像データを、前記入力ステップにおいて入力された前記複数の第２受光素子の受光出力に基づき作成する第２画像作成ステップと、をコンピュータに実行させる。
請求項９に記載の画像処理プログラムは、入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力ステップと、前記入力ステップにおいて入力された、同一被写体部分から出射し前記第１領域および前記第２領域をそれぞれ通過した前記第１光束および前記第２光束を前記マイクロレンズアレイを介して受光した前記第１受光素子の受光出力および前記第２受光素子の受光出力を合成して、ハイダイナミックレンジ画像データを作成する画像合成ステップと、をコンピュータに実行させる。

本発明によれば、撮影時間のずれを生じさせずに、複数の露出条件下における受光出力を得ることができる。

第１の実施の形態に係るデジタルカメラの構成を示す図である。 撮像素子１５の斜視図である。 撮影光学系１０と撮像素子１５とを模式的に示した断面図である。 合成対象の像面上の光点からの光束と撮像素子１５とを模式的に示した断面図である。 それぞれ異なる像面上の光点Ｐ４と光点Ｐ５について、その光の広がりを示した模式図である。 受光素子アレイ２２の受光面２５をマイクロレンズアレイ２１側から見た平面図である。 １つの光点からの光束が多数のマイクロレンズ２３に入射する場合の、受光面２５上の各入射領域の決定方法を説明する図である。 減光フィルター１７を被写体側（図１の左側）から見た平面図である。 それぞれ異なる像面上の光点Ｐ４と光点Ｐ５について、その光の広がりを示した模式図である。 受光素子アレイ２２の受光面２５をマイクロレンズアレイ２１側から見た平面図である。 画像合成部２０が実行する画像合成処理のフローチャートである。 第１の実施の形態の変形例を説明する説明図である。 第１の実施の形態の変形例を説明する説明図である。

（第１の実施の形態）
図１は、第１の実施の形態に係るデジタルカメラの構成を示す図である。デジタルカメラ１は、複数のレンズ１１、１２、１３から成る撮影光学系１０と、撮影光学系により結像された被写体像を撮像する撮像素子１５とを有する。レンズ１２とレンズ１３の間には、所定の開口径の開口部Ｒを有する絞り１４が設けられている。絞り１４の開口部Ｒには、後述する減光フィルター１７が設けられている。被写体光は、レンズ１１およびレンズ１２を通過した後、減光フィルター１７およびレンズ１３を通過して撮像素子１５に入射する。

デジタルカメラ１は、更に、制御装置１９と、電子ビューファインダー１６と、液晶ディスプレイ１８とを備える。制御装置１９は、不図示のＣＰＵおよびその周辺回路から構成され、不図示の記憶媒体に予め記憶された制御プログラムを読み込んで実行することにより、デジタルカメラ１の各部を制御する。制御装置１９は、撮像素子１５から出力された撮像信号（受光信号）に基づいて画像データを作成し、不図示の記憶媒体に記憶したり、液晶ディスプレイ１８や電子ビューファインダー１６に表示したりする。

制御装置１９は、第１画像合成部２０ａおよび第２画像合成部２０ｂを機能的に備える。第１画像合成部２０ａおよび第２画像合成部２０ｂは、それぞれ、撮像素子１５から出力された撮像信号に基づき合成画像データを作成する。第１画像合成部２０ａは、撮像素子１５のダイナミックレンジより広いダイナミックレンジを有する合成画像データ（ハイダイナミックレンジ画像データ）を作成する。第２画像合成部２０ｂは、互いに異なる露出設定を有する複数の合成画像データを作成する。第１画像合成部２０ａおよび第２画像合成部２０ｂについては後に詳述する。

図２は、撮像素子１５の斜視図である。撮像素子１５は、マイクロレンズアレイ２１と受光素子アレイ２２を有する。マイクロレンズアレイ２１は、ＸＹ平面上に二次元状に正方配列された多数のマイクロレンズ２３を有する。受光素子アレイ２２は、ＸＹ平面上に二次元状に正方配列された多数の光電変換素子（以下、撮像画素２４と称する）を有する。以下の説明において、撮像画素２４が配列されている面を、受光面２５と称する。受光面２５は、マイクロレンズアレイ２１に対向している。

受光素子アレイ２２は、マイクロレンズアレイ２１の主面から、マイクロレンズ２３の焦点距離ｆだけ離れた位置に配置されている。つまり、各マイクロレンズ２３について、当該マイクロレンズ２３に対応する（被覆される）複数の撮像画素２４が、当該マイクロレンズ２３の焦点距離ｆだけ離れた位置に設けられている。

なお図２では、便宜上、マイクロレンズアレイ２１と受光素子アレイ２２とを、実際よりも離れているかのように図示している。また図２では、マイクロレンズアレイ２１に設けられた複数のマイクロレンズ２３と、受光素子アレイ２２に設けられた複数の撮像画素２４のうち、その一部のみを図示している。実際には、より多数のマイクロレンズ２３および撮像画素２４が存在している。例えば、１つのマイクロレンズ２３によっておよそ１００程度の撮像画素２４が被覆されており、従ってマイクロレンズアレイ２１は受光素子アレイ２２が有する撮像画素２４の数のおよそ１００分の１程度の数のマイクロレンズ２３を有している。

例えば撮影光学系１０の焦点距離が５０ミリメートルとすると、マイクロレンズ２３の焦点距離ｆは数百マイクロメートル程度（撮影光学系１０の焦点距離の１００分の１程度）であるため、受光素子アレイ２２から見ると、撮影光学系１０のいわゆる射出瞳の位置は、マイクロレンズ２３にとってほぼ無限遠と見なすことができる。つまり、撮影光学系１０の射出瞳の位置と受光素子アレイ２２の受光面２５は、光学的に共役である。

（画像合成処理の説明）
第１画像合成部２０ａおよび第２画像合成部２０ｂは、マイクロレンズアレイ２１を介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する焦点面の画像データを生成する。撮影光学系１０を介して入射した被写体光束は、マイクロレンズアレイ２１の近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影光学系１０の光軸Ｌ方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。第１画像合成部２０ａおよび第２画像合成部２０ｂは、ユーザが所望する光軸Ｌ方向の結像位置に結像する被写体の像を再現した画像データを生成（合成）する。以下、この生成される画像データを合成画像データと称する。合成画像データは、撮影光学系１０の焦点があたかも当該結像位置（実際の結像位置ではなくユーザが所望する位置）にあるように見える。そこで、以下の説明において、この結像位置のことを焦点位置と呼ぶこととする。

図３は、撮影光学系１０と撮像素子１５とを模式的に示した断面図である。なお、図３では撮影光学系１０を模式的に単レンズとして図示している。撮影光学系１０の予定結像面Ｓ１の近傍にマイクロレンズアレイ２１が配置され、マイクロレンズ２３の焦点位置Ｓ２の近傍に受光面２５が位置するように受光素子アレイ２２が配置される。

撮影光学系１０によりマイクロレンズアレイ２１の近傍に結像された被写体像は、マイクロレンズアレイ２１が備える各マイクロレンズ２３により圧縮され受光素子アレイ２２に畳み込まれる。例えば、撮影光学系１０の像倍率が５０分の１、すなわち撮影光学系１０が被写体像を実際の５０分の１の大きさで予定結像面Ｓ１に結像させる場合、奥行き方向で見ると被写体像はその二乗である２５００分の１の倍率で結像される。つまり、撮影光学系１０は、三次元空間にある被写体を奥行き方向に圧縮した立体像を予定結像面Ｓ１に結像させる。

図４は、合成対象の像面上の光点からの光束と撮像素子１５とを模式的に示した断面図である。図４において、合成対象の像面Ｓ３（予定結像面Ｓ１とは異なる面）上に設けた光点Ｐ１を考える。この光点Ｐ１から撮像素子１５に向かう光の広がり角θ１は、撮影光学系１０の瞳の大きさ（すなわち撮影光学系１０の絞り値）により制限を受ける。マイクロレンズ２３の絞り値が撮影光学系１０の絞り値と同じかそれより小さければ、この光点Ｐ１から出射し、あるマイクロレンズ２３に入射した光束は、そのマイクロレンズ２３により被覆されている領域の外には広がらない。

ここで、図４に示すように、光点Ｐ１からの光束が５つのマイクロレンズ２３ａ〜２３ｅに入射するとすれば、これらのマイクロレンズ２３ａ〜２３ｅに入射した光束３０ａ〜３０ｅの受光面２５上における入射光量（撮像画素群３１ａ〜３１ｅの受光出力）を積算することにより、光点Ｐ１からの瞳に制限された全輻射量が得られる、すなわち像面Ｓ３（合成対象の像面）上の光点Ｐ１（合成対象の画素）の光量が得られることになる。

以上をまとめると、合成画像データを構成する特定の合成画素を作成するためには、その合成画素の座標に対応する撮像面上の光断面の全光量を演算すればよい。第１画像合成部２０ａおよび第２画像合成部２０ｂはこの演算を行うために、マイクロレンズ特定処理と撮像画素特定処理と画素合成処理とを順に実行する。マイクロレンズ特定処理は、合成対象の像面上のある光点について、その光点からの光束が入射するマイクロレンズ２３を特定する処理である。撮像画素特定処理は、マイクロレンズ特定処理により特定された各マイクロレンズ２３について、光点からの光束がどの撮像画素２４に入射するかを特定する処理である。画素合成処理は、撮像画素特定処理により特定された撮像画素２４の受光出力から合成画素を作成する処理である。以下、マイクロレンズ特定処理、撮像画素特定処理、画素合成処理について順に説明する。

（マイクロレンズ特定処理の説明）
マイクロレンズ特定処理を行う、すなわち、合成対象の像面上のある光点について、その光点からの光束が入射するマイクロレンズ２３を特定するためには、その光点からの光束の広がり方がわかればよい。前述の通り、光点から広がる光の角度は撮影光学系１０の瞳により特定することができる。以下の説明では、撮影光学系１０の絞り値がマイクロレンズ２３の絞り値と同じであると仮定する。

図５（ａ）は、像面Ｓ４上の光点Ｐ４と、像面Ｓ４とは異なる像面Ｓ５上の光点Ｐ５について、その光の広がりを模式的に示した断面図であり、図５（ｂ）はこれを撮影光学系１０側から見た平面図である。光点Ｐ４と光点Ｐ５は共に、マイクロレンズ２３ｇの光軸上に位置する光点である。マイクロレンズ２３の焦点距離ｆだけマイクロレンズ２３から離れた位置の像面Ｓ４の上に存在する光点Ｐ４からの光束は、ちょうどマイクロレンズ２３ｇの大きさ３２に広がってマイクロレンズアレイ２１に入射する。つまり、マイクロレンズ特定処理によって、光点Ｐ４からの光束が入射するマイクロレンズ２３ｇが特定される。

他方、マイクロレンズ２３の焦点距離ｆの２倍、すなわち２ｆだけマイクロレンズ２３から離れた位置の像面Ｓ５の上に存在する光点Ｐ５からの光束は、図５（ａ）、（ｂ）の各々に示す通り、マイクロレンズ２３ｇを超え、マイクロレンズ２３ｇの周囲に位置する複数のマイクロレンズ２３ｈ、２３ｉ、２３ｊ、２３ｋ、２３ｍ、２３ｎ、２３ｐ、２３ｑに跨がる大きさ３３に広がる。つまり、マイクロレンズ特定処理によって、光点Ｐ５からの光束が入射するマイクロレンズ２３ｇ、２３ｈ、２３ｉ、２３ｊ、２３ｋ、２３ｍ、２３ｎ、２３ｐ、２３ｑが特定される。

以上のように、ある光点からの光束が入射するマイクロレンズ２３は、その光点からマイクロレンズ２３までの距離（すなわち合成対象の像面からマイクロレンズ２３までの距離）に基づいて特定することができる。なお、実際には撮影光学系１０の絞り値も考慮してこれらのマイクロレンズ２３を特定する必要がある。例えば、撮影光学系１０の絞り値がマイクロレンズ２３の絞り値より大きい（撮影光学系１０がマイクロレンズ２３より暗い）場合には、光点からの光束の広がりは小さくなる。

（撮像画素特定処理の説明）
次に、撮像画素特定処理を行う、すなわち、マイクロレンズ特定処理によって特定された各マイクロレンズ２３について、光点からの光束がどの撮像画素２４に入射するかを特定する方法について説明する。例えば図５の光点Ｐ４のように、光点がマイクロレンズ２３からマイクロレンズ２３の焦点距離ｆだけ離れた位置にある場合には、その直下のマイクロレンズ２３に被覆された領域全体に円形開口の光が広がる。従って、この場合には、１つのマイクロレンズ２３に被覆された全ての撮像画素２４が選択される。また、光点がマイクロレンズ２３から焦点距離ｆより近い位置にある場合には、マイクロレンズ２３で光が収束せずに広がるが、入射光束の広がり角θ１の制限を受けているため、その広がりは１つのマイクロレンズ２３に被覆された領域に留まる。

他方、光点が焦点距離ｆよりも離れた位置にある場合、光点からの光束は複数のマイクロレンズ２３に渡って入射するため、複数のマイクロレンズ２３に被覆された多数の撮像画素２４から合成画素を作成するために必要な撮像画素２４を選択する必要がある。以下、光点が焦点距離ｆよりも離れた位置にある場合について、図５の光点Ｐ５、すなわち光点がマイクロレンズ２３から２ｆだけ離れた位置にある場合を例に挙げて説明する。

マイクロレンズ２３から２ｆだけ離れた位置にある光点Ｐ５からの光束は、図５（ｂ）に示すように、光点Ｐ５の直下にあるマイクロレンズ２３ｇと、それに隣接する８つのマイクロレンズ２３ｈ、２３ｉ、２３ｊ、２３ｋ、２３ｍ、２３ｎ、２３ｐ、２３ｑとを合わせた、計９個のマイクロレンズ２３に入射する。

図６は、受光素子アレイ２２の受光面２５のうち、図５（ｂ）に示す２５個のマイクロレンズ２３に被覆された部分をマイクロレンズアレイ２１側から見た平面図である。なお図６では、図５（ｂ）の各マイクロレンズ２３の位置を、受光素子アレイ２２の受光面２５上に重畳して破線で図示している。

図５（ａ）に示した光点Ｐ５からの光束は、図６に示した９つの領域３３ｇ、３３ｈ、３３ｉ、３３ｊ、３３ｋ、３３ｍ、３３ｎ、３３ｐ、３３ｑに入射する。図６から明らかな通り、これらの領域３３ｇ〜３３ｑは、１つのマイクロレンズ２３に被覆される領域を９つに分割した形状を有している。このように、どのような位置の光点であっても、その光点からの光束が入射する受光面２５上の領域の大きさ（光断面の大きさ）は、１つのマイクロレンズ２３に被覆される領域の大きさと常に一致する。

以下、図７を用いて、図６のように１つの光点Ｐ５からの光束が多数のマイクロレンズ２３に入射する場合の、受光面２５上の各入射領域の決定方法を説明する。図７（ａ）はマイクロレンズアレイ２１の一部を撮影光学系１０の方向から見た平面図である。まずマイクロレンズ特定処理によって、図７（ａ）の中央に図示した光点Ｐ５からの光束が広がる範囲は、９つのマイクロレンズ２３ｇ〜２３ｑに跨がる領域３３であることが特定される。

撮像画素特定処理において、画像合成部２０はまず、図７（ｂ）に示すように、特定された領域３３を各マイクロレンズ２３の大きさの格子で分割する。図７（ｂ）では、図７（ａ）に示した９つのマイクロレンズ２３ｇ〜２３ｑの各々に対応するように配置された、各マイクロレンズ２３の直径の大きさを持った正方形３５ｇ〜３５ｑの格子で、光点Ｐ５からの光束が広がる領域３３を分割している。

次に画像合成部２０は、図７（ｃ）に示すように、分割された各領域３４ｇ〜３４ｑを、それぞれ対応するマイクロレンズ２３ｇ〜２３ｑに被覆される領域に配置する。各被覆領域内における分割領域３４ｇ〜３４ｑの相対位置は、図７（ｂ）に示した９つの正方形３５ｇ〜３５ｑの相対位置と同一である。例えば、３行３列に配置された正方形３５ｇ〜３５ｑのうち、左上隅の正方形３５ｈに対応する分割領域３４ｈは、対応する被覆領域３６ｈの左上隅に配置される。

以上のように、光点の高さをｈ、マイクロレンズ２３の焦点距離をｆ、マイクロレンズ２３の径をｄとおいたとき、その光点からの光束が広がる領域をｄ／（ｈ／ｆ）の幅の格子で分割することにより、光点からの光束が入射する撮像画素２４を特定することができる。なお、（ｈ／ｆ）は負の値となることもあり、この場合はマイクロレンズ２３より受光素子アレイ２２側に光点があるものとする。

なお、以上の説明では特定のマイクロレンズ２３のレンズ中心軸上に光点がある例を挙げて、合成画素の作成方法を説明したが、この合成画素の作成方法はそれ以外の位置に光点がある場合にも適用することが可能である。

（画素合成処理の説明）
次に、第１画像合成部２０ａが実行する画素合成処理について説明する。なお、以下の説明では、図５（ａ）に示した像面Ｓ４上の光点Ｐ４を例に挙げて画素合成処理を説明する。つまり、第１画像合成部２０ａは、像面Ｓ４に対応する合成画像データを作成するものとし、像面Ｓ４上の光点Ｐ４に対応する合成画素を作成する方法を説明する。

図８は、絞り１４が有する円形の開口部Ｒに設置された減光フィルター１７を、被写体側（図１の左側）から見た平面図である。減光フィルター１７は、開口部Ｒと同一形状を有する。従って、開口部Ｒを通過する被写体光は、すべて減光フィルター１７を通過する。

減光フィルター１７は、減衰率の異なる４つの領域１７ａ、１７ｂ、１７ｃ、１７ｄから成る。これら４つの領域１７ａ〜１７ｄは各々が等しい面積を有し、撮影光学系１０の光軸Ｌを中心として減光フィルター１７全体を円弧状に４分割した形状を有している。以下、これらの領域をそれぞれ第１領域１７ａ、第２領域１７ｂ、第３領域１７ｃ、第４領域１７ｄと呼ぶ。

図８では、光軸Ｌの左上に第１領域１７ａが、右上に第２領域１７ｂが、左下に第３領域１７ｃが、右下に第４領域１７ｄが、それぞれ配置されている。第１領域１７ａの減衰率はほぼ０であり、第１領域１７ａを通過する被写体光は、ほぼ減衰することなく撮像素子１５に向かう。第２領域１７ｂは露出値に換算して２段分の減衰率を有する。第３領域１７ｃは露出値に換算して４段分の減衰率を有する。第４領域１７ｄは露出値に換算して８段分の減衰率を有する。

図９（ａ）は、図５（ａ）と同様に、像面Ｓ４上の光点Ｐ４について、その光の広がりを模式的に示した断面図であり、図９（ｂ）は、図５（ｂ）と同様に、これを撮影光学系１０側から見た平面図である。図９（ａ）に示すように、像面Ｓ４上の光点Ｐ４には、第１領域１７ａを通過した光束４０ａと、第２領域１７ｂを通過した光束４０ｂと、第３領域１７ｃを通過した光束４０ｃと、第４領域１７ｄを通過した光束４０ｄが入射する。これら４つの光束４０ａ〜４０ｄは、光点Ｐ４から、ちょうどマイクロレンズ２３ｇの大きさ３２に広がってマイクロレンズアレイ２１に入射する。このとき、図９（ｂ）に示すように、光束４０ａは領域４１ａに、光束４０ｂは領域４１ｂに、光束４０ｃは領域４１ｃに、光束４０ｄは領域４１ｄに、それぞれ入射する。そして、光束４０ａは撮像画素群４２ａに、光束４０ｂは撮像画素群４２ｂに、光束４０ｃは撮像画素群４２ｃに、光束４０ｄは撮像画素群４２ｄに、それぞれ入射する。

換言すると、第１領域１７ａを通過した光束４０ａと、第２領域１７ｂを通過した光束４０ｂと、第３領域１７ｃを通過した光束４０ｃと、第４領域１７ｄを通過した光束４０ｄは、光点Ｐ４を通過してマイクロレンズ２３ｇのそれぞれ異なる領域４１ａ〜４１ｄに入射し、それぞれ異なる撮像画素群４２ａ〜４２ｄに入射する。このとき、撮像画素群４２ａ〜４２ｄの受光出力は、いずれも光点Ｐ４に対応する受光出力であるが、その出力レベルはそれぞれ異なる。

例えば、撮像画素群４２ｂの受光出力は、減光フィルター１７の第２領域１７ｂを通過した光束４０ｂに基づく。第２領域１７ｂは、通過する光束の光量を２段分減衰させる。従って、撮像画素群４２ｂの受光出力は、撮像画素群４２ａの受光出力に比べて、２段分低くなる。同様に、撮像画素群４２ａの受光出力を基準にすると、撮像画素群４２ｃの受光出力は４段分、撮像画素群４２ｄの受光出力は８段分低くなる。

従って、光点Ｐ４に対応する被写体部分が大きな光量を有している（その被写体部分から撮影光学系１０に向かう被写体光が大きな光量を有している）場合、撮像画素群４２ａの受光出力が飽和し、いわゆる白飛びが発生した状態となっても、撮像画素群４２ｂ〜４２ｄの受光出力は飽和せず、光点Ｐ４に関する情報を保持している。第１画像合成部２０ａは、光点Ｐ４に対応する合成画素を作成するにあたり、減光フィルター１７を考慮して撮像画素群４２ａ〜４２ｄの受光出力を積算する。

具体的には、撮像画素群４２ａの受光出力と、２倍の係数を掛けた撮像画素群４２ｂの受光出力と、３倍の係数を掛けた撮像画素群４２ｃの受光出力と、４倍の出力を掛けた撮像画素群４２ｄの受光出力と、の総和を演算し、その総和を撮像画素群４２ａ〜４２ｄに含まれる撮像画素２４の個数で割ることにより、撮像画素２４ごとの受光出力の平均値を求める。そして、この平均値を光点Ｐ４に対応する合成画素の画素値とする。

このように、１つの光点Ｐ４に対して、減衰率が異なる複数の領域を通過した光束に基づき合成画素を作成することにより、光量が飽和してその光点Ｐ４に関する情報が失われてしまうことを防止することができる。逆に、１つの光点Ｐ４について、撮像画素群４２ｄの受光出力が極めて小さく、いわゆる黒つぶれの状態になってしまうような場合であっても、同様に、撮像画素群４２ａ〜４２ｃの受光出力からその光点Ｐ４に対応する合成画素を作成することができ、光点Ｐ５に関する情報が失われてしまうことを防止することができる。なお、いわゆる白飛びや黒つぶれの状態に対処するためには、撮影時の露出を減衰率の最も高い領域、すなわち第４領域１７ｄに合わせることが望ましい。

第１画像合成部２０ａは、上述した合成画素の画素値を求める際、受光出力が飽和した撮像画素を平均値の演算から除外する。例えば、光点Ｐ４に対応する撮像画素群４２ａ〜４２ｄとして、１００個の撮像画素２４が特定された場合を考える。各撮像画素２４からの受光出力を０〜２５５の数値で表すことにする（光量が多いほど数値が大きくなる）。このとき、撮像画素群４２ａに含まれる２つの撮像画素２４について、受光出力が２５５である、すなわち、光量が飽和している場合、第１画像合成部２０ａは、受光出力の総和を演算する際に、その２つの撮像画素２４の受光出力を総和に含めない。また、平均値を演算する際に、その２つの撮像画素２４を除く撮像画素２４の個数（９８）で受光出力の飽和を割る。

図１０は、図６と同様に、受光素子アレイ２２の受光面２５のうち、２５個のマイクロレンズ２３に被覆された部分をマイクロレンズアレイ２１側から見た平面図である。以下、図１０を用いて、画素合成処理により像面Ｓ５上の光点Ｐ５に対応する合成画素を作成する手順について説明する。

光点Ｐ５を通過した光束は、９個のマイクロレンズ２３に跨がって広がる。このとき、図９（ｂ）と同様に、各々のマイクロレンズ２３について、マイクロレンズ２３下の受光面２５に、減光フィルター１７の像が１８０度回転した状態で形成される。ここで、図６に示した９つの領域３３ｇ、３３ｈ、３３ｉ、３３ｊ、３３ｋ、３３ｍ、３３ｎ、３３ｐ、３３ｑと減光フィルター１７の像を図１０に示すように重ね合わせれば、減光フィルター１７の各領域を通過し光点Ｐ５を通過した光束がどの撮像画素２４に入射するかがわかる。

例えば、図６に示した領域３３ｈは、減光フィルター１７の第４領域１７ｄを通過した光束が入射する範囲の中に位置している。従って、領域３３ｈ内に配置された撮像画素２４の受光出力は、第４領域１７ｄに対応するものである。また、図６に示した領域３３ｉは、減光フィルター１７の第３領域１７ｃを通過した光束が入射する範囲と、第４領域１７ｄを通過した光束が入射する範囲とに跨がっている。従って、領域３３ｉのうち、第３領域１７ｃを通過した光束が入射する範囲３３ｉ２内に配置された撮像画素２４の受光出力が、第３領域１７ｃに対応するものであり、第４領域１７ｄを通過した光束が入射する範囲３３ｉ１内に配置された撮像画素２４の受光出力は、第４領域１７ｄに対応するものである。

以下、同様に、図１０に示した領域３３ｇ４、３３ｍ２、３３ｐ２、３３ｑ内に配置された撮像画素２４の受光出力は、第１領域１７ａに対応し、領域３３ｋ２、３３ｇ３、３３ｎ、３３ｐ１内に配置された撮像画素２４の受光出力は、第２領域１７ｂに対応し、領域３３ｊ、３３ｇ２、３３ｍ１内に配置された撮像画素２４の受光出力は、第３領域１７ｃに対応し、領域３３ｋ１、３３ｇ１内に配置された撮像画素２４の受光出力は、第４領域１７ｄに対応する。

第１画像合成部２０ａは、このようにして特定された、減光フィルター１７の各領域に対応する撮像画素２４について、上述した光点Ｐ４の場合と同様に画素合成処理を実行して、光点Ｐ５に対応する合成画素を作成する。

図１１は、第１画像合成部２０ａが実行する画像合成処理のフローチャートである。まずステップＳ５で、第１画像合成部２０ａは、合成対象の像面上における光点を１つ選択する。すなわち、その光点に対応する合成画素を１つ選択する。ステップＳ１０で、第１画像合成部２０ａは、ステップＳ５で選択した１つの光点について、前述のマイクロレンズ特定処理を実行する。これにより、その光点から出射した光束が入射する全てのマイクロレンズ２３が特定される。

ステップＳ２０で、第１画像合成部２０ａは、ステップＳ１０で特定された全てのマイクロレンズ２３について、前述の撮像画素特定処理を実行する。これにより、ステップＳ５で選択された光点から出射しそれらのマイクロレンズ２３を通過した光束が入射する全ての撮像画素２４が特定される。ステップＳ３０で、第１画像合成部２０ａは、変数Ｎ、Ｓをそれぞれ０に初期化する。変数Ｎは処理済の撮像画素２４の個数を表す変数であり、変数Ｓは撮像画素２４の受光出力の総和を表す変数である。

ステップＳ４０で第１画像合成部２０ａは、ステップＳ２０で特定された全ての撮像画素２４から、未処理の撮像画素２４を１つ選択する。ステップＳ５０で第１画像合成部２０ａは、ステップＳ４０で選択した１つの撮像画素２４の受光出力（以下、強度と称する）が飽和しているか否かを判定する。強度が飽和していた場合、第１画像合成部２０ａは処理をステップＳ８０に進め、ステップＳ６０〜Ｓ７０の処理を実行しない。すなわち、今回選択した１つの撮像画素２４の受光出力は、合成画素の作成に利用されない。他方、強度が飽和していない場合、第１画像合成部２０ａは処理をステップＳ６０に進める。

ステップＳ６０で第１画像合成部２０ａは、ステップＳ４０で選択した１つの撮像画素２４が、減光フィルター１７のどの領域に対応するか、すなわち、１つの撮像画素２４に入射する光束は、減光フィルター１７のどの領域を通過した光束かを判定する。第１領域１７ａであった場合、処理はステップＳ６１に進み、変数αを１に設定する。同様に、第２領域１７ｂ、第３領域１７ｃ、第４領域１７ｄであった場合、処理はそれぞれステップＳ６２、Ｓ６３、Ｓ６４に進み、変数αをそれぞれ２、３、４に設定する。変数αは、ステップＳ４０で選択した１つの撮像画素２４の強度に対応する重み（係数）を格納するための変数である。

ステップＳ７０で第１画像合成部２０ａは、変数Ｎに１を加えると共に、変数Ｓに「ステップＳ４０で選択した１つの撮像画素２４の強度」×変数αを加える。つまり、「ステップＳ４０で選択した１つの撮像画素２４の強度」を、変数αにより重み付けする。ステップＳ８０で第１画像合成部２０ａは、ステップＳ４０において、ステップＳ２０で特定された全ての撮像画素２４が選択されたか、すなわち、ステップＳ２０で特定された全ての撮像画素２４について処理が完了したか否かを判定する。未処理の撮像画素２４が残っている場合、第１画像合成部２０ａは、処理をステップＳ４０に進める。他方、全ての撮像画素２４について処理が完了していた場合、第１画像合成部２０ａは、処理をステップＳ９０に進める。

ステップＳ９０で第１画像合成部２０ａは、変数Ｓを変数Ｎで割った結果を、ステップＳ５で選択した光点に対応する合成画素の画素値として、合成画素を作成する。変数Ｓには、多数の撮像画素２４の強度を、減光フィルター１７の減衰率により重み付けした値の合計値が格納されているので、ステップＳ９０で作成される合成画素は、各撮像画素２４に対して、減光フィルター１７の減衰率に対応する重みによる加重平均を演算した画素値を有すると言える。ステップＳ１００で第１画像合成部２０ａは、ステップＳ５において、合成対象の像面上の全ての光点が選択されたか否か、すなわち、全ての光点について対応する合成画素が作成されたか否かを判定する。対応する合成画素の作成されていない光点が残っている場合、第１画像合成部２０ａは、処理をステップＳ５に進める。他方、全ての光点について、対応する合成画素が作成された場合、図１０に示す処理は終了する。

以上の処理を実行することにより、第１画像合成部２０ａは、多数の合成画素から成る合成画像データを作成する。ここで作成される合成画像データは、撮像素子１５（受光素子アレイ２２）のダイナミックレンジよりも広いダイナミックレンジを有する、ハイダイナミックレンジ画像データである。

次に、第２画像合成部２０ｂが実行する画素合成処理について説明する。以下の説明でも第１画像合成部２０ａの説明と同様に、図５（ａ）に示した像面Ｓ４上の光点Ｐ４を例に挙げて画素合成処理を説明する。つまり、第２画像合成部２０ｂは、像面Ｓ４に対応する合成画像データを作成するものとし、像面Ｓ４上の光点Ｐ４に対応する合成画素を作成する方法を説明する。

第２合成部２０ｂは、減光フィルター１７が有する４つの領域（第１領域１７ａ〜第４領域１７ｄ）の各々に対応する４つの合成画像データを作成する。第１領域１７ａに対応する合成画像データは、第１領域１７ａを通過した光束が入射する撮像画素２４の受光出力に基づき作成され、第１領域１７ａの減衰率（すなわち０）に対応する露出設定を有する。同様に、第２領域１７ｂ、第３領域１７ｃ、第４領域１７ｄに対応する合成画像データは、それぞれ第２領域１７ｂ〜第４領域１７ｄを通過した光束が入射する撮像画素２４の受光出力に基づき作成され、第２領域１７ｂ〜第４領域１７ｄの減衰率（すなわち−２段、−４段、−８段）に対応する露出設定を有する。

基本的な考え方は、上述した第１合成部２０ａの場合と同様である。例えば、第１領域１７ａに対応する合成画像データの、光点Ｐ４に対応する合成画素は、図９（ｂ）に示す領域４１ａ内の撮像画素群４２ａからの受光出力を積算することにより作成される。同様に、第２領域１７ｂ〜第４領域１７ｄに対応する合成画像データの、光点Ｐ４に対応する合成画素は、図９（ｂ）に示す領域４１ｂ〜４１ｄ内の撮像画素群４２ｂ〜４２ｄからの受光出力を積算することにより作成される。

つまり、第１合成部２０ａは、１つの光点Ｐ４に対応する合成画素を、当該光点Ｐ４を通過した光束が入射する撮像画素２４の受光出力に基づき作成していたが、第２合成部２０ｂは、１つの光点Ｐ４に対応する（４つの合成画像データにおける）４つの合成画素を、それぞれ減光フィルター１７の特定の領域を通過し当該光点Ｐ４を通過した光束が入射する撮像画素２４の受光出力に基づき作成する。

このようにして作成された４つの合成画像データは、いわゆる露出オートブラケッティング撮影により得られる画像データと同様に、それぞれ異なる露出設定を有する。しかしながら、４つの合成画像データは、従来知られている露出オートブラケッティング撮影とは異なり、同一の撮影時間（露光時間）において撮影したものであり、例えば動きの激しい被写体を撮影した場合であっても、各々の合成画像データの内容にはずれが生じない。

上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）減光フィルター１７は、第１減衰率（０段分）で入射光を減衰する第１領域１７ａと、第１減衰率とは異なる第２減衰率（２段分）で入射光を減衰する第２領域１７ｂとを有し、撮影光学系１０の絞り位置近傍に配置される。マイクロレンズアレイ２１は、第１領域１７ａを通過した第１光束４０ａと第２領域１７ｂを通過した第２光束４０ｂとが入射するよう二次元状に配置された複数のマイクロレンズ２３を有する。受光素子アレイ２２は、複数のマイクロレンズ２１の各々について、当該マイクロレンズ２１を通過した第１光束４０ａと第２光束４０ｂとをそれぞれ受光する第１受光素子と第２受光素子とを含む複数の撮像画素２４を有する。第２画像合成部２０ｂは、第１領域１７ａを通過した第１光束４０ａによる合成画像データ（第１画像データ）を、複数の第１受光素子の受光出力に基づき作成する第１画像作成部として機能すると共に、第２領域１７ｂを通過した第２光束４０ｂによる合成画像データ（第２画像データ）を、複数の第２受光素子の受光出力に基づき作成する第２画像作成部として機能する。このようにしたので、撮影時間のずれを生じさせずに、複数の露出条件下における受光出力を得ることができる。また、複数の露出条件下における受光出力に基づく複数の画像データを、撮影時間のずれを生じさせずに作成することができる。

（２）減光フィルター１７は、第１減衰率（０段分）で入射光を減衰する第１領域１７ａと、第１減衰率とは異なる第２減衰率（２段分）で入射光を減衰する第２領域１７ｂとを有し、撮影光学系１０の絞り位置近傍に配置される。マイクロレンズアレイ２１は、第１領域１７ａを通過した第１光束４０ａと第２領域１７ｂを通過した第２光束４０ｂとが入射するよう二次元状に配置された複数のマイクロレンズ２３を有する。受光素子アレイ２２は、複数のマイクロレンズ２３の各々について、当該マイクロレンズ２３を通過した第１光束４０ａと第２光束４０ｂとをそれぞれ受光する第１受光素子と第２受光素子とを含む複数の撮像画素２４を有する。第１画像合成部２０ａは、同一被写体部分から出射し第１領域１７ａおよび第２領域１７ｂをそれぞれ通過した第１光束４０ａおよび第２光束４０ｂをマイクロレンズアレイ２１を介して受光した第１受光素子の受光出力および第２受光素子の受光出力を合成して、ハイダイナミックレンジ画像データを作成する。このようにしたので、撮影時間のずれを生じさせずに、複数の露出条件下における受光出力を得ることができる。また、複数の露出条件下における受光出力を合成したハイダイナミックレンジ画像データを、撮影時間のずれを生じさせずに作成することができる。

（３）第１画像合成部２０ａは、同一被写体部分から出射した第１光束４０ａおよび第２光束４０ｂが入射する第１受光素子および第２受光素子の受光出力に対して、それぞれ第１減衰率および第２減衰率に対応する重み（変数αに格納された係数）による加重平均を演算することにより、ハイダイナミックレンジ画像データを作成する。このようにしたので、受光素子アレイ２２のダイナミックレンジより広いダイナミックレンジを有するハイダイナミックレンジ画像データを、撮影時間のずれを生じさせずに作成することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
以上では、互いに減衰率が異なる４つの領域（第１領域１７ａ〜第４領域１７ｄ）を設けた減光フィルター１７を有し、任意焦点面の画像を合成する機能を備えた撮像装置に本発明を適用した実施形態について説明したが、本発明はこのような実施形態に限定されない。

例えば、図１２（ａ）に示すように、減光フィルター１７に２つの領域１７ｅ、１７ｆのみを設け、図１２（ｂ）に示すように１つのマイクロレンズ２３に２つの撮像画素２４を設けた場合であっても、撮像素子１５のダイナミックレンジよりも広いダイナミックレンジを有する画像データを作成することができる。つまり、減光フィルター１７に設けられた減衰率の異なる領域は２つ以上であれば何個であってもよいし、マイクロレンズ２３あたりの撮像画素２４の個数についても同様である。

また、減光フィルター１７に設けた領域の配置は、図８に示したものとは異なっていてよい。例えば図１３（ａ）のように同心円状にしたり、図１３（ｂ）のように短冊状にしてもよい。また、各領域の減衰率を、グラデーション状に変化させてもよい。例えば図１３（ｃ）のように、左右に連続的に減衰率が変化するようにしてもよいし、図１３（ｄ）のように、時計回りに連続的に減衰率が変化するようにしてもよい。また、同心円状に連続的に減衰率が変化するようにしてもよい。

また、図１２（ｂ）に示すように、予定焦点面Ｓ６をマイクロレンズの頂点近傍とし、合成画素に対応する光点をこの予定焦点面上に設定して、任意焦点面の画像を合成する機能を持たない撮像装置に本発明を適用してもよい。この場合、撮影光学系１０には焦点調節用のフォーカシングレンズを持たせ、絞り１４は絞り径を調節可能に構成することが望ましい。また、減光フィルター１７は、絞り１４の近傍（前後）、すなわち射出瞳位置近傍に設置すればよい。

なお、絞り径が可変な絞り１４を用いる場合、減光フィルター１７に設けられた各々の領域は、図８や図１３（ｄ）のように、絞り径が変化しても各領域の面積比が変化しない配置とすることが望ましい。例えば図１３（ａ）のように、各領域を同心円状に配置すると、絞り１４を絞り込んだとき、最外周に配置された第４領域１７ｄが蹴られてしまう。これにより、第４領域１７ｄを通過してマイクロレンズアレイ２１に到達する被写体光が存在しなくなってしまう。

（変形例２）
減光フィルター１７が有する各領域を、特定の偏光成分だけを透過する領域としてもよい。例えば、減光フィルター１７に、入射光をほぼそのまま通す第１領域と、入射光のうち第１方向に関する直線偏光成分のみを透過する第２領域と、入射光のうち第１方向に直交する第２方向に関する直線偏光成分のみを透過する第３領域とを設ける。このようにすると、入射光の全偏光成分が入射する画素と、入射光の第１方向に関する直線偏光成分のみが入射する画素と、入射光の第２方向に関する直線偏光成分のみが入射する画素とを弁別することができるので、被写体光の偏光状態を記憶することが可能になる。仮に、ある光点からの光量が大きく、その光点から出射し第１領域を通過した光束が入射する画素の画素出力が飽和してしまう（白飛び状態になってしまう）場合であっても、第２領域を通過した光束が入射する画素や、第３領域を通過した光束が入射する画素の画素出力は、被写体光が特定の偏光成分しか有していない場合を除き、第１領域に対応する画素の画素出力に比べて小さいはずである。従って、上述した第１の実施の形態の場合と同様に、牌ダイナミックレンジ画像データを作成することができる。更に、表面反射光等の偏光成分を判別することもできるので、出力画像に対して良好な補正を行うことが可能になる。

なお、直線偏光だけでなく、円偏光も考慮した構成とすることもできる。例えば、減光フィルター１７に、入射光をほぼそのまま通す第１領域と、入射光のうち第１方向に関する直線偏光成分のみを透過する第２領域と、入射光のうち第１方向に直交する第２方向に関する直線偏光成分のみを透過する第３領域と、入射光のうち右円偏光成分のみを透過する第４領域と、入射光のうち左円偏光成分のみを透過する第５領域とを設けることもできる。

（変形例３）
第１画像合成部２０ａが、受光素子アレイ２２の受光出力から直接ハイダイナミックレンジ画像データを作成するのではなく、第２画像合成部２０ｂにより作成された、互いに露出設定が異なる４つの合成画像データを、周知の方法で合成し、ハイダイナミックレンジ画像データを作成するようにしてもよい。例えば、４つの合成画像データに対して、それらの合成画像データを構成する各画素の平均値を取って合成する。このとき、図１１に示した処理と同様に、変数αに格納される係数を変えたり、飽和している画素を除外したりすれば、ハイダイナミックレンジ画像データを作成することができる。

（変形例４）
減光フィルター１７の各領域の減衰率を可変にしてもよい。例えば減光フィルター１７を複数のセグメントを有する液晶等で構成すれば、各セグメントに印加する電圧を切り替えることで、各セグメントの透過率（すなわち減光フィルター１７の減衰率）を変化させることができる。また、各領域の減衰率や各領域の配置が異なる複数種類の減光フィルター１７をデジタルカメラ１に内蔵させ、それらを機械的に切り替える構成とすることもできる。

（変形例５）
画像合成機能を撮像装置の外部に設けてもよい。例えば、デジタルカメラ１は撮像素子１５の受光出力をそのままの形で記憶媒体等に記憶し、その記憶された受光出力が入力される入力部を有する画像処理装置を用意する。この画像処理装置は、例えば上述した画像合成処理を含むプログラムを読み込んで実行するパソコンであり、上述した画像合成処理を実行することにより合成画像データを作成する画像合成部を有する。また、受光出力は記憶媒体ではなく、ネットワークを介して画像処理装置に入力するようにしてもよい。

（変形例６）
マイクロレンズ２３の配列および形状は、実施の形態で述べたものに限定されない。例えば、略正六角形の形状を有するマイクロレンズ２３を、いわゆるハニカム状に配列してもよい。また、撮像画素２４の配列および形状についても同様である。例えば、マイクロレンズ２３により被覆される撮像画素２４が、マイクロレンズ２３毎に分離していてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…デジタルカメラ、１０…撮影光学系、１５…撮像素子、１７…減光フィルター、２０…画像合成部、２１…マイクロレンズアレイ、２２…受光素子アレイ、２３…マイクロレンズ、２４…撮像画素

Claims (9)

1. 入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、
   前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、
   前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、
   前記第１領域を通過した前記第１光束による第１画像データを、複数の前記第１受光素子の受光出力に基づき作成する第１画像作成部と、
   前記第２領域を通過した前記第２光束による第２画像データを、複数の前記第２受光素子の受光出力に基づき作成する第２画像作成部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第１画像作成部により作成された前記第１画像データと前記第２画像作成部により作成された前記第２画像データとを合成して、ハイダイナミックレンジ画像データを作成する画像合成部を備える撮像装置。
3. 請求項２に記載の撮像装置において、
   前記画像合成部は、同一被写体部分に対応する前記第１画像データの画素と前記第２画像データの画素とに対して、それぞれ前記第１領域の減衰率および前記第２領域の減衰率に対応する重みによる加重平均を演算することにより、前記ハイダイナミックレンジ画像データを作成する撮像装置。
4. 入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、
   前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、
   前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、
   同一被写体部分から出射し前記第１領域および前記第２領域をそれぞれ通過した前記第１光束および前記第２光束を前記マイクロレンズアレイを介して受光した前記第１受光素子の受光出力および前記第２受光素子の受光出力を合成して、ハイダイナミックレンジ画像データを作成する画像合成部と、
   を備える撮像装置。
5. 請求項４に記載の撮像装置において、
   前記画像合成部は、同一被写体部分から出射した前記第１光束および前記第２光束が入射する前記第１受光素子および前記第２受光素子の受光出力に対して、それぞれ前記第１領域の減衰率および前記第２領域の減衰率に対応する重みによる加重平均を演算することにより、前記ハイダイナミックレンジ画像データを作成する撮像装置。
6. 入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力部と、
   前記第１領域を通過した前記第１光束による第１画像データを、前記入力部に入力された前記複数の第１受光素子の受光出力に基づき作成する第１画像作成部と、
   前記第２領域を通過した前記第２光束による第２画像データを、前記入力部に入力された前記複数の第２受光素子の受光出力に基づき作成する第２画像作成部と、
   を備える画像処理装置。
7. 入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力部と、
   前記入力部に入力された、同一被写体部分から出射し前記第１領域および前記第２領域をそれぞれ通過した前記第１光束および前記第２光束を前記マイクロレンズアレイを介して受光した前記第１受光素子の受光出力および前記第２受光素子の受光出力を合成して、ハイダイナミックレンジ画像データを作成する画像合成部と、
   を備える画像処理装置。
8. 入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力ステップと、
   前記第１領域を通過した前記第１光束による第１画像データを、前記入力ステップにおいて入力された前記複数の第１受光素子の受光出力に基づき作成する第１画像作成ステップと、
   前記第２領域を通過した前記第２光束による第２画像データを、前記入力ステップにおいて入力された前記複数の第２受光素子の受光出力に基づき作成する第２画像作成ステップと、
   をコンピュータに実行させる画像処理プログラム。
9. 入射光を減衰する第１領域と、前記第１領域とは異なる減衰率で入射光を減衰する第２領域とを有し、結像光学系の絞り位置近傍に配置された減光フィルターと、前記第１領域を通過した第１光束と前記第２領域を通過した第２光束とが入射するよう二次元状に配置された複数のマイクロレンズを有するマイクロレンズアレイと、前記複数のマイクロレンズの各々について、当該マイクロレンズを通過した前記第１光束と前記第２光束とをそれぞれ受光する第１受光素子と第２受光素子とを有する受光素子アレイと、を備える撮像装置から、複数の前記第１受光素子の受光出力および複数の前記第２受光素子の受光出力が入力される入力ステップと、
   前記入力ステップにおいて入力された、同一被写体部分から出射し前記第１領域および前記第２領域をそれぞれ通過した前記第１光束および前記第２光束を前記マイクロレンズアレイを介して受光した前記第１受光素子の受光出力および前記第２受光素子の受光出力を合成して、ハイダイナミックレンジ画像データを作成する画像合成ステップと、
   をコンピュータに実行させる画像処理プログラム。
   

Images