JP2017207695A - 光学装置 - Google Patents

Abstract

【課題】異なるサイズのマイクロレンズによる受光出力を好適に使い分ける光学装置を提供する。【解決手段】第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記第１マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により撮像光学系の焦点評価値を演算する第１演算部と、前記第２マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により前記撮像光学系の焦点評価値を演算する第２演算部と、を備える光学装置。【選択図】図２

Description

本発明は、光学装置に関する。

所定範囲内の任意の像面に焦点のあった画像を合成する画像合成装置が知られている（例えば、特許文献１）。従来より、異なるサイズのマイクロレンズを混在させたマイクロレンズアレイを実現したいという要求があった。

特表２００８−５１５１１０号公報

本発明の第１の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記第１マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により撮像光学系の焦点評価値を演算する第１演算部と、前記第２マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により前記撮像光学系の焦点評価値を演算する第２演算部と、を備える。
本発明の第２の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に対し、前記第１マイクロレンズと前記第２マイクロレンズとの光学特性の違いを補正する補正部と、前記補正部により補正された受光出力と、前記第２マイクロレンズを通過した光を受光した画素群からの受光出力と、により被写体画像を合成する画像合成部と、を備える。
本発明の第３の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて所定像面の第１部分被写体像を合成する第１画像合成部と、前記第２マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記所定像面の第２部分被写体像を合成する第２画像合成部と、前記第１画像合成部による前記第１部分被写体像と、前記第２画像合成部による前記第２部分被写体像とから前記所定像面の被写体像を合成する第３画像合成部と、を備える。
本発明の第４の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサとを備え、前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離とが等しい。

撮像装置の構成を模式的に示す断面図 焦点検出装置の構成を模式的に示す説明図 第１焦点検出処理の説明図 第２焦点検出処理の説明図 撮像装置の構成を模式的に示す断面図 撮像素子の構成を模式的に示す説明図 合成対象の像面上の光点からの光束と撮像素子とを模式的に示した断面図 第１画像合成処理の説明図

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置１は、いわゆる一眼レフレックス方式のデジタルカメラである。撮像装置１は、カメラボディ１００および交換レンズ２００を含む。交換レンズ２００には、複数のレンズ２０２、２０３、２０４から構成される撮像光学系２０５が設けられる。なお、図１では撮像光学系２０５を３つのレンズにより構成されるかのように図示しているが、いくつのレンズで構成されるようにしてもよい。

撮像光学系２０５に含まれるレンズ２０３は、撮像光学系２０５の焦点位置を調節するフォーカスレンズである。フォーカスレンズ２０３は、不図示のアクチュエータにより撮像光学系２０５の光軸Ｏに沿った方向Ｘに駆動される。

カメラボディ１００は、撮像光学系２０５により結像された被写体像を撮像する、ＣＣＤやＣＭＯＳ等の撮像素子１０２を有する。撮像素子１０２は、撮像面が撮像光学系２０５の予定焦点面と一致するように配置される。カメラボディ１００内の、撮像光学系２０５と撮像素子１０２の撮像面との間には、クイックリターンミラー１０３が設置される。非撮影時、クイックリターンミラー１０３は撮像光学系２０５の光路上に存在し、被写体光をフォーカシングスクリーン１０４およびペンタプリズム１０５の方向に反射する。撮影者は、ファインダー部１０７から接眼レンズ１０６を介して被写体像を視認することができる。

クイックリターンミラー１０３の裏面には、サブミラー１０８が設置される。クイックリターンミラー１０３の表面（反射面）はハーフミラー加工されており、そこに入射した被写体光はクイックリターンミラー１０３を透過してサブミラー１０８に入射する。サブミラー１０８はこの光束をカメラボディ１００の下方に反射させる。カメラボディ１００の下方には、撮像光学系２０５の焦点検出を行う焦点検出装置１０９が設けられる。

カメラボディ１００は、マイクロプロセッサやその周辺回路から成る制御部１０１を備える。制御部１０１は、不図示のメモリに予め記憶されている所定の制御プログラムを読み込んで実行することにより、撮像装置１の各部を制御する。なお、制御部１０１を、上記の制御プログラム相当の動作を行う電子回路により構成してもよい。

所定の自動焦点調節操作（例えば、不図示のレリーズスイッチの半押し操作）がなされると、制御部１０１は後述する自動焦点調節（ＡＦ）処理を実行する。このＡＦ処理により、フォーカスレンズ２０３が駆動され、被写体にピントが合わせられる。

所定の静止画撮影操作（例えば、不図示のレリーズスイッチの全押し操作）がなされると、制御部１０１は撮像制御を行う。このとき制御部１０１は、クイックリターンミラー１０３およびサブミラー１０８を、図１に示す遮光位置から被写体光を遮らない退避位置に移動させた後、不図示のシャッター等を制御し、撮像素子１０２に被写体像を撮像させる。制御部１０１は、撮像素子１０２から出力される撮像信号に種々の画像処理を加え、静止画像データを生成して不図示の記憶媒体（例えばメモリカード等）に記憶する。

カメラボディ１００の背面には、例えば液晶等の表示素子により構成されるモニター１１０が設けられている。制御部１０１はこのモニター１１０を用いて、例えば撮影した静止画像データや動画像データの再生、撮影パラメータ（Ｆ値やシャッタースピード等）の設定メニューの表示、動画撮影中のスルー画の表示などを行う。

図２は、焦点検出装置１０９の構成を模式的に示す説明図である。図２（ａ）は焦点検出装置１０９をサブミラー１０８側から見た平面図であり、図２（ｂ）は焦点検出装置１０９を図１と同様の視点から見た断面図である。焦点検出装置１０９は、図２（ｂ）に示すマイクロレンズアレイ２２１および受光素子アレイ２２２を備える。図２（ａ）では、マイクロレンズアレイ２２１と受光素子アレイ２２２を重畳して図示している。

マイクロレンズアレイ２２１は、複数の第１マイクロレンズ２２３ａと、複数の第２マイクロレンズ２２３ｂとを備える。以下の説明では、第１マイクロレンズ２２３ａと第２マイクロレンズ２２３ｂとをマイクロレンズ２２３と総称する。

マイクロレンズ２２３は、円形の外形形状を有する。第１マイクロレンズ２２３ａの直径ｗ１は、第２マイクロレンズ２２３ｂの直径ｗ２の半分である。なお、説明の便宜上、直径ｗ１は直径ｗ２の半分とするが、直径ｗ１と直径ｗ２は異なっていればよく、半分である必要はない。また、マイクロレンズ２２３は円形形状である必要はなく、四角形、六角形、八角形などでもよい。第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂは、同一の焦点距離ｆを有する。受光素子アレイ２２２の受光面は、第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂの主平面から焦点距離ｆだけ離れた位置に設けられる。

第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂが同一の焦点距離ｆを有するようにするため、本実施の形態では、第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂの曲率を同一にしている。また、受光素子アレイ２２２の受光面は均一であることが望ましいため、第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂの主平面を同一平面にしている。これにより、隣り合う第１マイクロレンズ２２３ａと第２マイクロレンズ２２３ｂとの間に存在する凹部と主平面との光軸方向の距離ｄ２が、隣り合う２つの第１マイクロレンズ２２３ａの間に存在する凹部と主平面との光軸方向の距離ｄ１よりも大きくなっている。

受光素子アレイ２２２は、二次元状に配列された複数の受光素子２２４を有する。マイクロレンズ２２３を通過した被写体光は、複数の受光素子２２４のうち、そのマイクロレンズ２２３に対応する一部の受光素子２２４に入射する。以下の説明では、ここで述べた各々のマイクロレンズ２２３に対応する「一部の受光素子２２４」を、受光素子群２２５と称し、第１マイクロレンズ２２３ａに対応する受光素子群２２５を第１受光素子群２２５ａ、第２マイクロレンズ２２３ｂに対応する受光素子群２２５を第２受光素子群２２５ｂと称する。１つの第１マイクロレンズ２２３ａには１つの第１受光素子群２２５ａが対応し、１つの第２マイクロレンズ２２３ｂには１つの第２受光素子群２２５ｂが対応する。

なお、図２（ａ）および図２（ｂ）には、焦点検出装置１０９の一部のみを図示している。すなわち、図２（ａ）および図２（ｂ）には、マイクロレンズアレイ２２１および受光素子アレイ２２２の一部のみが図示されている。実際には、マイクロレンズアレイ２２１は図２に図示した数よりも多くのマイクロレンズ２２３を有しており、受光素子アレイ２２２は図２に図示した数よりも多くの受光素子２２４を有している。

１つのマイクロレンズ２２３に対応する受光素子群２２５には、複数の受光素子２２４が含まれている。換言すると、マイクロレンズ２２３を通過した被写体光は、マイクロレンズ２２３ごとに、複数の受光素子２２４に入射する。例えば図２では、１つの第１マイクロレンズ２２３ａは、５×５の計１５個の受光素子２２４を被覆している。換言すると、図２では、１つのマイクロレンズ２２３ａは、５×５の計１５個の受光素子２２４からなる１つの第１受光素子群２２５ａに対応している。

マイクロレンズアレイ２２１および受光素子アレイ２２２は、あるマイクロレンズ２２３に入射した被写体光と、別のマイクロレンズ２２３に入射した被写体光が、同一の受光素子２２４に入射しないように構成される。つまり、受光素子群２２５同士が互いに重複しないように構成される。

例えば、撮像光学系２０５のＦ値が、マイクロレンズ２２３のＦ値よりも小さいと、マイクロレンズ２２３に入射した被写体光がマイクロレンズ２２３の径よりも大きい範囲に広がってしまう。そのため、撮像光学系２０５のＦ値をマイクロレンズ２２３のＦ値以上の値にしてもよい。また、隣り合うマイクロレンズ２２３の間に隔壁を設けても良い。また、撮像光学系２０５をテレセントリック光学系とすれば、急峻な角度でマイクロレンズ２２３に入射する光が存在しなくなり、同様の効果が得られる。

図２（ａ）に例示するように、第２マイクロレンズ２２３ｂは、マイクロレンズアレイ２２１中に、２つずつ離散的に配置されている。つまり、マイクロレンズアレイ２２１中には複数の第１マイクロレンズ２２３ａが二次元状に正方配列されており、そのうちの一部の第１マイクロレンズ２２３ａが、互いに隣接するように配置された一対の第２マイクロレンズ２２３ｂにより置き換えられている。

焦点検出装置１０９は、第１焦点検出処理および第２焦点検出処理の２種類の焦点検出処理を実行可能に構成されている。第１焦点検出処理は、第１受光素子群２２５ａの受光出力（すなわち第１マイクロレンズ２２３ａを通過した光束の光電変換結果）を用いる焦点検出処理である。第２焦点検出処理は、第２受光素子群２２５ｂの受光出力（すなわち第２マイクロレンズ２２３ｂを通過した光束の光電変換結果）を用いる焦点検出処理である。以下、第１焦点検出処理および第２焦点検出処理について説明する。

図３は、第１焦点検出処理の説明図である。図３（ａ）は１つの第１マイクロレンズ２２３ａおよび第１受光素子群２２５ａをサブミラー１０８側から見た平面図であり、図３（ｂ）は焦点検出装置１０９を図１と同様の視点から見た断面図である。

第１焦点検出処理において、焦点検出装置１０９は、図３（ａ）に斜線で示した範囲にある計６個の受光素子２２４の受光出力を、複数の第１受光素子群２２５ａから集めることで、焦点検出を行う。これら６個の受光素子２２４は、３つの受光素子２２４Ｌおよび３つの受光素子２２４Ｒから成る。３つの受光素子２２４Ｌおよび３つの受光素子２２４Ｒは、第１マイクロレンズ２２３ａの光軸を通る直線Ｌについて線対称な位置に配置されている。なお、計６個の受光素子２２４を焦点検出に用いることは一例であり、これに限定されない。受光素子群２２５に含まれる受光素子２２４の数に基づいて、任意に決定することができる。

例えば、図３（ｂ）に例示した８つの第１マイクロレンズ２２３ａの各々について、焦点検出装置１０９は、３つの受光素子２２４Ｌの受光出力を加算した信号ａ（０）、ａ（１）、ａ（２）、…、ａ（７）と、３つの受光素子２２４Ｒの受光出力を加算した信号ｂ（０）、ｂ（１）、ｂ（２）、…、ｂ（７）とを、それぞれ取得する。焦点検出装置１０９は、このようにして取得された一対の信号列ａ（ｉ）、ｂ（ｉ）との間で相関演算を行い、相関量を算出する（ｉ＝０〜７）。ここで、相関量の算出は、一般に知られた演算を用いることができる。焦点検出装置１０９は、ａ（ｉ）とｂ（ｉ）とを少しずつシフトさせて繰り返し相関演算を行い、シフト量ごとの相関量を算出する。焦点検出装置１０９は、相関量が極大となるシフト量を特定する。ここで特定されるシフト量は、撮像光学系２０５のデフォーカス量に対応しているので、このシフト量からデフォーカス量を求めることができる。

第１焦点検出処理は、デフォーカス量が所定の範囲内で精度の良い焦点検出が可能である。デフォーカス量が極端に大きい場合、第１焦点検出処理では焦点検出に失敗したり、信頼性が低い焦点検出結果しか得られなかったりする。

なお、一対の信号列ａ（ｉ）、ｂ（ｉ）を得るために用いられる３つの受光素子２２４Ｌおよび３つの受光素子２２４Ｒは、第１受光素子群２２５ａの中で任意に決定することができる。例えば、２つの受光素子２２４Ｌおよび２つの受光素子２２４Ｒから一対の信号列ａ（ｉ）、ｂ（ｉ）を得てもよい。なお、受光素子２２４Ｌおよび受光素子２２４Ｒは、それぞれ４つ以上としてもよいし、それぞれ１つとしても良い。

図４は、第２焦点検出処理の説明図である。図４（ａ）は１つの第２マイクロレンズ２２３ｂおよび第２受光素子群２２５ｂをサブミラー１０８側から見た平面図であり、図４（ｂ）は焦点検出装置１０９を図１と同様の視点から見た断面図である。

第２焦点検出処理において、焦点検出装置１０９は、図４（ａ）に斜線で示した範囲にある計１０個の受光素子２２４Ｃの受光出力を、隣接する２つの第２受光素子群２２５ｂからそれぞれ取得することで、焦点検出を行う。１０個の受光素子２２４Ｃは、２つの第２マイクロレンズ２２３ｂの配列方向（紙面のｚ方向）に沿って配列されている。なお、１０個の受光素子２２４を焦点検出に用いることは一例であり、これに限定されない。受光素子群２２５に含まれる受光素子２２４の数に基づいて、任意に決定することができる。

例えば、図４（ｂ）に例示した２つの第２マイクロレンズ２２３ｂについて、焦点検出装置１０９は、一方の第２マイクロレンズ２２３ｂに対応する１０個の受光素子２２４Ｃの受光出力を信号ａ（０）、ａ（１）、ａ（２）、…、ａ（９）として、他方の第２マイクロレンズ２２３ｂに対応する１０個の受光素子２２４Ｃの受光出力を信号ｂ（０）、ｂ（１）、ｂ（２）、…、ｂ（９）として、それぞれ取得する。焦点検出装置１０９は、このようにして取得された一対の信号列ａ（ｉ）、ｂ（ｉ）との間で相関演算を行い、相関量を算出する（ｉ＝０〜９）。ここで、相関量の算出は、一般に知られた演算を用いることができる。焦点検出装置１０９は、ａ（ｉ）とｂ（ｉ）とを少しずつシフトさせて繰り返し相関演算を行い、シフト量ごとの相関量を算出する。焦点検出装置１０９は、相関量が極大となるシフト量を特定する。ここで特定されるシフト量は、撮像光学系２０５のデフォーカス量に対応しているので、このシフト量からデフォーカス量を求めることができる。

第２焦点検出処理は、デフォーカス量が所定の値以上で精度の良い焦点検出が可能である。デフォーカス量が極端に小さい場合、第２焦点検出処理では焦点検出に失敗したり、信頼性が低い焦点検出結果しか得られなかったりする。

なお、一対の信号列ａ（ｉ）、ｂ（ｉ）を得るために用いられる１０個の受光素子２２４Ｃは、第１焦点検出処理の場合と同様に、第２受光素子群２２５ｂの中で任意に決定することができる。例えば、１０個より少ない個数の受光素子２２４を、焦点検出に用いる受光素子２２４Ｃとしてもよい。また、受光素子２２４Ｃは、必ずしも連続していなくてもよく、離散的に受光素子２２４Ｃを選択してもよい。

焦点検出装置１０９は、以上で説明した第１焦点検出処理および第２焦点検出処理を、順次もしくは並行して実行する。デフォーカス量が大きい場合には、第２焦点検出処理により信頼性の高い焦点検出結果が得られる。デフォーカス量が小さい場合には、第１焦点検出処理により信頼性の高い焦点検出結果が得られる。つまり、撮像光学系２０５の現在の焦点調節状態によらず、信頼性の高い焦点検出結果が得られる。焦点検出装置１０９は、デフォーカス量が大きい場合には、第２焦点検出処理により検出されたデフォーカス量（焦点評価値）を最終的なデフォーカス量として採用する（出力する）。焦点検出装置１０９は、デフォーカス量が小さい場合には、第１焦点検出処理により検出されたデフォーカス量（焦点評価値）を最終的なデフォーカス量として採用する（出力する）。制御部１０１は、焦点検出装置１０９により採用された（出力された）デフォーカス量に基づき、フォーカスレンズ２０３の駆動量を決定する。制御部１０１は、決定した駆動量だけフォーカスレンズ２０３を駆動し、撮像光学系２０５の焦点調節を行う。
なお、第１焦点検出処理および第２焦点検出処理は、設定によりいずれか一方の処理だけを動作するように構成することもできる。

上述した実施の形態によれば、次の作用効果が得られる。
（１）マイクロレンズアレイ２２１は、直径ｗ１の第１マイクロレンズ２２３ａと、直径ｗ２の第２マイクロレンズ２２３ｂとを有する。焦点検出装置１０９は、第１マイクロレンズ２２３ａを通過する光を受光した第１受光素子群２２５ａの受光出力により撮像光学系２０５の焦点評価値を演算する。焦点検出装置１０９は、第２マイクロレンズ２２３ｂを通過する光を受光した第２受光素子群２２５ｂの受光出力により撮像光学系２０５の焦点評価値を演算する。このように、サイズが異なる２種類のマイクロレンズを使い分けるようにしたので、撮像光学系２０５の現在の焦点調節状態によらず、信頼性の高い焦点検出結果が得られる。サイズが異なる２種類のマイクロレンズとは、本実施の形態で例示した円形形状のマイクロレンズ２２３においては、レンズの直径または半径が異なるマイクロレンズのことである。また、マイクロレンズ２２３が、四角形、六角形、八角形などの場合には、相似関係にあるマイクロレンズのことである。すなわち、サイズが異なる２種類のマイクロレンズとは、一方のマイクロレンズと、一方のマイクロレンズを光軸に垂直な平面上で一定の比率で一様に拡大または縮小して得られるマイクロレンズと、のことである。サイズが異なる２種類のマイクロレンズとは、例えば、直径が２０μｍの円形形状のマイクロレンズと直径が４０μｍの円形形状のマイクロレンズである。また、例えば、一辺が２０μｍの正方形状のマイクロレンズと一辺が４０μｍの正方形状のマイクロレンズである。なお、サイズが異なる２種類のマイクロレンズは、必ずしも相似形状である必要はなく、例えば、直径が２０μｍの円形形状のマイクロレンズと一辺が４０μｍの正方形状のマイクロレンズであっても良い。

（２）焦点検出装置１０９は、第１焦点検出処理により演算された焦点評価値および第２焦点検出処理により演算された焦点評価値のいずれか一方を出力する。このようにしたので、信頼性の高い焦点評価値を出力する焦点検出装置を提供することができる。

（３）制御部１０１は、焦点検出装置１０９によって出力された焦点評価値により撮像光学系２０５の焦点調節を行う。このようにしたので、従来よりも精度よく焦点調節を行うことができる。

（４）焦点検出装置１０９は、第１焦点検出処理において、複数の第１マイクロレンズ２２３ａの各々について対応する第１受光素子群２２５ａの受光出力から一対の信号を取り出し、取り出された複数の一対の信号から一対の信号列ａ（ｉ）、ｂ（ｉ）を生成して位相差演算を行う。焦点検出装置１０９は、第２焦点検出処理において、第２受光素子群２２５ｂの受光出力から信号列を取り出し、一対の前記第２マイクロレンズから取り出された一対の信号列を用いて位相差演算を行う。このようにしたので、２種類の焦点検出方式により、信頼性の高い焦点検出結果が得られる。

（第２の実施の形態）
図５は、第２の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置２は、第１の実施の形態に係る撮像装置１とは異なり、クイックリターンミラー１０３を有していない。つまり、撮像装置２は、いわゆる一眼レフレックス方式のデジタルカメラではない。

撮像装置２は、カメラボディ３００および交換レンズ４００を含む。交換レンズ４００には、複数のレンズ４０２、４０３、４０４から構成される撮像光学系４０５が設けられる。なお、図５では撮像光学系４０５を３つのレンズにより構成されるかのように図示しているが、いくつのレンズで構成されるようにしてもよい。

カメラボディ３００は、撮像光学系４０５により結像された被写体像を撮像する、ＣＣＤやＣＭＯＳ等の撮像素子３０２を有する。撮像素子３０２の構成については後に詳述する。カメラボディ３００の背面には、例えば液晶等の表示素子により構成されるモニター３１０が設けられている。制御部３０１はこのモニター３１０を用いて、例えば撮影した静止画像データや動画像データの再生、撮影パラメータ（Ｆ値やシャッタースピード等）の設定メニューの表示、動画撮影中のスルー画の表示などを行う。

カメラボディ３００は、マイクロプロセッサやその周辺回路から成る制御部３０１を備える。制御部３０１は、不図示のメモリに予め記憶されている所定の制御プログラムを読み込んで実行することにより、撮像装置２の各部を制御する。なお、制御部３０１を、上記の制御プログラム相当の動作を行う電子回路により構成してもよい。

撮像装置２は、１回の撮像により撮像素子３０２から出力された撮像信号に基づき、任意の像面の画像を合成（生成）する、画像合成機能を有している。すなわち、撮像装置２はいわゆるリフォーカスカメラである。所定の静止画撮影操作（例えば、不図示のレリーズスイッチの全押し操作）がなされると、制御部３０１は撮像制御を行う。このとき制御部３０１は、撮像素子３０２に被写体像を撮像させ、撮像素子３０２から出力される撮像信号を不図示の記憶媒体（例えばメモリカード等）に記憶する。その後、ユーザが像面位置を指定すると、制御部３０１は指定された像面の画像を、不図示の記憶媒体に記憶されている撮像信号から合成する。合成された画像は、静止画像データとして不図示のメモリカードに記憶されたり、モニター３１０に表示されたりする。

図６は、撮像素子３０２の構成を模式的に示す説明図である。図６（ａ）は撮像素子３０２を撮像光学系４０５側から見た平面図であり、図６（ｂ）は撮像素子３０２の断面図である。撮像素子３０２は、図６（ｂ）に示すマイクロレンズアレイ４２１および受光素子アレイ４２２を備える。図６（ａ）では、マイクロレンズアレイ４２１と受光素子アレイ４２２を重畳して図示している。

マイクロレンズアレイ４２１は、複数の第１マイクロレンズ４２３ａと、複数の第２マイクロレンズ４２３ｂとを備える。以下の説明では、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとをマイクロレンズ４２３と総称する。

マイクロレンズ４２３は、円形の外形形状を有する。第１マイクロレンズ４２３ａの直径ｗ１は、第２マイクロレンズ４２３ｂの直径ｗ２の半分である。第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂは、同一の焦点距離ｆを有する。受光素子アレイ４２２の受光面は、第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂの主平面から焦点距離ｆだけ離れた位置に設けられる。

第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂが同一の焦点距離ｆを有するようにするため、本実施の形態では、第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂの曲率を同一にしている。また、受光素子アレイ４２２の受光面は均一であることが望ましいため、第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂの主平面を同一平面にしている。これにより、隣り合う第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの間に存在する凹部と主平面との光軸方向の距離ｄ２が、隣り合う２つの第１マイクロレンズ４２３ａの間に存在する凹部と主平面との光軸方向の距離ｄ１よりも大きくなっている。

受光素子アレイ４２２は、二次元状に配列された複数の受光素子４２４を有する。マイクロレンズ４２３を通過した被写体光は、複数の受光素子４２４のうち、そのマイクロレンズ４２３に対応する一部の受光素子４２４に入射する。以下の説明では、ここで述べた各々のマイクロレンズ４２３に対応する「一部の受光素子４２４」を、受光素子群４２５と称し、第１マイクロレンズ４２３ａに対応する受光素子群４２５を第１受光素子群４２５ａ、第２マイクロレンズ４２３ｂに対応する受光素子群４２５を第２受光素子群４２５ｂと称する。１つの第１マイクロレンズ４２３ａには１つの第１受光素子群４２５ａが対応し、１つの第２マイクロレンズ４２３ｂには１つの第２受光素子群４２５ｂが対応する。

なお、図６（ａ）および図６（ｂ）には、撮像素子３０２の一部のみを図示している。すなわち、図６（ａ）および図６（ｂ）には、マイクロレンズアレイ４２１および受光素子アレイ４２２の一部のみが図示されている。実際には、マイクロレンズアレイ４２１は図６に図示した数よりも多くのマイクロレンズ４２３を有しており、受光素子アレイ４２２は図６に図示した数よりも多くの受光素子４２４を有している。

１つのマイクロレンズ４２３に対応する受光素子群４２５には、複数の受光素子４２４が含まれている。換言すると、マイクロレンズ４２３を通過した被写体光は、マイクロレンズ４２３ごとに、複数の受光素子４２４に入射する。例えば図６では、１つの第１マイクロレンズ４２３ａは、５×５の計１５個の受光素子４２４を被覆している。換言すると、図６では、１つの第１マイクロレンズ４２３ａは、５×５の計１５個の受光素子４２４からなる１つの第１受光素子群４２５ａに対応している。

マイクロレンズアレイ４２１および受光素子アレイ４２２は、あるマイクロレンズ４２３に入射した被写体光と、別のマイクロレンズ４２３に入射した被写体光が、同一の受光素子４２４に入射しないように構成される。つまり、受光素子群４２５同士が互いに重複しないように構成される。

例えば、撮像光学系４０５のＦ値が、マイクロレンズ４２３のＦ値よりも小さいと、マイクロレンズ４２３に入射した被写体光がマイクロレンズ４２３の径よりも大きい範囲に広がってしまう。そのため、撮像光学系４０５のＦ値をマイクロレンズ４２３のＦ値以上の値にしてもよい。また、隣り合うマイクロレンズ４２３の間に隔壁を設けてもよい。また、撮像光学系４０５をテレセントリック光学系とすれば、急峻な角度でマイクロレンズ４２３に入射する光が存在しなくなり、同様の効果が得られる。

図６（ａ）に例示するように、第２マイクロレンズ４２３ｂは、マイクロレンズアレイ４２１中に、第１マイクロレンズ４２３ａと互い違いに配置されている。つまり、マイクロレンズアレイ４２１中には、４つの第１マイクロレンズ４２３ａが２×２の形態で配列されており、その上下左右にそれぞれ１つの第２マイクロレンズ４２３ｂが配置されている。換言すると、マイクロレンズアレイ４２１中に配置された第２マイクロレンズ４２３ｂの上下左右には、それぞれ４つの第１マイクロレンズ４２３ａが２×２の形態で配列されている。

制御部３０１が実行する画像合成処理について説明する。本実施の形態における画像合成処理は、撮像素子３０２により出力された撮像信号から、光軸Ｏ方向の所定範囲内における任意像面の画像（いわゆるリフォーカス画像）を合成する機能である。まず、周知のリフォーカス画像の合成方法の例を、図７を参照して説明する。

図７は、合成対象の像面Ｓ上の光点Ｐからの光束と撮像素子３０２とを模式的に示した断面図である。なお、図７では、全てのマイクロレンズ４２３が第１マイクロレンズ４２３ａである様子を例示している。図７において、合成対象の像面Ｓ上に設けた光点Ｐを考える。この光点Ｐから撮像素子３０２に向かう光の広がり角θは、撮像光学系４０５の瞳の大きさ（すなわち撮像光学系４０５の絞り値）により規定される。マイクロレンズ４２３の絞り値は撮像光学系４０５の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Ｐから出射し、あるマイクロレンズ４２３に入射した光束は、そのマイクロレンズ４２３により被覆されている領域の外には広がらない。

ここで、図７に示すように、光点Ｐからの光束が５つのマイクロレンズ４２３（１）〜４２３（５）に入射するとすれば、これらのマイクロレンズ４２３（１）〜４２３（５）に入射した光束３０（１）〜３０（５）の受光面上における入射光量（受光素子４２４（１）〜４２４（５）の光電変換出力）を積算することにより、光点Ｐからの瞳に制限された全入射光量が得られる。すなわち、合成対象の像面Ｓ上の光点Ｐ（合成対象の画素）の光量が得られることになる。

制御部３０１は、指定された像面Ｓ上に複数の光点Ｐを設定し、各光点Ｐについて、その光点Ｐからの光束が入射するマイクロレンズ４２３を特定する。制御部３０１は、特定した各マイクロレンズ４２３について、光点Ｐからの光束がどの受光素子４２４に入射するかを特定する。制御部３０１は、特定した受光素子４２４の光電変換出力を積算することにより、光点Ｐの画素値を算出する。

以上の処理によって、合成対象として指定された像面Ｓの画像が合成される。制御部３０１は、１回の撮像によって撮像素子３０２から出力される撮像信号に基づいて、複数の異なる像面の画像を合成することができる。すなわち、１回の撮像結果から複数像面の画像を得ることができる。

上述した周知のリフォーカス画像の合成方法と、制御部３０１が実行する画像合成処理との違いについて説明する。本実施の形態の撮像素子３０２は、サイズが異なる２種類のマイクロレンズ４２３を有しており、制御部３０１は２種類のマイクロレンズ４２３を考慮した画像合成処理を実行する。

制御部３０１が実行可能な画像合成処理には、第１画像合成処理、第２画像合成処理、および第３画像合成処理の３種類が存在する。第１画像合成処理は、第１マイクロレンズ４２３ａを基準とする画像合成処理である。第２画像合成処理は、第２マイクロレンズ４２３ｂを基準とする画像合成処理である。第３画像合成処理は、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとをそれぞれ個別に扱う画像合成処理である。以下、第１画像合成処理から順に説明する。

図８は、第１画像合成処理の説明図である。第１画像合成処理において、制御部３０１は、第２受光素子群４２５ｂにより出力された受光信号（光電変換信号）に対して、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの光学特性の違いを補正する。換言すると、制御部３０１は、第２受光素子群４２５ｂにより出力された受光信号を、第１受光素子群４２５ａにより出力された受光信号と同等の信号に補正する。具体的には、図８に破線で示すように、１つの第２マイクロレンズ４２３ｂの位置に、仮想的に４つの第１マイクロレンズ４２３ａｘが配置されていると想定する。制御部３０１は、それらの仮想的な第１マイクロレンズ４２３ａｘを通過した被写体光による受光信号を、その１つの第２マイクロレンズ４２３ｂに対応する第２受光素子群４２５ｂによる受光信号から演算する。つまり、もし第２マイクロレンズ４２３ｂの位置に、第２マイクロレンズ４２３ｂではなく４つの第１マイクロレンズ４２３ａｘが存在したとすれば、その配下の受光素子４２４からどのような受光信号が出力されるかを演算する。

例えば、第２受光素子群４２５ｂに含まれるある受光素子４２４に注目すると、その受光素子４２４に入射した被写体光が、第２マイクロレンズ４２３ｂのどの位置にどのような角度で入射したのかを特定することができる。つまり、受光素子４２４から、その受光素子４２４に入射した光の出射位置および出射角度（出射方向）を特定することができる。また、その受光素子４２４からの受光出力によって、その光の光量（強度）を特定することができる。制御部３０１は、第２受光素子群４２５ｂに含まれる受光素子４２４ごとに、光量、出射位置、および出射角度を特定し、それらの情報と第１マイクロレンズ４２３ａのレンズ情報とから、仮想的な第１マイクロレンズ４２３ａｘを通過した光がどの受光素子４２４に入射するかを演算する。制御部３０１は、演算結果により、第２受光素子群４２５ｂの受光出力を第１受光素子群４２５ａにより出力された受光信号と同等の信号に補正する。

制御部３０１は、第１受光素子群４２５ａの受光出力と、補正した第２受光素子群４２５ｂの受光出力とに対して、前述した周知のリフォーカス画像の合成方法を適用することにより、任意の像面の画像を合成する。補正した第２受光素子群４２５ｂの受光出力は、１つの第２マイクロレンズ４２３ｂの位置に４つの第１マイクロレンズ４２３ａｘが存在した場合の受光出力であるから、マイクロレンズアレイ４２１の全面に第１マイクロレンズ４２３ａが配列されている場合と同様の処理（前述した周知のリフォーカス画像の合成方法）によって、任意像面の画像を合成することができる。

第２画像合成処理は、第１画像合成処理とは逆に、第１受光素子群４２５ａにより出力された受光信号を補正して画像合成を行う処理である。すなわち第２画像合成処理において、制御部３０１は、第１受光素子群４２５ａにより出力された受光信号に対して、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの光学特性の違いを補正する。換言すると、制御部３０１は、第１受光素子群４２５ａにより出力された受光信号を、第２受光素子群４２５ｂにより出力された受光信号と同等の信号に補正する。

例えば、２×２の計４つの第１マイクロレンズ４２３ａを覆うように配置した、仮想的な第２マイクロレンズ４２３ｂを想定する。あるいは、２×２の計４つの第１マイクロレンズ４２３ａの各々について、第１マイクロレンズ４２３ａを拡大した仮想的な第２マイクロレンズ４２３ｂが配置されていると想定する。後者の場合、仮想的な第２マイクロレンズ４２３ｂどうしが少しずつ重複する。制御部３０１は、それらの仮想的な第２マイクロレンズ４２３ｂを通過した被写体光による受光信号を、第１受光素子群４２５ａによる受光信号から演算する。つまり、もし第１マイクロレンズ４２３ａの位置に、第１マイクロレンズ４２３ａではなく第２マイクロレンズ４２３ｂが存在したとすれば、その配下の受光素子４２４からどのような受光信号が出力されるかを演算する。以降の処理については、第１画像合成処理と同様なので、説明を省略する。

第３画像合成処理は、受光信号の補正を行わない画像合成処理である。第３画像合成処理において、制御部３０１は、第１受光素子群４２５ａの受光出力だけを用いて（第２受光素子群４２５ｂの受光出力を用いずに）画像を合成する。この合成結果を第１部分被写体像と称する。第１部分被写体像において、第２受光素子群４２５ｂの受光出力が必要な画素は空欄とする。つまり、第１部分被写体像は歯抜け状態になる。制御部３０１は、第２受光素子群４２５ｂの受光出力だけを用いて（第１受光素子群４２５ａの受光出力を用いずに）画像を合成する。この合成結果を第２部分被写体像と称する。第２部分被写体像において、第１受光素子群４２５ａの受光出力が必要な画素は空欄とする。つまり、第２部分被写体像は歯抜け状態になる。制御部３０１は、第１部分被写体像と第２部分被写体像とを組み合わせて、最終的な合成画像を生成する。例えば、第１部分被写体像において空欄となっていた箇所に、第２部分被写体像の結果を当てはめることで、歯抜け状態ではない最終的な画像を作成する。もしくは、第２部分被写体像において空欄となっていた箇所に、第１部分被写体像の結果を当てはめることで、歯抜け状態ではない最終的な画像を作成する。

上述した実施の形態によれば、次の作用効果が得られる。
（１）制御部３０１は、第１マイクロレンズ４２３ａを通過した光による第１受光素子群４２５ａからの受光出力に対し、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの光学特性の違いを補正する。制御部３０１は、補正された受光出力と、第２受光素子群４２５ｂからの受光出力と、により被写体画像を合成する。第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより小さい場合、大きいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。一方、第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより大きい場合、小さいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。大きいマイクロレンズが配列されたマイクロレンズアレイを用いると奥行き方向の分解能が向上する。小さいマイクロレンズが配列されたマイクロレンズアレイを用いると水平方向の分解能が向上する。このように、サイズが異なる２種類のマイクロレンズを使い分けるようにしたので、必要に応じて優先すべき分解能（奥行き方向の分解能または水平方の分解能）を切替えて合成画像することができる。

（２）制御部３０１は、第１受光素子群４２５ａからの受光出力により、第１マイクロレンズ４２３ａに入射した光線を特定し、第１マイクロレンズ４２３ａのサイズが第２マイクロレンズ４２３ｂのサイズであった場合にその光線によって第１受光素子群４２５ａが出力する受光出力に補正する。制御部３０１は、複数の第２受光素子群４２５ｂからの受光出力と、補正により得られた、第１マイクロレンズ４２３ａのサイズが第２マイクロレンズ４２３ｂのサイズであった場合の受光出力と、により被写体画像を合成する。第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより小さい場合、大きいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。一方、第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより大きい場合、小さいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。大きいマイクロレンズが配列されたマイクロレンズアレイを用いると奥行き方向の分解能が向上する。小さいマイクロレンズが配列されたマイクロレンズアレイを用いると水平方向の分解能が向上する。このように、サイズが異なる２種類のマイクロレンズを使い分けるようにしたので、必要に応じて優先すべき分解能（奥行き方向の分解能または水平方の分解能）を切替えて合成画像することができる。

（３）制御部３０１は、第１受光素子群４２５ａからの受光出力により、所定像面の第１部分被写体像を合成する。制御部３０１は、第２受光素子群４２５ｂからの受光出力により、所定像面の第２部分被写体像を合成する。制御部３０１は、第１部分被写体像と第２部分被写体像とから所定像面の被写体像を合成する。このようにしたので、奥行き方向の分解能と、水平方の分解能とを両立させた合成画像を得ることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した各実施の形態では、第１マイクロレンズおよび第２マイクロレンズのサイズ、形状、配列について、例を挙げて説明したが、これとは異なるサイズ、形状、配列を有する第１マイクロレンズおよび第２マイクロレンズを設けてもよい。例えば、マイクロレンズが正方配列ではなく行ごとに互い違いになるように配列されていてもよい。また、更にサイズが異なる第３のマイクロレンズや第４のマイクロレンズを設けてもよい。

（変形例２）
第１の実施の形態において、第１焦点検出処理に用いる第１マイクロレンズ２２３ａは連続的に配列されていなくてもよい。例えば、１つ飛びに配列されていてもよい。また、第２焦点検出処理に用いる第２マイクロレンズ２２３ｂは、隣接して配列されていなくてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１、２…撮像装置、１００、３００…カメラボディ、１０１、３０１…制御部、１０２、３０２…撮像素子、１０９…焦点検出装置、２００、４００…交換レンズ、２０３…フォーカシングレンズ、２０５、４０５…撮像光学系、２２１、４２１…マイクロレンズアレイ、２２２、４２２…受光素子アレイ、２２３、４２３…マイクロレンズ、２２３ａ、４２３ａ…第１マイクロレンズ、２２３ｂ、４２３ｂ…第２マイクロレンズ、２２４、４２４…受光素子、２２５、４２５…受光素子群、２２５ａ、４２５ａ…第１受光素子群、２２５ｂ、４２５ｂ…第２受光素子群

Claims (11)

1. 第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
   複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
   前記第１マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により撮像光学系の焦点評価値を演算する第１演算部と、前記第２マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により前記撮像光学系の焦点評価値を演算する第２演算部と、
   を備える光学装置。
2. 請求項１に記載の光学装置において、
   第１演算部により演算された焦点評価値および第２演算部により演算された焦点評価値のいずれか一方を出力する焦点検出部を更に備える光学装置。
3. 請求項２に記載の光学装置において、
   前記焦点検出部によって出力された焦点評価値により前記撮像光学系の焦点調節を行う焦点調節部を更に備える光学装置。
4. 請求項１から請求項３までのいずれか一項に記載の光学装置において、
   前記第１のサイズは前記第２のサイズよりも小さく、
   前記第１演算部は、前記第１マイクロレンズを通過した光を受光した画素群の受光出力から一対の信号を取り出し、複数の前記第１マイクロレンズの各々から取り出された複数の前記一対の信号を用いて位相差演算を行い、
   前記第２演算部は、前記第２マイクロレンズを通過した光を受光した画素群の受光出力から複数の信号を取り出し、一対の前記第２マイクロレンズから取り出された一対の前記複数の信号を用いて位相差演算を行う光学装置。
5. 請求項４に記載の光学装置において、
   前記第１演算部は、複数の前記第１マイクロレンズの各々から取り出された複数の前記一対の信号から一対の信号列を生成し、前記一対の信号列を用いて位相差演算を行い、
   前記第２演算部は、前記第２マイクロレンズを通過した光を受光した画素群の受光出力から信号列を取り出し、一対の前記第２マイクロレンズから取り出された一対の前記信号列を用いて位相差演算を行う光学装置。
6. 第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
   複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
   前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に対し、前記第１マイクロレンズと前記第２マイクロレンズとの光学特性の違いを補正する補正部と、
   前記補正部により補正された受光出力と、前記第２マイクロレンズを通過した光を受光した画素群からの受光出力と、により被写体画像を合成する画像合成部と、
   を備える光学装置。
7. 請求項６に記載の光学装置において、
   前記補正部は、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記第１マイクロレンズに入射した光線を特定し、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力を、前記第１マイクロレンズのサイズが前記第２のサイズであった場合に前記光線によって前記画素群が出力する受光出力に補正する光学装置。
8. 請求項６に記載の光学装置において、
   前記第２のサイズは、前記第１のサイズよりも大きく、
   前記補正部は、複数の前記第１マイクロレンズを通過した光を受光した複数の画素群からの受光出力に基づいて前記複数の第１マイクロレンズに入射した光線を特定し、前記複数の第１マイクロレンズを通過した光を受光した複数の画素群からの受光出力を、前記第２のサイズのマイクロレンズが前記複数の第１マイクロレンズを覆うように配置された場合に前記第２のサイズのマイクロレンズを通過した光を受光する画素群が出力する受光出力に補正する光学装置。
9. 請求項６に記載の光学装置において、
   前記第２のサイズは、前記第１のサイズよりも小さく、
   前記補正部は、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記第１マイクロレンズに入射した光線を特定し、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力を、前記第２のサイズのマイクロレンズが前記第１マイクロレンズが占める領域内に複数配置された場合に前記複数の第２のサイズのマイクロレンズを通過した光を受光する複数の画素群が出力する受光出力に補正する光学装置。
10. 第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
    複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
    前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて所定像面の第１部分被写体像を合成する第１画像合成部と、
    前記第２マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記所定像面の第２部分被写体像を合成する第２画像合成部と、
    前記第１画像合成部による前記第１部分被写体像と、前記第２画像合成部による前記第２部分被写体像とから前記所定像面の被写体像を合成する第３画像合成部と、
    を備える光学装置。
11. 第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
    複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサとを備え、
    前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離とが等しい光学装置。

Images