JP5721891B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5721891B2 JP5721891B2 JP2014157811A JP2014157811A JP5721891B2 JP 5721891 B2 JP5721891 B2 JP 5721891B2 JP 2014157811 A JP2014157811 A JP 2014157811A JP 2014157811 A JP2014157811 A JP 2014157811A JP 5721891 B2 JP5721891 B2 JP 5721891B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- imaging optical
- resolution
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、被写体空間における光の2次元強度分布および光線の角度情報を取得する撮像装置、及び該撮像装置で取得された画像の画像処理方法に関する。
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献1、2、3には、「Light Field Photography」を用いて、被写体空間の光の2次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の2次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の3次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度等を変更することが可能である。
しかし、このような撮像装置は、撮像素子の画素を光の2次元強度分布だけでなく光線の角度情報の保存にも利用する必要がある。このため、光の2次元強度分布のみを記憶する撮像装置に対して、空間解像度が低下する。そこで非特許文献2には、結像光学系により形成された像面のある一点を、レンズアレイを構成する複数の小レンズが撮像する構成が開示されている。このようにして得られた複数の小画像を再構成することで、再構成画像を高解像度化することができる。このような高解像度化手法を「画素ずらし効果」という。
Ren Ng,et al.,"Light Field Photography with a Hand−held Plenoptic Camera",2005 Computer Science Technical Report CTSR
Todor Georgiev,et al.,"Superresolution with Plenoptic 2.0 Camera",2009 Optical Society of America
Aaron Isaksen,et al.,"Dynamically Reparameterized Light Fields",ACM SIGGRAPH,pp.297−306(2000)
しかしながら非特許文献2では、画素ずらし超解像の効果を得る方法として、特定のピント位置に関してのみ述べられている。リフォーカスにより異なるピント位置の画像を生成する場合には、ピント位置に応じて画素ずらし超解像の効果は変化し、空間解像度が低下する。
そこで本発明は、ライトフィールドを効率的に取得可能な撮像装置を提供する。
本発明の一側面としての撮像装置は、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、を有し、前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置され、以下の式を満たすことを特徴とする。
ただし、F0は前記結像光学系の開放F値、σ1は前記レンズアレイの物体側主平面と前記像側共役面の間の距離、σ2は前記レンズアレイの像側主平面と前記撮像素子の間の距離、Pは前記結像光学系の射出瞳と前記像側共役面の間の距離、ΔLAは前記レンズアレイのピッチである。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、ライトフィールドを効率的に取得可能な撮像装置を提供することができる。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
本実施形態の画像処理方法は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能である。この入力画像は、以下のような撮像装置で取得された画像である。すなわち撮像装置は、正の屈折力を有する光学系を複数配列するか、結像光学系の像側にレンズアレイを配置することで、ライトフィールドを取得可能に構成されている。
図1乃至図4は、このような撮像装置を構成する撮像光学系の例である。撮像光学系とは、結像光学系および撮像素子を備えて構成されており、レンズアレイが設けられている場合にはレンズアレイを含めて撮像光学系を構成する。図1乃至図4中に示される被写体面201の上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面201よりも奥または手前に存在する人物や物体に対して、撮影後でもピントを合わせることができるためである。また、以下の各実施例の説明は、簡単のために1次元系を用いて行うが、2次元系に関しても同様の議論が成り立つ。
まず、図5を参照して、本発明の実施例1における撮像装置の構成について説明する。図5は、本実施例における撮像装置のブロック図である。本実施例の画像処理方法は、撮像装置の画像処理部105により実行される。
撮像素子103は、CCD(Charge Coupled Device)やCMOS(Complementary Metal−Oxide Semiconductor)などの2次元撮像素子であり、複数の画素を備える。結像光学系101(主レンズ群)及びレンズアレイ102を介して撮像素子103に入射した光線のエネルギーは電気信号(アナログ信号)となり、A/Dコンバータ104でデジタル信号へ変換される。このデジタル信号は、画像処理部105にて所定の処理が行われ、半導体メモリなどの画像記録媒体110に所定のフォーマットで保存される。この際、同時に状態検知部108から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部108は、システムコントローラ111から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部107から得ることもできる。
画像記録媒体110に保存された画像を表示部106に表示する際には、画像処理部105で撮影条件情報に基づいた再構成処理が施される。その結果、表示部106には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定(視点、ピント、被写界深度など)を予め記憶部109に保存し、画像記録媒体110を介さずに再構成画像を表示部106に直接表示させてもよい。さらに、画像記録媒体110に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ111により行われ、撮像光学系の機械的な駆動はシステムコントローラ111の指示によって光学系制御部107で行われる。
次に、図1および図6を参照して、本実施例における撮像光学系の構成について説明する。図1は、撮像光学系の概略構成図である。図6は、撮像光学系の断面図である。撮像光学系は、結像光学系101、レンズアレイ102、および、撮像素子103を備えて構成される。本実施例において、レンズアレイ102は、複数のレンズ(小レンズ)を用いて構成され、小レンズは固体レンズで構成されている。ただし本実施例はこれに限定されるものではなく、液体レンズ、液晶レンズ、または、回折光学素子などを用いてレンズアレイ102を構成してもよい。レンズアレイ102を構成する小レンズは、両側の面が凸形状を有している。ただし本実施例はこれに限定されるものではなく、一方側の面が平面で他方側の面が凸形状を有していてもよい。
レンズアレイ102は、結像光学系101の被写体面201に対する像側共役面に配置されている。またレンズアレイ102は、結像光学系101の射出瞳と撮像素子103とが略共役関係となるように構成されている。被写体面201上の同一位置からの光線は、結像光学系101及びレンズアレイ102を通過した後、この光線の被写体面201上での位置と角度に応じて、撮像素子103の互いに異なる画素へ入射し、ライトフィールドが取得される。ここでレンズアレイ102は、被写体面201上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐように機能する。その結果、撮像素子103において、被写体面201上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。図1に示される構成では、被写体面201上の同一の位置を3つの画素(2次元では9画素)が撮像している。このため本実施例の撮像光学系は、光の2次元強度分布のみを取得する撮像光学系に対して、2次元的な空間解像度が1/9に低下する。これは、被写体面201上の同一の位置を撮像する画素の数が変化しても、定性的に同じである。
続いて、本実施例におけるリフォーカス処理について説明する。リフォーカス処理に関しては、「Fourier Slice Photography」(Ren Ng著、2005 ACM Trans. Graph.24,735−744参照)にて詳述されているため、ここでは簡単に説明する。図7を参照して、リフォーカス画像を生成する方法の一例について説明する。図7(a)、(b)は、図1に示される撮像光学系において、レンズアレイ102と撮像素子103の部分を詳細に示した図である。図7(a)、(b)中の一点鎖線は、各画素の中心と、この画素に対応した小レンズの像側主点を通過する光線の経路を延長したものである。仮想結像面203は、リフォーカスによりピントを合わせようとする物体側の面に対する結像光学系101の像側共役面である。ただし本実施例において、像側共役面がレンズアレイ102の物体側主平面よりも像側に位置した場合、像側共役面をレンズアレイ102の主平面間隔だけ像側へ移動した面が仮想結像面203となる。撮像素子103で得られた画素値を、一点鎖線に沿って仮想結像面203へ平行移動させて合成することで、所望のピント位置でのリフォーカス画像を生成することができる。
例えば、図1中の被写体面201にピントの合った画像を生成するには、図7(b)に示されるように、被写体面201と結像光学系101を介して共役な面、すなわちレンズアレイ102の主平面(像側主平面)に仮想結像面203を設定すればよい。図7(a)、(b)において、リフォーカス画像生成の際の平行移動した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。図7(a)、(b)に示されるように、任意のリフォーカス画像を生成する際、画素に入射した光束が通過した結像光学系101の瞳領域が同じである場合、それらの画素は平行移動量が同じであることが分かる。したがって、リフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した結像光学系101の瞳領域に応じて決定される。
次に、リフォーカスが可能な範囲に関して説明する。結像光学系101の開口径は有限であるため、撮像素子103で得られるライトフィールドの角度成分、すなわち視差情報も有限である。したがって、リフォーカスが可能な範囲は、有限の範囲に限定される。ここで、光の2次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス範囲は、空間成分のサンプリングピッチΔyおよび角度成分のサンプリングピッチΔuにより決定され、その係数α±は以下の式(1)のように与えられる。
式(1)を用いて表される像側のリフォーカス範囲α+s2〜α−s2と、結像光学系101に対して共役な範囲が、物体側のリフォーカス範囲となる。ここでs2は、結像光学系101の像側主平面と被写体面201に対する結像光学系101の像側共役面との間隔である。
図8は、リフォーカス範囲の説明図である。図8に示される構成例では、レンズアレイ102の1次元的な周期が3画素となっているため、空間成分のサンプリングピッチΔyは、撮像素子103の画素ピッチの3倍となる。角度成分のサンプリングピッチΔuは、結像光学系101の射出瞳が3分割(2次元では9分割)されているため、射出瞳径の1/3となる。式(1)で表されるリフォーカス範囲を超えると、取得したライトフィールドでは情報が不足し、正しいリフォーカス画像を生成することができない。式(1)は、撮像素子103の画素ピッチΔが結像光学系101の射出瞳距離Pに対して十分小さいことから、次の式(2)のように近似できる。
ここで、結像光学系101の射出瞳距離Pとは、結像光学系101の射出瞳面と被写体面201に対する結像光学系101の像側共役面との間の距離である。また、Nは結像光学系101の瞳の1次元分割数、Fは結像光学系101のF値、ΔLAはレンズアレイ102のピッチである。図7の一点鎖線に沿って、ある小レンズに対応した画素群を平行移動させると、式(2)の最大リフォーカス量を超えたところで、各画素の間隔がΔyより大きくなり、情報が欠落した領域が生じる。この場合、正しいリフォーカス画像を生成することができない。
次に、画像再構成時の画素ずらし超解像に関して説明する。図7(a)を参照すると、仮想結像面203において、平行移動した画素が互いにずれてオーバーラップしていることが分かる(オーバーラップ画素)。これらを合成することにより、見かけの画素ピッチを小さくすることができる。これを画素ずらし超解像と呼ぶ。一方、図7(b)のように平行移動した画素がずれずに一致してオーバーラップしている場合、画素ずらし超解像の効果を得ることはできず、高解像度化を図ることはできない。オーバーラップしている画素のずれは、画素を平行移動する仮想結像面203の位置に応じて変化するため、画素ずらし超解像の効果も仮想結像面203により変化する。
ここで、画素ずらし超解像により小さくなった見かけの画素ピッチの中で、最も大きい画素ピッチがリフォーカス画像の解像度を決定すると定義する。また、解像度を決定する画素ピッチを見かけの画素ピッチの最大値と呼ぶ。このとき、被写体面201の同一の領域を撮像している1次元方向の画素数がm画素であるとする。ここで、mは結像光学系101の1次元瞳分割数に対応している。画素が1/m画素ずつずれていれば、見かけの画素ピッチの最大値が最小となり、リフォーカス画像が最も高解像度になる。
図7(a)に示した状態は、m=3であり、仮想結像面203上で各画素が1/3画素ずつずれているため、リフォーカス画像が最も高解像となる状態である。図7から、同様の効果を得られるリフォーカス画像のピント位置は、リフォーカス範囲内に4点存在していることが分かる。逆に、図7(b)のように平行移動した画素が一致してオーバーラップしている場合、画素ずらし超解像を行うことはできない。この関係を模式的に示したものが、図9の破線である。図9は、仮想結像面203の位置とリフォーカス画像の解像度の概略関係図である。図9の横軸は仮想結像面203の位置、縦軸は画素ずらし超解像を含めたリフォーカス画像の空間解像度を示している。図9に示されるように、仮想結像面203の位置に応じて空間解像度は変化する。
ここまでで、本実施例における撮像光学系の構成と、リフォーカス画像の生成、および、解像度に関して説明した。次に、図10を参照して、入力画像から出力画像を生成する画像処理方法について説明する。図10は、本実施例における画像処理方法のフローチャートである。図10のフローチャートの各ステップは、画像処理部105により実行される。
まずステップS001において、図6に示される撮像光学系により撮影された入力画像が取得される。具体的には、被写体面201上の同一位置からの光線を結像光学系101の瞳領域に応じて撮像素子103の異なる画素に入射させることにより入力画像を取得する。入力画像に含まれるライトフィールドの保存方法は、撮像光学系の構成によって変化する。本実施例では、被写体面201上の同一の領域を複数の視点から撮影した画素群が並んだ画像として保存される。また入力画像は、画像記録媒体110に保存された同様の撮像光学系で撮影された画像でもよい。
続いてステップS002では、入力画像内に含まれている撮影条件情報(撮像光学系の構成に関する情報)から、画像の再構成方法を決定する。本実施例の撮像光学系は図1に示されるような構成を有するため、図7に示されるリフォーカス画像の生成方法を、画像再構成方法として用いる。ただし、図7に示されるリフォーカス画像の生成方法と定性的に同じであれば、画像の再構成方法の詳細は異なっていてもよい。また、撮像光学系が図2乃至図4、またはその他の構成を有する場合、その構成に応じて異なる画像の再構成方法が用いられる。ただし、撮像光学系の構成が変化しない場合、画像の再構成方法は単一の方法を用い、ステップS002は実行しなくてもよい。
次にステップS003(第1の設定ステップ)では、ユーザーが、生成される画像においてピントを合わせたい位置(ピント位置)を指定し、それに対応した仮想結像面203の位置x1(第1の位置)を算出あるいは設定する。すなわち、指定されたピント位置に対応する仮想結像面203の位置x1を算出する。位置x1を第1ピント位置と呼ぶ。リフォーカスによって正しい画像が生成されるためには、位置x1は式(2)のリフォーカス範囲内に収まっている必要がある。このため、位置x1は以下の条件式(3)を満たすことが好ましい。
ここで、本実施例の撮像光学系の構成においては、Δy=ΔLAである。ユーザーが指定するピント位置は、物体側のピント位置または像側のピント位置のいずれでもよい。物体側のピント位置が指定された場合、第1ピント位置は、指定されたピント位置と結像光学系101を介して共役な面である。像側のピント位置が指定された場合は、像側のピント位置そのものが第1ピント位置となる。
続いてステップS004(第2の設定ステップ)では、出力画像のピント位置を決定する。上述のとおり、画素ずらし超解像の効果は仮想結像面203の位置に応じて変化する。このため、ユーザーの指定したピント位置に対応する位置x1(第1の位置)では、十分な画素ずらし超解像の効果を得られない場合がある。しかし、結像光学系101の焦点深度内であれば、位置x1から出力画像に対応する仮想結像面203の位置が変化しても問題がない。したがって、位置x1から焦点深度内で画素ずらし超解像の効果が最大となる仮想結像面203を選択すれば、高解像で且つユーザーの指定したピント位置にピントが合った出力画像を生成することができる。そこで、ステップS004では、画素ずらし超解像の効果が最大となる仮想結像面203を再設定する。この出力画像に対応した仮想結像面203の位置x2(第2の位置)を第2ピント位置と呼ぶ。位置x2では、画素ずらし超解像の効果が最も高いため、見かけの画素ピッチの最大値は最も小さくなる。
ここで、許容錯乱円の直径をεとしたとき、結像光学系101の焦点深度は近似的に±Fεで表される。このため、以下の条件式(4)が導かれる。
ここで、εは撮像装置に必要とされる性能によって決定される値である。例えば、εは焦点深度内における点像の広がりとピント位置での点像の広がりの差がユーザーに感知できないように決定される。具体的には、εは、見かけの画像ピッチの最大値以上、ΔLAの5倍以下であることが好ましい。
焦点深度内で高解像となる位置x2でリフォーカス画像を生成したときの効果を、図9に模式的に表す。図9中の位置x1がユーザーの指定したピント位置に対応する第1ピント位置であり、位置x2が焦点深度±Fε内で最も画素ずらし超解像の効果が高くなる第2ピント位置である。焦点深度を考慮することで、ユーザーの指定したピント位置にピントが合っていながら、位置x2での画素ずらし超解像の効果を得ることができる。この効果を図9中の実線で示している。空間解像度に対する仮想結像面203の位置の依存性が、位置x1の場合を示す破線に対して低下している。
本実施例では、位置x2を焦点深度内で見かけの画素ピッチの最大値が最小となる仮想結像面203の位置としている。ただし、焦点深度内で位置x1以上の空間解像度が得られる位置であればこれに限定されることなく、他の位置を第2の位置として設定してもよい。すなわち、入力画像を再構成することにより形成される見かけの画素ピッチの最大値が小さくなるように、位置x1(第1の位置)を基準として、仮想結像面203を結像光学系101の焦点深度の範囲内である位置(第2の位置)に設定する。また、位置x1で得られる空間解像度が最大または十分に大きい場合には、x2=x1としてよい。一方、上記の式(4)の上限を超えると、第2ピント位置におけるリフォーカス画像の指定されたピント位置に対する点像の広がりは、εを超えてしまう。このため、画素ずらし超解像によって解像度は増えても、指定されたピントの被写体がぼけて見えるため鮮鋭さが低下してしまう。
また、リフォーカス画像は仮想結像面203の位置がs2に近いほど、リフォーカス画像のピント位置での点像の広がりが小さくなる。すなわち、位置x2は位置s2と位置x1の間に設定されることが好ましい。このため、以下の式(5)を満たすことが好ましい。
式(5)の上限を超えると、位置s2からの距離の絶対値が、位置x2より位置x1のほうが小さくなる。このため、位置x2でのリフォーカス画像におけるピント位置の点像の広がりは、位置x1の場合よりも大きくなる。
次にステップS005では、ステップS004で決定した第2ピント位置x2に仮想結像面203を設定して出力画像を生成する。すなわち、仮想結像面203を第2の位置に設定した状態で出力画像を生成する。本実施例では、撮像素子103で得られた入力画像に対して上述のリフォーカス画像の生成方法を用いることで、高解像で且つユーザーの指定したピント位置にピントの合ったリフォーカス画像が生成される。また必要に応じて、リフォーカスと同時に、視点や被写界深度を変更する再構成処理を行ってもよい。さらに、画像の再構成処理の際に、MAP(Maximum a posteriori)推定などの画像推定を併用して、更なる高解像度化を図ってもよい。
図6において、結像光学系101はズームレンズである。結像光学系101は、正の屈折力を有する第1レンズ群L1、負の屈折力を有する第2レンズ群L2、正の屈折力を有する第3レンズ群L3を備える。結像光学系101は更に、正の屈折力を有する第4レンズ群L4、負の屈折力を有する第5レンズ群L5、正の屈折力を有する第6レンズ群L6を備える。このように第1〜第6レンズ群L1〜L6を備えて構成される結像光学系101は、変倍時に各レンズ群の間隔が変化し、第2レンズ群L2で合焦を行う。
また、レンズアレイ102を構成する小レンズの像側の面は、凸形状であることが好ましい。これにより、レンズアレイ102の非点収差を低減し、撮像素子103上で得られる画像が鮮鋭になる。一方、小レンズの像側の面が凸形状でない場合には非点収差が大きくなり、各小レンズによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に用いると、再構成された画像を鮮鋭に形成することができない。また、レンズアレイ102を構成する小レンズの物体側の面は、平面又は凸形状であることが好ましい。これにより、小レンズの曲率が緩まって収差が低減し、画像が先鋭になる。
本実施例によれば、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
次に、本発明の実施例2について説明する。本実施例における撮像装置の基本構成は、図5を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。
続いて図2および図11を参照して、本実施例における撮像光学系の構成について説明する。図2は、撮像光学系の概略構成図である。図11は、撮像光学系の断面図である。レンズアレイ102は、結像光学系101の被写体面201に対する像側共役面202より物体側に配置されている。またレンズアレイ102は、結像光学系101の被写体面201に対する像側共役面202と撮像素子103が共役となる(共役関係を有する)ように配置されている。被写体面201からの光線は、結像光学系101及びレンズアレイ102を通過した後、光線の被写体面201上での位置と角度に応じて撮像素子103の異なる画素へ入射し、これによりライトフィールドが取得される。被写体面201上の同一位置からの光線は、この光線が被写体面201となす角に応じて、結像光学系101の異なる瞳領域を通過する。その結果、撮像素子103では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。
図2に示される撮像光学系は、光の2次元強度分布のみを取得する撮像光学系に対して空間解像度が低下する。これは、結像光学系101が形成した像を、レンズアレイ102が虚物体として見ることで、撮像素子103へさらに縮小結像するためである。その縮小倍率は|σ2/σ1|倍である。ここで、σ1は像側共役面202とレンズアレイ102の物体側主平面の間の距離、σ2はレンズアレイ102の像側主平面と撮像素子103の間の距離である。したがって、図2に示される撮像光学系は、光の2次元強度分布のみを取得する撮像光学系に対して、2次元的な空間解像度が(σ2/σ1)2倍される。
この性質は、図3で示される撮像光学系でも同様である。図3の撮像光学系の構成は、レンズアレイ102が像側共役面202より像側へ配置されていることを除いて、図2に示される撮像光学系の構成と同様である。図2の構成との違いは、レンズアレイ102が結像光学系101の形成した像を実物体として見て、撮像素子103へ再結像させることである。しかし、図2と図3に示される撮像光学系の構成は、いずれも、結像光学系101の結んだ像をレンズアレイ102が物体として見て、その像を撮像素子103へ結像しているため、本質的には同じである。したがって、以下の議論は図3の構成に関しても同様に成り立つ。
次に、図12(a)、(b)を参照して、本実施例におけるリフォーカス画像の生成方法について説明する。図12(a)、(b)は、図2に示される撮像光学系の構成において、レンズアレイ102と撮像素子103の部分の詳細図である。本実施例において、レンズアレイ102は、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例1と同様に、レンズアレイ102の形状はこれに限定されるものではない。
図12(a)、(b)中の一点鎖線は、各小レンズの画角を示す。撮像素子103で得られた画素値を、画素に対応する小レンズを介して仮想結像面203へ投影して合成することで、仮想結像面203にピントの合ったリフォーカス画像を生成することができる。例えば、図2中の被写体面201にピントの合った画像を生成するには、像側共役面202に仮想結像面203を設定すればよい。図12(a)、(b)において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ102の領域が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ102の領域に応じて決定される。
続いて、リフォーカス可能な範囲について説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例1と同様に式(1)で表される。その関係は、図13に示されるとおりである。図13は、本実施例におけるリフォーカス範囲の説明図である。本実施例の撮像光学系において、Δy=Δ|σ1/σ2|、Δu=P/(NF)であり、Δ≪Pであるから、式(1)は以下の式(6)のように書き換えられる。
ここで、Δは撮像素子103の画素ピッチである。実施例1と同様に式(6)の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。
次に、画素ずらし超解像による空間解像度の向上について説明する。図12(a)に示されるように、仮想結像面203へ投影された画素はオーバーラップしている。オーバーラップした画素の数を、画素のオーバーラップ数と呼ぶ。図12(a)のように、投影された画素が各々ずれていれば、それらを合成することで見かけの画素ピッチを小さくすることができる。一方、図12(b)に示されるように、投影された画素のずれが画素の整数倍になっている場合、画素ずらし超解像の効果は得られない。画素ずらし超解像によって最も高解像度化が図れるのは、画素がずれている割合が画素のオーバーラップ数に対応している場合である。具体的には、図12(a)の場合、画素のオーバーラップ数が3であるため、画素ずれの割合が1/3または2/3のときに解像度を最大にすることができる。画素ずれの割合と画素のオーバーラップ数の関係については、追って詳述する。以上のように本実施例においても、仮想結像面203によって画素ずらし超解像の効果が変化する。したがって、リフォーカス範囲内で図9のように、リフォーカス画像の解像度が変化することになる。
続いて、仮想結像面203と画素ずらし超解像との関係を具体的に説明する。まず、仮想結像面203が被写体面201に対する結像光学系101の像側共役面202に一致している場合を考える。σ1と画素ずれの割合との関係は以下のように求められる。隣接する小レンズを介して、それぞれ投影された画素の相対的な画素ずれ量gは、レンズアレイ102のピッチΔLAを、像側共役面202上に投影された画素ピッチで割った比ΔLAσ2/|Δσ1|で表される。
レンズアレイ102の配置に対する画素ずれ量gの振舞いを知るために、図14を用いてσ1とσ2が満たすべき条件を説明する。図14は本実施例における撮像光学系の説明図であり、図2の詳細な構成を示している。図14中のFは結像光学系101のF値、Pは結像光学系101の射出瞳と像側共役面202の間の距離である。撮像素子103の取得する結像光学系101の射出瞳面上(角度情報)のサンプリングピッチは、Δu=P/(NF)となる。図14からΔLAとσ1には以下の式(7)の関係があることが分かる。
図14の一点鎖線は、レンズアレイ102の小レンズの中心と該小レンズに対応した画素セットの端を結んだ直線である。その直線の射出瞳面上での交点と瞳中心との距離は、以下の式(8)で与えられる。
ここで、lrは撮像素子103上での不感帯とクロストークの度合いを表すパラメータである。
続いて、図15を参照して、不感帯とクロストークについて説明する。図15は、撮像素子上に形成される像の説明図である。図15(a)は、lrが負の値を有する場合の撮像素子103上における像の様子を示す図である。白い部分が光線の入射する領域で、斜線部分が不感帯と呼ばれ、光線が入射しない領域である。lrが小さくなるほど、不感帯が広がる。このことは、情報を取得しない画素が増えることを意味するため、できる限り不感帯は小さくなることが好ましい。
一方、図15(b)は、lrが正の値を有する場合の撮像素子103上における像の様子を示す図である。図15(b)では、異なる小レンズを介して形成された像が重なり合っている。この重なり合った領域では、被写体面201上で異なる位置と角度を有する光線が同一の画素に入射しており、この現象はクロストークと呼ばれる。lrが大きくなるほど、クロストークの領域は広がる。クロストークが発生している画素はライトフィールドを取得できないため、この画素を再構成に用いると正しい画像が生成できない。クロストークが生じている画素を画像再構成に使用しない場合、クロストークの領域が広いほど使用できない画素が増加する。したがって、クロストークの領域はできる限り小さいことが好ましい。lrが0の場合、不感帯とクロストークの発生が最も低減する。ただし現実の系では、収差によるベストピント位置のずれや、結像光学系101のヴィネッティング、周辺光量落ちなどの影響により、lrが0から少しずれていても不感帯やクロストークの発生を低減できる場合がある。
図14と式(8)から、以下の式(9)が成り立つ。
したがって、隣接する小レンズの相対的な画素ずれ量gは、式(7)と式(9)を用いて、以下の式(10)で与えられる。
これにより、距離σ1に対する画素ずれ量gの振舞いを表す式が得られた。式(10)から、画素ずれ量gは、距離σ1の2次関数で記述されることが分かる。ここで、画素の整数倍のずれは図12(b)に示されるように意味がないため、式(10)の整数部分は落として考えてよい。よって、画素ずれの割合δは、以下の式(11)のように表される。
ここでω=mod(χ,ψ)は、ωがχをψで割った時の剰余に等しいことを表す。
式(11)は、仮想結像面203が、被写体面201に対する結像光学系101の像側共役面202に一致していた場合の画素ずれの割合を示す。任意の仮想結像面203にリフォーカスした画像を生成する場合、画素を投影する仮想結像面203の位置を変化させればよい。したがって、任意のピント面では、式(10)及び式(11)は、それぞれ以下の式(12)及び式(13)のようになる。
ここで、τはレンズアレイ102の物体側主平面から仮想結像面203までの距離である。式(12)から、距離τと画素ずれ量gは、反比例の関係にあることが分かる。図16は、距離τと画素ずれ量gとの関係を示し、図17は画素ずれの割合δとの関係を示す。ここで、図16及び図17のτ+とτ−は、式(1)から決定されるリフォーカス可能な範囲の上限および下限であり、以下の式(14)で表される。
ここでΔu=P/(NF)であり、Δ≪Pとする。以上のとおり、仮想結像面203と画素ずれ量の関係が求められる。
次に、リフォーカス範囲内での画素ずらし超解像を含めた空間解像度について説明する。まず、画素のオーバーラップ数を見積もる。図18は、画素のオーバーラップ数の説明図あり、図12(a)に示される小レンズの番号jを横軸、仮想結像面203上の座標yを縦軸に取ったグラフである。ここで、j=0はレンズアレイ102の任意の小レンズとしてよい。図18中のy軸に平行な直線は、それぞれj番目の小レンズに対応した画素の集合を仮想結像面203へ投影した場合の座標を表す。これらの直線の上限を結んだものが一点鎖線Aであり、下限を結んだものが一点鎖線Bである。一点鎖線Aはy=ΔLA{j+|τ/(2σ2)|}で与えられ、また一点鎖線Bはy=ΔLA{j−|τ/(2σ2)|}で与えられる。画素のオーバーラップ数は、一点鎖線Aと一点鎖線Bのj方向の間隔に対応している。j=0に対応する画素で最も画素のオーバーラップ数が少なくなるのは、y=0近傍の画素であり、そのオーバーラップ数は|τ/σ2|程度と見積もることができる。
続いて、画素ずらし超解像を含めた空間解像度を求める。理想的には、1/mずつ画素ずれを起こした画素がm個オーバーラップしていれば、解像度はm倍される。ここで、mは正の整数である。しかし現実の系では、ノイズや結像光学系の収差の影響により、画素ずらし超解像による解像度の上昇量は理想系より小さくなる。ただし説明を簡単にするため、ここでは理想系における解像度の上昇について説明する。
解像度が最も高くなるのは、画素のオーバーラップ数と式(13)で表される画素ずれの割合δが対応している場合である。例えば、画素のオーバーラップ数が8で、画素ずれの割合δが0.45の時、8つの画素のそれぞれの画素ずれは0、0.45、0.90、0.35、0.80、0.25、0.70、0.15となる。この場合、解像度を決定する見かけの画素ピッチの最大値は0.70−0.45=0.25となる。次に、オーバーラップ数が同じで、画素ずれの割合δが3/8の場合を考える。このとき、8つの画素のそれぞれの画素ずれは0、3/8、6/8、1/8、4/8、7/8、2/8、5/8となる。この場合、見かけの画素ピッチの最大値は1/8となり、画素のオーバーラップ数の逆数と一致する。よって、最も高い画素ずらし超解像の効果が得られていることとなる。これは、δが1/8、5/8、7/8の場合でも同じである。
ただし、δが2/8、4/8、6/8の場合には、画素ずらし超解像の効果が低下する。例として、δが2/8の場合を考える。このとき、オーバーラップした8つの画素のそれぞれの画素ずれは0、2/8、4/8、6/8、0、2/8、4/8、6/8となり、画素が互いに重なることで見かけの画素ピッチの最大値が2/8=1/4となる。よって、δが1/8、3/8、5/8、7/8の時に対して、画素ずらし超解像の効果は半分になる。このことから、δがm0/M0に等しい時、最大の画素ずらし超解像の効果が得られることになる。ここで、M0は画素のオーバーラップ数であり、m0はM0より小さく、かつM0との最大公約数が1となる整数である。M0は前述したように、|τ/σ2|程度と見積もることができ、δがm0/M0に近いほど画素ずらし超解像の効果は高くなる。
図19は距離τに対する見かけの画素ピッチの最大値と、画素のオーバーラップ数の逆数の関係を示した模式図である。実線で表された見かけの画素ピッチの最大値と、一点鎖線で表された画素のオーバーラップ数の逆数が近い距離τほど、画素ずらし超解像の効果が高く、再構成画像の解像度が上昇する。一方、見かけの画素ピッチの最大値と、画素のオーバーラップ数の逆数が離れている距離τでは、高い画素ずらし超解像の効果は得られない。これにより、距離τに対する空間解像度は、図9の破線のように変化する。したがって、実施例1と同様に焦点深度を考慮することで、仮想結像面203の依存性を低減した高解像なリフォーカス画像が得られる。
本実施例における入力画像から出力画像を生成する画像処理方法は、実施例1で参照した図10のフローチャートで表され、実施例1と同様の部分についての説明は省略する。ステップS001では、撮像素子103によって、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。ステップS002で選択される再構成方法は、例えば本実施例で説明したリフォーカス画像の生成方法である。ステップS003およびステップS004で説明した実施例1の条件式は、本実施例においても成り立つ。ステップS005では、ステップS004で決定した位置x2にピントの合ったリフォーカス画像を出力画像として生成する。このときの生成方法としては、前述の方法などが用いられる。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
ここで、撮像素子103上に形成されるクロストークまたは不感帯に関して考える。前述のとおり、クロストークや不感帯が発生すると、ライトフィールドの取得効率が低下する。画素ずらし超解像による高解像度化は、より多くのライトフィールド(視差情報)が取得されているほど効果が高まる。このため、より多くのライトフィールドを取得するため、クロストークと不感帯をできる限り低減することが好ましい。そのため、式(9)中のlrが0の近傍であればよい。したがって、式(9)を変形することで、ライトフィールドを効率的に取得する条件式(15)が導かれる。
ここで、F0は結像光学系101の開放F値である。FをF0としたのは、結像光学系101の開口径が大きいほうが、より多くのライトフィールドを取得できるためである。式(15)の上限を超えると、撮像素子103上で不感帯が増大し、取得できるライトフィールドの量が減少してしまう。一方、式(15)の下限を超えると、撮像素子103上でのクロストークが増大し、同様にライトフィールドの取得効率が減少する。
好ましくは、式(15)の範囲を以下の式(15a)で表される範囲とすることで、ライトフィールドをより効率的に取得できる。
さらに好ましくは、式(15)を以下の式(15b)の範囲とすることで、ライトフィールドを非常に高い効率で取得することが可能である。
本実施例における図2の撮像光学系の構成は、図1の構成と異なり、レンズアレイ102の配置に自由度が存在する。レンズアレイ102の位置を決定すれば、被写体面201と像側共役面202が共役となるように、小レンズの焦点距離が決定する。そこで、本実施例の画像処理方法を行う際に、優位となるレンズアレイ102の位置を考える。本実施例における上記の議論は、図2および図3の構成いずれにも適用可能である。しかし、図2と図3を比較すると明らかなように、図2は撮像装置の全長の短縮化が図れる利点がある。そこでここからは、図2の構成に絞って議論する。図2の構成ではσ1≧0となる。リフォーカス画像の解像度に対するピント位置の依存性をより低減してさらに高解像な画像を生成するには、図9の実線で示された解像度の極小値が大きくなればよい。空間解像度が極小となるのは、画素ずれの割合が0となるピント位置であり、そのτをτ0とする。距離τ0は、以下の式(16)を満たす。
ここで、kは整数である。次に、距離τ0に最も近い空間解像度が極大値を有するピント位置を考え、その距離をτ0+ρとする。距離τ0+ρでの画素ずれ量は、以下の式(17)のように表される。
このため、距離τ0+ρでの画素ずれの割合は、式(17)の右辺第2項で表される。
ところで、距離τ0+ρでの画素のオーバーラップ数は、前述のとおり、(τ0+ρ)/σ2と見積もられるため、ρは以下の式(18)を満たす。
式(18)より、ρが正の場合にはρ=τ0Δ/ΔLA、ρが負の場合にはρ=−τ0Δ/ΔLAと見積もることができる。ρをFεで除した値が小さいほど、空間解像度比の最小値を大きくすることができる。ρはτ0に比例しているため、リフォーカス範囲内でρが最大値ρmaxをとるのは、図20に示したようにτ0=τ+となる場合である。図20中の破線は、画素ずらし超解像を考慮した際のリフォーカス画像の空間解像度であり、一点鎖線は画素ずらし超解像を考慮しない場合の空間解像度を表す。図20中の実線は、画素ずらし超解像の効果と、さらに焦点深度を加味した空間解像度である。ρmaxがFεで除した値が小さくなれば、指定された位置にピントの合った、より高解像度なリフォーカス画像を生成することができる。
近接する解像度の極大値と極小値を直線で結んで近似的に考えると、ρmax/Fεが略3以下になれば、両者の差は略3割減らすことができる。これにより、リフォーカス画像の解像度に対するピント位置の依存性を低下させ、高解像度化を図ることができる。上記の式(14)及び式(18)から、以下の式(19)が導かれる。
式(19)が解を持つには、N/nが3未満でなければならない。ここで、Nは結像光学系101の瞳面の1次元分割数であり、結像光学系101の近軸瞳射出面の直径を結像光学系101の瞳面のサンプリングピッチで除した値である。nはレンズアレイ102のピッチを撮像素子103の画素ピッチで除した値である。
これにより、焦点深度に対してρmaxを小さくする条件として、例えば以下のように設定する。好ましくは、結像光学系101の近軸射出瞳面の直径を結像光学系の瞳面101のサンプリングピッチで除した値が、レンズアレイ102のピッチを撮像素子103の画素ピッチで除した値の3倍未満であるように設定する。より好ましくは、結像光学系101の近軸射出瞳面の直径を結像光学系の瞳面101のサンプリングピッチで除した値が、レンズアレイ102のピッチを撮像素子103の画素ピッチで除した値より小さくなるように設定する。更に好ましくは、結像光学系101の近軸射出瞳面の直径を結像光学系の瞳面101のサンプリングピッチで除した値が、レンズアレイ102のピッチを撮像素子103の画素ピッチで除した値の0.3倍未満であるように設定する。このような構成により、リフォーカス画像の更なる高解像度化を図ることができる。
前述のN/nは、結像光学系101の像側共役面202に対してレンズアレイ102が物体側へ位置するほど小さくなり、リフォーカス画像の解像度に対するピント位置の依存性を低下させることができる。またこのとき、撮像素子103もより物体側に位置するため、光学系全体の小型化も図れる。しかし、レンズアレイ102は像側共役面202よりも物体側に位置するため、両者の間隔が大きく広がると、レンズアレイ102が結像光学系101に干渉してしまう。このため、レンズアレイ102は、以下の条件式(20)を満たすように配置すればよい。
これにより、小型で、かつピント位置に依存せず高解像なリフォーカス画像を得られる撮像光学系を提供することができる。式(20)の下限を超えると、ρmax/Fεが大きくなり、リフォーカス画像の高解像度化が不十分となる。一方、式(20)の上限を超えると、レンズアレイ102が結像光学系101へ干渉してしまう場合がある。
好ましくは、上記の式(20)の範囲を以下の式(20a)の範囲とすることで、より高解像なリフォーカス画像を得ることができる。
式(20)の上限を式(20a)のように変更することで、レンズアレイ102が結像光学系101へ干渉する可能性を低下させることができる。さらに好ましくは、上記の式(20)の範囲を以下の式(20b)の範囲とすることで、レンズアレイ102の結像光学系101への干渉を避け、リフォーカス画像の十分な高解像度化が図れる。
本実施例において、図11に示される結像光学系101は単焦点レンズであり、その開放F値はF0=2.9、射出瞳から像側共役面202までの距離P=63.4909(mm)である。このため、結像光学系101の近軸射出瞳面の直径は21.8934(mm)である。また、レンズアレイ102のピッチΔLA=2.4166(mm)、撮像素子103の画素ピッチΔ=0.0043(mm)である。レンズアレイ102は、距離σ1=35.0407(mm)、距離σ2=2.1219(mm)となるように配置されている。このときの結像光学系101の瞳面上でのサンプリングピッチは、4.3787(mm)である。このため、結像光学系101の近軸射出瞳面の直径を結像光学系101の瞳面のサンプリングピッチで除した値が、レンズアレイ102のピッチを撮像素子103の画素ピッチで除した値の0.0089倍となっている。
また、式(15)の値は2.40であり、式(20)の値は0.552である。正の実数lを用いて、許容錯乱円の直径εをlΔとおく。このときの焦点深度は、±lFΔとなる。焦点深度は必要な性能によって変化するが、ここではl=5の場合を例にとって説明する。上記の構成では、画素ずらし超解像の効果が最小となるピント位置と、極大となるピント位置の差の最大値はρmax=0.0629(mm)である。それに対し、焦点深度は0.0624(mm)であるため、画素ずらし超解像の効果を得られないピント位置の解像度は、前記の効果が極大値となるピント位置と略同等にできる。また、撮像素子103上の不感帯の発生を低減し、より多くの視差情報を取得している。このような構成により、本実施例の画像処理方法の効果を高めて高解像なリフォーカス画像が取得することができ、また、小型の撮像装置を実現することができる。
次に、本発明の実施例3について説明する。本実施例における撮像装置の基本構成は、図5を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。本実施例における撮像光学系は図2に示される構成をしており、その断面図は図21で表される。図21において、結像光学系101は単焦点レンズである。レンズアレイ102を構成する小レンズは、物体側の面は平面で像側の面は凸形状であり、結像光学系101が形成した像を虚物体として見ることで撮像素子103に結像する。また、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例2と同様に図10に示されるフローチャートで表される。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理方法を行う撮像装置を実現している。
また本実施例において、結像光学系101の開放F値はF0=2.9であり、射出瞳から像側共役面202までの距離はP=63.4909(mm)である。したがって、結像光学系101の近軸射出瞳面の直径は21.8934(mm)である。また、レンズアレイ102のピッチΔLA=0.0512(mm)、撮像素子103の画素ピッチΔ=0.0064(mm)である。レンズアレイ102は、距離σ1=3.2666(mm)、距離σ2=0.1475(mm)となるように配置されている。このときの結像光学系101の瞳面上でのサンプリングピッチは、0.9952(mm)である。このため、結像光学系101の近軸射出瞳面の直径を結像光学系101の瞳面のサンプリングピッチで除した値が、レンズアレイ102のピッチを撮像素子103の画素ピッチで除した値の2.75倍となっている。
また、式(15)の値は−1.00であり、式(20)の値は0.051である。ここで例として、許容錯乱円の直径をε=5Δとおいて上記の構成の効果を説明する。このときの焦点深度は0.0928(mm)である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρmax=0.6635(mm)である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子103上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
次に、本発明の実施例4について説明する。本実施例における撮像装置の基本構成は、図5を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。また、本実施例における撮像光学系は図2で示された構成を有し、その断面図は図22で表される。図22において、結像光学系101はズームレンズである。レンズアレイ102を構成する小レンズは、両面ともに凸形状であり、結像光学系101が形成した像を虚物体として見ることで撮像素子103へ像を結像している。結像光学系101は、物体側から順に、正の屈折力を有する第1レンズ群L1、正の屈折力を有する第2レンズ群L2、負の屈折力を有する第3レンズ群L3、正の屈折力を有する第4レンズ群L4、及び、正の屈折力を有する第5レンズ群L5で構成されている。変倍の際には、第1レンズ群L1および第5レンズ群L5が固定され、第2レンズ群L2、第3レンズ群L3、および、第4レンズ群L4が光軸上を移動する。なお、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例2と同様に図10に示されるフローチャートで表される。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理方法を行う撮像装置を実現している。
また本実施例において、結像光学系101の開放F値はF0=2.9であり、射出瞳から像側共役面202までの距離はP=129.8994(mm)である。このため、結像光学系101の近軸射出瞳面の直径は44.7929(mm)である。また、レンズアレイ102のピッチΔLA=2.2400(mm)、撮像素子103の画素ピッチΔ=0.0064(mm)である。レンズアレイ102は、距離σ1=45.4720(mm)、距離σ2=4.1048(mm)となるように配置されている。このときの結像光学系101の瞳面上でのサンプリングピッチは、6.3990(mm)である。このため、結像光学系101の近軸射出瞳面の直径を結像光学系101の瞳面のサンプリングピッチで除した値が、レンズアレイ102のピッチを撮像素子103の画素ピッチで除した値の0.02倍となっている。
また、式(15)の値は0.20であり、式(20)の値は0.350である。ここで例として、許容錯乱円の直径をε=3Δとおいて上記の構成の効果を説明する。この時の焦点深度は0.0557(mm)である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρmax=0.1318(mm)である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子103上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
次に、本発明の実施例5について説明する。本実施例は、上述の画像処理方法を行う画像処理装置(画像処理システム)について説明する。図23は、本実施例における画像処理システムのブロック図である。図23に示されるように、画像処理システムは撮像装置301を備えている。撮像装置301は、図2の構成を備えた撮像光学系を有する。画像処理装置302は、前述の画像再構成を行うコンピュータ機器(情報処理装置)である。画像処理装置302は、撮像装置301で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置302は、この入力画像に対して所定の再構成処理を行い、その処理結果(出力画像)を出力機器305、表示機器304、記憶媒体303のいずれか又は複数に出力する。
記憶媒体303は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器305は、例えばプリンタである。画像処理装置302には表示機器304が接続され、再構成された画像が表示機器304へ入力される。ユーザーは、表示機器304を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア306(画像処理プログラム)は、前述の再構成処理(画像処理方法)を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器304は、例えば液晶ディスプレイやプロジェクタなどである。
図24は、本実施例における撮像光学系の断面図である。図24において、結像光学系101はズームレンズである。レンズアレイ102を構成する小レンズは、物体側の面が平面で像側の面が凸形状であり、結像光学系101が形成した像を虚物体として見ることで撮像素子103に像を結像する。結像光学系101は、物体側から順に、正の屈折力を有する第1レンズ群L1、正の屈折力を有する第2レンズ群L2、負の屈折力を有する第3レンズ群L3、正の屈折力を有する第4レンズ群L4、及び、正の屈折力を有する第5レンズ群L5で構成されている。変倍の際には、第1レンズ群L1および第5レンズ群L5が固定され、第2レンズ群L2、第3レンズ群L3、および、第4レンズ群L4が光軸上を移動する。本実施例における入力画像から出力画像を生成する画像処理方法は、実施例2と同様に図10に示されるフローチャートで表される。本実施例では、画像処理装置302に設けられた画像処理部が図10に示される各ステップを行う。以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得できる画像処理装置を実現している。
また本実施例において、結像光学系101の開放F値はF0=2.9であり、射出瞳から像側共役面202までの距離はP=129.8994(mm)である。このため、結像光学系101の近軸射出瞳面の直径は44.7929(mm)である。また、レンズアレイ102のピッチΔLA=0.4480(mm)、撮像素子103の画素ピッチΔ=0.0064(mm)である。レンズアレイ102は、距離σ1=16.8896(mm)、距離σ2=0.9861(mm)となるように配置されている。このときの結像光学系101の瞳面上でのサンプリングピッチは、3.4456(mm)である。このため、結像光学系101の近軸射出瞳面の直径を結像光学系101の瞳面のサンプリングピッチで除した値が、レンズアレイ102のピッチを撮像素子103の画素ピッチで除した値の0.1857倍となっている。
また、式(15)の値は1.90であり、式(20)の値は0.130である。ここで例として、許容錯乱円の直径をε=3Δとおいて上記の構成の効果を説明する。このときの焦点深度は0.0557(mm)である。これに対し、画素ずらし超解像の効果が最小と極大となるピント位置の最大間隔はρmax=0.2585(mm)である。上記の構成を採用することで、画素ずらし超解像の効果が最小と極大となるピント面の間隔を、焦点深度に近付けることができる。また、撮像素子103上の不感帯の発生を低減し、より多くの視差情報を取得することが可能である。
以上の実施例2乃至5において、εは、見かけの画素ピッチの最大値以上、5倍の|δ1/δ2|以下であることが好ましい。
次に、本発明の実施例6について説明する。図25は、本実施例における撮像装置のブロック図である。図26は、本実施例における撮像光学系の概略構成図であり、物体側から結像光学系101を見た図である。図25において、不図示の被写体空間からの光線は、結像光学系101に入射する。結像光学系101は、図26のように正の屈折力を有する複数の光学系101a〜101gを備えて構成されている。結像光学系101は、光学系101bの光軸を回転軸とした場合、六回対称性を有した構成をしている。しかし、結像光学系101の構成はこれに限定されるものではなく、光学系の個数や配列は適宜変更可能である。光学系101a〜101gの像側には、それぞれ撮像素子103a〜103gが配列されている。ただし、本実施例では複数の撮像素子103a〜103gを備えることは必須でなく、光学系101a〜101gにより形成される像を受光できる場合には単数の撮像素子を備えたものであってもよい。このため、本実施例の撮像装置は、少なくとも1つの撮像素子を有していればよい。
図4は、本実施例の撮像光学系を光学系101a〜101cの光軸を含む断面で見た概略図である。光学系101a、101b、101cで屈折された光線は、それぞれに対応した撮像素子103a、103b、103cで受光される。撮像素子103a〜103cで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の2次元強度分布と角度情報、すなわちライトフィールドを得ることができる。本実施例では、このような複数の視差画像が入力画像となる。ところで、図4に示される構成は、使用する撮像素子の全画素数が同じであるとすると、光の2次元強度のみを取得する撮像系に対して解像度は低下する。これはライトフィールドの角度成分の取得に画素を割く必要があるためである。
図27は、本実施例における光学系の断面図であり、光学系101aと撮像素子103aの断面を示している。他の光学系101b〜101g及び撮像素子103b〜103gの断面も同様であるため、それらの説明は省略する。ただし、各光学系の構成はそれぞれ異なっていてもよい。図27に示される光学系101aは、単焦点レンズである。図4のように、被写体面201からの光線は、該光線の被写体面201上での位置と角度に応じて、結像光学系101を構成する異なる光学系へ入射し、撮像素子の異なる画素で受光され、ライトフィールドを取得することができる。
次に、本実施例におけるリフォーカス画像の生成方法について説明する。図28は、リフォーカス画像生成に関する説明図であり、図4の構成の詳細図である。図28中の合成物体側主平面は、光学系101a〜101gのそれぞれの物体側主点を通る面であると定義する。同様に、合成像側主平面は、光学系101a〜101gのそれぞれの像側主点を通る面である。本実施例の構成では、結像光学系101の物体側主平面、及び像側主平面は、それぞれ合成物体側主平面と合成像側主平面で表されるとする。図28の一点鎖線は、各光学系の画角を表す。
像側のピント位置を仮想結像面203に合わせる場合、撮像素子103a〜103gで得られた画素値を、各撮像素子103a〜103gに対応する光学系101a〜101gを介して物体側リフォーカス面204へ投影して合成すればよい。物体側リフォーカス面204は、仮想結像面203と光学系101a〜101gを介して共役な面である。仮想結像面203を移動することで、任意の位置にピントの合ったリフォーカス画像を生成することができる。
例えば、図4の被写体面201にピントの合った画像を生成するには、撮像素子103a〜103g上に仮想結像面203を設定すればよい。このとき、被写体面201と物体側リフォーカス面204は一致する。図28において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして示している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過した光学系が同じである場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した光学系に応じて決定される。
続いて、リフォーカス可能な範囲に関して説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例1と同様に式(1)で表され、その関係は図29に示されるとおりである。図29は、本実施例におけるリフォーカス範囲の説明図である。
本実施例の撮像光学系において、Δy=Δ、Δu=Psyn/(NFsyn)であり、Δ≪Psynから、式(1)は以下の式(21)のように近似できる。
ここで、FsynとPsynは各光学系101a〜101gの瞳を合成した結像光学系101の合成瞳から算出されるF値と射出瞳距離である。各光学系101a〜101gの瞳を合成する方法は、合成開口法などが挙げられる。図26の破線および図29の合成射出瞳面は、各光学系101a〜101gによって形成される合成瞳の概念を示す。本実施例の構成において、結像光学系101の瞳は複数の光学系101a〜101gを合成した合成瞳になる。これにより、被写体面201上における同一の位置からの光線は、角度に応じて結像光学系101の異なる瞳領域を通過する。ここで、Nは合成瞳の1次元方向の分割数である。なお、実施例1と同様に式(21)の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。
画素ずらし超解像による再構成画像の空間解像度向上に関しては、実施例2と同様である。図28(a)のように画素のオーバーラップ数と画素ずれ量が対応する場合、画素ずらし超解像の効果が最大となる。一方、図28(b)のように画素ずれ量が整数となった場合、画素ずらし超解像の効果を得ることができない。また、本実施例における入力画像から出力画像を生成する画像処理方法は、実施例2と同様に図10に示されるフローチャートで表される。
図10のステップS001では、撮像素子103a〜103gによって得られた複数の視差画像を入力画像として取得する。ただし、単数の撮像素子で複数の視差情報を取得している場合は、入力画像は撮像素子で取得された画像となる。続いてステップS002では、本実施例で説明した画像再構成方法を選択する。
ステップS003およびステップS004で算出する第1ピント位置および第2ピント位置は、像側のピント位置である。ただし、結像光学系101を介してそれらと共役な物体側の面で考えてもよい。この場合、第1ピント位置と第2ピント位置に対して、それぞれ共役な物体側の面の間隔は、結像光学系101の被写界深度内に収まっていればよい。これは、実施例1〜5でも同様である。また、ステップS003およびステップS004において実施例1で述べた条件式は、本実施例においても同様に成り立つ。
以上の構成により、リフォーカス画像の解像度に対するピント位置の依存性を低減し、高解像なリフォーカス画像を取得可能な画像処理方法およびその画像処理方法を行う撮像装置を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
実施例6において、εは、見かけ上の画素ピッチの最大値以上、5倍のΔ以下であることが好ましい。
101 結像光学系
102 レンズアレイ
103 撮像素子
102 レンズアレイ
103 撮像素子
Claims (4)
- 結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、を有し、
前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置され、
以下の式を満たすことを特徴とする撮像装置。
ただし、F0は前記結像光学系の開放F値、σ1は前記レンズアレイの物体側主平面と前記像側共役面の間の距離、σ2は前記レンズアレイの像側主平面と前記撮像素子の間の距離、Pは前記結像光学系の射出瞳と前記像側共役面の間の距離、ΔLAは前記レンズアレイのピッチである。 - 前記レンズアレイは、前記像側共役面より物体側に配置されていることを特徴とする請求項1に記載の撮像装置。
- 前記レンズアレイは、複数の小レンズを備えて構成され、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項1又は2に記載の撮像装置。 - 前記小レンズの物体側の面は、平面又は凸形状であることを特徴とする請求項3に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014157811A JP5721891B2 (ja) | 2014-08-01 | 2014-08-01 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014157811A JP5721891B2 (ja) | 2014-08-01 | 2014-08-01 | 撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011179460A Division JP5618943B2 (ja) | 2011-08-19 | 2011-08-19 | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015008484A JP2015008484A (ja) | 2015-01-15 |
JP5721891B2 true JP5721891B2 (ja) | 2015-05-20 |
Family
ID=52338462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014157811A Active JP5721891B2 (ja) | 2014-08-01 | 2014-08-01 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5721891B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11099304B2 (en) * | 2016-12-05 | 2021-08-24 | Photonic Sensors & Algorithms, S.L. | Microlens array |
JP7171978B1 (ja) * | 2021-05-07 | 2022-11-16 | アプリケーション・リサーチ株式会社 | タイマー式usbストレージ装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
JP2008312080A (ja) * | 2007-06-18 | 2008-12-25 | Sony Corp | 撮像装置及び撮像方法 |
JP2010057067A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 撮像装置および画像処理装置 |
-
2014
- 2014-08-01 JP JP2014157811A patent/JP5721891B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015008484A (ja) | 2015-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5618943B2 (ja) | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム | |
JP5988790B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
US9628696B2 (en) | Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
JP6341736B2 (ja) | 撮像装置、制御方法、プログラム、記憶媒体 | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP5623356B2 (ja) | 撮像装置 | |
JP5623313B2 (ja) | 撮像装置および撮像光学系 | |
JP6305053B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP4437228B2 (ja) | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 | |
JP5677366B2 (ja) | 撮像装置 | |
JP5943785B2 (ja) | 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法 | |
JP6047025B2 (ja) | 撮像装置及びその制御方法 | |
JP6478511B2 (ja) | 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP6418770B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP6234401B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5721891B2 (ja) | 撮像装置 | |
JP5553863B2 (ja) | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム | |
JP5553862B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP4695557B2 (ja) | 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム | |
JP2018098738A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2018050147A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2013110711A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
Zhou et al. | Computer simulation for digital refocusing imager based on light field photography | |
JP2015111776A (ja) | 撮像システム及び撮像システムの駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150324 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5721891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |