JP5218611B2 - Image composition method and imaging apparatus - Google Patents
Image composition method and imaging apparatus Download PDFInfo
- Publication number
- JP5218611B2 JP5218611B2 JP2011157960A JP2011157960A JP5218611B2 JP 5218611 B2 JP5218611 B2 JP 5218611B2 JP 2011157960 A JP2011157960 A JP 2011157960A JP 2011157960 A JP2011157960 A JP 2011157960A JP 5218611 B2 JP5218611 B2 JP 5218611B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light receiving
- light
- optical system
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、同一被写界の任意の距離にピントの合った画像を得るための画像合成方法及び撮像装置に関する。 The present invention relates to an image composition method and an imaging apparatus for obtaining an image in focus at an arbitrary distance in the same field.
一般のカメラ（特許文献１）による撮影後に、同一被写界の任意の距離にピントの合った画像を得るためには、カメラの撮影レンズの焦点をずらしながら繰り返し撮影を行い、撮影距離の異なる複数枚の画像データを取得しておく必要がある。 In order to obtain an image in focus at an arbitrary distance in the same field after shooting with a general camera (Patent Document 1), shooting is repeated while shifting the focus of the shooting lens of the camera, and the shooting distances are different. It is necessary to acquire a plurality of image data.
しかし、カメラの被写界中の物体は静止しているとは限らず、同一被写界の任意の距離にピントの合った画像を得ることができるのは、或る限られた撮影条件の下のみである。 However, objects in the camera's field of view are not always stationary, and it is possible to obtain an in-focus image at an arbitrary distance in the same field of view under certain limited shooting conditions. Only below.
そこで本発明は、１回の撮影で得られたデータから撮影後に任意の距離の面、又は任意の距離の物体にピントの合った画像を合成することのできる画像合成方法を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an image synthesizing method capable of synthesizing a focused image on a surface at an arbitrary distance or an object at an arbitrary distance after shooting from data obtained by one shooting. And
また、本発明は、この画像合成方法を実現するために好適な撮像装置を提供することを目的とする。 It is another object of the present invention to provide an image pickup apparatus suitable for realizing this image composition method.
（１）本発明の画像合成方法は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置において１回の撮影で得られたデータに適用される画像合成方法であって、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、前記加算の際に、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する。
（２）また、本発明の撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、前記撮像装置において１回の撮影で得られたデータに適用される合成手段を備え、前記合成手段は、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、前記加算の際に、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する。
（３）結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記演算部は、前記任意の位置と、前記任意の位置に任意に設定された領域の大きさと、所望の絞りに対応する前記任意に設定された大きさの領域に入射する光束の立体角度と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めることにより、前記結像光学系の光路中の任意の位置を像面とする画像を合成する。
（４）なお、前記合成する画像の画素は、前記任意に設定された大きさの領域に対応するものであってもよい。
（５）また、前記演算部は、前記任意の位置と、前記任意に設定された領域の大きさと、前記立体角度をパラメータとする窓関数と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めてもよい。
（６）また、前記演算部は、前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を求め、前記求めた前記複数の受光部からの受光信号より数の多い受光信号に基づき、前記任意に設定された大きさの領域に入射する光束の光量を求めてもよい。
（７）本発明の撮像装置は、結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記演算部は、前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を得る。
（８）本発明の撮像装置は、結像光学系と、前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、前記受光部アレイには、１つの受光部に１つの色成分が対応する複数の色成分からなるカラーフィルターが設けられ、前記演算部は、前記複数の色成分のうち最も分布密度の高い第１の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第１の色成分の画像を合成し、前記合成した画像において、前記第１の色成分の合成後の受光信号を使用して前記第１色成分とは異なる第２の色成分の受光部に対応する位置における前記第１色成分の信号を補間する。
（９）なお、前記演算部は、前記第２の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第２の色成分の画像を合成し、前記合成された第２の色成分の画像において、前記補間された第１の色成分の受光信号を使用して、前記第２の色成分の受光信号と前記第１の色成分の受光信号との差分信号を生成し、前記生成した差分信号を使用して、前記差分信号が生成されていない位置における前記差分信号を補間し、前記補間された差分信号と前記第１の色成分の受光信号に基づき、補間された前記第２の色の成分の受光信号を求めてもよい。
（１０）また、前記複数の色成分からなるカラーフィルターは、赤色成分、緑色成分、青色成分からなるベイヤ配列のカラーフィルターであり、前記第１の色成分は緑色成分であり、前記第２の色成分は赤色成分又は青色成分であってもよい。
(1) In the image composition method of the present invention, a plurality of positive lenses arranged two-dimensionally in the vicinity of the focal plane of the imaging optical system, and a plurality of pixels are arranged for each of the plurality of positive lenses. An image synthesizing method applied to data obtained by one imaging in an imaging device comprising: an imaging device, wherein light beams from different regions of an exit pupil of the imaging optical system are individually received by the plurality of pixels A pixel of an image pixel in an arbitrary image plane of the imaging optical system is obtained by adding pixel values of a plurality of pixels selected from the plurality of pixels of the data obtained in the one photographing. By obtaining a value and combining image data of an image on an arbitrary image plane of the imaging optical system, and changing the plurality of pixels selected from the plurality of pixels in the combining, different images of the imaging optical system are obtained. Find the pixel value of the image pixel on the surface Synthesizes the image data of an image in different image plane of the imaging optical system, upon the addition, predetermined to the pixel values of a plurality of pixels selected from the plurality of pixel data obtained by the one shooting A value obtained by multiplying the weight coefficient is added.
(2 ) In the imaging apparatus of the present invention, a plurality of positive lenses arranged two-dimensionally in the vicinity of the focal plane of the imaging optical system, and a plurality of pixels are arranged for each of the plurality of positive lenses. An imaging device that receives light beams from different regions of an exit pupil of the imaging optical system individually by the plurality of pixels, and is obtained by one imaging in the imaging device. Combining means applied to data, wherein the combining means adds the pixel values of a plurality of pixels selected from the plurality of pixels of the data obtained in the one-time shooting, thereby forming the imaging optical system A pixel value of an image pixel on an arbitrary image plane is obtained and image data of an image on an arbitrary image plane of the imaging optical system is synthesized. In the synthesis, a plurality of pixels selected from the plurality of pixels are changed. Different images of the imaging optical system The pixel values of the pixels of the image on the plane are obtained, the image data of the images on the different image planes of the imaging optical system are combined, and the plurality of data obtained by the one photographing is obtained during the addition. A value obtained by multiplying a pixel value of a plurality of pixels selected from the pixels by a predetermined weighting coefficient is added.
(3 ) An imaging optical system, a microlens array in which a plurality of microlenses are two-dimensionally arranged at a predetermined pitch in the vicinity of a focal plane of the imaging optical system, and a plurality of light receptions for each of the microlenses. A light receiving section array that receives light beams passing through different areas of the exit pupil of the imaging optical system for each light receiving section and outputs a light receiving signal, and a light receiving signal output from the light receiving section array Based on the arbitrary position in the optical path of the imaging optical system, and an arithmetic unit that synthesizes an image having an image plane as the image plane, the arithmetic unit being arbitrarily set at the arbitrary position and the arbitrary position Based on the size of the region, the solid angle of the light beam incident on the region of the arbitrarily set size corresponding to the desired stop, and the light reception signals output from the plurality of light receiving portions of each microlens , The arbitrarily set large By obtaining the light quantity of the light beam incident on the gap area, an image having an image plane at an arbitrary position in the optical path of the imaging optical system is synthesized.
( 4 ) The pixels of the image to be combined may correspond to the region having the arbitrarily set size.
( 5 ) In addition, the calculation unit is output from the arbitrary position, the size of the arbitrarily set region, the window function using the solid angle as a parameter, and a plurality of light receiving units of the microlenses. Based on the received light signal, the light amount of the light beam incident on the region having the arbitrarily set size may be obtained.
( 6 ) In addition, the calculation unit performs interpolation processing on the plurality of light reception signals output from the plurality of light reception units of each microlens, thereby obtaining the light reception signals from the plurality of light reception units of each microlens. A large number of received light signals may be obtained, and the amount of light incident on the arbitrarily set area may be obtained based on the obtained light received signals from the plurality of received light signals. .
( 7 ) An imaging apparatus according to the present invention includes an imaging optical system, a microlens array in which a plurality of microlenses are two-dimensionally arranged at a predetermined pitch in the vicinity of a focal plane of the imaging optical system, and the microlens A light receiving section array that has a plurality of light receiving sections for each of the light receiving sections and receives light beams passing through different regions of the exit pupil of the imaging optical system for each light receiving section and outputs a light receiving signal; and the light receiving section array And an arithmetic unit that synthesizes an image having an image plane at an arbitrary position in the optical path of the imaging optical system based on the light reception signal output from the optical system, and the arithmetic unit includes the plurality of microlenses Interpolation processing is performed on a plurality of light receiving signals output from the light receiving unit, so that a larger number of light receiving signals than the light receiving signals from the plurality of light receiving units of each microlens are obtained.
(8 ) An imaging apparatus according to the present invention includes an imaging optical system, a microlens array in which a plurality of microlenses are two-dimensionally arranged at a predetermined pitch in the vicinity of a focal plane of the imaging optical system, and the microlens A light receiving section array that has a plurality of light receiving sections for each of the light receiving sections and receives light beams passing through different regions of the exit pupil of the imaging optical system for each light receiving section and outputs a light receiving signal; and the light receiving section array And an arithmetic unit that synthesizes an image having an image plane at an arbitrary position in the optical path of the imaging optical system based on the light reception signal output from the light receiving unit. A color filter including a plurality of color components corresponding to one color component is provided, and the calculation unit outputs a light reception signal output from the light reception unit of the first color component having the highest distribution density among the plurality of color components. Image the arbitrary position based on A second color component different from the first color component by using a light reception signal after the synthesis of the first color component in the synthesized image. The signal of the first color component at a position corresponding to the light receiving unit is interpolated.
( 9 ) The calculation unit synthesizes the image of the second color component with the arbitrary position as the image plane based on the light reception signal output from the light reception unit of the second color component, In the synthesized second color component image, using the interpolated first color component light reception signal, the second color component light reception signal and the first color component light reception signal; The difference signal is generated, and the generated difference signal is used to interpolate the difference signal at a position where the difference signal is not generated, and the interpolated difference signal and the light reception signal of the first color component The light reception signal of the interpolated second color component may be obtained based on the above.
( 10 ) The color filter including the plurality of color components is a Bayer array color filter including a red component, a green component, and a blue component, and the first color component is a green component, The color component may be a red component or a blue component.
本発明によれば、１回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を合成することのできる画像合成方法が実現する。 According to the present invention, it is possible to realize an image composition method capable of compositing an image in focus at an arbitrary distance after photographing from data obtained by one photographing.
また、本発明によれば、この画像合成方法を実現するために好適な撮像装置が実現する。 In addition, according to the present invention, an image pickup apparatus suitable for realizing this image composition method is realized.
［第１実施形態］
以下、第１実施形態を説明する。本実施形態は、撮像装置及びそれを用いた画像合成方法の実施形態である。
[First Embodiment]
Hereinafter, the first embodiment will be described. The present embodiment is an embodiment of an imaging apparatus and an image composition method using the same.
先ず、本撮像装置の構成を説明する。 First, the configuration of the imaging apparatus will be described.
図１は、本撮像装置の構成図である。図１に示すように、本撮像装置には、撮影レンズ（結像光学系に対応）１１、マイクロレンズアレイ（複数の正レンズに対応）１２、撮像素子１３、駆動回路１４、演算処理回路（合成手段に対応）１５、メモリ１６、制御回路１７、ユーザインタフェース１８などが備えられる。
FIG. 1 is a configuration diagram of the imaging apparatus. As shown in FIG. 1, the imaging apparatus includes a photographing lens (corresponding to an imaging optical system) 11, a microlens array (corresponding to a plurality of positive lenses) 12, an
撮影レンズ１１は、被写界からの光束をその焦点面近傍に結像する。その焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。なお、図１では、マイクロレンズアレイ１２と撮像素子１３との間隔が広く描かれているが、実際は狭い。
The photographing
撮影レンズ１１の焦点面近傍に入射した結像光束は、撮像素子１３において電気信号に変換される。この撮像素子１３は駆動回路１４によって駆動され、撮像素子１３からの出力信号は、この駆動回路１４を介して演算処理回路１５に取り込まれる。演算処理回路１５は、その出力信号に基づき被写界の画像データを合成する。合成された画像データは、メモリ１６に格納される。
The imaging light beam incident on the vicinity of the focal plane of the
また、以上の駆動回路１４、演算処理回路１５、メモリ１６は、制御回路１７によって制御される。制御回路１７は、ユーザインタフェース１８を介してユーザから入力された指示に従ってその制御を行う。
The
ユーザは、ユーザインタフェース１８を介して本撮像装置に対し撮影のタイミングを指定することができる。本実施形態では、どの被写***置（距離）にピントの合った画像を合成するのか、また、どの絞り値に対応した画像を合成するのかを、撮影後にユーザが指定することができる（勿論、撮影前や撮影中に指定してもよい）。以下、指定された被写***置を「指定像面」と称し、指定された絞り値を「指定絞り値」と称す。
The user can specify shooting timing for the imaging apparatus via the
次に、本撮像装置の光学系部分を簡単に説明する。 Next, the optical system portion of the imaging apparatus will be briefly described.
マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズＭＬを二次元状に並べてなる。図１では、マイクロレンズＭＬの縦方向の数及び横方向の数（配置密度）は、それぞれ５個となっているが、これらの数は、本撮像装置の画像データに必要な分解能に応じて適宜設定される。
The
撮像素子１３は、各マイクロレンズＭＬを通過した光を受光する画素配列１３０を、マイクロレンズＭＬに対応した配置パターンで配置してなる。
The
ここで、画素配列１３０は、光電変換素子受光部の開口がそのまま「画素」を形成する場合は勿論、各光電変換素子上に集光用マイクロレンズを設け、このマイクロレンズの開口が「画素」を形成する場合がある。これ以降は、光電変換素子を「画素」と表現し、マイクロレンズＭＬを通過した光を受光する複数の光電変換素子を「画素配列」と呼ぶことにする。
Here, in the
個々の画素配列１３０の縦方向の画素数及び横方向の画素数はそれぞれ３個以上である。図１では、画素配列１３０の縦方向の画素数及び横方向の画素数（画素密度）は、それぞれ５個となっているが、これらの数は、本撮像装置のユーザが指定可能な像面（撮影距離）の必要数に応じて適宜設定される（例えば、７×７＝４９個でもよい）。
The number of pixels in the vertical direction and the number of pixels in the horizontal direction of each
ここで、これらの画素配列１３０は、個々のマイクロレンズＭＬを個別に透過した部分光束を個別に受ける必要がある。つまり、互いに隣接する画素配列１３０の間のクロストークは抑えられる必要がある。
Here, these
そこで、マイクロレンズアレイ１２と撮像素子１３との間には、図２に示すような仕切部材２２が設けられることが望ましい。
Therefore, it is desirable to provide a
或いは、仕切部材２２の代わりに、撮影レンズ１１の後側に、図３に示すように、適当な大きさの円形開口を有した絞り部材１１Ａが配置されてもよい。
Alternatively, instead of the
本撮像装置においては、この絞り部材１１Ａの開口のサイズは、可変である必要は無い。なぜなら、本撮像装置の撮影レンズ１１の絞り値の変更は、演算処理回路１５における演算によって行われるからである。
In the imaging apparatus, the size of the aperture of the
なお、以下の説明では、これら仕切部材２２や絞り部材１１Ａについては言及せず、図示も省略する。
In the following description, the
次に、本撮像装置の光学系部分を詳細に説明する。 Next, the optical system portion of the imaging apparatus will be described in detail.
図４は、本撮像装置の光学系部分を光軸（撮影レンズ１１の光軸）を含む面で切断してできる断面図である。図４において斜線で示す光束は、光軸近傍に配置された画素配列１３０の中央の画素ｃに入射する光束である。
FIG. 4 is a cross-sectional view obtained by cutting the optical system portion of the imaging apparatus along a plane including the optical axis (the optical axis of the photographing lens 11). In FIG. 4, a light beam indicated by oblique lines is a light beam incident on the center pixel c of the
図４に示すように、画素ｃに入射する光束は、撮影レンズ１１の瞳上の中心近傍の部分領域Ｃを透過した光束である。この画素ｃの隣接画素ｂに入射する光束は、撮影レンズ１１の瞳上の部分領域Ｃの隣接領域Ｂを透過した光束である。
As shown in FIG. 4, the light beam incident on the pixel c is a light beam that has passed through the partial region C near the center on the pupil of the photographing
このように、同一画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光束は、撮影レンズ１１の瞳上の互いに異なる部分領域Ａ，Ｂ，Ｃ，Ｄ，Ｅを個別に透過した各光束である。
In this way, each light beam incident on the pixels a, b, c, d, and e in the
なお、図４では、マイクロレンズＭＬの前側の距離Ｌの位置において、マイクロレンズＭＬの配置ピッチＰと同等の幅を持つ領域Ｅ0を通過した光が、マイクロレンズＭＬの後
側の画素ｃ上に導かれることを示した。
In FIG. 4, the light passing through the region E 0 having the same width as the arrangement pitch P of the microlens ML at the position of the distance L on the front side of the microlens ML is on the pixel c on the rear side of the microlens ML. It was shown to be guided to.
このとき、画素ｃに入射する光束は、深度Ｌ内で径が略Ｐの柱状の光束となる。同様に、画素ｃの周囲の画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光束も、深度Ｌ内で径が略Ｐの柱状の光束となる。 At this time, the light beam incident on the pixel c becomes a columnar light beam having a diameter of approximately P within the depth L. Similarly, each light beam incident on the pixels a, b, c, d, and e around the pixel c also becomes a columnar light beam having a diameter of approximately P within the depth L.
このとき、本撮像装置は、深度Ｌ内の任意の面に形成された像の画像データを、少なくとも分解能Ｐで合成することができる。つまり、深度Ｌは、本撮像装置が少なくとも分解能Ｐで画像データを合成可能な範囲である。よって、以下では深度Ｌを、「合成範囲」という。 At this time, the imaging apparatus can synthesize image data of an image formed on an arbitrary surface within the depth L with at least resolution P. That is, the depth L is a range in which the imaging apparatus can synthesize image data with at least resolution P. Therefore, hereinafter, the depth L is referred to as a “composite range”.
次に、個々のマイクロレンズＭＬの設計例を説明する。 Next, a design example of each microlens ML will be described.
図５は、マイクロレンズＭＬを介して画素ｃに入射する光束の詳細を拡大して示す図である。図５において、符号Ｄは、マイクロレンズＭＬの有効径（マイクロレンズＭＬの配置ピッチＰより若干小さい値）であり、符号Ｐｄは、画素配列１３０の画素ピッチである。図５に明らかなように、合成範囲Ｌの前端における幅Ｐの領域Ｅ0は、マイクロレンズ
ＭＬのパワーによって、マイクロレンズＭＬの後側の画素ｃに投影される。
FIG. 5 is an enlarged view showing details of the light beam incident on the pixel c through the microlens ML. In FIG. 5, the symbol D is the effective diameter of the microlens ML (a value slightly smaller than the arrangement pitch P of the microlens ML), and the symbol Pd is the pixel pitch of the
図５において、符号Ｆｄで示す光束の広がりは、撮影レンズ１１の瞳上の部分領域Ｃを透過した光束の広がりに対応する。よって、この光束の広がりＦｄは、撮影レンズ１１の開放Ｆ値（Ｆ０）と瞳の１方向の分割数（瞳上の１方向の部分領域の数）とに応じた値に設定されている。例えば、
・撮影レンズ１１の開放Ｆ値Ｆ０＝４，
・画素配列１３０の１方向の画素数ｎ＝５，
であるときには、
・瞳の１方向の分割数＝ｎ＝５，
であるので、
・光束の広がりＦｄ＝Ｆ０×ｎ＝４×５＝２０，
に設定される（なお、光束の広がりの単位はＦ値）。
In FIG. 5, the spread of the light beam indicated by the symbol Fd corresponds to the spread of the light beam that has passed through the partial region C on the pupil of the photographing
The open F value F0 = 4 of the taking
The number of pixels in one direction of the
When
The number of divisions in one direction of the pupil = n = 5
So
The spread of light flux Fd = F0 × n = 4 × 5 = 20,
(Note that the unit of spread of the luminous flux is the F value).
以上の説明では、光束の幾何学的な広がりしか考慮しなかったが、実際には、回折による広がりも持っている。以下では、回折による広がりを考慮する。 In the above description, only the geometrical spread of the light beam has been considered, but in reality it also has a spread due to diffraction. In the following, the spread due to diffraction is considered.
図６は、マイクロレンズＭＬを介して画素ｃに入射する光束の回折による広がりを説明する図である。 FIG. 6 is a diagram for explaining the spread due to diffraction of the light beam incident on the pixel c through the microlens ML.
図６中に曲線で示すように、仮に画素ｃ上の１点から発した光はＬの距離位置で図示の回折による広がりを持つ。逆に、Ｌの位置で図示の広がりを持つ領域が、回折によるボケの広がりを意味することになる。 As shown by a curve in FIG. 6, it is assumed that light emitted from one point on the pixel c has a spread due to diffraction as shown at a distance of L. On the contrary, the region having the spread shown in the position of L means the spread of blur due to diffraction.
このため、画素ｃに投影される領域Ｅ0の縁部は、図７に示すように、明確にはならず
にぼける。同様に、撮影レンズ１１の瞳上の部分領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ，・・の境界も、ぼける。この境界を或る程度明確にするためには、回折による光束の広がりを或る程度抑える必要がある。以下、具体的に示す。
For this reason, the edge of the region E 0 projected onto the pixel c is blurred as shown in FIG. Similarly, the boundaries of the partial areas A, B, C, D, E,... On the pupil of the photographing
先ず、この回折による光束の広がり（ぼけ）Ａは、マイクロレンズＭＬの有効径Ｄが小さいほど顕著になり、例えば、光の波長を約０．５μｍとすると、式（１）で表される。 First, the spread (blur) A of the light flux due to diffraction becomes more prominent as the effective diameter D of the microlens ML becomes smaller. For example, when the wavelength of light is about 0.5 μm, it is expressed by Expression (1).
Ａ≒Ｌ／Ｄ ・・・（１）
一方、回折による光束の広がりＡをＦ値の単位で表したものをＦａとおくと、それは式（２）で表される。
A≈L / D (1)
On the other hand, if the spread of light flux A due to diffraction is expressed in units of F-number, it is expressed by equation (2).
Ｆａ≒Ｌ／Ａ≒Ｄ ・・・（２）
式（１），（２）より、回折による光束の広がりＦａは、式（３）のとおり、殆どマイクロレンズＭＬの有効径Ｄのみによって表されることがわかる。
Fa≈L / A≈D (2)
From Expressions (1) and (2), it can be seen that the spread Fa of the light beam due to diffraction is expressed almost only by the effective diameter D of the microlens ML as shown in Expression (3).
Ｆａ≒Ｄ ・・・（３）
そして、上述した境界を明確にするためには、この回折による光束の広がりＦａは、撮影レンズ１１の開放Ｆ値Ｆ０（例えばＦ０＝４）と比較して十分に小さく、例えば２／５以下、つまり式（４）を満たすことが望ましい。
Fa≈D (3)
In order to clarify the above-described boundary, the spread Fa of the light beam due to this diffraction is sufficiently smaller than the open F value F0 (for example, F0 = 4) of the photographing
Ｆａ＞１０・・・（４）
したがって、マイクロレンズＭＬの有効径Ｄは、式（５）を満たすことが望ましい。
Fa> 10 (4)
Therefore, it is desirable that the effective diameter D of the microlens ML satisfies the formula (5).
Ｄ＞１０μｍ・・・（５）
なお、上述した境界をさらに明確にするためには、マイクロレンズＭＬの有効径Ｄは、式（６）を満たすことが望ましい。
D> 10 μm (5)
In order to further clarify the above-described boundary, it is desirable that the effective diameter D of the microlens ML satisfies the formula (6).
Ｄ＞２０μｍ ・・・（６）
以上の条件（マイクロレンズＭＬに対する条件）を考慮した本撮像装置の仕様の例を、以下に示す。
・撮影レンズ１１の焦点距離ｆ＝９ｍｍ，
・撮影レンズ１１の開放Ｆ値Ｆ０＝４，
・画素配列１３０の１方向の画素数ｎ＝５，
・マイクロレンズＭＬの配置ピッチＰ＝１５μｍ，
・マイクロレンズＭＬの有効径Ｄ＝配置ピッチＰと略同じ≒１５μｍ，
・マイクロレンズアレイ１２のサイズ＝８．８×６．６ｍｍ，
・マイクロレンズＭＬの配置数＝５８６×４４０，
・合成範囲Ｌ＝ｎ×Ｆ＝３００μｍ，
・撮影距離に換算した合成範囲＝無限遠方〜２７０ｍｍ
なお、以上の説明では、図８（ａ）に示すように、画素ｃの共役面がマイクロレンズＭＬの前側の有限位置に設定されていたが、画素ｃの共役面は、図８（ｂ）に示すように、マイクロレンズＭＬの前側の無限遠方であってもよいし、図８（ｃ）に示すように、マイクロレンズＭＬの後側であってもよい。
D> 20 μm (6)
An example of the specification of the imaging apparatus in consideration of the above conditions (conditions for the microlens ML) is shown below.
The focal length f of the taking
The open F value F0 = 4 of the taking
The number of pixels in one direction of the
-Micro lens ML arrangement pitch P = 15 μm,
The effective diameter D of the microlens ML = approximately the same as the arrangement pitch P≈15 μm,
The size of the
-Number of arrangement of microlenses ML = 586 × 440,
・ Synthesis range L = n × F = 300 μm,
-Composite range converted to shooting distance = infinity to 270mm
In the above description, as shown in FIG. 8A, the conjugate plane of the pixel c is set at a finite position on the front side of the microlens ML, but the conjugate plane of the pixel c is shown in FIG. As shown in FIG. 8, it may be an infinite distance on the front side of the microlens ML, or may be on the rear side of the microlens ML as shown in FIG.
図８（ａ）の場合、合成範囲Ｌは、マイクロレンズＭＬの前側の有限範囲となったが、図８（ｂ）の場合、合成範囲Ｌは、マイクロレンズＭＬの両側にまたがる有限範囲となり、図８（ｃ）の場合、合成範囲Ｌは、マイクロレンズＭＬの後側の有限範囲となる。 In the case of FIG. 8A, the synthesis range L is a finite range on the front side of the microlens ML. However, in the case of FIG. 8B, the synthesis range L is a finite range extending on both sides of the microlens ML. In the case of FIG. 8C, the synthesis range L is a finite range on the rear side of the microlens ML.
以下、合成範囲ＬがマイクロレンズＭＬの前側の有限範囲である（図８（ａ））として説明する。 Hereinafter, description will be made assuming that the synthesis range L is a finite range on the front side of the microlens ML (FIG. 8A).
次に、画像合成方法を説明する。この合成に必要な各処理は、演算処理回路１５（図１参照）によって行われる。 Next, an image composition method will be described. Each processing necessary for the synthesis is performed by the arithmetic processing circuit 15 (see FIG. 1).
図９、図１０は、画像合成の原理を説明する図である。これらの図９，図１０において、符号Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅで示すのは、画素配列１３０内に１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅが個別に形成する画像データの概念である。
9 and 10 are diagrams for explaining the principle of image composition. 9 and 10, reference numerals Ia, Ib, Ic, Id, and Ie indicate that five pixels a, b, c, d, and e arranged in one direction in the
先ず、図９に示すように、指定像面の高さ（マイクロレンズアレイ１２からの距離）Ｚが０である場合を考える。 First, as shown in FIG. 9, consider a case where the height (distance from the microlens array 12) Z of the designated image plane is zero.
Ｚ＝０の面にピントの合った像が形成されている場合は、像Ｉ0において、あるマイクロレンズの直上部分から射出した光束は、直ぐにマイクロレンズアレイ１２に入射して、同一画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅには、像Ｉ0上の同一箇所の光が入射する。
When an in-focus image is formed on the surface of Z = 0, the light beam emitted from a portion directly above a certain microlens in the image I 0 immediately enters the
このとき、画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅの間では、互いに同じ位置に像Ｉ0が現れる。よって、これらの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせれば、指定像面（Ｚ＝０）の画像データを得ることができる。 At this time, the image I 0 appears at the same position among the image data Ia, Ib, Ic, Id, and Ie. Therefore, by superimposing these image data Ia, Ib, Ic, Id, and Ie, image data of the designated image plane (Z = 0) can be obtained.
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素による５つの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせるとしたが、実際は、各方向に並ぶ２５個の画素による２５個の画像データを重ね合わせる必要がある。 Note that here, when only five pixels a, b, c, d, and e arranged in a certain direction are focused, five image data Ia, Ib, Ic, Id, and Ie by these five pixels are superimposed. However, in practice, it is necessary to superimpose 25 image data of 25 pixels arranged in each direction.
次に、図１０に示すように、指定像面の高さＺが０ではない場合を考える。 Next, consider a case where the height Z of the designated image plane is not 0 as shown in FIG.
この面に形成される像Ｉ’の各位置から射出した光束は、発散した後にマイクロレンズアレイ１２に入射するので、像Ｉ’上の同一箇所から射出した各角度の光線は、角度により互いに異なるマイクロレンズＭＬに入射する。よって、同一のマイクロレンズＭＬに対応する画素配列１３０内の画素ａ，ｂ，ｃ，ｄ，ｅは、像Ｉ’上の少しずつ異なった箇所の光を受ける。
Since the light beams emitted from the respective positions of the image I ′ formed on this surface are diverged and then enter the
このとき、画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅの間では、互いにずれた位置に像Ｉ’が現れる。このずれ量は、指定像面の高さＺに依存する。よって、これらの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを、高さＺに応じた画像サイズに変更してマイクロレンズピッチずつずらして重ね合わせれば、指定像面（Ｚ≠０）の画像データを得ることができる。 At this time, the image I 'appears at a position shifted from each other among the image data Ia, Ib, Ic, Id, and Ie. This shift amount depends on the height Z of the designated image plane. Therefore, if these image data Ia, Ib, Ic, Id, and Ie are changed to the image size corresponding to the height Z and are shifted by the microlens pitch and superimposed, the image data of the designated image plane (Z ≠ 0). Can be obtained.
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素による５つの画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを重ね合わせるとしたが、実際は、各方向に並ぶ２５個の画素による２５個の画像データを重ね合わせる必要がある。 Note that here, when only five pixels a, b, c, d, and e arranged in a certain direction are focused, five image data Ia, Ib, Ic, Id, and Ie by these five pixels are superimposed. However, in practice, it is necessary to superimpose 25 image data of 25 pixels arranged in each direction.
以上のことから、本撮像装置では、２５個の画素による２５個の画像データを、指定像面の高さＺに応じた量だけ画像のサイズを変更してから、画像を縦横反転し、隣接するマイクロレンズに関するこれらの画像を所定量ずつずらして重ね合わせ、同じ位置に来た画素又は画素補間値を、重みを付けて加算合成すれば、その指定像面の全体の画像が得られる。 As described above, in this imaging apparatus, the image size of 25 image data of 25 pixels is changed by an amount corresponding to the height Z of the designated image plane, and then the image is inverted horizontally and adjacently. If these images relating to the microlenses to be overlapped are shifted by a predetermined amount, and the pixels or pixel interpolation values that have come to the same position are added and combined with weights, the entire image of the designated image plane can be obtained.
次に、画像合成の方法を詳しく説明する。 Next, an image composition method will be described in detail.
図１１は、指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの合成方法を説明する図であり、図１２は、指定像面が合成範囲内の特定の面（Ｚ＝ｈ1）であるときの合成
方法を説明する図であり、図１３は、指定像面が合成範囲内の上記以外の或る面（Ｚ＝ｈ2）であるときの合成方法を説明する図である。
FIG. 11 is a diagram for explaining a synthesis method when the designated image plane is a specific plane (Z = 0) within the synthesis range, and FIG. 12 is a diagram illustrating a specific plane (Z = H 1 ) is a diagram for explaining a synthesis method, and FIG. 13 explains a synthesis method when the designated image plane is a certain plane (Z = h 2 ) other than the above in the synthesis range. FIG.
これらの図１１、図１２、図１３には、撮像素子１３の５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（マイクロレンズＭＬの中心を通る主光線のみ）を示した。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添え字（１，２，３，・・・）を付した。
11, 12, and 13 show the respective light rays (only chief rays that pass through the center of the microlens ML) incident on the five pixels a, b, c, d, and e of the
図１１、図１２、図１３において点線で示すのは、合成後の画像データの最小単位（仮想画素）であり、仮想画素の幅は、マイクロレンズＭＬの配置ピッチＰと同じである。 11, 12, and 13, a dotted line indicates a minimum unit (virtual pixel) of the image data after synthesis, and the width of the virtual pixel is the same as the arrangement pitch P of the microlenses ML.
先ず、図１１に示すように、指定像面が合成範囲内の特定の面（Ｚ＝０）である場合について説明する。 First, as shown in FIG. 11, the case where the designated image plane is a specific plane (Z = 0) within the synthesis range will be described.
この面の座標ｘ5（マイクロレンズＭＬ5に対向する幅Ｐの領域）からの射出光束（光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5）は、画素ａ5，ｂ5，ｃ5，ｄ5，ｅ5に個別に入射する。よって、画素ａ5の出力値Ｏｕｔ（ａ5）、画素ｂ5の出力値Ｏｕｔ（ｂ5）、画素ｃ5の出力値Ｏｕｔ（ｃ5）、画素ｄ5の出力値Ｏｕｔ（ｄ5）、画素ｅ5の出力値Ｏｕｔ（ｅ5）の和をとれば、その座標ｘ5における仮想画素の画素値Ｌ（５）が求まる（式（１））。
Light rays emitted from the coordinate x 5 in this plane (region having a width P facing the microlens ML 5) (rays r 1, r 2, r 3 ,
Ｌ（５）＝Ｏｕｔ（ａ5）＋Ｏｕｔ（ｂ5）＋Ｏｕｔ（ｃ5）＋Ｏｕｔ（ｄ5）＋Ｏｕｔ（ｅ5） ・・・（１）
同様に、座標ｘ5に隣接する座標ｘ6における仮想画素の画素値Ｌ（６）は、式（１’）により求めることができる。
L (5) = Out (a 5 ) + Out (b 5 ) + Out (c 5 ) + Out (d 5 ) + Out (e 5 ) (1)
Similarly, the pixel value L (6) of the virtual pixel at the coordinate x 6 adjacent to the coordinate x 5 can be obtained by the equation (1 ′).
Ｌ（６）＝Ｏｕｔ（ａ6）＋Ｏｕｔ（ｂ6）＋Ｏｕｔ（ｃ6）＋Ｏｕｔ（ｄ6）＋Ｏｕｔ（ｅ6） ・・・（１’）
したがって、各座標ｘ1，ｘ2，ｘ3，・・・における各仮想画素の画素値Ｌ（１），Ｌ（２），Ｌ（３），・・・は、式（１”）によりそれぞれ求めることができる。
L (6) = Out (a 6 ) + Out (b 6 ) + Out (c 6 ) + Out (d 6 ) + Out (e 6 ) (1 ′)
Therefore, the pixel values L (1), L (2), L (3),... Of the virtual pixels at the respective coordinates x 1 , x 2 , x 3 ,. Can be sought.
Ｌ（ｉ）＝Ｏｕｔ（ａi）＋Ｏｕｔ（ｂi）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi）＋Ｏｕｔ（ｅi） ・・・（１”）
この式（１”）は、図９に示した画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅをそのまま重ね合わせることを示している。この式（１”）よって、指定像面（Ｚ＝０）の画像データが合成される。
L (i) = Out (a i ) + Out (b i ) + Out (c i ) + Out (d i ) + Out (e i ) (1 ″)
This equation (1 ″) indicates that the image data Ia, Ib, Ic, Id, and Ie shown in FIG. 9 are superimposed as they are. According to this equation (1 ″), the designated image plane (Z = 0). Are synthesized.
なお、式（１”）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。 The expression (1 ″) is an expression that is adopted when the user-specified aperture value is open (maximum aperture size).
仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ3のみからなる光束に制限すればよいので、式（１”）に代えて式（２）を採用すればよい。 If the aperture value designated by the user is the maximum (the aperture size is minimum), the light beam composed of the light beams r 1 , r 2 , r 3 , r 4 , and r 5 is limited to the light beam composed only of the light beam r 3. Therefore, the formula (2) may be adopted instead of the formula (1 ″).
Ｌ（ｉ）＝Ｏｕｔ（ｃi）・・・（２）
また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ2，ｒ3，ｒ4のみからなる光束に制限すればよいので、式（１”）に代えて式（３）を採用すればよい。
L (i) = Out (c i ) (2)
Further, when the designated aperture value by the user is an intermediate value (aperture size intermediate) is a light bundle of rays r 1, r 2, r 3, r 4, r 5, only light rays r 2, r 3, r 4 Therefore, the expression (3) may be employed instead of the expression (1 ″).
Ｌ（ｉ）＝Ｏｕｔ（ｂi）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi） ・・・（３）
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素の出力値の和をとったが、実際は、２方向に並ぶ２５個の画素の出力値の和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。）。
L (i) = Out (b i ) + Out (c i ) + Out (d i ) (3)
Note that here, only the five pixels a, b, c, d, and e arranged in a certain direction are focused and the sum of the output values of these five pixels is taken, but in reality, 25 pixels arranged in two directions. It is necessary to take the sum of the output values of the pixels (however, the number of pixels to be added to the sum is increased or decreased according to the designated aperture value).
次に、図１２に示すように、指定像面が、合成範囲内の上記以外の或る面（Ｚ＝ｈ1）である場合について説明する。 Next, as shown in FIG. 12, a case where the designated image plane is a certain plane (Z = h 1 ) other than the above within the synthesis range will be described.
この面の座標ｘ5（マイクロレンズＭＬ5に対向する領域）からの射出光束（光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5）は、画素ａ3，ｂ4，ｃ5，ｄ6，ｅ7に個別に入射する。よって、画素ａ3の出力値Ｏｕｔ（ａ3）、画素ｂ4の出力値Ｏｕｔ（ｂ4）、画素ｃ5の出力値Ｏｕｔ（ｃ5）、画素ｄ6の出力値Ｏｕｔ（ｄ6）、画素ｅ7の出力値Ｏｕｔ（ｅ7）の和（より正確には入射角に依存した重み付け和）をとれば、その座標ｘ5における仮想画素の画素値Ｌ（５）が求まる（式（４））。 The emitted light beam (rays r 1 , r 2 , r 3 , r 4 , r 5 ) from the coordinate x 5 (region facing the microlens ML 5 ) of this surface is converted into pixels a 3 , b 4 , c 5 , d. 6 and e 7 are individually incident. Therefore, the output value of the pixel a 3 Out (a 3), the output value Out (b 4) of the pixel b 4, the output value Out (c 5) of the pixel c 5, the output value of the pixel d 6 Out (d 6), Taking the sum of the output value Out (e 7 ) of the pixel e 7 (more accurately, the weighted sum depending on the incident angle), the pixel value L (5) of the virtual pixel at the coordinate x 5 is obtained (formula (4) )).
Ｌ（５）＝Ｏｕｔ（ａ3）＋Ｏｕｔ（ｂ4）十Ｏｕｔ（ｃ5）＋Ｏｕｔ（ｄ6）＋Ｏｕｔ（ｅ7）・・・（４）
同様に、座標ｘ5に隣接する座標ｘ6における仮想画素の画素値Ｌ（６）は、式（４’）により求めることができる。
L (5) = Out (a 3 ) + Out (b 4 ) + Out (c 5 ) + Out (d 6 ) + Out (e 7 ) (4)
Similarly, the pixel value of the virtual pixel at the coordinate x 6 adjacent to the coordinate x 5 L (6) can be obtained by equation (4 ').
Ｌ（６）＝Ｏｕｔ（ａ4）＋Ｏｕｔ（ｂ5）＋Ｏｕｔ（ｃ6）＋Ｏｕｔ（ｄ7）＋Ｏｕｔ（ｅ8） ・・・（４’）
したがって、各座標ｘ1，ｘ2，ｘ3，・・・における各仮想画素の画素値Ｌ（１），Ｌ（２），Ｌ（３），・・・は、式（４”）によりそれぞれ求めることができる。
L (6) = Out (a 4 ) + Out (b 5 ) + Out (c 6 ) + Out (d 7 ) + Out (e 8 ) (4 ′)
Therefore, the pixel values L (1), L (2), L (3),... Of the virtual pixels at the coordinates x 1 , x 2 , x 3 ,. Can be sought.
Ｌ（ｉ）＝Ｏｕｔ（ａi-2）＋Ｏｕｔ（ｂi-1）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi+1）＋Ｏｕｔ（ｅi+2） ・・・（４”）
この式（４”）は、図１０に示した画像データＩａ，Ｉｂ，Ｉｃ，Ｉｄ，Ｉｅを指定像面の高さＺに応じた量（ここでは仮想画素１つ分）だけずらして重ね合わせることを示している。これによって、指定像面（Ｚ＝ｈ1）の画像データが合成される。
L (i) = Out (a i−2 ) + Out (b i−1 ) + Out (c i ) + Out (d i + 1 ) + Out (e i + 2 ) (4 ″)
This equation (4 ″) is superimposed by shifting the image data Ia, Ib, Ic, Id, Ie shown in FIG. 10 by an amount corresponding to the height Z of the designated image plane (here, one virtual pixel). As a result, the image data of the designated image plane (Z = h 1 ) is synthesized.
なお、この式（４”）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。 Note that this equation (4 ″) is an equation that is adopted when the user-specified aperture value is open (maximum aperture size).
仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ3のみからなる光束に制限すればよいので、式（４”）に代えて式（５）を採用すればよい。 If the aperture value designated by the user is the maximum (the aperture size is minimum), the light beam composed of the light beams r 1 , r 2 , r 3 , r 4 , and r 5 is limited to the light beam composed only of the light beam r 3. Therefore, equation (5) may be adopted instead of equation (4 ″).
Ｌ（ｉ）＝Ｏｕｔ（ｃi）・・・（５）
また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5からなる光束を、光線ｒ2，ｒ3，ｒ4のみからなる光束に制限すればよいので、式（４”）に代えて式（６）を採用すればよい。
L (i) = Out (c i ) (5)
Further, when the designated aperture value by the user is an intermediate value (aperture size intermediate) is a light bundle of rays r 1, r 2, r 3, r 4, r 5, only light rays r 2, r 3, r 4 Therefore, the expression (6) may be adopted instead of the expression (4 ″).
Ｌ（ｉ）＝Ｏｕｔ（ｂi-1）＋Ｏｕｔ（ｃi）＋Ｏｕｔ（ｄi+1） ・・・（６）
なお、ここでは、或る１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄ，ｅのみに着目し、それら５つの画素の出力値の和をとったが、実際は、２方向に並ぶ２５個の画素の出力値の和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する。）。
L (i) = Out (b i-1 ) + Out (c i ) + Out (d i + 1 ) (6)
Note that here, only the five pixels a, b, c, d, and e arranged in a certain direction are focused and the sum of the output values of these five pixels is taken, but in reality, 25 pixels arranged in two directions. It is necessary to take the sum of the output values of the pixels (however, the number of pixels to be added to the sum is increased or decreased according to the designated aperture value).
次に、図１３に示すように、指定像面が、合成範囲内の上記以外の或る面（Ｚ＝ｈ2）である場合について説明する。 Next, as shown in FIG. 13, a case where the designated image plane is a certain plane (Z = h 2 ) other than the above within the synthesis range will be described.
この面の座標ｘ5（マイクロレンズＭＬ5に対向する領域）からの射出光束（光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5）は、複数の画素にまたがって入射する。 An emitted light beam (rays r 1 , r 2 , r 3 , r 4 , r 5 ) from the coordinate x 5 (region facing the microlens ML 5 ) of this surface enters across a plurality of pixels.
例えば、光線ｒ1に着目すると、画素ａ3，ｂ3にまたがって入射する。このとき、光線ｒ1の光量は、画素ａ3の出力値Ｏｕｔ（ａ3）と画素ｂ3の出力値Ｏｕｔ（ｂ3）との重み付け和によって求まる（式（７））。 For example, when focusing on the light beam r 1 , the light beam enters the pixels a 3 and b 3 . At this time, the amount of light r 1 is determined by the weighted sum of the output values of the pixels a 3 Out (a 3) and the output value Out (b 3) of the pixel b 3 (Formula (7)).
Ｏｕｔ（ａ3）×ｑ1＋Ｏｕｔ（ｂ3）×ｑ2 ・・・（７）
ここで、重み係数ｑ1，ｑ2の和は、指定像面の高さＺに依存して決まる定数である。
Out (a 3 ) × q 1 + Out (b 3 ) × q 2 (7)
Here, the sum of the weighting factors q 1 and q 2 is a constant determined depending on the height Z of the designated image plane.
したがって、各座標ｘ1，ｘ2，ｘ3，・・・における各仮想画素の画素値Ｌ（１），Ｌ（２），Ｌ（３），・・・は、複数の出力値の重み付け和、しかも、指定像面の高さＺに依存して決まる重み係数による重み付け和によって求める必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減する）。 Therefore, the pixel values L (1), L (2), L (3),... Of the virtual pixels at the coordinates x 1 , x 2 , x 3 ,. In addition, it is necessary to obtain the weighted sum by a weighting coefficient determined depending on the height Z of the designated image plane (however, the number of pixels to be added to the sum increases or decreases according to the designated aperture value).
以上のことから、本撮像装置では、指定像面の画像データを合成するに当たり、指定像面が特定の限られた面でなくとも、複数の出力値の重み付け和をとることで、画像の合成ができる。 From the above, in the present imaging device, when combining the image data of the designated image plane, even if the designated image plane is not a specific limited plane, the image synthesis is performed by taking a weighted sum of a plurality of output values. Can do.
因みに、指定像面が図１１、図１２に示した特定の面（Ｚ＝０，Ｚ＝ｈ1）である場合にも、主光線以外の光線まで考慮し、それに関係する全ての出力値の重み付け和をとれば、より高い精度で合成を行うことができる。 Incidentally, even when the designated image plane is the specific plane shown in FIGS. 11 and 12 (Z = 0, Z = h 1 ), all the output values related to it are considered in consideration of rays other than the principal ray. If a weighted sum is taken, synthesis can be performed with higher accuracy.
次に、重み係数の具体例を説明する。 Next, a specific example of weighting factors will be described.
図１４、図１５、図１６には、座標ｘ5に位置する仮想画素の画素値Ｌ（５）を求めるときの重み係数の例を示した。ここでは、ユーザによる指定絞り値が開放である場合の例を説明する。また、簡単のため、１方向に並ぶ５つの画素ａ，ｂ，ｃ，ｄのみに着目する。 14, 15, 16, an example of a weighting factor when determining the pixel value L of the virtual pixel (5) located at the coordinate x 5. Here, an example in which the designated aperture value by the user is open will be described. For simplicity, attention is paid only to five pixels a, b, c, and d arranged in one direction.
図１４は、指定像面が合成範囲内の特定の面（Ｚ＝０）であるときの例であり、図１５は、指定像面が合成範囲内の別の特定の面（Ｚ＝ｈ1）であるときの例であり、図１６は、指定像面が合成範囲内の一般の面（Ｚ＝ｈ2）であるときの例である。 FIG. 14 shows an example when the designated image plane is a specific plane (Z = 0) within the synthesis range, and FIG. 15 shows another specific plane (Z = h 1) within the synthesis range. 16 is an example when the designated image plane is a general plane (Z = h 2 ) within the synthesis range.
図１４、図１５、図１６において、各画素に対応付けられたバーの長さが、各画素の出力値にかかる重み係数の値（相対値）を示している。重みの最適な値は、実験的に求めることができる。 In FIG. 14, FIG. 15, and FIG. 16, the length of the bar associated with each pixel indicates the value (relative value) of the weighting factor applied to the output value of each pixel. The optimum value of the weight can be obtained experimentally.
因みに、図１４の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。 Incidentally, when obtaining the image data of the designated image plane in a lump according to the example of FIG. 14, the following arithmetic expression may be employed.
また、図１５の例に倣って指定像面の画像データを一括で求めるときには、以下の演算式を採用すればよい。 In addition, when the image data of the designated image plane is obtained collectively in accordance with the example of FIG. 15, the following arithmetic expression may be employed.
因みに、これらの演算式において、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５の値は、図１４、図１５の各バーの長さに相当する。但し、図１４、図１５に示した例は、ユーザによる指定絞り値を開放（開口サイズ最大）としたときの例であるので、仮に、ユーザによる設定絞り値が中間値（開口サイズ中間）であるときには、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５のうち係数ｗ１，ｗ５の値は、極めて小さい値に設定される。また、ユーザによる指定絞り値が最大（開口サイズ最小）であるときには、重み係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５のうち係数ｗ１，ｗ２，ｗ４，ｗ５の値は、極めて小さい値に設定される。 Incidentally, in these arithmetic expressions, the values of the weighting factors w1, w2, w3, w4, and w5 correspond to the lengths of the bars in FIGS. However, since the example shown in FIGS. 14 and 15 is an example in which the user-specified aperture value is opened (maximum aperture size), the aperture value set by the user is an intermediate value (intermediate aperture size). In some cases, the values of the coefficients w1 and w5 among the weighting coefficients w1, w2, w3, w4 and w5 are set to extremely small values. In addition, when the user-specified aperture value is the maximum (the aperture size is minimum), the values of the coefficients w1, w2, w4, and w5 out of the weight coefficients w1, w2, w3, w4, and w5 are set to extremely small values. .
以上のことから、本撮像装置では、撮像素子１３の全画素の出力値からなる出力値ベクトルに対し、重み係数マトリクスを乗算することにより、指定像面の画像データを合成する。
From the above, in this imaging apparatus, the image data of the designated image plane is synthesized by multiplying the output value vector composed of the output values of all the pixels of the
この出力値ベクトルの縦方向のサイズは、撮像素子１３の全画素数に一致する。また、重み係数マトリクスの横方向のサイズは、出力値ベクトルの縦方向のサイズに一致する。また、重み係数マトリクスの縦方向のサイズは、合成すべき画像データの仮想画素の画素数に一致する。
The vertical size of this output value vector matches the total number of pixels of the
そして、この重み係数マトリクスの内容は、ユーザによる指定像面の高さＺと、ユーザによる指定絞り値とに応じて決定される。この決定は、演算処理回路１５によって適宜行われる。
The contents of the weighting coefficient matrix are determined according to the height Z of the designated image plane by the user and the designated aperture value by the user. This determination is appropriately performed by the
なお、この決定にかかる処理を簡単にするために、予め複数種類の重み係数マトリクスがメモリ１６（図１参照）に格納されてもよい。その場合、演算処理回路１５は、それら重み係数マトリクスのうち１つを、ユーザによる指定像面及び指定絞り値に応じて選択使用すればよい。
In order to simplify the process related to this determination, a plurality of types of weight coefficient matrices may be stored in the memory 16 (see FIG. 1) in advance. In that case, the
また、本撮像装置においては、画像データの分解能をユーザが指定できるように構成されていてもよい。分解能の指定は、像面の指定や、絞り値の指定と同様、ユーザインタフェース１８を介して行われる。また、画像データの分解能の設定は、画素配列１３０の出力値（及び／又は画像データの仮想画素の画素値）を、演算処理回路１５が必要に応じて補間処理又は間引き処理をすることによって行われる。
Further, the imaging apparatus may be configured such that the user can specify the resolution of the image data. The resolution is specified through the
実際的には、指定像面の位置（マイクロレンズアレイ面からの距離）が決まると、それに応じて各マイクロレンズ下の画素配列の画像サイズを変更（距離が離れる程拡大）し、隣接するマイクロレンズに関するこれらの画像データを反転した後に相互に所定量ずつずらして加算合成して全体画像を作成するのが効率的である。この場合、指定絞り値（絞り条件）に応じて加算合成の重みを変更する。 In practice, when the position of the designated image plane (distance from the microlens array surface) is determined, the image size of the pixel array under each microlens is changed (enlarged as the distance increases), and the adjacent micro It is efficient to create an entire image by inverting these image data relating to the lens and then shifting and adding them to each other by a predetermined amount. In this case, the weight of addition synthesis is changed according to the designated aperture value (aperture condition).
［第２実施形態］
以下、第２実施形態を説明する。本実施形態は、画像データの分解能を高めるときの画像合成方法の一例である。但し、本合成方法が適用できるのは、指定像面が合成範囲Ｌの前端近傍であるとき（Ｚ≒Ｌのとき）のみである。
[Second Embodiment]
The second embodiment will be described below. The present embodiment is an example of an image composition method for increasing the resolution of image data. However, this composition method can be applied only when the designated image plane is near the front end of the composition range L (when Z≈L).
本合成方法では、図１７に示すとおり、仮想画素の幅を、マイクロレンズＭＬの配置ピッチＰよりも狭い幅ω（例えばω＝Ｐ／２）に設定する。この幅ωの仮想画素の画素値を求めるために、先ず、画素配列１３０内の画素補間が行われる。
In this synthesis method, as shown in FIG. 17, the width of the virtual pixel is set to a width ω (for example, ω = P / 2) narrower than the arrangement pitch P of the microlenses ML. In order to obtain the pixel value of the virtual pixel having the width ω, first, pixel interpolation in the
図１７（ａ）の右方に示した棒状のグラフは、画素配列１３０内に並ぶ５つの画素の出力値の分布を示している。これら５つの画素の出力値に補間処理を施すと、曲線で示すような滑らかな分布が得られる。よって、例えば、図１７（ｂ）に実線で示すように、画素配列１３０内に５つ以上（以下、９つとする）の画素が並べられたときと同等の９個の画素値が得られる。
The bar graph shown on the right side of FIG. 17A shows the distribution of output values of five pixels arranged in the
一方、幅ωの仮想画素からの射出光束は、図１７（ｂ）に点線で示すような光量分布で９つの画素上に入射する。 On the other hand, the light beam emitted from the virtual pixel having the width ω is incident on nine pixels with a light amount distribution as indicated by a dotted line in FIG.
この光量分布の分布曲線Ｗは、仮想画素と画素配列１３０との間の結像関係から、仮想画素の座標（Ｘ，Ｙ，Ｚ）と、仮想画素の幅ωと、射出光束の立体角度Ωとに依存する。
The distribution curve W of the light amount distribution is obtained by the virtual pixel coordinates (X, Y, Z), the virtual pixel width ω, and the solid angle Ω of the emitted light beam, based on the imaging relationship between the virtual pixel and the
したがって、この分布曲線Ｗ（Ｘ，Ｙ，Ｚ，ω，Ω）に応じた重み係数を、前述の９つの画素値に乗算して和をとれば、仮想画素からの射出光束の光量を高精度に求めることができる。 Therefore, if the weighting coefficient corresponding to this distribution curve W (X, Y, Z, ω, Ω) is multiplied by the above nine pixel values and the sum is taken, the amount of light emitted from the virtual pixel can be obtained with high accuracy. Can be requested.
そして、このような重み付け和を、仮想画素から各角度で射出する各光束についてそれぞれ行い、さらにそれらの和（又は重み付け和）をとれば、仮想画素の画素値が求まる。 Then, such weighted sum is performed for each light beam emitted from the virtual pixel at each angle, and further, the sum (or weighted sum) thereof is taken to determine the pixel value of the virtual pixel.
さらに、この演算を指定像面の全ての仮想画素についてそれぞれ行えば、分解能ωで指定像面の画像データを合成することができる。 Furthermore, if this calculation is performed for all virtual pixels on the designated image plane, the image data on the designated image plane can be synthesized with a resolution ω.
ここで、以上の本合成方法においても、演算の基礎となるデータは第１実施形態のそれと同じ（つまり撮像素子１３の全画素の画素出力）である。したがって、本合成方法に基づき重み係数マトリクスを決定しておけば、第１実施形態と同様に、出力値ベクトルに重み係数マトリクスを乗算するだけで、指定像面の画像データを一括で求めることができる。 Here, also in the above synthesis method, the data that is the basis of the calculation is the same as that of the first embodiment (that is, the pixel outputs of all the pixels of the image sensor 13). Therefore, if the weighting coefficient matrix is determined based on this synthesis method, the image data of the designated image plane can be obtained at once by simply multiplying the output value vector by the weighting coefficient matrix, as in the first embodiment. it can.
但し、本合成方法では、分解能を高めた分だけ（仮想画素の数が増えた分だけ）、重み係数マトリクスの縦方向のサイズも増大する。 However, in the present synthesis method, the vertical size of the weighting coefficient matrix increases as the resolution is increased (as the number of virtual pixels increases).
［第３実施形態］
以下、第３実施形態を説明する。本実施形態は、第１実施形態の撮像装置及び画像合成方法を１部変更したものである。ここでは、変更点のみ説明する。
[Third Embodiment]
Hereinafter, a third embodiment will be described. In this embodiment, a part of the imaging apparatus and the image composition method of the first embodiment is changed. Only the changes will be described here.
本撮像装置の撮像素子１３の個々の画素配列１３０には、図１８（ａ）に示すようなカラーフィルタアレイが設けられている。
A color filter array as shown in FIG. 18A is provided in each
カラーフィルタアレイは、画素配列１３０の画素に入射する可視光を赤色成分のみに制限するフィルタＲ、緑色成分のみに制限するフィルタＧ、青色成分のみに制限するフィルタＢをベイヤ配列してなる。ベイヤ配列は、画素配列１３０上に市松状に並ぶ各画素にフィルタＧを設け、その間隙の各画素に、フィルタＲ，Ｂを交互に設ける配列である。
The color filter array includes a filter R that restricts visible light incident on the pixels of the
以下、フィルタＧの設けられた画素を「Ｇ画素」、フィルタＲの設けられた画素を「Ｒ画素」、フィルタＢの設けられた画素を「Ｂ画素」という。 Hereinafter, a pixel provided with the filter G is referred to as “G pixel”, a pixel provided with the filter R is referred to as “R pixel”, and a pixel provided with the filter B is referred to as “B pixel”.
本合成方法では、このベイヤ配列に応じて、図１８（ｂ），（ｃ）に示すように、公知の補間方法で画素補間を行う。 In this synthesis method, pixel interpolation is performed by a known interpolation method as shown in FIGS. 18B and 18C in accordance with the Bayer array.
すなわち、１２個のＧ画素の画素出力を補間して画素配列１３０の全体の２５個のＧ画素の画素値を得る。また、６個のＲ画素の画素出力を補間して画素配列１３０の全体の２５個のＲ画素の画素値を得る。また、６個のＢ画素の画素出力を補間して画素配列１３０の全体の２５個のＢ画素の画素値を得る。この各面に、前の実施形態で説明した処理を行えば、カラー画像が得られる。
That is, by interpolating the pixel outputs of 12 G pixels, the pixel values of the entire 25 G pixels of the
なお、本合成方法の手順では、画素補間を色成分毎に独立して行ったので、配置密度の低いＲ画素の補間誤差と、Ｂ画素の補間誤差とが、配置密度の高いＧ画素の補間誤差よりも大きくなる傾向にある。それを改善し、更に画質を向上させるには、先ず、密度の高い緑色（Ｇ色）に関して、指定像面に関する全画像データの合成を行っておき、ついで赤色（Ｒ面）のデータは補間せずに前記指定像面へ投影し、投影された位置にあるＧの値（若しくはＧの補間値）との差分Ｃｒ＝Ｒ−Ｇを作成し、しかる後に、Ｃｒとして補間を行うことが好ましい。こうしてＣｒの全画像データが得られたら、Ｒ＝Ｃｒ＋Ｇにより、赤色（Ｒ色）の全画像データが得られる。青色の画像データ（Ｂ面）も同様にして形成される。 In this synthesis method procedure, pixel interpolation is performed independently for each color component. Therefore, the interpolation error of the R pixel having the low arrangement density and the interpolation error of the B pixel are interpolated for the G pixel having the high arrangement density. It tends to be larger than the error. In order to improve this and further improve the image quality, first, all the image data relating to the designated image plane is synthesized for the high density green (G color), and then the red (R plane) data is interpolated. It is preferable to project the image onto the designated image plane, create a difference Cr = R−G from the G value (or G interpolation value) at the projected position, and then perform interpolation as Cr. When all the image data of Cr is obtained in this way, all image data of red (R color) is obtained by R = Cr + G. Blue image data (B surface) is formed in the same manner.
なお、本撮像装置のカラーフィルタアレイには、ベイヤ配列を適用したが、他の配列、例えば、ストライプ状にフィルタＧを配置すると共にフィルタＣの列の間の列にフィルタＲ，Ｂを交互に配置するものなどが適用されてもよい。
［その他］
なお、画素配列１３０の各画素を構成する光電変換素子受光部の間隙には、転送部などが配置されることが多いので、その間隙はあまり小さくならない。よって、そのままでは、間隙に入射する光線がロスになってしまう。
Although the Bayer array is applied to the color filter array of the imaging apparatus, the filters G are arranged in another array, for example, stripes, and the filters R and B are alternately arranged in the column between the columns of the filter C. An arrangement or the like may be applied.
[Others]
In addition, since a transfer part etc. are often arrange | positioned in the gap | interval of the photoelectric conversion element light-receiving part which comprises each pixel of the pixel arrangement |
そこで、本撮像装置においては、図１９（ａ）に示すように、各画素への集光率を高めるために、画素ピッチと同等の径を持つマイクロレンズＭＬ’を光電変換素子受光部上に設けてもよい。 Therefore, in this imaging device, as shown in FIG. 19A, in order to increase the light collection rate to each pixel, a microlens ML ′ having a diameter equivalent to the pixel pitch is provided on the photoelectric conversion element light receiving unit. It may be provided.
なお、画素配列１３０の縁部の画素への集光率は、他の画素への集光率よりも低くなりがちなので、図１９（ｂ）に矢印で示すように、画素配列１３０の縁部では、画素を構成するこの２層目のマイクロレンズの光軸を光電変換素子受光部中心から若干内側にずらしておくと、その画素への集光率を、中心の画素への集光率に近づけることができるので好ましい。
Note that since the light collection rate to the pixels at the edge of the
また、本撮像装置においては、図２０に示すように、マイクロレンズアレイ１２の直前にフィールドレンズＦＬを配置してもよい。フィールドレンズＦＬを配置すれば、像高の高い位置に配置されたマイクロレンズＭＬに入射する光束の角度が抑えられるので好ましい。
In this imaging apparatus, a field lens FL may be disposed immediately before the
また、本撮像装置においては、複数の区分的な画素配列１３０を二次元状に配置した撮像素子１３が用いられたが（図１参照）が、全体に一様に画素を配列した通常の撮像素子を用意し、その必要な部分を選択的に使うようにしてもよい。
In this imaging apparatus, the
また、本撮像装置には、モニタなどの表示部が備えられてもよい。その場合、合成した画像データや、その画像データに付随する情報などを表示部に表示させてもよい。 Further, the imaging apparatus may be provided with a display unit such as a monitor. In that case, the synthesized image data, information accompanying the image data, and the like may be displayed on the display unit.
また、本撮像装置は、像面及び絞り値をユーザに指定させるタイミングは、撮影後、意図によって自由に変更できることが大きな利点であったが、勿論、撮影前の指定を反映するようにしてもよい。 In addition, the imaging apparatus has a great advantage that the timing at which the user specifies the image plane and the aperture value can be freely changed according to the intention after shooting. Of course, the specification before shooting can be reflected. Good.
また、上記説明では、指定像面が１つの場合であったが、複数であってもよい。撮影後、任意のピント面を多数自在に再現できる点が、本発明の特徴である。因みに、複数の指定像面の画像データは、三次元の画像を表すので、本発明は、三次元撮像装置として使うことができる。 In the above description, the designated image plane is one, but a plurality of designated image planes may be used. A feature of the present invention is that a large number of arbitrary focus surfaces can be freely reproduced after shooting. Incidentally, since the image data of a plurality of designated image planes represent a three-dimensional image, the present invention can be used as a three-dimensional imaging device.
また、本撮像装置は、像面の代わりに撮影ポイントを指定させてもよい。その場合、本撮像装置は、撮影ポイント（指定点）の輝度データのみを合成すればよい。 In addition, the imaging apparatus may specify a shooting point instead of the image plane. In this case, the imaging apparatus may synthesize only the luminance data of the shooting point (designated point).
その他、ユーザが指定可能な項目に、「撮影範囲」が加えられてもよい。その場合、本撮像装置は、指定された撮像範囲内の画像データのみを合成すればよい。 In addition, “shooting range” may be added to items that can be specified by the user. In that case, the imaging apparatus only needs to synthesize image data within the designated imaging range.
また、本撮像装置では、画像合成に関わる全ての処理を演算処理回路１５が実行しているが、その処理の一部又は全部は、撮像装置の外部のコンピュータが実行してもよい。その場合、コンピュータには、予め、画像合成のためのプログラムがインストールされる。
In the imaging apparatus, the
１１ 撮影レンズ
１２ マイクロレンズアレイ
１３ 撮像素子アレイ
ＭＬ マイクロレンズ
１３０ 撮像素子
１４ 駆動回路
１５ 演算処理回路
１６ メモリ
１７ 制御回路
１８ ユーザインタフェース
２２ 仕切り部材
１１Ａ 絞り部材
ａ，ｂ，ｃ，ｄ，ｅ 画素
DESCRIPTION OF
Claims (10)
前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、
前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置において１回の撮影で得られたデータに適用される画像合成方法であって、
前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、
前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、
前記加算の際に、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算する
ことを特徴とする画像合成方法。 A plurality of positive lenses arranged two-dimensionally in the vicinity of the focal plane of the imaging optical system;
An image sensor in which a plurality of pixels are arranged for each of the plurality of positive lenses,
An image composition method applied to data obtained by one photographing in an imaging device that individually receives light beams from different areas of an exit pupil of the imaging optical system by the plurality of pixels,
A pixel value of an image pixel in an arbitrary image plane of the imaging optical system is obtained by adding pixel values of a plurality of pixels selected from the plurality of pixels of the data obtained by the one photographing. Combining image data of an image on an arbitrary image plane of the imaging optical system;
In the synthesis, by changing a plurality of pixels selected from the plurality of pixels, a pixel value of an image pixel on a different image plane of the imaging optical system is obtained, and an image on a different image plane of the imaging optical system is obtained. by combining the image data of,
An image composition method characterized by adding a value obtained by multiplying a pixel value of a plurality of pixels selected from the plurality of pixels of the data obtained by the one photographing at a predetermined weighting factor at the time of the addition. .
前記複数の正レンズの各々に対して複数個ずつ画素を配列した撮像素子とを備え、An image sensor in which a plurality of pixels are arranged for each of the plurality of positive lenses,
前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する撮像装置であって、An imaging device that individually receives light beams from different regions of an exit pupil of the imaging optical system with the plurality of pixels,
前記撮像装置において１回の撮影で得られたデータに適用される合成手段を備え、In the imaging apparatus, comprising combining means applied to data obtained by one shooting,
前記合成手段は、The synthesis means includes
前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値を加算することにより、前記結像光学系の任意の像面における像の画素の画素値を求めて前記結像光学系の任意の像面における像の画像データを合成し、A pixel value of an image pixel in an arbitrary image plane of the imaging optical system is obtained by adding pixel values of a plurality of pixels selected from the plurality of pixels of the data obtained by the one photographing. Combining image data of an image on an arbitrary image plane of the imaging optical system;
前記合成において、前記複数個の画素から選択する複数画素を変えることにより、前記結像光学系の異なる像面における像の画素の画素値を求めて、前記結像光学系の異なる像面における像の画像データを合成し、In the synthesis, by changing a plurality of pixels selected from the plurality of pixels, a pixel value of an image pixel on a different image plane of the imaging optical system is obtained, and an image on a different image plane of the imaging optical system is obtained. The image data of
前記加算の際に、前記１回の撮影で得られたデータの前記複数個の画素から選択した複数画素の画素値に所定の重み係数を乗算した値を加算するAt the time of the addition, a value obtained by multiplying a pixel value of a plurality of pixels selected from the plurality of pixels of the data obtained by the one photographing is multiplied by a predetermined weight coefficient is added.
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、A microlens array in which a plurality of microlenses are arranged two-dimensionally at a predetermined pitch near the focal plane of the imaging optical system;
前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、A plurality of light receiving portions for each of the microlenses, a light receiving portion array that receives a light beam passing through a different region of an exit pupil of the imaging optical system for each light receiving portion, and outputs a light reception signal;
前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、An arithmetic unit that synthesizes an image having an image plane at an arbitrary position in the optical path of the imaging optical system based on a light reception signal output from the light receiving unit array;
前記演算部は、The computing unit is
前記任意の位置と、前記任意の位置に任意に設定された領域の大きさと、所望の絞りに対応する前記任意に設定された大きさの領域に入射する光束の立体角度と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めることにより、前記結像光学系の光路中の任意の位置を像面とする画像を合成するThe arbitrary position, the size of the area arbitrarily set at the arbitrary position, the solid angle of the light beam incident on the area of the arbitrarily set size corresponding to the desired diaphragm, and each microlens Based on the light reception signals output from the plurality of light receiving units, the light quantity of the light beam incident on the region having the arbitrarily set size is obtained, whereby an arbitrary position in the optical path of the imaging optical system is determined. Compositing the image as the image plane
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記合成する画像の画素は、前記任意に設定された大きさの領域に対応するThe pixel of the image to be combined corresponds to the region having the arbitrarily set size.
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記演算部は、The computing unit is
前記任意の位置と、前記任意に設定された領域の大きさと、前記立体角度をパラメータとする窓関数と、前記各マイクロレンズの複数の受光部から出力される受光信号とに基づいて、前記任意に設定された大きさの領域に入射する光束の光量を求めるBased on the arbitrary position, the size of the arbitrarily set region, the window function using the solid angle as a parameter, and the light reception signals output from the plurality of light receiving units of the microlenses, Determine the amount of light flux incident on the area of the size set to
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記演算部は、The computing unit is
前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を求め、前記求めた前記複数の受光部からの受光信号より数の多い受光信号に基づき、前記任意に設定された大きさの領域に入射する光束の光量を求めるBy interpolating a plurality of light receiving signals output from the plurality of light receiving portions of each microlens, a light receiving signal having a larger number than the light receiving signals from the plurality of light receiving portions of each microlens is obtained, Further, the light quantity of the light beam incident on the region having the arbitrarily set size is obtained based on the received light signals that are more than the received light signals from the plurality of light receiving units.
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、A microlens array in which a plurality of microlenses are arranged two-dimensionally at a predetermined pitch near the focal plane of the imaging optical system;
前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、A plurality of light receiving portions for each of the microlenses, a light receiving portion array that receives a light beam passing through a different region of an exit pupil of the imaging optical system for each light receiving portion, and outputs a light reception signal;
前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、An arithmetic unit that synthesizes an image having an image plane at an arbitrary position in the optical path of the imaging optical system based on a light reception signal output from the light receiving unit array;
前記演算部は、The computing unit is
前記各マイクロレンズの前記複数の受光部から出力する複数の受光信号について補間処理をすることにより、前記各マイクロレンズの前記複数の受光部からの受光信号より数の多い受光信号を得るInterpolation processing is performed on the plurality of light receiving signals output from the plurality of light receiving portions of each microlens, thereby obtaining a larger number of light receiving signals than the light receiving signals from the plurality of light receiving portions of each microlens.
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記結像光学系の焦点面近傍に複数のマイクロレンズを所定のピッチで二次元状に配置したマイクロレンズアレイと、A microlens array in which a plurality of microlenses are arranged two-dimensionally at a predetermined pitch near the focal plane of the imaging optical system;
前記マイクロレンズのそれぞれに対して複数の受光部を有し、前記結像光学系の射出瞳の異なる領域を通過する光束を該受光部ごとに受光して受光信号を出力する受光部アレイと、A plurality of light receiving portions for each of the microlenses, a light receiving portion array that receives a light beam passing through a different region of an exit pupil of the imaging optical system for each light receiving portion, and outputs a light reception signal;
前記受光部アレイから出力される受光信号に基づいて、前記結像光学系の光路中の任意の位置を像面とする画像を合成する演算部とを備え、An arithmetic unit that synthesizes an image having an image plane at an arbitrary position in the optical path of the imaging optical system based on a light reception signal output from the light receiving unit array;
前記受光部アレイには、１つの受光部に１つの色成分が対応する複数の色成分からなるカラーフィルターが設けられ、The light receiving unit array is provided with a color filter composed of a plurality of color components corresponding to one color component in one light receiving unit,
前記演算部は、The computing unit is
前記複数の色成分のうち最も分布密度の高い第１の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第１の色成分の画像を合成し、前記合成した画像において、前記第１の色成分の合成後の受光信号を使用して前記第１色成分とは異なる第２の色成分の受光部に対応する位置における前記第１色成分の信号を補間するBased on the light reception signal output from the light receiving unit of the first color component having the highest distribution density among the plurality of color components, the image of the first color component having the arbitrary position as the image plane is synthesized. In the synthesized image, the first color component of the first color component at a position corresponding to a light receiving portion of a second color component different from the first color component using the received light signal after the synthesis of the first color component. Interpolate signals
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記演算部は、The computing unit is
前記第２の色成分の受光部から出力される受光信号に基づいて、前記任意の位置を像面とする前記第２の色成分の画像を合成し、Based on the light reception signal output from the light receiving unit of the second color component, the image of the second color component with the arbitrary position as the image plane is synthesized,
前記合成された第２の色成分の画像において、前記補間された第１の色成分の受光信号を使用して、前記第２の色成分の受光信号と前記第１の色成分の受光信号との差分信号を生成し、In the synthesized second color component image, using the interpolated first color component light reception signal, the second color component light reception signal and the first color component light reception signal; Of the difference signal
前記生成した差分信号を使用して、前記差分信号が生成されていない位置における前記差分信号を補間し、Using the generated difference signal, interpolating the difference signal at a position where the difference signal is not generated,
前記補間された差分信号と前記第１の色成分の受光信号に基づき、補間された前記第２の色の成分の受光信号を求めるBased on the interpolated difference signal and the light reception signal of the first color component, a light reception signal of the interpolated second color component is obtained.
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
前記複数の色成分からなるカラーフィルターは、赤色成分、緑色成分、青色成分からなるベイヤ配列のカラーフィルターであり、The color filter composed of a plurality of color components is a Bayer array color filter composed of a red component, a green component, and a blue component,
前記第１の色成分は緑色成分であり、The first color component is a green color component;
前記第２の色成分は赤色成分又は青色成分であるThe second color component is a red component or a blue component
ことを特徴とする撮像装置。An imaging apparatus characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011157960A JP5218611B2 (en) | 2011-07-19 | 2011-07-19 | Image composition method and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011157960A JP5218611B2 (en) | 2011-07-19 | 2011-07-19 | Image composition method and imaging apparatus |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005183729A Division JP4826152B2 (en) | 2005-06-23 | 2005-06-23 | Image composition method and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011217411A JP2011217411A (en) | 2011-10-27 |
| JP5218611B2 true JP5218611B2 (en) | 2013-06-26 |
Family
ID=44946598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011157960A Expired - Fee Related JP5218611B2 (en) | 2011-07-19 | 2011-07-19 | Image composition method and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5218611B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5917158B2 (en) * | 2012-01-13 | 2016-05-11 | キヤノン株式会社 | Imaging apparatus, control method thereof, and imaging system |
| JP5893412B2 (en) * | 2012-01-13 | 2016-03-23 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP5783929B2 (en) * | 2012-02-20 | 2015-09-24 | キヤノン株式会社 | Imaging device |
| WO2013179620A1 (en) * | 2012-05-28 | 2013-12-05 | 株式会社ニコン | Imaging device |
| JP6016516B2 (en) * | 2012-08-13 | 2016-10-26 | キヤノン株式会社 | Image processing apparatus, control method therefor, image processing program, and imaging apparatus |
| JP6012396B2 (en) * | 2012-10-24 | 2016-10-25 | キヤノン株式会社 | Image processing apparatus, image processing method, and program. |
| WO2015004886A1 (en) * | 2013-07-12 | 2015-01-15 | パナソニックＩｐマネジメント株式会社 | Imaging device |
| CN107407852A (en) * | 2015-03-30 | 2017-11-28 | 株式会社尼康 | The manufacture method of filming apparatus, poly-lens camera and filming apparatus |
| EP3264755A1 (en) * | 2016-06-30 | 2018-01-03 | Thomson Licensing | Plenoptic sub aperture view shuffling for a richer color sampling |
| CN106791331B (en) * | 2017-01-13 | 2019-07-12 | 成都微晶景泰科技有限公司 | Image processing method, device and imaging system based on lens array imaging |
-
2011
- 2011-07-19 JP JP2011157960A patent/JP5218611B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011217411A (en) | 2011-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4826152B2 (en) | Image composition method and imaging apparatus | |
| JP5218611B2 (en) | Image composition method and imaging apparatus | |
| US9001262B2 (en) | Image sensor and image capturing apparatus | |
| JP5219865B2 (en) | Imaging apparatus and focus control method | |
| JP5361535B2 (en) | Imaging device | |
| JP5618943B2 (en) | Image processing method, imaging apparatus, image processing apparatus, and image processing program | |
| JP5818697B2 (en) | Image generation method, imaging device, display device, program, and storage medium | |
| JP2007279312A (en) | Imaging element, image sensor and imaging apparatus | |
| JP2009159226A (en) | Imaging element, focus detection device, focus adjustment device and imaging apparatus | |
| JP6397281B2 (en) | Imaging apparatus, control method thereof, and program | |
| US10171732B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on plurality of parallax images | |
| JP2011237215A (en) | Depth map output device | |
| JP7352359B2 (en) | Image sensor and imaging device | |
| WO2013183561A1 (en) | Imaging element and imaging device | |
| JP2022000695A (en) | Imaging device | |
| JP5251323B2 (en) | Imaging device | |
| WO2015053113A1 (en) | Imaging device, electronic apparatus | |
| JP2009047734A (en) | Imaging apparatus and image processing program | |
| JP6600217B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and control method thereof | |
| JP2017207695A (en) | Optical device | |
| JP5907668B2 (en) | Imaging device and imaging device | |
| JP2010139624A (en) | Imaging element and imaging apparatus | |
| JP5589799B2 (en) | Imaging device | |
| JP6802633B2 (en) | Image sensor, image sensor, image generation method, and program | |
| JP5691440B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110810 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5218611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |