JP2009244662A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2009244662A JP2009244662A JP2008092141A JP2008092141A JP2009244662A JP 2009244662 A JP2009244662 A JP 2009244662A JP 2008092141 A JP2008092141 A JP 2008092141A JP 2008092141 A JP2008092141 A JP 2008092141A JP 2009244662 A JP2009244662 A JP 2009244662A
- Authority
- JP
- Japan
- Prior art keywords
- microlens
- optical system
- light
- shape
- diaphragm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
この発明は、撮像装置に関し、特に、マイクロレンズを用いた撮像装置に関する。 The present invention relates to an imaging device, and more particularly, to an imaging device using a microlens.
非特許文献１において、プレノプティックカメラの原理を用いて、取得した画像データを再構成してリフォーカシングされた画像データを生成する、ライトフィールドカメラが提案されている。 Non-Patent Document 1 proposes a light field camera that reconstructs acquired image data and generates refocused image data using the principle of a plenoptic camera.
図１は、非特許文献１で用いられている従来のプレノプティックカメラ１００の光学系の構成を示した図である。図１を参照して、従来のプレノプティックカメラ１００は、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３とを備える。
FIG. 1 is a diagram showing a configuration of an optical system of a conventional
撮像レンズ１１は、物体からの光（物体光）を集光する。マイクロレンズアレイ１２上には、二次元平面上にマイクロメータオーダのピッチでマイクロレンズ１２ａ，１２ｂ，１２ｃ,・・・が規則的に配置されている。なお、マイクロレンズアレイ１２は、撮像レンズ１１が物体像を結像する位置の近傍に配置される。撮像素子１３は、マイクロレンズアレイ１２を通して得られる物体像を取得する。
The imaging lens 11 collects light from the object (object light). On the
次に、プレノプティックカメラ１００で得られる画像の特徴を、図１〜４を用いて説明する。
Next, the characteristics of the image obtained by the
ここでは、物体が図１に示す物体面Ａｋ、Ｂｋ、Ｃｋのそれぞれにある場合に得られる画像について説明する。図１において、物体面Ａｋは、マイクロレンズアレイ１２上で結像する、すなわち、物体面Ａｋと撮像レンズ１１との間の距離と、撮像レンズ１１とマイクロレンズアレイ１２との間の距離とは、結像関係にあるとする。物体面Ｂｋは、物体面Ａｋの位置よりも撮像レンズ１１側に位置している。物体面Ｃｋは、撮像レンズ１１から見て物体面Ａｋよりも遠い距離に位置している。
Here, an image obtained when an object is on each of the object planes Ak, Bk, and Ck shown in FIG. 1 will be described. In FIG. 1, the object plane Ak forms an image on the
図１では、物体面Ａｋ上の点光源から出た光線は、撮像レンズ１１を通過後、マイクロレンズアレイ１２の１つのマイクロレンズ１２ａに集光する。マイクロレンズ１２ａに集光した光は、その後広がって、マイクロレンズアレイ１２の直後に配置されている撮像素子１３上の一部の領域に広がって検出される。
In FIG. 1, the light beam emitted from the point light source on the object plane Ak passes through the imaging lens 11 and is then collected on one
図２は、マイクロレンズアレイ１２に集光した光が撮像素子１３上の一部の領域に広がって検出される状態を示した図である。図２（ａ）は、図１において点光源が物体面Ａｋ上に位置する場合を示す。図２（ｂ）は、図１において点光源が物体面Ｂｋ上に位置する場合を示す。
FIG. 2 is a diagram illustrating a state in which the light collected on the
図２（ａ）に示すように、点光源が物体面Ａｋにある場合、撮像素子１３の斜線部の画素１３ａにおいてマイクロレンズアレイ１２からの光が検出される。このように、点光源が物体面Ａｋにある場合、マイクロレンズ１２ｍ（ｍ＝ａ，ｂ，ｃ，・・・）に対応する撮像素子１３の画素領域は決まっている。
As shown in FIG. 2A, when the point light source is on the object plane Ak, light from the
一方、物体面Ｂｋ上にある点光源から出た光線は、マイクロレンズアレイ１２上でスポットの広がった分布となる。図１では、物体面Ｂｋ上の点光源から出た光線は、撮像レンズ１１を通過後、マイクロレンズアレイ１２の複数のマイクロレンズ１２ａ〜１２ｅに入射する。マイクロレンズ１２ａ〜１２ｅに入射した光は、その後個々に収束または発散して、マイクロレンズアレイ１２の直後に配置されている撮像素子１３上の複数の一部領域において検出される。
On the other hand, a light beam emitted from a point light source on the object plane Bk has a distribution in which spots are spread on the
図２（ｂ）に示すように、点光源が物体面Ｂｋにある場合、撮像素子１３の斜線部の複数の画素１３ｂ〜１３ｆにおいてマイクロレンズアレイ１２からの光が検出される。このように、点光源が物体面Ｂｋにある場合、マイクロレンズ１２ｍ（ｍ＝ａ〜ｅ）に対応する撮像素子１３の画素全てで光が検出されるわけではなく、対応する画素のうち、一部の画素領域にのみ光は入射する。
As shown in FIG. 2B, when the point light source is on the object plane Bk, light from the
図３は、撮像レンズ１１の光軸近傍に位置するマイクロレンズ１２ａ，１２ｂ，１２ｄ上を通った光が撮像素子１３のどの画素に入射するかを示す図である。図３では、１マイクロレンズあたり、１０×１０の画素が割り当てられている。図３の（ａ）〜（ｃ）において、斜線部は、光の入射する部分である。
FIG. 3 is a diagram showing to which pixel of the
図３（ａ）は、撮像レンズ１１から見て物体面Ａｋよりも距離の近い物体面Ｂｋ上の点光源から出た光線がマイクロレンズ１２ａ，１２ｂ，１２ｄを通って撮像素子１３に入射する様子を示す。図３（ａ）に示すように、物体面Ｂｋ上の点光源から出た光線は、マイクロレンズ１２ａに対応する方形領域１４１の他に、マイクロレンズ１２ｂ，１２ｄに対応する領域１４２，１４３の中の画素で検出される。
FIG. 3A shows a state in which a light beam emitted from a point light source on the object plane Bk closer to the object plane Ak as viewed from the imaging lens 11 enters the
図３（ｂ）は、物体面Ａｋ上の点光源から出た光線がマイクロレンズ１２ａを通って撮像素子１３に入射する様子を示す。図３（ｂ）に示すように、物体面Ａｋ上の点光源から出た光線は、マイクロレンズ１２ａに対応する円形領域１４４の中の画素で検出される。
FIG. 3B shows a state in which a light beam emitted from a point light source on the object plane Ak enters the
図３（ｃ）は、撮像レンズ１１から見て物体面Ａｋよりも距離の遠い物体面Ｃｋ上の点光源から出た光線がマイクロレンズ１２ａ，１２ｂ，１２ｄを通って撮像素子１３に入射する様子を示す。図３（ｃ）に示すように、物体面Ｃｋ上の点光源から出た光線は、マイクロレンズ１２ａに対応する方形領域１４５の他に、マイクロレンズ１２ｂ，１２ｄに対応する領域１４６，１４７の中の画素で検出される。
FIG. 3C shows a state in which a light beam emitted from a point light source on the object plane Ck that is farther from the object plane Ak as viewed from the imaging lens 11 enters the
図３（ａ）と図３（ｃ）とを比較すると、物体面Ｂｋでの領域１４２，１４３は方形領域１４１に近い側に分布するのに対し、物体面Ｃｋでの領域１４６，１４７は方形領域１４５から遠い側に分布することが分かる。このように、マイクロレンズアレイ１２の共役面である物体面Ａｋから近いか遠いかで、撮像素子１３上で検出される光の分布の状態が変化する。
Comparing FIG. 3A and FIG. 3C, the
図３で説明した光の分布特性により、プレノプティックカメラ方式による撮像装置では、撮像素子１３の各画素は、光線の輝度値だけではなく、光線の方向の情報をも表わす。このことを図４を参照して、説明しておく。図４は、マイクロレンズアレイ１２に垂直方向および斜め方向から光線が入射した場合の撮像素子１３上の画素の状態を示した図である。
With the light distribution characteristics described with reference to FIG. 3, in the imaging device using the plenoptic camera system, each pixel of the
たとえば、図４の画素１３０ａ，１３０ｂは、それぞれ、実線の光線Ｌａおよび破線の光線Ｌｂの方向からマイクロレンズ１２ａに入射する光線の輝度値を記録していると考えることができる。それぞれの画素によって検出される光は、撮像素子１３上の点と、マイクロレンズアレイ１２上の点とを結ぶ直線（ベクトル）として記述される。
For example, it can be considered that the pixels 130a and 130b in FIG. 4 record the luminance values of the light rays incident on the
被写体である物体からの構成が撮像素子１３上のどの位置の画素に入射するかは、プレノプティックカメラ１００の光学系のパラメータによって決定される。したがって、当該光学系のパラメータ情報が既知であれば、各画素で検出される光の方向を決めることができる。これにより、プレノプティックカメラ１００のマイクロレンズアレイ１２の位置以外の焦点面（仮想焦点面）での画像を、画素配列の再構成によって一意的に取得することが可能となる。
従来のプレノプティックカメラ１００では、図３に示すように、各マイクロレンズには、矩形形状の画素群が割り当てられる。しかし、実際に撮像される光スポット形状は、図３に示すように円形である。このため、光が入射しない画素が生じ、撮像素子の画素を有効に活用できていない。
In the conventional
それゆえに、この発明の目的は、撮像素子の画素を有効に活用することのできるプレノプティックカメラ方式の撮像装置を提供することである。 SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide a plenoptic camera type imaging apparatus capable of effectively utilizing pixels of an imaging element.
１つの局面に係る本願発明は、物体の複数の焦点面画像を画像処理により生成可能な画像を撮影するための撮像装置であって、物体からの物体光を集光する光学系と、それぞれが光学系により集光された物体光を受ける複数のマイクロレンズが形成されたマイクロレンズアレイと、マイクロレンズアレイの焦点距離の位置に配置された撮像素子とを備え、撮像素子は、それぞれが互いに異なるマイクロレンズを透過する物体光を受ける複数の画素群に分割された複数の画素を含み、光学系は、光学系の射出瞳形状を画素群の形状と相似にするための整形手段を含む。 The present invention according to one aspect is an imaging device for capturing an image that can generate a plurality of focal plane images of an object by image processing, and an optical system that collects object light from the object, A microlens array in which a plurality of microlenses receiving object light collected by an optical system is formed, and an image pickup device disposed at a focal length of the microlens array, and the image pickup devices are different from each other. The optical system includes a plurality of pixels divided into a plurality of pixel groups that receive object light transmitted through the microlens, and the optical system includes shaping means for making the exit pupil shape of the optical system similar to the shape of the pixel groups.
好ましくは、光学系のＦナンバーと、各マイクロレンズのＦナンバーとが等しい。
好ましくは、各画素群に含まれる画素の数がｎ×ｎ個であり、光学系の主平面とマイクロレンズアレイとの間隔Ｇと、各マイクロレンズの焦点距離ｆと、マイクロレンズアレイのレンズピッチｐと、撮像素子の素子ピッチｇが、 ｇ／ｐ ＝ （１＋ｆ／Ｇ）／ｎ の関係を満たす。
Preferably, the F number of the optical system is equal to the F number of each microlens.
Preferably, the number of pixels included in each pixel group is n × n, the distance G between the main plane of the optical system and the microlens array, the focal length f of each microlens, and the lens pitch of the microlens array p and the element pitch g of the image sensor satisfy the relationship of g / p = (1 + f / G) / n.
好ましくは、整形手段は、画素群の形状と相似の開口形状をもつ絞りである。
好ましくは、光学系は、複数のレンズを含み、整形手段は、それぞれの開口形状が、光学系の射出瞳形状が画素群の形状と相似となるように設計されている、複数の絞りである。
Preferably, the shaping means is a stop having an opening shape similar to the shape of the pixel group.
Preferably, the optical system includes a plurality of lenses, and the shaping unit is a plurality of apertures each having an aperture shape designed so that the exit pupil shape of the optical system is similar to the shape of the pixel group. .
好ましくは、絞りは、絞りの中心位置をシフトする機構を含む。
好ましくは、絞りは、開口形状が可変な可変絞りである。
Preferably, the stop includes a mechanism for shifting the center position of the stop.
Preferably, the diaphragm is a variable diaphragm whose opening shape is variable.
本発明によれば、プレノプティックカメラ方式の撮像装置において、撮像素子上の画素を有効に活用することができる。 According to the present invention, in the plenoptic camera type imaging apparatus, the pixels on the imaging element can be effectively used.
以下、この発明の実施の形態について図面を参照して詳しく説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals and description thereof will not be repeated.
図５は、この発明の実施の形態に係る撮像装置１０の光学系の概略的な構成を示した図である。図５を参照して、撮像装置１０は、撮像レンズ１と、マイクロレンズアレイ２と、撮像素子３と、絞り４とを備える。
FIG. 5 is a diagram showing a schematic configuration of the optical system of the
撮像レンズ１は、物体光を集光する。図５に示すように、撮像レンズ１の径をＨと表わすことにする。 The imaging lens 1 collects object light. As shown in FIG. 5, the diameter of the imaging lens 1 is represented as H.
マイクロレンズアレイ２には、２次元平面上にマイクロメータオーダのピッチでマイクロレンズ２ｍ（ｍ＝ａ，ｂ，ｃ，・・・）が規則的に配置されている。本実施の形態においては、碁盤目状に配置されているものとする。すなわち、マイクロレンズアレイ２上でのマイクロレンズ２ｍの中心は、各軸がｘおよびｙ方向に平行な格子の交点に形成されてものとする。したがって、各マイクロレンズの占める領域は矩形形状になる。特に、各マイクロレンズの占める領域が正方形で、画素のｘおよびｙ方向のピッチが同じ場合には、撮像素子３上の画素群は、ｎ×ｎ個の画素から構成される正方形となる。ただし、マイクロレンズの配置は、これに限られるものではない。例えば、ハニカム状にマイクロレンズが配置されていてもよい。
In the
物体面Ａｋとマイクロレンズアレイ２との位置は共役関係にあり、物体像はマイクロレンズアレイ２上で結像する。図５において、物体面Ａｋと撮像レンズ１との間隔をＤ、撮像レンズ１とマイクロレンズアレイ２との間隔をＧ、撮像レンズ１の焦点距離をｆとすると、結像関係の式から、次の式（１）の関係が成り立つ。
The position of the object plane Ak and the
１／Ｄ ＋ １／Ｇ ＝ １／ｆ （１）
撮像装置１０は、撮像レンズ１およびマイクロレンズアレイ２を通した像を撮像素子３によって取得する。撮像素子３は、マイクロレンズアレイ２においてレンズ形状が形成されている面から、マイクロレンズ２ｍの焦点距離だけ離れた位置に配置される。撮像素子３は複数の画素を含む。そして、複数の画素は、各々が各マイクロレンズに対応する複数の画素群に分割される。
1 / D + 1 / G = 1 / f (1)
The
絞り４は、物体光を整形する。本実施の形態に係る絞り４の開口形状は図６に示すように、通常用いられる丸型とは異なり、矩形であるとする。また、開口の横および縦の一辺の方向はそれぞれｘ、ｙ方向に沿うように配置する。この絞り４の開口部の対角方向の長さは、撮像レンズ１の径より小さく、撮像レンズ１を通過する光束の開口絞りとして作用する。 The diaphragm 4 shapes the object light. As shown in FIG. 6, the aperture shape of the diaphragm 4 according to the present embodiment is assumed to be rectangular, unlike a normally used round shape. Further, the horizontal and vertical sides of the opening are arranged along the x and y directions, respectively. The diagonal length of the opening of the diaphragm 4 is smaller than the diameter of the imaging lens 1 and acts as an aperture diaphragm for the light beam passing through the imaging lens 1.
絞り４の開口部が上述のような形状であることにより、撮像素子３の画素を有効に利用することができる。このことを図７を参照して説明する。図７は、絞り４がある場合とない場合のそれぞれにおける、撮像素子３への光の入射の様子を示す図である。
Since the opening of the diaphragm 4 has the shape as described above, the pixels of the
図７（ａ）は、絞り４がない場合の、撮像素子３への光の入射の様子を示す図である。撮像レンズ１を通過した光７２は、マイクロレンズ２ｍを通って、撮像素子３に入射する。したがって、撮像素子３上の光７４は、撮像レンズ１を通過した光７２と相似形状、すなわち円形となる。
FIG. 7A is a diagram illustrating a state of incidence of light on the
一方、図７（ｂ）は、絞り４がある場合の、撮像素子３への光の入射の様子を示す図である。撮像レンズ１および絞り４を通過した光７６は、マイクロレンズ２ｍを通って、撮像素子３に入射する。したがって、撮像素子３上の光７８は、撮像レンズ１および絞り４を通過した光７６と相似形状、すなわち矩形状となる。よって、画素を有効に利用することができる。
On the other hand, FIG. 7B is a diagram illustrating a state of incidence of light on the
なお、絞り４の開口形状は正方形に限るものではない。例えば、この形はマイクロレンズの配置がハニカム状に形成されている場合には、１マイクロレンズに対応する画素群の領域は六角形となる。この場合、絞り４の開口形状もこれにあわせて六角形とする。また、画素群領域が他の形状であってもそれに合わせて開口の形状を設定する。 The aperture shape of the diaphragm 4 is not limited to a square. For example, in the case where the arrangement of microlenses is formed in a honeycomb shape, the pixel group region corresponding to one microlens is a hexagon. In this case, the aperture shape of the diaphragm 4 is also a hexagon according to this. Further, even if the pixel group region has another shape, the shape of the opening is set in accordance with the shape.
このように、マイクロレンズアレイ２に形成された１つのマイクロレンズ２ｍに対応する撮像素子上の画素群の占める領域と相似な形状の開口部をもつ絞り４を用いることにより、画素の有効利用を実現できる。
In this way, effective use of pixels can be achieved by using the diaphragm 4 having an opening similar to the area occupied by the pixel group on the image sensor corresponding to one
また、撮像素子の画素を有効に活用することができるため、取得した画像のコントラストが明確になる。よって、再構成した画像を複数生成した場合、合焦、非合焦の識別精度が向上する。 In addition, since the pixels of the image sensor can be used effectively, the contrast of the acquired image becomes clear. Therefore, when a plurality of reconstructed images are generated, in-focus and out-of-focus identification accuracy is improved.
さらに、撮像レンズ１と絞り４によって構成される光学系（撮像レンズ光学系とよぶ）の実効的なＦナンバーを、マイクロレンズ２ｍのＦナンバーに一致させることによって、１つのマイクロレンズ２ｍに対応する画素群をより有効に活用することができる。
Furthermore, by matching the effective F number of an optical system (referred to as an imaging lens optical system) constituted by the imaging lens 1 and the diaphragm 4 with the F number of the
図８は、マイクロレンズ２ｍのＦナンバーＦＮｍと撮像レンズ光学系のＦナンバーＦＮとの大小関係による撮像素子３への光の入射状態の違いを説明するための図である。
FIG. 8 is a diagram for explaining the difference in the incident state of light on the
図８（ａ）は、マイクロレンズ２ｍのＦナンバーＦＮｍが撮像レンズ光学系のＦナンバーＦＮよりも小さい（ＦＮｍ＜ＦＮ）場合を示した図である。この場合、図８（ａ）に示すように、撮像素子３上の一部の画素において、隣り合うマイクロレンズを通過してきた光が重なり合ってしまう。具体的には、図８（ａ）の撮像素子３は、斜線部３１，３２の画素において、異なるマイクロレンズ２ｍからの光が重なって検出される。
FIG. 8A is a diagram showing a case where the F number FNm of the
前述したように、撮像素子３のそれぞれの画素は、特定方向の光を検出する役割を果たす。しかしながら、上記のように光が重なって検出される場合、異なる２つの方向から入射する光線を同時に検出することになり、光線の情報を特定することができなくなる。よって、このようにマイクロレンズ２ｍおよび撮像レンズ光学系のＦナンバーを定めると、画像の再構成に不具合が生じる。
As described above, each pixel of the
図８（ｃ）は、マイクロレンズ２ｍのＦナンバーＦＮｍが撮像レンズ１のＦナンバーＦＮよりも大きい（ＦＮｍ＞ＦＮ）場合を示した図である。この場合、図８（ａ）のように光が重なって検出されるのは避けることができる。しかしながら、図８（ｃ）の場合、撮像素子３上の一部の画素に光が入射しなくなる。具体的には、図８（ｃ）の撮像素子３は、斜線部４１，４２の画素において、マイクロレンズ２ｍからの光が入射しない。すなわち、この場合、撮像素子３の画素を有効に利用できていないことになる。
FIG. 8C is a diagram showing a case where the F number FNm of the
図８（ｂ）は、被写体の物体が有限の距離にある場合において、マイクロレンズ２ｍのＦナンバーＦＮｍが撮像レンズ１の像側ＦナンバーＦＮと等しい（ＦＮｍ＝ＦＮ）場合を示した図である。この場合、図８（ｂ）に示すように、撮像素子３上の一部の画素において光が重なったり入射しなかったりすることがない。このとき、撮像素子３の画素を最も有効に使うことができる。
FIG. 8B shows a case where the F number FNm of the
ところで、各マイクロレンズ２ｍのレンズ径をＨｍとし、各マイクロレンズ２ｍのＦナンバーをＦＮｍとすると、各マイクロレンズ２ｍの焦点距離ｆｍは、次の式（２）で表わされる。 By the way, if the lens diameter of each microlens 2m is Hm and the F number of each microlens 2m is FNm, the focal length fm of each microlens 2m is expressed by the following equation (2).
ｆｍ ＝ Ｈｍ・ＦＮｍ （２）
一方、再び図５を参照して、撮像レンズ１の倍率βは、β＝Ｇ／Ｄと表わされる。さらに、撮像レンズ１の主点と瞳面との位置差が物体までの距離に比べて無視できるという条件下では、撮像レンズ光学系の実効的なＦナンバーは、ＦＮ（１＋β）と表わされる。
fm = Hm · FNm (2)
On the other hand, referring to FIG. 5 again, the magnification β of the imaging lens 1 is expressed as β = G / D. Furthermore, under the condition that the positional difference between the principal point of the imaging lens 1 and the pupil plane is negligible compared to the distance to the object, the effective F number of the imaging lens optical system is expressed as FN (1 + β).
よって、撮像レンズ光学系の実効的なＦナンバーＦＮ（１＋β）とマイクロレンズ２ｍのＦナンバーＦＮｍとが一致している場合、
ｆｍ ＝ Ｈｍ・ＦＮｍ
＝ Ｈｍ・ＦＮ（１＋β） （３）
を満たす。逆に、式（３）を満たすように、マイクロレンズ２ｍの焦点距離ｆｍを設定し、撮像素子３をマイクロレンズアレイ２から当該焦点距離ｆｍだけ離して配置すれば、画素を有効に利用できる。
Therefore, when the effective F number FN (1 + β) of the imaging lens optical system and the F number FNm of the
fm = Hm · FNm
= Hm · FN (1 + β) (3)
Meet. Conversely, if the focal length fm of the
特に、レンズ径Ｈｍとレンズピッチｐとが等しいマイクロレンズアレイ２を用いる場合は、次の式（４）を満たすようにマイクロレンズ２ｍの焦点距離ｆｍを設定し、撮像素子３をマイクロレンズアレイ２から当該焦点距離ｆｍだけ離して配置すればよい。
In particular, when the
ｆｍ ＝ Ｈｍ・ＦＮｍ
＝ ｐ・ＦＮ（１＋β） （４）
このようなマイクロレンズアレイ２を用いることは、物体光を有効に用いるために好ましい。
fm = Hm · FNm
= P · FN (1 + β) (4)
Use of such a
なお、撮像レンズ１と絞り４を一つの撮像レンズ光学系として考えたとき、撮像レンズ光学系の径は絞り４の開口が矩形のため方向により異なり（例えば、ｘ（ｙ）方向と対角方向で異なり）、撮像レンズ光学系のＦナンバーの値も方向により異なる。しかし、マイクロレンズの形状も矩形であり、マイクロレンズのＦナンバーの値も、撮像レンズ光学系のＦナンバーの値と同様に方向により異なる。したがって、方向によらず、式（３）が画素を有効利用するための条件式となる。 When the imaging lens 1 and the diaphragm 4 are considered as one imaging lens optical system, the diameter of the imaging lens optical system varies depending on the direction because the aperture of the diaphragm 4 is rectangular (for example, the x (y) direction and the diagonal direction). The F-number value of the imaging lens optical system also varies depending on the direction. However, the shape of the microlens is also rectangular, and the F-number value of the microlens is different depending on the direction, like the F-number value of the imaging lens optical system. Therefore, regardless of the direction, Expression (3) is a conditional expression for effectively using the pixels.
さらに、マイクロレンズアレイ２の所定の方向（格子状にマイクロレンズが配置されている場合、ｘ方向またはｙ方向）のレンズピッチｐと、対応する撮像素子の所定の方向の画素ピッチｇとは、各マイクロレンズ２ｍに割り当てられた画素群の所定の方向の画素数をｎとして、次の式（５）を満たすことが望ましい。 Furthermore, a lens pitch p in a predetermined direction of the microlens array 2 (in the case where microlenses are arranged in a lattice shape, an x direction or a y direction) and a pixel pitch g in a predetermined direction of the corresponding imaging element are: It is desirable to satisfy the following formula (5), where n is the number of pixels in a predetermined direction of the pixel group assigned to each microlens 2m.
ｇ／ｐ ＝ （１＋ｆ／Ｇ）／ｎ （５）
以下、この理由について説明する。本撮像装置１０では、撮像レンズ１を通過した対象物体からの光は、マイクロレンズアレイ２上の各マイクロレンズを介して撮像素子３に入射する。ところで、周辺部にある各マイクロレンズの光軸は、撮像レンズの光軸と一致しない。したがって、周辺部のマイクロレンズを通して撮像される画像の中心は、マイクロレンズの光軸からずれる。このずれは、マイクロレンズアレイ２の周辺部により近い（つまり、撮像レンズ１の光軸から、より離れた位置にある）マイクロレンズほど大きくなる。よって、各マイクロレンズの真後ろに位置し、マイクロレンズと同面積の領域の画素を、各マイクロレンズに割り当てると、各マイクロレンズに割り当てられた画素に、各マイクロレンズを透過した光が入射しないこととなり、正確な再構成画像が得られないという問題が生じる。
g / p = (1 + f / G) / n (5)
Hereinafter, this reason will be described. In the
図９を参照しつつ、このことについて詳しく説明する。図９（ａ）は、撮像レンズ１の光軸上にあるマイクロレンズを通過する光の光路と、撮像レンズ１の光軸から離れた位置にあるマイクロレンズを通過する光の光路とを示した図である。撮像レンズ１の光軸上にあるマイクロレンズを通過する光は、撮像素子３の領域１０００に入射する。撮像レンズ１の光軸から離れた位置にあるマイクロレンズを通過する光は、撮像素子３の領域１０１０に入射する。
This will be described in detail with reference to FIG. FIG. 9A shows an optical path of light that passes through the microlens on the optical axis of the imaging lens 1 and an optical path of light that passes through the microlens located away from the optical axis of the imaging lens 1. FIG. The light passing through the microlenses on the optical axis of the imaging lens 1 enters the
図９（ｂ）は、撮像レンズ１の光軸上にあるマイクロレンズを通過する光の光路の拡大図である。この光は、図９（ｂ）に示されるようにマイクロレンズの真後ろの領域に入射する。 FIG. 9B is an enlarged view of an optical path of light passing through a microlens on the optical axis of the imaging lens 1. This light is incident on a region directly behind the microlens as shown in FIG.
一方、図９（ｃ）は、撮像レンズ１の光軸から離れた位置にあるマイクロレンズを透過する光の光路の拡大図である。この光は、図９（ｃ）に示すように、マイクロレンズの真後ろの領域には入射しない。よって、マイクロレンズの真後ろの領域に含まれる画素を、マイクロレンズに対応する画素とすることは、不適切である。 On the other hand, FIG. 9C is an enlarged view of an optical path of light that passes through the microlens located at a position away from the optical axis of the imaging lens 1. As shown in FIG. 9C, this light does not enter the region immediately behind the microlens. Therefore, it is inappropriate to make the pixel included in the region immediately behind the microlens a pixel corresponding to the microlens.
この影響を低減するためには、画素群に入射する光の軸の傾きを考慮して、各マイクロレンズに対応する画素群の大きさを定めればよい。上の式（５）にしたがえば、例えば、図９（ｄ）に示すように、適切な画素群を設定できる。このようにすることで、各マイクロレンズに対応する画素が明確になり、良好な再構成画像を得ることができる。 In order to reduce this influence, the size of the pixel group corresponding to each microlens may be determined in consideration of the inclination of the axis of light incident on the pixel group. According to the above equation (5), for example, an appropriate pixel group can be set as shown in FIG. By doing in this way, the pixel corresponding to each microlens becomes clear, and a favorable reconstructed image can be obtained.
ところで、式（３）（４）から分かるように、撮像レンズ光学系のＦナンバーの適切な値は、撮像レンズ１とマイクロレンズアレイ２との位置関係などの光学系パラメータの変更によって変化する。このような変化に対応できるように、絞り４は、開口の大きさを調節することができる機構を備える可変絞りであるとする。図６に示すように、絞り４は、可動の羽根４ａおよび羽根４ｂとを備える。羽根４ａおよび羽根４ｂを対角方向に移動させることで、開口の大きさを変更できる。ただし、開口形状を変化させることができれば、この可変方式にかぎるものではない。
By the way, as can be seen from the equations (3) and (4), the appropriate value of the F number of the imaging lens optical system is changed by changing the optical system parameters such as the positional relationship between the imaging lens 1 and the
また、絞りの位置をシフトさせることによって、撮像装置の組立て時などに起因する画素ずれによる画素使用効率の低減を抑えることができる。これについて説明する。 In addition, by shifting the position of the diaphragm, it is possible to suppress reduction in pixel use efficiency due to pixel shift caused by assembling the imaging device. This will be described.
本方式のカメラは、撮像素子３の画素の再配置によって異なる焦点面の画像を生成する。このとき撮像素子３上の各画素はひとつのマイクロレンズアレイ２を通過する光だけを受光することになる。しかしながら、マイクロレンズアレイ２と撮像素子３の取り付け方によっては、１つのマイクロレンズ２ｍからの光スポットの領域Ｋと対応する画素群Ｌの範囲が図１０のようにずれてしまう場合がある。このとき、画素群の領域の最外周の画素に、隣のマイクロレンズからの画素を含むことになるため、正確な再構成像が得られないという問題が生じる。
The camera of this system generates different focal plane images by rearranging the pixels of the
これを避けるための１つの方法として、マイクロレンズアレイ２の各マイクロレンズに対応する画素群の位置を、１画素の精度で組立て調整することが考えられる。しかし、この方法では、組立て時に大きな負荷がかかる。また、たとえ１画素の精度で組み立てたとしても、撮像レンズ光学系の中心位置とマイクロレンズアレイ２と撮像素子３の中心位置のずれがある場合には、図１０に示すような変位がおきる場合がある。この様な場合、最外周画素は計算に用いることができないため、得られる光線の情報が制限され、ひいては再構成できる焦点面画像の数が制限されるなどの影響を受ける。
One method for avoiding this is to assemble and adjust the position of the pixel group corresponding to each microlens of the
このような組立て時の課題を避けるために、絞り４は、中心位置を調整できる機構を備えていてもよい。絞り４の中心位置を調整することにより、撮像素子３上に生成される像の位置をシフトさせることができるので、カメラを組立てた後にも撮像素子３の画素群に正確に一つのマイクロレンズからの光を入射させることが可能になり、すべての画素を有効に利用できるようになる。
In order to avoid such problems during assembly, the diaphragm 4 may be provided with a mechanism capable of adjusting the center position. By adjusting the center position of the diaphragm 4, the position of the image generated on the
また、撮像レンズを支持する支持体に、絞り４の機能を持たせてもよい。つまり、支持体により、周囲の不要な光を遮るようにすることもできる。絞りとレンズ支持の機能を一体とすることで、部材の削減や組立て時の工程を減らすことが可能になる。 In addition, the support that supports the imaging lens may have the function of the diaphragm 4. In other words, the surrounding light can be blocked by the support. By integrating the functions of the aperture and the lens support, it is possible to reduce the number of members and the number of assembly processes.
なお、物体光をマイクロレンズに集光するための光学系（撮像光学系とよぶ）は、図５に示すものに限られるわけではない。 Note that the optical system (referred to as an imaging optical system) for condensing the object light on the microlens is not limited to that shown in FIG.
例えば、撮像レンズ１と絞り４の位置関係が逆、すなわち、撮像レンズ１から見て被写体側に絞り４が配置されていてもよい。 For example, the positional relationship between the imaging lens 1 and the diaphragm 4 may be reversed, that is, the diaphragm 4 may be disposed on the subject side when viewed from the imaging lens 1.
あるいは、撮像光学系は、複数のレンズを含むものであってもよい。撮像光学系が複数のレンズを含む場合、絞り４と各レンズとの位置関係は、特に限られるものではない。 Alternatively, the imaging optical system may include a plurality of lenses. When the imaging optical system includes a plurality of lenses, the positional relationship between the diaphragm 4 and each lens is not particularly limited.
さらに、複数のレンズと複数の絞りを含む撮像光学系を用いてもよい。レンズ系が複雑な場合には、１つの絞りの開口だけでは、撮像光学系の最終的な瞳形状（射出瞳）を画素群と相似にできない場合がある。複数の絞りを用いれば、そのような場合にも、所望の開口形状をつくることができる。 Furthermore, an imaging optical system including a plurality of lenses and a plurality of stops may be used. When the lens system is complicated, the final pupil shape (exit pupil) of the imaging optical system may not be similar to the pixel group with only one aperture stop. If a plurality of stops are used, a desired opening shape can be created even in such a case.
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above description of the embodiments but by the scope of claims for patent, and is intended to include meanings equivalent to the scope of claims for patent and all modifications within the scope.
１，１１ 撮像レンズ、２，１２ マイクロレンズアレイ、２ｍ，１２ａ〜１２ｅ，１２ｍ マイクロレンズ、３，１３ 撮像素子、１０ 撮像装置、１００ プレノプティックカメラ。 DESCRIPTION OF SYMBOLS 1,11 Imaging lens, 2,12 Micro lens array, 2m, 12a-12e, 12m Micro lens, 3, 13 Image sensor, 10 Imaging device, 100 Plenoptic camera.
Claims (7)
前記物体からの物体光を集光する光学系と、
それぞれが前記光学系により集光された前記物体光を受ける複数のマイクロレンズが形成されたマイクロレンズアレイと、
前記マイクロレンズアレイの焦点距離の位置に配置された撮像素子とを備え、
前記撮像素子は、それぞれが互いに異なる前記マイクロレンズを透過する前記物体光を受ける複数の画素群に分割された複数の画素を含み、
前記光学系は、前記光学系の射出瞳形状を前記画素群の形状と相似にするための整形手段を含む、撮像装置。 An imaging apparatus for capturing an image capable of generating a plurality of focal plane images of an object by image processing,
An optical system for collecting object light from the object;
A microlens array formed with a plurality of microlenses each receiving the object light collected by the optical system;
An image sensor disposed at a focal length of the microlens array;
The imaging device includes a plurality of pixels divided into a plurality of pixel groups that receive the object light that passes through the different microlenses, respectively.
The image pickup apparatus, wherein the optical system includes shaping means for making the exit pupil shape of the optical system similar to the shape of the pixel group.
前記光学系の主平面と前記マイクロレンズアレイとの間隔Ｇと、各前記マイクロレンズの焦点距離ｆと、前記マイクロレンズアレイのレンズピッチｐと、前記撮像素子の素子ピッチｇが、
ｇ／ｐ ＝ （１＋ｆ／Ｇ）／ｎ
の関係を満たす、請求項１または２に記載の撮像装置。 The number of the pixels included in each of the pixel groups is n × n,
An interval G between the main plane of the optical system and the microlens array, a focal length f of each microlens, a lens pitch p of the microlens array, and an element pitch g of the image sensor
g / p = (1 + f / G) / n
The imaging device according to claim 1 or 2, satisfying the relationship:
前記整形手段は、それぞれの開口形状が、前記光学系の射出瞳形状が前記画素群の形状と相似となるように設計されている、複数の絞りである、請求項１から３のいずれか１項に記載の撮像装置。 The optical system includes a plurality of lenses,
4. The shaping device according to claim 1, wherein each of the shaping means is a plurality of apertures each having an aperture shape designed so that an exit pupil shape of the optical system is similar to the shape of the pixel group. The imaging device according to item.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008092141A JP2009244662A (en) | 2008-03-31 | 2008-03-31 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008092141A JP2009244662A (en) | 2008-03-31 | 2008-03-31 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009244662A true JP2009244662A (en) | 2009-10-22 |
Family
ID=41306603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008092141A Withdrawn JP2009244662A (en) | 2008-03-31 | 2008-03-31 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009244662A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058379A (en) * | 2010-09-07 | 2012-03-22 | Toshiba Corp | Solid-state image pickup device |
| JP2012191376A (en) * | 2011-03-10 | 2012-10-04 | Canon Inc | Image pickup apparatus and image pickup optical system |
| JP2012205111A (en) * | 2011-03-25 | 2012-10-22 | Casio Comput Co Ltd | Imaging apparatus |
| JP2014059509A (en) * | 2012-09-19 | 2014-04-03 | Nippon Hoso Kyokai <Nhk> | Apparatus and method for photographing stereo image |
| JP2014126694A (en) * | 2012-12-26 | 2014-07-07 | Nippon Hoso Kyokai <Nhk> | Apparatus and method for obtaining stereoscopic image |
| JP2016042191A (en) * | 2015-11-02 | 2016-03-31 | オリンパス株式会社 | Imaging device |
| EP3157244A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Plenoptic camera and method of controlling the opening of the diaphragm |
| WO2021184324A1 (en) * | 2020-03-19 | 2021-09-23 | 京东方科技集团股份有限公司 | Display device and display method therefor |
-
2008
- 2008-03-31 JP JP2008092141A patent/JP2009244662A/en not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058379A (en) * | 2010-09-07 | 2012-03-22 | Toshiba Corp | Solid-state image pickup device |
| US9094594B2 (en) | 2010-09-07 | 2015-07-28 | Kabushiki Kaisha Toshiba | Solid-state imaging device |
| JP2012191376A (en) * | 2011-03-10 | 2012-10-04 | Canon Inc | Image pickup apparatus and image pickup optical system |
| JP2012205111A (en) * | 2011-03-25 | 2012-10-22 | Casio Comput Co Ltd | Imaging apparatus |
| JP2014059509A (en) * | 2012-09-19 | 2014-04-03 | Nippon Hoso Kyokai <Nhk> | Apparatus and method for photographing stereo image |
| JP2014126694A (en) * | 2012-12-26 | 2014-07-07 | Nippon Hoso Kyokai <Nhk> | Apparatus and method for obtaining stereoscopic image |
| EP3157244A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Plenoptic camera and method of controlling the opening of the diaphragm |
| JP2016042191A (en) * | 2015-11-02 | 2016-03-31 | オリンパス株式会社 | Imaging device |
| WO2021184324A1 (en) * | 2020-03-19 | 2021-09-23 | 京东方科技集团股份有限公司 | Display device and display method therefor |
| CN113692547A (en) * | 2020-03-19 | 2021-11-23 | 京东方科技集团股份有限公司 | Display device and display method thereof |
| CN113692547B (en) * | 2020-03-19 | 2022-12-02 | 京东方科技集团股份有限公司 | Display device and display method thereof |
| US11980055B2 (en) | 2020-03-19 | 2024-05-07 | Boe Technology Group Co., Ltd. | Display device and display method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5375010B2 (en) | Imaging device | |
| JP2009244662A (en) | Imaging apparatus | |
| WO2011152531A1 (en) | Image capture device | |
| JP6220125B2 (en) | Imaging apparatus and control method thereof | |
| JP5448731B2 (en) | Focus detection device | |
| JP5406383B2 (en) | Imaging device | |
| US10321044B2 (en) | Image pickup apparatus and image pickup system with point image intensity distribution calculation | |
| JP5459337B2 (en) | Imaging apparatus, image processing method, and program | |
| JP2009105717A (en) | Imaging device | |
| JP4981359B2 (en) | Element image group imaging device and stereoscopic image display device | |
| JP2016111678A (en) | Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method thereof | |
| JP6516045B2 (en) | Image processing device | |
| US7847226B2 (en) | Focus detection device and method with honeycomb lens array and imaging device | |
| JP2007139935A (en) | Focus detecting device and imaging device having the focus detecting device | |
| JPH0338570B2 (en) | ||
| JP6376206B2 (en) | Image processing apparatus and imaging apparatus | |
| JP6036799B2 (en) | Image processing device | |
| US9794468B2 (en) | Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions | |
| JP5220375B2 (en) | Imaging apparatus and imaging apparatus having the same | |
| JP2008145121A (en) | Three-dimensional shape measuring apparatus | |
| JP2009250685A (en) | Distance measuring device and distance measuring method | |
| JP5427904B2 (en) | Element image group imaging device | |
| JP2010109921A (en) | Image synthesizing apparatus | |
| JP6344996B2 (en) | Imaging device | |
| JP5527491B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101013 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110509 |