JP2017005509A - Solid-state image pickup element, imaging device and ranging device - Google Patents
Solid-state image pickup element, imaging device and ranging device Download PDFInfo
- Publication number
- JP2017005509A JP2017005509A JP2015117690A JP2015117690A JP2017005509A JP 2017005509 A JP2017005509 A JP 2017005509A JP 2015117690 A JP2015117690 A JP 2015117690A JP 2015117690 A JP2015117690 A JP 2015117690A JP 2017005509 A JP2017005509 A JP 2017005509A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- microlens
- solid
- distance
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
Abstract
Description
本発明は、固体撮像素子に関し、特にデジタルカメラやビデオカメラなどにおいて用いられる固体撮像素子に関する。 The present invention relates to a solid-state image sensor, and more particularly to a solid-state image sensor used in a digital camera, a video camera, or the like.
近年、デジタルカメラの小型化の観点から、バックフォーカスの短いカメラレンズに対応可能な固体撮像素子が求められている。また、デジタルカメラのダイナミックレンジ拡大化の観点から、小型のデジタルカメラにおいてもサイズの大きい固体撮像素子を用いることが求められている。このような要求のあるデジタルカメラでは、固体撮像素子の周辺領域の画素に対して光束が大きく傾いた角度で入射するため、周辺領域の画素の感度が低下する。 In recent years, from the viewpoint of miniaturization of digital cameras, a solid-state imaging device capable of supporting a camera lens with a short back focus has been demanded. In addition, from the viewpoint of expanding the dynamic range of a digital camera, it is required to use a large-size solid-state image sensor even in a small digital camera. In a digital camera having such a demand, the luminous flux is incident on the pixels in the peripheral area of the solid-state imaging device at an angle that is greatly inclined, so that the sensitivity of the pixels in the peripheral area decreases.
この課題に対し、特許文献1は、画素表面に設けたマイクロレンズを固体撮像素子の中心方向に偏心させた固体撮像素子を開示する。画素に対して傾いた角度で入射する光束を効率良く検出できるので、周辺領域の画素の感度を向上できる。
In response to this problem,
また、撮像素子の一部に測距機能を有する距離測定用画素(以下、測距画素)を配置し、位相差方式で検出するようにした固体撮像素子が提案されている。測距画素は、偏心した遮光膜を配置することで、カメラレンズの瞳上の偏心した領域を通過した光束を受光するように構成される。更に、カメラレンズの瞳中心を基準として反対方向に偏心した領域の光束を受光する測距画素を設ける。各測距画素で得た信号により、互いに反対方向に偏心した瞳領域を通過した光束で生成される像(以下、測距像)を取得する。測距像のズレ量を基にステレオ画像による三角測量を用いて距離を測定することができる。 In addition, a solid-state imaging device has been proposed in which a distance measuring pixel (hereinafter referred to as a ranging pixel) having a ranging function is arranged in a part of the imaging device and is detected by a phase difference method. The ranging pixel is configured to receive a light beam that has passed through an eccentric region on the pupil of the camera lens by disposing an eccentric light shielding film. Further, a distance measuring pixel is provided that receives a light beam in a region decentered in the opposite direction with respect to the pupil center of the camera lens. An image (hereinafter referred to as a distance measurement image) generated by a light beam that has passed through pupil regions decentered in opposite directions is acquired based on signals obtained from the distance measurement pixels. The distance can be measured using triangulation using a stereo image based on the shift amount of the distance measurement image.
特許文献2では、測距画素を有する固体撮像素子において、周辺画素の感度を向上させるために、特許文献1と同様に、マイクロレンズを固体撮像素子の中心方向に偏心させた固体撮像素子が開示されている。 Patent Document 2 discloses a solid-state image sensor in which a microlens is decentered toward the center of the solid-state image sensor in order to improve the sensitivity of peripheral pixels in a solid-state image sensor having ranging pixels. Has been.
一般に、カメラレンズのズームやフォーカス状態により、レンズの射出瞳距離は変化する。また、交換レンズ対応型のカメラに使用する固体撮像素子の場合、使用するレンズによってもレンズの射出瞳距離が変化する。即ち、固体撮像素子の周辺領域の画素に入射する主光線の角度が、使用するレンズや、そのズームやフォーカスの状態によって変化してしまう。その結果、画素に入射する光量が低下したり、隣接画素間のクロストークが増大したりして、画像の品質が低下してしまう。特に、特許文献2のような測距機能を有する固体撮像素子に適用した場合、遮光膜による吸収のために大きく感度が低下し、測距像の品質低下を招く。 In general, the exit pupil distance of the lens changes depending on the zoom or focus state of the camera lens. In the case of a solid-state imaging device used for an interchangeable lens compatible camera, the exit pupil distance of the lens changes depending on the lens used. That is, the angle of the principal ray incident on the pixels in the peripheral area of the solid-state image sensor changes depending on the lens used and the zoom and focus states. As a result, the amount of light incident on the pixel decreases, or crosstalk between adjacent pixels increases, resulting in a reduction in image quality. In particular, when applied to a solid-state imaging device having a distance measuring function as in Patent Document 2, the sensitivity is greatly reduced due to absorption by the light shielding film, and the quality of the distance image is lowered.
本発明は、使用するレンズや、そのズームやフォーカスの状態によらずに高品質な画像を取得できる固体撮像素子の提供を目的とする。 An object of the present invention is to provide a solid-state imaging device capable of acquiring a high-quality image regardless of the lens to be used and the zoom or focus state thereof.
上記課題を解決するために、本発明の一態様に係る固体撮像素子は、固体撮像素子の中心を通り、固体撮像素子の画素が配列された面内方向である第一の方向に垂直な第二の方向に延びる第一の直線からの距離が、所定の距離以上の固体撮像素子の周辺領域において、第一のマイクロレンズを有する第一の画素と、第二のマイクロレンズを有し、第一の直線からの距離が第一の画素と等しい第二の画素を有し、前記第二のマイクロレンズの前記第一の方向に沿った偏心量は、前記第一の直線に向かう方向を正として正であり、前記第一のマイクロレンズは、前記第一の方向に沿った偏心量がゼロまたは正であり、前記第二のマイクロレンズの前記第一の方向に沿った偏心量よりも小さい、ことを特徴とする。 In order to solve the above-described problem, a solid-state imaging device according to one embodiment of the present invention passes through the center of the solid-state imaging device and is perpendicular to a first direction that is an in-plane direction in which pixels of the solid-state imaging device are arranged. A first pixel having a first microlens and a second microlens in a peripheral region of the solid-state imaging device whose distance from a first straight line extending in two directions is a predetermined distance or more; The second pixel has a second pixel whose distance from one straight line is equal to the first pixel, and the amount of eccentricity along the first direction of the second microlens is positive in the direction toward the first straight line. And the first microlens has zero or positive eccentricity along the first direction and is smaller than the eccentricity along the first direction of the second microlens. It is characterized by that.
本発明によれば、固体撮像素子の周辺部においても、使用するレンズや、そのズームやフォーカスの状態によらずに高品質な画像を取得できる固体撮像素子が提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the solid-state image sensor which can acquire a high quality image can be provided also in the peripheral part of a solid-state image sensor, irrespective of the lens to be used and the zoom or focus state.
以下、図を用いて、本発明の実施形態における固体撮像素子について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。 Hereinafter, a solid-state imaging device according to an embodiment of the present invention will be described with reference to the drawings. In that case, the same number is attached to the same function in all the drawings, and the repeated explanation is omitted.
(実施形態1)
<画素構成>
図1は、本実施形態に示す固体撮像素子100内の画素の配置を示した図である。第一の画素110a、第二の画素120aは、固体撮像素子100中の−X方向の周辺領域100aに配置された画素である。周辺領域100aは、中心線(第一の直線)101から−X方向に所定の距離102以上離れた領域である。中心線101は、固体撮像素子100の中心を通る直線であって、固体撮像素子の面内方向(XY方向)のうちX方向(第一の方向)に垂直なY方向(第二の方向)に延びる直線である。一方、第一の画素110b、第二の画素120bは、固体撮像素子100中の+X方向の周辺領域100bに配置された画素である。周辺領域100bは、中心線(第一の直線)101から+X方向に所定の距離以上離れた領域である。上記所定の距離102は、固体撮像素子100のX方向の長さの0.40倍以上とすることが好ましく、0.25倍以上とすれば、更に好ましい。
この理由については後述する。
(Embodiment 1)
<Pixel configuration>
FIG. 1 is a diagram showing an arrangement of pixels in the solid-
The reason for this will be described later.
図2(A)〜(D)は、一点破線で囲んだ、図1の固体撮像素子の周辺領域100aに配置された画素110aおよび画素120aの構成を示した図である。画素110aと画素120aは、中心線101からの距離(X座標距離)が等しい位置に配置された画素である。ここで、中心線101と画素間の距離は、中心線101と画素の中心の間の距離を意味する。画素の中心とは、光電変換部の基板表面における重心を指す。
2A to 2D are diagrams illustrating the configuration of the
図2(A)は、画素110aを光の入射方向から見た図、図2(B)は、画素110aのXZ断面模式図である。また、図2(C)は画素120aを光の入射方向から見た図、図2(D)は画素120aのXZ断面模式図である。第一の画素110aは、光の入射側より、第一のマイクロレンズ111a、基板112を有しており、基板112内には光電変換部113が設けられている。また、基板112上の光電変換部113の脇には、光電変換部113で取得した信号を周辺回路に転送するための配線114が設けられている。同様に、第二の画素120aは、第二のマイクロレンズ121a、基板122および、基板122内に設けられた光電変換部123、配線124を有している。光電変換部は、検出する波長帯域で吸収を有するシリコンなどの材料で形成された基板に、イオン打ち込みなどでポテンシャル分布を形成することによって形成される。また、配線はCuやAlなどの金属によって形成される。
2A is a diagram of the
図2(A)〜(D)に示すように、マイクロレンズ111aは画素110aの画素中心に対して+X方向に偏心しており、マイクロレンズ121aは画素120aの画素中心に対して+X方向に偏心している。そして、マイクロレンズ121aの偏心量はマイクロレンズ111aの偏心量よりも大きい。前述したように、画素中心とは、光電変換部の基板表面における重心を指す。マイクロレンズは、検出する波長帯域において透明な酸化シリコンや有機物などの材料で形成されており、画素とマイクロレンズとは1対1で対応している。この条件を満たせば、マイクロレンズの一部は隣の画素の上にも配置されていてもよい。
2A to 2D, the
なお、図2(B)、(D)には、各々の画素に入射する光束の伝搬の様子も示している。実線は結像光学系の射出瞳距離が遠い場合、破線は結像光学系の射出瞳距離が近い場合の光束である。 Note that FIGS. 2B and 2D also show how the light flux incident on each pixel propagates. A solid line indicates a light beam when the exit pupil distance of the imaging optical system is long, and a broken line indicates a light beam when the exit pupil distance of the imaging optical system is short.
図3(A)〜(D)には、図1の固体撮像素子の周辺領域100bに配置された画素110bおよび画素120bの構成を示した。画素110bおよび画素120bは、画素110aおよび画素120aと基本的に同様の構成を有する。しかしながら、図3(A)〜(D)に示すように、画素110bのマイクロレンズ111bと画素120bのマイクロレンズ121bは、それぞれ画素の画素中心に対して−X方向に偏心している。そして、マイクロレンズ121bの偏心量はマイクロレンズ111bの偏心量よりも大きい。
3A to 3D show the configuration of the
図2(A)(B),図3(A)(B)において、マイクロレンズ111a,111b,121a,121bの偏心をそれぞれ偏心ベクトル115a,115b,125a,125bによって示している。本実施形態では、マイクロレンズ111a,111b,121a,121bは、いずれも中心線101に向かってX方向に偏心している。すなわち、偏心ベクトル115a,115b,125a,125bはいずれもX方向に沿って中心線101に向かっている。そして、マイクロレンズ121a,121bの偏心量の方が、マイクロレンズ111a,111bの偏心量よりも大きい。すなわち、第一の画素のマイクロレンズの偏心ベクトル(以下、第一の偏心ベクトルとも称する)115a,125aの長さの方が、第二の画素のマイクロレンズの偏心ベクトル(以下、第二の偏心ベクトルとも称する)115b,125bの長さよりも短い。偏心ベクトルは、画素中心からマイクロ
レンズの光軸へ向かうベクトルである。
2A, 2B, and 3A, 3B, the eccentricity of the microlenses 111a, 111b, 121a, and 121b is indicated by the
なお、画素110bおよび画素120bの構成と、画素110bおよび画素120bの構成は、X方向に反転したものであり、基本的に同様である。したがって、X方向の位置関係を考慮する必要がないときには、第一の画素110a,110bを総称して第一の画素110と呼び、第二の画素120a,120bを総称して第二の画素120と呼ぶ。マイクロレンズや偏心ベクトルについても同様とする。
Note that the configuration of the
<撮影動作の概要>
本実施形態における固体撮像素子100は、固体撮像素子の周辺において、マイクロレンズの偏心量の異なる2種類の画素を使用し、使用するレンズや、そのズームやフォーカス状態によって、被写体の輝度情報を取得するための画素を切り替える。具体的には、レンズの射出瞳距離が遠い場合(第一の撮影モード)では第一の画素110で取得した信号によって被写体の輝度情報を取得する。そして、レンズの射出瞳距離が近い場合(第二の撮影モード)では第二の画素120で取得した信号によって被写体の輝度情報を取得する。
<Overview of shooting operation>
The solid-
このような構成とすることで、使用するレンズや、そのズームやフォーカス状態によらず、高品質な画像を取得することができる。以下でその理由について、特許文献1に開示されている従来の手法を用いた場合と比較して説明する。なお、簡単のため−X方向の周辺領域に配置された画素についてのみ説明を行うが、+X方向の周辺領域に配置された画素についても同様であることは明らかである。
With such a configuration, a high-quality image can be acquired regardless of the lens to be used and the zoom or focus state thereof. The reason will be described below in comparison with the case where the conventional method disclosed in
<従来例と課題の説明>
図16(A)は、従来の手法(特許文献1)を用いた固体撮像素子中の−X方向の周辺領域に配置された画素1010の模式図を示している。画素1010は、光入射側より、マイクロレンズ1011、配線1014、光電変換部1013を有している。そして、マイクロレンズ1011は画素の画素中心に対して+X方向に偏心している。図16(B)は、図16(A)と同様の構成であるが、偏心量がより大きい例を示している。
<Conventional example and explanation of issues>
FIG. 16A shows a schematic diagram of a
また、図16(A)(B)には、レンズの射出瞳が遠い場合と近い場合の、画素1010に入射する光束の伝搬の様子も示している。実線はレンズの射出瞳が遠い場合を示し、破線はレンズの射出瞳が近い場合を示す。図16(A)(B)に示すように、レンズの射出瞳距離が近いほど、画素に入射する主光線の入射角は大きい。ここで、レンズの射出瞳距離が変化した場合に、従来の固体撮像素子中の画素1010では、画素の感度が低下することを説明する。
FIGS. 16A and 16B also show how the light flux incident on the
図16(A)よりわかるように、マイクロレンズ1011の偏心量を小さくすれば、レンズの射出瞳距離が遠い場合に画素1010に入射する光の大部分が光電変換部1013まで到達し、信号として検出できる。しかし、レンズの射出瞳距離が近い場合には画素1010に入射する光の一部は配線1014によって吸収され、一部は隣接画素に漏れてクロストークの原因となる。
As can be seen from FIG. 16A, when the amount of eccentricity of the
一方、図16(B)よりわかるように、マイクロレンズ1011の偏心量を大きくすれば、レンズの射出瞳距離が近い場合に画素1010に入射する光の大部分が光電変換部1013まで到達し、信号として検出できる。しかし、レンズの射出瞳距離が遠い場合には画素1010に入射する光の一部は配線1014によって吸収され、一部は隣接画素に漏れてクロストークの原因となる。
On the other hand, as can be seen from FIG. 16B, when the amount of eccentricity of the
このように、マイクロレンズの偏心量を小さくすると、レンズの射出瞳距離が近い場合
の感度が低下したり、クロストークが増大したりする。一方、マイクロレンズの偏心量を大きくすると、レンズの射出瞳距離が遠い場合の感度が低下したり、クロストークが増大したりする。すなわち射出瞳距離が変化するレンズに対しては、最適な偏心量が存在しない。感度低下やクロストークの増大は、画像のSN比の低下を招くため、特許文献1に示す従来の固体撮像素子では、使用するレンズや、そのズームやフォーカスの状態によっては、画像の品質が低下してしまう。
As described above, when the amount of eccentricity of the microlens is reduced, the sensitivity when the exit pupil distance of the lens is close decreases, or crosstalk increases. On the other hand, when the amount of eccentricity of the microlens is increased, the sensitivity when the exit pupil distance of the lens is long is lowered, or the crosstalk is increased. That is, there is no optimum amount of eccentricity for a lens whose exit pupil distance changes. A decrease in sensitivity and an increase in crosstalk cause a decrease in the S / N ratio of the image. Therefore, in the conventional solid-state imaging device shown in
なお、配線1014を光の入射側とは反対側に設けた、いわゆる裏面照射型の固体撮像素子を用いれば、配線1014による吸収は生じない。しかしながら、裏面照射型の固体撮像素子においても、隣接画素へのクロストークは表面照射型の固体撮像素子と同様に発生する。そのため、使用するレンズや、そのズームやフォーカスの状態によっては、画像の品質が低下してしまう。
Note that if a so-called back-illuminated solid-state imaging device in which the
<本実施形態における撮影動作の説明>
これに対し、本実施形態に係る固体撮像素子100では、マイクロレンズの偏心量の異なる2種類の画素を使用しているので、レンズの射出瞳距離によって被写体の輝度情報取得に用いる信号を切り替えることができる。即ち、レンズの射出瞳距離が遠い場合には、マイクロレンズの偏心量の小さい第一の画素110で取得した信号を用いて被写体の輝度情報を取得する。一方、レンズの射出瞳距離が近い場合には、マイクロレンズの偏心量の大きい第二の画素120で取得した信号を用いて被写体の輝度情報を取得する。
<Description of Shooting Operation in this Embodiment>
On the other hand, in the solid-
図16(A)に示すように、マイクロレンズの偏心量が小さい場合にはレンズの射出瞳距離が遠い場合の画素の感度が高く、クロストークは小さい。一方、図16(B)に示すように、マイクロレンズの偏心量が大きい場合にはレンズの射出瞳距離が近い場合の画素の感度が高く、クロストークは小さい。従って輝度情報を取得する画素を切り替えることで、使用するレンズやそのズームやフォーカスの状態によらず、SN比が高い高品質の画像を取得することができる。 As shown in FIG. 16A, when the eccentric amount of the microlens is small, the sensitivity of the pixel when the exit pupil distance of the lens is long is high, and the crosstalk is small. On the other hand, as shown in FIG. 16B, when the eccentric amount of the microlens is large, the sensitivity of the pixel when the exit pupil distance of the lens is close is high, and the crosstalk is small. Therefore, by switching the pixel from which the luminance information is acquired, it is possible to acquire a high-quality image with a high S / N ratio regardless of the lens used and its zoom or focus state.
画素110、120の感度の角度依存性を、従来の固体撮像素子中の画素1010と比較して図4に示した。画素110の特性は実線で、画素120の特性は破線で、画素1010の特性は点線で示している。なお、画素1010のマイクロレンズの偏心量は、画素110と画素120の中間の偏心量としている。横軸は+X方向に傾く方向を正にとった入射角度、縦軸は感度である。また、レンズの射出瞳距離が変わった場合に画素に入射する主光線の入射角が取り得る範囲を一点鎖線で示した。
The angle dependency of the sensitivity of the
図4よりわかるように、従来の固体撮像素子中の画素1010では、レンズの射出瞳距離変動範囲の両端の入射角度において、感度が大きく低下している。一方、レンズの射出瞳距離が遠い場合、即ち主光線角度が小さいときの画素110の感度は、従来の画素1010よりも高い。また、射出瞳距離が近い場合、即ち主光線角度が大きいときの画素120の感度は、画素1010よりも高くなっている。以上より、従来の固体撮像素子よりも、本実施形態に示す固体撮像素子100の方が、使用するレンズや、そのズームやフォーカスの状態によらず、高い感度を実現できていることが分かる。
As can be seen from FIG. 4, in the
<ダイナミックレンジ拡大>
また、第一の画素110で取得した信号と第二の画素120で取得した信号を用いることで、画像のダイナミックレンジを拡大することもできる。即ち、レンズの射出瞳距離が遠い場合(第一の撮影モード)、第一の画素110で取得した信号によって低輝度な被写体の輝度情報を取得し、第二の画素120で取得した信号によって高輝度な被写体の輝度情報を取得すれば良い。一方、レンズの射出瞳距離が近い場合(第二の撮影モード)、第二の画素120で取得した信号によって低輝度な被写体の輝度情報を取得し、第一の画素
110で取得した信号によって高輝度な被写体の輝度情報を取得すれば良い。このような構成とすることで、従来の固体撮像素子に対し、ダイナミックレンジの広い画像が取得することができるため、好ましい。
<Dynamic range expansion>
Further, the dynamic range of the image can be expanded by using the signal acquired by the
<撮影モードの決定方法>
第一の撮影モードを使用するか、第二の撮影モードを使用するかは、レンズの射出瞳距離、即ち画素に入射する主光線の角度によって切り替えればよい。第一の画素110と第二の画素の感度が等しくなる入射角度を閾値角度103として、主光線角度が閾値角度103よりも大きいか小さいかに応じて使用する撮影モードを切り替えるとよい。例えば図4の場合、主光線角度が閾値角度103よりも小さい場合には第一の画素の感度の方が高いため、第一の撮影モードを使用し、主光線角度が角度103より大きい場合には第二の画素の感度の方が高いため、第二の撮影モードを使用すればよい。なお、主光線の角度と閾値角度を比較することは、レンズの射出瞳距離と閾値距離を比較することと同じである。したがって、射出瞳距離が閾値距離よりも遠い場合に第一の撮影モードを使用し、射出瞳距離が閾値距離よりも近い場合に第二の撮影モードを使用する、と表現することもできる。
<How to determine the shooting mode>
Whether the first imaging mode or the second imaging mode is used may be switched depending on the exit pupil distance of the lens, that is, the angle of the principal ray incident on the pixel. The incident angle at which the sensitivities of the
また、レンズの射出瞳距離(主光線の入射角度)が近い、遠い、および中間の三つの場合に応じて、第一から第三の三つの撮影モードを使用することも好ましい。第一の撮影モードは、レンズの射出瞳距離が第一閾値以下の時に使用され、第二の撮影モードはレンズの射出瞳距離が第一閾値よりも大きな第二閾値以上の時に使用される。そして、第三の撮影モードはレンズの射出瞳距離が第一閾値から第二閾値の間の時に使用される。第三の撮影モードでは、第一の画素と第二の画素の両方の画素の信号を取得する。レンズの射出瞳距離が中間程度の場合には、第一の画素と第二の画素の感度差が小さいため、第三の撮影モードでは、両方の画素の信号を使用することによって、高解像度な被写体像を取得することができる。なお、第一閾値は、レンズの射出瞳距離がそれ以下であると、第二の画素120の感度が許容値以下に低下するような値であり、第二閾値は、レンズの射出瞳がそれ以上であると、第一の画素110の感度が許容値以下に低下するような値である。
It is also preferable to use the first to third imaging modes according to three cases in which the exit pupil distance (incident angle of the principal ray) of the lens is close, far, and intermediate. The first imaging mode is used when the exit pupil distance of the lens is less than or equal to the first threshold, and the second imaging mode is used when the exit pupil distance of the lens is greater than or equal to the second threshold that is greater than the first threshold. The third imaging mode is used when the exit pupil distance of the lens is between the first threshold value and the second threshold value. In the third imaging mode, signals of both the first pixel and the second pixel are acquired. When the exit pupil distance of the lens is intermediate, the sensitivity difference between the first pixel and the second pixel is small, so in the third shooting mode, by using the signals of both pixels, high resolution is achieved. A subject image can be acquired. The first threshold value is such a value that the sensitivity of the
<マイクロレンズの偏心量>
図2(A)〜(D)、図3(A)〜(D)では、画素110のマイクロレンズ111が偏心している場合を示したが、画素110のマイクロレンズ111は偏心していなくてもよい。即ち、第一の偏心ベクトル115の長さの方がゼロであってもよい。
<Eccentricity of micro lens>
2A to 2D and FIGS. 3A to 3D illustrate the case where the
第一のマイクロレンズおよび第二のマイクロレンズの偏心量は、使用するレンズの射出瞳距離に応じて設定するのが好ましい。具体的には、レンズの射出瞳距離が遠いほどマイクロレンズの偏心量が小さく、レンズの射出瞳距離が近いほどマイクロレンズの偏心量が大きく設定するのが好ましい。 The amount of eccentricity of the first microlens and the second microlens is preferably set according to the exit pupil distance of the lens used. Specifically, it is preferable to set the decentering amount of the microlens smaller as the exit pupil distance of the lens is longer, and to increase the decentering amount of the microlens as the lens exit pupil distance is shorter.
また、レンズの射出瞳距離の変動範囲が大きいほど、第一のマイクロレンズの偏心量と第二のマイクロレンズの偏心量の差が大きいほうが好ましい。レンズの射出瞳距離の変動範囲が大きいほど、従来の手法を用いた場合の画像品質の低下度合いが大きいため、相対的に本手法の効果が大きくなる。特に、本手法において、第一の偏心ベクトル115の長さと第二の偏心ベクトル125の長さの差を、画素中の光電変換部のX方向長さの0.5倍以上とするとより良い効果が得られる。以下で理由を説明する。
Further, it is preferable that the difference between the eccentric amount of the first microlens and the eccentric amount of the second microlens is larger as the variation range of the exit pupil distance of the lens is larger. The greater the variation range of the exit pupil distance of the lens, the greater the degree of degradation in image quality when the conventional method is used. In particular, in this method, a better effect is obtained when the difference between the length of the first
前述したように、従来の固体撮像素子の場合、レンズの射出瞳距離が変化した場合、画素の感度が低下する。特に、射出瞳距離の変化による主光線角度の差が以下の式で決まる角度θを越えると、画素の感度が低下してくる。
θ=0.5×arcsin(1/F)
但し、FはレンズのF値である。レンズの射出瞳距離によってF値が異なる場合には、FはF値の平均値とする。
As described above, in the case of the conventional solid-state imaging device, when the exit pupil distance of the lens changes, the sensitivity of the pixel decreases. In particular, when the chief ray angle difference due to the change in the exit pupil distance exceeds an angle θ determined by the following equation, the sensitivity of the pixel decreases.
θ = 0.5 × arcsin (1 / F)
Where F is the F value of the lens. When the F value varies depending on the exit pupil distance of the lens, F is an average value of the F values.
この時、マイクロレンズ1011による結像位置のずれdは、以下の式で記述できる。
d=h×sin(θ)≒h/2F
但し、hはマイクロレンズの焦点距離である。図2(A)〜(D)、図3(A)〜(D)に示すように、一般に第一の画素110と第二の画素120のマイクロレンズの焦点距離は等しいが、異なっていても良い。その場合には、hは第一のマイクロレンズの焦点距離と第二のマイクロレンズの焦点距離の平均値とする。即ち、レンズの射出瞳距離の変化による結像位置の差異がd以上(すなわち、h/2F以上)の場合に、本手法を適用した場合の効果が大きくなる。
At this time, the shift d of the imaging position by the
d = h × sin (θ) ≈h / 2F
Here, h is the focal length of the microlens. As shown in FIGS. 2A to 2D and FIGS. 3A to 3D, although the focal lengths of the microlenses of the
以下では、簡単のため、結像点の回折による拡がりや、配線によるケラレが小さいとして説明する。本実施形態に係る固体撮像素子100では、射出瞳距離が遠い場合の第一のマイクロレンズ111による結像位置は、第一の画素110の中心に近いほど好ましい(図2(B))。射出瞳距離が遠い場合の画素110の感度が向上するためである。同様に、射出瞳距離が近い場合の第二のマイクロレンズ121による結像位置は、第二の画素120の中心に近いほど好ましい(図2(D))。射出瞳距離が近い場合の画素120の感度が向上するためである。
In the following description, it is assumed that for the sake of simplicity, the spread due to diffraction of the image formation point and the vignetting due to the wiring are small. In the solid-
ここで、レンズの射出瞳距離の変化による結像位置の差異がdの時を考える。第一のマイクロレンズの偏心量と、第二のマイクロレンズの偏心量の差がdであれば、結像位置を各々の光電変換部の中心とすることができる。従って、第一の偏心ベクトルの長さと第二の偏心ベクトルの長さの差がd以上の場合に、本手法の効果が大きくなる。 Here, let us consider a case where the difference in imaging position due to a change in the exit pupil distance of the lens is d. If the difference between the amount of eccentricity of the first microlens and the amount of eccentricity of the second microlens is d, the imaging position can be the center of each photoelectric conversion unit. Therefore, when the difference between the length of the first eccentric vector and the length of the second eccentric vector is greater than or equal to d, the effect of the present method is increased.
画素サイズや画素構成(画素が導波路を有するか、表面照射型か、裏面照射型か)にもよるが、マイクロレンズの焦点距離は、画素のX方向(第一の方向)の長さの1倍から3倍程度である。例えば、F値が2.9、マイクロレンズの高さが画素のX方向の長さの1.5倍とすると、dは画素のX方向の長さの0.25倍となる。従って、第一の偏心ベクトルの長さと第二の偏心ベクトルの長さの差の最大値が、画素のX方向の長さの0.25倍以上の時に、本手法の効果が大きいといえる。すなわち、第一のマイクロレンズ111と第二のマイクロレンズ121のX方向に沿った偏心量の差の最大値が、画素のX方向の長さの0.25倍以上の時に、本手法の効果が大きい。図2(A)〜(D)、図3(A)〜(D)に示すように、一般に第一の画素と第二の画素の大きさは等しいが、異なっていても良い。その場合には、第一の偏心ベクトルの長さと、第二の偏心ベクトルの長さの差の最大値が、第一の画素のX方向に沿った長さと、第二の画素のX方向に沿った長さの平均値の、0.25倍以上であれば、本手法の効果が大きいため、好ましい。
The focal length of the microlens is the length of the pixel in the X direction (first direction), although it depends on the pixel size and pixel configuration (whether the pixel has a waveguide, front surface irradiation type, or back surface irradiation type). It is about 1 to 3 times. For example, if the F value is 2.9 and the height of the microlens is 1.5 times the length of the pixel in the X direction, d is 0.25 times the length of the pixel in the X direction. Therefore, when the maximum value of the difference between the length of the first eccentric vector and the length of the second eccentric vector is not less than 0.25 times the length of the pixel in the X direction, it can be said that the effect of this method is great. That is, when the maximum value of the difference in eccentricity along the X direction between the
また、画素に入射する主光線の角度は、固体撮像素子中の画素の位置によっても異なる。具体的には、中心線(第一の直線)101からの距離が大きいほど、画素に入射する主光線の角度が大きくなる。そのため、中心線101からの距離が大きいほどマイクロレンズの偏心量を大きくする方が好ましい。
Further, the angle of the principal ray incident on the pixel also varies depending on the position of the pixel in the solid-state image sensor. Specifically, the greater the distance from the center line (first straight line) 101, the greater the angle of the chief ray incident on the pixel. Therefore, it is preferable to increase the amount of eccentricity of the microlens as the distance from the
<マイクロレンズの偏心方法>
また、図2(A)〜(D)、図3(A)〜(D)では、マイクロレンズの光軸を通り、第一の方向に垂直な平面に対して、面対称な形状のマイクロレンズの位置を、画素中心からずらすことによって、マイクロレンズを偏心させた場合を示した。但し、別の方法でマイクロレンズを偏心してもよい。図5(A)〜(C)にマイクロレンズの偏心方法の変形例を示す。なお、図5(A)〜(C)では第二の画素120の例のみを示したが、第一の画素110についても同様である。
<Decentering method of micro lens>
In FIGS. 2A to 2D and FIGS. 3A to 3D, microlenses having a plane symmetry with respect to a plane that passes through the optical axis of the microlens and is perpendicular to the first direction. The case where the microlens is decentered by shifting the position of from the pixel center is shown. However, the microlens may be decentered by another method. 5A to 5C show modified examples of the microlens eccentric method. 5A to 5C show only the example of the
図5(A)は、マイクロレンズの光軸を通りX方向に垂直な平面(YZ平面)に対して、非対称な形状のマイクロレンズを示す。このような非対称形状のマイクロレンズを用いることで、マイクロレンズの光軸を実効的に偏心させることができる。図5(B)は、マイクロレンズの光軸を通りX方向に垂直な平面(YZ平面)に対して、非対称な屈折率分布を設けたマイクロレンズを示す。このような非対称な屈折率分布を有するマイクロレンズを用いることで、マイクロレンズの光軸を実効的に偏心させることができる。マイクロレンズに非対称な屈折率分布を設けるためには、マイクロレンズを形成する層を複数の材料で形成し、媒質の充填率に非対称な分布を設ければよい。また、図5(B)のようにマイクロレンズが複数設けられており、そのうちの一部が偏心していてもよい。 FIG. 5A shows an asymmetric microlens with respect to a plane (YZ plane) that passes through the optical axis of the microlens and is perpendicular to the X direction. By using such an asymmetrical microlens, the optical axis of the microlens can be effectively decentered. FIG. 5B shows a microlens having an asymmetric refractive index distribution with respect to a plane (YZ plane) passing through the optical axis of the microlens and perpendicular to the X direction. By using a microlens having such an asymmetric refractive index distribution, the optical axis of the microlens can be effectively decentered. In order to provide an asymmetric refractive index distribution in the microlens, a layer forming the microlens may be formed of a plurality of materials, and an asymmetric distribution may be provided in the filling rate of the medium. Further, a plurality of microlenses are provided as shown in FIG. 5B, and some of them may be eccentric.
図2(A)〜(D)、図3(A)〜(D)のように面対称な形状のマイクロレンズの位置をずらす方が、非対称形状のマイクロレンズを用いるよりも、マイクロレンズの製造が容易であるため好ましい。一方、図5(A)(B)のように非対称な形状分布や屈折率分布を設けた場合、画素に入射する光の伝搬をより精密に制御できる。そのため、画素の感度を向上させることができ、好ましい。 2A to 2D and FIGS. 3A to 3D are produced by shifting the position of the surface-symmetrical microlens rather than using the asymmetrical microlens. Is preferable because it is easy. On the other hand, when an asymmetric shape distribution or refractive index distribution is provided as shown in FIGS. 5A and 5B, the propagation of light incident on the pixel can be controlled more precisely. Therefore, the sensitivity of the pixel can be improved, which is preferable.
更に、図5(C)のように、画素がマイクロレンズのほかに導波路127を有していても良い。導波路127を設けることで、傾いた角度で入射する光に対する感度を向上させることができるため、更に好ましい。
Further, as shown in FIG. 5C, the pixel may have a
<マイクロレンズの偏心方向>
図2(A)〜(D)、図3(A)〜(D)では、第一の画素110と第二の画素120のマイクロレンズの偏心方向がX方向である例を示したが、マイクロレンズの偏心方向が斜め方向であってもよい。固体撮像素子の対角方向の周辺領域に位置する画素については、マイクロレンズを固体撮像素子の中心に向かって斜めに偏心させる方が、画素の感度が向上するため、好ましい。
<Eccentric direction of micro lens>
2A to 2D and FIGS. 3A to 3D show examples in which the eccentric directions of the microlenses of the
図6(A)(B)に、固体撮像素子100の(−X、−Y)の対角方向の周辺領域に配置され、中心線101からの距離が等しい第一の画素110、第二の画素120の変形例をそれぞれ示した。図6(A)(B)のいずれにおいても、上記と同様に、第二のマイクロレンズ121のX方向に沿った偏心量が、第一のマイクロレンズ111のX方向に沿った偏心量よりも大きい。図6(A)は、第一のマイクロレンズ111と第二のマイクロレンズ121のY方向に沿った偏心量が等しい例である。図6(B)は、第一のマイクロレンズ111と第二のマイクロレンズ121のY方向に沿った偏心量が異なる例である。
6A and 6B, the
図6(A)(B)の構成は、以下のように表現できる。第二の画素120の中心から第二のマイクロレンズ121の光軸へ向かうベクトルをX方向(第一の方向)とは垂直な方向(Y方向)に射影した第四の偏心ベクトル126とする。そして、第一の画素110の中心から第一のマイクロレンズ111の光軸へ向かうベクトルをX方向(第一の方向)とは垂直な方向(Y方向)に射影した第三の偏心ベクトル116とする。図6(A)は、第四の偏心ベクトル126の長さと、第三の偏心ベクトル116の長さが等しい例である。すなわち、第一のマイクロレンズ111のY方向(第二の方向)に沿った偏心量と、第二のマイクロレンズ121のY方向(第二の方向)に沿った偏心量が等しい例である。また、図6(B)は第四の偏心ベクトル126の長さが、第三の偏心ベクトル116の長さよりも大きい例である。すなわち、第二のマイクロレンズ121のY方向(第二の方向)に沿った偏心量の方が、第一のマイクロレンズ111のY方向(第二の方向)に沿った偏心量よりも大きい例である。
6A and 6B can be expressed as follows. A vector directed from the center of the
図6(A)のように第三の偏心ベクトルと第四の偏心ベクトルの長さが等しいほうが、
製造が容易なため好ましい。特に、第一の画素と第二の画素がY方向に隣接して配置されている場合、第一のマイクロレンズと第二のマイクロレンズ間の重なりやギャップが生じないため、各々の画素の感度も向上させることができる。
As shown in FIG. 6A, the lengths of the third eccentric vector and the fourth eccentric vector are equal.
It is preferable because it is easy to manufacture. In particular, when the first pixel and the second pixel are arranged adjacent to each other in the Y direction, there is no overlap or gap between the first microlens and the second microlens. Can also be improved.
一方、図6(B)のように、第四の偏心ベクトルの長さが第三の偏心ベクトルよりも長いほうが、レンズの射出瞳距離が変動した場合でも、高品質な画像を取得することができるため、好ましい。固体撮像素子の対角方向の周辺領域では、画素に入射する主光線はX方向だけではなくY方向にも傾いて入射する。従って、レンズの射出瞳距離が近い場合の被写体の輝度情報を取得する第二の画素では、第二のマイクロレンズをY方向にも大きく偏心させた方が、感度が向上する。一方、レンズの射出瞳距離が遠い場合の被写体の輝度情報を取得する第一の画素では、第一のマイクロレンズの偏心量はY方向にも小さいほうが、感度が向上する。このように、第四の偏心ベクトルの長さが第三の偏心ベクトルよりも長いほうが、レンズの射出瞳距離が変動した場合でも、高品質な画像を取得することができるため、好ましい。 On the other hand, as shown in FIG. 6B, when the length of the fourth eccentric vector is longer than the third eccentric vector, a high-quality image can be acquired even when the exit pupil distance of the lens fluctuates. This is preferable because it is possible. In the peripheral area in the diagonal direction of the solid-state imaging device, the principal ray incident on the pixel is inclined not only in the X direction but also in the Y direction. Therefore, in the second pixel that acquires the luminance information of the subject when the exit pupil distance of the lens is short, the sensitivity is improved when the second microlens is greatly decentered also in the Y direction. On the other hand, in the first pixel that obtains the luminance information of the subject when the exit pupil distance of the lens is long, the sensitivity is improved as the eccentric amount of the first microlens is small in the Y direction. Thus, it is preferable that the length of the fourth eccentric vector is longer than the third eccentric vector because a high-quality image can be obtained even when the exit pupil distance of the lens fluctuates.
なお、図6(A)、図6(B)どちらの場合でも、中心線101からの距離が等しい第一の画素110と第二の画素120において、第一の偏心ベクトル115の長さよりも、第二の偏心ベクトル125の長さが長くなっている。すなわち、第二のマイクロレンズ121のX方向(第一の方向)に沿った偏心量の方が、第一のマイクロレンズ111のX方向(第一の方向)に沿った偏心量よりも大きい。また、第一の偏心ベクトル115と第二の偏心ベクトル125は共に固体撮像素子の周辺から中心に向かう向きである。すなわち、第一のマイクロレンズ111および第二のマイクロレンズ121のX方向に沿った偏心量は、中心線101に向かう方向を正として、いずれも正である。
6A and 6B, in the
以上の図2(A)〜(D),図3(A)〜(D)および図6(A)(B)に示すマイクロレンズの偏心方法を考慮すると、本実施形態における第一および第二の画素におけるマイクロレンズの構成は次のように特定することができる。まず、第二の偏心ベクトル125は固体撮像素子の周辺から中心へ向かう向きを有する。そして、第一の偏心ベクトル115は、次の二つの条件のうちのいずれか一つを満たす。一つ目の条件は、第一の偏心ベクトル115の長さがゼロであるというものである。二つ目の条件は、第一の偏心ベクトル115の向きも、固体撮像素子の周辺から中心へ向かう向きであって、かつ、第一の偏心ベクトル115の長さよりも第二の偏心ベクトル125の長さの方が長いというものである。
In consideration of the microlens decentering method shown in FIGS. 2A to 2D, FIGS. 3A to 3D, and FIGS. 6A and 6B, the first and second embodiments in the present embodiment. The configuration of the microlens in this pixel can be specified as follows. First, the second
なお、第一の偏心ベクトル115は、第一の画素110中心から第一のマイクロレンズの光軸へ向かうベクトルを第一の方向(X方向)に射影したベクトルである。また、第二の偏心ベクトルは、第二の画素120中心から第二のマイクロレンズの光軸へ向かうベクトルを第一の方向(X方向)に射影したベクトルである。
The first
したがって、本実施形態における第一および第二の画素におけるマイクロレンズの構成は次のように特定することもできる。まず、第二の画素120の第二のマイクロレンズ121のX方向(第一の方向)に沿った偏心量は、中心線101(第一の直線)に向かう方向を正として正である。そして、第一の画素110の第一のマイクロレンズ111は、次の二つの条件のうちのいずれか一つを満たす。一つ目の条件は、第一のマイクロレンズ111のX方向に沿った偏心量がゼロであるというものである。二つ目の条件は、第一のマイクロレンズ111のX方向(第一の方向)に沿った偏心量が正であり、第二のマイクロレンズ121よりも小さい、というものである。
Therefore, the configuration of the microlens in the first and second pixels in the present embodiment can also be specified as follows. First, the amount of eccentricity along the X direction (first direction) of the
<第一および第二の画素の数>
第一の画素110および第二の画素120は、固体撮像素子100中に各々一つだけ設
けられていてもよいし、複数設けられていても良い。但し、被写体の輝度情報を高精度に取得するには、複数設けられていた方が好ましい。以下では、第一の画素110、第二の画素120が複数設けられている場合について説明する。
<Number of first and second pixels>
Each of the
中心線101からの距離が大きいほど、レンズの射出瞳距離が変化した場合に、画素に入射する主光線と中心線101とのなす角の変化量θは大きくなる(図7(A))。そのため、中心線101からの距離が大きいほど、第一の偏心ベクトル115と第二の偏心ベクトル116の長さの差が大きくなっている方が好ましい。すなわち、第一のマイクロレンズ111と第二のマイクロレンズ121のX方向に沿った偏心量の差が大きくなっている方が好ましい。
As the distance from the
また、同様の理由で、中心線101からの距離が所定の距離未満の中心領域においては、レンズの射出瞳距離が変化しても、画素に入射する主光線とX方向(第一の方向)とのなす角はそれほど変化しない(図7(B))。従って、中心線101からの距離が所定の距離未満の中心領域(周辺領域以外の領域)に設けられた画素では、マイクロレンズの偏心量が等しくても良いし、マイクロレンズが偏心していなくても良い。所定の距離102は、固体撮像素子のX方向(第一の方向)に沿った距離の0.4倍以上であれば好ましく、0.25倍以上であれば更に好ましい。
For the same reason, in the central region where the distance from the
第一の画素110、第二の画素120が複数設けられている場合、第一の画素110、第二の画素120は、それぞれ異なるY座標において、X方向(第一の方向)に沿って直線状に配列されている方が好ましい。すなわち、第一の画素110はあるY座標位置でX方向に沿って直線状に配置され、第二の画素120は第一の画素110とは異なるY座標位置でX方向に沿って直線状に配置されることが好ましい。以下で理由を説明する。
When a plurality of the
図8は、−X方向の周辺領域100aにおいて、X方向に沿って直線状に配列された複数の第一の画素110a1、110a2、110a3、X方向に沿って直線状に配列された複数の第二の画素120a1、120a2、120a3を示した図である。画素110a1と画素120a1、画素110a2と画素120a2、画素110a3と画素120a3は、各々、中心線101からの距離が等しい位置(X座標)に配置された画素である。
FIG. 8 shows a plurality of first pixels 110a1, 110a2, 110a3 arranged linearly along the X direction in the
なお、第一の画素110と第二の画素120が複数設けられている場合でも、中心線101からの距離が等しい第一の画素110と第二の画素120間では、上記で述べた関係が成立している。即ち、第一のマイクロレンズ111および第二のマイクロレンズ121はいずれも固体撮像素子の周辺から中心に向かう向きに偏心しており、X方向に沿った偏心量は第二のマイクロレンズ121の方が第一のマイクロレンズ111よりも大きい。
Even when a plurality of the
前述したように、中心線101からの距離によって、最適なマイクロレンズの偏心量は異なる。逆に言うと、X方向に隣接する画素間では、中心線101からの距離が1画素分しかずれていないため、最適なマイクロレンズの偏心量はほぼ等しいことになる。そのため、各々の画素のマイクロレンズの偏心量を最適な値に設定したとしても、図8に示すようにX方向に隣接する画素間でマイクロレンズの重なりやギャップが殆ど生じない。その結果、各々の画素の感度が高くなったり、マイクロレンズの製造が容易になったりする。
As described above, the optimum amount of eccentricity of the microlens varies depending on the distance from the
図9には比較のため、複数の第一の画素110と第二の画素120が同じY座標位置でX方向に沿って直線状に交互に設けられている場合を示している。第一の画素110と第二の画素120では最適なマイクロレンズの偏心量が異なるため、X方向に隣接する画素(第一の画素110と第二の画素120)間でマイクロレンズの重なりやギャップが生じている。以上より、複数の第一の画素110と第二の画素120は異なるY座標位置にお
いてX方向に沿って設けられている方が、高品質な画像が取得できたり、製造が容易になったりするため好ましい。
For comparison, FIG. 9 shows a case where a plurality of
第一の画素110と第二の画素120は、同数であってもよいし、どちらか片方の画素が他方の画素よりも多く配置されていてもよい。第一の画素110と第二の画素120が同数の場合、第一の撮影モードでは第一の画素110で取得した信号から被写体の輝度情報と共に、位置情報も取得する。一方、第二の撮影モードでは第二の画素120で取得した信号から被写体の輝度情報と共に、位置情報を取得すれば良い。言い換えると、第一の撮影モードでは第一の画素110で取得した信号に基づいて画像を取得し、第二の撮影モードでは第二の画素120で取得した信号に基づいて画像を取得すれば良い。
The same number may be sufficient as the
図10(A)〜(C)は、第一の画素110と第二の画素120の画素配置例である。図10(A)は、複数の第一の画素110がX方向に沿って直線状に配置された画素列と第二の画素120がX方向に沿って直線状に配置された画素列を、Y方向(第一の方向と垂直な方向)に交互に配置した例である。前述したように、複数の第一の画素110と第二の画素120をそれぞれX方向に沿って配置することで、各々の画素の感度が高くなったり、マイクロレンズの製造が容易になったりする。更に、その画素列をY方向に交互に配置することで、第一の画素110で取得した信号に基づいて取得する画像および、第二の画素120で取得した信号に基づいて取得する画像の、Y方向のサンプリングピッチを一定とすることができるため、好ましい。
10A to 10C are pixel arrangement examples of the
図10(B)は、複数の第一の画素110と第二の画素120を市松模様状(チェッカー盤パターン)に互い違いに配置した例である。このような配置を採用する場合、斜め方向に隣接する第一の画素110の信号同士を加算して画像を生成し、第二の画素120の画素信号の同士を加算して画像を生成することが好ましい。第一の画素110で取得した信号に基づく画像と、第二の画素で取得した信号に基づく画像のサンプリング位置を同一にすることができるためである。
FIG. 10B is an example in which a plurality of
一方、第一の画素110と第二の画素120の数が異なる場合、レンズの射出瞳距離によらず、数が多いほうの画素を用いて被写体の解像度情報を取得し、被写体の輝度情報を取得する画素は、レンズの射出瞳距離によって切り替えることが好ましい。このようにすることで、使用するレンズの射出瞳距離によらず、高解像度かつSN比の高い画像が取得できる。
On the other hand, when the number of the
具体的には、レンズの射出瞳距離が遠い場合に使用する第一の撮影モードと、レンズの射出瞳距離が近い場合に使用する第二の撮影モードで、以下のようにして画像を生成する。 Specifically, an image is generated in the following manner in the first shooting mode used when the lens exit pupil distance is long and the second shooting mode used when the lens exit pupil distance is short. .
第一の画素110が第二の画素120よりも多い場合、第一の撮影モードでは、第一の画素で取得した画素信号を使用して画像を取得する。第二の撮影モードでは、第一の画素110で取得した画素信号で被写体の解像度情報を、第二の画素120で取得した画素信号で被写体の輝度情報を取得し、両方の情報を合成することで画像を生成する。
When the
一方、第二の画素120が第一の画素110よりも多い場合、第二の撮影モードでは、第二の画素120で取得した画素信号を使用して画像を取得する。第一の撮影モードでは、第二の画素120で取得した画素信号で被写体の解像度情報を、第一の画素110で取得した画素信号で被写体の輝度情報を取得し、両方の情報を合成することで画像を生成する。
On the other hand, when there are more
第一の画素110および第二の画素120がカラーフィルタを有しており、被写体の色
情報も取得できるようにしてもよい。以下では、カラーフィルタの配列としてベイヤ配列を仮定する。
The
第一の画素110と第二の画素120の数が等しい場合、図10(A)のような画素列交互配置、図10(B)のような市松状配置において、ベイヤ配列の2x2画素を1単位として、第一の画素110と第二の画素120を交互に配置するのが好ましい。
When the number of the
一方、第一の画素110と第二の画素120の数が異なる場合、図10(C)のように、数が多いほうの画素(この例では第一の画素110)の緑画素の片方のみを、数が少ないほうの画素に置き換えた配置とする方が好ましい。即ち、以下の二つの条件のいずれかを満たせばよい。一つ目の条件は、全ての第一の画素110が第一の色のカラーフィルタを有し、第二の画素120が第一の色のカラーフィルタを有する画素と、第一の色とは異なる色のカラーフィルタを有する画素の2種類以上の画素から構成されているという条件である。二つ目の条件は、全ての第二の画素120が第二の色のカラーフィルタを有し、第一の画素110が第二の色のカラーフィルタを有する画素と、第二の色とは異なる色のカラーフィルタを有する画素の2種類以上の画素から構成されているという条件である。
On the other hand, when the numbers of the
このような構成とすれば、被写体の解像度情報と色情報は常に数の多いほうの画素で取得し、被写体の輝度情報を取得する画素のみを、レンズの射出瞳距離によって入れ替えることが可能となる。そのため、使用するレンズの射出瞳距離によらず、高解像度、高色再現かつSN比の高い画像が取得できる。図10(C)には、二つ目の条件を満たす場合を示した。即ち、全ての第二の画素120が第二の色(緑)のカラーフィルタを有し、第一の画素が第二の色(緑)と、緑とは異なる赤および青のカラーフィルタを有する。図に示すR、G、Bの符号は各々、赤色、緑色、青色のカラーフィルタを有する画素であることを示している。
With such a configuration, it is possible to always acquire the resolution information and color information of the subject with the larger number of pixels, and to replace only the pixel from which the luminance information of the subject is acquired with the exit pupil distance of the lens. . Therefore, an image with high resolution, high color reproduction, and high SN ratio can be acquired regardless of the exit pupil distance of the lens used. FIG. 10C shows a case where the second condition is satisfied. That is, all the
<周辺領域の向き>
なお、以上の説明では第一の方向がX方向、即ち第一の画素110および第二の画素120が固体撮像素子の±X方向の周辺領域に配置された場合について説明したが、第一の方向はX方向でなくてもよい。第一の方向はY方向であっても良いし、斜め方向であっても良い。但し、第一の方向は固体撮像素子の長手方向と一致することが好ましい。なぜなら、固体撮像素子中心からの距離が遠いほど、画素に入射する主光線と第一の方向のなす角の変化量が大きく、長手方向の周辺領域に位置する画素に本手法を適用する方が、効果が大きいためである。
<Direction of surrounding area>
In the above description, the case where the first direction is the X direction, that is, the
(実施形態2)
<面内配置>
本実施形態は、第一の画素で取得した画像と第二の画素で取得した画像を比較することで、測距を行う場合の実施形態である。
(Embodiment 2)
<In-plane arrangement>
The present embodiment is an embodiment in the case where distance measurement is performed by comparing an image acquired with a first pixel and an image acquired with a second pixel.
本実施形態に示す固体撮像素子200は、周辺領域において、複数の第一の画素210、第二の画素220を有する。第一の画素210、第二の画素220の構成は、実施形態1に示す固体撮像素子100中の第一の画素110、第二の画素120の構成と同じである。即ち、−X方向の周辺領域においては、第一のマイクロレンズ211、第二のマイクロレンズ221が+X方向に偏心しており、+X方向の周辺領域においては、第一のマイクロレンズ211、第二のマイクロレンズ221が−X方向に偏心している。そして、第二のマイクロレンズ221の偏心量が第一のマイクロレンズ211の偏心量よりも大きい。
The solid-
本実施形態に示す固体撮像素子200では、固体撮像素子の周辺において、マイクロレ
ンズの偏心量の異なる2種類の画素を使用し、使用するレンズや、そのズームやフォーカス状態によって、被写体の距離情報を取得するために用いる画素を切り替える。
In the solid-
具体的には、レンズの射出瞳距離が遠い場合(第一の測距モード)は、次のように距離を測定する。図11(A)に示すように、まず、第二の画素220で取得した信号から第一の測距像291を生成する。第一の画素210で取得した信号から第二の画素220で取得した信号を差し引いて第二の測距像292を生成する。そして、第一の測距像291と第二の測距像292のズレ量を検出することにより、距離240を測定する。
Specifically, when the exit pupil distance of the lens is long (first distance measurement mode), the distance is measured as follows. As shown in FIG. 11A, first, a first ranging
一方、レンズの射出瞳距離が近い場合(第二の測距モード)の距離測定方法は次のように行う。図11(B)に示すように、まず、第一の画素210で取得した信号から第三の測距像293を生成する。第二の画素220で取得した信号から第一の画素210で取得した信号を差し引いて第四の測距像294を生成する。そして、第三の測距像293と第四の測距像294のズレ量を検出することにより、距離240を測定する。
On the other hand, the distance measurement method when the exit pupil distance of the lens is short (second distance measurement mode) is performed as follows. As shown in FIG. 11B, first, a third ranging
このような構成とすることで、使用するレンズや、そのズームやフォーカス状態によらず、高精度な測距を行うことが可能となる。以下でその理由について、特許文献2に開示されている従来の手法を用いた場合と比較して説明を行う。なお、簡単のため−X方向の周辺領域に配置された画素についてのみ説明を行うが、+X方向の周辺領域に配置された画素についても同様であることは明らかである。 By adopting such a configuration, it becomes possible to perform highly accurate distance measurement regardless of the lens to be used and the zoom or focus state thereof. The reason will be described below in comparison with the case where the conventional method disclosed in Patent Document 2 is used. For simplicity, only the pixels arranged in the peripheral area in the −X direction will be described, but it is clear that the same applies to the pixels arranged in the peripheral area in the + X direction.
<従来例と課題の説明>
図17(A)(B)はそれぞれ、従来の手法を用いた固体撮像素子中の−X方向の周辺領域に配置された画素2010、画素2020の模式図である。画素2010および2020は、光入射側から順に、マイクロレンズ2011、2021と、光電変換部2013、2023を有している。マイクロレンズ2011、2021は画素中心に対して+X方向に同一の偏心量だけ偏心している。画素2010には、マイクロレンズ2011の焦点近傍の高さに、画素中心に対して−X方向に偏心した遮光膜2016が配置されている。また、画素2020には、マイクロレンズ2021の焦点近傍の高さに、画素中心に対して+X方向に偏心した遮光膜2026が配置されている。このように、偏心した遮光膜によって、レンズの瞳上の互いに反対方向に偏心した領域を通過した光束を受光し、画素2010で取得した測距像と画素2020で取得した測距像のズレ量を検出することで、測距を行う。
<Conventional example and explanation of issues>
FIGS. 17A and 17B are schematic diagrams of a
図17(A)(B)には、レンズの射出瞳が遠い場合と近い場合の、各々の画素に入射する光束の伝搬の様子も示した。実線はレンズの射出瞳が遠い場合、破線はレンズの射出瞳が近い場合である。図17(A)(B)からわかるように、レンズの射出瞳距離が遠い場合、画素2020に入射する光は、ほとんど遮光膜2026によって吸収されてしまう。その結果、レンズの射出瞳距離が遠い場合の画素2020の感度が大きく低下する。同様に、レンズの射出瞳距離が近い場合、画素2010に入射する光は、ほとんど遮光膜2016によって吸収されてしまう。その結果、レンズの射出瞳距離が近い場合の画素2010の感度が大きく低下する。画素の感度が低下すると、測距像のSN比が低下するため、測距像間のズレ量の検出精度が低下し、測距精度が低下する。
FIGS. 17A and 17B also show the propagation of the light flux incident on each pixel when the exit pupil of the lens is far and near. A solid line indicates a case where the exit pupil of the lens is far, and a broken line indicates a case where the exit pupil of the lens is close. As can be seen from FIGS. 17A and 17B, when the exit pupil distance of the lens is long, most of the light incident on the
このように、従来の手法を用いた固体撮像素子では、使用するレンズや、そのズームやフォーカス状態によって射出瞳距離が変わってしまう場合、測距精度が低下するという課題が生じる。なお、マイクロレンズの偏心量を減らすとレンズの射出瞳距離が近い場合の画素2010の感度がさらに低下し、マイクロレンズの偏心量を増やすとレンズの射出瞳距離が遠い場合の画素2020の感度がさらに低下する。従って、画素のマイクロレンズの偏心量を調整しても、この課題を解決することは困難である。
As described above, in the solid-state imaging device using the conventional method, when the exit pupil distance changes depending on the lens to be used and its zoom or focus state, there arises a problem that the ranging accuracy is lowered. Note that if the amount of eccentricity of the microlens is decreased, the sensitivity of the
<本実施形態における測距>
これに対し、本実施形態に係る固体撮像素子200では、マイクロレンズの偏心量の異なる2種類の測距画素を使用し、レンズの射出瞳距離によって距離情報取得に用いる信号を切り替えているため、従来よりも高精度な測距を行うことができる。以下で、説明を行う。
<Ranging in this embodiment>
In contrast, in the solid-
画素210、220の感度の角度依存性を、画素2010、2020と比較して図12(A)(B)に示した。横軸は+X方向に傾く方向を正にとった入射角度、縦軸は感度である。図12(A)は、画素210の特性を実線で、画素2010の特性を破線で示す。図12(B)は、画素220の特性を実線で、画素2020の特性を破線で示す。一点鎖線の四角で囲った部分(F)は、レンズの射出瞳距離が遠い場合に画素に入射する光束の角度範囲である。二点鎖線の四角で囲った部分(N)は、レンズの射出瞳距離が近い場合に画素に入射する光束の角度範囲である。
The angle dependency of the sensitivity of the
図12(A)(B)より、従来の固体撮像素子中の測距画素に比べて、本実施形態の固体撮像素子中の画素の感度が向上していることがわかる。特に、一点鎖線で囲った角度範囲(F)における画素2020の感度に対する画素220の感度向上と、二点鎖線で囲った角度範囲(N)における画素2010の感度に対する画素210の感度向上が大きい。
12A and 12B, it can be seen that the sensitivity of the pixels in the solid-state image sensor of this embodiment is improved as compared with the distance measurement pixels in the conventional solid-state image sensor. In particular, the sensitivity improvement of the
更に、本実施形態に示す固体撮像素子200は、レンズの射出瞳距離に応じて測距像を生成するための演算モードを切り替えることで、互いに反対方向に偏心した瞳領域からの測距像を取得することを可能としている。
Furthermore, the solid-
まず、レンズの射出瞳距離が遠い場合に使用する第一の測距モードについて説明する。図12(A)(B)の一点鎖線で囲んだ部分(F)からわかるように、画素220は、レンズの射出瞳のうち、+X方向に偏心した領域からの光束を選択的に受光している。したがって画素220により取得した信号に基づく第一の測距像291は、射出瞳のうち+X方向に偏心した領域からの光束に基づく画像である。一方、画素210はレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。従って、そのままでは、−X方向に偏心した瞳領域からの光束による測距像が得られない。そこで、第一の測距モードでは、画素210で取得した信号から、画素220で取得した信号を差し引くことによって、第二の測距像292を生成する。第二の測距像292は、射出瞳のうち−X方向に偏心した領域からの光束に基づく画像である。このようにして生成した、互いに反対方向に偏心した瞳領域からの測距像291、292のズレ量を比較することで被写体の距離情報を取得することができる。
First, the first ranging mode used when the exit pupil distance of the lens is long will be described. As can be seen from the portion (F) surrounded by the alternate long and short dash line in FIGS. 12A and 12B, the
次に、レンズの射出瞳距離が近い場合に使用する第二の測距モードについて説明する。図12(A)(B)の二点鎖線で囲んだ部分(N)からわかるように、画素210は、レンズの射出瞳のうち、−X方向に偏心した瞳領域からの光束を受光している。したがって画素210により取得した信号に基づく第三の測距像293は、射出瞳のうち−X方向に偏心した領域からの光束に基づく画像である。一方、画素220はレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。従って、そのままでは、+X方向に偏心した瞳領域からの光束による測距像が得られない。そこで、第二の測距モードでは、画素220で取得した信号から、画素210で取得した信号を差し引くことによって、第四の測距像294を生成する。第四の測距像294は、射出瞳のうち+X方向に偏心した領域からの光束に基づく画像である。このようにして生成した、互いに反対方向に偏心した瞳領域からの測距像293、294のズレ量を比較することで被写体の距離情報を取得することができる。
Next, the second ranging mode used when the lens exit pupil distance is short will be described. As can be seen from the portion (N) surrounded by the two-dot chain line in FIGS. 12A and 12B, the
このように、本実施形態に係る固体撮像素子では、第一の測距モードと第二の測距モードで、測距像の生成に使用する画素信号差分の算出方法を逆転させている。即ち、第一の測距モードでは、第一の画素信号から第二の画素信号を引くことで測距像を生成している。一方、第二の測距モードでは、第二の画素信号から第一の画素信号を引くことで測距像を生成している。その結果、従来よりも感度の高い画素を使用しつつ、異なる方向に偏心した瞳領域からの光束による測距像を取得することができる。 As described above, in the solid-state imaging device according to the present embodiment, the calculation method of the pixel signal difference used for generating the ranging image is reversed between the first ranging mode and the second ranging mode. That is, in the first ranging mode, a ranging image is generated by subtracting the second pixel signal from the first pixel signal. On the other hand, in the second ranging mode, a ranging image is generated by subtracting the first pixel signal from the second pixel signal. As a result, it is possible to acquire a distance measurement image using a light beam from a pupil region decentered in a different direction while using pixels with higher sensitivity than in the past.
なお、第一のマイクロレンズ211、第二のマイクロレンズ212の偏心量の差を大きくすることで、互いに反対方向に偏心した測距像を直接取得してもよい。但し、互いに反対方向に偏心した測距像を直接取得するよりも、差分によって測距像を生成した方が好ましい。以下で理由を説明する。
In addition, by increasing the difference in the amount of eccentricity between the
レンズの射出瞳距離が遠い場合の−X方向に偏心した測距像292を直接取得するためには、入射光束の重心角度よりも画素210の感度の重心角度が−X側になるように、マイクロレンズ211の偏心量を減少させればよい。即ち、レンズの射出瞳距離が遠い場合に入射する主光線の、マイクロレンズ211による結像位置が、画素中心よりも−X側になっていればよい。
In order to directly acquire the
同様に、レンズの射出瞳距離が近い場合の+X方向に偏心した測距像294を直接取得するためには、入射光束の重心角度よりも画素220の感度の重心角度が+X側になるようにマイクロレンズ221の偏心量を増加させればよい。即ち、レンズの射出瞳距離が近い場合に入射する主光線の、マイクロレンズ221による結像位置が、画素中心よりも+X側になっていればよい。
Similarly, in order to directly acquire the
図13(A)〜(D)に、互いに反対方向に偏心した測距像を差分によって取得するための画素と、互いに反対方向に偏心した測距像を直接取得するための画素を比較して示した。図13(A)(B)は、差分によって測距像を取得するための第一の画素210および第二の画素220をそれぞれ示す。図13(C)(D)は、測距像を直接取得するための第一の画素310および第二の画素320をそれぞれ示す。第一の画素310および第二の画素320の構成は、第一の画素210および第二の画素220とほぼ同様であるが、マイクロレンズ311,321の偏心量が異なる。具体的には、図13(A)(B)における第一の画素210と第二の画素220のマイクロレンズ偏心量の差よりも、図13(C)(D)における第一の画素210と第二の画素220のマイクロレンズの偏心量の差の方が大きい。
13A to 13D show a comparison between a pixel for obtaining a distance measurement image decentered in the opposite direction and a pixel for directly obtaining a distance measurement image decentered in the opposite direction. Indicated. FIGS. 13A and 13B respectively show a
まず、レンズの射出瞳距離が遠い場合について比較する。図13(D)よりわかるように、画素320に入射する光は、光電変換部の外側に入射したり、配線によって吸収されたりしてしまう。その結果、レンズの射出瞳距離が遠い場合(実線)に、画素320の感度が低下したり、クロストークが増大したりして、+X方向に偏心した測距像291の品質が低下してしまう。一方、図13(B)よりわかるように、画素220に入射する光は、大部分が画素220の光電変換部で検出できている。
First, a case where the exit pupil distance of the lens is long will be compared. As can be seen from FIG. 13D, light that enters the
同様に、レンズの射出瞳距離が近い場合(破線)についても比較する。図13(C)よりわかるように、画素310に入射する光が、光電変換部の外側に入射したり、配線によって吸収されたりしてしまう。その結果、画素310の感度が低下したり、クロストークが増大したりして、−X方向に偏心した測距像293の品質が低下してしまう。一方、図13(A)よりわかるように、画素210に入射する光は、大部分が画素210の光電変換部で検出できている。
Similarly, the case where the exit pupil distance of the lens is short (broken line) is also compared. As can be seen from FIG. 13C, light that enters the
このように、レンズの射出瞳距離が遠い場合に−X方向に偏心した測距像を直接取得で
きるように第一の画素のマイクロレンズの偏心量を減少させると、レンズの射出瞳距離が近い場合の+X方向に偏心した測距像291の品質が低下してしまう。また、レンズの射出瞳距離が近い場合に+X方向に偏心した測距像を直接取得できるように第二の画素のマイクロレンズの偏心量を増加させると、レンズの射出瞳距離が遠い場合の−X方向に偏心した測距像292の品質が低下してしまう。
As described above, when the eccentric amount of the microlens of the first pixel is reduced so that a distance measurement image decentered in the −X direction can be directly acquired when the exit pupil distance of the lens is long, the exit pupil distance of the lens is close. In this case, the quality of the
一方、互いに反対方向に偏心した測距像を画素信号の差分に基づいて取得し、第一の測距モードと第二の測距モードで差分の方向を逆転した場合には、マイクロレンズ211と221の偏心量の差を小さくすることができる。そのため、使用するレンズや、そのズームやフォーカス状態によらず、高いSN比の測距像を取得することができるため、更に好ましい。 On the other hand, when a distance measurement image decentered in opposite directions is acquired based on the difference between the pixel signals and the direction of the difference is reversed between the first distance measurement mode and the second distance measurement mode, The difference in the eccentric amount of 221 can be reduced. For this reason, a range-finding image with a high S / N ratio can be obtained regardless of the lens used and its zoom or focus state, which is more preferable.
更に、互いに反対方向に偏心した測距像を画像信号の差分に基づいて取得し、第一の測距モードと第二の測距モードで差分の求め方を逆転した場合には、撮影画像の品質も向上させることができる。測距像を直接取得した場合、第一の画素310、第二の画素320で取得される画像は、偏心した瞳領域を通過した光束による画像である。従って、第一の画素310、第二の画素320で取得した画素信号をそのまま撮影画像として使用すると、レンズのフォーカス位置からずれた被写体像が片ボケを生じるため、不自然な画像となる。
In addition, a distance measurement image decentered in opposite directions is acquired based on the difference between the image signals, and when the method for obtaining the difference is reversed between the first distance measurement mode and the second distance measurement mode, Quality can also be improved. When the distance measurement image is directly acquired, the images acquired by the
しかし、差分に基づいて測距像を生成する固体撮像素子では、レンズの射出瞳距離が近い場合には、第二の画素220でレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。同様に、レンズの射出瞳距離が遠い場合には、第一の画素210でレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。従って、第一の測距モードおよび第二の測距モードで、それぞれ第一の画素210および第二の画素220で取得した画素信号を撮影画像として使用することで、瞳の中心付近を通過した光束による撮影画像を直接取得することができる。その結果、フォーカス位置からずれた被写体像のボケ味が自然な画像が得られる。
However, in a solid-state imaging device that generates a distance measurement image based on the difference, when the exit pupil distance of the lens is short, the
差分に基づいて測距像を生成する際、画素信号に一定の係数をかけて、ゲイン調整を行ってから差分を行っても良い。第一の測距モードにおいて、画素210で取得した信号をA1、画素220で取得した信号をB1、第二の測距モードにおいて、画素210で取得した信号をA2、画素220で取得した信号をB2とする。この時、以下の式を用いて測距像292、294を取得すればよい。
測距像292 = A1 − k1 × B1 (式1)
測距像294 = B2 − k2 × A2 (式2)
ここで、第一の係数k1、第二の係数k2はゲイン調整係数である。ゲインを調整することによって、測距像292、294を形成する光束の重心角度を変化させ、測距精度を向上させることができる。具体的には、k1が大きいほど、測距像292は−X方向に大きく偏心した瞳領域からの光束によって形成された測距像となるため、測距像291と測距像292の間のズレ量が大きくなり、検出精度が向上する。同様に、k2が大きいほど、測距像294は+X方向に大きく偏心した瞳領域からの光束によって形成された測距像となるため、測距像293と測距像294の間のズレ量が大きくなり、検出精度が向上する。但し、k1、k2を大きくしすぎると、測距像291と測距像292、測距像293と測距像294の強度差が大きくなり、像ズレ量の検出精度が低下する。従って、測距像間の強度差も考慮してk1、k2を決定するのが好ましい。なお、特にk1、k2が共に1の場合は、ゲイン調整を行わない場合である。
When a ranging image is generated based on the difference, the pixel signal may be multiplied by a certain coefficient, and the gain may be adjusted before performing the difference. In the first distance measurement mode, the signal acquired by the
Ranging
Ranging
Here, the first coefficient k1 and the second coefficient k2 are gain adjustment coefficients. By adjusting the gain, the center-of-gravity angle of the light beams forming the
なお、差分に基づいて測距像を生成する際には、3画素以内に近接して配置された画素210、画素220の間の画素信号に対して差分を適用する方が、測距像間のズレ量を正
確に検出できるため、好ましい。
In addition, when generating a ranging image based on the difference, it is more effective to apply the difference to the pixel signal between the
また、測距像のズレは、第一のマイクロレンズと第二のマイクロレンズの偏心量が異なる第一の方向に対して発生するため、測距像を取得する画素が第一の方向に沿ってずれているほど、距離情報の精度が低下する。本発明に示す固体撮像素子では、第一の画素と第二の画素は第一の直線からの距離が等しいため、第一の方向に沿ったずれのない画素間で差分を適用することができ、高精度な距離情報を取得できる。 Further, since the displacement of the distance measurement image occurs in the first direction in which the eccentric amount of the first micro lens and the second micro lens is different, the pixels that acquire the distance measurement image are along the first direction. The greater the deviation, the lower the accuracy of the distance information. In the solid-state imaging device according to the present invention, the first pixel and the second pixel have the same distance from the first straight line, and therefore, a difference can be applied between pixels having no deviation along the first direction. High-accuracy distance information can be acquired.
また、実施形態1の図10(C)のように、ベイヤ配列の緑画素のみが、第一の画素と第二の画素の二種類で構成されている場合、緑画素で取得した画像を用いて測距像を生成すればよい。即ち、図10(C)のように第一の画素の数の方が多い場合、被写体の解像度情報と色情報は常に第一の画素(数が多い方の画素)で取得するとよい。輝度情報と距離情報については、上述したようにレンズの射出瞳距離に応じて、使用する画素信号を変更したり差分の求め方を反転させたりして、取得方法を異ならせるとよい。 In addition, as illustrated in FIG. 10C of the first embodiment, when only the green pixels in the Bayer array are configured with two types of the first pixel and the second pixel, an image acquired with the green pixels is used. Thus, a distance measurement image may be generated. That is, when the number of the first pixels is larger as shown in FIG. 10C, the resolution information and the color information of the subject are always acquired by the first pixel (the pixel having the larger number). As described above, the luminance information and the distance information may be acquired in different ways by changing the pixel signal to be used or inverting the method of obtaining the difference in accordance with the exit pupil distance of the lens.
実施形態1の場合と同様、第一の測距モードを使用するか、第二の測距モードを使用するかは、レンズの射出瞳距離、即ち画素に入射する主光線の角度によって切り替えればよい。また、実施形態1の場合と同様、レンズの射出瞳距離を3段階に分類して、3つの測距モードを使用することも好ましい。すなわち、レンズの射出瞳距離が中間程度の場合に、第三の測距モードを使用してもよい。レンズの射出瞳距離が中間程度の場合、第一の画素210には−X方向に偏心した瞳領域からの光束が入射し、第二の画素220には+X方向に偏心した瞳領域の光束が入射する。そのため、第三の測距モードでは、第一の画素210で直接取得した測距像と、第二の画素220で直接取得した測距像間のズレ量を求めるのが好ましい。
As in the first embodiment, whether to use the first distance measurement mode or the second distance measurement mode may be switched according to the exit pupil distance of the lens, that is, the angle of the principal ray incident on the pixel. . As in the first embodiment, it is also preferable to classify the exit pupil distance of the lens into three stages and use three distance measuring modes. That is, the third distance measuring mode may be used when the lens exit pupil distance is about the middle. When the exit pupil distance of the lens is about the middle, the light beam from the pupil region decentered in the −X direction is incident on the
実施形態1の場合と同様、固体撮像素子の中心領域(中心線101からの距離が所定の距離未満の領域)では、マイクロレンズの偏心量が異なる複数の画素を設けなくても良い。固体撮像素子の中心領域でも距離情報を取得する場合、互いに反対方向に偏心した遮光膜236、246を有する画素230、240(図14(A))を用いて、互いに反対方向に偏心した測距像を取得し、測距像間のズレ量を求めればよい。また、互いに反対方向に偏心したマイクロレンズ231、241を有する画素230、240(図14(B))を用いて、互いに反対方向に偏心した測距像を取得してもよい。
As in the case of the first embodiment, in the central region of the solid-state imaging device (the region where the distance from the
図14(A)のように偏心した遮光膜を設けた場合、隣接画素間でのクロストークを抑制できたり、遮光膜下部に画素内メモリを設けることで画素内メモリへの迷光成分を抑制できたりするため、好ましい。図14(B)のように互いに反対方向に偏心したマイクロレンズを設けた場合、遮光膜を設けるプロセスが不要となり、周辺領域に配置された画素と同様のプロセスで、距離情報を取得可能な画素が形成できるため、好ましい。 When an eccentric light shielding film is provided as shown in FIG. 14A, crosstalk between adjacent pixels can be suppressed, or stray light components to the pixel memory can be suppressed by providing an in-pixel memory below the light shielding film. This is preferable. In the case of providing microlenses that are decentered in opposite directions as shown in FIG. 14B, a process of providing a light shielding film is not necessary, and a pixel that can acquire distance information by a process similar to that of a pixel disposed in a peripheral region. Is preferable.
更に、図14(C)に示すように、一つの画素230中に複数の光電変換部233、234を設け、各々の光電変換部で互いに反対方向に偏心した測距像を取得してもよい。図14(C)に示す画素を用いた場合、複数の光電変換部で取得した信号の和から撮影画像も取得できるため、好ましい。
Furthermore, as shown in FIG. 14C, a plurality of
(実施形態3)
図15は、実施形態2で示した固体撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置190の概略図である。撮像装置190は、実施形態2で示した固体撮像素子200の他に、固体撮像素子200よりも光入射側に配置されたレンズ191を含む撮像光学系、CPU192、転送回路193、信号処理部194を有する。撮像装置190は測距機能を有するので、測距装置と捉えることもできる。
(Embodiment 3)
FIG. 15 is a schematic diagram of an
CPU192は、レンズの射出瞳距離に応じて、転送回路193、信号処理部194の動作を制御している。具体的には、レンズ191の射出瞳距離が閾値距離よりも遠いと判定された場合には、第一の撮影モードあるいは第一の測距モードを使用して、被写体の輝度情報および距離情報を取得している。また、レンズ191の射出瞳距離が閾値距離よりも近いと判定された場合には、第二の撮影モードあるいは第二の測距モードを使用して、被写体の輝度情報および距離情報を取得している。信号処理部194は、第一の画素から取得される画像(測距像)と第二の画素から取得される画像(測距像)を比較して、その位置ズレ量から被写体の距離情報を取得する。すなわち、信号処理部194は距離算出部としての機能を有する。レンズの射出瞳距離の情報は、使用するレンズとズーム状態のパラメータとしてCPUに記憶していても良いし、予備撮影を行って第一の画素と第二の画素で信号を取得し、それらの輝度差から算出しても良い。
The
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100、200:固体撮像素子
101:第一の直線
102:所定の距離
110、210:第一の画素
111、211:第一のマイクロレンズ
120、220:第二の画素
121、221:第二のマイクロレンズ
100, 200: solid-state imaging device 101: first straight line 102: predetermined
Claims (30)
前記第二のマイクロレンズの前記第一の方向に沿った偏心量は、前記第一の直線に向かう方向を正として正であり、
前記第一のマイクロレンズは、前記第一の方向に沿った偏心量がゼロまたは正であり、前記第二のマイクロレンズの前記第一の方向に沿った偏心量よりも小さい、
ことを特徴とする、固体撮像素子。 A solid whose distance from a first straight line that passes through the center of the solid-state image sensor and extends in a second direction perpendicular to the first direction in which the pixels of the solid-state image sensor are arranged is a predetermined distance or more In the peripheral region of the image sensor, the first pixel having the first microlens and the second pixel having the second microlens and having the same distance from the first straight line as the first pixel ,
The amount of eccentricity along the first direction of the second microlens is positive with the direction toward the first straight line being positive,
In the first microlens, the amount of eccentricity along the first direction is zero or positive, and is smaller than the amount of eccentricity along the first direction of the second microlens.
A solid-state image sensor characterized by the above.
第二のマイクロレンズが第二のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して面対称な形状であるか、
または、上記の両方を満たす、
ことを特徴とする、請求項1に記載の固体撮像素子。 The first microlens has a shape that is plane-symmetric with respect to a plane that passes through the optical axis of the first microlens and is perpendicular to the first direction;
The second microlens has a shape that is plane-symmetric with respect to a plane that passes through the optical axis of the second microlens and is perpendicular to the first direction,
Or satisfy both of the above,
The solid-state imaging device according to claim 1, wherein
第二のマイクロレンズが第二のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して非対称な形状であるか、
または、上記の両方を満たす、
ことを特徴とする、請求項1に記載の固体撮像素子。 The first microlens has an asymmetric shape with respect to a plane perpendicular to the first direction through the optical axis of the first microlens,
Whether the second microlens has an asymmetric shape with respect to a plane passing through the optical axis of the second microlens and perpendicular to the first direction;
Or satisfy both of the above,
The solid-state imaging device according to claim 1, wherein
第二のマイクロレンズが第二のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して非対称な屈折率分布を有するか、
または、上記の両方を満たす、
ことを特徴とする、請求項1に記載の固体撮像素子。 The first microlens has an asymmetric refractive index profile with respect to a plane perpendicular to the first direction through the optical axis of the first microlens,
The second microlens has an asymmetric refractive index distribution with respect to a plane perpendicular to the first direction through the optical axis of the second microlens,
Or satisfy both of the above,
The solid-state imaging device according to claim 1, wherein
ことを特徴とする、請求項1から4のいずれか1項に記載の固体撮像素子。 The amount of eccentricity along the second direction of the second microlens is greater than the amount of eccentricity along the second direction of the first microlens,
The solid-state imaging device according to any one of claims 1 to 4, wherein the solid-state imaging device is characterized in that
ことを特徴とする、請求項1から4のいずれか1項に記載の固体撮像素子。 The amount of eccentricity along the second direction of the first microlens is equal to the amount of eccentricity along the second direction of the second microlens,
The solid-state imaging device according to any one of claims 1 to 4, wherein the solid-state imaging device is characterized in that
ことを特徴とする、請求項1から6のいずれか1項に記載の固体撮像素子。 The maximum value of the difference between the amount of eccentricity along the first direction of the first microlens and the amount of eccentricity along the first direction of the second microlens is the first value of the first pixel. 0.25 times or more of an average value of the length along one direction and the length along the first direction of the second pixel,
The solid-state imaging device according to claim 1, wherein
ことを特徴とする、請求項1から7のいずれか1項に記載の固体撮像素子。 A plurality of the first pixels and the second pixels are provided, and the greater the distance from the first straight line, the more the eccentric amount along the first direction of the first microlens and the second The difference between the eccentric amount along the first direction of the two microlenses is large,
The solid-state imaging device according to claim 1, wherein the solid-state imaging device is characterized in that
ことを特徴とする、請求項1から8のいずれか1項に記載の固体撮像素子。 The predetermined distance is not less than 0.25 times the length of the solid-state image sensor in the first direction;
The solid-state image sensor according to any one of claims 1 to 8, wherein the solid-state image sensor is characterized.
ことを特徴とする、請求項1から9のいずれか1項に記載の固体撮像素子。 The first direction coincides with the longitudinal direction of the solid-state imaging device;
The solid-state imaging device according to claim 1, wherein
ことを特徴とする、請求項1から10のいずれか1項に記載の固体撮像素子。 A plurality of the first pixel and the second pixel are provided, and the first pixel and the second pixel are linear along the first direction at different positions in the second direction. Arranged in the
The solid-state imaging device according to claim 1, wherein
ことを特徴とする、請求項11に記載の固体撮像素子。 The first pixels and the second pixels arranged in a straight line are alternately provided along the second direction.
The solid-state imaging device according to claim 11, wherein
ことを特徴とする、請求項1から10のいずれか1項に記載の固体撮像素子。 A plurality of the first pixels and the second pixels are provided, and the first pixels and the second pixels are alternately provided in a checkered pattern,
The solid-state imaging device according to claim 1, wherein
全ての第一の画素は第一の色のカラーフィルタを有しており、第二の画素は第一の色のカラーフィルタを有する画素と、第一の色とは異なる色のカラーフィルタを有する画素の、2種類以上の画素から構成されているか、
全ての第二の画素は第二の色のカラーフィルタを有しており、第一の画素は第二の色のカラーフィルタを有する画素と、第二の色とは異なる色のカラーフィルタを有する画素の、2種類以上の画素から構成されているか、
のいずれかを満たすことを特徴とする、請求項1から13のいずれか1項に記載の固体撮像素子。 A plurality of the first pixel and the second pixel are provided;
All the first pixels have a color filter of the first color, and the second pixel has a pixel having a color filter of the first color and a color filter of a color different from the first color. It is composed of two or more types of pixels,
Every second pixel has a color filter of the second color, and the first pixel has a pixel having a color filter of the second color and a color filter of a color different from the second color. It is composed of two or more types of pixels,
14. The solid-state imaging device according to claim 1, wherein any one of the above is satisfied.
ことを特徴とする、請求項1から14のいずれか1項に記載の固体撮像素子。 The solid-state imaging device has a pixel including a light-shielding film that is decentered with respect to the pixel center in a central region whose distance from the first straight line is less than the predetermined distance.
The solid-state imaging device according to any one of claims 1 to 14, wherein the solid-state imaging device is characterized.
ことを特徴とする、請求項1から15のいずれか1項に記載の固体撮像素子。 In a central region where the distance from the first straight line is less than the predetermined distance, the pixel includes a microlens whose optical axis is decentered with respect to the pixel center.
The solid-state imaging device according to claim 1, wherein:
ことを特徴とする、請求項1から16のいずれか1項に記載の固体撮像素子。 In a central region where the distance from the first straight line is less than the predetermined distance, a pixel including a plurality of photoelectric conversion units and a microlens corresponding thereto,
The solid-state imaging device according to claim 1, wherein
請求項1から17のいずれか1項に記載の固体撮像素子と、
を備える、撮像装置。 A lens,
A solid-state imaging device according to any one of claims 1 to 17,
An imaging apparatus comprising:
が、h/2F以上である、
ことを特徴とする、請求項18に記載の撮像装置。 Along the first direction of the first microlens, where F is the F value of the lens and h is the average value of the focal length of the first microlens and the focal length of the second microlens. The maximum value of the difference between the amount of eccentricity and the amount of eccentricity along the first direction of the second microlens is h / 2F or more.
The imaging apparatus according to claim 18, wherein:
ことを特徴とする、請求項18または19に記載の撮像装置。 A first shooting mode for acquiring the luminance information of the subject from the signal acquired by the first pixel, and a second shooting mode for acquiring the luminance information of the subject from the signal acquired by the second pixel;
The imaging apparatus according to claim 18, wherein the imaging apparatus is characterized.
ことを特徴とする、請求項20に記載の撮像装置。 When the exit pupil distance of the lens is longer than a predetermined threshold distance, the first shooting mode is used, and when the exit pupil distance of the lens is closer than the threshold distance, the second shooting mode is set. use,
The imaging apparatus according to claim 20, wherein
前記第二の撮影モードでは、前記第二の画素で取得した信号から低輝度な被写体の輝度情報を取得し、前記第一の画素で取得した信号から高輝度な被写体の輝度情報を取得する、
ことを特徴とする、請求項20または21に記載の撮像装置。 In the first shooting mode, the luminance information of the low-luminance subject is acquired from the signal acquired by the first pixel, the luminance information of the high-luminance subject is acquired from the signal acquired by the second pixel,
In the second imaging mode, the luminance information of the low-luminance subject is acquired from the signal acquired by the second pixel, and the luminance information of the high-luminance subject is acquired from the signal acquired by the first pixel.
The imaging apparatus according to claim 20 or 21, wherein the imaging apparatus is characterized in that
ことを特徴とする、請求項20から22のいずれか1項に記載の撮像装置。 A third shooting mode for acquiring a subject image using both the signal acquired by the first pixel and the signal acquired by the second pixel;
The imaging apparatus according to any one of claims 20 to 22, wherein the imaging apparatus is characterized in that
ことを特徴とする、請求項20から23のいずれか1項に記載の撮像装置。 The number of the first pixel is different from the number of the second pixel, and the pixel having the larger number of the first pixel and the second pixel in both the first shooting mode and the second shooting mode. To obtain the resolution information of the subject using the image obtained from
The imaging device according to any one of claims 20 to 23, wherein:
前記撮像装置から撮影された画像に基づいて被写体の距離情報を算出する算出部と、
を備える測距装置であって、
前記固体撮像素子には、前記第一の画素と前記第二の画素が複数設けられており、
前記算出部は、前記第一の画素で取得した信号から取得した画像と、前記第二の画素で取得した信号から取得した画像を比較することで被写体の距離情報を取得する、
ことを特徴とする、測距装置。 An imaging device according to any one of claims 18 to 24;
A calculation unit that calculates distance information of a subject based on an image captured from the imaging device;
A distance measuring device comprising:
The solid-state imaging device is provided with a plurality of the first pixels and the second pixels,
The calculation unit acquires distance information of a subject by comparing an image acquired from a signal acquired from the first pixel and an image acquired from a signal acquired from the second pixel.
A distance measuring device characterized by that.
前記第一の画素で取得した信号から取得した第三の画像と、前記第二の画素で取得した信号から第一の画素で取得した信号を差し引くことで生成した第四の画像のズレ量から被写体の距離情報を取得する第二の測距モードと、
を備えることを特徴とする、請求項25に記載の測距装置。 A shift amount between the first image acquired from the signal acquired from the second pixel and the second image generated by subtracting the signal acquired from the second pixel from the signal acquired from the first pixel. A first ranging mode that obtains subject distance information from
From the amount of deviation between the third image acquired from the signal acquired at the first pixel and the fourth image generated by subtracting the signal acquired at the first pixel from the signal acquired at the second pixel. A second distance measuring mode for acquiring distance information of the subject;
The distance measuring device according to claim 25, comprising:
前記第二の画素で取得した信号から、前記第一の画素で取得した信号に第二の係数をかけてから差し引くことで前記第四の画像を生成する、
ことを特徴とする、請求項26に記載の測距装置。 The second image is generated by subtracting the signal acquired at the second pixel from the signal acquired at the first pixel, after applying the first coefficient,
The fourth image is generated by subtracting the signal acquired at the first pixel after applying the second coefficient from the signal acquired at the second pixel.
27. The distance measuring device according to claim 26, wherein:
ことを特徴とする、請求項25から27のいずれか1項に記載の測距装置。 The second image is generated by subtracting the signal acquired at the second pixel from the signal acquired at the first pixel between the first pixel and the second pixel that are close within 3 pixels, Generating the second image by subtracting the signal acquired at the first pixel from the signal acquired at the second pixel;
The distance measuring device according to any one of claims 25 to 27, wherein:
ことを特徴とする、請求項25から28のいずれか1項に記載の測距装置。 A third distance measuring mode is provided, which acquires distance information of an object from an image acquired from the signal acquired from the first pixel and an image shift amount acquired from the signal acquired from the second pixel.
The distance measuring device according to any one of claims 25 to 28, wherein:
ことを特徴とする、請求項25から29のいずれか1項に記載の測距装置。 The solid-state imaging device includes a pixel having a light shielding film that is decentered with respect to the pixel center in a central region whose distance from the first straight line is less than the predetermined distance.
The distance measuring device according to any one of claims 25 to 29, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015117690A JP2017005509A (en) | 2015-06-10 | 2015-06-10 | Solid-state image pickup element, imaging device and ranging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015117690A JP2017005509A (en) | 2015-06-10 | 2015-06-10 | Solid-state image pickup element, imaging device and ranging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017005509A true JP2017005509A (en) | 2017-01-05 |
Family
ID=57754600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015117690A Pending JP2017005509A (en) | 2015-06-10 | 2015-06-10 | Solid-state image pickup element, imaging device and ranging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017005509A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020184969A1 (en) * | 2019-03-11 | 2020-09-17 | 엘지이노텍 주식회사 | Camera module |
CN112262476A (en) * | 2018-06-15 | 2021-01-22 | 索尼半导体解决方案公司 | Solid-state image pickup device and electronic apparatus |
-
2015
- 2015-06-10 JP JP2015117690A patent/JP2017005509A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112262476A (en) * | 2018-06-15 | 2021-01-22 | 索尼半导体解决方案公司 | Solid-state image pickup device and electronic apparatus |
WO2020184969A1 (en) * | 2019-03-11 | 2020-09-17 | 엘지이노텍 주식회사 | Camera module |
US11885884B2 (en) | 2019-03-11 | 2024-01-30 | Lg Innotek Co., Ltd. | Camera module |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9204067B2 (en) | Image sensor and image capturing apparatus | |
JP6120508B2 (en) | Imaging device and imaging apparatus | |
JP5825817B2 (en) | Solid-state imaging device and imaging apparatus | |
US8830382B2 (en) | Image pickup apparatus and image processing apparatus | |
JP6347621B2 (en) | Solid-state imaging device and imaging apparatus | |
JP2011176715A (en) | Back-illuminated image sensor and imaging apparatus | |
US9456198B2 (en) | Depth estimating image capture device and image sensor | |
US20110025904A1 (en) | Focus detection device and imaging apparatus having the same | |
JP6016396B2 (en) | Imaging device and imaging apparatus | |
US9099370B2 (en) | Solid-state imaging element and imaging device | |
US11297271B2 (en) | Image sensor and image capture apparatus | |
US9402041B2 (en) | Solid-state image sensor and imaging apparatus using same | |
JP2018139272A (en) | Imaging element and imaging device | |
JP2023159224A (en) | Imaging element and imaging apparatus | |
JP6338443B2 (en) | Solid-state imaging device and imaging apparatus using the same | |
JP2017220724A (en) | Image processing apparatus, imaging device, image processing method, and program | |
JP2017005509A (en) | Solid-state image pickup element, imaging device and ranging device | |
US11889186B2 (en) | Focus detection device, focus detection method, and image capture apparatus | |
JP2009086144A (en) | Imaging device and imaging equipment provided therewith | |
JP5907668B2 (en) | Imaging device and imaging device | |
JP2017069815A (en) | Image processing apparatus, image processing method, imaging apparatus, and control method of the same | |
JP6257201B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE | |
JP6086681B2 (en) | Imaging device and imaging apparatus | |
KR20170015158A (en) | Control apparatus, image pickup apparatus, and control method | |
JP2017102240A (en) | Image processing device and image processing method, imaging device, program |