JP2017005509A - Solid-state image pickup element, imaging device and ranging device - Google Patents

Solid-state image pickup element, imaging device and ranging device Download PDF

Info

Publication number
JP2017005509A
JP2017005509A JP2015117690A JP2015117690A JP2017005509A JP 2017005509 A JP2017005509 A JP 2017005509A JP 2015117690 A JP2015117690 A JP 2015117690A JP 2015117690 A JP2015117690 A JP 2015117690A JP 2017005509 A JP2017005509 A JP 2017005509A
Authority
JP
Japan
Prior art keywords
pixel
microlens
solid
distance
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015117690A
Other languages
Japanese (ja)
Inventor
愛彦 沼田
Aihiko Numata
愛彦 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015117690A priority Critical patent/JP2017005509A/en
Publication of JP2017005509A publication Critical patent/JP2017005509A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a solid-state image pickup element capable of acquiring a high-quality image irrespective of a lens being used or the zooming and focusing states thereof.SOLUTION: A first pixel 110a having a first microlens 111a and a second pixel 120a which has a second microlens 121a and is located at the same distance from the first straight line as the first pixel are provided in a peripheral area of a solid-state image pickup element which is located at a predetermined distance or more from a first straight line passing through the center of the solid-state image pickup element, and extending in a second direction Y vertical to a first direction X as an in-plane direction along which pixels of the solid-state image pickup element are arranged. The eccentricity amount 125a along the first direction of the second microlens is positive with the direction to the first straight line being positive. The eccentricity amount 115a along the first direction of the first microlens is zero or positive, and smaller than the eccentricity amount along the first direction of the second microlens.SELECTED DRAWING: Figure 2

Description

本発明は、固体撮像素子に関し、特にデジタルカメラやビデオカメラなどにおいて用いられる固体撮像素子に関する。   The present invention relates to a solid-state image sensor, and more particularly to a solid-state image sensor used in a digital camera, a video camera, or the like.

近年、デジタルカメラの小型化の観点から、バックフォーカスの短いカメラレンズに対応可能な固体撮像素子が求められている。また、デジタルカメラのダイナミックレンジ拡大化の観点から、小型のデジタルカメラにおいてもサイズの大きい固体撮像素子を用いることが求められている。このような要求のあるデジタルカメラでは、固体撮像素子の周辺領域の画素に対して光束が大きく傾いた角度で入射するため、周辺領域の画素の感度が低下する。   In recent years, from the viewpoint of miniaturization of digital cameras, a solid-state imaging device capable of supporting a camera lens with a short back focus has been demanded. In addition, from the viewpoint of expanding the dynamic range of a digital camera, it is required to use a large-size solid-state image sensor even in a small digital camera. In a digital camera having such a demand, the luminous flux is incident on the pixels in the peripheral area of the solid-state imaging device at an angle that is greatly inclined, so that the sensitivity of the pixels in the peripheral area decreases.

この課題に対し、特許文献1は、画素表面に設けたマイクロレンズを固体撮像素子の中心方向に偏心させた固体撮像素子を開示する。画素に対して傾いた角度で入射する光束を効率良く検出できるので、周辺領域の画素の感度を向上できる。   In response to this problem, Patent Document 1 discloses a solid-state imaging device in which a microlens provided on the pixel surface is decentered in the center direction of the solid-state imaging device. Since it is possible to efficiently detect a light beam incident at an angle with respect to the pixel, it is possible to improve the sensitivity of the pixels in the peripheral region.

また、撮像素子の一部に測距機能を有する距離測定用画素(以下、測距画素)を配置し、位相差方式で検出するようにした固体撮像素子が提案されている。測距画素は、偏心した遮光膜を配置することで、カメラレンズの瞳上の偏心した領域を通過した光束を受光するように構成される。更に、カメラレンズの瞳中心を基準として反対方向に偏心した領域の光束を受光する測距画素を設ける。各測距画素で得た信号により、互いに反対方向に偏心した瞳領域を通過した光束で生成される像(以下、測距像)を取得する。測距像のズレ量を基にステレオ画像による三角測量を用いて距離を測定することができる。   In addition, a solid-state imaging device has been proposed in which a distance measuring pixel (hereinafter referred to as a ranging pixel) having a ranging function is arranged in a part of the imaging device and is detected by a phase difference method. The ranging pixel is configured to receive a light beam that has passed through an eccentric region on the pupil of the camera lens by disposing an eccentric light shielding film. Further, a distance measuring pixel is provided that receives a light beam in a region decentered in the opposite direction with respect to the pupil center of the camera lens. An image (hereinafter referred to as a distance measurement image) generated by a light beam that has passed through pupil regions decentered in opposite directions is acquired based on signals obtained from the distance measurement pixels. The distance can be measured using triangulation using a stereo image based on the shift amount of the distance measurement image.

特許文献2では、測距画素を有する固体撮像素子において、周辺画素の感度を向上させるために、特許文献1と同様に、マイクロレンズを固体撮像素子の中心方向に偏心させた固体撮像素子が開示されている。   Patent Document 2 discloses a solid-state image sensor in which a microlens is decentered toward the center of the solid-state image sensor in order to improve the sensitivity of peripheral pixels in a solid-state image sensor having ranging pixels. Has been.

特開2010−182765号公報JP 2010-182765 A 特許第5169499号公報Japanese Patent No. 5169499

一般に、カメラレンズのズームやフォーカス状態により、レンズの射出瞳距離は変化する。また、交換レンズ対応型のカメラに使用する固体撮像素子の場合、使用するレンズによってもレンズの射出瞳距離が変化する。即ち、固体撮像素子の周辺領域の画素に入射する主光線の角度が、使用するレンズや、そのズームやフォーカスの状態によって変化してしまう。その結果、画素に入射する光量が低下したり、隣接画素間のクロストークが増大したりして、画像の品質が低下してしまう。特に、特許文献2のような測距機能を有する固体撮像素子に適用した場合、遮光膜による吸収のために大きく感度が低下し、測距像の品質低下を招く。   In general, the exit pupil distance of the lens changes depending on the zoom or focus state of the camera lens. In the case of a solid-state imaging device used for an interchangeable lens compatible camera, the exit pupil distance of the lens changes depending on the lens used. That is, the angle of the principal ray incident on the pixels in the peripheral area of the solid-state image sensor changes depending on the lens used and the zoom and focus states. As a result, the amount of light incident on the pixel decreases, or crosstalk between adjacent pixels increases, resulting in a reduction in image quality. In particular, when applied to a solid-state imaging device having a distance measuring function as in Patent Document 2, the sensitivity is greatly reduced due to absorption by the light shielding film, and the quality of the distance image is lowered.

本発明は、使用するレンズや、そのズームやフォーカスの状態によらずに高品質な画像を取得できる固体撮像素子の提供を目的とする。   An object of the present invention is to provide a solid-state imaging device capable of acquiring a high-quality image regardless of the lens to be used and the zoom or focus state thereof.

上記課題を解決するために、本発明の一態様に係る固体撮像素子は、固体撮像素子の中心を通り、固体撮像素子の画素が配列された面内方向である第一の方向に垂直な第二の方向に延びる第一の直線からの距離が、所定の距離以上の固体撮像素子の周辺領域において、第一のマイクロレンズを有する第一の画素と、第二のマイクロレンズを有し、第一の直線からの距離が第一の画素と等しい第二の画素を有し、前記第二のマイクロレンズの前記第一の方向に沿った偏心量は、前記第一の直線に向かう方向を正として正であり、前記第一のマイクロレンズは、前記第一の方向に沿った偏心量がゼロまたは正であり、前記第二のマイクロレンズの前記第一の方向に沿った偏心量よりも小さい、ことを特徴とする。   In order to solve the above-described problem, a solid-state imaging device according to one embodiment of the present invention passes through the center of the solid-state imaging device and is perpendicular to a first direction that is an in-plane direction in which pixels of the solid-state imaging device are arranged. A first pixel having a first microlens and a second microlens in a peripheral region of the solid-state imaging device whose distance from a first straight line extending in two directions is a predetermined distance or more; The second pixel has a second pixel whose distance from one straight line is equal to the first pixel, and the amount of eccentricity along the first direction of the second microlens is positive in the direction toward the first straight line. And the first microlens has zero or positive eccentricity along the first direction and is smaller than the eccentricity along the first direction of the second microlens. It is characterized by that.

本発明によれば、固体撮像素子の周辺部においても、使用するレンズや、そのズームやフォーカスの状態によらずに高品質な画像を取得できる固体撮像素子が提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the solid-state image sensor which can acquire a high quality image can be provided also in the peripheral part of a solid-state image sensor, irrespective of the lens to be used and the zoom or focus state.

実施形態1に示す固体撮像素子Solid-state imaging device shown in Embodiment 1 実施形態1に示す固体撮像素子中の画素Pixels in the solid-state imaging device shown in the first embodiment 実施形態1に示す固体撮像素子中の画素Pixels in the solid-state imaging device shown in the first embodiment 実施形態1に示す固体撮像素子中の画素の感度特性Sensitivity characteristics of pixels in the solid-state imaging device shown in the first embodiment 実施形態1に示す固体撮像素子中の画素の変形例Modification Example of Pixel in Solid-State Imaging Device Shown in Embodiment 1 実施形態1に示す固体撮像素子中の画素の変形例Modification Example of Pixel in Solid-State Imaging Device Shown in Embodiment 1 レンズの射出瞳距離と画素へ入射する主光線の入射角の関係Relationship between the exit pupil distance of the lens and the incident angle of the chief ray incident on the pixel 実施形態1に示す固体撮像素子中の画素の変形例Modification Example of Pixel in Solid-State Imaging Device Shown in Embodiment 1 実施形態1に示す固体撮像素子中の画素の比較例Comparative example of pixels in the solid-state imaging device shown in the first embodiment 実施形態1に示す固体撮像素子中の画素の変形例Modification Example of Pixel in Solid-State Imaging Device Shown in Embodiment 1 実施形態2における撮影モードShooting mode in Embodiment 2 実施形態2に示す固体撮像素子中の画素の感度特性Sensitivity characteristics of pixels in the solid-state imaging device shown in the second embodiment 実施形態2に示す固体撮像素子中の画素Pixels in solid-state imaging device shown in embodiment 2 実施形態2に示す固体撮像素子中の画素Pixels in solid-state imaging device shown in embodiment 2 実施形態3に示す撮像装置Imaging device shown in embodiment 3 従来の固体撮像素子中の画素Pixels in conventional solid-state image sensors 従来の固体撮像素子中の画素Pixels in conventional solid-state image sensors

以下、図を用いて、本発明の実施形態における固体撮像素子について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。   Hereinafter, a solid-state imaging device according to an embodiment of the present invention will be described with reference to the drawings. In that case, the same number is attached to the same function in all the drawings, and the repeated explanation is omitted.

(実施形態1)
<画素構成>
図1は、本実施形態に示す固体撮像素子100内の画素の配置を示した図である。第一の画素110a、第二の画素120aは、固体撮像素子100中の−X方向の周辺領域100aに配置された画素である。周辺領域100aは、中心線(第一の直線)101から−X方向に所定の距離102以上離れた領域である。中心線101は、固体撮像素子100の中心を通る直線であって、固体撮像素子の面内方向(XY方向)のうちX方向(第一の方向)に垂直なY方向(第二の方向)に延びる直線である。一方、第一の画素110b、第二の画素120bは、固体撮像素子100中の+X方向の周辺領域100bに配置された画素である。周辺領域100bは、中心線(第一の直線)101から+X方向に所定の距離以上離れた領域である。上記所定の距離102は、固体撮像素子100のX方向の長さの0.40倍以上とすることが好ましく、0.25倍以上とすれば、更に好ましい。
この理由については後述する。
(Embodiment 1)
<Pixel configuration>
FIG. 1 is a diagram showing an arrangement of pixels in the solid-state imaging device 100 shown in the present embodiment. The first pixel 110 a and the second pixel 120 a are pixels disposed in the −X direction peripheral region 100 a in the solid-state imaging device 100. The peripheral region 100a is a region separated from the center line (first straight line) 101 by a predetermined distance 102 or more in the −X direction. The center line 101 is a straight line passing through the center of the solid-state image sensor 100, and the Y direction (second direction) perpendicular to the X direction (first direction) in the in-plane direction (XY direction) of the solid-state image sensor. It is a straight line extending to On the other hand, the first pixel 110 b and the second pixel 120 b are pixels disposed in the peripheral region 100 b in the + X direction in the solid-state imaging device 100. The peripheral region 100b is a region separated from the center line (first straight line) 101 by a predetermined distance or more in the + X direction. The predetermined distance 102 is preferably 0.40 times or more, and more preferably 0.25 times or more the length of the solid-state imaging device 100 in the X direction.
The reason for this will be described later.

図2(A)〜(D)は、一点破線で囲んだ、図1の固体撮像素子の周辺領域100aに配置された画素110aおよび画素120aの構成を示した図である。画素110aと画素120aは、中心線101からの距離(X座標距離)が等しい位置に配置された画素である。ここで、中心線101と画素間の距離は、中心線101と画素の中心の間の距離を意味する。画素の中心とは、光電変換部の基板表面における重心を指す。   2A to 2D are diagrams illustrating the configuration of the pixel 110a and the pixel 120a disposed in the peripheral region 100a of the solid-state imaging device in FIG. The pixel 110a and the pixel 120a are pixels arranged at the same distance from the center line 101 (X coordinate distance). Here, the distance between the center line 101 and the pixel means the distance between the center line 101 and the center of the pixel. The center of the pixel refers to the center of gravity of the photoelectric conversion unit on the substrate surface.

図2(A)は、画素110aを光の入射方向から見た図、図2(B)は、画素110aのXZ断面模式図である。また、図2(C)は画素120aを光の入射方向から見た図、図2(D)は画素120aのXZ断面模式図である。第一の画素110aは、光の入射側より、第一のマイクロレンズ111a、基板112を有しており、基板112内には光電変換部113が設けられている。また、基板112上の光電変換部113の脇には、光電変換部113で取得した信号を周辺回路に転送するための配線114が設けられている。同様に、第二の画素120aは、第二のマイクロレンズ121a、基板122および、基板122内に設けられた光電変換部123、配線124を有している。光電変換部は、検出する波長帯域で吸収を有するシリコンなどの材料で形成された基板に、イオン打ち込みなどでポテンシャル分布を形成することによって形成される。また、配線はCuやAlなどの金属によって形成される。   2A is a diagram of the pixel 110a viewed from the light incident direction, and FIG. 2B is a schematic XZ cross-sectional view of the pixel 110a. 2C is a diagram of the pixel 120a viewed from the light incident direction, and FIG. 2D is a schematic XZ cross-sectional view of the pixel 120a. The first pixel 110 a includes a first microlens 111 a and a substrate 112 from the light incident side, and a photoelectric conversion unit 113 is provided in the substrate 112. A wiring 114 for transferring a signal acquired by the photoelectric conversion unit 113 to a peripheral circuit is provided beside the photoelectric conversion unit 113 on the substrate 112. Similarly, the second pixel 120 a includes a second microlens 121 a, a substrate 122, a photoelectric conversion unit 123 provided in the substrate 122, and a wiring 124. The photoelectric conversion unit is formed by forming a potential distribution by ion implantation or the like on a substrate formed of a material such as silicon having absorption in a wavelength band to be detected. Further, the wiring is formed of a metal such as Cu or Al.

図2(A)〜(D)に示すように、マイクロレンズ111aは画素110aの画素中心に対して+X方向に偏心しており、マイクロレンズ121aは画素120aの画素中心に対して+X方向に偏心している。そして、マイクロレンズ121aの偏心量はマイクロレンズ111aの偏心量よりも大きい。前述したように、画素中心とは、光電変換部の基板表面における重心を指す。マイクロレンズは、検出する波長帯域において透明な酸化シリコンや有機物などの材料で形成されており、画素とマイクロレンズとは1対1で対応している。この条件を満たせば、マイクロレンズの一部は隣の画素の上にも配置されていてもよい。   2A to 2D, the micro lens 111a is decentered in the + X direction with respect to the pixel center of the pixel 110a, and the micro lens 121a is decentered in the + X direction with respect to the pixel center of the pixel 120a. Yes. The eccentric amount of the micro lens 121a is larger than the eccentric amount of the micro lens 111a. As described above, the pixel center refers to the center of gravity of the photoelectric conversion unit on the substrate surface. The microlens is formed of a material such as transparent silicon oxide or organic matter in the wavelength band to be detected, and the pixel and the microlens are in a one-to-one correspondence. If this condition is satisfied, a part of the microlens may be disposed on the adjacent pixel.

なお、図2(B)、(D)には、各々の画素に入射する光束の伝搬の様子も示している。実線は結像光学系の射出瞳距離が遠い場合、破線は結像光学系の射出瞳距離が近い場合の光束である。   Note that FIGS. 2B and 2D also show how the light flux incident on each pixel propagates. A solid line indicates a light beam when the exit pupil distance of the imaging optical system is long, and a broken line indicates a light beam when the exit pupil distance of the imaging optical system is short.

図3(A)〜(D)には、図1の固体撮像素子の周辺領域100bに配置された画素110bおよび画素120bの構成を示した。画素110bおよび画素120bは、画素110aおよび画素120aと基本的に同様の構成を有する。しかしながら、図3(A)〜(D)に示すように、画素110bのマイクロレンズ111bと画素120bのマイクロレンズ121bは、それぞれ画素の画素中心に対して−X方向に偏心している。そして、マイクロレンズ121bの偏心量はマイクロレンズ111bの偏心量よりも大きい。   3A to 3D show the configuration of the pixel 110b and the pixel 120b arranged in the peripheral region 100b of the solid-state imaging device in FIG. The pixel 110b and the pixel 120b have basically the same configuration as the pixel 110a and the pixel 120a. However, as shown in FIGS. 3A to 3D, the microlens 111b of the pixel 110b and the microlens 121b of the pixel 120b are each eccentric in the −X direction with respect to the pixel center of the pixel. The eccentric amount of the micro lens 121b is larger than the eccentric amount of the micro lens 111b.

図2(A)(B),図3(A)(B)において、マイクロレンズ111a,111b,121a,121bの偏心をそれぞれ偏心ベクトル115a,115b,125a,125bによって示している。本実施形態では、マイクロレンズ111a,111b,121a,121bは、いずれも中心線101に向かってX方向に偏心している。すなわち、偏心ベクトル115a,115b,125a,125bはいずれもX方向に沿って中心線101に向かっている。そして、マイクロレンズ121a,121bの偏心量の方が、マイクロレンズ111a,111bの偏心量よりも大きい。すなわち、第一の画素のマイクロレンズの偏心ベクトル(以下、第一の偏心ベクトルとも称する)115a,125aの長さの方が、第二の画素のマイクロレンズの偏心ベクトル(以下、第二の偏心ベクトルとも称する)115b,125bの長さよりも短い。偏心ベクトルは、画素中心からマイクロ
レンズの光軸へ向かうベクトルである。
2A, 2B, and 3A, 3B, the eccentricity of the microlenses 111a, 111b, 121a, and 121b is indicated by the eccentric vectors 115a, 115b, 125a, and 125b, respectively. In the present embodiment, the microlenses 111a, 111b, 121a, and 121b are all eccentric in the X direction toward the center line 101. That is, the eccentric vectors 115a, 115b, 125a, and 125b are all directed toward the center line 101 along the X direction. The eccentric amount of the micro lenses 121a and 121b is larger than the eccentric amount of the micro lenses 111a and 111b. That is, the length of the decentering vector (hereinafter also referred to as the first decentering vector) 115a, 125a of the micro lens of the first pixel is the length of the decentering vector of the micro lens of the second pixel (hereinafter referred to as the second decentering vector). (Also referred to as vectors) 115b and 125b. The eccentric vector is a vector from the pixel center toward the optical axis of the microlens.

なお、画素110bおよび画素120bの構成と、画素110bおよび画素120bの構成は、X方向に反転したものであり、基本的に同様である。したがって、X方向の位置関係を考慮する必要がないときには、第一の画素110a,110bを総称して第一の画素110と呼び、第二の画素120a,120bを総称して第二の画素120と呼ぶ。マイクロレンズや偏心ベクトルについても同様とする。   Note that the configuration of the pixel 110b and the pixel 120b and the configuration of the pixel 110b and the pixel 120b are inverted in the X direction and are basically the same. Therefore, when it is not necessary to consider the positional relationship in the X direction, the first pixels 110a and 110b are collectively referred to as the first pixel 110, and the second pixels 120a and 120b are collectively referred to as the second pixel 120. Call it. The same applies to microlenses and eccentricity vectors.

<撮影動作の概要>
本実施形態における固体撮像素子100は、固体撮像素子の周辺において、マイクロレンズの偏心量の異なる2種類の画素を使用し、使用するレンズや、そのズームやフォーカス状態によって、被写体の輝度情報を取得するための画素を切り替える。具体的には、レンズの射出瞳距離が遠い場合(第一の撮影モード)では第一の画素110で取得した信号によって被写体の輝度情報を取得する。そして、レンズの射出瞳距離が近い場合(第二の撮影モード)では第二の画素120で取得した信号によって被写体の輝度情報を取得する。
<Overview of shooting operation>
The solid-state imaging device 100 according to the present embodiment uses two types of pixels with different eccentric amounts of microlenses around the solid-state imaging device, and acquires luminance information of the subject depending on the lens to be used and the zoom or focus state thereof. The pixel for switching is switched. Specifically, when the exit pupil distance of the lens is long (first shooting mode), the luminance information of the subject is acquired by the signal acquired by the first pixel 110. Then, when the exit pupil distance of the lens is short (second imaging mode), the luminance information of the subject is acquired by the signal acquired by the second pixel 120.

このような構成とすることで、使用するレンズや、そのズームやフォーカス状態によらず、高品質な画像を取得することができる。以下でその理由について、特許文献1に開示されている従来の手法を用いた場合と比較して説明する。なお、簡単のため−X方向の周辺領域に配置された画素についてのみ説明を行うが、+X方向の周辺領域に配置された画素についても同様であることは明らかである。   With such a configuration, a high-quality image can be acquired regardless of the lens to be used and the zoom or focus state thereof. The reason will be described below in comparison with the case where the conventional method disclosed in Patent Document 1 is used. For simplicity, only the pixels arranged in the peripheral area in the −X direction will be described, but it is clear that the same applies to the pixels arranged in the peripheral area in the + X direction.

<従来例と課題の説明>
図16(A)は、従来の手法(特許文献1)を用いた固体撮像素子中の−X方向の周辺領域に配置された画素1010の模式図を示している。画素1010は、光入射側より、マイクロレンズ1011、配線1014、光電変換部1013を有している。そして、マイクロレンズ1011は画素の画素中心に対して+X方向に偏心している。図16(B)は、図16(A)と同様の構成であるが、偏心量がより大きい例を示している。
<Conventional example and explanation of issues>
FIG. 16A shows a schematic diagram of a pixel 1010 arranged in a peripheral region in the −X direction in a solid-state imaging device using a conventional method (Patent Document 1). The pixel 1010 includes a micro lens 1011, a wiring 1014, and a photoelectric conversion unit 1013 from the light incident side. The microlens 1011 is decentered in the + X direction with respect to the pixel center of the pixel. FIG. 16B illustrates an example in which the configuration is the same as that in FIG.

また、図16(A)(B)には、レンズの射出瞳が遠い場合と近い場合の、画素1010に入射する光束の伝搬の様子も示している。実線はレンズの射出瞳が遠い場合を示し、破線はレンズの射出瞳が近い場合を示す。図16(A)(B)に示すように、レンズの射出瞳距離が近いほど、画素に入射する主光線の入射角は大きい。ここで、レンズの射出瞳距離が変化した場合に、従来の固体撮像素子中の画素1010では、画素の感度が低下することを説明する。   FIGS. 16A and 16B also show how the light flux incident on the pixel 1010 propagates when the exit pupil of the lens is far and close. A solid line indicates a case where the exit pupil of the lens is far, and a broken line indicates a case where the exit pupil of the lens is close. As shown in FIGS. 16A and 16B, the shorter the exit pupil distance of the lens, the larger the incident angle of the principal ray incident on the pixel. Here, it will be described that when the exit pupil distance of the lens changes, the sensitivity of the pixel decreases in the pixel 1010 in the conventional solid-state imaging device.

図16(A)よりわかるように、マイクロレンズ1011の偏心量を小さくすれば、レンズの射出瞳距離が遠い場合に画素1010に入射する光の大部分が光電変換部1013まで到達し、信号として検出できる。しかし、レンズの射出瞳距離が近い場合には画素1010に入射する光の一部は配線1014によって吸収され、一部は隣接画素に漏れてクロストークの原因となる。   As can be seen from FIG. 16A, when the amount of eccentricity of the microlens 1011 is reduced, most of the light incident on the pixel 1010 reaches the photoelectric conversion unit 1013 when the exit pupil distance of the lens is long, and as a signal. It can be detected. However, when the exit pupil distance of the lens is short, part of the light incident on the pixel 1010 is absorbed by the wiring 1014, and part of it leaks to the adjacent pixel, causing crosstalk.

一方、図16(B)よりわかるように、マイクロレンズ1011の偏心量を大きくすれば、レンズの射出瞳距離が近い場合に画素1010に入射する光の大部分が光電変換部1013まで到達し、信号として検出できる。しかし、レンズの射出瞳距離が遠い場合には画素1010に入射する光の一部は配線1014によって吸収され、一部は隣接画素に漏れてクロストークの原因となる。   On the other hand, as can be seen from FIG. 16B, when the amount of eccentricity of the microlens 1011 is increased, most of the light incident on the pixel 1010 reaches the photoelectric conversion unit 1013 when the exit pupil distance of the lens is short, It can be detected as a signal. However, when the exit pupil distance of the lens is long, a part of the light incident on the pixel 1010 is absorbed by the wiring 1014, and a part leaks to the adjacent pixel and causes crosstalk.

このように、マイクロレンズの偏心量を小さくすると、レンズの射出瞳距離が近い場合
の感度が低下したり、クロストークが増大したりする。一方、マイクロレンズの偏心量を大きくすると、レンズの射出瞳距離が遠い場合の感度が低下したり、クロストークが増大したりする。すなわち射出瞳距離が変化するレンズに対しては、最適な偏心量が存在しない。感度低下やクロストークの増大は、画像のSN比の低下を招くため、特許文献1に示す従来の固体撮像素子では、使用するレンズや、そのズームやフォーカスの状態によっては、画像の品質が低下してしまう。
As described above, when the amount of eccentricity of the microlens is reduced, the sensitivity when the exit pupil distance of the lens is close decreases, or crosstalk increases. On the other hand, when the amount of eccentricity of the microlens is increased, the sensitivity when the exit pupil distance of the lens is long is lowered, or the crosstalk is increased. That is, there is no optimum amount of eccentricity for a lens whose exit pupil distance changes. A decrease in sensitivity and an increase in crosstalk cause a decrease in the S / N ratio of the image. Therefore, in the conventional solid-state imaging device shown in Patent Document 1, the quality of the image decreases depending on the lens used and the zoom and focus states. Resulting in.

なお、配線1014を光の入射側とは反対側に設けた、いわゆる裏面照射型の固体撮像素子を用いれば、配線1014による吸収は生じない。しかしながら、裏面照射型の固体撮像素子においても、隣接画素へのクロストークは表面照射型の固体撮像素子と同様に発生する。そのため、使用するレンズや、そのズームやフォーカスの状態によっては、画像の品質が低下してしまう。   Note that if a so-called back-illuminated solid-state imaging device in which the wiring 1014 is provided on the side opposite to the light incident side is used, absorption by the wiring 1014 does not occur. However, even in the back-illuminated solid-state image sensor, crosstalk to adjacent pixels occurs as in the front-illuminated solid-state image sensor. Therefore, depending on the lens used and the zoom or focus state, the quality of the image is degraded.

<本実施形態における撮影動作の説明>
これに対し、本実施形態に係る固体撮像素子100では、マイクロレンズの偏心量の異なる2種類の画素を使用しているので、レンズの射出瞳距離によって被写体の輝度情報取得に用いる信号を切り替えることができる。即ち、レンズの射出瞳距離が遠い場合には、マイクロレンズの偏心量の小さい第一の画素110で取得した信号を用いて被写体の輝度情報を取得する。一方、レンズの射出瞳距離が近い場合には、マイクロレンズの偏心量の大きい第二の画素120で取得した信号を用いて被写体の輝度情報を取得する。
<Description of Shooting Operation in this Embodiment>
On the other hand, in the solid-state imaging device 100 according to the present embodiment, since two types of pixels having different amounts of eccentricity of the microlens are used, a signal used for acquiring luminance information of the subject is switched depending on the exit pupil distance of the lens. Can do. That is, when the exit pupil distance of the lens is long, the luminance information of the subject is acquired using the signal acquired by the first pixel 110 having a small eccentric amount of the microlens. On the other hand, when the exit pupil distance of the lens is short, the luminance information of the subject is acquired using the signal acquired by the second pixel 120 having a large eccentric amount of the microlens.

図16(A)に示すように、マイクロレンズの偏心量が小さい場合にはレンズの射出瞳距離が遠い場合の画素の感度が高く、クロストークは小さい。一方、図16(B)に示すように、マイクロレンズの偏心量が大きい場合にはレンズの射出瞳距離が近い場合の画素の感度が高く、クロストークは小さい。従って輝度情報を取得する画素を切り替えることで、使用するレンズやそのズームやフォーカスの状態によらず、SN比が高い高品質の画像を取得することができる。   As shown in FIG. 16A, when the eccentric amount of the microlens is small, the sensitivity of the pixel when the exit pupil distance of the lens is long is high, and the crosstalk is small. On the other hand, as shown in FIG. 16B, when the eccentric amount of the microlens is large, the sensitivity of the pixel when the exit pupil distance of the lens is close is high, and the crosstalk is small. Therefore, by switching the pixel from which the luminance information is acquired, it is possible to acquire a high-quality image with a high S / N ratio regardless of the lens used and its zoom or focus state.

画素110、120の感度の角度依存性を、従来の固体撮像素子中の画素1010と比較して図4に示した。画素110の特性は実線で、画素120の特性は破線で、画素1010の特性は点線で示している。なお、画素1010のマイクロレンズの偏心量は、画素110と画素120の中間の偏心量としている。横軸は+X方向に傾く方向を正にとった入射角度、縦軸は感度である。また、レンズの射出瞳距離が変わった場合に画素に入射する主光線の入射角が取り得る範囲を一点鎖線で示した。   The angle dependency of the sensitivity of the pixels 110 and 120 is shown in FIG. 4 in comparison with the pixel 1010 in the conventional solid-state imaging device. The characteristic of the pixel 110 is indicated by a solid line, the characteristic of the pixel 120 is indicated by a broken line, and the characteristic of the pixel 1010 is indicated by a dotted line. Note that the amount of eccentricity of the microlens of the pixel 1010 is an intermediate amount between the pixel 110 and the pixel 120. The horizontal axis is the incident angle with the direction inclined in the + X direction being positive, and the vertical axis is the sensitivity. Further, the range in which the incident angle of the principal ray incident on the pixel can be taken when the exit pupil distance of the lens is changed is indicated by a one-dot chain line.

図4よりわかるように、従来の固体撮像素子中の画素1010では、レンズの射出瞳距離変動範囲の両端の入射角度において、感度が大きく低下している。一方、レンズの射出瞳距離が遠い場合、即ち主光線角度が小さいときの画素110の感度は、従来の画素1010よりも高い。また、射出瞳距離が近い場合、即ち主光線角度が大きいときの画素120の感度は、画素1010よりも高くなっている。以上より、従来の固体撮像素子よりも、本実施形態に示す固体撮像素子100の方が、使用するレンズや、そのズームやフォーカスの状態によらず、高い感度を実現できていることが分かる。   As can be seen from FIG. 4, in the pixel 1010 in the conventional solid-state imaging device, the sensitivity is greatly reduced at the incident angles at both ends of the exit pupil distance fluctuation range of the lens. On the other hand, when the exit pupil distance of the lens is long, that is, when the chief ray angle is small, the sensitivity of the pixel 110 is higher than that of the conventional pixel 1010. When the exit pupil distance is short, that is, when the chief ray angle is large, the sensitivity of the pixel 120 is higher than that of the pixel 1010. From the above, it can be seen that the solid-state imaging device 100 shown in the present embodiment can achieve higher sensitivity than the conventional solid-state imaging device, regardless of the lens used and the zoom and focus states.

<ダイナミックレンジ拡大>
また、第一の画素110で取得した信号と第二の画素120で取得した信号を用いることで、画像のダイナミックレンジを拡大することもできる。即ち、レンズの射出瞳距離が遠い場合(第一の撮影モード)、第一の画素110で取得した信号によって低輝度な被写体の輝度情報を取得し、第二の画素120で取得した信号によって高輝度な被写体の輝度情報を取得すれば良い。一方、レンズの射出瞳距離が近い場合(第二の撮影モード)、第二の画素120で取得した信号によって低輝度な被写体の輝度情報を取得し、第一の画素
110で取得した信号によって高輝度な被写体の輝度情報を取得すれば良い。このような構成とすることで、従来の固体撮像素子に対し、ダイナミックレンジの広い画像が取得することができるため、好ましい。
<Dynamic range expansion>
Further, the dynamic range of the image can be expanded by using the signal acquired by the first pixel 110 and the signal acquired by the second pixel 120. That is, when the exit pupil distance of the lens is long (first photographing mode), luminance information of a low-luminance object is acquired by the signal acquired by the first pixel 110, and high by the signal acquired by the second pixel 120. What is necessary is just to acquire the brightness | luminance information of a to-be-photographed object. On the other hand, when the exit pupil distance of the lens is short (second imaging mode), the luminance information of the low-luminance object is acquired by the signal acquired by the second pixel 120, and the signal acquired by the first pixel 110 is high. What is necessary is just to acquire the brightness | luminance information of a to-be-photographed object. Such a configuration is preferable because an image having a wide dynamic range can be obtained with respect to a conventional solid-state imaging device.

<撮影モードの決定方法>
第一の撮影モードを使用するか、第二の撮影モードを使用するかは、レンズの射出瞳距離、即ち画素に入射する主光線の角度によって切り替えればよい。第一の画素110と第二の画素の感度が等しくなる入射角度を閾値角度103として、主光線角度が閾値角度103よりも大きいか小さいかに応じて使用する撮影モードを切り替えるとよい。例えば図4の場合、主光線角度が閾値角度103よりも小さい場合には第一の画素の感度の方が高いため、第一の撮影モードを使用し、主光線角度が角度103より大きい場合には第二の画素の感度の方が高いため、第二の撮影モードを使用すればよい。なお、主光線の角度と閾値角度を比較することは、レンズの射出瞳距離と閾値距離を比較することと同じである。したがって、射出瞳距離が閾値距離よりも遠い場合に第一の撮影モードを使用し、射出瞳距離が閾値距離よりも近い場合に第二の撮影モードを使用する、と表現することもできる。
<How to determine the shooting mode>
Whether the first imaging mode or the second imaging mode is used may be switched depending on the exit pupil distance of the lens, that is, the angle of the principal ray incident on the pixel. The incident angle at which the sensitivities of the first pixel 110 and the second pixel are equal is set as the threshold angle 103, and the imaging mode to be used may be switched depending on whether the chief ray angle is larger or smaller than the threshold angle 103. For example, in the case of FIG. 4, when the chief ray angle is smaller than the threshold angle 103, the sensitivity of the first pixel is higher. Therefore, when the first photographing mode is used and the chief ray angle is larger than the angle 103, Since the sensitivity of the second pixel is higher, the second shooting mode may be used. Note that comparing the chief ray angle with the threshold angle is the same as comparing the exit pupil distance of the lens with the threshold distance. Therefore, it can be expressed that the first imaging mode is used when the exit pupil distance is longer than the threshold distance, and the second imaging mode is used when the exit pupil distance is closer than the threshold distance.

また、レンズの射出瞳距離(主光線の入射角度)が近い、遠い、および中間の三つの場合に応じて、第一から第三の三つの撮影モードを使用することも好ましい。第一の撮影モードは、レンズの射出瞳距離が第一閾値以下の時に使用され、第二の撮影モードはレンズの射出瞳距離が第一閾値よりも大きな第二閾値以上の時に使用される。そして、第三の撮影モードはレンズの射出瞳距離が第一閾値から第二閾値の間の時に使用される。第三の撮影モードでは、第一の画素と第二の画素の両方の画素の信号を取得する。レンズの射出瞳距離が中間程度の場合には、第一の画素と第二の画素の感度差が小さいため、第三の撮影モードでは、両方の画素の信号を使用することによって、高解像度な被写体像を取得することができる。なお、第一閾値は、レンズの射出瞳距離がそれ以下であると、第二の画素120の感度が許容値以下に低下するような値であり、第二閾値は、レンズの射出瞳がそれ以上であると、第一の画素110の感度が許容値以下に低下するような値である。   It is also preferable to use the first to third imaging modes according to three cases in which the exit pupil distance (incident angle of the principal ray) of the lens is close, far, and intermediate. The first imaging mode is used when the exit pupil distance of the lens is less than or equal to the first threshold, and the second imaging mode is used when the exit pupil distance of the lens is greater than or equal to the second threshold that is greater than the first threshold. The third imaging mode is used when the exit pupil distance of the lens is between the first threshold value and the second threshold value. In the third imaging mode, signals of both the first pixel and the second pixel are acquired. When the exit pupil distance of the lens is intermediate, the sensitivity difference between the first pixel and the second pixel is small, so in the third shooting mode, by using the signals of both pixels, high resolution is achieved. A subject image can be acquired. The first threshold value is such a value that the sensitivity of the second pixel 120 falls below an allowable value when the lens exit pupil distance is less than that, and the second threshold value is that of the lens exit pupil. If it is above, the sensitivity of the first pixel 110 is a value that falls below an allowable value.

<マイクロレンズの偏心量>
図2(A)〜(D)、図3(A)〜(D)では、画素110のマイクロレンズ111が偏心している場合を示したが、画素110のマイクロレンズ111は偏心していなくてもよい。即ち、第一の偏心ベクトル115の長さの方がゼロであってもよい。
<Eccentricity of micro lens>
2A to 2D and FIGS. 3A to 3D illustrate the case where the microlens 111 of the pixel 110 is decentered, the microlens 111 of the pixel 110 may not be decentered. Good. That is, the length of the first eccentric vector 115 may be zero.

第一のマイクロレンズおよび第二のマイクロレンズの偏心量は、使用するレンズの射出瞳距離に応じて設定するのが好ましい。具体的には、レンズの射出瞳距離が遠いほどマイクロレンズの偏心量が小さく、レンズの射出瞳距離が近いほどマイクロレンズの偏心量が大きく設定するのが好ましい。   The amount of eccentricity of the first microlens and the second microlens is preferably set according to the exit pupil distance of the lens used. Specifically, it is preferable to set the decentering amount of the microlens smaller as the exit pupil distance of the lens is longer, and to increase the decentering amount of the microlens as the lens exit pupil distance is shorter.

また、レンズの射出瞳距離の変動範囲が大きいほど、第一のマイクロレンズの偏心量と第二のマイクロレンズの偏心量の差が大きいほうが好ましい。レンズの射出瞳距離の変動範囲が大きいほど、従来の手法を用いた場合の画像品質の低下度合いが大きいため、相対的に本手法の効果が大きくなる。特に、本手法において、第一の偏心ベクトル115の長さと第二の偏心ベクトル125の長さの差を、画素中の光電変換部のX方向長さの0.5倍以上とするとより良い効果が得られる。以下で理由を説明する。   Further, it is preferable that the difference between the eccentric amount of the first microlens and the eccentric amount of the second microlens is larger as the variation range of the exit pupil distance of the lens is larger. The greater the variation range of the exit pupil distance of the lens, the greater the degree of degradation in image quality when the conventional method is used. In particular, in this method, a better effect is obtained when the difference between the length of the first eccentric vector 115 and the length of the second eccentric vector 125 is 0.5 times or more the X-direction length of the photoelectric conversion unit in the pixel. Is obtained. The reason will be explained below.

前述したように、従来の固体撮像素子の場合、レンズの射出瞳距離が変化した場合、画素の感度が低下する。特に、射出瞳距離の変化による主光線角度の差が以下の式で決まる角度θを越えると、画素の感度が低下してくる。
θ=0.5×arcsin(1/F)
但し、FはレンズのF値である。レンズの射出瞳距離によってF値が異なる場合には、FはF値の平均値とする。
As described above, in the case of the conventional solid-state imaging device, when the exit pupil distance of the lens changes, the sensitivity of the pixel decreases. In particular, when the chief ray angle difference due to the change in the exit pupil distance exceeds an angle θ determined by the following equation, the sensitivity of the pixel decreases.
θ = 0.5 × arcsin (1 / F)
Where F is the F value of the lens. When the F value varies depending on the exit pupil distance of the lens, F is an average value of the F values.

この時、マイクロレンズ1011による結像位置のずれdは、以下の式で記述できる。
d=h×sin(θ)≒h/2F
但し、hはマイクロレンズの焦点距離である。図2(A)〜(D)、図3(A)〜(D)に示すように、一般に第一の画素110と第二の画素120のマイクロレンズの焦点距離は等しいが、異なっていても良い。その場合には、hは第一のマイクロレンズの焦点距離と第二のマイクロレンズの焦点距離の平均値とする。即ち、レンズの射出瞳距離の変化による結像位置の差異がd以上(すなわち、h/2F以上)の場合に、本手法を適用した場合の効果が大きくなる。
At this time, the shift d of the imaging position by the microlens 1011 can be described by the following equation.
d = h × sin (θ) ≈h / 2F
Here, h is the focal length of the microlens. As shown in FIGS. 2A to 2D and FIGS. 3A to 3D, although the focal lengths of the microlenses of the first pixel 110 and the second pixel 120 are generally the same, they may be different. good. In this case, h is the average value of the focal length of the first microlens and the focal length of the second microlens. In other words, when the difference in image formation position due to a change in the exit pupil distance of the lens is d or more (that is, h / 2F or more), the effect of applying this method becomes large.

以下では、簡単のため、結像点の回折による拡がりや、配線によるケラレが小さいとして説明する。本実施形態に係る固体撮像素子100では、射出瞳距離が遠い場合の第一のマイクロレンズ111による結像位置は、第一の画素110の中心に近いほど好ましい(図2(B))。射出瞳距離が遠い場合の画素110の感度が向上するためである。同様に、射出瞳距離が近い場合の第二のマイクロレンズ121による結像位置は、第二の画素120の中心に近いほど好ましい(図2(D))。射出瞳距離が近い場合の画素120の感度が向上するためである。   In the following description, it is assumed that for the sake of simplicity, the spread due to diffraction of the image formation point and the vignetting due to the wiring are small. In the solid-state imaging device 100 according to the present embodiment, the imaging position by the first microlens 111 when the exit pupil distance is long is more preferable as it is closer to the center of the first pixel 110 (FIG. 2B). This is because the sensitivity of the pixel 110 when the exit pupil distance is long is improved. Similarly, the image formation position by the second microlens 121 when the exit pupil distance is short is preferably closer to the center of the second pixel 120 (FIG. 2D). This is because the sensitivity of the pixel 120 when the exit pupil distance is short is improved.

ここで、レンズの射出瞳距離の変化による結像位置の差異がdの時を考える。第一のマイクロレンズの偏心量と、第二のマイクロレンズの偏心量の差がdであれば、結像位置を各々の光電変換部の中心とすることができる。従って、第一の偏心ベクトルの長さと第二の偏心ベクトルの長さの差がd以上の場合に、本手法の効果が大きくなる。   Here, let us consider a case where the difference in imaging position due to a change in the exit pupil distance of the lens is d. If the difference between the amount of eccentricity of the first microlens and the amount of eccentricity of the second microlens is d, the imaging position can be the center of each photoelectric conversion unit. Therefore, when the difference between the length of the first eccentric vector and the length of the second eccentric vector is greater than or equal to d, the effect of the present method is increased.

画素サイズや画素構成(画素が導波路を有するか、表面照射型か、裏面照射型か)にもよるが、マイクロレンズの焦点距離は、画素のX方向(第一の方向)の長さの1倍から3倍程度である。例えば、F値が2.9、マイクロレンズの高さが画素のX方向の長さの1.5倍とすると、dは画素のX方向の長さの0.25倍となる。従って、第一の偏心ベクトルの長さと第二の偏心ベクトルの長さの差の最大値が、画素のX方向の長さの0.25倍以上の時に、本手法の効果が大きいといえる。すなわち、第一のマイクロレンズ111と第二のマイクロレンズ121のX方向に沿った偏心量の差の最大値が、画素のX方向の長さの0.25倍以上の時に、本手法の効果が大きい。図2(A)〜(D)、図3(A)〜(D)に示すように、一般に第一の画素と第二の画素の大きさは等しいが、異なっていても良い。その場合には、第一の偏心ベクトルの長さと、第二の偏心ベクトルの長さの差の最大値が、第一の画素のX方向に沿った長さと、第二の画素のX方向に沿った長さの平均値の、0.25倍以上であれば、本手法の効果が大きいため、好ましい。   The focal length of the microlens is the length of the pixel in the X direction (first direction), although it depends on the pixel size and pixel configuration (whether the pixel has a waveguide, front surface irradiation type, or back surface irradiation type). It is about 1 to 3 times. For example, if the F value is 2.9 and the height of the microlens is 1.5 times the length of the pixel in the X direction, d is 0.25 times the length of the pixel in the X direction. Therefore, when the maximum value of the difference between the length of the first eccentric vector and the length of the second eccentric vector is not less than 0.25 times the length of the pixel in the X direction, it can be said that the effect of this method is great. That is, when the maximum value of the difference in eccentricity along the X direction between the first microlens 111 and the second microlens 121 is 0.25 times or more the length of the pixel in the X direction, the effect of the present method is achieved. Is big. As shown in FIGS. 2A to 2D and FIGS. 3A to 3D, the sizes of the first pixel and the second pixel are generally the same, but they may be different. In that case, the maximum difference between the length of the first eccentric vector and the length of the second eccentric vector is equal to the length along the X direction of the first pixel and the X direction of the second pixel. If the average value of the length along the line is 0.25 times or more, the effect of this method is great, which is preferable.

また、画素に入射する主光線の角度は、固体撮像素子中の画素の位置によっても異なる。具体的には、中心線(第一の直線)101からの距離が大きいほど、画素に入射する主光線の角度が大きくなる。そのため、中心線101からの距離が大きいほどマイクロレンズの偏心量を大きくする方が好ましい。   Further, the angle of the principal ray incident on the pixel also varies depending on the position of the pixel in the solid-state image sensor. Specifically, the greater the distance from the center line (first straight line) 101, the greater the angle of the chief ray incident on the pixel. Therefore, it is preferable to increase the amount of eccentricity of the microlens as the distance from the center line 101 increases.

<マイクロレンズの偏心方法>
また、図2(A)〜(D)、図3(A)〜(D)では、マイクロレンズの光軸を通り、第一の方向に垂直な平面に対して、面対称な形状のマイクロレンズの位置を、画素中心からずらすことによって、マイクロレンズを偏心させた場合を示した。但し、別の方法でマイクロレンズを偏心してもよい。図5(A)〜(C)にマイクロレンズの偏心方法の変形例を示す。なお、図5(A)〜(C)では第二の画素120の例のみを示したが、第一の画素110についても同様である。
<Decentering method of micro lens>
In FIGS. 2A to 2D and FIGS. 3A to 3D, microlenses having a plane symmetry with respect to a plane that passes through the optical axis of the microlens and is perpendicular to the first direction. The case where the microlens is decentered by shifting the position of from the pixel center is shown. However, the microlens may be decentered by another method. 5A to 5C show modified examples of the microlens eccentric method. 5A to 5C show only the example of the second pixel 120, the same applies to the first pixel 110.

図5(A)は、マイクロレンズの光軸を通りX方向に垂直な平面(YZ平面)に対して、非対称な形状のマイクロレンズを示す。このような非対称形状のマイクロレンズを用いることで、マイクロレンズの光軸を実効的に偏心させることができる。図5(B)は、マイクロレンズの光軸を通りX方向に垂直な平面(YZ平面)に対して、非対称な屈折率分布を設けたマイクロレンズを示す。このような非対称な屈折率分布を有するマイクロレンズを用いることで、マイクロレンズの光軸を実効的に偏心させることができる。マイクロレンズに非対称な屈折率分布を設けるためには、マイクロレンズを形成する層を複数の材料で形成し、媒質の充填率に非対称な分布を設ければよい。また、図5(B)のようにマイクロレンズが複数設けられており、そのうちの一部が偏心していてもよい。   FIG. 5A shows an asymmetric microlens with respect to a plane (YZ plane) that passes through the optical axis of the microlens and is perpendicular to the X direction. By using such an asymmetrical microlens, the optical axis of the microlens can be effectively decentered. FIG. 5B shows a microlens having an asymmetric refractive index distribution with respect to a plane (YZ plane) passing through the optical axis of the microlens and perpendicular to the X direction. By using a microlens having such an asymmetric refractive index distribution, the optical axis of the microlens can be effectively decentered. In order to provide an asymmetric refractive index distribution in the microlens, a layer forming the microlens may be formed of a plurality of materials, and an asymmetric distribution may be provided in the filling rate of the medium. Further, a plurality of microlenses are provided as shown in FIG. 5B, and some of them may be eccentric.

図2(A)〜(D)、図3(A)〜(D)のように面対称な形状のマイクロレンズの位置をずらす方が、非対称形状のマイクロレンズを用いるよりも、マイクロレンズの製造が容易であるため好ましい。一方、図5(A)(B)のように非対称な形状分布や屈折率分布を設けた場合、画素に入射する光の伝搬をより精密に制御できる。そのため、画素の感度を向上させることができ、好ましい。   2A to 2D and FIGS. 3A to 3D are produced by shifting the position of the surface-symmetrical microlens rather than using the asymmetrical microlens. Is preferable because it is easy. On the other hand, when an asymmetric shape distribution or refractive index distribution is provided as shown in FIGS. 5A and 5B, the propagation of light incident on the pixel can be controlled more precisely. Therefore, the sensitivity of the pixel can be improved, which is preferable.

更に、図5(C)のように、画素がマイクロレンズのほかに導波路127を有していても良い。導波路127を設けることで、傾いた角度で入射する光に対する感度を向上させることができるため、更に好ましい。   Further, as shown in FIG. 5C, the pixel may have a waveguide 127 in addition to the microlens. Providing the waveguide 127 is more preferable because sensitivity to light incident at an inclined angle can be improved.

<マイクロレンズの偏心方向>
図2(A)〜(D)、図3(A)〜(D)では、第一の画素110と第二の画素120のマイクロレンズの偏心方向がX方向である例を示したが、マイクロレンズの偏心方向が斜め方向であってもよい。固体撮像素子の対角方向の周辺領域に位置する画素については、マイクロレンズを固体撮像素子の中心に向かって斜めに偏心させる方が、画素の感度が向上するため、好ましい。
<Eccentric direction of micro lens>
2A to 2D and FIGS. 3A to 3D show examples in which the eccentric directions of the microlenses of the first pixel 110 and the second pixel 120 are the X direction. The eccentric direction of the lens may be an oblique direction. For pixels located in the diagonal peripheral region of the solid-state image sensor, it is preferable to decenter the microlens diagonally toward the center of the solid-state image sensor because the sensitivity of the pixels is improved.

図6(A)(B)に、固体撮像素子100の(−X、−Y)の対角方向の周辺領域に配置され、中心線101からの距離が等しい第一の画素110、第二の画素120の変形例をそれぞれ示した。図6(A)(B)のいずれにおいても、上記と同様に、第二のマイクロレンズ121のX方向に沿った偏心量が、第一のマイクロレンズ111のX方向に沿った偏心量よりも大きい。図6(A)は、第一のマイクロレンズ111と第二のマイクロレンズ121のY方向に沿った偏心量が等しい例である。図6(B)は、第一のマイクロレンズ111と第二のマイクロレンズ121のY方向に沿った偏心量が異なる例である。   6A and 6B, the first pixel 110 and the second pixel that are arranged in the (−X, −Y) diagonal peripheral region of the solid-state imaging device 100 and have the same distance from the center line 101. Each modification of the pixel 120 is shown. 6A and 6B, as described above, the amount of eccentricity along the X direction of the second microlens 121 is larger than the amount of eccentricity along the X direction of the first microlens 111. large. FIG. 6A shows an example in which the first micro lens 111 and the second micro lens 121 have the same amount of eccentricity along the Y direction. FIG. 6B is an example in which the first microlens 111 and the second microlens 121 have different eccentric amounts along the Y direction.

図6(A)(B)の構成は、以下のように表現できる。第二の画素120の中心から第二のマイクロレンズ121の光軸へ向かうベクトルをX方向(第一の方向)とは垂直な方向(Y方向)に射影した第四の偏心ベクトル126とする。そして、第一の画素110の中心から第一のマイクロレンズ111の光軸へ向かうベクトルをX方向(第一の方向)とは垂直な方向(Y方向)に射影した第三の偏心ベクトル116とする。図6(A)は、第四の偏心ベクトル126の長さと、第三の偏心ベクトル116の長さが等しい例である。すなわち、第一のマイクロレンズ111のY方向(第二の方向)に沿った偏心量と、第二のマイクロレンズ121のY方向(第二の方向)に沿った偏心量が等しい例である。また、図6(B)は第四の偏心ベクトル126の長さが、第三の偏心ベクトル116の長さよりも大きい例である。すなわち、第二のマイクロレンズ121のY方向(第二の方向)に沿った偏心量の方が、第一のマイクロレンズ111のY方向(第二の方向)に沿った偏心量よりも大きい例である。   6A and 6B can be expressed as follows. A vector directed from the center of the second pixel 120 toward the optical axis of the second microlens 121 is a fourth eccentric vector 126 projected in a direction (Y direction) perpendicular to the X direction (first direction). A third eccentric vector 116 obtained by projecting a vector from the center of the first pixel 110 toward the optical axis of the first microlens 111 in a direction (Y direction) perpendicular to the X direction (first direction); To do. FIG. 6A shows an example in which the length of the fourth eccentric vector 126 is equal to the length of the third eccentric vector 116. That is, this is an example in which the amount of eccentricity along the Y direction (second direction) of the first microlens 111 is equal to the amount of eccentricity along the Y direction (second direction) of the second microlens 121. FIG. 6B shows an example in which the length of the fourth eccentric vector 126 is larger than the length of the third eccentric vector 116. That is, an example in which the amount of eccentricity along the Y direction (second direction) of the second microlens 121 is larger than the amount of eccentricity along the Y direction (second direction) of the first microlens 111. It is.

図6(A)のように第三の偏心ベクトルと第四の偏心ベクトルの長さが等しいほうが、
製造が容易なため好ましい。特に、第一の画素と第二の画素がY方向に隣接して配置されている場合、第一のマイクロレンズと第二のマイクロレンズ間の重なりやギャップが生じないため、各々の画素の感度も向上させることができる。
As shown in FIG. 6A, the lengths of the third eccentric vector and the fourth eccentric vector are equal.
It is preferable because it is easy to manufacture. In particular, when the first pixel and the second pixel are arranged adjacent to each other in the Y direction, there is no overlap or gap between the first microlens and the second microlens. Can also be improved.

一方、図6(B)のように、第四の偏心ベクトルの長さが第三の偏心ベクトルよりも長いほうが、レンズの射出瞳距離が変動した場合でも、高品質な画像を取得することができるため、好ましい。固体撮像素子の対角方向の周辺領域では、画素に入射する主光線はX方向だけではなくY方向にも傾いて入射する。従って、レンズの射出瞳距離が近い場合の被写体の輝度情報を取得する第二の画素では、第二のマイクロレンズをY方向にも大きく偏心させた方が、感度が向上する。一方、レンズの射出瞳距離が遠い場合の被写体の輝度情報を取得する第一の画素では、第一のマイクロレンズの偏心量はY方向にも小さいほうが、感度が向上する。このように、第四の偏心ベクトルの長さが第三の偏心ベクトルよりも長いほうが、レンズの射出瞳距離が変動した場合でも、高品質な画像を取得することができるため、好ましい。   On the other hand, as shown in FIG. 6B, when the length of the fourth eccentric vector is longer than the third eccentric vector, a high-quality image can be acquired even when the exit pupil distance of the lens fluctuates. This is preferable because it is possible. In the peripheral area in the diagonal direction of the solid-state imaging device, the principal ray incident on the pixel is inclined not only in the X direction but also in the Y direction. Therefore, in the second pixel that acquires the luminance information of the subject when the exit pupil distance of the lens is short, the sensitivity is improved when the second microlens is greatly decentered also in the Y direction. On the other hand, in the first pixel that obtains the luminance information of the subject when the exit pupil distance of the lens is long, the sensitivity is improved as the eccentric amount of the first microlens is small in the Y direction. Thus, it is preferable that the length of the fourth eccentric vector is longer than the third eccentric vector because a high-quality image can be obtained even when the exit pupil distance of the lens fluctuates.

なお、図6(A)、図6(B)どちらの場合でも、中心線101からの距離が等しい第一の画素110と第二の画素120において、第一の偏心ベクトル115の長さよりも、第二の偏心ベクトル125の長さが長くなっている。すなわち、第二のマイクロレンズ121のX方向(第一の方向)に沿った偏心量の方が、第一のマイクロレンズ111のX方向(第一の方向)に沿った偏心量よりも大きい。また、第一の偏心ベクトル115と第二の偏心ベクトル125は共に固体撮像素子の周辺から中心に向かう向きである。すなわち、第一のマイクロレンズ111および第二のマイクロレンズ121のX方向に沿った偏心量は、中心線101に向かう方向を正として、いずれも正である。   6A and 6B, in the first pixel 110 and the second pixel 120 having the same distance from the center line 101, the length of the first eccentric vector 115 is larger than the length of the first eccentric vector 115. The length of the second eccentric vector 125 is increased. That is, the amount of eccentricity along the X direction (first direction) of the second microlens 121 is larger than the amount of eccentricity along the X direction (first direction) of the first microlens 111. Further, both the first eccentric vector 115 and the second eccentric vector 125 are directed from the periphery to the center of the solid-state imaging device. That is, the amount of eccentricity along the X direction of the first microlens 111 and the second microlens 121 is positive with the direction toward the center line 101 being positive.

以上の図2(A)〜(D),図3(A)〜(D)および図6(A)(B)に示すマイクロレンズの偏心方法を考慮すると、本実施形態における第一および第二の画素におけるマイクロレンズの構成は次のように特定することができる。まず、第二の偏心ベクトル125は固体撮像素子の周辺から中心へ向かう向きを有する。そして、第一の偏心ベクトル115は、次の二つの条件のうちのいずれか一つを満たす。一つ目の条件は、第一の偏心ベクトル115の長さがゼロであるというものである。二つ目の条件は、第一の偏心ベクトル115の向きも、固体撮像素子の周辺から中心へ向かう向きであって、かつ、第一の偏心ベクトル115の長さよりも第二の偏心ベクトル125の長さの方が長いというものである。   In consideration of the microlens decentering method shown in FIGS. 2A to 2D, FIGS. 3A to 3D, and FIGS. 6A and 6B, the first and second embodiments in the present embodiment. The configuration of the microlens in this pixel can be specified as follows. First, the second eccentric vector 125 has a direction from the periphery to the center of the solid-state imaging device. The first eccentric vector 115 satisfies one of the following two conditions. The first condition is that the length of the first eccentric vector 115 is zero. The second condition is that the direction of the first eccentric vector 115 is also the direction from the periphery of the solid-state imaging device toward the center, and the second eccentric vector 125 is longer than the length of the first eccentric vector 115. The length is longer.

なお、第一の偏心ベクトル115は、第一の画素110中心から第一のマイクロレンズの光軸へ向かうベクトルを第一の方向(X方向)に射影したベクトルである。また、第二の偏心ベクトルは、第二の画素120中心から第二のマイクロレンズの光軸へ向かうベクトルを第一の方向(X方向)に射影したベクトルである。   The first eccentric vector 115 is a vector obtained by projecting a vector from the center of the first pixel 110 toward the optical axis of the first microlens in the first direction (X direction). The second eccentric vector is a vector obtained by projecting a vector from the center of the second pixel 120 toward the optical axis of the second microlens in the first direction (X direction).

したがって、本実施形態における第一および第二の画素におけるマイクロレンズの構成は次のように特定することもできる。まず、第二の画素120の第二のマイクロレンズ121のX方向(第一の方向)に沿った偏心量は、中心線101(第一の直線)に向かう方向を正として正である。そして、第一の画素110の第一のマイクロレンズ111は、次の二つの条件のうちのいずれか一つを満たす。一つ目の条件は、第一のマイクロレンズ111のX方向に沿った偏心量がゼロであるというものである。二つ目の条件は、第一のマイクロレンズ111のX方向(第一の方向)に沿った偏心量が正であり、第二のマイクロレンズ121よりも小さい、というものである。   Therefore, the configuration of the microlens in the first and second pixels in the present embodiment can also be specified as follows. First, the amount of eccentricity along the X direction (first direction) of the second microlens 121 of the second pixel 120 is positive with the direction toward the center line 101 (first straight line) being positive. Then, the first microlens 111 of the first pixel 110 satisfies one of the following two conditions. The first condition is that the amount of eccentricity along the X direction of the first microlens 111 is zero. The second condition is that the amount of eccentricity along the X direction (first direction) of the first microlens 111 is positive and smaller than that of the second microlens 121.

<第一および第二の画素の数>
第一の画素110および第二の画素120は、固体撮像素子100中に各々一つだけ設
けられていてもよいし、複数設けられていても良い。但し、被写体の輝度情報を高精度に取得するには、複数設けられていた方が好ましい。以下では、第一の画素110、第二の画素120が複数設けられている場合について説明する。
<Number of first and second pixels>
Each of the first pixel 110 and the second pixel 120 may be provided in the solid-state imaging device 100, or a plurality of them may be provided. However, in order to obtain the luminance information of the subject with high accuracy, it is preferable to provide a plurality of information. Hereinafter, a case where a plurality of the first pixels 110 and the second pixels 120 are provided will be described.

中心線101からの距離が大きいほど、レンズの射出瞳距離が変化した場合に、画素に入射する主光線と中心線101とのなす角の変化量θは大きくなる(図7(A))。そのため、中心線101からの距離が大きいほど、第一の偏心ベクトル115と第二の偏心ベクトル116の長さの差が大きくなっている方が好ましい。すなわち、第一のマイクロレンズ111と第二のマイクロレンズ121のX方向に沿った偏心量の差が大きくなっている方が好ましい。   As the distance from the center line 101 increases, the change amount θ of the angle formed between the principal ray incident on the pixel and the center line 101 increases when the exit pupil distance of the lens changes (FIG. 7A). Therefore, it is preferable that the difference between the lengths of the first eccentric vector 115 and the second eccentric vector 116 increases as the distance from the center line 101 increases. That is, it is preferable that the difference in the amount of eccentricity along the X direction between the first microlens 111 and the second microlens 121 is large.

また、同様の理由で、中心線101からの距離が所定の距離未満の中心領域においては、レンズの射出瞳距離が変化しても、画素に入射する主光線とX方向(第一の方向)とのなす角はそれほど変化しない(図7(B))。従って、中心線101からの距離が所定の距離未満の中心領域(周辺領域以外の領域)に設けられた画素では、マイクロレンズの偏心量が等しくても良いし、マイクロレンズが偏心していなくても良い。所定の距離102は、固体撮像素子のX方向(第一の方向)に沿った距離の0.4倍以上であれば好ましく、0.25倍以上であれば更に好ましい。   For the same reason, in the central region where the distance from the center line 101 is less than the predetermined distance, the principal ray incident on the pixel and the X direction (first direction) even if the exit pupil distance of the lens changes. The angle between the two points does not change so much (FIG. 7B). Therefore, in the pixel provided in the center region (region other than the peripheral region) whose distance from the center line 101 is less than the predetermined distance, the eccentric amount of the micro lens may be equal or the micro lens is not eccentric. Also good. The predetermined distance 102 is preferably 0.4 times or more of the distance along the X direction (first direction) of the solid-state imaging device, and more preferably 0.25 times or more.

第一の画素110、第二の画素120が複数設けられている場合、第一の画素110、第二の画素120は、それぞれ異なるY座標において、X方向(第一の方向)に沿って直線状に配列されている方が好ましい。すなわち、第一の画素110はあるY座標位置でX方向に沿って直線状に配置され、第二の画素120は第一の画素110とは異なるY座標位置でX方向に沿って直線状に配置されることが好ましい。以下で理由を説明する。   When a plurality of the first pixels 110 and the second pixels 120 are provided, the first pixels 110 and the second pixels 120 are straight along the X direction (first direction) at different Y coordinates. It is preferable that they are arranged in a shape. That is, the first pixel 110 is linearly arranged along the X direction at a certain Y coordinate position, and the second pixel 120 is linearly arranged along the X direction at a Y coordinate position different from that of the first pixel 110. Preferably they are arranged. The reason will be explained below.

図8は、−X方向の周辺領域100aにおいて、X方向に沿って直線状に配列された複数の第一の画素110a1、110a2、110a3、X方向に沿って直線状に配列された複数の第二の画素120a1、120a2、120a3を示した図である。画素110a1と画素120a1、画素110a2と画素120a2、画素110a3と画素120a3は、各々、中心線101からの距離が等しい位置(X座標)に配置された画素である。   FIG. 8 shows a plurality of first pixels 110a1, 110a2, 110a3 arranged linearly along the X direction in the peripheral region 100a in the −X direction, and a plurality of first pixels arranged linearly along the X direction. It is the figure which showed the 2nd pixel 120a1, 120a2, 120a3. The pixel 110a1 and the pixel 120a1, the pixel 110a2 and the pixel 120a2, and the pixel 110a3 and the pixel 120a3 are pixels arranged at the same distance (X coordinate) from the center line 101, respectively.

なお、第一の画素110と第二の画素120が複数設けられている場合でも、中心線101からの距離が等しい第一の画素110と第二の画素120間では、上記で述べた関係が成立している。即ち、第一のマイクロレンズ111および第二のマイクロレンズ121はいずれも固体撮像素子の周辺から中心に向かう向きに偏心しており、X方向に沿った偏心量は第二のマイクロレンズ121の方が第一のマイクロレンズ111よりも大きい。   Even when a plurality of the first pixels 110 and the second pixels 120 are provided, the relationship described above is present between the first pixels 110 and the second pixels 120 having the same distance from the center line 101. It is established. That is, both the first microlens 111 and the second microlens 121 are decentered in the direction from the periphery to the center of the solid-state imaging device, and the decentering amount along the X direction is greater in the second microlens 121. It is larger than the first microlens 111.

前述したように、中心線101からの距離によって、最適なマイクロレンズの偏心量は異なる。逆に言うと、X方向に隣接する画素間では、中心線101からの距離が1画素分しかずれていないため、最適なマイクロレンズの偏心量はほぼ等しいことになる。そのため、各々の画素のマイクロレンズの偏心量を最適な値に設定したとしても、図8に示すようにX方向に隣接する画素間でマイクロレンズの重なりやギャップが殆ど生じない。その結果、各々の画素の感度が高くなったり、マイクロレンズの製造が容易になったりする。   As described above, the optimum amount of eccentricity of the microlens varies depending on the distance from the center line 101. Conversely, since the distance from the center line 101 is shifted by only one pixel between pixels adjacent in the X direction, the optimum amount of eccentricity of the microlenses is substantially equal. Therefore, even if the amount of eccentricity of the microlens of each pixel is set to an optimum value, as shown in FIG. 8, there is almost no microlens overlap or gap between pixels adjacent in the X direction. As a result, the sensitivity of each pixel is increased and the manufacture of the microlens is facilitated.

図9には比較のため、複数の第一の画素110と第二の画素120が同じY座標位置でX方向に沿って直線状に交互に設けられている場合を示している。第一の画素110と第二の画素120では最適なマイクロレンズの偏心量が異なるため、X方向に隣接する画素(第一の画素110と第二の画素120)間でマイクロレンズの重なりやギャップが生じている。以上より、複数の第一の画素110と第二の画素120は異なるY座標位置にお
いてX方向に沿って設けられている方が、高品質な画像が取得できたり、製造が容易になったりするため好ましい。
For comparison, FIG. 9 shows a case where a plurality of first pixels 110 and second pixels 120 are alternately provided in a straight line along the X direction at the same Y coordinate position. Since the optimal amount of eccentricity of the microlens differs between the first pixel 110 and the second pixel 120, the overlap or gap of the microlens between adjacent pixels in the X direction (the first pixel 110 and the second pixel 120). Has occurred. As described above, when the plurality of first pixels 110 and the second pixels 120 are provided along the X direction at different Y coordinate positions, a high-quality image can be obtained or manufacturing can be facilitated. Therefore, it is preferable.

第一の画素110と第二の画素120は、同数であってもよいし、どちらか片方の画素が他方の画素よりも多く配置されていてもよい。第一の画素110と第二の画素120が同数の場合、第一の撮影モードでは第一の画素110で取得した信号から被写体の輝度情報と共に、位置情報も取得する。一方、第二の撮影モードでは第二の画素120で取得した信号から被写体の輝度情報と共に、位置情報を取得すれば良い。言い換えると、第一の撮影モードでは第一の画素110で取得した信号に基づいて画像を取得し、第二の撮影モードでは第二の画素120で取得した信号に基づいて画像を取得すれば良い。   The same number may be sufficient as the 1st pixel 110 and the 2nd pixel 120, and either one pixel may be arrange | positioned more than the other pixel. When the number of the first pixels 110 and the number of the second pixels 120 are the same, in the first shooting mode, the position information is acquired together with the luminance information of the subject from the signal acquired by the first pixel 110. On the other hand, in the second shooting mode, the position information may be acquired together with the luminance information of the subject from the signal acquired by the second pixel 120. In other words, an image is acquired based on a signal acquired from the first pixel 110 in the first shooting mode, and an image is acquired based on a signal acquired from the second pixel 120 in the second shooting mode. .

図10(A)〜(C)は、第一の画素110と第二の画素120の画素配置例である。図10(A)は、複数の第一の画素110がX方向に沿って直線状に配置された画素列と第二の画素120がX方向に沿って直線状に配置された画素列を、Y方向(第一の方向と垂直な方向)に交互に配置した例である。前述したように、複数の第一の画素110と第二の画素120をそれぞれX方向に沿って配置することで、各々の画素の感度が高くなったり、マイクロレンズの製造が容易になったりする。更に、その画素列をY方向に交互に配置することで、第一の画素110で取得した信号に基づいて取得する画像および、第二の画素120で取得した信号に基づいて取得する画像の、Y方向のサンプリングピッチを一定とすることができるため、好ましい。   10A to 10C are pixel arrangement examples of the first pixel 110 and the second pixel 120. FIG. FIG. 10A illustrates a pixel column in which a plurality of first pixels 110 are arranged linearly along the X direction and a pixel column in which the second pixels 120 are arranged linearly along the X direction. This is an example in which they are alternately arranged in the Y direction (direction perpendicular to the first direction). As described above, by arranging the plurality of first pixels 110 and the second pixels 120 along the X direction, the sensitivity of each pixel is increased and the manufacture of the microlens is facilitated. . Further, by alternately arranging the pixel rows in the Y direction, an image acquired based on the signal acquired by the first pixel 110 and an image acquired based on the signal acquired by the second pixel 120 are: This is preferable because the sampling pitch in the Y direction can be made constant.

図10(B)は、複数の第一の画素110と第二の画素120を市松模様状(チェッカー盤パターン)に互い違いに配置した例である。このような配置を採用する場合、斜め方向に隣接する第一の画素110の信号同士を加算して画像を生成し、第二の画素120の画素信号の同士を加算して画像を生成することが好ましい。第一の画素110で取得した信号に基づく画像と、第二の画素で取得した信号に基づく画像のサンプリング位置を同一にすることができるためである。   FIG. 10B is an example in which a plurality of first pixels 110 and second pixels 120 are alternately arranged in a checkered pattern (checkerboard pattern). When such an arrangement is adopted, an image is generated by adding the signals of the first pixels 110 adjacent in the oblique direction, and an image is generated by adding the pixel signals of the second pixels 120 together. Is preferred. This is because the sampling positions of the image based on the signal acquired by the first pixel 110 and the image based on the signal acquired by the second pixel can be made the same.

一方、第一の画素110と第二の画素120の数が異なる場合、レンズの射出瞳距離によらず、数が多いほうの画素を用いて被写体の解像度情報を取得し、被写体の輝度情報を取得する画素は、レンズの射出瞳距離によって切り替えることが好ましい。このようにすることで、使用するレンズの射出瞳距離によらず、高解像度かつSN比の高い画像が取得できる。   On the other hand, when the number of the first pixels 110 and the second pixels 120 is different, the resolution information of the subject is obtained using the larger number of pixels regardless of the exit pupil distance of the lens, and the luminance information of the subject is obtained. The pixel to be acquired is preferably switched according to the exit pupil distance of the lens. In this way, an image with high resolution and a high S / N ratio can be acquired regardless of the exit pupil distance of the lens used.

具体的には、レンズの射出瞳距離が遠い場合に使用する第一の撮影モードと、レンズの射出瞳距離が近い場合に使用する第二の撮影モードで、以下のようにして画像を生成する。   Specifically, an image is generated in the following manner in the first shooting mode used when the lens exit pupil distance is long and the second shooting mode used when the lens exit pupil distance is short. .

第一の画素110が第二の画素120よりも多い場合、第一の撮影モードでは、第一の画素で取得した画素信号を使用して画像を取得する。第二の撮影モードでは、第一の画素110で取得した画素信号で被写体の解像度情報を、第二の画素120で取得した画素信号で被写体の輝度情報を取得し、両方の情報を合成することで画像を生成する。   When the first pixel 110 is larger than the second pixel 120, in the first shooting mode, an image is acquired using the pixel signal acquired by the first pixel. In the second shooting mode, the resolution information of the subject is acquired by the pixel signal acquired by the first pixel 110, the luminance information of the subject is acquired by the pixel signal acquired by the second pixel 120, and both pieces of information are combined. To generate an image.

一方、第二の画素120が第一の画素110よりも多い場合、第二の撮影モードでは、第二の画素120で取得した画素信号を使用して画像を取得する。第一の撮影モードでは、第二の画素120で取得した画素信号で被写体の解像度情報を、第一の画素110で取得した画素信号で被写体の輝度情報を取得し、両方の情報を合成することで画像を生成する。   On the other hand, when there are more second pixels 120 than the first pixels 110, in the second shooting mode, an image is acquired using the pixel signal acquired by the second pixels 120. In the first shooting mode, the resolution information of the subject is acquired by the pixel signal acquired by the second pixel 120, the luminance information of the subject is acquired by the pixel signal acquired by the first pixel 110, and both pieces of information are combined. To generate an image.

第一の画素110および第二の画素120がカラーフィルタを有しており、被写体の色
情報も取得できるようにしてもよい。以下では、カラーフィルタの配列としてベイヤ配列を仮定する。
The first pixel 110 and the second pixel 120 may have a color filter so that the color information of the subject can also be acquired. Hereinafter, a Bayer array is assumed as an array of color filters.

第一の画素110と第二の画素120の数が等しい場合、図10(A)のような画素列交互配置、図10(B)のような市松状配置において、ベイヤ配列の2x2画素を1単位として、第一の画素110と第二の画素120を交互に配置するのが好ましい。   When the number of the first pixels 110 is equal to the number of the second pixels 120, 2 × 2 pixels in a Bayer array are 1 in a pixel array alternate arrangement as shown in FIG. 10A and a checkered arrangement as shown in FIG. As a unit, it is preferable to arrange the first pixels 110 and the second pixels 120 alternately.

一方、第一の画素110と第二の画素120の数が異なる場合、図10(C)のように、数が多いほうの画素(この例では第一の画素110)の緑画素の片方のみを、数が少ないほうの画素に置き換えた配置とする方が好ましい。即ち、以下の二つの条件のいずれかを満たせばよい。一つ目の条件は、全ての第一の画素110が第一の色のカラーフィルタを有し、第二の画素120が第一の色のカラーフィルタを有する画素と、第一の色とは異なる色のカラーフィルタを有する画素の2種類以上の画素から構成されているという条件である。二つ目の条件は、全ての第二の画素120が第二の色のカラーフィルタを有し、第一の画素110が第二の色のカラーフィルタを有する画素と、第二の色とは異なる色のカラーフィルタを有する画素の2種類以上の画素から構成されているという条件である。   On the other hand, when the numbers of the first pixels 110 and the second pixels 120 are different, only one of the green pixels of the larger pixel (in this example, the first pixel 110) as shown in FIG. 10C. Is preferably replaced with a smaller number of pixels. That is, one of the following two conditions may be satisfied. The first condition is that all the first pixels 110 have a first color filter, the second pixel 120 has a first color filter, and the first color The condition is that the pixel is composed of two or more kinds of pixels having color filters of different colors. The second condition is that all the second pixels 120 have the second color filter, the first pixel 110 has the second color filter, and the second color The condition is that the pixel is composed of two or more kinds of pixels having color filters of different colors.

このような構成とすれば、被写体の解像度情報と色情報は常に数の多いほうの画素で取得し、被写体の輝度情報を取得する画素のみを、レンズの射出瞳距離によって入れ替えることが可能となる。そのため、使用するレンズの射出瞳距離によらず、高解像度、高色再現かつSN比の高い画像が取得できる。図10(C)には、二つ目の条件を満たす場合を示した。即ち、全ての第二の画素120が第二の色(緑)のカラーフィルタを有し、第一の画素が第二の色(緑)と、緑とは異なる赤および青のカラーフィルタを有する。図に示すR、G、Bの符号は各々、赤色、緑色、青色のカラーフィルタを有する画素であることを示している。   With such a configuration, it is possible to always acquire the resolution information and color information of the subject with the larger number of pixels, and to replace only the pixel from which the luminance information of the subject is acquired with the exit pupil distance of the lens. . Therefore, an image with high resolution, high color reproduction, and high SN ratio can be acquired regardless of the exit pupil distance of the lens used. FIG. 10C shows a case where the second condition is satisfied. That is, all the second pixels 120 have a second color (green) color filter, and the first pixels have a second color (green) and red and blue color filters different from green. . The symbols R, G, and B shown in the figure indicate pixels that have red, green, and blue color filters, respectively.

<周辺領域の向き>
なお、以上の説明では第一の方向がX方向、即ち第一の画素110および第二の画素120が固体撮像素子の±X方向の周辺領域に配置された場合について説明したが、第一の方向はX方向でなくてもよい。第一の方向はY方向であっても良いし、斜め方向であっても良い。但し、第一の方向は固体撮像素子の長手方向と一致することが好ましい。なぜなら、固体撮像素子中心からの距離が遠いほど、画素に入射する主光線と第一の方向のなす角の変化量が大きく、長手方向の周辺領域に位置する画素に本手法を適用する方が、効果が大きいためである。
<Direction of surrounding area>
In the above description, the case where the first direction is the X direction, that is, the first pixel 110 and the second pixel 120 are arranged in the peripheral region in the ± X direction of the solid-state imaging device has been described. The direction may not be the X direction. The first direction may be the Y direction or an oblique direction. However, it is preferable that the first direction coincides with the longitudinal direction of the solid-state imaging device. This is because the farther the distance from the center of the solid-state imaging device is, the larger the amount of change in the angle between the principal ray incident on the pixel and the first direction is, and it is better to apply this method to the pixel located in the peripheral region in the longitudinal direction. This is because the effect is great.

(実施形態2)
<面内配置>
本実施形態は、第一の画素で取得した画像と第二の画素で取得した画像を比較することで、測距を行う場合の実施形態である。
(Embodiment 2)
<In-plane arrangement>
The present embodiment is an embodiment in the case where distance measurement is performed by comparing an image acquired with a first pixel and an image acquired with a second pixel.

本実施形態に示す固体撮像素子200は、周辺領域において、複数の第一の画素210、第二の画素220を有する。第一の画素210、第二の画素220の構成は、実施形態1に示す固体撮像素子100中の第一の画素110、第二の画素120の構成と同じである。即ち、−X方向の周辺領域においては、第一のマイクロレンズ211、第二のマイクロレンズ221が+X方向に偏心しており、+X方向の周辺領域においては、第一のマイクロレンズ211、第二のマイクロレンズ221が−X方向に偏心している。そして、第二のマイクロレンズ221の偏心量が第一のマイクロレンズ211の偏心量よりも大きい。   The solid-state imaging device 200 shown in the present embodiment includes a plurality of first pixels 210 and second pixels 220 in the peripheral region. The configuration of the first pixel 210 and the second pixel 220 is the same as the configuration of the first pixel 110 and the second pixel 120 in the solid-state imaging device 100 shown in the first embodiment. That is, in the peripheral region in the −X direction, the first micro lens 211 and the second micro lens 221 are eccentric in the + X direction, and in the peripheral region in the + X direction, the first micro lens 211 and the second micro lens 221 are eccentric. The micro lens 221 is eccentric in the −X direction. The eccentric amount of the second micro lens 221 is larger than the eccentric amount of the first micro lens 211.

本実施形態に示す固体撮像素子200では、固体撮像素子の周辺において、マイクロレ
ンズの偏心量の異なる2種類の画素を使用し、使用するレンズや、そのズームやフォーカス状態によって、被写体の距離情報を取得するために用いる画素を切り替える。
In the solid-state imaging device 200 shown in the present embodiment, two types of pixels having different amounts of eccentricity of microlenses are used around the solid-state imaging device, and subject distance information is obtained depending on the lens to be used and its zoom and focus states. Switch the pixels used for acquisition.

具体的には、レンズの射出瞳距離が遠い場合(第一の測距モード)は、次のように距離を測定する。図11(A)に示すように、まず、第二の画素220で取得した信号から第一の測距像291を生成する。第一の画素210で取得した信号から第二の画素220で取得した信号を差し引いて第二の測距像292を生成する。そして、第一の測距像291と第二の測距像292のズレ量を検出することにより、距離240を測定する。   Specifically, when the exit pupil distance of the lens is long (first distance measurement mode), the distance is measured as follows. As shown in FIG. 11A, first, a first ranging image 291 is generated from a signal acquired by the second pixel 220. A second ranging image 292 is generated by subtracting the signal acquired by the second pixel 220 from the signal acquired by the first pixel 210. Then, the distance 240 is measured by detecting the amount of deviation between the first distance measurement image 291 and the second distance measurement image 292.

一方、レンズの射出瞳距離が近い場合(第二の測距モード)の距離測定方法は次のように行う。図11(B)に示すように、まず、第一の画素210で取得した信号から第三の測距像293を生成する。第二の画素220で取得した信号から第一の画素210で取得した信号を差し引いて第四の測距像294を生成する。そして、第三の測距像293と第四の測距像294のズレ量を検出することにより、距離240を測定する。   On the other hand, the distance measurement method when the exit pupil distance of the lens is short (second distance measurement mode) is performed as follows. As shown in FIG. 11B, first, a third ranging image 293 is generated from the signal acquired by the first pixel 210. A fourth ranging image 294 is generated by subtracting the signal acquired by the first pixel 210 from the signal acquired by the second pixel 220. Then, the distance 240 is measured by detecting the amount of deviation between the third distance measurement image 293 and the fourth distance measurement image 294.

このような構成とすることで、使用するレンズや、そのズームやフォーカス状態によらず、高精度な測距を行うことが可能となる。以下でその理由について、特許文献2に開示されている従来の手法を用いた場合と比較して説明を行う。なお、簡単のため−X方向の周辺領域に配置された画素についてのみ説明を行うが、+X方向の周辺領域に配置された画素についても同様であることは明らかである。   By adopting such a configuration, it becomes possible to perform highly accurate distance measurement regardless of the lens to be used and the zoom or focus state thereof. The reason will be described below in comparison with the case where the conventional method disclosed in Patent Document 2 is used. For simplicity, only the pixels arranged in the peripheral area in the −X direction will be described, but it is clear that the same applies to the pixels arranged in the peripheral area in the + X direction.

<従来例と課題の説明>
図17(A)(B)はそれぞれ、従来の手法を用いた固体撮像素子中の−X方向の周辺領域に配置された画素2010、画素2020の模式図である。画素2010および2020は、光入射側から順に、マイクロレンズ2011、2021と、光電変換部2013、2023を有している。マイクロレンズ2011、2021は画素中心に対して+X方向に同一の偏心量だけ偏心している。画素2010には、マイクロレンズ2011の焦点近傍の高さに、画素中心に対して−X方向に偏心した遮光膜2016が配置されている。また、画素2020には、マイクロレンズ2021の焦点近傍の高さに、画素中心に対して+X方向に偏心した遮光膜2026が配置されている。このように、偏心した遮光膜によって、レンズの瞳上の互いに反対方向に偏心した領域を通過した光束を受光し、画素2010で取得した測距像と画素2020で取得した測距像のズレ量を検出することで、測距を行う。
<Conventional example and explanation of issues>
FIGS. 17A and 17B are schematic diagrams of a pixel 2010 and a pixel 2020 arranged in a peripheral region in the −X direction in a solid-state imaging device using a conventional method, respectively. The pixels 2010 and 2020 include microlenses 2011 and 2021 and photoelectric conversion units 2013 and 2023 in this order from the light incident side. The microlenses 2011 and 2021 are decentered by the same decentering amount in the + X direction with respect to the pixel center. The pixel 2010 is provided with a light shielding film 2016 that is decentered in the −X direction with respect to the pixel center at a height near the focal point of the microlens 2011. The pixel 2020 is provided with a light shielding film 2026 that is decentered in the + X direction with respect to the pixel center at a height near the focal point of the microlens 2021. In this way, the decentered light-shielding film receives light beams that have passed through regions decentered in opposite directions on the pupil of the lens, and the amount of deviation between the distance measurement image acquired by the pixel 2010 and the distance measurement image acquired by the pixel 2020 Ranging is performed by detecting.

図17(A)(B)には、レンズの射出瞳が遠い場合と近い場合の、各々の画素に入射する光束の伝搬の様子も示した。実線はレンズの射出瞳が遠い場合、破線はレンズの射出瞳が近い場合である。図17(A)(B)からわかるように、レンズの射出瞳距離が遠い場合、画素2020に入射する光は、ほとんど遮光膜2026によって吸収されてしまう。その結果、レンズの射出瞳距離が遠い場合の画素2020の感度が大きく低下する。同様に、レンズの射出瞳距離が近い場合、画素2010に入射する光は、ほとんど遮光膜2016によって吸収されてしまう。その結果、レンズの射出瞳距離が近い場合の画素2010の感度が大きく低下する。画素の感度が低下すると、測距像のSN比が低下するため、測距像間のズレ量の検出精度が低下し、測距精度が低下する。   FIGS. 17A and 17B also show the propagation of the light flux incident on each pixel when the exit pupil of the lens is far and near. A solid line indicates a case where the exit pupil of the lens is far, and a broken line indicates a case where the exit pupil of the lens is close. As can be seen from FIGS. 17A and 17B, when the exit pupil distance of the lens is long, most of the light incident on the pixel 2020 is absorbed by the light shielding film 2026. As a result, the sensitivity of the pixel 2020 when the exit pupil distance of the lens is long is greatly reduced. Similarly, when the exit pupil distance of the lens is short, most of the light incident on the pixel 2010 is absorbed by the light shielding film 2016. As a result, the sensitivity of the pixel 2010 when the exit pupil distance of the lens is short is greatly reduced. When the sensitivity of the pixel is lowered, the SN ratio of the distance measurement image is lowered, so that the detection accuracy of the shift amount between the distance measurement images is lowered, and the distance measurement accuracy is lowered.

このように、従来の手法を用いた固体撮像素子では、使用するレンズや、そのズームやフォーカス状態によって射出瞳距離が変わってしまう場合、測距精度が低下するという課題が生じる。なお、マイクロレンズの偏心量を減らすとレンズの射出瞳距離が近い場合の画素2010の感度がさらに低下し、マイクロレンズの偏心量を増やすとレンズの射出瞳距離が遠い場合の画素2020の感度がさらに低下する。従って、画素のマイクロレンズの偏心量を調整しても、この課題を解決することは困難である。   As described above, in the solid-state imaging device using the conventional method, when the exit pupil distance changes depending on the lens to be used and its zoom or focus state, there arises a problem that the ranging accuracy is lowered. Note that if the amount of eccentricity of the microlens is decreased, the sensitivity of the pixel 2010 when the exit pupil distance of the lens is close further decreases, and if the amount of eccentricity of the microlens is increased, the sensitivity of the pixel 2020 when the distance of the exit pupil of the lens is long. Further decrease. Therefore, it is difficult to solve this problem even if the amount of eccentricity of the pixel microlens is adjusted.

<本実施形態における測距>
これに対し、本実施形態に係る固体撮像素子200では、マイクロレンズの偏心量の異なる2種類の測距画素を使用し、レンズの射出瞳距離によって距離情報取得に用いる信号を切り替えているため、従来よりも高精度な測距を行うことができる。以下で、説明を行う。
<Ranging in this embodiment>
In contrast, in the solid-state imaging device 200 according to the present embodiment, two types of ranging pixels having different eccentric amounts of microlenses are used, and signals used for distance information acquisition are switched depending on the exit pupil distance of the lens. Ranging can be performed with higher accuracy than before. A description will be given below.

画素210、220の感度の角度依存性を、画素2010、2020と比較して図12(A)(B)に示した。横軸は+X方向に傾く方向を正にとった入射角度、縦軸は感度である。図12(A)は、画素210の特性を実線で、画素2010の特性を破線で示す。図12(B)は、画素220の特性を実線で、画素2020の特性を破線で示す。一点鎖線の四角で囲った部分(F)は、レンズの射出瞳距離が遠い場合に画素に入射する光束の角度範囲である。二点鎖線の四角で囲った部分(N)は、レンズの射出瞳距離が近い場合に画素に入射する光束の角度範囲である。   The angle dependency of the sensitivity of the pixels 210 and 220 is shown in FIGS. 12A and 12B in comparison with the pixels 2010 and 2020. The horizontal axis is the incident angle with the direction inclined in the + X direction being positive, and the vertical axis is the sensitivity. FIG. 12A shows the characteristics of the pixel 210 by a solid line and the characteristics of the pixel 2010 by a broken line. FIG. 12B shows the characteristics of the pixel 220 by a solid line and the characteristics of the pixel 2020 by a broken line. A portion (F) surrounded by a dashed-dotted square is an angle range of a light beam incident on the pixel when the exit pupil distance of the lens is long. A portion (N) enclosed by a two-dot chain line square is an angle range of a light beam incident on the pixel when the exit pupil distance of the lens is short.

図12(A)(B)より、従来の固体撮像素子中の測距画素に比べて、本実施形態の固体撮像素子中の画素の感度が向上していることがわかる。特に、一点鎖線で囲った角度範囲(F)における画素2020の感度に対する画素220の感度向上と、二点鎖線で囲った角度範囲(N)における画素2010の感度に対する画素210の感度向上が大きい。   12A and 12B, it can be seen that the sensitivity of the pixels in the solid-state image sensor of this embodiment is improved as compared with the distance measurement pixels in the conventional solid-state image sensor. In particular, the sensitivity improvement of the pixel 220 with respect to the sensitivity of the pixel 2020 in the angle range (F) surrounded by the one-dot chain line and the sensitivity improvement of the pixel 210 with respect to the sensitivity of the pixel 2010 in the angle range (N) surrounded by the two-dot chain line are large.

更に、本実施形態に示す固体撮像素子200は、レンズの射出瞳距離に応じて測距像を生成するための演算モードを切り替えることで、互いに反対方向に偏心した瞳領域からの測距像を取得することを可能としている。   Furthermore, the solid-state imaging device 200 according to the present embodiment switches a calculation mode for generating a distance measurement image according to the exit pupil distance of the lens, thereby obtaining a distance measurement image from a pupil region decentered in opposite directions. It is possible to get.

まず、レンズの射出瞳距離が遠い場合に使用する第一の測距モードについて説明する。図12(A)(B)の一点鎖線で囲んだ部分(F)からわかるように、画素220は、レンズの射出瞳のうち、+X方向に偏心した領域からの光束を選択的に受光している。したがって画素220により取得した信号に基づく第一の測距像291は、射出瞳のうち+X方向に偏心した領域からの光束に基づく画像である。一方、画素210はレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。従って、そのままでは、−X方向に偏心した瞳領域からの光束による測距像が得られない。そこで、第一の測距モードでは、画素210で取得した信号から、画素220で取得した信号を差し引くことによって、第二の測距像292を生成する。第二の測距像292は、射出瞳のうち−X方向に偏心した領域からの光束に基づく画像である。このようにして生成した、互いに反対方向に偏心した瞳領域からの測距像291、292のズレ量を比較することで被写体の距離情報を取得することができる。   First, the first ranging mode used when the exit pupil distance of the lens is long will be described. As can be seen from the portion (F) surrounded by the alternate long and short dash line in FIGS. 12A and 12B, the pixel 220 selectively receives a light beam from a region decentered in the + X direction in the exit pupil of the lens. Yes. Therefore, the first ranging image 291 based on the signal acquired by the pixel 220 is an image based on a light flux from a region decentered in the + X direction in the exit pupil. On the other hand, the pixel 210 receives a light beam from a wide pupil region near the center of the exit pupil of the lens. Therefore, as it is, it is not possible to obtain a distance measurement image by a light beam from a pupil region decentered in the −X direction. Therefore, in the first distance measurement mode, the second distance measurement image 292 is generated by subtracting the signal acquired by the pixel 220 from the signal acquired by the pixel 210. The second ranging image 292 is an image based on a light beam from a region decentered in the −X direction of the exit pupil. The distance information of the subject can be acquired by comparing the shift amounts of the distance measurement images 291 and 292 generated from the pupil regions eccentric in the opposite directions.

次に、レンズの射出瞳距離が近い場合に使用する第二の測距モードについて説明する。図12(A)(B)の二点鎖線で囲んだ部分(N)からわかるように、画素210は、レンズの射出瞳のうち、−X方向に偏心した瞳領域からの光束を受光している。したがって画素210により取得した信号に基づく第三の測距像293は、射出瞳のうち−X方向に偏心した領域からの光束に基づく画像である。一方、画素220はレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。従って、そのままでは、+X方向に偏心した瞳領域からの光束による測距像が得られない。そこで、第二の測距モードでは、画素220で取得した信号から、画素210で取得した信号を差し引くことによって、第四の測距像294を生成する。第四の測距像294は、射出瞳のうち+X方向に偏心した領域からの光束に基づく画像である。このようにして生成した、互いに反対方向に偏心した瞳領域からの測距像293、294のズレ量を比較することで被写体の距離情報を取得することができる。   Next, the second ranging mode used when the lens exit pupil distance is short will be described. As can be seen from the portion (N) surrounded by the two-dot chain line in FIGS. 12A and 12B, the pixel 210 receives the light beam from the pupil region decentered in the −X direction out of the exit pupil of the lens. Yes. Therefore, the third ranging image 293 based on the signal acquired by the pixel 210 is an image based on a light flux from a region decentered in the −X direction in the exit pupil. On the other hand, the pixel 220 receives light from a wide pupil region near the center of the exit pupil of the lens. Therefore, as it is, it is not possible to obtain a distance measurement image using a light beam from a pupil region decentered in the + X direction. Therefore, in the second ranging mode, the fourth ranging image 294 is generated by subtracting the signal acquired by the pixel 210 from the signal acquired by the pixel 220. The fourth ranging image 294 is an image based on a light beam from a region decentered in the + X direction in the exit pupil. The distance information of the subject can be acquired by comparing the shift amounts of the distance measurement images 293 and 294 from the pupil regions eccentric in the opposite directions generated as described above.

このように、本実施形態に係る固体撮像素子では、第一の測距モードと第二の測距モードで、測距像の生成に使用する画素信号差分の算出方法を逆転させている。即ち、第一の測距モードでは、第一の画素信号から第二の画素信号を引くことで測距像を生成している。一方、第二の測距モードでは、第二の画素信号から第一の画素信号を引くことで測距像を生成している。その結果、従来よりも感度の高い画素を使用しつつ、異なる方向に偏心した瞳領域からの光束による測距像を取得することができる。   As described above, in the solid-state imaging device according to the present embodiment, the calculation method of the pixel signal difference used for generating the ranging image is reversed between the first ranging mode and the second ranging mode. That is, in the first ranging mode, a ranging image is generated by subtracting the second pixel signal from the first pixel signal. On the other hand, in the second ranging mode, a ranging image is generated by subtracting the first pixel signal from the second pixel signal. As a result, it is possible to acquire a distance measurement image using a light beam from a pupil region decentered in a different direction while using pixels with higher sensitivity than in the past.

なお、第一のマイクロレンズ211、第二のマイクロレンズ212の偏心量の差を大きくすることで、互いに反対方向に偏心した測距像を直接取得してもよい。但し、互いに反対方向に偏心した測距像を直接取得するよりも、差分によって測距像を生成した方が好ましい。以下で理由を説明する。   In addition, by increasing the difference in the amount of eccentricity between the first microlens 211 and the second microlens 212, a distance measurement image decentered in opposite directions may be directly acquired. However, it is preferable to generate a distance measurement image based on a difference rather than directly acquiring a distance measurement image decentered in opposite directions. The reason will be explained below.

レンズの射出瞳距離が遠い場合の−X方向に偏心した測距像292を直接取得するためには、入射光束の重心角度よりも画素210の感度の重心角度が−X側になるように、マイクロレンズ211の偏心量を減少させればよい。即ち、レンズの射出瞳距離が遠い場合に入射する主光線の、マイクロレンズ211による結像位置が、画素中心よりも−X側になっていればよい。   In order to directly acquire the distance measurement image 292 decentered in the −X direction when the exit pupil distance of the lens is long, the centroid angle of the sensitivity of the pixel 210 is on the −X side with respect to the centroid angle of the incident light beam. The amount of eccentricity of the microlens 211 may be reduced. That is, it is only necessary that the imaging position of the principal ray incident when the exit pupil distance of the lens is far is on the −X side with respect to the pixel center.

同様に、レンズの射出瞳距離が近い場合の+X方向に偏心した測距像294を直接取得するためには、入射光束の重心角度よりも画素220の感度の重心角度が+X側になるようにマイクロレンズ221の偏心量を増加させればよい。即ち、レンズの射出瞳距離が近い場合に入射する主光線の、マイクロレンズ221による結像位置が、画素中心よりも+X側になっていればよい。   Similarly, in order to directly acquire the distance measurement image 294 decentered in the + X direction when the exit pupil distance of the lens is short, the centroid angle of the sensitivity of the pixel 220 is on the + X side with respect to the centroid angle of the incident light beam. The amount of eccentricity of the microlens 221 may be increased. That is, it is only necessary that the imaging position of the principal ray incident by the microlens 221 when the exit pupil distance of the lens is short is on the + X side with respect to the pixel center.

図13(A)〜(D)に、互いに反対方向に偏心した測距像を差分によって取得するための画素と、互いに反対方向に偏心した測距像を直接取得するための画素を比較して示した。図13(A)(B)は、差分によって測距像を取得するための第一の画素210および第二の画素220をそれぞれ示す。図13(C)(D)は、測距像を直接取得するための第一の画素310および第二の画素320をそれぞれ示す。第一の画素310および第二の画素320の構成は、第一の画素210および第二の画素220とほぼ同様であるが、マイクロレンズ311,321の偏心量が異なる。具体的には、図13(A)(B)における第一の画素210と第二の画素220のマイクロレンズ偏心量の差よりも、図13(C)(D)における第一の画素210と第二の画素220のマイクロレンズの偏心量の差の方が大きい。   13A to 13D show a comparison between a pixel for obtaining a distance measurement image decentered in the opposite direction and a pixel for directly obtaining a distance measurement image decentered in the opposite direction. Indicated. FIGS. 13A and 13B respectively show a first pixel 210 and a second pixel 220 for obtaining a distance measurement image using a difference. FIGS. 13C and 13D respectively show a first pixel 310 and a second pixel 320 for directly acquiring a ranging image. The configuration of the first pixel 310 and the second pixel 320 is substantially the same as that of the first pixel 210 and the second pixel 220, but the eccentric amounts of the microlenses 311 and 321 are different. Specifically, the difference between the first pixel 210 in FIGS. 13A and 13B and the difference in microlens eccentricity between the second pixel 220 and the first pixel 210 in FIGS. The difference in the amount of eccentricity of the micro lens of the second pixel 220 is larger.

まず、レンズの射出瞳距離が遠い場合について比較する。図13(D)よりわかるように、画素320に入射する光は、光電変換部の外側に入射したり、配線によって吸収されたりしてしまう。その結果、レンズの射出瞳距離が遠い場合(実線)に、画素320の感度が低下したり、クロストークが増大したりして、+X方向に偏心した測距像291の品質が低下してしまう。一方、図13(B)よりわかるように、画素220に入射する光は、大部分が画素220の光電変換部で検出できている。   First, a case where the exit pupil distance of the lens is long will be compared. As can be seen from FIG. 13D, light that enters the pixel 320 enters the outside of the photoelectric conversion unit or is absorbed by the wiring. As a result, when the exit pupil distance of the lens is far (solid line), the sensitivity of the pixel 320 decreases or the crosstalk increases, and the quality of the distance measurement image 291 decentered in the + X direction decreases. . On the other hand, as can be seen from FIG. 13B, most of the light incident on the pixel 220 can be detected by the photoelectric conversion unit of the pixel 220.

同様に、レンズの射出瞳距離が近い場合(破線)についても比較する。図13(C)よりわかるように、画素310に入射する光が、光電変換部の外側に入射したり、配線によって吸収されたりしてしまう。その結果、画素310の感度が低下したり、クロストークが増大したりして、−X方向に偏心した測距像293の品質が低下してしまう。一方、図13(A)よりわかるように、画素210に入射する光は、大部分が画素210の光電変換部で検出できている。   Similarly, the case where the exit pupil distance of the lens is short (broken line) is also compared. As can be seen from FIG. 13C, light that enters the pixel 310 enters the outside of the photoelectric conversion unit or is absorbed by the wiring. As a result, the sensitivity of the pixel 310 decreases or crosstalk increases, and the quality of the distance measurement image 293 decentered in the −X direction decreases. On the other hand, as can be seen from FIG. 13A, most of the light incident on the pixel 210 can be detected by the photoelectric conversion unit of the pixel 210.

このように、レンズの射出瞳距離が遠い場合に−X方向に偏心した測距像を直接取得で
きるように第一の画素のマイクロレンズの偏心量を減少させると、レンズの射出瞳距離が近い場合の+X方向に偏心した測距像291の品質が低下してしまう。また、レンズの射出瞳距離が近い場合に+X方向に偏心した測距像を直接取得できるように第二の画素のマイクロレンズの偏心量を増加させると、レンズの射出瞳距離が遠い場合の−X方向に偏心した測距像292の品質が低下してしまう。
As described above, when the eccentric amount of the microlens of the first pixel is reduced so that a distance measurement image decentered in the −X direction can be directly acquired when the exit pupil distance of the lens is long, the exit pupil distance of the lens is close. In this case, the quality of the distance measurement image 291 decentered in the + X direction is deteriorated. Further, if the amount of eccentricity of the microlens of the second pixel is increased so that a distance measurement image decentered in the + X direction can be directly acquired when the exit pupil distance of the lens is short, − The quality of the distance measurement image 292 decentered in the X direction is degraded.

一方、互いに反対方向に偏心した測距像を画素信号の差分に基づいて取得し、第一の測距モードと第二の測距モードで差分の方向を逆転した場合には、マイクロレンズ211と221の偏心量の差を小さくすることができる。そのため、使用するレンズや、そのズームやフォーカス状態によらず、高いSN比の測距像を取得することができるため、更に好ましい。   On the other hand, when a distance measurement image decentered in opposite directions is acquired based on the difference between the pixel signals and the direction of the difference is reversed between the first distance measurement mode and the second distance measurement mode, The difference in the eccentric amount of 221 can be reduced. For this reason, a range-finding image with a high S / N ratio can be obtained regardless of the lens used and its zoom or focus state, which is more preferable.

更に、互いに反対方向に偏心した測距像を画像信号の差分に基づいて取得し、第一の測距モードと第二の測距モードで差分の求め方を逆転した場合には、撮影画像の品質も向上させることができる。測距像を直接取得した場合、第一の画素310、第二の画素320で取得される画像は、偏心した瞳領域を通過した光束による画像である。従って、第一の画素310、第二の画素320で取得した画素信号をそのまま撮影画像として使用すると、レンズのフォーカス位置からずれた被写体像が片ボケを生じるため、不自然な画像となる。   In addition, a distance measurement image decentered in opposite directions is acquired based on the difference between the image signals, and when the method for obtaining the difference is reversed between the first distance measurement mode and the second distance measurement mode, Quality can also be improved. When the distance measurement image is directly acquired, the images acquired by the first pixel 310 and the second pixel 320 are images of light beams that have passed through the eccentric pupil region. Therefore, if the pixel signals acquired by the first pixel 310 and the second pixel 320 are used as they are as a captured image, the subject image shifted from the focus position of the lens is blurred, resulting in an unnatural image.

しかし、差分に基づいて測距像を生成する固体撮像素子では、レンズの射出瞳距離が近い場合には、第二の画素220でレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。同様に、レンズの射出瞳距離が遠い場合には、第一の画素210でレンズの射出瞳の中心付近の広い瞳領域からの光束を受光している。従って、第一の測距モードおよび第二の測距モードで、それぞれ第一の画素210および第二の画素220で取得した画素信号を撮影画像として使用することで、瞳の中心付近を通過した光束による撮影画像を直接取得することができる。その結果、フォーカス位置からずれた被写体像のボケ味が自然な画像が得られる。   However, in a solid-state imaging device that generates a distance measurement image based on the difference, when the exit pupil distance of the lens is short, the second pixel 220 receives a light beam from a wide pupil region near the center of the exit pupil of the lens. doing. Similarly, when the exit pupil distance of the lens is long, the first pixel 210 receives a light beam from a wide pupil region near the center of the exit pupil of the lens. Therefore, in the first distance measurement mode and the second distance measurement mode, the pixel signal acquired by the first pixel 210 and the second pixel 220 is used as a photographed image, so that it passes near the center of the pupil. It is possible to directly acquire a photographed image using a light beam. As a result, an image with a natural blur of the subject image shifted from the focus position can be obtained.

差分に基づいて測距像を生成する際、画素信号に一定の係数をかけて、ゲイン調整を行ってから差分を行っても良い。第一の測距モードにおいて、画素210で取得した信号をA1、画素220で取得した信号をB1、第二の測距モードにおいて、画素210で取得した信号をA2、画素220で取得した信号をB2とする。この時、以下の式を用いて測距像292、294を取得すればよい。
測距像292 = A1 − k1 × B1 (式1)
測距像294 = B2 − k2 × A2 (式2)
ここで、第一の係数k1、第二の係数k2はゲイン調整係数である。ゲインを調整することによって、測距像292、294を形成する光束の重心角度を変化させ、測距精度を向上させることができる。具体的には、k1が大きいほど、測距像292は−X方向に大きく偏心した瞳領域からの光束によって形成された測距像となるため、測距像291と測距像292の間のズレ量が大きくなり、検出精度が向上する。同様に、k2が大きいほど、測距像294は+X方向に大きく偏心した瞳領域からの光束によって形成された測距像となるため、測距像293と測距像294の間のズレ量が大きくなり、検出精度が向上する。但し、k1、k2を大きくしすぎると、測距像291と測距像292、測距像293と測距像294の強度差が大きくなり、像ズレ量の検出精度が低下する。従って、測距像間の強度差も考慮してk1、k2を決定するのが好ましい。なお、特にk1、k2が共に1の場合は、ゲイン調整を行わない場合である。
When a ranging image is generated based on the difference, the pixel signal may be multiplied by a certain coefficient, and the gain may be adjusted before performing the difference. In the first distance measurement mode, the signal acquired by the pixel 210 is A1, the signal acquired by the pixel 220 is B1, and in the second distance measurement mode, the signal acquired by the pixel 210 is A2, and the signal acquired by the pixel 220 is Let B2. At this time, the distance measurement images 292 and 294 may be acquired using the following equations.
Ranging image 292 = A1−k1 × B1 (Formula 1)
Ranging image 294 = B2−k2 × A2 (Formula 2)
Here, the first coefficient k1 and the second coefficient k2 are gain adjustment coefficients. By adjusting the gain, the center-of-gravity angle of the light beams forming the distance measurement images 292 and 294 can be changed, and the distance measurement accuracy can be improved. Specifically, as k1 is larger, the distance measurement image 292 becomes a distance measurement image formed by a light beam from a pupil region that is greatly decentered in the −X direction, so that the distance between the distance measurement image 291 and the distance measurement image 292 is larger. The amount of deviation increases and detection accuracy improves. Similarly, as k2 is larger, the distance measurement image 294 becomes a distance measurement image formed by a light beam from a pupil region that is greatly decentered in the + X direction. Therefore, the amount of deviation between the distance measurement image 293 and the distance measurement image 294 increases. The detection accuracy is improved. However, if k1 and k2 are too large, the difference in intensity between the distance measurement image 291 and the distance measurement image 292, and the distance measurement image 293 and the distance measurement image 294 increases, and the detection accuracy of the image shift amount decreases. Therefore, it is preferable to determine k1 and k2 in consideration of the intensity difference between the distance measurement images. In particular, when both k1 and k2 are 1, the gain is not adjusted.

なお、差分に基づいて測距像を生成する際には、3画素以内に近接して配置された画素210、画素220の間の画素信号に対して差分を適用する方が、測距像間のズレ量を正
確に検出できるため、好ましい。
In addition, when generating a ranging image based on the difference, it is more effective to apply the difference to the pixel signal between the pixel 210 and the pixel 220 arranged close to each other within three pixels. This is preferable because the amount of deviation can be accurately detected.

また、測距像のズレは、第一のマイクロレンズと第二のマイクロレンズの偏心量が異なる第一の方向に対して発生するため、測距像を取得する画素が第一の方向に沿ってずれているほど、距離情報の精度が低下する。本発明に示す固体撮像素子では、第一の画素と第二の画素は第一の直線からの距離が等しいため、第一の方向に沿ったずれのない画素間で差分を適用することができ、高精度な距離情報を取得できる。   Further, since the displacement of the distance measurement image occurs in the first direction in which the eccentric amount of the first micro lens and the second micro lens is different, the pixels that acquire the distance measurement image are along the first direction. The greater the deviation, the lower the accuracy of the distance information. In the solid-state imaging device according to the present invention, the first pixel and the second pixel have the same distance from the first straight line, and therefore, a difference can be applied between pixels having no deviation along the first direction. High-accuracy distance information can be acquired.

また、実施形態1の図10(C)のように、ベイヤ配列の緑画素のみが、第一の画素と第二の画素の二種類で構成されている場合、緑画素で取得した画像を用いて測距像を生成すればよい。即ち、図10(C)のように第一の画素の数の方が多い場合、被写体の解像度情報と色情報は常に第一の画素(数が多い方の画素)で取得するとよい。輝度情報と距離情報については、上述したようにレンズの射出瞳距離に応じて、使用する画素信号を変更したり差分の求め方を反転させたりして、取得方法を異ならせるとよい。   In addition, as illustrated in FIG. 10C of the first embodiment, when only the green pixels in the Bayer array are configured with two types of the first pixel and the second pixel, an image acquired with the green pixels is used. Thus, a distance measurement image may be generated. That is, when the number of the first pixels is larger as shown in FIG. 10C, the resolution information and the color information of the subject are always acquired by the first pixel (the pixel having the larger number). As described above, the luminance information and the distance information may be acquired in different ways by changing the pixel signal to be used or inverting the method of obtaining the difference in accordance with the exit pupil distance of the lens.

実施形態1の場合と同様、第一の測距モードを使用するか、第二の測距モードを使用するかは、レンズの射出瞳距離、即ち画素に入射する主光線の角度によって切り替えればよい。また、実施形態1の場合と同様、レンズの射出瞳距離を3段階に分類して、3つの測距モードを使用することも好ましい。すなわち、レンズの射出瞳距離が中間程度の場合に、第三の測距モードを使用してもよい。レンズの射出瞳距離が中間程度の場合、第一の画素210には−X方向に偏心した瞳領域からの光束が入射し、第二の画素220には+X方向に偏心した瞳領域の光束が入射する。そのため、第三の測距モードでは、第一の画素210で直接取得した測距像と、第二の画素220で直接取得した測距像間のズレ量を求めるのが好ましい。   As in the first embodiment, whether to use the first distance measurement mode or the second distance measurement mode may be switched according to the exit pupil distance of the lens, that is, the angle of the principal ray incident on the pixel. . As in the first embodiment, it is also preferable to classify the exit pupil distance of the lens into three stages and use three distance measuring modes. That is, the third distance measuring mode may be used when the lens exit pupil distance is about the middle. When the exit pupil distance of the lens is about the middle, the light beam from the pupil region decentered in the −X direction is incident on the first pixel 210, and the light beam of the pupil region decentered in the + X direction is incident on the second pixel 220. Incident. Therefore, in the third distance measurement mode, it is preferable to obtain a shift amount between the distance measurement image directly acquired by the first pixel 210 and the distance measurement image directly acquired by the second pixel 220.

実施形態1の場合と同様、固体撮像素子の中心領域(中心線101からの距離が所定の距離未満の領域)では、マイクロレンズの偏心量が異なる複数の画素を設けなくても良い。固体撮像素子の中心領域でも距離情報を取得する場合、互いに反対方向に偏心した遮光膜236、246を有する画素230、240(図14(A))を用いて、互いに反対方向に偏心した測距像を取得し、測距像間のズレ量を求めればよい。また、互いに反対方向に偏心したマイクロレンズ231、241を有する画素230、240(図14(B))を用いて、互いに反対方向に偏心した測距像を取得してもよい。   As in the case of the first embodiment, in the central region of the solid-state imaging device (the region where the distance from the center line 101 is less than the predetermined distance), a plurality of pixels having different amounts of eccentricity of the microlens need not be provided. When distance information is acquired even in the central region of the solid-state imaging device, distance measurement that is eccentric in the opposite direction using the pixels 230 and 240 (FIG. 14A) having the light shielding films 236 and 246 that are eccentric in the opposite directions. What is necessary is just to acquire an image and to obtain | require the gap | deviation amount between ranging images. Alternatively, distance measurement images decentered in the opposite directions may be acquired using the pixels 230 and 240 (FIG. 14B) having the microlenses 231 and 241 eccentric in the opposite directions.

図14(A)のように偏心した遮光膜を設けた場合、隣接画素間でのクロストークを抑制できたり、遮光膜下部に画素内メモリを設けることで画素内メモリへの迷光成分を抑制できたりするため、好ましい。図14(B)のように互いに反対方向に偏心したマイクロレンズを設けた場合、遮光膜を設けるプロセスが不要となり、周辺領域に配置された画素と同様のプロセスで、距離情報を取得可能な画素が形成できるため、好ましい。   When an eccentric light shielding film is provided as shown in FIG. 14A, crosstalk between adjacent pixels can be suppressed, or stray light components to the pixel memory can be suppressed by providing an in-pixel memory below the light shielding film. This is preferable. In the case of providing microlenses that are decentered in opposite directions as shown in FIG. 14B, a process of providing a light shielding film is not necessary, and a pixel that can acquire distance information by a process similar to that of a pixel disposed in a peripheral region. Is preferable.

更に、図14(C)に示すように、一つの画素230中に複数の光電変換部233、234を設け、各々の光電変換部で互いに反対方向に偏心した測距像を取得してもよい。図14(C)に示す画素を用いた場合、複数の光電変換部で取得した信号の和から撮影画像も取得できるため、好ましい。   Furthermore, as shown in FIG. 14C, a plurality of photoelectric conversion units 233 and 234 may be provided in one pixel 230, and each photoelectric conversion unit may acquire a distance measurement image that is decentered in opposite directions. . When the pixel illustrated in FIG. 14C is used, a captured image can be acquired from the sum of signals acquired by a plurality of photoelectric conversion units, which is preferable.

(実施形態3)
図15は、実施形態2で示した固体撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置190の概略図である。撮像装置190は、実施形態2で示した固体撮像素子200の他に、固体撮像素子200よりも光入射側に配置されたレンズ191を含む撮像光学系、CPU192、転送回路193、信号処理部194を有する。撮像装置190は測距機能を有するので、測距装置と捉えることもできる。
(Embodiment 3)
FIG. 15 is a schematic diagram of an imaging apparatus 190 such as a digital still camera or a digital video camera provided with the solid-state imaging device shown in the second embodiment. The imaging device 190 includes an imaging optical system including a lens 191 disposed on the light incident side of the solid-state imaging device 200, a CPU 192, a transfer circuit 193, and a signal processing unit 194, in addition to the solid-state imaging device 200 shown in the second embodiment. Have Since the imaging device 190 has a distance measuring function, it can also be regarded as a distance measuring device.

CPU192は、レンズの射出瞳距離に応じて、転送回路193、信号処理部194の動作を制御している。具体的には、レンズ191の射出瞳距離が閾値距離よりも遠いと判定された場合には、第一の撮影モードあるいは第一の測距モードを使用して、被写体の輝度情報および距離情報を取得している。また、レンズ191の射出瞳距離が閾値距離よりも近いと判定された場合には、第二の撮影モードあるいは第二の測距モードを使用して、被写体の輝度情報および距離情報を取得している。信号処理部194は、第一の画素から取得される画像(測距像)と第二の画素から取得される画像(測距像)を比較して、その位置ズレ量から被写体の距離情報を取得する。すなわち、信号処理部194は距離算出部としての機能を有する。レンズの射出瞳距離の情報は、使用するレンズとズーム状態のパラメータとしてCPUに記憶していても良いし、予備撮影を行って第一の画素と第二の画素で信号を取得し、それらの輝度差から算出しても良い。   The CPU 192 controls the operations of the transfer circuit 193 and the signal processing unit 194 according to the exit pupil distance of the lens. Specifically, when it is determined that the exit pupil distance of the lens 191 is longer than the threshold distance, the luminance information and distance information of the subject are obtained using the first photographing mode or the first distance measuring mode. Have acquired. Further, when it is determined that the exit pupil distance of the lens 191 is closer than the threshold distance, the luminance information and distance information of the subject are acquired using the second photographing mode or the second distance measuring mode. Yes. The signal processing unit 194 compares the image (ranging image) acquired from the first pixel and the image (ranging image) acquired from the second pixel, and calculates the distance information of the subject from the positional deviation amount. get. That is, the signal processing unit 194 functions as a distance calculation unit. Information on the exit pupil distance of the lens may be stored in the CPU as parameters of the lens to be used and the zoom state, or pre-shooting is performed to acquire signals at the first pixel and the second pixel, You may calculate from a luminance difference.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100、200:固体撮像素子
101:第一の直線
102:所定の距離
110、210:第一の画素
111、211:第一のマイクロレンズ
120、220:第二の画素
121、221:第二のマイクロレンズ
100, 200: solid-state imaging device 101: first straight line 102: predetermined distance 110, 210: first pixel 111, 211: first microlens 120, 220: second pixel 121, 221: second Micro lens

Claims (30)

固体撮像素子の中心を通り、固体撮像素子の画素が配列された面内方向である第一の方向に垂直な第二の方向に延びる第一の直線からの距離が、所定の距離以上の固体撮像素子の周辺領域において、第一のマイクロレンズを有する第一の画素と、第二のマイクロレンズを有し、第一の直線からの距離が第一の画素と等しい第二の画素を有し、
前記第二のマイクロレンズの前記第一の方向に沿った偏心量は、前記第一の直線に向かう方向を正として正であり、
前記第一のマイクロレンズは、前記第一の方向に沿った偏心量がゼロまたは正であり、前記第二のマイクロレンズの前記第一の方向に沿った偏心量よりも小さい、
ことを特徴とする、固体撮像素子。
A solid whose distance from a first straight line that passes through the center of the solid-state image sensor and extends in a second direction perpendicular to the first direction in which the pixels of the solid-state image sensor are arranged is a predetermined distance or more In the peripheral region of the image sensor, the first pixel having the first microlens and the second pixel having the second microlens and having the same distance from the first straight line as the first pixel ,
The amount of eccentricity along the first direction of the second microlens is positive with the direction toward the first straight line being positive,
In the first microlens, the amount of eccentricity along the first direction is zero or positive, and is smaller than the amount of eccentricity along the first direction of the second microlens.
A solid-state image sensor characterized by the above.
第一のマイクロレンズが第一のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して面対称な形状であるか、
第二のマイクロレンズが第二のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して面対称な形状であるか、
または、上記の両方を満たす、
ことを特徴とする、請求項1に記載の固体撮像素子。
The first microlens has a shape that is plane-symmetric with respect to a plane that passes through the optical axis of the first microlens and is perpendicular to the first direction;
The second microlens has a shape that is plane-symmetric with respect to a plane that passes through the optical axis of the second microlens and is perpendicular to the first direction,
Or satisfy both of the above,
The solid-state imaging device according to claim 1, wherein
第一のマイクロレンズが第一のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して非対称な形状であるか、
第二のマイクロレンズが第二のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して非対称な形状であるか、
または、上記の両方を満たす、
ことを特徴とする、請求項1に記載の固体撮像素子。
The first microlens has an asymmetric shape with respect to a plane perpendicular to the first direction through the optical axis of the first microlens,
Whether the second microlens has an asymmetric shape with respect to a plane passing through the optical axis of the second microlens and perpendicular to the first direction;
Or satisfy both of the above,
The solid-state imaging device according to claim 1, wherein
第一のマイクロレンズが第一のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して非対称な屈折率分布を有するか、
第二のマイクロレンズが第二のマイクロレンズの光軸を通り第一の方向に垂直な平面に対して非対称な屈折率分布を有するか、
または、上記の両方を満たす、
ことを特徴とする、請求項1に記載の固体撮像素子。
The first microlens has an asymmetric refractive index profile with respect to a plane perpendicular to the first direction through the optical axis of the first microlens,
The second microlens has an asymmetric refractive index distribution with respect to a plane perpendicular to the first direction through the optical axis of the second microlens,
Or satisfy both of the above,
The solid-state imaging device according to claim 1, wherein
前記第二のマイクロレンズの前記第二の方向に沿った偏心量の方が、前記第一のマイクロレンズの前記第二の方向に沿った偏心量よりも大きい、
ことを特徴とする、請求項1から4のいずれか1項に記載の固体撮像素子。
The amount of eccentricity along the second direction of the second microlens is greater than the amount of eccentricity along the second direction of the first microlens,
The solid-state imaging device according to any one of claims 1 to 4, wherein the solid-state imaging device is characterized in that
前記第一のマイクロレンズの前記第二の方向に沿った偏心量が、前記第二のマイクロレンズの前記第二の方向に沿った偏心量に等しい、
ことを特徴とする、請求項1から4のいずれか1項に記載の固体撮像素子。
The amount of eccentricity along the second direction of the first microlens is equal to the amount of eccentricity along the second direction of the second microlens,
The solid-state imaging device according to any one of claims 1 to 4, wherein the solid-state imaging device is characterized in that
前記第一のマイクロレンズの前記第一の方向に沿った偏心量と前記第二のマイクロレンズの前記第一の方向に沿った偏心量の差の最大値が、前記第一の画素の前記第一の方向に沿った長さと前記第二の画素の前記第一の方向に沿った長さの平均値の0.25倍以上である、
ことを特徴とする、請求項1から6のいずれか1項に記載の固体撮像素子。
The maximum value of the difference between the amount of eccentricity along the first direction of the first microlens and the amount of eccentricity along the first direction of the second microlens is the first value of the first pixel. 0.25 times or more of an average value of the length along one direction and the length along the first direction of the second pixel,
The solid-state imaging device according to claim 1, wherein
前記第一の画素と前記第二の画素が複数設けられており、前記第一の直線からの距離が大きいほど、前記第一のマイクロレンズの前記第一の方向に沿った偏心量と前記第二のマイクロレンズの前記第一の方向に沿った偏心量との差が大きい、
ことを特徴とする、請求項1から7のいずれか1項に記載の固体撮像素子。
A plurality of the first pixels and the second pixels are provided, and the greater the distance from the first straight line, the more the eccentric amount along the first direction of the first microlens and the second The difference between the eccentric amount along the first direction of the two microlenses is large,
The solid-state imaging device according to claim 1, wherein the solid-state imaging device is characterized in that
前記所定の距離が、固体撮像素子の前記第一の方向の長さの、0.25倍以上である、
ことを特徴とする、請求項1から8のいずれか1項に記載の固体撮像素子。
The predetermined distance is not less than 0.25 times the length of the solid-state image sensor in the first direction;
The solid-state image sensor according to any one of claims 1 to 8, wherein the solid-state image sensor is characterized.
前記第一の方向が、固体撮像素子の長手方向に一致する、
ことを特徴とする、請求項1から9のいずれか1項に記載の固体撮像素子。
The first direction coincides with the longitudinal direction of the solid-state imaging device;
The solid-state imaging device according to claim 1, wherein
前記第一の画素と前記第二の画素が複数設けられており、前記第一の画素および前記第二の画素はそれぞれ異なる前記第二の方向の位置において前記第一の方向に沿って直線状に配列されている、
ことを特徴とする、請求項1から10のいずれか1項に記載の固体撮像素子。
A plurality of the first pixel and the second pixel are provided, and the first pixel and the second pixel are linear along the first direction at different positions in the second direction. Arranged in the
The solid-state imaging device according to claim 1, wherein
直線状に配列された前記第一の画素および前記第二の画素が、前記第二の方向に沿って、互い違いに設けられている、
ことを特徴とする、請求項11に記載の固体撮像素子。
The first pixels and the second pixels arranged in a straight line are alternately provided along the second direction.
The solid-state imaging device according to claim 11, wherein
前記第一の画素と前記第二の画素が複数設けられており、前記第一の画素と前記第二の画素が、市松模様状に互い違いに設けられている、
ことを特徴とする、請求項1から10のいずれか1項に記載の固体撮像素子。
A plurality of the first pixels and the second pixels are provided, and the first pixels and the second pixels are alternately provided in a checkered pattern,
The solid-state imaging device according to claim 1, wherein
前記第一の画素と前記第二の画素が複数設けられており、
全ての第一の画素は第一の色のカラーフィルタを有しており、第二の画素は第一の色のカラーフィルタを有する画素と、第一の色とは異なる色のカラーフィルタを有する画素の、2種類以上の画素から構成されているか、
全ての第二の画素は第二の色のカラーフィルタを有しており、第一の画素は第二の色のカラーフィルタを有する画素と、第二の色とは異なる色のカラーフィルタを有する画素の、2種類以上の画素から構成されているか、
のいずれかを満たすことを特徴とする、請求項1から13のいずれか1項に記載の固体撮像素子。
A plurality of the first pixel and the second pixel are provided;
All the first pixels have a color filter of the first color, and the second pixel has a pixel having a color filter of the first color and a color filter of a color different from the first color. It is composed of two or more types of pixels,
Every second pixel has a color filter of the second color, and the first pixel has a pixel having a color filter of the second color and a color filter of a color different from the second color. It is composed of two or more types of pixels,
14. The solid-state imaging device according to claim 1, wherein any one of the above is satisfied.
前記固体撮像素子は、前記第一の直線からの距離が前記所定の距離未満の中心領域において、画素中心に対して偏心した遮光膜を備える画素を有する、
ことを特徴とする、請求項1から14のいずれか1項に記載の固体撮像素子。
The solid-state imaging device has a pixel including a light-shielding film that is decentered with respect to the pixel center in a central region whose distance from the first straight line is less than the predetermined distance.
The solid-state imaging device according to any one of claims 1 to 14, wherein the solid-state imaging device is characterized.
前記第一の直線からの距離が前記所定の距離未満の中心領域において、画素中心に対して光軸が偏心したマイクロレンズを備える画素を有する、
ことを特徴とする、請求項1から15のいずれか1項に記載の固体撮像素子。
In a central region where the distance from the first straight line is less than the predetermined distance, the pixel includes a microlens whose optical axis is decentered with respect to the pixel center.
The solid-state imaging device according to claim 1, wherein:
前記第一の直線からの距離が前記所定の距離未満の中心領域において、複数の光電変換部と、それに対応したマイクロレンズとを備える画素を有する、
ことを特徴とする、請求項1から16のいずれか1項に記載の固体撮像素子。
In a central region where the distance from the first straight line is less than the predetermined distance, a pixel including a plurality of photoelectric conversion units and a microlens corresponding thereto,
The solid-state imaging device according to claim 1, wherein
レンズと、
請求項1から17のいずれか1項に記載の固体撮像素子と、
を備える、撮像装置。
A lens,
A solid-state imaging device according to any one of claims 1 to 17,
An imaging apparatus comprising:
前記レンズのF値をF、前記第一のマイクロレンズの焦点距離と前記第二のマイクロレンズの焦点距離の平均値をhとした時に、前記第一のマイクロレンズの前記第一の方向に沿った偏心量と前記第二のマイクロレンズの前記第一の方向に沿った偏心量の差の最大値
が、h/2F以上である、
ことを特徴とする、請求項18に記載の撮像装置。
Along the first direction of the first microlens, where F is the F value of the lens and h is the average value of the focal length of the first microlens and the focal length of the second microlens. The maximum value of the difference between the amount of eccentricity and the amount of eccentricity along the first direction of the second microlens is h / 2F or more.
The imaging apparatus according to claim 18, wherein:
前記第一の画素で取得した信号から被写体の輝度情報を取得する第一の撮影モードと、前記第二の画素で取得した信号から被写体の輝度情報を取得する第二の撮影モードを有する、
ことを特徴とする、請求項18または19に記載の撮像装置。
A first shooting mode for acquiring the luminance information of the subject from the signal acquired by the first pixel, and a second shooting mode for acquiring the luminance information of the subject from the signal acquired by the second pixel;
The imaging apparatus according to claim 18, wherein the imaging apparatus is characterized.
前記レンズの射出瞳距離が所定の閾値距離よりも遠い場合には前記第一の撮影モードを使用し、前記レンズの射出瞳距離が前記閾値距離よりも近い場合には前記第二の撮影モードを使用する、
ことを特徴とする、請求項20に記載の撮像装置。
When the exit pupil distance of the lens is longer than a predetermined threshold distance, the first shooting mode is used, and when the exit pupil distance of the lens is closer than the threshold distance, the second shooting mode is set. use,
The imaging apparatus according to claim 20, wherein
前記第一の撮影モードでは、前記第一の画素で取得した信号から低輝度な被写体の輝度情報を取得し、前記第二の画素で取得した信号から高輝度な被写体の輝度情報を取得し、
前記第二の撮影モードでは、前記第二の画素で取得した信号から低輝度な被写体の輝度情報を取得し、前記第一の画素で取得した信号から高輝度な被写体の輝度情報を取得する、
ことを特徴とする、請求項20または21に記載の撮像装置。
In the first shooting mode, the luminance information of the low-luminance subject is acquired from the signal acquired by the first pixel, the luminance information of the high-luminance subject is acquired from the signal acquired by the second pixel,
In the second imaging mode, the luminance information of the low-luminance subject is acquired from the signal acquired by the second pixel, and the luminance information of the high-luminance subject is acquired from the signal acquired by the first pixel.
The imaging apparatus according to claim 20 or 21, wherein the imaging apparatus is characterized in that
前記第一の画素で取得した信号と前記第二の画素で取得した信号を共に使用して被写体像を取得する第三の撮影モードをさらに備える、
ことを特徴とする、請求項20から22のいずれか1項に記載の撮像装置。
A third shooting mode for acquiring a subject image using both the signal acquired by the first pixel and the signal acquired by the second pixel;
The imaging apparatus according to any one of claims 20 to 22, wherein the imaging apparatus is characterized in that
前記第一の画素と前記第二の画素の数が異なっており、第一の撮影モードおよび第二の撮影モードの両方において、第一の画素と第二の画素のうち数が多いほうの画素から得られる画像を用いて被写体の解像度情報を取得する、
ことを特徴とする、請求項20から23のいずれか1項に記載の撮像装置。
The number of the first pixel is different from the number of the second pixel, and the pixel having the larger number of the first pixel and the second pixel in both the first shooting mode and the second shooting mode. To obtain the resolution information of the subject using the image obtained from
The imaging device according to any one of claims 20 to 23, wherein:
請求項18から24のいずれか1項に記載の撮像装置と、
前記撮像装置から撮影された画像に基づいて被写体の距離情報を算出する算出部と、
を備える測距装置であって、
前記固体撮像素子には、前記第一の画素と前記第二の画素が複数設けられており、
前記算出部は、前記第一の画素で取得した信号から取得した画像と、前記第二の画素で取得した信号から取得した画像を比較することで被写体の距離情報を取得する、
ことを特徴とする、測距装置。
An imaging device according to any one of claims 18 to 24;
A calculation unit that calculates distance information of a subject based on an image captured from the imaging device;
A distance measuring device comprising:
The solid-state imaging device is provided with a plurality of the first pixels and the second pixels,
The calculation unit acquires distance information of a subject by comparing an image acquired from a signal acquired from the first pixel and an image acquired from a signal acquired from the second pixel.
A distance measuring device characterized by that.
前記第二の画素で取得した信号から取得した第一の画像と、前記第一の画素で取得した信号から前記第二の画素で取得した信号を差し引くことで生成した第二の画像のズレ量から被写体の距離情報を取得する第一の測距モードと、
前記第一の画素で取得した信号から取得した第三の画像と、前記第二の画素で取得した信号から第一の画素で取得した信号を差し引くことで生成した第四の画像のズレ量から被写体の距離情報を取得する第二の測距モードと、
を備えることを特徴とする、請求項25に記載の測距装置。
A shift amount between the first image acquired from the signal acquired from the second pixel and the second image generated by subtracting the signal acquired from the second pixel from the signal acquired from the first pixel. A first ranging mode that obtains subject distance information from
From the amount of deviation between the third image acquired from the signal acquired at the first pixel and the fourth image generated by subtracting the signal acquired at the first pixel from the signal acquired at the second pixel. A second distance measuring mode for acquiring distance information of the subject;
The distance measuring device according to claim 25, comprising:
前記第一の画素で取得した信号から、前記第二の画素で取得した信号に第一の係数をかけてから差し引くことで前記第二の画像を生成し、
前記第二の画素で取得した信号から、前記第一の画素で取得した信号に第二の係数をかけてから差し引くことで前記第四の画像を生成する、
ことを特徴とする、請求項26に記載の測距装置。
The second image is generated by subtracting the signal acquired at the second pixel from the signal acquired at the first pixel, after applying the first coefficient,
The fourth image is generated by subtracting the signal acquired at the first pixel after applying the second coefficient from the signal acquired at the second pixel.
27. The distance measuring device according to claim 26, wherein:
3画素以内に近接した第一の画素と第二の画素の間において、第一の画素で取得した信号から第二の画素で取得した信号を差し引くことで前記第二の画像を生成し、第二の画素で取得した信号から第一の画素で取得した信号を差し引くことで前記第二の画像を生成する、
ことを特徴とする、請求項25から27のいずれか1項に記載の測距装置。
The second image is generated by subtracting the signal acquired at the second pixel from the signal acquired at the first pixel between the first pixel and the second pixel that are close within 3 pixels, Generating the second image by subtracting the signal acquired at the first pixel from the signal acquired at the second pixel;
The distance measuring device according to any one of claims 25 to 27, wherein:
前記第一の画素で取得した信号から取得した画像と、前記第二の画素で取得した信号から取得した画像のズレ量から被写体の距離情報を取得する、第三の測距モードを備える、
ことを特徴とする、請求項25から28のいずれか1項に記載の測距装置。
A third distance measuring mode is provided, which acquires distance information of an object from an image acquired from the signal acquired from the first pixel and an image shift amount acquired from the signal acquired from the second pixel.
The distance measuring device according to any one of claims 25 to 28, wherein:
前記固体撮像素子は、前記第一の直線からの距離が前記所定の距離未満の中心領域において、画素中心に対して偏心した遮光膜を有する画素を有する、
ことを特徴とする、請求項25から29のいずれか1項に記載の測距装置。
The solid-state imaging device includes a pixel having a light shielding film that is decentered with respect to the pixel center in a central region whose distance from the first straight line is less than the predetermined distance.
The distance measuring device according to any one of claims 25 to 29, wherein:
JP2015117690A 2015-06-10 2015-06-10 Solid-state image pickup element, imaging device and ranging device Pending JP2017005509A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015117690A JP2017005509A (en) 2015-06-10 2015-06-10 Solid-state image pickup element, imaging device and ranging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015117690A JP2017005509A (en) 2015-06-10 2015-06-10 Solid-state image pickup element, imaging device and ranging device

Publications (1)

Publication Number Publication Date
JP2017005509A true JP2017005509A (en) 2017-01-05

Family

ID=57754600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015117690A Pending JP2017005509A (en) 2015-06-10 2015-06-10 Solid-state image pickup element, imaging device and ranging device

Country Status (1)

Country Link
JP (1) JP2017005509A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184969A1 (en) * 2019-03-11 2020-09-17 엘지이노텍 주식회사 Camera module
CN112262476A (en) * 2018-06-15 2021-01-22 索尼半导体解决方案公司 Solid-state image pickup device and electronic apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112262476A (en) * 2018-06-15 2021-01-22 索尼半导体解决方案公司 Solid-state image pickup device and electronic apparatus
WO2020184969A1 (en) * 2019-03-11 2020-09-17 엘지이노텍 주식회사 Camera module
US11885884B2 (en) 2019-03-11 2024-01-30 Lg Innotek Co., Ltd. Camera module

Similar Documents

Publication Publication Date Title
US9204067B2 (en) Image sensor and image capturing apparatus
JP6120508B2 (en) Imaging device and imaging apparatus
JP5825817B2 (en) Solid-state imaging device and imaging apparatus
US8830382B2 (en) Image pickup apparatus and image processing apparatus
JP6347621B2 (en) Solid-state imaging device and imaging apparatus
JP2011176715A (en) Back-illuminated image sensor and imaging apparatus
US9456198B2 (en) Depth estimating image capture device and image sensor
US20110025904A1 (en) Focus detection device and imaging apparatus having the same
JP6016396B2 (en) Imaging device and imaging apparatus
US9099370B2 (en) Solid-state imaging element and imaging device
US11297271B2 (en) Image sensor and image capture apparatus
US9402041B2 (en) Solid-state image sensor and imaging apparatus using same
JP2018139272A (en) Imaging element and imaging device
JP2023159224A (en) Imaging element and imaging apparatus
JP6338443B2 (en) Solid-state imaging device and imaging apparatus using the same
JP2017220724A (en) Image processing apparatus, imaging device, image processing method, and program
JP2017005509A (en) Solid-state image pickup element, imaging device and ranging device
US11889186B2 (en) Focus detection device, focus detection method, and image capture apparatus
JP2009086144A (en) Imaging device and imaging equipment provided therewith
JP5907668B2 (en) Imaging device and imaging device
JP2017069815A (en) Image processing apparatus, image processing method, imaging apparatus, and control method of the same
JP6257201B2 (en) FOCUS DETECTION DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE
JP6086681B2 (en) Imaging device and imaging apparatus
KR20170015158A (en) Control apparatus, image pickup apparatus, and control method
JP2017102240A (en) Image processing device and image processing method, imaging device, program