CN106210572B - 图像传感器以及操作图像传感器的方法 - Google Patents

图像传感器以及操作图像传感器的方法 Download PDF

Info

Publication number
CN106210572B
CN106210572B CN201510293267.9A CN201510293267A CN106210572B CN 106210572 B CN106210572 B CN 106210572B CN 201510293267 A CN201510293267 A CN 201510293267A CN 106210572 B CN106210572 B CN 106210572B
Authority
CN
China
Prior art keywords
pixels
pixel
image sensor
color filter
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510293267.9A
Other languages
English (en)
Other versions
CN106210572A (zh
Inventor
车受蓝
李宗锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN106210572A publication Critical patent/CN106210572A/zh
Application granted granted Critical
Publication of CN106210572B publication Critical patent/CN106210572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)

Abstract

一种滤色器阵列包括第一像素、第二像素、第三像素和第四像素。第一像素传送具有可见波长和红外(IR)波长的光。第二像素传送具有可见波长的光并且围绕每个第一像素。第三像素传送具有可见波长中的第一波长范围的光。第四像素传送具有可见波长中的第二波长范围的光。

Description

图像传感器以及操作图像传感器的方法
相关申请的交叉引用
本申请要求于2014年12月1日提交的发明名称为“滤色器阵列、具有该滤色器阵列的图像传感器以及使用该图像传感器的红外数据获取方法”的韩国专利申请No.10-2014-0169444的优先权，其整体内容通过引用合并于此。
技术领域
本发明构思涉及半导体器件制造技术，更具体地，涉及滤色器阵列、包括该滤色器阵列的图像传感器、以及使用该图像传感器获取红外(IR)数据的方法。
背景技术
正在研究和开发提供深度数据以及图像数据的三维(3D)图像传感器。3D图像传感器中使用的滤色器阵列(CFA)可以包括用于获取物体的颜色数据的彩色像素，以及用于获取物体的深度数据的红外(IR)像素。正在研究和开发用于从具有彩色像素和IR像素二者的滤色器阵列获取高质量颜色数据和IR数据的方法。
发明内容
各实施例针对能够获取高质量颜色数据和IR数据的滤色器阵列、包括该滤色器阵列的图像传感器、以及使用该图像传感器获取红外(IR)数据的方法。
根据实施例，一种滤色器阵列可以包括：多个第一像素，适于传送具有可见波长和红外(IR)波长的光；多个第二像素，适于传送具有可见波长的光，并且设置成围绕多个第一像素中的每个第一像素的图案；多个第三像素，适于传送具有可见波长中的第一波长范围的光；以及多个第四像素，适于传送具有可见波长中的第二波长范围的光。
所述多个第二像素可以设置成棋盘图案，并且其中所述多个第一像素中的每个第一像素可以设置在与所述多个第二像素中的每个第二像素不同的行和列中。所述多个第一像素和所述多个第二像素可以沿对角线方向交替设置。所述多个第一像素和所述多个第二像素之和在像素总数的40％至60％的范围内。所述多个第一像素的数目可以等于或小于所述多个第二像素的数目。所述多个第三像素和多个第四像素可以随机地设置在除了所述多个第一像素和所述多个第二像素占据的空间之外的剩余空间中。所述多个第三像素的数目可以等于所述多个第四像素的数目。所述多个第三像素和所述多个第四像素中的每个可以包括选自红色滤光器、绿色滤光器、蓝色滤光器、青色滤光器、黄色滤光器和洋红色滤光器中的任一个。所述多个第三像素可以包括相对于所述多个第四像素具有光谱敏感度的最低相关性的滤光器。第一像素、第二像素、第三像素和第四像素可以分别包括透明像素、白色像素、蓝色像素和红色像素。
根据实施例，一种滤色器阵列可以包括：具有3×3矩阵结构的多个子阵列，其中每个子阵列可以包括：第一像素，适于传送具有可见波长和红外(IR)波长的光，并且设置在子阵列的中心；多个第二像素，适于传送具有可见波长的光，并且分别设置在子阵列的角部；多个第三像素，适于传送具有可见波长中的第一波长范围的光；以及多个第四像素，适于传送具有可见波长中的第二波长范围的光。
子阵列中的第一像素、第二像素、第三像素和第四像素的比可以是1:4:2:2。所述多个子阵列可以部分地共享除第一像素之外的像素。所述多个第三像素和所述多个第四像素中的每个可以包括选自红色滤光器、绿色滤光器、蓝色滤光器、青色滤光器、黄色滤光器和洋红色滤光器中的任一个。所述多个第三像素可以包括相对于所述多个第四像素具有光谱敏感度的最低相关性的滤光器。所述多个第三像素可以设置在第一像素的顶部和底部，并且所述多个第四像素可以设置在第一像素T的侧面。
根据实施例，一种图像传感器可以包括：滤色器阵列，其包括：多个第一像素，适于传送具有可见波长和红外(IR)波长的光；多个第二像素，适于传送具有可见波长的光，并且设置成围绕所述多个第一像素中的每个第一像素的图案；多个第三像素，适于传送具有可见波长中的第一波长范围的光；以及多个第四像素，适于传送具有可见波长中的第二波长范围的光；以及光电转换层，形成在滤色器阵列之上或之下。
根据实施例，一种操作图像传感器的方法，该图像传感器可以包括多个滤色器阵列，每个滤色器阵列具有3×3矩阵结构并且包括第一像素和多个第二像素，第一像素适于传送具有可见波长和红外(IR)波长的光，并且设置在滤色器阵列的中心，而多个第二像素适于传送具有可见波长的光，并且分别设置在滤色器阵列的角部，该方法可以包括：通过使用围绕第一像素的多个第二像素，生成与第一像素的位置对应的内插信号；以及根据从第一像素输出的像素信号和内插信号之间的差来生成IR数据。
该方法还可以包括：基于第一像素和第二像素的每个像素信号和像素信号的平均值之间的亮度差来计算权重；以及通过将第三像素和第四像素的像素信号进行比较并且反映权重来生成颜色数据，其中第三像素和第四像素分别传送具有可见波长中的第一波长范围和第二波长范围的光。第一像素、第二像素、第三像素和第四像素可以分别包括透明像素、白色像素、蓝色像素和红色像素。
根据实施例，由于第二像素被设置成围绕第一像素，因此可以获取高质量IR数据。此外，由于第三像素和第四像素具有光谱敏感度的低相关性，因此可以获取高质量颜色数据。
附图说明
图1是图示根据本发明构思的示例性实施例的滤色器阵列的示图。
图2是示意性图示根据本发明构思的示例性实施例的包括滤色器阵列的图像传感器的框图。
图3是示意性图示包括图2的图像传感器的图像处理装置的框图。
图4是图示根据本发明构思的示例性实施例的获取颜色数据和IR数据的方法的流程图。
具体实施方式
在下文中，将参照附图描述本发明构思的优选示例性实施例以详细描述本发明构思，使得本发明所属领域的技术人员能够容易地实施本发明的技术构思。附图不一定依比例绘制，并且在一些情况下，比例可能被放大以便清楚地说明实施例的特征。在公开具有超过两个层的多层结构时，各层的相对位置和顺序可以反映特定的示例性实施例。然而，本发明构思不应被解释为限于其示例性实施例，并且各层的相对位置和顺序可以变化。再者，多层结构的示图和详细描述可以不包括特定的多层结构中的所有层(例如，至少一个层可以存在于所描述的层之间)。例如，当在详细描述说明和示图中一个层被设置在第二层或衬底上时，第一层可以直接设置在第二层或衬底上，或者至少一个层可以设置在第一层和第二层或衬底之间。
下文将描述的本发明构思的示例性实施例提供了用于获取高质量颜色数据和IR数据的滤色器阵列、使用滤色器阵列的图像传感器、和使用图像传感器获取IR数据的方法。在本发明构思的示例性实施例中，为了防止分辨率劣化，IR像素不是分离地设置成红色-绿色-蓝色(RGB)拜耳图案，而是，白色-红色-白色-蓝色(WRWB)拜耳图案中的任何一个白色像素传送可见光和IR光，而所述WRWB图案中的剩余的白色像素仅传送可见光。IR数据可以利用从两个白色像素传送的光的差来获取。在本发明构思的示例性实施例中，当提取IR数据时，并非简单地计算从两个白色像素传送的光的差，而是使用包括IR数据的白色像素和不具有IR数据的周围的白色像素之间的空间相关性来产生与包括IR数据的白色像素相对应的内插信号，从而可以提高IR数据的精度。
图1是图示根据本发明构思的示例性实施例的滤色器阵列的示图。
参照图1，根据本发明构思的示例性实施例的滤色器阵列100包括多个第一像素110，其传送具有可见波长和IR波长的光；多个第二像素120，其传送具有可见波长的光；多个第三像素130，其传送具有可见波长中的第一波长范围的光；以及多个第四像素140，其传送具有可见波长中的第二波长范围的光。
所述多个第一像素110是为了获取IR数据，并且可以是传送可见光和IR光的透明像素。所述多个第二像素120是为了获取IR数据和与可见波长中的第三波长范围相对应的颜色数据，并且可以是白色像素。所述多个第三像素130和所述多个第四像素140是为了获取颜色数据。
在根据本发明构思的示例性实施例的滤色器阵列100中，所述多个第二像素120可以设置成棋盘图案，并且可以具有围绕所述多个第一像素110的图案。详细地，所述多个第一像素110可以设置在与所述多个第二像素120不同的行和列中。就是说，所述多个第二像素120可以设置在所述多个第一像素110的角部。所述多个第一像素110和所述多个第二像素120可以沿对角线方向交替设置。
所述多个第一像素110和所述多个第二像素120之和可以是像素总数的约50％。详细地，所述多个第一像素110和所述多个第二像素120之和可以在像素总数的40％至60％的范围内。当所述多个第一像素110和所述多个第二像素120之和小于像素总数的40％时，可能难于获取IR数据。当该和大于像素总数的60％时，可能难于获取颜色数据。所述多个第一像素110的数目可以等于或小于所述多个第二像素120的数目。如果所述多个第一像素110的数目大于所述多个第二像素120的数目，则难于通过后处理、例如内插来获取颜色数据。
所述多个第三像素130和所述多个第四像素140可以随机地设置在除了设置有所述多个第一像素110和所述多个第二像素120的空间之外的剩余空间中。在滤色器阵列100中，所述多个第三像素130和所述多个第四像素140的数目可以彼此相等。所述多个第三像素130和所述多个第四像素140中的每个可以包括选自红色滤光器、绿色滤光器、蓝色滤光器、青色滤光器、黄色滤光器和洋红色滤光器中的任一个。在上述滤光器组中，所述多个第三像素130可以包括相对于所述多个第四像素140具有光谱敏感度的最低相关性的滤光器。两个滤光器之间的光谱敏感度的低相关性可以意味着与相应滤光器对应的波长之间的范围宽。例如，当所述多个第三像素130包括蓝色滤光器时，所述多个第四像素140可以包括红色滤光器。这是为了通过后处理、例如内插来获取高质量颜色数据。
根据本发明构思的示例性实施例的滤色器阵列100可以包括多个子阵列101，其具有3×3矩阵结构。所述多个子阵列101可以随机地设置在滤色器阵列100中。每个子阵列101可以包括：第一像素110，其设置在子阵列101的中心；多个第二像素120，其分别设置在子阵列101的角部；以及多个第三像素130和多个第四像素140，其随机地设置在剩余空间中。每个子阵列101中的第一像素110、第二像素120、第三像素130和第四像素140的比可以是1:4:2:2。所述多个子阵列101可以部分地共享除第一像素110之外的第二像素120至第四像素140。子阵列101可以用作用于获取颜色数据和IR数据的后处理的基本单位。这将在后面通过获取颜色数据和IR数据的方法详细地描述。
由于所述多个第二像素120被设置成围绕所述多个第一像素110的图案，因此根据本发明构思的示例性实施例的滤色器阵列100可以获取高质量的IR数据。此外，由于使用了具有光谱敏感度的低相关性的所述多个第三像素130和所述多个第四像素140，因此可以获取高质量的颜色数据。
图2是示意性图示根据本发明构思的示例性实施例的包括滤色器阵列的图像传感器的框图，图3是示意性图示根据本发明构思的示例性实施例的包括图2中的图像传感器的图像处理装置的框图。
参照图2和3，图像传感器300可以包括像素阵列200、行译码器220、时序生成器240和CDS/ADC电路260。
像素阵列200可以包括根据本发明构思的示例性实施例的滤色器阵列100，以及光电转换层210，所述光电转换层210形成在滤色器阵列100之下并且包括多个光电转换元件，所述多个光电转换元件分别对应于滤色器阵列100的滤光器。像素阵列200可以包括用于输出入射光中包括的颜色数据和IR数据的多个像素。所述多个像素中的每个像素可以输出与通过滤色器阵列100的每个滤光器的入射光相对应的像素信号。光电转换元件可以包括光电二极管。
行译码器220可以响应于从时序生成器240输出的地址和控制信号来选择多个行中的一个行。CDS/ADC电路260可以响应于从时序生成器240输出的控制信号来对从像素阵列200输出的信号执行相关双采样(CDS)，对已经历CDS的信号执行模数(A/D)转换，并且输出数字信号。相应数字信号可以对应于已通过滤色器阵列100的相应滤光器的入射光的强度。
此外，根据本发明构思的示例性实施例，图像传感器300还可以包括输出缓冲器270和信号处理电路280。信号处理电路280可以实现为图3中所示的图像处理***的一部分。信号处理电路280可以基于多个像素信号或多个数字信号来生成图像数据和深度数据。输出缓冲器270可以由存储从CDS/ADC电路260输出的数字信号的多个缓冲器来实现。输出缓冲器270可以将数字信号输出到信号处理电路280。根据一个实施例，输出缓冲器270可以省略。
根据本发明构思的示例性实施例的图像处理***可以包括数字相机、嵌入有数字相机的移动电话、或者均包括数字相机的电子装置。该图像处理***可以处理二维图像数据或三维图像数据。该图像处理***可以包括根据本发明构思的示例性实施例的图像传感器300和用于控制图像传感器300的操作的处理器340。
根据本发明构思的示例性实施例的图像处理***还可以包括接口360和存储器380。接口360可以是图像显示装置或输入/输出装置。存储器380可以在处理器340的控制下存储从图像传感器300提供的数据以及使用从图像传感器300提供的数据而被处理的数据。
在下文中，将参照图1至3详细描述从滤色器阵列100和包括滤色器阵列100的图像传感器300感测颜色数据和IR数据的方法。为了简单说明，描述第一像素、第二像素、第三像素和第四像素分别是透明像素T、白色像素W、蓝色像素B和红色像素R的示例。此外，描述在具有3×3矩阵结构的子阵列中，单个透明像素T设置在子阵列的中心并且四个白色像素W分别设置在子阵列的角部的示例。此外，描述在行方向上排列的白色像素W之间设置两个蓝色像素B并且在行方向上在透明像素T的两侧设置两个红色像素R的示例。
图4是图示根据本发明构思的示例性实施例的获取颜色数据和IR数据的方法的流程图。
首先，将描述获取IR数据的方法。
在信号处理电路(例如，参见图2的附图标记280)或处理器(例如，参见图3的附图标记340)上加载像素信号。可以基于子阵列来加载像素信号。换言之，在信号处理电路或处理器上加载从至少一个子阵列输出的像素信号。
接下来，利用围绕透明像素T的白色像素W的像素信号将透明像素T内插到白色像素W中。就是说，通过考虑围绕透明像素T的白色像素W的边缘方向，生成与透明像素T的位置对应的内插信号。
随后，通过计算从透明像素T输出的像素信号和与透明像素T的位置对应的内插信号之间的差来获取IR数据。由于从围绕透明像素T的多个白色像素W生成内插信号，因此可以提高IR数据的精度。
以此方式，可以获取与每个子阵列相对应的IR数据。
收集与相应子阵列对应的IR数据并且进行映射，并且通过对相邻子阵列的IR数据进行比较来生成IR应用数据，例如深度数据或焦点数据。在实现3D图像时可以使用深度数据，并且在自动对焦或图像模糊处理时可以使用焦点数据。
在下文中，将描述获取颜色数据的方法。
在信号处理电路或处理器上加载从至少一个子阵列输出的像素信号之后，通过考虑围绕透明像素T的白色像素W的边缘方向来生成与透明像素T的位置相对应的内插信号。
基于与包括内插透明像素T的五个白色像素W相对应的像素信号的平均值，根据每个白色像素W的亮度差来计算权重。
此外，与每个白色像素W相邻的蓝色像素B和红色像素R的像素信号彼此进行比较，并且通过根据每个白色像素W的亮度差来反映权重，将每个白色像素W内插到绿色像素G。
因而，可以获取RGB颜色数据。由于蓝色像素B和红色像素R具有光谱敏感度的低相关性，因此白色像素W可以被有效地内插到绿色像素G，并且颜色数据中的噪声可以显著降低。
尽管参照本发明构思的示例性实施例描述了本发明构思，但是本发明构思不应被解释为受限于这里描述的实施例。本领域技术人员将理解，在不偏离本发明构思的精神和范围的情况下，可以进行许多形式和细节上的修改。
通过以上实施例可以看出，本申请提供了以下的技术方案。
技术方案1.一种滤色器阵列，包括：
多个第一像素，适于传送具有可见波长和红外IR波长的光；
多个第二像素，适于传送具有所述可见波长的光，并且设置成围绕所述多个第一像素中的每个第一像素的图案；
多个第三像素，适于传送具有所述可见波长中的第一波长范围的光；以及
多个第四像素，适于传送具有所述可见波长中的第二波长范围的光。
技术方案2.根据技术方案1所述的滤色器阵列，
其中所述多个第二像素设置成棋盘图案，以及
其中所述多个第一像素中的每个第一像素设置在与所述多个第二像素中的每个第二像素不同的行和列中。
技术方案3.根据技术方案1所述的滤色器阵列，其中所述多个第一像素和所述多个第二像素沿对角线方向交替设置。
技术方案4.根据技术方案1所述的滤色器阵列，其中所述多个第一像素和所述多个第二像素之和在像素总数的40％至60％的范围内。
技术方案5.根据技术方案4所述的滤色器阵列，其中所述多个第一像素的数目等于或小于所述多个第二像素的数目。
技术方案6.根据技术方案1所述的滤色器阵列，其中所述多个第三像素和所述多个第四像素随机地设置在除了所述多个第一像素和所述多个第二像素占据的空间之外的剩余空间中。
技术方案7.根据技术方案1所述的滤色器阵列，其中所述多个第三像素的数目等于所述多个第四像素的数目。
技术方案8.根据技术方案1所述的滤色器阵列，其中所述多个第三像素和所述多个第四像素中的每个包括选自红色滤光器、绿色滤光器、蓝色滤光器、青色滤光器、黄色滤光器和洋红色滤光器中的任一个。
技术方案9.根据技术方案8所述的滤色器阵列，其中所述多个第三像素包括相对于所述多个第四像素具有光谱敏感度的最低相关性的滤光器。
技术方案10.根据技术方案1所述的滤色器阵列，其中所述第一像素、所述第二像素、所述第三像素和所述第四像素分别包括透明像素、白色像素、蓝色像素和红色像素。
技术方案11.一种滤色器阵列，包括：
具有3×3矩阵结构的多个子阵列，
其中每个子阵列包括：
第一像素，适于传送具有可见波长和红外IR波长的光，并且设置在所述子阵列的中心；
多个第二像素，适于传送具有所述可见波长的光，并且分别设置在所述子阵列的角部；
多个第三像素，适于传送具有所述可见波长中的第一波长范围的光；以及
多个第四像素，适于传送具有所述可见波长中的第二波长范围的光。
技术方案12.根据技术方案11所述的滤色器阵列，其中所述子阵列中的所述第一像素、所述第二像素、所述第三像素和所述第四像素的比是1:4:2:2。
技术方案13.根据技术方案11所述的滤色器阵列，其中所述多个子阵列部分地共享除所述第一像素之外的像素。
技术方案14.根据技术方案11所述的滤色器阵列，其中所述多个第三像素和所述多个第四像素中的每个包括选自红色滤光器、绿色滤光器、蓝色滤光器、青色滤光器、黄色滤光器和洋红色滤光器中的任一个。
技术方案15.根据技术方案14所述的滤色器阵列，其中所述多个第三像素包括相对于所述多个第四像素具有光谱敏感度的最低相关性的滤光器。
技术方案16.根据技术方案11所述的滤色器阵列，其中所述多个第三像素设置在所述第一像素的顶部和底部，所述多个第四像素设置在所述第一像素T的侧面。
技术方案17.一种图像传感器包括：
滤色器阵列，包括：
多个第一像素，适于传送具有可见波长和红外IR波长的光；
多个第二像素，适于传送具有所述可见波长的光，并且设置成围绕所述多个第一像素中的每个第一像素的图案；
多个第三像素，适于传送具有所述可见波长中的第一波长范围的光；以及
多个第四像素，适于传送具有所述可见波长中的第二波长范围的光；以及
光电转换层，形成在所述滤色器阵列之下或之上。
技术方案18.一种操作图像传感器的方法，所述图像传感器包括多个滤色器阵列，每个滤色器阵列具有3×3矩阵结构并且包括第一像素和多个第二像素，所述第一像素适于传送具有可见波长和红外IR波长的光，并且设置在所述滤色器阵列的中心，而所述多个第二像素适于传送具有所述可见波长的光，并且分别设置在所述滤色器阵列的角部，所述方法包括：
通过使用围绕所述第一像素的所述多个第二像素，生成与所述第一像素的位置对应的内插信号；以及
根据从所述第一像素输出的像素信号和所述内插信号之间的差来生成红外IR数据。
技术方案19.根据技术方案18所述的方法，还包括：
基于所述第一像素和所述第二像素的每个像素信号和所述像素信号的平均值之间的亮度差来计算权重；以及
通过将第三像素和第四像素的像素信号进行比较并且反映所述权重来生成颜色数据，
其中所述第三像素和所述第四像素分别传送具有所述可见波长中的第一波长范围和第二波长范围的光。
技术方案20.根据技术方案19所述的方法，其中所述第一像素、所述第二像素、所述第三像素和所述第四像素分别包括透明像素、白色像素、蓝色像素和红色像素。

Claims (10)

1.一种图像传感器包括：
滤色器阵列，包括具有3×3矩阵结构的多个子阵列；
其中每个子阵列包括：
第一像素，被配置为传送具有可见波长和红外IR波长的光；
多个第二像素，被配置为传送具有所述可见波长的光，并且设置成围绕所述第一像素的图案，以分别设置在所述子阵列的角部；
多个第三像素，被配置为传送具有所述可见波长中的第一波长范围的光；以及
多个第四像素，被配置为传送具有所述可见波长中的第二波长范围的光；
光电转换层，形成在所述滤色器阵列之下或之上；以及
信号处理电路，耦合到所述光电转换层，并且被配置为通过使用围绕所述第一像素的所述多个第二像素，生成用于包含在每个子阵列中的所述第一像素的内插信号，根据从所述第一像素输出的每个像素信号和所述内插信号之间的差来生成IR数据，基于所述第一像素和所述第二像素的每个像素信号和所述像素信号的平均值之间的亮度差来计算权重，以及通过将第三像素和第四像素的像素信号进行比较并且反映所述权重来生成颜色数据。
2.根据权利要求1所述的图像传感器，其中所述多个第二像素设置成棋盘图案，以及
其中所述第一像素设置在与所述多个第二像素中的每个第二像素不同的行和列中。
3.根据权利要求1所述的图像传感器，其中所述第一像素和所述多个第二像素沿对角线方向交替设置。
4.根据权利要求1所述的图像传感器，其中所述多个第三像素和所述多个第四像素随机地设置在除了所述第一像素和所述多个第二像素占据的空间之外的剩余空间中。
5.根据权利要求1所述的图像传感器，其中所述多个第三像素的数目等于所述多个第四像素的数目。
6.根据权利要求1所述的图像传感器，其中所述多个第三像素和所述多个第四像素中的每个包括选自红色滤光器、绿色滤光器、蓝色滤光器、青色滤光器、黄色滤光器和洋红色滤光器中的任一个。
7.根据权利要求6所述的图像传感器，其中所述多个第三像素包括相对于所述多个第四像素具有光谱敏感度的最低相关性的滤光器。
8.根据权利要求1所述的图像传感器，其中所述第一像素、所述第二像素、所述第三像素和所述第四像素分别包括透明像素、白色像素、蓝色像素和红色像素。
9.一种操作图像传感器的方法，所述图像传感器包括多个滤色器阵列，每个滤色器阵列具有3×3矩阵结构并且包括第一像素和多个第二像素，所述第一像素适于传送具有可见波长和红外IR波长的光，并且设置在所述滤色器阵列的中心，而所述多个第二像素适于传送具有所述可见波长的光，并且分别设置在所述滤色器阵列的角部，所述方法包括：
通过使用围绕所述第一像素的所述多个第二像素，生成与所述第一像素的位置对应的内插信号；
根据从所述第一像素输出的像素信号和所述内插信号之间的差来生成红外IR数据；
基于所述第一像素和所述第二像素的每个像素信号和所述像素信号的平均值之间的亮度差来计算权重；以及
通过将第三像素和第四像素的像素信号进行比较并且反映所述权重来生成颜色数据，
其中所述第三像素和所述第四像素分别传送具有所述可见波长中的第一波长范围和第二波长范围的光。
10.根据权利要求9所述的方法，其中所述第一像素、所述第二像素、所述第三像素和所述第四像素分别包括透明像素、白色像素、蓝色像素和红色像素。
CN201510293267.9A 2014-12-01 2015-06-01 图像传感器以及操作图像传感器的方法 Active CN106210572B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0169444 2014-12-01
KR1020140169444A KR102286136B1 (ko) 2014-12-01 2014-12-01 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법

Publications (2)

Publication Number Publication Date
CN106210572A CN106210572A (zh) 2016-12-07
CN106210572B true CN106210572B (zh) 2020-09-04

Family

ID=56079076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510293267.9A Active CN106210572B (zh) 2014-12-01 2015-06-01 图像传感器以及操作图像传感器的方法

Country Status (3)

Country Link
US (1) US9535197B2 (zh)
KR (1) KR102286136B1 (zh)
CN (1) CN106210572B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6395169B2 (ja) * 2015-04-20 2018-09-26 シャープ株式会社 集積回路、及び測定装置
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
US10060793B2 (en) * 2016-01-19 2018-08-28 Xerox Corporation Spectral and spatial calibration illuminator and system using the same
KR102395992B1 (ko) * 2017-04-07 2022-05-10 삼성전자주식회사 광대역 컬러 필터를 포함하는 이미지 센서
US10425597B2 (en) * 2017-06-12 2019-09-24 Omnivision Technologies, Inc. Combined visible and infrared image sensor incorporating selective infrared optical filter
US10609309B1 (en) 2017-06-12 2020-03-31 Omnivision Technologies, Inc. Combined visible and infrared image sensor incorporating selective infrared optical filter
KR102520487B1 (ko) * 2018-02-21 2023-04-12 에스케이하이닉스 주식회사 이미지 센싱 장치
CN110809881B (zh) * 2018-08-31 2021-08-24 深圳市大疆创新科技有限公司 图像处理***和方法
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
RU2712436C1 (ru) * 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
EP4109895A4 (en) * 2020-02-19 2023-07-26 Sony Group Corporation IMAGE PROCESSING METHOD AND SENSING DEVICE
CN112261264B (zh) * 2020-10-22 2022-09-02 Oppo广东移动通信有限公司 图像传感器、摄像头组件和电子设备
CN114584725A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种图像传感器及成像装置
KR102515325B1 (ko) * 2021-02-04 2023-03-29 아주대학교산학협력단 광전 소자를 구비하는 바이오 센싱 장치
CN113038046B (zh) * 2021-03-23 2023-07-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309429A (zh) * 2007-05-15 2008-11-19 索尼株式会社 处理视频信号的设备和方法、成像设备和计算机程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080079748A1 (en) 1997-09-13 2008-04-03 Phan Gia C Image sensor and image data processing system
CN101361373B (zh) 2006-01-24 2011-06-15 松下电器产业株式会社 固态成像装置、信号处理方法及照相机
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
JP5454075B2 (ja) 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101739880B1 (ko) * 2010-12-01 2017-05-26 삼성전자주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치
KR20120119279A (ko) 2011-04-21 2012-10-31 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 3차원 이미지 센서
KR101744761B1 (ko) * 2012-11-30 2017-06-09 한화테크윈 주식회사 영상처리장치 및 방법
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9338350B2 (en) * 2014-05-30 2016-05-10 Semiconductor Components Industries, Llc Image sensors with metallic nanoparticle optical filters

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309429A (zh) * 2007-05-15 2008-11-19 索尼株式会社 处理视频信号的设备和方法、成像设备和计算机程序

Also Published As

Publication number Publication date
CN106210572A (zh) 2016-12-07
KR102286136B1 (ko) 2021-08-06
KR20160065464A (ko) 2016-06-09
US20160154151A1 (en) 2016-06-02
US9535197B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
CN106210572B (zh) 图像传感器以及操作图像传感器的方法
JP6651478B2 (ja) 画像センサにおける画素ビニング
KR102354991B1 (ko) 픽셀 회로 및 이를 포함하는 이미지 센서
JP6584451B2 (ja) カラーエイリアシングを最小化するｒｇｂｃカラーフィルタアレイのパターン
TWI398948B (zh) 熔成式多陣列彩色影像感測器、成像系統及擷取一影像的方法
US10021358B2 (en) Imaging apparatus, imaging system, and signal processing method
US10015416B2 (en) Imaging systems with high dynamic range and phase detection pixels
CN106341628B (zh) 具有宽动态范围的图像传感器、像素电路和操作方法
JP5589146B2 (ja) 撮像素子及び撮像装置
US20230319430A1 (en) Image sensor
US8350935B2 (en) Color filter array, image sensor including the color filter array and system including the image sensor
JP2011085936A (ja) イメージセンサーのカラーフィルターアレイ及びイメージセンサーから出力された信号を補間する方法
US9313432B2 (en) Image sensor having depth detection pixels and method for generating depth data with the image sensor
US11616934B2 (en) Image sensor
US20190139189A1 (en) Image remosaicing
US20210409623A1 (en) Image sensor and binning method thereof
US20170237957A1 (en) Image sensor and method of generating restoration image
US9716867B2 (en) Color filter array and image sensor having the same
US20230353884A1 (en) Image processing system and image processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant