CN115776617A - 像素结构、图像传感器、设备及图像处理方法、控制方法 - Google Patents

像素结构、图像传感器、设备及图像处理方法、控制方法 Download PDF

Info

Publication number
CN115776617A
CN115776617A CN202111038543.9A CN202111038543A CN115776617A CN 115776617 A CN115776617 A CN 115776617A CN 202111038543 A CN202111038543 A CN 202111038543A CN 115776617 A CN115776617 A CN 115776617A
Authority
CN
China
Prior art keywords
photoelectric conversion
conversion element
image
pixel
conversion elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111038543.9A
Other languages
English (en)
Inventor
张盛鑫
徐辰
任冠京
汪小勇
侯佳庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SmartSens Technology Shanghai Co Ltd
Original Assignee
SmartSens Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SmartSens Technology Shanghai Co Ltd filed Critical SmartSens Technology Shanghai Co Ltd
Priority to CN202111038543.9A priority Critical patent/CN115776617A/zh
Priority to US17/564,882 priority patent/US11848344B2/en
Publication of CN115776617A publication Critical patent/CN115776617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提出一种像素结构、图像传感器、设备及图像处理方法、控制方法，像素结构包括多个第一像素和多个第二像素，第一像素中采用阵列排布的高灵敏度的第一光电转换元件，第二像素中采用阵列排布的低灵敏度的第二光电转换元件，从而实现图像传感器兼容识别高亮信息和弱光信息的目的，提高动态范围；第一光电转换元件和第二光电转换元件采用独立的输出电路的设计方式，实现电信号的单独输出，互不干扰，提高了识别的可靠性及信号利用的灵活性；基于本发明像素结构的布局设计，还可以有效提高图像传感器的整体性能。

Description

像素结构、图像传感器、设备及图像处理方法、控制方法
技术领域
本发明属于图像传感器技术领域，尤其涉及一种像素结构、图像传感器、设备及图像处理方法、控制方法。
背景技术
图像传感器是组成数字摄像头的重要组成部分。根据元件的不同，可分为CCD(Charge-coupled Device，电荷耦合元件)和CMOS(Complementary Metal OxideSemiconductor，金属氧化物半导体元件)两大类。随着CMOS集成电路制造工艺特别是CMOS图像传感器设计及制造工艺的不断发展，CMOS图像传感器已经逐渐取代CCD图像传感器成为主流，CMOS图像传感器相比较具有工业集成度更高、功率更低等优点。
现有标准图像传感器具有大致60dB至70dB的有限动态范围。然而，现实世界的亮度的动态范围要大得多。自然景象通常跨越90dB及以上的范围。为同时捕获强光及阴影，已在图像传感器中使用了高动态范围(HDR)技术来增大所捕获的动态范围。增大动态范围的最常见技术为将用标准(低动态范围)图像传感器捕获的多个曝光合并成单个线性高动态图像，所述单个线性高动态范围图像具有比单个曝光图像大得多的动态范围。然而，现有技术难以再兼顾图像传感器性能的同时使得动态范围得以有效提升。另外，有时需要拍摄具有闪烁的环境，如汽车上配备了多种车载装置，其中包括用于识别交通标志的图像传感器，其中，交通标志中包括闪烁频率极高的LED灯构成的信号灯。传统的车载用图像传感器通过采用单一像素进行识别，在面对弱光信息和高亮信息时无法兼容识别，造成对交通标志的误判，进而可能造成重大的交通事故。
因此，如何提供一种像素结构、图像传感器、电子设备及图像处理方法、图像传感器控制方法，以解决现有技术中的上述问题实属必要。
发明内容
本发明的目的在于提供一种图像传感器，旨在解决传统图像传感器动态范围难以得到有效提升以及存在的无法兼容识别弱光信息和高亮信息等问题。
本发明实施例的第一方面提了一种像素结构，包括多个第一像素和多个第二像素，其中，所述第一像素包括：
第一光电转换元件，所述第一光电转换元件呈阵列排布；
第一传输晶体管，耦接至第一浮动扩散区，用于将所述第一光电转换元件累积的电荷转移至所述第一浮动扩散区；
第一输出电路，耦接至所述第一浮动扩散区，用于对所述第一浮动扩散区的电压信号进行输出；
所述第二像素包括：
第二光电转换元件，所述第二光电转换元件呈阵列排布，且所述第二光电转换元件的灵敏度小于所述第一光电转换元件的灵敏度；
第二传输晶体管，耦接至第二浮动扩散区，用于将所述第二光电转换元件累积的电荷转移至所述第二浮动扩散区；
第二输出电路，耦接至所述第二浮动扩散区，用于对所述第二浮动扩散区的电压信号进行输出。
可选地，所述第二像素还包括：
电荷存储器件，所述电荷存储器件的一端耦接至所述第二浮动扩散区，所述电荷存储器件的另一端接地或接可变电压。
可选地，每一所述第二光电转换元件设置于四个阵列排布的所述第一光电转换元件的中心位置，且相邻两行和/或两列的所述第二光电转换元件之间对应设置有相邻的两行和/或两列的所述第一光电转换元件。
可选地，所述第一光电转换元件分为多个第一光电转换元件组，多个所述第一光电转换元件组呈阵列排布，每一所述第一光电转换元件组包括相邻行相邻列排布的四个所述第一光电转换元件，每一所述第二光电转换元件设置于每一所述第一光电转换元件组的四个所述第一光电转换元件的中心位置，且相邻所述第一光电转换元件组之间未设置所述第二光电转换元件；
每一所述第一光电转换元件组内的各所述第一光电转换元件分别通过一所述第一传输晶体管耦接至同一所述第一浮动扩散区和同一所述第一输出电路。
可选地，同一所述第一浮动扩散区包括四个与所述第一光电转换元件对应耦接的浮动扩散节点；和/或，同一所述第一输出电路包括四个与所述第一光电转换元件对应耦接的子输出电路。
可选地，所述像素结构还包括：
第一透镜，每一所述第一透镜覆盖在每一所述第一光电转换元件组上并将入射到所述第一光电转换元件上和所述第二光电转换元件上的光聚焦；
和/或，所述像素结构还包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件组以及对应位于其中心位置的所述第二光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器。
可选地，所述像素结构还包括：
第一透镜，每一所述第一透镜覆盖每一所述第一光电转换元件上并将入射到所述第一光电转换元件的光聚焦；
第二透镜，每一所述第二透镜覆盖在每一所述第二光电转换元件上，将入射至对应所述第二光电转换元件的光聚焦；
和/或，所述像素结构还包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，其中，多个第二滤色器分为多组第二滤色器组，每一组第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器。
可选地，所述像素结构还包括：
虚拟透镜，位于四个所述第一透镜的中心位置，所述虚拟透镜及所述第二透镜填充任意四个所述第一透镜的中心位置。
可选地，每一所述第一光电转换元件组中的四个第一光电转换元件矩阵设置并形成行方向的间隔区域和列方向的间隔区域；
与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，所述第一输出电路沿每一所述第一光电转换元件组中的行方向和/或列方向的间隔区域设置。
可选地，所述第一光电转换元件分为多个第一光电转换元件组，多个所述第一光电转换元件组阵列排布，每一所述第一光电转换元件组包括相邻行相邻列排布的四个所述第一光电转换元件，每一所述第二光电转换元件设置于相邻行相邻列排布的四个所述第一光电转换元件组的中心位置；
每一所述第一光电转换元件组内的各所述第一光电转换元件分别通过一所述第一传输晶体管耦接至同一所述第一浮动扩散区和同一所述第一输出电路。
可选地，同一所述第一浮动扩散区包括所述第一光电转换元件两两共享的两个共享浮动扩散节点；和/或，同一所述第一输出电路包括四个所述第一光电转换元件共享的共享输出电路。
可选地，所述像素结构包括：
第一透镜，每一所述第一透镜覆盖在所述第一光电转换元件组上，并将入射到所述第一光电转换元件的光聚焦；
第二透镜，每一所述第二透镜覆盖在每一所述第二光电转换元件上，并将入射到所述第二光电转换元件的光聚焦；
和/或，所述像素结构还包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件组设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，其中，多个第二滤色器分为多组第二滤色器组，每一组第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器。
可选地，每一所述第一光电转换元件组中的四个第一光电转换元件矩阵设置并形成行方向的间隔区域和列方向的间隔区域，与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部围成一开口，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，所述第一输出电路沿每一所述第一光电转换元件组中的行方向和/或列方向的间隔区域设置。
可选地，所述第一光电转换元件分为多个第一光电转换元件组，多个第一光电转换元件组呈阵列排布，每一所述第一光电转换元件组包括两列相邻排布的两个第一光电转换元件，每一所述第二光电转换元件设置于相邻行相邻列排布的四个所述第一光电转换元件组的中心位置，且相邻两列所述第二光电转换元件之间设置有相邻两列的所述第一光电转换元件；
每一所述第一光电转换元件组内的各所述第一光电转换元件分别通过一所述第一传输晶体管耦接至同一所述第一浮动扩散区和同一所述第一输出电路。
可选地，同一所述第一浮动扩散区包括两个所述第一光电转换元件两两共享的共享浮动扩散节点；和/或，同一所述第一输出电路包括两个所述第一光电转换元件共享的共享输出电路。
可选地，所述像素结构包括：
第一透镜，每一所述第一透镜覆盖在每一所述第一光电转换元件上，并将入射到所述第一光电转换元件的光聚焦；
第二透镜，每一所述第二透镜覆盖在每一所述第二光电转换元件上，并将入射至所述第二光电转换元件的光聚焦；
和/或，所述像素结构包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组所述第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，多个第二滤色器分为多组第二滤色器组，其中，每一组所述第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器，或者，包括阵列排布的透射不同颜色的波长分量的八个第二滤色器。
可选地，每一第一光电转换元件组中的两个第一光电转换元件沿列方向排布形成行方向的间隔区域，相邻两组第一光电转换元件组沿行方向排布形成列方向的间隔区域；
与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，每一所述输出电路沿每一所述第一光电转换元件组中的行方向的间隔区域和/或对应的相邻两组第一光电转换元件组的列方向的间隔区域设置。
本发明另一方面还提供一种图像传感器，包括如上述方案中任意一项所述的像素结构。
本发明再一方面还提供一种电子设备，包括如上述方案中任意一项所述的图像传感器。
本发明又一方面还提供一种图像传感器的图像处理方法，适用于如上述方案中任意一项所述的图像传感器，所述图像处理方法包括：
基于所述第一光电转换元件得到第一图像；
基于所述第二光电转换元件得到第二图像；
通过插值处理使所述第二图像中第二光电转换元件对应的像素值的数量与所述第一图像中第一光电转换元件对应的像素值的数量相同。
可选地，所述插值处理的方式包括：
对所述第二图像进行至少一次倍增插值处理得到倍增图像，所述倍增插值处理使得倍增插值处理后图像中像素值的数量为当前插值图像中像素值的数量的至少两倍，其中，所述倍增插值处理后图像中的像素值包括第一像素值及第二像素值，所述第一像素值与所述当前插值图像中的像素值一一对应，所述第二像素值基于所述当前插值图像中的像素值插值得到。
本发明还一方面提供一种图像传感器的控制方法，适用于如上述方案中任意一项所述的图像传感器，所述控制方法包括：
读出所述第一像素的信息，具体包括：
复位第一像素中的存储区域，并量化得到第一图像复位信号；
传输第一光电转换元件对应的图像信息，并量化得到第一图像采样信号；
读出所述第二像素的信息，具体包括：
传输第二光电转换元件对应的图像信息，并量化得到第二图像采样信号；
其中，基于所述第一图像复位信号及所述第一图像采样信号得到所述第一像素的第一实际图像信号，基于所述第二图像采样信号得到所述第二像素的第二实际图像信号。
可选地，读出所述第二像素的信息的过程还包括：
复位第二像素中的存储区域，并量化得到第二图像复位信号，基于所述第二图像复位信号及所述第二图像采样信号得到所述第二实际图像信号。
可选地，所述第一像素的读出方式包括在低转换增益模式及高转换增益模式下读出中的至少一种，其中，当对所述第一像素均采用低转换增益模式读出及高转换增益模式读出时，所述第一像素的读出方法包括步骤：
在低转换增益模式下复位第一像素中的存储区域，并量化得到低转换增益模式下的第一图像复位信号；
在高转换增益模式下复位第一像素中的存储区域，并量化得到高转换增益模式下的第一图像复位信号；
在高转换增益模式下传输第一光电转换元件对应的图像信息，并量化得到在高转换增益模式下的第一图像采样信号；
在低转换增益模式下重新分配第一光电转换元件对应的图像信息，并量化得到在低转换增益模式下的第一图像采样信号；
其中，基于低转换增益模式下的第一图像复位信号和第一图像采样信号，以及高转换增益模式下的第一图像复位信号和第一图像采样信号，得到所述第一像素的所述第一实际图像信号。
本发明采用第一像素和第二像素，第一像素中采用阵列排布的灵敏度高(如大面积)的第一光电转换元件曝光并获取弱光信息，第二像素中采用阵列排布的低灵敏度(如小面积)的第二光电转换元件曝光并获取高亮信息，从而实现图像传感器兼容识别高亮信息和弱光信息的目的，提高动态范围；另外，第一光电转换元件和第二光电转换元件采用独立的输出电路的设计方式，实现电信号的单独输出，互不干扰，提高了识别的可靠性及信号利用的灵活性；此外，基于本发明像素结构的布局设计，还可以有效提高图像传感器的整体性能。
附图说明
图1为本发明实施例提供的像素结构的第一种像素电路示意图；
图2为本发明实施例提供的像素结构的第二种像素电路示意图；
图3为本发明实施例提供的像素结构的第一种结构示意图；
图4为本发明实施例提供的像素结构的第二种结构示意图；
图5为本发明实施例提供的像素结构的第三种结构示意图；
图6为本发明实施例提供的像素结构的第四种结构示意图；
图7为本发明实施例提供的像素结构的第五种结构示意图；
图8为本发明实施例提供的像素结构的第六种结构示意图；
图9为本发明实施例提供的像素结构的第七种结构示意图；
图10为本发明实施例提供的图像处理方法的倍增插值处理过程示意图；
图11为本发明的控制方法中第一像素和第二像素读出方式的第一种示意图；
图12为本发明的控制方法中第一像素和第二像素读出方式的第二种示意图；
图13为本发明的控制方法中第一像素和第二像素读出方式的第三种示意图；
图14为本发明提供的一种像素结构的布局示意图；
图15为本发明提供的另外一种像素结构的布局示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一：
本发明实施例的第一方面提了一种像素结构。
本发明提供的像素结构包括多个第一像素和多个第二像素，如图1或者图2所示，第一像素包括：
第一光电转换元件P1，以将光信号转换为电信号，可以用于曝光并捕捉弱光信息，第一光电转换元件P1阵列排布；另外，第一光电转换元件P1包括但不限于光电二极管，如可以是Pin型光电二极管。
第一传输晶体管TX1，第一传输晶体管TX1耦接至第一浮动扩散区，用于将第一光电转换元件P1累积的电荷转移至第一浮动扩散区。需要说明的是，第一浮动扩散区可以是一个共享的电荷收集区域，也可以是由若干个浮动扩散点构成，各个浮动扩散点收集的电荷即为第一浮动扩散区收集的电荷。
第一输出电路，第一输出电路耦接至第一浮动扩散区，用于对第一浮动扩散区的电压信号进行输出；例如，第一输出电路可以包括第一复位晶体管RST1，耦接至第一电压端VDD1并用于重置第一浮动扩散区的电压；另外，第一输出电路还可以进一步包括第一行选择晶体管RS1和第一源极跟随二极管SF1，第一源极跟随二极管SF1的栅极连接至第一浮动扩散区。当然，第一输出电路还可以是其他现有的用于图像传感器电荷信号输出的电路结构。
第二像素包括：第二光电转换元件P2，以将光信号转换为电信号，可以用于曝光并捕捉高亮光信息，第二光电转换元件P2阵列排布，另外，第二光电转换元件P2包括但不限于光电二极管，如可以是Pin型光电二极管。
其中，第二光电转换元件的灵敏度小于所述第一光电转换元件的灵敏度。可以使第一光电转换元件P1的光接受面对应的面积大于第二光电转换元件P2的光接受面的面积，使第二光电转换元件具有更低的灵敏度。
第二传输晶体管TX2，第二传输晶体管TX2耦接至第二浮动扩散区，用于将第二光电转换元件P2累积的电荷转移至第二浮动扩散区。
第二输出电路，第二输出电路耦接至第二浮动扩散区，用于对第二浮动扩散区的电压信号进行输出。例如，第二输出电路可以包括第二复位晶体管RST2，耦接至第二电压端VDD2并用于重置第二浮动扩散区的电压；另外，第二输出电路还可以进一步包括第二行选择晶体管RS2和第二源极跟随二极管SF2，第二源极跟随二极管SF2的栅极连接至第二浮动扩散区。当然，第二输出电路还可以是其他现有的用于图像传感器电荷信号输出的电路结构。
另外，作为示例，第一像素和第二像素还可以分别与行驱动电路和列驱动电路耦接，其中，行驱动电路用于向第一像素和第二像素提供行控制信号，列驱动电路用于向第一像素和第二像素提供列选择信号。
工作时，行驱动电路通过行信号总线分别输出不同的控制信号至各晶体管，以控制对应的晶体管导通和关断，进而选择输出各列信号总线的电信号至后端信号处理单元，以及对对应的浮动扩散区进行复位初始化等。
大面积的第一光电转换元件P1可以通过持续曝光并获取弱光信息，小面积的第二光电转换元件P2可以通过持续曝光并获取高亮信息，从而实现图像传感器兼容识别高亮信息和弱光信息的目的，进而实现识别不同光亮的交通标志，提高识别精准度。当然，第二光电转换元件P2也可以采用间断曝光的方式工作。另外，第一光电转换元件P1和第二光电转换元件P2采用独立的输出电路结构，实现电信号的单独输出，互不干扰，提高了识别的可靠性及信号利用的灵活性。
作为示例，第二像素还包括：电荷存储器件(例如，可以是电容C)，电荷存储器件的一端耦接至第二浮动扩散区，另一端接地或者接可变电压。其中，电荷存储元件可以用于存储由第二传输晶体管TX2产生的电荷；从而有利于提高第二像素的满阱容量，在降低光电转换元件灵敏度的同时提高满阱。可选地，电容C可为单独的电容器件或者为寄生电容。
在一示例中，每一第二光电转换元件P2设置于四个阵列排布的第一光电转换元件P1的中心位置。进一步，相邻两行的第二光电转换元件P2之间设置有相邻两行的第一光电转换元件P1，也就是说，相邻两行的第二光电转换元件P2之间具有两行相邻设置的第一光电转换元件P1；或者，相邻两列的第二光电转换元件P2之间设置有相邻两列的第一光电转换元件P1；或者，相邻两行的第二光电转换元件P2之间设置有相邻两行的第一光电转换元件P1，同时，相邻两列的第二光电转换元件P2之间设置有相邻两列的第一光电转换元件P1。
需要说明的，这里“相邻两行的第二光电转换元件P2之间”是根据实施例附图本领域技术人员可以理解的位置，其并非严格代表两行第二光电转换元件P2相对形成空间，例如，之间可以理解为两行第二光电转换元件P2中相对的第二光电转换元件P2的中心之间的区域。
具体来说，第一光电转换元件P1阵列排布，第二光电转换元件P2阵列排布，每一第二光电转换元件P2设置于四个阵列排布的第一光电转换元件P1的中心位置且相邻两行和/两列的第二光电转换元件P2之间对应设置有相邻两行和/活两列的第一光电转换元件P1。其中，一个第二光电转换元件P2可对应两个第一光电转换元件P1或者对应四个第一光电转换元件P1设置。
如图3所示，相邻行相邻列的四个第一光电转换元件组成一个第一光电转换元件组，第一光电转换元件组的中心位置设置一个第二光电转换元件P2；或者，如图7所示，两列单行的两个第一光电转换元件组成一个第一光电转换元件组，行方向排布的两个第一光电转换元件组之间形成由两个第二光电转换元件P2。当然，对于第一光电转换元件P1和第二光电转换元件P2的具体分布结构可以根据本发明技术方案的设计而依据实际需求具体设定。
同时，设置在第二光电转换元件P2的多个第一光电转换元件P1可根据布局方式对应分别通过传输晶体管耦接至同一浮动扩散区，即，多个第一光电转换元件P1耦合至第一浮动扩散区，对应的，第二光电转换元件P2耦合至第二浮动扩散区。进一步，两种类型的光电转换元件分别通过同一输出电路输出电压信号。例如，如图1所示，四个第一光电转换元件P1通过各自的传输晶体管耦接至第一浮动扩散区，第二光电转换元件P2通过对应的传输晶体管耦接至第二浮动扩散区；或者如图2所示，两个第一光电转换元件P1通过各自的传输晶体管耦接至第一浮动扩散区，第二光电转换元件P2通过对应的传输晶体管耦接至第二浮动扩散区。另外，在其他实施例中，具体并联个数可以根据第一光电转换元件P1和第二光电转换元件P2的分布及需求具体设定。
另外，第一输出电路的输出端和第二输出电路的输出端可共接至同一输出总线上(如图1和图2所示)，或者，二者可以分开连接至不同输出总线上，具体可以根据图像传感器的布局以及实际需求对应设置。
第一光电转换元件P1和第二光电转换元件P2交叉阵列排布，相邻行和相邻列的第一光电转换元件P1和第二光电转换元件P2之间预留有多个有源区，各传输晶体管、各复位晶体管、各行选择晶体管和各源极跟随二极管对应设置在临近的光电二极管的有源区，从而构成对应的大小像素。
实施例二
在实施例一的基础上进行细化，如图3所示，在一个实施例中，参见图4和6所示，第一光电转换元件P1分为多个第一光电转换元件组，多个第一光电转换元件组阵列排布，每一第一光电转换元件组包括相邻行相邻列排布的四个第一光电转换元件P1，每一第二光电转换元件P2设置于每一第一光电转换元件组的四个第一光电转换元件P1的中心位置，进一步，每一所述第二光电转换元件设置于每一所述第一光电转换元件组的四个所述第一光电转换元件的中心位置，且相邻第一光电转换元件组之间未设置第二光电转换元件P2；
每一第一光电转换元件组内的各第一光电转换元件P1分别通过一第一传输晶体管TX1耦接至同一第一浮动扩散区和同一第一输出电路。
本实施例中，每四个相邻行相邻列的第一光电转换元件P1构成一个第一光电转换元件组，同时，每一组内的四个第一光电转换元件P1通过各自的传输晶体管耦接至同一第一浮动扩散区，对应连接的四个第一传输晶体管TX1接收同一控制信号并同步导通或者关断，进而将四个第一光电转换元件P1的电荷反馈至同一第一浮动扩散区，并通过共同耦接的第一输出电路输出电压信号，实现第一像素的功能。
作为示例，同一所述第一浮动扩散区包括四个与所述第一光电转换元件P1对应耦接的浮动扩散节点；也就是说，每个第一光电转换元件P1对应一个传输晶体管，并且，对应一个浮动扩散点，进而，一个第一光电转换元件组中，四个浮动扩散点构成了一第一浮动扩散区。
作为示例，同一所述第一输出电路包括四个与所述第一光电转换元件P1对应耦接的子输出电路。也就是说，该示例中，每个第一光电转换元件P1对应一个子输出电路，进而，一个第一光电转换元件组中，四个子输出电路构成了一第一输出电路。在一可选示例中，每一个子输出电路可以包括复位晶体管、源级跟随晶体管以及行选择晶体管。
同时，基于图3所示的阵列结构，为了实现光信号的入射以及对不同颜色的光信号的透射，在一个实施例中，如图4所示，像素结构还包括：
第一透镜ML1，每一第一透镜ML1覆盖在每一第一光电转换元件组上并将入射到第一光电转换元件P1上和第二光电转换元件P2上的光聚焦。
另外，像素结构还可以包括多个第一滤色器，每一第一滤色器相对于每一第一光电转换元件组(如，也可以是第一透镜ML1)设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器。
作为示例，每一组第一滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
本实施例中，第一光电转换元件组的各第一光电转换元件P1及设置在第一光电转换元件组内的第二光电转换元件P2设置有相同的第一透镜ML1和第一滤色器，相邻行和相邻列的第一光电转换元件组设置不同的第一滤色器，进而对不同颜色的不同波长分量进行透射，在光电二极管上产生不同大小的电荷。
同时，基于图3所示的阵列结构，为了实现光信号的入射以及对不同颜色的光信号的透射，在另一个实施例中，如图6所示，像素结构还包括：
第一透镜ML1，每一第一透镜ML1覆盖在相邻行相邻列排布的四个每一第一光电转换元件组中相邻四个第一光电转换元件P1上，并将入射到第一光电转换元件P1的光聚焦；
第二透镜ML2，每一第二透镜ML2覆盖在每一第二光电转换元件P2上，并将入射到第二光电转换元件P2的光聚焦。
另外，像素结构还可以包括：
多个第一滤色器，每一第一滤色器相对于每一第一透镜ML1设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一第二滤色器相对于每一第二光电转换元件P2的光接收面设置，其中，多个第二滤色器分为多组第二滤色器组，每一组第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器。
作为示例，每一组第一滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
作为示例，每一组第二滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
本实施例中，第一透镜ML1覆盖在相邻行相邻列排布的四个每一第一光电转换元件组中相邻四个第一光电转换元件P1上，第一滤色器对应于第一光电转换元件P1(如，也可以是第一透镜ML1)设置。
而设置在第一光电转换元件组内的第二光电转换元件P2独立设置有第二透镜ML2和对应的滤色器。其中，相邻行相邻列的四个第一滤色器可透射蓝色B、绿色Gr、绿色Gb和红色R的波长分量。
作为示例，本实施例中，每一第一光电转换元件P1设置有一对应的第一透镜ML1以及对应的第一滤色器，同时，每一第二光电转换元件P2设置有一对应的第二透镜ML2以及对应的第二滤色器，且为了实现像素结构的平衡和稳定，在第一光电转换元件组之间未设置第二光电转换元件P2的中心位置还覆盖有虚拟透镜ML3，其位于四个所述第一透镜的中心位置，所述虚拟透镜ML3及所述第二透镜ML2填充任意四个所述第一透镜的中心位置。
在实施例一的基础上进行细化，如图3所示，在一个实施例中，参见图5所示，第一光电转换元件P1分为多个第一光电转换元件组，多个第一光电转换元件组阵列排布，每一第一光电转换元件组包括相邻行相邻列排布的四个第一光电转换元件P1，每一第二光电转换元件P2设置于每一第一光电转换元件组的四个第一光电转换元件P1的中心位置，进一步，每一所述第二光电转换元件P2设置于相邻行相邻列排布的四个所述第一光电转换元件组的中心位置，且相邻第一光电转换元件组之间未设置第二光电转换元件P2；
每一第一光电转换元件组内的各第一光电转换元件P1分别通过一第一传输晶体管TX1耦接至同一第一浮动扩散区和同一第一输出电路。
作为示例，同一所述第一浮动扩散区包括所述第一光电转换元件P1两两共享的两个共享浮动扩散节点；也就是说，每个第一光电转换元件P1对应一个传输晶体管，并且，每两个第一光电转换元件P1对应一个浮动扩散点，进而，一个第一光电转换元件组中，两个浮动扩散点构成了一第一浮动扩散区。
作为示例，同一所述第一输出电路包括四个所述第一光电转换元件共享的共享输出电路。也就是说，该示例中，四个第一光电转换元件P1共用一个共享输出电路。在一可选示例中，该共享输出输出电路可以包括复位晶体管、源级跟随晶体管以及行选择晶体管。
作为示例，每一所述第一光电转换元件组中的四个第一光电转换元件矩阵设置并形成行方向的间隔区域和列方向的间隔区域；
与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，所述第一输出电路沿每一所述第一光电转换元件组中的行方向和/或列方向的间隔区域设置，即，所述第一输出电路中的各个晶体管可以设置在所述行方向的间隔区域，或者，设置在所述列方向的间隔区域，或者，在两种间隔区域中均有布置。
同时，基于图3所示的阵列结构，为了实现光信号的入射以及对不同颜色的光信号的透射，在一个实施例中，如图5所示，像素结构还包括：
第一透镜ML1，每一第一透镜ML1覆盖每一第一光电转换元件组上并将入射到第一光电转换元件P1的光聚焦；
第二透镜ML2，第二透镜ML2覆盖在每一所述第二光电转换元件P2上，并将入射至对应第二光电转换元件P2的光聚焦。
另外，像素结构还可以包括：
多个第一滤色器，每一第一滤色器相对于每一第一光电转换元件组设置，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器。该示例中，每一组的四个第一光电转换元件P1对应具有同种颜色滤色器。
多个第二滤色器，每一第二滤色器相对于每一第二光电转换元件P2的光接收面设置，其中，多个第二滤色器分为多组第二滤色器组，每一组第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器。
作为示例，每一组第一滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
作为示例，每一组第二滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
本实施例中，第一透镜ML1覆盖在相邻行相邻列排布的四个每一第一光电转换元件组中相邻四个第一光电转换元件P1上，第一滤色器对应第一透镜ML1设置，即相邻行相邻列排布的四个每一第一光电转换元件组中相邻四个第一光电转换元件P1上设置有相同的滤色器，可对相同颜色的波长分量进行透射。
而设置在第一光电转换元件组内的第二光电转换元件P2独立设置有第二透镜ML2和对应的滤色器，且相邻行相邻列的四个第一滤色器可透射蓝色B、绿色Gr、绿色Gb和红色R的波长分量。
作为示例，参见图14所示，每一所述第一光电转换元件组中的四个第一光电转换元件矩阵设置并形成行方向的间隔区域和列方向的间隔区域；其中，图14中示出了两组第一光电转换元件形成行方向间隔区域100以及两组第一光电转换元件形成列方向间隔区域200；
其中，与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部围成一开口，并通过连接线与同一所述第一浮动扩散区SF1及同一所述第一输出电路连接，所述第一输出电路沿每一所述第一光电转换元件组中的行方向和/或列方向的间隔区域设置，其中，图14所示的示例中，第一输出电路沿行方向间隔区域100中，该示例中，第一输出电路包括一个复位晶体管RST1、一个源极跟随晶体管SF1以及一个行选择晶体管RS1。
进一步示例中，可以将第二输出电路布置在列方向和/或行方向间隔区域中，图14所示的示例中，第一输出电路沿列方向间隔区域200中，该示例中，第二输出电路包括一个复位晶体管RST2、一个源极跟随晶体管SF2以及一个行选择晶体管RS2。当然，对于第一输出电路和第二输出电路的布置还可以是实现本发明方案的其他布局方式。
实施例三
在实施例一的基础上进行细化，如图7所示，在一个实施例中，第一光电转换元件P1分为多个第一光电转换元件组，多个第一光电转换元件组阵列排布，每一所述第一光电转换元件组包括两列相邻排布的两个第一光电转换元件P1，每一所述第二光电转换元件P2设置于相邻行相邻列排布的四个所述第一光电转换元件组的中心位置，或者说，沿着行方向，相邻两个第一光电转换元件组之间形成由沿列方向排布的两个第二光电转换元件P2，且相邻两列所述第二光电转换元件P2之间设置有相邻两列的所述第一光电转换元件P1；
每一所述第一光电转换元件组内的各所述第一光电转换元件分别通过一所述第一传输晶体管耦接至同一所述第一浮动扩散区和同一所述第一输出电路。
本实施例中，每两个相邻列的第一光电转换元件P1构成一个第一光电转换元件组，同时，每一组内的两个第一光电转换元件P1通过各自的传输晶体管耦接至同一第一浮动扩散区，对应连接的两个第一传输晶体管TX1接收同一控制信号并同步导通或者关断，进而将两个第一光电转换元件P1的电荷反馈至同一第一浮动扩散区，并通过共同耦接的第一输出电路输出电压信号，实现第一像素的功能。
基于图7所示的阵列结构，为了实现对不同颜色的光信号的透射，在另一个实施例中，如图8和图9所示，像素结构还包括：
第一透镜，每一所述第一透镜覆盖在每一所述第一光电转换元件上，并将入射到所述第一光电转换元件的光聚焦；
第二透镜，每一所述第二透镜覆盖在每一所述第二光电转换元件上，并将入射至所述第二光电转换元件的光聚焦。
另外，如图8所示，所述像素结构还可以包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组所述第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，多个第二滤色器分为多组第二滤色器组，其中，每一组所述第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器。
作为示例，多个第一滤色器，每一第一滤色器相对于每一第一光电转换元件P1设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器。每一组第一滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
作为示例，每一组第二滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
本实施例中，每相邻列的两个第一光电转换元件组构成一个像素单元，通过第一滤色器透射蓝色B、绿色Gr、绿色Gb和红色R的波长分量至第一光电转换元件P1，从而提供对应大小的电压信号，而相邻行的四个第二光电转换元件P2构成一个像素单元，通过第二滤色器透射同一列的蓝色B、绿色Gb和相邻列的绿色Gr、红色R的波长分量至四个第二光电转换元件P2，从而提供对应大小的电压信号。
另外，如图9所示，所述像素结构还可以包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组所述第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，多个第二滤色器分为多组第二滤色器组，其中，每一组所述第二滤色器组包括阵列排布的透射不同颜色的波长分量的八个第二滤色器。
作为示例，多个第一滤色器，每一第一滤色器相对于每一第一光电转换元件P1设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器。每一组第一滤色器组包括阵列排布的一个透射蓝色的波长分量的第一滤色器、两个透射绿色的波长分量的第一滤色器和一个透射红色的波长分量的第一滤色器，可以形成RGGB拜耳阵列。当然，也可以是其他可行排布。
作为示例，每一组第二滤色器组包括阵列排布的两个透射蓝色的波长分量的第一滤色器、四个透射绿色的波长分量的第一滤色器和两个透射红色的波长分量的第一滤色器。当然，也可以是其他可行排布。
本实施例中，每相邻列的两个第一光电转换元件组构成一个像素单元，通过第一滤色器透射蓝色B、绿色Gr、绿色Gb和红色R的波长分量至第一光电转换元件P1，从而提供对应大小的电压信号，而相邻行的八个第二光电转换元件P2构成一个像素单元，通过第二滤色器透射同一列的蓝色B、蓝色B、绿色Gr、绿色Gr和相邻列的绿色Gb、绿色Gb红色R和红色R的波长分量至八个第二光电转换元件P2，从而提供对应大小的电压信号。
作为示例，参见图15所示，每一第一光电转换元件组中的两个第一光电转换元件沿行方向排布形成列方向的间隔区域200，相邻两组第一光电转换元件组沿列方向排布形成行方向的间隔区域100；另外，图15中还示出了相邻两个第一光电转换元件组沿行方向排布形成的列方向间隔区域300；
其中，与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，每一所述输出电路沿每一所述第一光电转换元件组中的行方向的间隔区域和/或对应的相邻两组第一光电转换元件组的列方向的间隔区域设置，图15所示的示例中，第一输出电路分布在了列方向间隔区域200以及行方向间隔区域100中，在一示例中，第一输出电路包括一个复位晶体管RST1、一个源极跟随晶体管SF1以及一个行选择晶体管RS1。
进一步示例中，如图15所示，第二输出电路分布在了列方向间隔区域300以及行方向间隔区域100中，在一示例中，第二输出电路包括一个复位晶体管RST2、一个源极跟随晶体管SF2以及一个行选择晶体管RS2。当然，对于第一输出电路和第二输出电路的布置还可以是实现本发明方案的其他布局方式。
实施例四：
本发明还提出一种图像传感器，包括如上述方案中任一项所述的像素结构。本实施例中的图像传感器可以是CMOS图像传感器，也可以是其他可以使用前述实施例中所描述的像素结构的任意图像传感器。
实施例五：
本发明还提出一种电子设备，如可以是一种车载装置，该车载装置包括图像传感器，该图像传感器的具体结构参照上述实施例，由于本车载装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。当然，本实施例中的电子设备还可以是监控设备、机器视觉、无人机、手机以及摄像机等。
实施例六：
本发明又一方面还提供一种图像传感器的图像处理方法，适用于如上述方案中任意一项所述的图像传感器，所述图像处理方法包括：
基于所述第一光电转换元件P1得到第一图像；其中，可以采用现有技术中的像素读出方式读出第一光电转换元件P1的像素值，还可以进一步进行图像信号处理(ISP)，从而得到对应于第一光电转换元件P1的像素信息的第一图像；
基于所述第二光电转换元件P2得到第二图像；同理，可以采用现有技术中的像素读出方式读出第二光电转换元件P2的像素值，还可以进一步进行图像信号处理(ISP)，从而得到对应于第二光电转换元件P2的像素信息的第二图像；
通过插值处理使所述第二图像中第二光电转换元件P2对应的像素值的数量与所述第一图像中第一光电转换元件P1对应的像素值的数量相同。
具体的，当图像传感器中第二光电转换元件P2对应的像素值的数量与第一光电转换元件P1对应的像素值的数量不同时，也就是说，当图像传感器的像素结构中第一光电转换元件P1的数量与第二光电转换元件P2的数量不等时，可以通过插值处理的方式，将二者处理成相同数量的像素值，即，通过该步骤的处理，使得第一图像中所包含的像素值信息数量和第二图像中所包含的像素值信息数量相等。需要说明的是，上述步骤的顺序并不严格代表本发明所保护的图像处理方法的各步骤的顺序，本领域技术人员可以在包含上述步骤的基础上依据实际进行变换。
作为示例，所述插值处理的方式包括：
对所述第二图像进行至少一次倍增插值处理得到倍增图像，所述倍增插值处理使得插值后图像中像素值的数量为当前图像中像素值的数量的至少两倍。也就是说，通过本发明的处理方式，可以使得倍增插值处理后的图像中的像素值数量为插值处理前的原始图像的像素值数量的偶数倍。需要说明的是，当需要插值呈多于偶数倍数量的像素值个数时，还可以通过其他的补充方式将像素值补充完整，进而得到需要个数像素值的处理后的图像。
具体的，通过基于Cubic插值的升采样算法使所述第二图像中第二光电转换元件P2对应的像素值的数量与所述第一图像中第一光电转换元件P1对应的像素值的数量相同。可以是只进行单方向(如行方向或列方向)的插值，还可以是双立方插值(Bicubic)，在本发明的实施方式中优选进行双立方插值。在具体实施方式中，例如，对于m*n排列的第二图像，也就是说，第二光电转换元件P2的呈m*n阵列排布，基于倍增插值处理的方式，可以得到2m*2n、4m*4n等的倍增图像，可以适用于第一光电转换元件P1与第二光电转换元件P2的比例为2:1和4:1的情况。在一示例中，对于m*n排列的第二图像可以是，首先，先按照行进行倍增插值处理，如，对于第1行，将n个像素值插值成2n个像素值，依次类推，直到将第m行的n个像素值插值成2n个，实现行方向的倍增；接着，按照列方向进行插值处理，如，对于第1列，将m个像素值插值成2m个像素值，依次类推，直到将第n列的m个像素值插值成2m个，实现列方向的倍增。
在一示例中，上述倍增插值处理的方式可以是，倍增插值处理后图像的像素值包括第一像素值及第二像素值，所述第一像素值与当前插值图像中的像素值一一对应，所述第二像素值基于所述当前插值图像的像素值插值得到。
具体的，对于上述示例中的倍增处理方式，以m*n排列的第二图像，对于第m行，将n个像素值插值成2n个像素值为例进行说明。参见图10所示，第m行的n的像素值表示成X0、X1、……、Xwidth-1；而倍增插值处理后的图像中的像素值表示成X0’、X1’、……、X2width-1’；
进一步，给倍增插值处理后图像赋值的方式为：将X0的像素值赋予X0’，将X1的像素值赋予X2’，将X2的像素值赋予X4’，依次类推，将Xwidth-1的像素值赋予X2width-2’；接着，对于倍增插值处理后的图像中的像素值X1’可以由当前插值图像中的像素值X0和X1插值得到，X3’可以由当前插值图像中的像素值X1和X2插值得到，此处，插值可以是求二者的平均值，如X1’＝1/2(X0+X1)，当然，也可以是不同的值赋予不同的权重进行计算的方式，并不局限于此。另外，对于倍增插值处理后的图像中的像素值X2width-1’，可以是Xwidth-1乘以个百分比的方式，或者，直接将Xwidth-1的像素值赋予X2width-1’，同样，也可以采用其他适合的处理方式，以得到倍增图像。
还需要说明的是，如果需要将m*n排列的第二图像插值呈4m*4n排列的第二图像，可以是通过进行两次倍增插值处理的方式实现；当然，也可以是按照上述方式类比，倍增插值处理后图像的像素值包括第一像素值及第二像素值，第一像素值与当前插值图像中的像素值一一对应，对于剩余的第二像素值，可以基于当前插值图像的像素值插值得到，例如，将X0的像素值赋予X0’，将X1的像素值赋予X4’，则对于X1’、X2’、X3’可以基于X0和X1获得，如基于对二者赋予不同的权重进行插值的方式获得。
实施例七：
本发明还一方面提供一种图像传感器的控制方法，适用于如上述方案中任意一项所述的图像传感器，所述控制方法包括分别读出第一像素的信息及第二像素的信息。其中，读出所述第一像素和第二像素的信息，具体包括：
1)复位第一像素中的存储区域，并量化得到第一图像复位信号；
2)传输第一光电转换元件P1对应的图像信息，并量化得到第一图像采样信号；
3)传输第二光电转换元件P2对应的图像信息，并量化得到第二图像采样信号；
其中，基于所述第一图像复位信号及所述第一图像采样信号得到所述第一像素的第一实际图像信号，基于所述第二图像采样信号得到所述第二像素的第二实际图像信号。需要说明的是，上述步骤的顺序并不严格代表本发明所保护的图像传感器控制方法的各步骤的顺序，本领域技术人员可以在包含上述步骤的基础上依据实际需求进行变换。
作为示例，读出所述第二像素的信息的过程还包括：复位第二像素中的存储区域，并量化得到第二图像复位信号；基于所述第二图像复位信号及所述第二图像采样信号得到所述第二像素的第二实际图像信号。其中，该示例中的复位信号量化可以发生在步骤3)之后，也可以发生在步骤2)和步骤3)之间，优选地，在本实施例中，如图11-13所示，第二像素的复位量化过程在步骤3)之后进行。另外，还需要说明的是，图11-13中3.0μm像素代表第一像素的一种示例，1.0μm像素代表第二像素的一种示例，以此为例进行示意性的说明。此外，各个信号(如第二图像采样信号)代表的是依据时序所读出的代表图像信息或复位信息的信号，并不一定代表某一特定信号数据。
作为示例，所述第一像素的读出方式可以是在低转换增益模式下读出(参见图11所示)，可以是在高转换增益模式下读出(参见图12所示)，当然，也可以是同时下低转换增益模式和高转换增益模式下读出(参见图13所示)，从而实现高动态范围。其中，高转换增益模式与低转换增益模式的实现方式可以是：在第一像素的复位晶体管RST1和第一浮动扩散区之间制备转换增益晶体管DCG，进一步还可以在复位晶体管RST1和转换增益晶体管DCG之间制备电容，通过转换增益晶体管DCG的打开和关断实现低转换增益和高转换增益的模式，当然，还可以采用本领域熟知的其他方式。基于上述读出方式以及本发明的像素结构，对于第一光电转换元件P1和第二光电转换元件P2，可以采用常规曝光方式对二者持续曝光，曝光时间可以依据实际设定，实现对于光源闪烁抑制，从而可以获得具有闪烁光源的环境的高质量图像的拍摄。当然，也可以设计其他曝光读出方式。
其中，当对所述第一像素均采用低转换增益模式读出及高转换增益模式读出时，参见图13所示，所述第一像素的读出方法包括步骤：
1)在低转换增益模式下复位第一像素中的存储区域，并量化得到低转换增益模式下的第一图像复位信号；
在高转换增益模式下复位第一像素中的存储区域，并量化得到高转换增益模式下的第一图像复位信号；
在高转换增益模式下传输第一光电转换元件P1对应的图像信息，并量化得到在高转换增益模式下的第一图像采样信号；
在低转换增益模式下重新分配第一光电转换元件P1对应的图像信息，并量化得到在低转换增益模式下的第一图像采样信号；
其中，基于低转换增益模式下的第一图像复位信号和第一图像采样信号，以及高转换增益模式下的第一图像复位信号和第一图像采样信号，得到所述第一像素的所述第一实际图像信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (24)

1.一种像素结构，其特征在于，所述像素结构包括多个第一像素和多个第二像素，所述第一像素包括：
第一光电转换元件，所述第一光电转换元件呈阵列排布；
第一传输晶体管，耦接至第一浮动扩散区，用于将所述第一光电转换元件累积的电荷转移至所述第一浮动扩散区；
第一输出电路，耦接至所述第一浮动扩散区，用于对所述第一浮动扩散区的电压信号进行输出；
所述第二像素包括：
第二光电转换元件，所述第二光电转换元件呈阵列排布，且所述第二光电转换元件的灵敏度小于所述第一光电转换元件的灵敏度；
第二传输晶体管，耦接至第二浮动扩散区，用于将所述第二光电转换元件累积的电荷转移至所述第二浮动扩散区；
第二输出电路，耦接至所述第二浮动扩散区，用于对所述第二浮动扩散区的电压信号进行输出。
2.如权利要求1所述的像素结构，其特征在于，所述第二像素还包括：
电荷存储器件，所述电荷存储器件的一端耦接至所述第二浮动扩散区，所述电荷存储器件的另一端接地或接可变电压。
3.如权利要求1所述的像素结构，其特征在于，每一所述第二光电转换元件设置于四个阵列排布的所述第一光电转换元件的中心位置，且相邻两行和/或两列的所述第二光电转换元件之间对应设置有相邻的两行和/或两列的所述第一光电转换元件。
4.如权利要求1所述的像素结构，其特征在于，所述第一光电转换元件分为多个第一光电转换元件组，多个所述第一光电转换元件组呈阵列排布，每一所述第一光电转换元件组包括相邻行相邻列排布的四个所述第一光电转换元件，每一所述第二光电转换元件设置于每一所述第一光电转换元件组的四个所述第一光电转换元件的中心位置，且相邻所述第一光电转换元件组之间未设置所述第二光电转换元件；
每一所述第一光电转换元件组内的各所述第一光电转换元件分别通过一所述第一传输晶体管耦接至同一所述第一浮动扩散区和同一所述第一输出电路。
5.如权利要求4所述的像素结构，其特征在于，同一所述第一浮动扩散区包括四个与所述第一光电转换元件对应耦接的浮动扩散节点；和/或，同一所述第一输出电路包括四个与所述第一光电转换元件对应耦接的子输出电路。
6.如权利要求4所述的像素结构，其特征在于，所述像素结构还包括：
第一透镜，每一所述第一透镜覆盖在每一所述第一光电转换元件组上并将入射到所述第一光电转换元件上和所述第二光电转换元件上的光聚焦；
和/或，所述像素结构还包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件组以及对应位于其中心位置的所述第二光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器。
7.如权利要求4所述的像素结构，其特征在于，所述像素结构还包括：
第一透镜，每一所述第一透镜覆盖每一所述第一光电转换元件上并将入射到所述第一光电转换元件的光聚焦；
第二透镜，每一所述第二透镜覆盖在每一所述第二光电转换元件上，将入射至对应所述第二光电转换元件的光聚焦；
和/或，所述像素结构还包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，其中，多个第二滤色器分为多组第二滤色器组，每一组第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器。
8.如权利要求7所述的像素结构，其特征在于，所述像素结构还包括：
虚拟透镜，位于四个所述第一透镜的中心位置，所述虚拟透镜及所述第二透镜填充任意四个所述第一透镜的中心位置。
9.如权利要求4-8中任意一项所述的像素结构，其特征在于，每一所述第一光电转换元件组中的四个第一光电转换元件矩阵设置并形成行方向的间隔区域和列方向的间隔区域；
与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，所述第一输出电路沿每一所述第一光电转换元件组中的行方向和/或列方向的间隔区域设置。
10.如权利要求1所述的像素结构，其特征在于，所述第一光电转换元件分为多个第一光电转换元件组，多个所述第一光电转换元件组阵列排布，每一所述第一光电转换元件组包括相邻行相邻列排布的四个所述第一光电转换元件，每一所述第二光电转换元件设置于相邻行相邻列排布的四个所述第一光电转换元件组的中心位置；
每一所述第一光电转换元件组内的各所述第一光电转换元件分别通过一所述第一传输晶体管耦接至同一所述第一浮动扩散区和同一所述第一输出电路。
11.如权利要求10所述的像素结构，其特征在于，同一所述第一浮动扩散区包括所述第一光电转换元件两两共享的两个共享浮动扩散节点；和/或，同一所述第一输出电路包括四个所述第一光电转换元件共享的共享输出电路。
12.如权利要求10所述的像素结构，其特征在于，所述像素结构包括：
第一透镜，每一所述第一透镜覆盖在所述第一光电转换元件组上，并将入射到所述第一光电转换元件的光聚焦；
第二透镜，每一所述第二透镜覆盖在每一所述第二光电转换元件上，并将入射到所述第二光电转换元件的光聚焦；
和/或，所述像素结构还包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件组设置，其中，多个第一滤色器分为多组第一滤色器组，每一组第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，其中，多个第二滤色器分为多组第二滤色器组，每一组第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器。
13.如权利要求10-12任一项所述的像素结构，其特征在于，每一所述第一光电转换元件组中的四个第一光电转换元件矩阵设置并形成行方向的间隔区域和列方向的间隔区域，与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部围成一开口，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，所述第一输出电路沿每一所述第一光电转换元件组中的行方向和/或列方向的间隔区域设置。
14.如权利要求1所述的像素结构，其特征在于，所述第一光电转换元件分为多个第一光电转换元件组，多个第一光电转换元件组呈阵列排布，每一所述第一光电转换元件组包括两列相邻排布的两个第一光电转换元件，每一所述第二光电转换元件设置于相邻行相邻列排布的四个所述第一光电转换元件组的中心位置，且相邻两列所述第二光电转换元件之间设置有相邻两列的所述第一光电转换元件；
每一所述第一光电转换元件组内的各所述第一光电转换元件分别通过一所述第一传输晶体管耦接至同一所述第一浮动扩散区和同一所述第一输出电路。
15.如权利要求14所述的像素结构，其特征在于，同一所述第一浮动扩散区包括两个所述第一光电转换元件两两共享的共享浮动扩散节点；和/或，同一所述第一输出电路包括两个所述第一光电转换元件共享的共享输出电路。
16.如权利要求14所述的像素结构，其特征在于，所述像素结构包括：
第一透镜，每一所述第一透镜覆盖在每一所述第一光电转换元件上，并将入射到所述第一光电转换元件的光聚焦；
第二透镜，每一所述第二透镜覆盖在每一所述第二光电转换元件上，并将入射至所述第二光电转换元件的光聚焦；
和/或，所述像素结构包括：
多个第一滤色器，每一所述第一滤色器相对于每一所述第一光电转换元件设置，其中，多个第一滤色器分为多组第一滤色器组，每一组所述第一滤色器组包括阵列排布的透射不同颜色的波长分量的四个第一滤色器；
多个第二滤色器，每一所述第二滤色器相对于每一所述第二光电转换元件设置，多个第二滤色器分为多组第二滤色器组，其中，每一组所述第二滤色器组包括阵列排布的透射不同颜色的波长分量的四个第二滤色器，或者，包括阵列排布的透射不同颜色的波长分量的八个第二滤色器。
17.如权利要求14-16中任意一项所述的像素结构，其特征在于，每一第一光电转换元件组中的两个第一光电转换元件沿列方向排布形成行方向的间隔区域，相邻两组第一光电转换元件组沿行方向排布形成列方向的间隔区域；
与每一所述第一光电转换元件组中的各第一光电转换元件连接的第一传输晶体管以一倾斜角度设置于其相应的所述第一光电转换元件的角部，并通过连接线与同一所述第一浮动扩散区及同一所述第一输出电路连接，每一所述输出电路沿每一所述第一光电转换元件组中的行方向的间隔区域和/或对应的相邻两组第一光电转换元件组的列方向的间隔区域设置。
18.一种图像传感器，其特征在于，包括如权利要求1-17中任一项所述的像素结构。
19.一种电子设备，其特征在于，包括如权利要求18所述的图像传感器。
20.一种图像传感器的图像处理方法，适用于如权利要求1-17中任意一项所述的图像传感器，其特征在于，所述图像处理方法包括：
基于所述第一光电转换元件得到第一图像；
基于所述第二光电转换元件得到第二图像；
通过插值处理使所述第二图像中第二光电转换元件对应的像素值的数量与所述第一图像中第一光电转换元件对应的像素值的数量相同。
21.根据权利要求20所述的图像传感器的图像处理方法，其特征在于，所述插值处理的方式包括：
对所述第二图像进行至少一次倍增插值处理得到倍增图像，所述倍增插值处理使得倍增插值处理后图像中像素值的数量为当前插值图像中像素值的数量的至少两倍，其中，所述倍增插值处理后图像中的像素值包括第一像素值及第二像素值，所述第一像素值与所述当前插值图像中的像素值一一对应，所述第二像素值基于所述当前插值图像中的像素值插值得到。
22.一种图像传感器的控制方法，适用于如权利要求1-17中任意一项所述的图像传感器，其特征在于，所述控制方法包括：
读出所述第一像素的信息，具体包括：
复位第一像素中的存储区域，并量化得到第一图像复位信号；
传输第一光电转换元件对应的图像信息，并量化得到第一图像采样信号；
读出所述第二像素的信息，具体包括：
传输第二光电转换元件对应的图像信息，并量化得到第二图像采样信号；
其中，基于所述第一图像复位信号及所述第一图像采样信号得到所述第一像素的第一实际图像信号，基于所述第二图像采样信号得到所述第二像素的第二实际图像信号。
23.根据权利要求22所述的图像传感器的控制方法，其特征在于，读出所述第二像素的信息的过程还包括：
复位第二像素中的存储区域，并量化得到第二图像复位信号，基于所述第二图像复位信号及所述第二图像采样信号得到所述第二实际图像信号。
24.根据权利要求22所述的图像传感器的控制方法，其特征在于，所述第一像素的读出方式包括在低转换增益模式及高转换增益模式下读出中的至少一种，其中，当对所述第一像素均采用低转换增益模式读出及高转换增益模式读出时，所述第一像素的读出方法包括步骤：
在低转换增益模式下复位第一像素中的存储区域，并量化得到低转换增益模式下的第一图像复位信号；
在高转换增益模式下复位第一像素中的存储区域，并量化得到高转换增益模式下的第一图像复位信号；
在高转换增益模式下传输第一光电转换元件对应的图像信息，并量化得到在高转换增益模式下的第一图像采样信号；
在低转换增益模式下重新分配第一光电转换元件对应的图像信息，并量化得到在低转换增益模式下的第一图像采样信号；
其中，基于低转换增益模式下的第一图像复位信号和第一图像采样信号，以及高转换增益模式下的第一图像复位信号和第一图像采样信号，得到所述第一像素的所述第一实际图像信号。
CN202111038543.9A 2021-09-06 2021-09-06 像素结构、图像传感器、设备及图像处理方法、控制方法 Pending CN115776617A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111038543.9A CN115776617A (zh) 2021-09-06 2021-09-06 像素结构、图像传感器、设备及图像处理方法、控制方法
US17/564,882 US11848344B2 (en) 2021-09-06 2021-12-29 Pixel structure, image processing method and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111038543.9A CN115776617A (zh) 2021-09-06 2021-09-06 像素结构、图像传感器、设备及图像处理方法、控制方法

Publications (1)

Publication Number Publication Date
CN115776617A true CN115776617A (zh) 2023-03-10

Family

ID=85388050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111038543.9A Pending CN115776617A (zh) 2021-09-06 2021-09-06 像素结构、图像传感器、设备及图像处理方法、控制方法

Country Status (2)

Country Link
US (1) US11848344B2 (zh)
CN (1) CN115776617A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6485068B2 (ja) * 2014-02-05 2019-03-20 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
US9998691B2 (en) * 2015-03-11 2018-06-12 Canon Kabushiki Kaisha Pixel, a solid-state imaging device, and an imaging apparatus having barrier region between photoelectric conversion portions in parallel
CN112788224B (zh) * 2016-01-29 2023-04-04 松下知识产权经营株式会社 摄像装置
US20230018370A1 (en) * 2019-12-17 2023-01-19 Sony Semiconductor Solutions Corporation Imaging element, imaging element driving method, and electronic device
KR20220051052A (ko) * 2020-10-16 2022-04-26 삼성전자주식회사 이미지 센서

Also Published As

Publication number Publication date
US20230083135A1 (en) 2023-03-16
US20230268360A9 (en) 2023-08-24
US11848344B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
US11405576B2 (en) Image sensor and image-capturing device
CN101110439B (zh) 互补金属氧化物半导体图像传感器及用其的图像传感方法
EP2758937B1 (en) Stacked-chip imaging systems
US9661306B2 (en) Solid-state imaging device and camera system
EP4142279A1 (en) Control method, camera assembly, and mobile terminal
CN111586323A (zh) 图像传感器、控制方法、摄像头组件和移动终端
CN110661982B (zh) 图像传感器成像中led频闪抑制的方法
CN113242344B (zh) 图像传感器、摄像头组件和移动终端
CN113747022B (zh) 图像传感器、摄像头组件和移动终端
US20220075104A1 (en) Image sensor and electronic camera
CN113676625B (zh) 图像传感器、摄像头组件和移动终端
US20230362512A1 (en) Image sensor and electronic camera
CN111787248B (zh) 图像传感器、终端设备以及成像方法
JP4335537B2 (ja) 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム
CN111818283A (zh) 三角形像素的图像传感器、电子设备及成像方法
CN216086839U (zh) 像素结构、图像传感器和电子设备
CN115776617A (zh) 像素结构、图像传感器、设备及图像处理方法、控制方法
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
CN113079297A (zh) 感光芯片、摄像模组及电子设备
CN114584725A (zh) 一种图像传感器及成像装置
CN113132692B (zh) 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
CN219124301U (zh) 像素结构、图像传感器、电子设备
CN216852142U (zh) 像素阵列和图像传感器
CN216774886U (zh) 图像传感器及电子设备
JP7144604B2 (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination