CN111787248B - 图像传感器、终端设备以及成像方法 - Google Patents

图像传感器、终端设备以及成像方法 Download PDF

Info

Publication number
CN111787248B
CN111787248B CN202010675565.5A CN202010675565A CN111787248B CN 111787248 B CN111787248 B CN 111787248B CN 202010675565 A CN202010675565 A CN 202010675565A CN 111787248 B CN111787248 B CN 111787248B
Authority
CN
China
Prior art keywords
column
image sensor
subarray
pixel
pixel units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010675565.5A
Other languages
English (en)
Other versions
CN111787248A (zh
Inventor
姚国峰
沈健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Priority to CN202010675565.5A priority Critical patent/CN111787248B/zh
Publication of CN111787248A publication Critical patent/CN111787248A/zh
Application granted granted Critical
Publication of CN111787248B publication Critical patent/CN111787248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本申请提供一种图像传感器、终端设备以及成像方法，图像传感器包括像素阵列，所述像素阵列包括多个三角形像素单元；所述像素单元内包括光电转换元件和与所述光电转换元件连接的读出电路；各三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边长度与所述等腰三角形底边上的高的长度相等，所述多个三角形像素单元以正放和倒置的形式交错相接排布；所述多个光电转换元件用于接收入射光信号，并将所述入射光信号转换为电信号；所述读出电路用于读取并输出所述电信号，所述电信号用于生成图像数据。本申请能够使图像传感器工作在空间复用模式下时，减小图像的失真。

Description

图像传感器、终端设备以及成像方法
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像传感器、终端设备以及成像方法。
背景技术
图像传感器包括像素阵列以及与像素阵列中的像素单元连接的读出电路。为了提高图像传感器的动态范围以获得良好的拍摄效果，通常使图像传感器工作在空间复用模式下，具体的，将像素阵列划分为两个子阵列，分别为两个子阵列配置不同的拍摄参数，再对两个子阵列得到的图像信号进行融合，生成图像。
现有技术中，像素阵列的排布通常如图1所示，像素阵列上方设置颜色滤镜阵列，颜色滤镜阵列采用拜耳阵列的RGGB形式排布。在通过空间复用的方式获取图像时，分别为第一子阵列101和第二子阵列102配置不同的拍摄参数
然而，现有技术中，由于采用空间复用方式时两个子阵列之间错开的距离较大，因而通过两个子阵列得到的图像信号的差别较大，对两个图像信号融合处理后，生成的图像失真严重。
发明内容
本申请实施例提供一种图像传感器、终端设备以及成像方法，在图像传感器工作在空间复用模式下时，能够减小图像的失真。
第一方面，本申请实施例提供一种图像传感器，包括：
像素阵列，所述像素阵列包括多个三角形像素单元，每个所述三角形像素单元均包括光电转换元件和与所述光电转换元件连接的读出电路；
各三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边长度与所述等腰三角形底边上的高的长度相等，所述多个三角形像素单元以正放和倒置的形式交错相接排布；
所述光电转换元件用于接收入射光信号，并将所述入射光信号转换为电信号；
所述读出电路用于读取并输出所述电信号，所述电信号用于生成图像数据。
一种可能的实现方式中，在第一方向上，相邻两个三角形像素单元的腰重合；
在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边距离等于所述底边上的高的长度；
所述第一方向与所述第二方向正交。
一种可能的实现方式中，在第一方向上，相邻两个三角形像素单元的腰重合；
在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边重合，或者相邻两个三角形像素单元底边对应的顶点重合；
所述第一方向与所述第二方向正交。
一种可能的实现方式中，还包括：颜色滤镜阵列，所述颜色滤镜阵列设置在所述像素阵列朝向所述入射光信号的一侧；所述颜色滤镜阵列包括多个颜色滤镜，每个所述颜色滤镜均对应一个所述三角形像素单元，用于对接收的所述入射光信号进行过滤，以输出不同光色的光信号至所述三角形像素单元。
一种可能的实现方式中，所述像素阵列包括第一子阵列和第二子阵列；且在第一方向上，所述第一子阵列的三角形像素单元与所述第二子阵列的三角形像素单元交错排布；
所述第一子阵列的三角形像素单元对应的颜色滤镜的排布方式与所述第二子阵列的三角形像素单元对应的颜色滤镜阵列的排布方式相同。
一种可能的实现方式中，所述颜色滤镜阵列上每个颜色滤镜朝向所述入射光信号一侧均对应设置一个透镜。
一种可能的实现方式中，还包括：控制模块和处理模块；所述控制模块与所述处理模块电连接，所述控制模块和所述处理模块分别与所述像素阵列电连接；
所述控制模块用于选中所述像素阵列中的对应行的三角形像素单元，并将选中的所述三角形像素单元输出的列信号传输至处理模块；
所述控制模块还用于控制所述处理模块对接收到的所述列信号进行处理，以生成图像数据。
一种可能的实现方式中，所述控制模块包括控制电路、行选择电路；所述处理模块包括列信号处理电路、列选择电路和处理单元；
所述控制电路分别与所述行选择电路的第一端、所述列选择电路的第一端和所述列信号处理电路的第一端电连接，所述行选择电路的第二端与所述像素阵列电连接，所述列信号处理电路的第二端与所述像素阵列电连接，所述列信号处理电路的第三端与所述列选择电路的第二端电连接，所述列信号处理电路的第四端与所述处理单元电连接；
所述控制电路用于控制所述行选择电路选中所述像素阵列中对应行的三角形像素单元，并将选中的所述三角形像素单元输出的电信号传输至所述列信号处理电路；
所述控制电路还用于获取拍摄模式信息；
所述控制电路还用于若所述拍摄模式信息为第一模式，则控制所述列选择电路选中所述列信号中属于同一像素对的列信号，并控制所述列信号处理电路对属于同一像素对的列信号进行预处理，其中，所述像素对是在第一方向上，由所述第一子阵列中的三角形像素单元与其相邻的第二子阵列中的三角形像素单元组成的；
所述处理单元用于对预处理后的所述列信号进行处理，生成图像数据。
一种可能的实现方式中，所述控制电路还用于若所述拍摄模式信息为第二模式，则所述控制电路控制所述列信号处理电路将所述列信号传输至所述处理单元；
所述处理单元用于对所述列信号中属于第一子阵列的第一信号进行处理，生成第一图像数据，以及对所述列信号中属于第二子阵列的第二信号进行处理，生成第二图像数据。
一种可能的实现方式中，所述图像传感器为背照式CMOS图像传感器或者堆叠式CMOS图像传感器。
第二方面，本申请提供一种终端设备，包括存储装置、处理装置以及本申请实施例第一方面以及任一项可能的实现方式所述的图像传感器。
第三方面，本申请实施例提供一种成像方法，应用于本申请实施例第一方面所述的图像传感器中的控制模块，所述方法包括：
选中所述像素阵列中的对应行的三角形像素单元，并将选中的所述三角形像素单元输出的列信号传输至处理模块；
控制所述处理模块对接收到的所述列信号进行处理，以生成图像数据。
一种可能的实现方式中，所述控制所述处理模块对接收到的所述列信号进行处理，以生成图像数据，包括：
获取拍摄模式信息；
若所述拍摄模式信息为第一模式，则控制所述处理模块对所述列信号中属于同一像素对的信号进行加和处理，生成加和信号，以使所述处理模块根据所述加和信号生成图像数据，其中，所述像素对是在第一方向上，由所述第一子阵列中的三角形像素单元与其相邻的第二子阵列中的三角形像素单元组成的；
若所述拍摄模式信息为第二模式，则控制所述处理模块对所述列信号中属于第一子阵列的第一信号进行处理，以生成第一图像数据，以及对所述列信号中属于第二子阵列的第二信号进行处理，以生成第二图像数据。
本申请提供一种图像传感器、终端设备以及成像方法，图像传感器包括像素阵列，所述像素阵列包括多个三角形像素单元，每个所述三角形像素单元均包括光电转换元件和与所述光电转换元件连接的读出电路；各三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边长度与所述等腰三角形底边上的高的长度相等，所述多个三角形像素单元以正放和倒置的形式交错相接排布；所述光电转换元件用于接收入射光信号，并将所述入射光信号转换为电信号；所述读出电路用于读取并输出所述电信号，所述电信号用于生成图像数据。本申请通过将图像传感器中的像素阵列中的像素单元改进为三角形像素单元，每个三角形像素单元的形状均为等腰三角形，且等腰三角形的底边长度与等腰三角形底边上的高的长度相等，多个三角形像素单元以正放和倒置的形式交错相接排布，使图像传感器工作在空间复用模式下时，能够减小图像的失真。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中方形像素单元形成的像素阵列的示意图；
图2为本申请实施例提供的图像传感器的结构示意图一；
图3为本申请实施例提供的三角形像素单元的形状示意图；
图4为本申请实施例提供的三角形像素单元的电路原理图；
图5为本申请实施例提供的像素阵列的排布方式示意图一；
图6为本申请实施例提供的像素阵列的排布方式示意图二；
图7为本申请实施例提供的颜色滤镜阵列的排布方式示意图；
图8为本申请实施例提供的图像传感器的剖视图；
图9为本申请实施例提供的图像传感器的结构示意图二；
图10为本申请实施例提供的图像传感器的结构示意图三；
图11为本申请实施例提供的像素对的示意图；
图12为本申请实施例提供的成像方法的流程示意图；
图13为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着多媒体***的发展，图像传感器是人们关注的焦点，尤其是固态图像传感器，其是一种可将光学图像转换成数字信号的固态集成元件，主要基于半导体材料的光电转换效应进行成像。由于固态图像传感器具有体积小、重量轻、集成度高、分辨率高、功耗低、寿命长、价格低等有点，目前已经广泛应用于消费电子、安防、汽车及工业领域。
目前，固态图像传感器主要有电荷耦合器件(charge coupled device，CCD) 和互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS) 两种。其中，CCD是应用在摄影摄像方面的高端技术元件，其具有低照度效果好、信噪比高、通透感强、色彩还原能力佳等优点，在交通、医疗等高端领域中广泛应用。CMOS则应用于较低影像品质的产品中，其具有集成度高、功耗小、速度快、成本低等特点。
总的来说，固态图像传感器的成像原理主要是基于半导体材料的光电转换效应，即在图像传感器的半导体衬底上设置由大量像素单元(Pixel)组成的像素阵列(PixelArray)，每一个像素单元包括光电转换元件(Photoelectric Conversion Element)以及读出电路。当光投射到像素阵列上时，每一个像素单元均发生光电转换，所产生的电荷(电信号)经读出电路读出，到达图像传感器的模数转换电路(analog-to-digital converter，ADC)转变为数字信号，数字信号再经过图像信号处理器(image signal processor，ISP)处理后输出图像。
为了提高图像传感器的动态范围以获得良好的拍摄效果，通常使图像传感器工作在空间复用模式下，具体的，将像素阵列划分为两个子阵列，分别为两个子阵列配置不同的拍摄参数，再对两个子阵列得到的图像信号进行融合，生成图像。
现有技术中，像素阵列通常是由方形像素单元阵列排布而成，如图1所示，像素阵列由方形像素单元相接排布而成，像素阵列上方设置颜色滤镜阵列，颜色滤镜阵列采用拜耳阵列的RGGB形式排布。在通过空间复用的方式获取图像时，分别为第一子阵列101和第二子阵列102配置不同的拍摄参数。方形像素单元的边长为像素尺寸a，则第一子阵列101和第二子阵列102错开的距离为2a。可见，方形像素单元采用空间复用方式时，两个子阵列之间错开的距离较大，因而通过两个子阵列得到的图像信号的差别较大，对两个子阵列的图像信号融合处理后，生成的图像失真严重。
基于此，本申请提供一种图像传感器、成像方法以及终端设备，使图像传感器工作在空间复用模式时，能够减小图像的失真。
本实施例中，通过改进图像传感器中的像素单元的形状和排布方式，使图像传感器的像素阵列中的两个子阵列之间错开的距离减小，从而使图像传感器工作在空间复用模式时，能够减小图像的失真。
图2为本申请实施例提供的图像传感器的结构示意图，如图2所示，本申请实施例中的图像传感器20包括像素阵列200，像素阵列200包括多个三角形像素单元，每个三角形像素单元均包括光电转换元件201和与光电转换元件201连接的读出电路202。光电转换元件201用于接收入射光信号，并将入射光信号转换为电信号。读出电路202用于读取并输出电信号，该电信号用于生成图像数据。
图3为本申请实施例提供的三角形像素单元的形状示意图，如图3所示，每个三角形像素单元的形状均为等腰三角形，其底边为11，两个腰为12，底边上的高为13，且该等腰三角形的底边11与底边上的高13的长度相等。示例性的，假设底边11和底边上的高13的长度均为a，a代表像素尺寸。
在本申请的实施例中，可以将每个三角形像素单元抽象成位于所在等腰三角形重心的一个点，称为“像素点”。即，在实际应用中，每个三角形像素单元对应的像素点可以通过三角形像素单元所在的等腰三角形的重心表示。
如图2所示，多个三角形像素单元以正放和倒置的形式交错相接排布。图像传感器工作在空间复用模式下时，在第一方向上，分别间隔选择三角形像素单元作为第一子阵列和第二子阵列，即第一子阵列的三角形像素单元与第二子阵列的三角形像素单元交错排布，两个子阵列错开的距离为第一子阵列的像素点与其相邻的第二子阵列的像素点之间的距离，假设底边11和底边上的高13的长度均为a，则两个子阵列错开的距离为((a/2)2+(a/3)2)1/2，与正方形像素单元排布成的像素阵列相比，两个子阵列错开的距离减小，从而使两个子阵列输出的图像信号接近，能够减小图像的失真。
三角形像素单元中设有光电转换元件201和读出电路202，光电转换元件201可以为光电二极管。通过光电转换元件201将入射光信号转换为电信号，通过读出电路202读取并输出该电信号。
图4为本申请实施例提供的三角形像素单元的电路原理图，如图4所示，三角形像素单元包括：光电转换元件201、复位电路203和读出电路，读出电路包括传输晶体管2021、浮置扩散区2022、源极跟随晶体管2023和行驱动晶体管2024。光电转换元件201的第一端与接地端电连接，光电转换元件 201的第二端与传输晶体管2021的第一端电连接；传输晶体管2021的第三端与传输信号电连接；浮置扩散区2022分别与传输晶体管2021的第二端、复位电路203的第一端和源极跟随晶体管2023的第三端电连接；复位电路 203的第二端与电源电压端电连接，复位电路203第三端与复位信号电连接；源极跟随晶体管2023的第一端与行驱动晶体管2024的第二端电连接，源极跟随晶体管2023的第二端与电源电压端电连接，行驱动晶体管2024的第一端与列信号输出端电连接，行驱动晶体管2024的第三端与行驱动信号电连接。光电转换元件201用于接收入射光信号并将其转换成电信号；复位电路203 用于对光电转换元件201进行复位；读出电路用于读取电信号并将该电信号输出至列信号输出端。
本申请实施例通过将像素阵列中的像素单元改进为三角形像素单元，每个三角形像素单元的形状均为等腰三角形，且等腰三角形的底边长度与等腰三角形底边上的高的长度相等，多个三角形像素单元以正放和倒置的形式交错相接排布。图像传感器工作在空间复用模式下时，能够减小图像的失真。
在本申请的实施例中，由于形成像素阵列的像素单元是三角形像素单元，且其为底边和底边上的高长度相等的等腰三角形，多个三角形像素单元以正放和倒置的形式交错相接排布，基于此，像素阵列的排布方式可以有如下两种，具体可以参考图5和图6的示意图。
图5为本申请实施例提供的像素阵列的排布方式示意图一，如图5所示，在第一方向上，相邻两个三角形像素单元的腰重合；在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边距离等于底边上的高的长度；其中，第一方向与第二方向正交。
在本申请的实施例中，当第一方向为水平方向时，该第二方向为竖直方向；当第一方向为竖直方向时，该第二方向为水平方向。本申请实施例并不对第一方向和第二方向的具体实现进行限定，只要保证第一方向和第二方向正交即可，此处不再赘述。图5以第一方向为水平方向，第二方向为竖直方向进行说明。
如图5所示，在水平方向上，相邻三角形像素单元的腰与腰重合；在竖直方向上，相邻三角形像素单元的对称轴重合且底边相距a。通过这种排布方式，依次对多个三角形像素单元进行排列可以形成像素阵列。
如图5所示，在水平方向上，例如，在第一行中，三角形像素单元R11 和三角形像素单元R12的腰与腰重合，三角形像素单元R12和三角形像素单元R13的腰与腰重合等等。在竖直方向上，例如，在第一列中，三角形像素单元R11和三角形像素单元R21的对称轴在同一直线上，且两者的底边距离等于a，三角形像素单元R21和三角形像素单元R31的对称轴在同一直线上，且两者的底边距离等于a。
图像传感器工作在空间复用模式下时，在水平方向上，间隔选择三角形像素单元作为第一子阵列21和第二子阵列22，即第一子阵列21中的像素单元与第二子阵列22中的像素单元交错排布，第一子阵列21和第二子阵列22 均为最小重复周期为a的像素点阵列，两个子阵列错开的距离为第一子阵列 21中像素点与其相邻的第二子阵列22中的像素点之间的距离，该距离为 ((a/2)2+(a/3)2)1/2。
图6为本申请实施例提供的像素阵列的排布方式示意图二，如图6所示，在第一方向上，相邻两个三角形像素单元的腰重合；在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边重合，或者相邻两个三角形像素单元底边对应的顶点重合；其中，第一方向与第二方向正交。
第一方向和第二方向的具体实现与图5所示中的类似，此处不再赘述。
如图6所示，在水平方向上，相邻三角形像素单元的腰与腰重合；在竖直方向上，相邻三角形像素单元的对称轴重合(即在同一条直线上)且底边重合或者相邻两个三角形像素单元底边对应的顶点重合。通过这种排布方式，依次对多个三角形像素单元进行排列可以形成像素阵列。
如图6所示，在水平方向上，例如，在第一行中，三角形像素单元R11 和三角形像素单元R12的腰与腰重合，三角形像素单元R12和三角形像素单元R13的腰与腰重合等等。在竖直方向上，例如，在第一列中，三角形像素单元R11和三角形像素单元R21的对称轴在同一直线上，且两者的底边重合，三角形像素单元R21和三角形像素单元R31的对称轴在同一直线上，且两者底边对应的顶点重合。
图像传感器工作在空间复用模式下时，在水平方向上，间隔选择三角形像素单元作为第一子阵列31和第二子阵列32，即第一子阵列31中的像素单元与第二子阵列32中的像素单元交错排布，第一子阵列31和第二子阵列32 均为最小重复周期为a的像素点阵列，两个子阵列错开的距离为第一子阵列 31中像素点与其相邻的第二子阵列32中的像素点之间的距离，该距离为 ((a/2)2+(a/3)2)1/2。
作为本申请的一个实施例，图像传感器还包括颜色滤镜阵列。颜色滤镜阵列设置在像素阵列朝向入射光信号的一侧。颜色滤镜阵列包括多个颜色滤镜，每个颜色滤镜均对应一个三角形像素单元，用于对接收的入射光信号进行过滤，以输出不同光色的光信号至所述三角形像素单元。
通过设置颜色滤镜阵列可以采集彩色图像。颜色滤镜阵列可以采用拜耳模式(Bayer Pattern)阵列的RGGB格式排布，该拜耳模式阵列包含红、绿、蓝三种颜色的颜色滤镜，基本单元是一个2×2的阵列，每个2×2的阵列包括 1个红色滤镜R、一个蓝色滤镜B以及2个绿色滤镜Ga和Gb，通过颜色滤镜阵列，像素阵列中的任意一个三角形像素单元只能获得红、绿、蓝三种颜色中某一种颜色的信息，要还原出图像的色彩还必须对图像传感器输出的颜色数据(RGB信息)进行特定的数据处理才可以实现。这一处理过程亦称为“去马赛克”(Demosaicing)。
应理解的是，颜色滤镜阵列还可以采用其他排布方式，例如，RGBW格式、RYYB格式等，本申请实施例不做具体限定。
颜色滤镜设置在像素阵列朝向入射光信号的一侧，例如，像素阵列上表面朝向入射光信号，则颜色滤镜阵列设置在像素阵列的上方。
图7为本申请实施例提供的颜色滤镜阵列的排布方式，如图7所示，第一子阵列中的两个绿色滤镜为Ga1和Gb1，蓝色滤镜为B1，红色滤镜为R1，第二子阵列中的两个绿色滤镜为Ga2和Gb2，蓝色滤镜为B2，红色滤镜为R2。第一子阵列的三角形像素单元对应的颜色滤镜的排布方式与第二子阵列的三角形像素单元对应的颜色滤镜阵列的排布方式相同。
作为本申请的一个实施例，颜色滤镜阵列中每个颜色滤镜朝向入射光信号一侧均对应设置一个透镜。透镜设置在颜色滤镜朝向入射光信号一侧，例如，颜色滤镜的上表面朝向入射光信号，则透镜设置在颜色滤镜的上方。通过透镜可以对入射光信号进行聚光处理，增大像素阵列接收到的入射光信号的强度。
由于本申请实施例中图像传感器的像素单元的形状为三角形，为了提高填充因子(Fill Factor)，增大感光面积，图像传感器优选采用背照式的结构。图8详细描述背照式CMOS图像传感器的结构。
图8为本申请实施例提供的图像传感器的剖视图。如图8所示，图像传感器包括衬底801，衬底801为半导体材料且具有第一掺杂类型，例如P型硅。衬底801靠近入射光信号的方向可以为衬底背面801b，衬底远离入射光信号的方向可以为衬底正面801f。衬底背面801b靠近入射光信号的方向定义为衬底的上方，衬底正面801f远离入射光信号的方向为衬底正面801f的下方，衬底背面801b上方设有颜色滤镜802，颜色滤镜上方设有透镜803。
衬底中靠近衬底正面801f一侧形成三角形像素单元，每个三角形像素单元中均包括一个光电二极管(Photodiode)804和读出电路(附图未显示)，该区域具有第二掺杂类型，例如N型。光电二极管是一种可以感光器件，能对特定波段的光产生电荷响应，将光信号转换为电信号。
介质层805位于衬底正面801f的下方，其内部含有第一金属布线层8051 和第二金属布线层8052，由于第一金属布线层8051和第二金属布线层8052 位于像素阵列以下，因此第一金属布线层8051和第二金属布线层8052不会遮挡入射光信号。
在介质层805的下方设置有第二衬底806。第二衬底806可以是无任何电路在上面的衬底，也可以是含有图像信号处理电路的衬底。衬底801和第二衬底806通过键合工艺(Bonding Process)粘接到一起。若第二衬底806 是含有电路的衬底，衬底801和第二衬底806通过硅通孔互连结构或混合键合(Hybrid bonding)的界面实现电连接。
图像传感器也可以为堆叠式CMOS图像传感器，堆叠式CMOS图像传感器的具体结构不作为本申请实施例的改进，本申请实施例不再赘述。
图9为本申请实施例提供的图像传感器的结构示意图二，如图9所示，本实施例的图像传感器20还包括控制模块300和处理模块400。控制模块300 和处理模块400分别与像素阵列200电连接。
控制模块300用于选中像素阵列200中的各三角形像素单元，并将选中的三角形像素单元输出的列信号传输至处理模块400。
控制模块300还用于控制处理模块400对接收到的列信号进行处理，生成图像数据。
在本申请实施例中，列信号为选中的行方向上的三角形像素单元输出的电信号，例如，控制模块300选中像素阵列200中的第一行的三角形像素单元，则该列信号为第一行中各三角形像素单元中的读出电路输出的电信号。处理模块400接收该列信号，并由控制模块300控制处理模块400对该列信号进行处理，生成图像数据。
图10为本申请实施例提供的图像传感器的结构示意图三，如图10所述，控制模块300包括控制电路301、行选择电路302。处理模块400包括列信号处理电路401、列选择电路402和处理单元403。
控制电路301分别与行选择电路302的第一端、列选择电路402的第一端和列信号处理电路的第一端电连接，行选择电路302的第二端与像素阵列 200电连接，列信号处理电路401的第二端与像素阵列200电连接，列信号处理电路401的第三端与列选择电路402的第二端电连接，列信号处理电路 401的第三端与处理单元403电连接。
控制电路301用于控制行选择电路302选中像素阵列200中对应行的三角形像素单元，并将选中的三角形像素单元输出的列信号传输至列信号处理电路401。
控制电路301还用于获取拍摄模式信息。
控制电路301还用于若拍摄模式信息为第一模式，则控制电路301控制列选择电路402选中列信号中属于同一像素对的列信号，并控制列信号处理电路401对属于同一像素对的列信号进行预处理；其中，像素对是在第一方向上，由第一子阵列中的三角形像素单元与其相邻的第二子阵列中的三角形像素单元组成的。所述处理单元403用于对预处理后的列信号进行处理，生成图像数据。
控制电路301还用于若拍摄模式信息为第二模式，则控制电路301控制列信号处理电路401将列信号传输至处理单元403；处理单元403用于对列信号中属于第一子阵列的第一信号进行预处理，生成第一图像数据，以及对列信号中属于第二子阵列的第二信号进行预处理生成第二图像数据。
在本申请实施例中，如图5和图7所示，像素阵列包括第一子阵列21和第二子阵列22，第一子阵列21对应的颜色滤镜的排布方式与第二子阵列22 对应的颜色滤镜的排布方式相同，均为拜耳阵列。如图11所示，在第一方向上，由第一子阵列中的三角形像素单元与其相邻的第二子阵列中的三角形像素单元组成像素对，则像素对对应的颜色滤镜的排布方式依然为拜耳阵列。例如，三角形像素单元R11和三角形像素单元R12组成像素对，三角形像素单元R11和三角形像素单元R12对应的颜色滤镜均为绿色滤镜，由三角形像素单元R11和三角形像素单元R12组成像素对对应的颜色滤镜依然为绿色滤镜。
列信号处理电路401接收读出电路输出的列信号后，由控制电路301根据拍摄模式信息控制列信号处理电路401是否对该列信号进行预处理。若拍摄模式信息为第一模式，则控制电路301控制列选择电路402选中列信号中属于同一像素对的列信号，并控制列信号处理电路401对属于同一像素对的列信号进行预处理，并将预处理后的列信号传输至处理单元403，由处理单元403对预处理后的列信号进行处理，生成图像数据。若拍摄模式信息为第二模式，则控制电路301控制列信号处理电路401将该列信号传输至处理单元403，由处理单元403对该列信号进行处理，生成图像数据。具体的，处理单元403对列信号中属于第一子阵列的第一信号进行预处理，生成第一图像数据，以及对列信号中属于第二子阵列的第二信号进行处理，生成第二图像数据。列信号处理电路401对列信号进行预处理可以是对列信号进行加和操作、求平均值操作等。
示例性的，图像传感器的像素阵列的排布形式如图5所示，控制电路301 控制行选择电路302选中第i行的三角形像素单元，对应的读出电路读取该电信号，得到列信号，并将该列信号输出至列信号处理电路401，控制电路 301控制列选择电路402选中列信号中的第j列和第j+1列的电信号，使列信号处理电路401对第i行第j列和第i行第j+1列的电信号进行预处理。应理解的是，列选择电路可以选择列信号中的一列电信号，也可以选择列信号中的多列电信号，可以对列信号逐列选择，也可以隔列选择。
例如，拍摄模式信息为第一模式时，控制电路301控制行选择电路302 选中第1行的三角形像素单元，对应的读出电路读取对应的电信号，得到列信号，并将该列信号输出至列信号处理电路401，控制电路301控制列选择电路402选中列信号中第1列和第2列的电信号，列信号处理电路401将第 1行第1列的电信号和第1行第2列的电信号进行加和，控制电路301再控制列选择电路选中列信号中第3列和第4列的电信号，依次类推，直至列信号处理电路401对所有列的电信号均进行了处理，然后，控制电路301再控制行选择电路302选中第2行的三角形像素单元，依次类推，直至列信号处理电路401对所有行和列的电信号均进行了处理。处理单元403进一步包括依次相连的模数转换器4031、图像信号预处理器(Pre-ISP)4032和终端图像信号处理器(ISP)4033。模数转换器4031与列信号处理电路401电连接，用于将预处理后的列信号进行模数转换，得到数字信号，图像信号预处理器 4032用于对该数字信号进行处理得到图像数据。处理单元403对所有三角形像素单元输出的电信号进行处理后，最后由终端图像信号处理器对得到的图像数据进行去马赛克处理，得到图像。终端图像信号处理器可以是手机、电脑等移动终端上的应用处理装置(AP)，人工智能(AI)处理器或者其他专门用于图像处理的处理器。
再例如，拍摄模式信息为第二模式时，控制电路301控制行选择电路302 选中第1行的三角形像素单元，对应的读出电路读取对应的电信号，得到列信号，并将该列信号输出至列信号处理电路401，控制电路301控制列信号处理电路401将该列信号传输至处理单元403，控制电路301再控制行选择电路302选中第2行的三角形像素单元，依次类推，直至控制电路301控制列信号处理电路401将所有行的列信号均传输至处理单元403。通过模数转换器4031分别将属于第一子阵列的第一信号和第二子阵列的第二信号进行模数转换，得到第一数字信号，和第二数字信号，通过图像信号预处理器4032 对第一数字信号和第二数字信号分别进行处理得到图像数据。处理单元403 对所有行的电信号均进行处理后，得到第一子阵列对应的第一图像数据和第二子阵列对应的第二图像数据，由终端处理器对第一图像数据和第二图像数据进行去马赛克处理和融合处理后，得到图像。
第一模式可以为合成模式，第二模式可以为空间复用模式。在图像传感器工作在合成模式下时，第一子阵列的拍摄参数与第二子阵列的拍摄参数相同。在图像传感器工作在空间复用模式下时，第一子阵列与第二子阵列的拍摄参数不相同，例如，第一子阵列的曝光时间为0.1ms，第二子阵列的曝光时间为33ms。
在图像传感器工作在空间复用模式下时，由于第子阵列和第二子阵列错开的间距较小，对第一图像信号和第二图像信号进行融合处理后，能够减小图像的失真。
在暗光环境下，图像传感器采用像素合成模式输出图像时可以增加图像的信噪比，改善成像质量。另外，图像传感器在拍摄视频时，采用像素合成模式输出视频时可以减少数据量，降低终端处理装置的运算负荷。
图12为本申请实施例提供的成像方法的流程示意图，应用于述图9或图 10所示实施例中的图像传感器中的控制模块，该方法包括以下步骤：
步骤S1201，选中像素阵列中的对应行的三角形像素单元，并将选中的三角形像素单元输出的列信号传输至处理模块。
步骤S1202，控制处理模块对接收到的所述列信号进行处理，以生成图像数据。
在本申请实施例中，拍摄参数包括但不限于曝光时间、增益系数、操作时序等。各三角形像素单元的拍摄参数可以相同也可以不相同，本申请实施例不做具体限定。
参考图9，控制模块300选中三角形像素单元，并控制选中的三角形像素单元中的读出电路读取并输出对应的电信号，得到列信号，并将列信号传输至处理模块400，由控制模块300控制处理模块400对该列信号进行处理。
作为本申请的一个实施例，步骤S1202的一种可能的实现方式为：
获取拍摄模式信息；
若拍摄模式信息为第一模式，则控制处理模块对列信号中属于同一像素对的信号进行加和处理，生成加和信号，以使处理模块根据加和信号生成图像数据，其中，像素对是在第一方向上，由第一子阵列中的三角形像素单元与其相邻的第二子阵列中的三角形像素单元组成的；
若拍摄模式信息为第二模式，则控制处理模块对列信号中属于第一子阵列的第一信号进行处理，以生成第一图像数据，以及对列信号中属于第二子阵列的第二信号进行处理，以生成第二图像数据。
本申请实施例中的成像方法可以为图像传感器工作在空间复用模式下的成像方法，也可以为图像传感器工作在合成模式下的成像方法。第一模式可以为合成模式，第二模式可以为空间复用模式。在成像方法采用图10所示的图像传感器时，根据拍摄模式信息确定是否由列信号处理电路401对列信号进行加和操作。若拍摄模式信息为第一模式，则控制电路301控制列信号处理电路401对列信号进行加和处理；若拍摄模式信息为第二模式，则控制电路301控制列信号处理电路401将列信号传输至处理单元403。
步骤S1202的具体实现方式可以参照上述图10所示实施例的描述，本实施例不再赘述。
图13为本申请实施例提供的终端设备的结构示意图，如图13所示，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PersonalDigital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图13示出的终端设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示，终端设备可以包括处理装置(例如中央处理装置、图形处理装置等)1301，其可以根据存储在只读存储装置(Read Only Memory，简称ROM)1302中的程序或者从存储装置1308加载到随机访问存储装置 (Random Access Memory，简称RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中，还存储有终端设备操作所需的各种程序和数据。处理装置1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/ 输出(I/O)接口1305也连接至总线1304。
通常，以下装置可以连接至I/O接口1305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1306；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、有机发光显示器 (Organic Light Emitting Display，简称OLED)等的显示面板1307；包括例如磁带、硬盘等的存储装置1308，通信装置1309以及图像传感器1310。通信装置1309可以允许终端设备与其他设备进行无线或有线通信以交换数据。虽然图13示出了具有各种装置的终端设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种图像传感器，其特征在于，包括：
像素阵列，所述像素阵列包括多个三角形像素单元，每个所述三角形像素单元均包括光电转换元件和与所述光电转换元件连接的读出电路；
各三角形像素单元的形状均为等腰三角形，且所述等腰三角形的底边长度与所述等腰三角形底边上的高的长度相等，所述多个三角形像素单元以正放和倒置的形式交错相接排布；
所述光电转换元件用于接收入射光信号，并将所述入射光信号转换为电信号；
所述读出电路用于读取并输出所述电信号，所述电信号用于生成图像数据；
在第一方向上，相邻两个三角形像素单元的腰重合；
在第二方向上，相邻两个三角形像素单元的对称轴在同一直线上，且相邻两个三角形像素单元的底边距离等于所述底边上的高的长度；
所述第一方向与所述第二方向正交。
2.根据权利要求1所述的图像传感器，其特征在于，
还包括：颜色滤镜阵列，所述颜色滤镜阵列设置在所述像素阵列朝向所述入射光信号的一侧；所述颜色滤镜阵列包括多个颜色滤镜，每个所述颜色滤镜均对应一个所述三角形像素单元，用于对接收的所述入射光信号进行过滤，以输出不同光色的光信号至所述三角形像素单元。
3.根据权利要求2所述的图像传感器，其特征在于，
所述像素阵列包括第一子阵列和第二子阵列；且在第一方向上，所述第一子阵列的三角形像素单元与所述第二子阵列的三角形像素单元交错排布；
所述第一子阵列的三角形像素单元对应的颜色滤镜的排布方式与所述第二子阵列的三角形像素单元对应的颜色滤镜阵列的排布方式相同。
4.根据权利要求2所述的图像传感器，其特征在于，所述颜色滤镜阵列上每个颜色滤镜朝向所述入射光信号一侧均对应设置一个透镜。
5.根据权利要求3所述图像传感器，其特征在于，还包括：控制模块和处理模块；所述控制模块与所述处理模块电连接，所述控制模块和所述处理模块分别与所述像素阵列电连接；
所述控制模块用于选中所述像素阵列中的对应行的三角形像素单元，并将选中的所述三角形像素单元输出的列信号传输至所述处理模块；
所述控制模块还用于控制所述处理模块对接收到的所述列信号进行处理，以生成图像数据。
6.根据权利要求5所述的图像传感器，其特征在于，所述控制模块包括控制电路、行选择电路；所述处理模块包括列信号处理电路、列选择电路和处理单元；
所述控制电路分别与所述行选择电路的第一端、所述列选择电路的第一端和所述列信号处理电路的第一端电连接，所述行选择电路的第二端与所述像素阵列电连接，所述列信号处理电路的第二端与所述像素阵列电连接，所述列信号处理电路的第三端与所述列选择电路的第二端电连接，所述列信号处理电路的第四端与所述处理单元电连接；
所述控制电路用于控制所述行选择电路选中所述像素阵列中对应行的三角形像素单元，并将选中的所述三角形像素单元输出的列信号传输至所述列信号处理电路；
所述控制电路还用于获取拍摄模式信息；
所述控制电路还用于若所述拍摄模式信息为第一模式，则控制所述列选择电路选中所述列信号中属于同一像素对的列信号，并控制所述列信号处理电路对属于同一像素对的列信号进行预处理，其中，所述像素对是在第一方向上，由所述第一子阵列中的三角形像素单元与其相邻的第二子阵列中的三角形像素单元组成的；
所述处理单元用于对预处理后的所述列信号进行处理，生成图像数据。
7.根据权利要求6所述的图像传感器，其特征在于，
所述控制电路还用于若所述拍摄模式信息为第二模式，则控制所述列信号处理电路将所述列信号传输至所述处理单元；
所述处理单元用于对所述列信号中属于第一子阵列的第一信号进行处理，生成第一图像数据，以及对所述列信号中属于第二子阵列的第二信号进行处理，生成第二图像数据。
8.根据权利要求1或3至7任一项所述的图像传感器，其特征在于，所述图像传感器为背照式CMOS图像传感器或者堆叠式CMOS图像传感器。
9.一种终端设备，其特征在于，包括存储装置、处理装置以及权利要求1至8任一项所述的图像传感器。
10.一种成像方法，其特征在于，应用于权利要求5至7任一项所述的图像传感器中的控制模块，所述方法包括：
选中所述像素阵列中的对应行的三角形像素单元，并将选中的所述三角形像素单元输出的列信号传输至处理模块；
控制所述处理模块对接收到的所述列信号进行处理，以生成图像数据。
11.根据权利要求10所述的方法，其特征在于，所述控制所述处理模块对接收到的所述列信号进行处理，以生成图像数据，包括：
获取拍摄模式信息;
若所述拍摄模式信息为第一模式，则控制所述处理模块对所述列信号中属于同一像素对的列信号进行加和处理，生成加和信号，以使所述处理模块根据所述加和信号生成图像数据，其中，所述像素对是在第一方向上，由所述第一子阵列中的三角形像素单元与其相邻的第二子阵列中的三角形像素单元组成的；
若所述拍摄模式信息为第二模式，则控制所述处理模块对所述列信号中属于第一子阵列的第一信号进行处理，以生成第一图像数据，以及对所述列信号中属于第二子阵列的第二信号进行处理，以生成第二图像数据。
CN202010675565.5A 2020-07-14 2020-07-14 图像传感器、终端设备以及成像方法 Active CN111787248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010675565.5A CN111787248B (zh) 2020-07-14 2020-07-14 图像传感器、终端设备以及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010675565.5A CN111787248B (zh) 2020-07-14 2020-07-14 图像传感器、终端设备以及成像方法

Publications (2)

Publication Number Publication Date
CN111787248A CN111787248A (zh) 2020-10-16
CN111787248B true CN111787248B (zh) 2023-05-02

Family

ID=72768619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010675565.5A Active CN111787248B (zh) 2020-07-14 2020-07-14 图像传感器、终端设备以及成像方法

Country Status (1)

Country Link
CN (1) CN111787248B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023056585A1 (zh) * 2021-10-08 2023-04-13 华为技术有限公司 一种探测***、终端设备、控制探测方法及控制装置
CN114268717A (zh) * 2021-11-30 2022-04-01 维沃移动通信有限公司 图像传感器、摄像模组和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920344B1 (ko) * 2002-12-03 2009-10-07 삼성전자주식회사 액정 표시 장치용 박막 트랜지스터 표시판
US8314866B2 (en) * 2010-04-06 2012-11-20 Omnivision Technologies, Inc. Imager with variable area color filter array and pixel elements
US10334189B1 (en) * 2018-06-06 2019-06-25 Smartsens Technology (Cayman) Co., Ltd. HDR pixel array with double diagonal binning
CN110379824A (zh) * 2019-07-08 2019-10-25 Oppo广东移动通信有限公司 一种cmos图像传感器及图像处理方法、存储介质
CN210073853U (zh) * 2019-07-15 2020-02-14 云谷（固安）科技有限公司 像素排布结构、显示面板及显示装置

Also Published As

Publication number Publication date
CN111787248A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
JP6651478B2 (ja) 画像センサにおける画素ビニング
CN212752389U (zh) 图像传感器和电子设备
US8754967B2 (en) Solid-state imaging device, signal processing method thereof, and image capturing apparatus
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
WO2022143280A1 (zh) 图像传感器、摄像模组和电子设备
US20170013217A1 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
US9343492B2 (en) CMOS image sensor based on thin-film on asic and operating method thereof
WO2021223590A1 (zh) 图像传感器、控制方法、摄像头组件和移动终端
US20140263951A1 (en) Image sensor with flexible pixel summing
KR20180128802A (ko) 픽셀 회로 및 이를 포함하는 이미지 센서
EP3242479B1 (en) Imaging device and mobile terminal
CN112235494B (zh) 图像传感器、控制方法、成像装置、终端及可读存储介质
CN101472186A (zh) 摄像元件的驱动装置和摄像装置的驱动方法
CN109075179A (zh) 固态成像元件和电子设备
CN111787248B (zh) 图像传感器、终端设备以及成像方法
US20060125944A1 (en) Solid-state image pickup element and image pickup apparatus using the same
US20150029355A1 (en) Image sensors and imaging devices including the same
US20220075104A1 (en) Image sensor and electronic camera
CN113747022B (zh) 图像传感器、摄像头组件和移动终端
CN111818283A (zh) 三角形像素的图像传感器、电子设备及成像方法
CN111835971B (zh) 图像处理方法、图像处理***、电子设备及可读存储介质
CN116530088A (zh) 相机模块和包括相机模块的电子装置
CN215581392U (zh) 电子设备、摄像头模组及其图像传感器
JP7144604B2 (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法
CN115776617A (zh) 像素结构、图像传感器、设备及图像处理方法、控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant