CN114650343A - 一种图像传感器及成像装置 - Google Patents

一种图像传感器及成像装置 Download PDF

Info

Publication number
CN114650343A
CN114650343A CN202011481336.6A CN202011481336A CN114650343A CN 114650343 A CN114650343 A CN 114650343A CN 202011481336 A CN202011481336 A CN 202011481336A CN 114650343 A CN114650343 A CN 114650343A
Authority
CN
China
Prior art keywords
pixel unit
pixel
light
unit
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011481336.6A
Other languages
English (en)
Inventor
陈秋萍
代郁峰
邹松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XFusion Digital Technologies Co Ltd
Original Assignee
XFusion Digital Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XFusion Digital Technologies Co Ltd filed Critical XFusion Digital Technologies Co Ltd
Priority to CN202011481336.6A priority Critical patent/CN114650343A/zh
Publication of CN114650343A publication Critical patent/CN114650343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本申请提供了一种图像传感器及成像装置，该图像传感器包括阵列排列的多个像素单元；像素单元按照种类可分为第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元。第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的个数分别为多个。其中，第一像素单元、第二像素单元及第三像素单元为可接收不同颜色光线的像素单元。第四像素单元为可接收可见光光线的像素单元；第五像素单元为获取目标物体深度信息的TOF像素单元。在上述技术方案中，通过在图像传感器中增加了接收环境光中的可见光光线的第四像素单元，从而增大了图像传感器的感光性，提高了成形图像的亮度，进而增大了图像传感器的成像质量。

Description

一种图像传感器及成像装置
技术领域
本申请涉及到图像技术领域，尤其涉及到一种图像传感器及成像装置。
背景技术
3D深度视觉领域的主流方案之一为ToF(Time of flight，飞行时间)技术。ToF技术的工作原理如图1所示，TOF探测器包括发射器1和接收器2，发射器1发射光脉冲，当光脉冲遇见障碍物时，必然会出现反射。光脉冲探测的距离不同，反射运动时间(如图1中的d1和d2)也不同。通过接收器2记录光脉冲的反射运动时间，推算出发射器1同目标物体的距离，并以此生成一张目标物体的3D信息图。ToF技术的典型应用在图像传感器，通过图像传感器采集目标物体的彩色信息及深度信息，获得具有深度信息的彩图。例如在手机主摄旁搭载ToF探测器，或者在前置摄像头搭载TOF探测器。
现有技术实现图像传感器承载TOF探测器采用的方式是基于一块图像传感器上集成ToF像素与彩色像素的方案，但是由于彩色像素仅利用了可见光中的某一种像素分量作为画面亮度，因此其只能利用最多1/2的可见光亮度，这造成在低可见光照度的环境下，图像传感器的感光性差，从而降低图像质量。
发明内容
本申请提供了一种图像传感器及成像装置，用于改善图像传感器的成像的图像质量。
第一方面，提供了一种图像传感器，该图像传感器包括阵列排列的多个像素单元；多个像素单元排列成棋盘状的结构。上述像素单元按照种类可分为第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元。第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的个数分别为多个。其中，第一像素单元、第二像素单元及第三像素单元为分别用于接收可见光中不同颜色光线的像素单元；第四像素单元为可接收环境光中可见光光线的像素单元；所述第五像素单元为获取目标物体深度信息的TOF像素单元。在上述技术方案中，通过在图像传感器中增加了接收可见光光线的第四像素单元，从而增大了图像传感器的感光性，提高了成形图像的亮度，进而增大了图像传感器的成像质量。
在一个具体的可实施方案中，所述多个像素单元中，所述第四像素单元的个数与所述多个像素单元的个数比例介于25％～75％。通过设置不同比例的第四像素单元，提高图像传感器的感光性。
在一个具体的可实施方案中，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的尺寸可采用不同的方式设置。如在一种方案中，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的尺寸相等。在另一种方案中，所述第一像素单元、第二像素单元、第三像素单元及第四像素单元的尺寸相等；所述第五像素单元的尺寸为四个呈阵列排布的所述第一像素单元的最外侧边形成的矩形的尺寸相等。通过不同的方式设置上述几种像素单元。
在一个具体的可实施方案中，第一像素单元、第二像素单元和第三像素单元可为接收不同颜色的像素单元。如在一种方案中，所述第一像素单元、第二像素单元及第三像素单元分别为：红色像素单元、绿色像素单元和蓝色像素单元；在另一种方案中，所述第一像素单元、第二像素单元及第三像素单元分别为：青色像素单元、品红色像素单元和黄色像素单元。通过像素单元接收不同的彩色单元，均可实现成像效果。
在一个具体的可实施方案中，第一像素单元、第二像素单元、第三像素单元、第四像素单元和第五像素单元均可采用不同的比例设置，如在第一像素单元、第二像素单元、第三像素单元、第四像素单元、第五像素单元的尺寸相同时，上述五种像素单元的排布比例可为：
在所述第四像素单元的个数与所述多个像素单元的个数比例为25％时，所述第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：2:2:2:1:1；或者3:3:3:2:1或者4:4:4:3:1。
在所述第四像素单元的个数与所述多个像素单元的个数比例为50％时，所述第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：2:4:2:7:1；或者2:4:2:6:2；或者2:4:2:7:1；或者2:4:2:6:2；或者4:4:4:11:1；或者4:4:4:10:2。
在所述第四像素单元的个数与所述多个像素单元的个数比例为75％时，所述第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：1:2:1:11:1；或者1:2:1:10:2。
在第五像素单元的尺寸与所述第一像素单元、第二像素单元、第三像素单元及第四像素单元排列成的矩形尺寸相等时，上述五种像素单元的排布比例可为：
在所述第四像素单元的个数与所述多个像素单元的个数比例为25％时，所述第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：3:3:3:3:1；或者5:5:5:5:1或者8:8:8:8:1或者15:15:15:15:1。
在所述第四像素单元的个数与所述多个像素单元的个数比例为50％时，所述第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：6:14:8:28:2或者8:14:6:28:2、或者8:12:8:28:2、或者8:12:8:28:2。
在所述第四像素单元的个数与所述多个像素单元的个数比例为75％时，所述第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：4:7:4:45:1；或者4:6:4:42:2；或者4:4:4:36:4。
在一个具体的可实施方案中，图像传感器还包括设置在所述多个像素单元的入光侧的滤光模块。通过滤光模块过滤掉杂光。
在一个具体的可实施方案中，所述滤光模块为双通带滤光模块，所述双通带滤光模块可透过环境光中的可见光光线及红外光线。通过双通带滤光模块即可保证滤光效果。
在一个具体的可实施方案中，图像传感器还包括用于聚光的透镜，所述透镜位于所述多个像素单元的入光侧。通过聚光的透镜，提高进光量。
在一个具体的可实施方案中，还包括图像处理模块，所述图像处理模块根据所述第一像素单元接收的光线、所述第二像素单元接收的光线、所述第三像素单元接收的光线进行插值运算，得到彩色图像；并根据所述第四像素单元获取的可见光光线进行插值运算，得到每个像素单元对应的亮度信息；根据所述第五像素单元获取的红外光线进行插值运算，得到每个像素单元对应的深度信息；所述图像处理单元根据将所述彩色图像以及每个像素单元对应的亮度信息和深度信息融合获得深度彩色图像。
在一个具体的可实施方案中，所述图像处理模块还用于根据所述第一像素单元接收的光线、所述第二像素单元接收的光线、所述第三像素单元接收的光线，以及所述第四像素单元接收的可见光光线确定照射到所述第一像素单元、所述第二像素单元和所述第三像素单元的红外干扰光线；并根据获取的所述红外干扰光线校准所述第一像素单元接收的单色光线、所述第二像素单元接收的单色光线以及所述第三像素单元接收的单色光线，并根据校准后的单色光线得到所述彩色图像。提高了成像效果。
第二方面，提供了一种成像装置，该成像装置包括壳体，以及设置在所述壳体内的上述任一项所述的图像传感器。在上述技术方案中，通过在图像传感器中增加了接收可见光的第四像素单元，从而增大了图像传感器的感光性，提高了成形图像的亮度，进而增大了图像传感器的成像质量。
附图说明
图1为TOF探测器的工作原理图；
图2为本申请实施例提供的图像传感器的应用场景示意图；
图3为本申请实施例提供的图像传感器的分解示意图；
图4为本申请实施例提供的图像传感器的工作流程图；
图5为本申请实施例提供的像素阵列示意图；
图6为本申请实施例提供的像素单元的工作原理图；
图7为本申请实施例提供的彩色信息采集单元的电路图；
图8为本申请实施例提供的深度信息采集单元的电路图；
图9为本申请实施例提供的亮度信息采集单元的电路图；
图10为本申请实施例提供的亮度信息处理单元的原理框图；
图11为本申请实施例提供的彩色信息处理单元的流程图；
图12为本申请实施例提供的深度信息处理单元的流程图；
图13为本申请实施例提供的深度彩色融合图像单元的流程图；
图14为本申请实施例提供的另一像素阵列示意图；
图15为本申请实施例提供的另一像素阵列示意图。
具体实施方式
下面将结合附图对本申请实施例作进一步描述。
首先说明本申请实施例提供的图像传感器的应用场景，本申请实施例提供的图像传感器应用于电子设备中，如手机、平板电脑、可穿戴电子设备等常见的具有拍照功能的设备中。当然，还可应用于其他类型的带拍摄功能的电子设备中。如图2中所示，本申请实施例提供的图像传感器4应用于移动终端内时，移动终端包括壳体3以及设置在壳体3内的图像传感器4，图像传感器4设置在主板5上，并与主板5导电连接。目标物体的光线在射入到图像传感器4中时，可通过图像传感器4将光学信号转换成电信号，并进行成像处理。现有技术中的图像传感器4为改善成像效果，引入了TOF技术，在像素阵列中集成了TOF像素单元，从而可获得具有深度信息的彩图。但是现有的图像传感器仍然存在在低可见光的环境下感光性差的问题，影响了成像效果。为此，本申请实施例提供了一种图像传感器，下面结合具体的附图以及实施例对其进行详细的说明。
参考图3，图3示出了本申请实施例提供的图像传感器的结构示意图。本申请实施例提供的图像传感器包括沿光路排列的透镜10、滤光模块20、像素阵列30及图像处理模块40。其中，像素阵列30包括彩色滤光层31以及图像采集模块32。从目标物体照射的光线依次透过透镜10、滤光模块20、彩色滤光层31后照射到图像采集模块32。图像采集模块32将光学信号转换成数字信号，图像处理模块40根据图像采集模块32的数字信号进行成像处理，生成深度彩色图像。
应理解，上述的透镜10以及滤光模块20为可选择的模块结构，在设置图像传感器时，可根据实际需要选择性设置透镜10或滤光模块20，在本申请实施例中不做具体限定。
一并参考图4，图4示出了本申请实施例提供的图像传感器成像过程的流程图。复杂波段的混合入射光经过透镜10聚焦后，透过滤光模块20后照射到像素阵列，滤光模块20设置在像素阵列的入光侧，以用于将复杂波段的混合入射光中的杂光过滤掉，仅留下可透过像素阵列的光线(即为目标物体射过来的用于成像的光线)，从而改善成像效果。示例性的，若像素阵列所需的光线为环境光中的可见光波段以及红外光波段，则滤光模块20可采用双通带滤光模块，双通带滤光模块可通透过的两个通带分别为可见光波段以及红外光波段。若像素阵列对应的红外光波段为特定窄带红外光波段，则双通带滤光模块对应可透过该特定窄带红外光波段。在采用双通带滤光模块透过可见光及红外光并阻挡其他频段的杂光后，可降低杂光对图像传感器成像造成的影响，减少后续模块工作中存在的光干扰与噪声，提升图像传感器的成像质量。
可见光和红外光照射到彩色滤光层31后形成矩阵排列的光信号，光信号照射到图像采集模块32，图像采集模块32将光学信号转换成数字信号，生成矩阵排列的数字信号。图像处理模块40根据矩阵排列的数字信号进行成像处理，生成深度彩色图像。
一并参考图5，像素阵列包含有多个像素单元，多个像素单元排列成M行和N列，其中M和N均为大于2的正整数。多个像素单元中包含有不同种类的像素单元，示例性的，上述像素单元按照种类可分为第一像素单元33(R)、第二像素单元34(G)、第三像素单元35(B)、第四像素单元36(W)及第五像素单元37(TOF)。第一像素单元33、第二像素单元34、第三像素单元35、第四像素单元36及第五像素单元37的个数分别为多个。多个第一像素单元33、第二像素单元34、第三像素单元35、第四像素单元36及第五像素单元37按照阵列的方式排列成像素阵列。
其中的第一像素单元33、第二像素单元34及第三像素单元35为分别用于可接收可见光中不同颜色光线的像素单元，以用于接收可见光中不同颜色的光线。示例性的，第一像素单元33可为红色(R)像素单元，第二像素单元34可为绿色(G)像素单元，第三像素单元35可为蓝色(B)像素单元。示例性的，如图5中所示其中，R表示红色像素单元接收的红色光，G表示绿色像素单元接收的绿色光，B表示蓝色像素单元接收的蓝色光。
作为一个可选的方案，第一像素单元33、第二像素单元34及第三像素单元35还可分别为青色像素单元、品红色像素单元和黄色像素单元。
应理解，上述第一像素单元33、第二像素单元34及第三像素单元35仅仅为示例的两种具体情况，本申请实施例提供的第一像素单元33、第二像素单元34和第三像素单元35还可根据成像的需求接收其他颜色的光线。
第四像素单元36为可接收环境光中的可见光光线的像素单元，如图5中所示的W表示第四像素单元接收的可见光。为简化描述，下文中将环境光中的可见光简称为可见光。
第五像素单元37为获取目标物体深度信息的TOF像素单元。TOF像素单元可接收用于探测目标物体距离的红外光。
如前所述，参见图3，像素阵列20包括彩色滤光层31和图像采集模块32。像素阵列20包括第一像素单元、第二像素单元、第三像素单元、第四像素单元和第五像素单元。参见图6，第一像素单元包括第一滤光区311和第一颜色信息采集单元321；第二像素单元包括第二滤光区312和第二颜色信息采集单元322；第三像素单元包括第三滤光区313和第三颜色信息采集单元323；第四像素单元包括第四滤光区314和亮度信息采集单元324；第五像素单元包括第五滤光区315和深度信息采集单元325。值得注意的是，第一滤光区311、第二滤光区312、第三滤光区313、第四滤光区314、第五滤光区315均位于彩色滤光层31。第一颜色信息采集单元321、第二颜色信息采集单元322、第三颜色信息采集单元323、亮度信息采集单元324和深度信息采集单元325均位于图像采集模块32。
作为一个可选的方案，像素阵列还可包括微透镜组，每个滤光区对应一个微透镜，通过微透镜的聚光可将光线汇聚到对应的滤光区中，以提高每个像素单元接收的光线。
在可见光包含红、绿、蓝三种颜色的光线时，当可见光及红外光分别照射到五种像素单元时，第一像素单元33的第一滤光区311仅可透过红色光线；第二像素单元34的第二滤光区312仅可透过绿色光线；第三像素单元35的第三滤光区313仅可透过蓝色光线；第四像素单元36的第四滤光区314透过红色光线、绿色光线和蓝色光线；第五像素单元37的第五滤光区315仅可透过红外光。通过上述五种像素单元的滤光区分别获取与目标物体成像的彩色信息相关的彩色信息相关的光线(红、绿、蓝三色的单色光线)、深度信息相关的光线(红外光线)以及亮度信息相关的光线(可见光光线)。上述光线在透过对应的滤光区后照射到图像采集模块进一步处理。
图像采集模块按照功能划分可分为深度信息采集单元325、彩色信息采集单元(其中，彩色信息采集单元包括第一颜色信息采集单元321、第二颜色信息采集单元322以及第三颜色信息采集单元323)以及亮度信息采集单元324。通过图像采集模块可获取到目标物体的深度、彩色、亮度的光学信号，并将其转换成电压信号，再将光学信号转换成数字信号。结合图6所示的结构，第一像素单元33的第一彩色信息采集单元321接收红色光线，第二像素单元34的第二彩色信息采集单元322接收绿色光线，第三像素单元35的第三彩色信息采集单元323接收蓝色光线。第四像素单元36的亮度信息采集单元324接收红色光线、绿色光线以及蓝色光线，第五像素单元37的深度信息采集单元325接收红外线光线。
一并参考图7，图7示出了本申请实施例提供的彩色信息采集单元的电路图，上述的第一彩色信息采集单元、第二彩色信息采集单元、第三彩色信息采集单元均为传统四管像素传感器，每个彩色信息采集单元包括传输晶体管MTG和浮动扩散区FD，传输晶体管MTG的控制端接收控制信号，传输晶体管MTG的输入端连接光电二极管PD，传输晶体管MTG的输出端在传输晶体管MTG的控制端接收到控制信号时输出电压信号，传输晶体管MTG将光电二极管PD的电压信号转移到浮动扩散区FD进行保存。光电二极管PD中累积的光生载流子被转移到浮动扩散区FD中，并转换成电压信号，后续经过数模转换ADC转换为数字信号后，进入彩色信息处理单元。在具有多个第一像素单元、第二像素单元和第三像素单元时，每个像素单元分别包含一个光电二极管PD来接收光信号。
一并参考图8，图8示出了深度信息采集单元的电路图，深度信息采集单元包括第一电压信号输出模块和第二电压信号输出模块。
第一电压信号输出模块包括第一传输晶体管MTG1和第一浮动扩散区FD1，第一传输晶体管MTG1的控制端接收控制信号，第一传输晶体管MTG1的输入端连接光电二极管PD，第一传输晶体管MTG1的输出端在第一传输晶体管MTG1的控制端接收到控制信号时输出第一电压信号，第一传输晶体管MTG1将光电二极管PD的第一电压信号转移到第一浮动扩散区FD1进行保存。
第二电压信号输出模块102用于将累积在光电二极管PD的电荷转化为电压信号，其包括第二传输晶体管MTG2和第二浮动扩散区FD2，第二传输晶体管MTG2的控制端接收控制信号，第二传输晶体管MTG2的输入端连接光电二极管PD，第二传输晶体管MTG2的输出端在第二传输晶体管MTG2的控制端接收到控制信号时输出第二电压信号，第二传输晶体管MTG2将光电二极管PD的第二电压信号转移到第二浮动扩散区FD2进行保存。
当测量深度信息时，设置发送到第一传输晶体管MTG1的控制信号与调制光的相位相同，设置发送到第二传输晶体管MTG2的控制信号与发送到第一传输晶体管MTG1的控制信号的相位互补，发射调制光至目标物体，光电二极管PD存储红外光学信号，并转移至FD中，转换成电压信号。在探测目标物体的距离时，通过比较反射信号波段的时间差，从而得到照射到目标物体的深度信息。
参考图9，图9示出了本申请实施例提供的亮度信息采集单元的电路图，亮度信息采集单元与每个彩色信息采集单元的结构相同，两者的区别仅在于接收到的光线不同，因此亮度信息采集单元的采集原理与彩色信息单元的采集原理相同，在此不再赘述。在像素阵列中引入了第四像素单元，由于第四像素单元允许红色、绿色、蓝色三种不同波长的光线透过，因此第四像素单元的亮度比其他接收单色的像素单元(如接收红色光的第一像素单元、接收绿色光的第二像素单元等)的亮度高，因此图像传感器输出的图像亮度要比现有技术中仅采用单色颜色光线获取亮度信息的图像传感器输出的图像亮度要高，尤其在低照度的环境下，可有效的提升成像质量。同时在信噪比上，白色像素的单元的信噪比也比像素单元的信噪比高3dB，从而引入第四像素单元可提升图像质量。
为方便理解本申请实施例提供的图像传感器形成图像的原理，首先说明插值运算，插值运算指的是利用已知数据去预测未知数据，图像插值是给定一个像素单元，根据它周围像素单元的信息来对该像素单元的值进行预测。常见的插值算法可以分为两类：自适应和非自适应。自适应的方法可以根据插值的内容来改变(尖锐的边缘或者是平滑的纹理)，非自适应的方法对所有的像素单元都进行同样的处理。非自适应算法包括：最近邻插值法、双线性插值法、双三次插值法、样条插值法等。
图像处理模块根据第一像素单元、第二像素单元、第三像素单元接收的光线进行插值运算，得到彩色图像；并根据第四像素单元获取的可见光线进行插值运算，得到每个像素单元对应的亮度信息；根据第五像素单元获取的红外光线进行插值运算，得到每个像素单元对应的深度信息；图像处理单元根据将彩色图像，每个像素单元对应的亮度信息和深度信息融合获得深度彩色图像。图像处理模块包括深度信息处理单元、彩色图像处理单元、亮度信息处理单元以及深度彩色融合图像单元。上述深度信息处理单元用于对图像采集模块采集的深度信息进行处理，彩色图像处理单元用于对图像采集模块采集的彩色信息进行处理，亮度信息处理单元用于对图像采集模块采集的亮度信息进行处理。深度彩色融合图像单元用于将处理后的彩色信息、深度信息、亮度信息进行融合得到深度彩色图像。
参考图10，图10示出了亮度信息处理单元的原理框图。亮度信息处理单元对第四像素单元接收到的可见光光线转换成的数字信号进行插值运算。在M行和N列的像素阵列中，根据第四像素单元的位置以及可见光光线转换的数字信号，带入到插值运算中，从而获取M行和N列的像素单元中每个像素单元对应的亮度信息。
参考图11，图11示出了彩色信息处理单元的流程图。以彩色光线为红、绿、蓝为例。彩色信息处理单元首先获取红色、绿色和蓝色的单色光线，之后通过插值运算获取M行和N列像素阵列对应的红色全分辨图、绿色全分辨图、蓝色全分辨图。图像处理模块还用于根据第一像素单元、第二像素单元、第三像素单元接收的光线，以及第四像素单元获取的光线确定照射到第一像素单元、第二像素单元和第三像素单元的红外干扰光线；并根据获取的红外干扰光线校准第一像素单元、第二像素单元、第三像素单元接收的单色光线，并根据校准后的光线得到彩色图像。从而利用形成的全分辨图提取每个颜色的全分辨图中，对应的红外光线分量，之后还原混合光中的可见光分量，并得到颜色校正后的彩色图像。其中，还原混合光中可见光分量的具体步骤如下：
由于滤光模块可透过可见光光线以及红外光光线，因此照射到每个像素单元的光线均包含可见光和红外光，因此第一像素单元、第二像素单元、第三像素单元和第四像素单元接收的光线均为混合光线。示例性的，第一像素单元、第二像素单元、第三像素单元接收的红外光线会对第一像素单元、第二像素单元和第三像素单元的接收的单色光线造成干扰。同时第四像素单元接收的红外光也会对第四像素单元接收的可见光线造成干扰。
以混合光Ri，j、Gi，j、Bi，j、Wi，j分别表示第一像素单元接收的混合光、第二像素单元接收的混合光、第三像素单元接收的混合光、第四像素单元接收的混合光。混合光Ri，j、Gi，j、Bi，j、Wi，j等混合光可通过彩色信息采集单元以及亮度信息采集单元直接获取。由于每个像素单元上接收到的红外光和可见光的量相同，因此每个像素单元接收的红外光线量相同。
由上述描述可得到以下公式：
第一像素单元接收的混合光Ri，j＝Ri，j′+NIRi，j；其中，Ri，j′为照射到第一像素单元的红色光线。NIRi，j为第一像素单元接收的红外干扰光线。
第二像素单元接收的混合光Gi，j＝Gi，j′+NIRi，j；其中，Gi，j′为照射到第二像素单元的绿色光线。
第三像素单元接收的混合光Bi，j＝Bi，j′+NIRi，j；其中，B′i，j为照射到第三像素单元的蓝色光线。
第四像素单元接收的混合光Wi，j＝Wi，j′+NIRi，j；其中，Wi，j′为照射到第四像素单元的可见光线。
由上述光线量的公式可推导出Ri，j+Gi，j+Bi，j＝Ri，j′+Gi，j′+Bi，j′+3*NIRi，j(公式1)。
对于可见光来说，其由红色光线、蓝色光线以及绿色光线组成，因此可得到Ri，j′+Gi，j′+Bi，j′＝Wi，j′(公式2)。
将公式2带入公式1，并结合Wi，j＝Wi，j′+NIRi，j，可得到Ri，j+Gi，j+Bi，j-Wi，j＝3*NIRi，j，得出NIRi，j＝(Ri，j+Gi，j+Bi，j-Wi，j)/3。即每个像素单元接收的红外光线量。
从而可根据已知的混合光Ri，jGi，jBi，j得出NIRi，j。根据得到的NIRi，j可以计算得到第一像素单元接收的红色光线为：Ri，j′＝Ri，j-NIRi，j；第二像素单元接收的绿色光线为：Gi，j′＝Gi，j-NIRi，j；第三像素单元接收的蓝色光线为：Bi，j′＝Bi，j-NIRi，j。
由上述描述可看出，通过引入的第四像素单元后，在图像处理时，可通过算法计算可分离混合光中的红外光与可见光，减少红外光干涉，可提高成像质量。同时也无需为改善成像效果，在彩色像素单元的入光侧搭设额外减少红外线干扰的滤光模块，降低了图像传感器的成本。
同理，在第一像素单元、第二像素单元及第三像素单元分别为青色像素单元、品红色像素单元和黄色像素单元时，彩色信息处理单元也可通过算法去除掉红外干扰光线的干扰。具体处理过程如下：
由图像采集模块可获取第一像素单元接收的混合光Ci，j、第二像素单元接收的混合光Mi，j、第三像素单元接收的混合光Yi，j、第四像素单元接收的混合光Wi，j。
第一像素单元接收的混合光Ci，j＝Ci，j′+NIRi，j；其中，Ci，j′为照射到第一像素单元的青色光线。
第二像素单元接收的混合光Mi，j＝Mi，j′+NIRi，j；其中，Mi，j′为照射到第二像素单元的品红色光线。
第三像素单元接收的混合光Yi，j＝Yi，j′+NIRi，j；其中，Yi，j′为照射到第三像素单元的黄色光线。
第四像素单元接收的混合光Wi，j＝Wi，j′+NIRi，j；其中，Wi，j′为照射到第四像素单元的可见光光线。
由已知的Ci，j＝Ci，j+Bi，j，Mi，j＝Bi，j+Ri，j，Yi，j＝Gi，j+Ri，j，Ri，j+Gi，j+Bi，j＝Wi，j，以及上述的混合光公式，可以得到Ri，j′＝W′i，j-C′i，j＝(Wi，j′+NIRi，j)-(C′i，j+NIRi，j)＝Wi，jGi，j；同理，Gi，j′＝Wi，j-Mi，j,Bi，j′＝Wi，j-Yi，j。
由上述描述可看出，采用互补色(青色、品红色、黄色)的像素单元，其彩色计算方式直接由第四像素单元接收的混合光减互补色得到，较采用三原色(红色、绿色、蓝色)的像素单元，计算步骤少一步，计算过程更精简。
参考图12，图12示出了深度信息处理单元的流程图。深度处理单元在处理时，可采用类似上述彩色信息处理单元的过程。首先获取未处理的红外线数据，具体可通过深度信息采集单元获得。之后通过上述公式中获取的NIRi，j得到减去可见光干扰后的红外线。并根据该红外线得到M行和N列像素阵列的深度图，即每个像素单元对应的深度信息。
参考图13，图13示出了深度彩色融合图像单元的流程图。通过彩色图像处理单元和亮度信息处理单元对像素单元处理后，得到可见光彩色图的UV信息以及Y信息，其中UV标示色度，Y标示亮度。通过融合提高原始彩图的亮度与信噪比。之后与深度信息处理单元得到的深度图融合，得到高质量深度彩色图像。
通过上述描述可看出，在像素阵列中引入了第四像素单元，由于第四像素单元允许红色、绿色、蓝色三种不同波长的光线透过，因此第四像素单元的亮度比其他接收单色的像素单元(如接收红色光的第一像素单元、接收绿色光的第二像素单元等)的亮度高，因此图像传感器输出的图像亮度要比现有技术中仅采用单色颜色光线获取亮度信息的图像传感器输出的图像亮度要高，尤其在低照度的环境下，可有效的提升成像质量。同时在信噪比上，第四像素单元的信噪比也比其他像素单元的信噪比高3dB，从而引入第四像素单元可提升图像质量。另外，通过引入的第四像素单元后，在图像处理时，可通过算法计算可分离混合光中的红外光与可见光，减少光干涉，可提高成像质量。同时也无需为改善成像效果，在彩色像素单元的入光侧搭设额外减少红外线干扰的滤光模块，降低了图像传感器的成本。
对于像素阵列，不仅限于图5所示的一种具体的情况，在多个像素单元中，第四像素单元的个数与多个像素单元的个数比例介于25％～75％即可满足本申请实施例提供的图像传感器的需求。示例性的，第四像素单元的个数与多个像素单元的比例可以为25％、50％、75％等不同的比例。下面结合附图分别对上述比例进行说明。
参考图14，图14示出了本申请实施例提供的像素阵列的一种具体情况，在图14所示的像素阵列中，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的尺寸相等。
在第四像素单元的个数与多个像素单元的个数比例为25％时，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：2:2:2:1:1；或者3:3:3:2:1或者4:4:4:3:1。
在第四像素单元的个数与多个像素单元的个数比例为50％时，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：2:4:2:7:1；或者2:4:2:6:2；或者2:4:2:7:1；或者2:4:2:6:2；或者4:4:4:11:1；或者4:4:4:10:2。
在第四像素单元的个数与多个像素单元的个数比例为75％时，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：1:2:1:11:1；或者1:2:1:10:2。
应理解，在本申请实施例中并不具体限定像素之间的排列顺序，可根据需要设置第一像素单元、第二像素单元、第三像素单元、第四像素单元和第五像素单元的排列顺序。
参考图15，图15示出了本申请实施例提供的另一种像素阵列，第一像素单元、第二像素单元、第三像素单元及第四像素单元的尺寸相等，而第五像素单元与第一像素单元、第二像素单元、第三像素单元及第四像素单元排列成的矩形尺寸相等。上述图像传感器中，由于第四像素单元允许红色、绿色、蓝色三种不同波长的光线透过，因此第四像素单元的亮度比其他接收单色的像素单元(如接收红色光的第一像素单元、接收绿色光的第二像素单元等)的亮度高，因此图像传感器输出的图像亮度要比现有技术中仅采用单色颜色光线获取亮度信息的图像传感器输出的图像亮度要高，尤其在低照度的环境下，可有效的提升成像质量。同时在信噪比上，白色像素的单元的信噪比也比其他像素单元的信噪比高3dB，从而引入第四像素单元可提升图像质量。除此之外，引入第四像素单元后，通过算法计算可分离混合光中的红外光与可见光，减少光干涉的影响。另外第五像素单元占据4个像素单元的位置，第五像素单元的面积更大，其深度图的信噪比得到提升，测量的深度精度进一步提高。
在第四像素单元的个数与多个像素单元的个数比例为25％时，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：3:3:3:3:1；或者5:5:5:5:1或者8:8:8:8:1或者15:15:15:15:1。
在第四像素单元的个数与多个像素单元的个数比例为50％时，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：6:14:8:28:2或者8:14:6:28:2、或者8:12:8:28:2、或者8:12:8:28:2。
在第四像素单元的个数与多个像素单元的个数比例为75％时，第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的比例为：4:7:4:45:1；或者4:6:4:42:2；或者4:4:4:36:4。
本申请实施例还提供了一种成像装置，该成像装置为电子设备，如手机、平板电脑、可穿戴电子设备等常见的具有拍照功能的设备。当然，还可是其他类型的带拍摄功能的电子设备。成像装置包括壳体，以及设置在壳体内的上述任一项的图像传感器。在上述技术方案中，通过在图像传感器中增加了接收可见光的第四像素单元，从而增大了图像传感器的感光性，提高了成形图像的亮度，进而增大了图像传感器的成像质量。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种图像传感器，其特征在于，包括阵列排列的多个像素单元；其中，所述多个像素单元中包括第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元；其中，
所述第一像素单元、所述第二像素单元及所述第三像素单元为分别用于接收可见光中不同颜色光线的像素单元；
所述第四像素单元为接收环境光中可见光光线的像素单元；
所述第五像素单元为检测目标物体深度的TOF像素单元。
2.如权利要求1所述的图像传感器，其特征在于，所述多个像素单元中，所述第四像素单元的个数与所述多个像素单元的个数比例介于25％～75％。
3.如权利要求2所述的图像传感器，其特征在于，所述第一像素单元、第二像素单元、第三像素单元、第四像素单元及第五像素单元的尺寸相等。
4.如权利要求2所述的图像传感器，其特征在于，所述第一像素单元、第二像素单元、第三像素单元及第四像素单元的尺寸相等；
所述第五像素单元的尺寸与四个呈阵列排布的所述第一像素单元的最外侧边形成的矩形的尺寸相等。
5.如权利要求1～4任一项所述的图像传感器，其特征在于，所述第一像素单元、第二像素单元及第三像素单元分别为：红色像素单元、绿色像素单元和蓝色像素单元；或，
所述第一像素单元、第二像素单元及第三像素单元分别为：青色像素单元、品红色像素单元和黄色像素单元。
6.如权利要求1～5任一项所述的图像传感器，其特征在于，还包括设置在所述多个像素单元的入光侧的滤光模块。
7.如权利要求6所述的图像传感器，其特征在于，所述滤光模块为双通带滤光模块，所述双通带滤光模块可透过环境光中的可见光光线及红外光线。
8.如权利要求1～7任一项所述的图像传感器，其特征在于，还包括用于聚光的透镜，所述透镜位于所述多个像素单元的入光侧。
9.如权利要求1～8任一项所述的图像传感器，其特征在于，还包括图像处理模块，所述图像处理模块根据所述第一像素单元接收的光线、所述第二像素单元接收的光线、所述第三像素单元接收的光线进行插值运算，得到彩色图像；并根据所述第四像素单元获取的可见光光线进行插值运算，得到每个像素单元对应的亮度信息；根据所述第五像素单元获取的红外光线进行插值运算，得到每个像素单元对应的深度信息；所述图像处理单元根据将所述彩色图像以及每个像素单元对应的亮度信息和深度信息融合获得深度彩色图像。
10.如权利要求9所述的图像传感器，其特征在于，所述图像处理模块还用于根据所述第一像素单元接收的光线、所述第二像素单元接收的光线、所述第三像素单元接收的光线，以及所述第四像素单元接收的可见光光线确定照射到所述第一像素单元、所述第二像素单元和所述第三像素单元的红外干扰光线；并根据获取的所述红外干扰光线校准所述第一像素单元接收的单色光线、所述第二像素单元接收的单色光线以及所述第三像素单元接收的单色光线，并根据校准后的单色光线得到所述彩色图像。
11.一种成像装置，其特征在于，包括壳体，以及设置在所述壳体内的如权利要求1～10任一项所述的图像传感器。
CN202011481336.6A 2020-12-15 2020-12-15 一种图像传感器及成像装置 Pending CN114650343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011481336.6A CN114650343A (zh) 2020-12-15 2020-12-15 一种图像传感器及成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011481336.6A CN114650343A (zh) 2020-12-15 2020-12-15 一种图像传感器及成像装置

Publications (1)

Publication Number Publication Date
CN114650343A true CN114650343A (zh) 2022-06-21

Family

ID=81990096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011481336.6A Pending CN114650343A (zh) 2020-12-15 2020-12-15 一种图像传感器及成像装置

Country Status (1)

Country Link
CN (1) CN114650343A (zh)

Similar Documents

Publication Publication Date Title
CN110649056B (zh) 图像传感器、摄像头组件及移动终端
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US8619143B2 (en) Image sensor including color and infrared pixels
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
EP2471258B1 (en) Reducing noise in a color image
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
WO2013027340A1 (ja) 撮像装置
CN111246064B (zh) 图像处理方法、摄像头组件及移动终端
US20230046521A1 (en) Control method, camera assembly, and mobile terminal
CN112235494B (zh) 图像传感器、控制方法、成像装置、终端及可读存储介质
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
US20220336508A1 (en) Image sensor, camera assembly and mobile terminal
CN113540138A (zh) 一种多光谱图像传感器及其成像模块
EP3985729A1 (en) Image sensor, camera assembly, and mobile terminal
US20220139974A1 (en) Image sensor, camera assembly, and mobile terminal
CN114650343A (zh) 一种图像传感器及成像装置
EP4246959A1 (en) Image sensor and imaging apparatus
RU93977U1 (ru) Многоцветный колориметр
US20220279108A1 (en) Image sensor and mobile terminal
US20240107186A1 (en) Rgbir camera module
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质
JP2011254265A (ja) 多眼カメラ装置および電子情報機器
Bruna et al. Notions about optics and sensors
JPS6246113B2 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination