CN109905681B - 图像传感器、从其获取图像数据的方法及摄像设备 - Google Patents

图像传感器、从其获取图像数据的方法及摄像设备 Download PDF

Info

Publication number
CN109905681B
CN109905681B CN201910105272.0A CN201910105272A CN109905681B CN 109905681 B CN109905681 B CN 109905681B CN 201910105272 A CN201910105272 A CN 201910105272A CN 109905681 B CN109905681 B CN 109905681B
Authority
CN
China
Prior art keywords
color
subunit
transparent
brightness
subunits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910105272.0A
Other languages
English (en)
Other versions
CN109905681A (zh
Inventor
代郁峰
秦鸿一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910105272.0A priority Critical patent/CN109905681B/zh
Publication of CN109905681A publication Critical patent/CN109905681A/zh
Priority to PCT/CN2019/116762 priority patent/WO2020155739A1/zh
Priority to EP19913250.7A priority patent/EP3846462A4/en
Priority to US17/231,319 priority patent/US20210233953A1/en
Application granted granted Critical
Publication of CN109905681B publication Critical patent/CN109905681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本申请公开了一种图像传感器，属于电子技术应用领域。所述图像传感器包括彩膜层，该彩膜层包括多个彩膜单元，该彩膜单元包括至少1个确定颜色的子单元以及至少3个透明的子单元，确定颜色的子单元的颜色是确定的，用于滤除接收到的光线中的部分光线，透明的子单元用于供光线通过，该至少1个确定颜色的子单元的数量与多个子单元的数量的比值小于1/2。由于该透明的子单元能够供光线通过，使得入射至彩膜层的光线大部分可被光电二极管接收，无需增大彩膜层的面积以及增加光电二极管的尺寸，便可以有效提升图像传感器对光线的灵敏度，实现了图像传感器的小型化。本申请还公开了从该图像传感器中获取图像数据的方法和包括该图像传感器的摄像设备。

Description

图像传感器、从其获取图像数据的方法及摄像设备
技术领域
本申请涉及电子技术应用领域，特别涉及一种图像传感器、从其获取图像数据的方法及摄像设备。
背景技术
图像传感器是一种能够实现光电转换功能的器件，广泛应用于摄像设备中。图像传感器包括彩膜层以及光电二极管。彩膜层用于对光线进行过滤得到不同颜色的光线，光电二极管用于接收过滤后的光线并将该光线对应的光信号转化为电信号，该电信号用于供后续模块进行处理得到图像。其中，图像的亮度与图像传感器内光电二极管所接收的光线的多少有关，当摄像设备在光照强度较低的环境下采集图像时，若图像传感器内光电二极管接收的光线较少，会导致采集到的图像由于亮度较低而模糊不清。
相关技术中通常采用增大彩膜层的面积以增加光电二极管的尺寸等方式来提高图像传感器对光线的灵敏度，这样可以保证更多的光线能够传输至光电二极管中。
但是，在图像传感器分辨率一定的情况下，若增大彩膜层的面积以增加光电二极管的尺寸，图像传感器的尺寸也会增大，无法实现该图像传感器的小型化。
发明内容
本申请提供了一种图像传感器、从其获取图像数据的方法及摄像设备，可以解决相关技术中存在的无法实现图像传感器的小型化的问题。
第一方面，提供一种图像传感器，该图像传感器包括彩膜层，该彩膜层包括多个彩膜单元，该彩膜单元包括至少1个确定颜色的子单元以及至少3个透明的子单元。其中，确定颜色的子单元用于滤除接收到的光线中的部分光线，该透明的子单元用于供光线通过。该至少1个确定颜色的子单元的数量与该彩膜单元中子单元的总数量的比值小于1/2。
本申请提供的图像传感器中，由于透明的子单元不对光线进行过滤，使得入射至该透明的子单元的光线均可被光电二极管接收，无需增大彩膜层的面积以及增加光电二极管的尺寸，便可以提升图像传感器对光线的灵敏度，实现了图像传感器的小型化，并且，将至少1个确定颜色的子单元的数量与该彩膜单元中子单元的总数量的比值控制在小于1/2，保证了提升图像传感器对光线的灵敏度的有效性。
结合第一方面，在第一种可能的实现方式中，彩膜单元包括4个子单元，该4个子单元包括1个确定颜色的子单元以及3个透明的子单元。根据彩膜层的类型的不同，可以分为以下两种图像传感器。
结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，该部分光线具有的颜色为除该确定颜色的子单元本身的颜色之外的颜色。彩膜层包括多个彩膜单元阵列，每个彩膜单元阵列包括4个彩膜单元。在该4个彩膜单元中的其中3个彩膜单元中，该确定颜色的子单元分别为红色、绿色和蓝色。在该4个彩膜单元中的另1个彩膜单元中，确定颜色的子单元为红色、绿色或蓝色。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，可选的，该4个彩膜单元排列成1个2*2的彩膜单元矩阵。在另1个彩膜单元内的确定颜色的子单元为绿色时，确定颜色的子单元均为绿色的2个彩膜单元在该彩膜单元矩阵中对角设置。
结合第一方面的第一种可能的实现方式，在第四种可能的实现方式中，部分光线具有的颜色为除该确定颜色的子单元本身的颜色之外的颜色。
在彩膜层内每相邻的2个彩膜单元中，其中1个彩膜单元内确定颜色的子单元为红色，另1个彩膜单元内确定颜色的子单元为蓝色。
或者，在彩膜层内每相邻的2个彩膜单元中，其中1个彩膜单元内确定颜色的子单元为红色，另1个彩膜单元内确定颜色的子单元为绿色。
或者，在彩膜层内每相邻的2个彩膜单元中，其中1个彩膜单元内确定颜色的子单元为蓝色，另1个彩膜单元内确定颜色的子单元为绿色。
结合第一方面的第一种可能的实现方式，在第五种可能的实现方式中，该部分光线具有的颜色为确定颜色的子单元本身的颜色的互补色。所述彩膜层包括多个彩膜单元阵列，每个彩膜单元阵列包括4个彩膜单元。在该4个彩膜单元中的其中3个彩膜单元中，确定颜色的子单元具有的颜色分别为青色、黄色和洋红色。在该4个彩膜单元中的另1个彩膜单元的确定颜色的子单元具有的颜色为青色、黄色或洋红色。
结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，该4个彩膜单元排列成1个2*2的彩膜单元矩阵。在该另1个彩膜单元内的确定颜色的子单元为洋红色时，该确定颜色的子单元均为洋红色的2个彩膜单元在彩膜单元矩阵中对角设置。
结合第一方面的第一种可能的实现方式，在第七种可能的实现方式中，该部分光线具有的颜色为确定颜色的子单元本身的颜色的互补色。在该彩膜层内每相邻的2个彩膜单元中，其中1个彩膜单元内确定颜色的子单元为青色，另1个彩膜单元内确定颜色的子单元为黄色；
或者，在该彩膜层内每相邻的2个彩膜单元中，其中1个彩膜单元内确定颜色的子单元为洋红色，另1个彩膜单元内确定颜色的子单元为黄色；
或者，在该彩膜层内每相邻的2个彩膜单元中，其中1个彩膜单元内确定颜色的子单元为青色，另1个彩膜单元内确定颜色的子单元为洋红色。
结合第一方面的第一种至第七种可能的实现方式中的任一种实现方式，在第八种可能的实现方式中，彩膜单元包括的4个子单元排布成1个2*2的子单元矩阵。
为了使各个子单元在所属的彩膜单元中的位置具有规律性，以保证后续图像处理单元可以进行高效处理得到图像，彩膜层中，各个确定颜色的子单元在所属的彩膜单元中的位置相同。
结合第一方面，在第九种可能的实现方式中，彩膜单元包括9个子单元，该9个子单元包括2个确定颜色的子单元以及7个透明的子单元。可选的，彩膜单元包括的9个子单元可以排布成1个3*3的子单元矩阵。
结合第一方面或第一方面的第一种至第九种可能的实现方式，在第十种可能的实现方式中，该图像传感器还包括光电二极管和微透镜，彩膜层设置在光电二极管和微透镜之间。
本申请实施例提供的图像传感器中设置了比值大于1/2的透明的子单元，由于透明的子单元不对光线进行过滤，使得入射至该透明的子单元的光线均可被光电二极管接收，无需增大彩膜层的面积以及增加光电二极管的尺寸，便可以有效提升图像传感器对光线的灵敏度，实现了图像传感器的小型化。
第二方面，本申请提供另一种图像传感器，该图像传感器包括彩膜层，该彩膜层包括多个彩膜单元，彩膜单元包括至少3个确定颜色的子单元，确定颜色的子单元本身的颜色是确定的。该确定颜色的子单元用于滤除接收到的光线中的部分光线，部分光线具有的颜色为确定颜色的子单元本身的颜色的互补色。该至少3个确定颜色的子单元的数量与该彩膜单元中子单元的总数量的比值大于1/2。
结合第二方面，在第一种可能的实现方式中，该彩膜单元包括4个子单元，该4个子单元包括3个确定颜色的子单元以及1个透明的子单元。该3个确定颜色的子单元具有的颜色分别为青色、黄色和洋红色，该透明的子单元用于供光线通过。
结合第二方面，在第二种可能的实现方式中，该彩膜单元包括4个子单元，该4个子单元包括4个确定颜色的子单元，该4个子单元中的其中3个子单元本身的颜色分别为青色、黄色和洋红色，另1个子单元本身的颜色为青色、黄色或洋红色。
可选的，该4个子单元排列成1个2*2的子单元矩阵。
本申请实施例提供的另一种图像传感器中，每个彩膜单元中均包括至少三个确定颜色的子单元，且该确定颜色的子单元的数量与该彩膜单元中子单元的总数量的比值大于1/2。由于该确定颜色的子单元能够滤除光线中该确定颜色的子单元的互补色的光线，而供光线中该子单元的互补色之外的颜色的光线通过，使得入射至该确定颜色的子单元的光线大部分可被光电二极管接收，无需增大彩膜层的面积以及增加光电二极管的尺寸，便可以有效提升图像传感器对光线的灵敏度，实现了图像传感器的小型化。
第三方面，本申请提供一种摄像设备，包括摄像模组和图像处理单元，摄像模组包括权利要第一方面和第二方面的图像传感器和镜头，该摄像模组用于拍摄图像，该图像处理单元用于处理摄像模组所拍摄的图像。
由于该摄像设备包括上述实施例所提供的图像传感器，使得该摄像设备在光照强度较低的夜间，依旧可以采集到亮度较高的清晰图像。并且，由于无需增大图像传感器的尺寸，因而也无需设置较大孔径的镜头，因此，实现了摄像设备的小型化。进一步地，还可以降低摄像设备的制造成本。
第四方面，本申请提供一种监控***，包括：
管理中心以及至少1个摄像机，该摄像机包括第三方面的摄像设备；
所述管理中心用于管理所述至少1个摄像机。
可选的，摄像机为互联网协议摄像机。
由于该监控***中的摄像机可以为第三方面的摄像设备，因此可以在夜间采集到亮度较高的清晰的图像，提高了该监控***的监控效率。
第五方面，本申请提供了一种从图像传感器获取图像数据的方法。该图像传感器包括彩膜层，彩膜层包括多个彩膜单元。彩膜单元包括1个原始确定颜色的子单元以及3个透明的子单元，原始确定颜色的子单元本身的颜色是确定的，原始确定颜色的子单元用于滤除除原始确定颜色的子单元本身的颜色之外的其他颜色，透明的子单元用于供光线通过。其中，第一透明子单元是指位于彩膜层中且四邻域上存在确定颜色的子单元的透明子单元，第二透明子单元是指位于彩膜层的多个透明子单元中除该第一透明子单元之外的其他透明子单元。
该方法包括如下步骤。
根据位于第一透明子单元周围的两个所述原始确定颜色的子单元各自的颜色和亮度，以及所述第一透明子单元的亮度，对所述第一透明子单元进行更新处理，得到具有第一目标颜色和第一目标亮度的首次更新后的确定颜色的子单元。两个所述原始确定颜色的子单元具有不同的颜色，且两个所述原始确定颜色的子单元中，一个位于所述第一透明子单元的四邻域，另一个位于所述第一透明子单元的对角邻域或八邻域的延伸方向上，或者，两个所述原始确定颜色的子单元均位于所述第一透明子单元的四邻域。
根据位于所述第二透明子单元对角邻域上的两个确定颜色的子单元各自的颜色和亮度，以及所述第二透明子单元的亮度，对所述第二透明子单元进行更新处理，得到具有第二目标颜色和第二目标亮度的再次更新后的确定颜色的子单元。其中，两个所述确定颜色的子单元具有不同的颜色，且两个所述确定颜色的子单元均为所述原始确定颜色的子单元，或者，均为所述首次更新后的确定颜色的子单元，或者，其中一个为所述原始确定颜色的子单元，另一个为所述首次更新后的确定颜色的子单元。
根据所述彩膜层内每一所述原始确定颜色的子单元本身的颜色以及亮度，每一所述首次更新后的确定颜色的子单元本身的颜色以及亮度，以及每一所述再次更新后的确定颜色的子单元本身的颜色以及亮度，获取所述图像数据。
结合第五方面，在第一种可能的实现方式中，对所述第一透明子单元进行更新处理的步骤，具体包括如下步骤。
将通过所述第一透明子单元的光线中除了位于所述第一透明子单元周围的两个所述原始确定颜色的子单元各自的颜色之外的颜色作为所述第一目标颜色。
将所述第一透明子单元的亮度与位于所述第一透明子单元周围的两个所述原始确定颜色的子单元的亮度之和的差值作为所述第一目标亮度。
对所述第一透明子单元进行更新处理，得到所述首次更新后的确定颜色的子单元，所述首次更新后的确定颜色的子单元本身的颜色为所述第一目标颜色，且所述首次更新后的确定颜色的子单元的亮度为所述第一目标亮度。
结合第五方面或第五方面的第一种可能的实现方式，在第二种可能的实现方式中，对所述第二透明子单元进行更新处理的步骤，具体包括如下步骤。
将通过所述第二透明子单元的光线中除了位于所述第二透明子单元对角邻域上的两个确定颜色的子单元各自的颜色之外的颜色作为所述第二目标颜色。
将所述第二透明子单元的亮度与所述第二透明子单元对角邻域上的两个所述确定颜色的子单元的亮度之和的差值作为所述第二目标亮度。
对所述第二透明子单元进行更新处理，得到所述再次更新后的确定颜色的子单元，所述再次更新后的确定颜色的子单元本身的颜色为所述第二目标颜色，且所述再次更新后的确定颜色的子单元的亮度为所述第二目标亮度。
本申请实施例提供的图像传感器的图像数据的获取方法，根据原始确定颜色的子单元各自的颜色以及亮度，以及第一透明子单元的亮度，对第一透明子单元进行更新处理，再根据两个确定颜色的子单元各自的颜色和亮度，以及第二透明子单元的亮度，对第二透明子单元进行更新处理，使得彩膜层中的每个子单元均具有颜色和亮度，以获取图像数据用于图像色彩的还原。由于在彩膜层中设置有不过滤光线的透明的子单元，因此提高了图像传感器对光线的敏感度，并且，还可以根据透明的子单元的亮度以及原始确定颜色的子单元各自的颜色以及亮度获取到用于还原图像色彩所需的其他颜色及相应的亮度，达到了准确还原图像色彩的效果。
第六方面，本申请提供了一种从图像传感器获取图像数据的方法。图像传感器包括彩膜层，彩膜层包括多个彩膜单元。彩膜单元包括1个原始确定颜色的子单元以及3个透明的子单元，原始确定颜色的子单元本身的颜色是确定的，原始确定颜色的子单元用于滤除除原始确定颜色的子单元本身的颜色的互补色，透明的子单元用于供光线通过。其中，第一透明子单元是指位于所述彩膜层中且四邻域上存在所述原始确定颜色的子单元的透明子单元，第二透明子单元是指位于所述彩膜层的多个透明子单元中除所述第一透明子单元之外的其他透明子单元。
该方法包括如下步骤。
对每个所述原始确定颜色的子单元进行更新处理，得到原始指定颜色的子单元。所述原始指定颜色的子单元本身的颜色是对应的所述原始确定颜色的子单元本身的颜色的互补色，所述原始指定颜色的子单元的亮度是对应的所述原始确定颜色的子单元四邻域中的透明子单元的亮度平均值与对应的所述原始确定颜色的子单元的亮度的差值。
根据位于该第一透明子单元周围的两个所述原始指定颜色的子单元各自的颜色和亮度，以及该第一透明子单元的亮度，对所述第一透明子单元进行更新处理，得到具有第一目标颜色和第一目标亮度的首次更新后的指定颜色的子单元。两个所述原始指定颜色的子单元具有不同的颜色，且两个所述原始指定颜色的子单元中，一个位于所述第一透明子单元的四邻域，另一个位于所述第一透明子单元的对角邻域或八邻域的延伸方向上，或者，两个原始指定颜色的子单元均位于该第一透明子单元的四邻域。
根据位于该第二透明子单元对角邻域上的两个指定颜色的子单元各自的颜色和亮度，以及该第二透明子单元的亮度，对该第二透明子单元进行更新处理，得到具有第二目标颜色和第二目标亮度的再次更新后的指定颜色的子单元。其中，两个该指定颜色的子单元具有不同的颜色，且两个该指定颜色的子单元均为原始指定颜色的子单元，或者，均为首次更新后的指定颜色的子单元，或者，其中一个为原始指定颜色的子单元，另一个为首次更新后的指定颜色的子单元。
根据彩膜层内每一原始指定颜色的子单元本身的颜色以及亮度，每一首次更新后的指定颜色的子单元本身的颜色以及亮度，以及每一再次更新后的指定颜色的子单元的颜色以及亮度，获取图像数据。
结合第六方面，在第一种可能的实现方式中，对第一透明子单元进行更新处理的步骤，具体包括如下步骤。
将通过第一透明子单元的光线中除了位于第一透明子单元周围的两个原始指定颜色的子单元各自的颜色之外的颜色作为第一目标颜色。
将第一透明子单元的亮度与位于第一透明子单元周围的两个原始指定颜色的子单元的亮度之和的差值作为第一目标亮度。
对第一透明子单元进行更新处理，得到首次更新后的指定颜色的子单元，首次更新后的指定颜色的子单元本身的颜色为第一目标颜色，且首次更新后的指定颜色的子单元的亮度为第一目标亮度。
结合第六方面或第六方面的第一种可能的实现方式，在第二种可能的实现方式中，对第二透明子单元进行更新处理的步骤，具体包括如下步骤。
将通过第二透明子单元的光线中除了位于第二透明子单元对角邻域上的两个所述指定颜色的子单元各自的颜色之外的颜色作为第二目标颜色。
将第二透明子单元的亮度与第二透明子单元对角邻域上的两个所述指定颜色的子单元的亮度之和的差值作为第二目标亮度。
对第二透明子单元进行更新处理，得到再次更新后的指定颜色的子单元，再次更新后的指定颜色的子单元本身的颜色为第二目标颜色，且再次更新后的指定颜色的子单元的亮度为第二目标亮度。
本申请实施例提供的图像传感器的图像数据的获取方法，将每个确定颜色的子单元本身的颜色以及亮度更新为原始指定颜色的子单元的颜色和亮度，根据原始指定颜色的子单元各自的颜色以及亮度，以及第一透明子单元的亮度，对第一透明子单元进行更新处理，再根据两个指定颜色的子单元各自的颜色和亮度，以及第二透明子单元的亮度，对第二透明子单元进行更新处理，使得彩膜层中的每个子单元均具有颜色和亮度，以获取图像数据用于图像色彩的还原，由于在彩膜层中设置有不过滤光线的透明的子单元，以及能够仅滤除光线中确定颜色的子单元本身的颜色的互补色的部分光线，而除互补色之外的其他两种颜色的光线均可被图像传感器接收，相较于相关技术中设置有RGB彩膜层的图像传感器，有效提高了图像传感器对光线的敏感度，并且，还可以根据透明的子单元的亮度以及原始指定颜色的子单元的亮度获取到用于还原图像色彩所需的其他颜色及相应的亮度，达到了准确还原图像色彩的效果。
第七方面，提供一种从图像传感器获取图像数据的装置，包括处理器和图像传感器，所述处理器用于根据所述图像传感器内各个子单元的亮度以及颜色，通过对该图像传感器内的相应子单元执行如前述第五方面、第五方面的任一种可能的实现方式、第六方面或第六方面的任一种可能的实现方式，从而从所述的从图像传感器获取图像数据的方法。
第八方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述可读存储介质在处理组件上运行时，使得处理组件执行前述第五方面、第五方面的任一种可能的实现方式、第六方面或第六方面的任一种可能的实现方式所述的从图像传感器获取图像数据的方法。
第九方面，提供一种计算机程序产品，所述计算机程序产品中存储有指令，当其在计算机上运行时，使得计算机执行前述第五方面、第五方面的任一种可能的实现方式、第六方面或第六方面的任一种可能的实现方式所述的从图像传感器获取图像数据的方法。
第十方面，提供一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于实现前述第五方面、第五方面的任一种可能的实现方式、第六方面或第六方面的任一种可能的实现方式所述的从图像传感器获取图像数据的方法。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
图1示出了一种图像传感器的局部剖面结构图；
图2是本申请实施例提供的一种图像传感器的示意图；
图3是本申请实施例提供的一种图像传感器的局部剖面示意图；
图4是本申请实施例提供的另一种图像传感器的局部剖面示意图；
图5是相关技术中提供的一种彩膜层的示意图；
图6是本申请实施例提供的一种彩膜层的示意图；
图7是本申请实施例提供的另一种彩膜层的示意图；
图8是本申请实施例提供的另一种彩膜层的示意图；
图9是本申请实施例提供的另一种彩膜层的示意图；
图10是本申请实施例提供的另一种彩膜层的示意图；
图11是本申请实施例提供的另一种彩膜层的示意图；
图12是本申请实施例提供的另一种彩膜层的示意图；
图13是本申请实施例提供的另一种彩膜层的示意图；
图14是本申请实施例提供的另一种彩膜层的示意图；
图15是本申请实施例提供的另一种彩膜层的示意图；
图16是本申请实施例提供的另一种彩膜层的示意图；
图17是本申请实施例提供的另一种彩膜层的示意图；
图18是本申请实施例提供的另一种彩膜层的示意图；
图19是本申请实施例提供的另一种彩膜层的示意图；
图20是本申请实施例提供的另一种彩膜层的示意图；
图21是本申请实施例提供的另一种彩膜层的示意图；
图22是本申请实施例提供的另一种图像传感器的示意图；
图23是本申请实施例提供的又一种彩膜层的示意图；
图24是本申请实施例提供的又一种彩膜层的示意图；
图25是本申请实施例提供的一种摄像设备的结构示意图；
图26是本申请实施例提供的一种摄像模组的结构示意图；
图27是本申请实施例提供的一种监控***的结构示意图；
图28本申请实施例所涉及的一种摄像机的结构示意图；
图29是本申请实施例提供的又一种彩膜层的示意图；
图30是本申请实施例提供的一种从图像传感器获取图像数据的方法的流程图；
图31是本申请实施例提供的一种彩膜层的局部示意图；
图32是本申请实施例提供的一种彩膜层的局部示意图；
图33是本申请实施例提供的一种彩膜层的局部示意图；
图34是本申请实施例提供的一种更新了第一透明子单元后彩膜层的示意图；
图35是本申请实施例提供的一种在图34所示的彩膜层的基础上更新了第二透明子单元后彩膜层的示意图；
图36是本申请实施例提供的另一种从图像传感器获取图像数据的方法的流程图；
图37是本申请实施例提供的一种从图像传感器获取图像数据的装置的示意图；
图38是本申请实施例提供的另一种从图像传感器获取图像数据的装置的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1示出了一种图像传感器的局部剖面结构图，图像传感器10包括微透镜(也称微小透镜或微透镜阵列等)11、彩膜层(也称彩色滤光片、彩膜滤光器或者彩膜滤光器阵列等)12和光电二极管13。其中，微透镜11可以用于将光线汇聚，以提升入射至彩膜层12的光量和光信号强度，光线在经过微透镜11汇聚之后入射至彩膜层12，彩膜层12将汇聚后的光线进行过滤，光电二极管13接收过滤后的光线。目前，图像传感器已经广泛应用于照相机或者摄像机等摄像设备中，该摄像设备可以是监控***中设置的摄像设备。
摄像设备是否能够采集到亮度较高的清晰的图像，依赖于该摄像设备中图像传感器对光线的灵敏度，也即是，图像传感器中光电二极管所接收的光线的多少。据统计，80％以上的犯罪案件均发生在夜间，而夜间的光照强度非常低，安防***中的摄像设备难以在夜间采集到用于有效侦破案件的图像。因此，设置于安防***中的摄像设备的最大挑战便在于在夜间对人脸特征、肤色、衣服颜色、车牌信息以及车身颜色等的准确识别。相关技术采用增大彩膜层的面积以增加光电二极管的尺寸等方式来提高图像传感器对光线的灵敏度，这样可以保证更多的光线能够传输至光电二极管中。但是，在图像传感器分辨率一定的情况下，采用相关技术中的方法会导致图像传感器的尺寸增大，无法实现该图像传感器的小型化。并且，摄像设备中设置的镜头的尺寸与图像传感器的尺寸有关，图像传感器的尺寸越大，配套的镜头孔径也越大，进而镜头的尺寸也需要相应增加，导致摄像设备的体积增大，因此，也无法实现摄像设备的小型化。
请参考图2、图3和图4，图2示出了本申请实施例提供的一种图像传感器20，图3和图4分别为该图像传感器20的两种剖面结构示意图，该图像传感器包括彩膜层21以及光电二极管24和微透镜22等结构，彩膜层21设置在光电二极管24和微透镜22之间。彩膜层21可以通过在透明有机树脂材料中混合各种有机或无机颜料等制成。该微透镜可以为直径约为3微米(μm)的微透镜。
需要说明的是，本申请实施例提供的图像传感器可以为以电荷耦合器件(chargedcoupled device，CCD)构成的CCD图像传感器或以互补金属氧化物半导体(complementarymetal oxide semiconductor，CMOS)构成的CMOS图像传感器。该图像传感器的结构可以为正照式结构(也称表面照射式结构)或者为背照式结构。图3示出的是一种正照式图像传感器的部分剖面示意图，在该种正照式图像传感器中，在光线经过微透镜22以及彩膜层21之后，先经过布线层(包括金属电路)23再入射至光电二极管24；图4示出的是一种背照式图像传感器的部分剖面示意图，在该种背照式图像传感器，在光线经过微透镜22以及彩膜层21之后，可以直接入射至光电二极管24。由于在背照式结构下的图像传感器中，光线能够直接入射至光电二极管，进光量不会受到布线层的影响，因此，背照式结构下的图像传感器对光线的灵敏度较高。
请继续参考图2，该彩膜层21可以包括多个彩膜单元211，彩膜单元211包括多个子单元2111。多个子单元2111可以包括至少1个确定颜色的子单元2111a以及至少3个透明的子单元2111b。该确定颜色的子单元本身的颜色是确定的。通常，该确定颜色的子单元的颜色是单一且确定的。这取决于该子单元的制造材料，也即是该确定颜色的子单元的颜色由其硬件材质决定，是该确定颜色的子单元的固有属性，该确定的颜色是固定不变的。当该至少1个确定颜色的子单元2111a包括至少2个确定颜色的子单元2111a时，该至少2个确定颜色的子单元2111a所对应的颜色可以相同，也可以不同。图2以以下情况为例进行说明：子单元211中包括1个确定颜色的子单元2111a以及3个透明的子单元2111b，该4个子单元排布成1个2*2的子单元矩阵。当然，本申请实施例在实际实现时，该多个子单元也可以排布成其他子单元矩阵的形状，本申请实施例以2*2的子单元矩阵为例进行说明。
其中，该确定颜色的子单元2111a用于滤除接收到的光线中的部分光线，透明的子单元2111b用于供光线通过。由于透明的子单元2111b无需滤光，其可以供所有入射至该透明的子单元2111b的光线通过，因此，可以保证光电二极管接收到更多的光线，提升了图像传感器对光线的灵敏度。而为了保证可以有效提升图像传感器对光线的灵敏度，该至少1个确定颜色的子单元的数量与该多个子单元的数量的比值小于1/2。也即是，每个彩膜单元中的至少1个确定颜色的子单元的数量与该彩膜单元中子单元的总数量的比值小于1/2，也即是，彩膜层中确定颜色的子单元的总数量与该彩膜层中子单元的总数量的比值小于1/2。例如，当彩膜单元中多个子单元的数量为9个，则其中设置的确定颜色的子单元的数量应该小于4.5个，也即是，该彩膜单元中可以设置1个、2个、3个或者4个确定颜色的子单元，相应的，该彩膜单元中设置的透明的子单元的数量应该大于4.5个，也即是，该彩膜单元中可以设置5个、6个、7个或者8个透明的子单元。
相关技术中，比较常见的彩膜层是由红色(red，R)子单元、绿色(green，G)子单元和蓝色(blue，B)子单元组成的，该彩膜层可以简称为RGB彩膜层，红色子单元、绿色子单元以及蓝色子单元具有的颜色分别对应光学三基色，即红绿蓝。进一步的，该RGB彩膜层中子单元的排列方式通常是根据拜耳阵列设置的，如图5所示，1个红色子单元R，1个蓝色子单元B和2个绿色子单元G构成1个彩膜单元311，多个彩膜单元311阵列排列构成该RGB彩膜层31。在该RGB彩膜层31中，由于每种颜色的子单元只允许其具有的颜色的光线通过，而其他颜色的光线则被该子单元反射或者吸收，导致入射至该子单元的光线中有部分光线被损失而无法被光电二极管所接收。例如，对于红色子单元来说，其只允许光线中的红色光线透过，而吸收或者反射其他颜色的光线，也就是说，入射至该红色子单元的光线中至少有2/3的光线被损失掉，该红色子单元对应的光电二极管只能接收到该入射光线中的红色光线。
而在本申请所提供的图像传感器中引入了透明的子单元，由于透明的子单元不对光线进行过滤，使得入射至该透明的子单元的光线均可被光电二极管接收，无需增大彩膜层的面积以及增加光电二极管的尺寸，便可以提升图像传感器对光线的灵敏度，实现了图像传感器的小型化，并且，将至少1个确定颜色的子单元的数量与该多个子单元的数量的比值控制在小于1/2，保证了提升图像传感器对光线的灵敏度的有效性。
作为本申请的一个实施例，彩膜单元包括4个子单元。该4个子单元可以包括1个确定颜色的子单元以及3个透明的子单元(例如图2所示的情况)。可选的，该4个子单元可以排布成1个2*2的子单元矩阵。
作为本申请的另一个实施例，该彩膜单元可以包括9个子单元，该9个子单元可以包括2个确定颜色的单元以及7个透明彩膜单元。可选的，该9个子单元可以排布成1个3*3的子单元矩阵。
本申请实施例以该彩膜单元包括4个子单元，且该4个子单元排布成1个2*2的子单元矩阵为例进行说明，当彩膜单元包括的子单元为其他个数时，可以均参考本申请实施例中的相关描述。
本申请实施例在实际实现时可以采取多种类型的彩膜层，彩膜层的类型除了上文所描述的RGB彩膜层之外，还可以包括互补色彩膜层。互补色指光学三基色的互补色，例如，青色与红色互称互补色，黄色与蓝色互称互补色，洋红色与绿色互称互补色，互补色彩膜层是指该彩膜层中的每个确定颜色的子单元均具有互补色，例如其为包括青色(cyan，C)子单元、洋红色(magenta，M)子单元以及黄色(yellow，Y)子单元的彩膜层，其可被简称为CMY彩膜层。其中，互补色彩膜层中的子单元可以将其具有的颜色的互补色的光线吸收或者反射，而使其他颜色的光线通过。例如，对于青色子单元来说，其具有的颜色为青色，互补色为红色，则该青色子单元可以允许光线中绿色和蓝色的光线通过，而将红色的光线吸收或者反射。当然，本申请实施例在实际实现时，还可以采用除上述RGB彩膜层以及CMY彩膜层之外的其他类型的彩膜层。
基于彩膜层的类型的不同，本申请实施例可以提供多种图像传感器，本申请实施例以彩膜层的类型分别为RGB彩膜层以及CMY彩膜层为例进行说明。
第一种图像传感器，该图像传感器包括的彩膜层为RGB彩膜层，确定颜色的子单元可以用于滤除接收到的光线中除该确定颜色的子单元本身的颜色之外的颜色的光线，确定颜色的子单元本身的颜色即为该确定颜色的子单元的颜色。彩膜层包括多个彩膜单元，彩膜层的形态取决于该多个彩膜单元的组合方式，示例的，可以以矩阵状排列的4个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层，该4个彩膜单元包括至少三个互不相同的彩膜单元；可以以条状排列的4个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层，该4个彩膜单元包括至少三个互不相同的彩膜单元；也可以以互不相同的条状排列的2个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层，当然，也可以将1个或者3个彩膜单元作为最小组合单元阵列排列得到彩膜层。本申请实施例分别以设置矩阵状排列的4个彩膜单元作为最小组合单元，以及，条状排列的2个彩膜单元作为最小组合单元为例进行说明。
在第一种彩膜单元的组合方式中，以矩阵状排列的4个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层。
在该彩膜层的矩阵状排列的每4个彩膜单元中，3个彩膜单元的确定颜色的子单元分别为红色、绿色和蓝色，1个彩膜单元的确定颜色的子单元为红色、绿色或蓝色。
示例的，该矩阵状排列的每4个彩膜单元可以有三种组合方式：4个彩膜单元的确定颜色的子单元分别为红色、绿色、蓝色和红色；4个彩膜单元的确定颜色的子单元分别为红色、绿色、蓝色和绿色；4个彩膜单元的确定颜色的子单元分别为红色、绿色、蓝色和蓝色。
彩膜层中，各个确定颜色的子单元在所属的彩膜单元中的位置可以相同也可以不同，为了保证后续图像处理单元可以进行高效处理得到图像，彩膜层中，各个确定颜色的子单元在所属的彩膜单元中的位置相同，如此使得各个确定颜色的子单元在所属的彩膜单元中的位置具有规律性，便于后续图像处理单元进行处理得到图像。
示例的，如图6所示，由于人眼对绿色较为敏感，因此为了使图像传感器可以准确模拟出人眼对不同颜色光线的灵敏度，图6示出的每4个彩膜单元211中，可以设置2个彩膜单元211的确定颜色的子单元为绿色G，也即是，在彩膜层的矩阵状排列的每4个彩膜单元211中，确定颜色的子单元具有的颜色分别蓝色B、绿色G、红色R和绿色G。其中，为了保证确定颜色的子单元可以均匀分配于彩膜层中，绿色G的两个确定颜色的子单元所在的彩膜单元可以在该每4个彩膜单元的对角线位置。该图6中，各个确定颜色的子单元在所属的彩膜单元中的位置相同，均位于该彩膜单元211中的左上角位置。
当然，各个确定颜色的子单元在所属的彩膜单元中的位置也可以不相同，如图7所示，该图中，在每个以矩阵状排列的4个彩膜单元组成的最小组合单元中，4个确定颜色的子单元均围绕该最小组合单元的中心分布。这样在每个最小组合单元中，颜色分布较为集中，可以提高后续图像数据的采集效率。
在第二种彩膜单元的组合方式中，以条状排列的2个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层。
由于确定颜色的子单元对应的颜色为确定颜色的子单元本身的颜色，也即是，为红色、蓝色或者绿色，因此，在该第二种彩膜单元的排列方式中，包括三种形式：
第一种形式，如图8所示，在彩膜层内每相邻的2个彩膜单元211中，确定颜色的子单元分别为红色R和蓝色B。
第二种形式，如图9所示，在彩膜层内每相邻的2个彩膜单元211中，确定颜色的子单元分别为红色R和绿色G。
第三种形式，如图10所示，在彩膜层内每相邻的2个彩膜单元211中，确定颜色的子单元分别为蓝色B和绿色G。
上述三种形式中，在将最小组合单元阵列排列得到彩膜层时，在彩膜层的第一方向上任意相邻的2个彩膜单元中的确定颜色的子单元不同，该第一方向为行方向和/或列方向。如此使得具有不同颜色的确定颜色的子单元均匀分布于彩膜层中，达到匀光效果，也便于后续图像处理单元进行图像处理。
示例的，如图8至图10所示，图8中，红色R子单元与蓝色B子单元在行方向和/或列方向上一一间隔排布，使得对于任意1个具有蓝色B的子单元的彩膜单元211，其行方向和/或列方向相邻的彩膜单元211中的确定颜色的子单元均为红色R。同理对于图9，红色R的子单元与绿色G的子单元在行方向和/或列方向上一一间隔排布。同理对于图10，蓝色B的子单元与绿色G的子单元在行方向和/或列方向上一一间隔排布。
实际上，图8至图10示出的这种2个彩膜单元一一间隔排布的方式也可以视为矩阵状的4个彩膜单元重复排列的情况，本申请实施例对此不再赘述。
需要说明的是，图8至图10中，各个确定颜色的子单元在所属的彩膜单元中的位置相同，均位于该彩膜单元211中的左上角位置。当然，各个确定颜色的子单元也可以位于其所属的彩膜单元中的其他位置。如图11至图13所示的情况，图11用于描述上述第一种形式对应的彩膜层的另一种排列方式，图12用于描述上述第二种形式对应的彩膜层的另一种排列方式，图12用于描述上述第三种形式对应的彩膜层的另一种排列方式。图11至图13中，任意矩阵状排列的4个彩膜单元211中，确定颜色的子单元分别位于该4个彩膜单元的右下角、左下角、右上角和左上角。
在第一种图像传感器中，透明的子单元与所有子单元的比值至少为75％，保证了尽可能多的光线被图像传感器中的光电二极管接收，有效提高了该图像传感器对光线的灵敏度。
第二种图像传感器，该图像传感器包括的彩膜层为CMY彩膜层，则确定颜色的子单元对应的颜色为确定颜色的子单元本身的颜色的互补色，该确定颜色的子单元能够用于滤除接收到的光线中具有的颜色为该确定颜色的子单元本身的颜色的互补色的光线，确定颜色的子单元本身的颜色即为确定颜色的子单元的颜色。与前述第一种图像传感器类似，彩膜层的形态取决于该多个彩膜单元的组合方式，在第二种图像传感器中，本申请实施例以矩阵状排列的4个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层，以及，以条状排列的2个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层为例进行说明。
在第一种彩膜单元的组合方式中，以矩阵状排列的4个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层。
在该彩膜层的矩阵状排列的每4个彩膜单元中，3个彩膜单元的确定颜色的子单元分别为青色、黄色和洋红色，1个彩膜单元的确定颜色的子单元为青色、黄色或洋红色。
示例的，该矩阵状排列的每4个彩膜单元可以有三种组合方式：4个彩膜单元的确定颜色的子单元分别为青色、洋红色、黄色和青色；4个彩膜单元的确定颜色的子单元分别为青色、洋红色、黄色和洋红色；4个彩膜单元的确定颜色的子单元分别为青色、洋红色、黄色和黄色。
彩膜层中，各个确定颜色的子单元在所属的彩膜单元中的位置可以相同也可以不同，为了保证后续图像处理单元可以进行高效处理得到图像，彩膜层中，各个确定颜色的子单元在所属的彩膜单元中的位置相同，如此使得各个确定颜色的子单元在所属的彩膜单元中的位置具有规律性，便于后续图像处理单元进行处理得到图像。
示例的，如图14所示。图14示出的4个彩膜单元211中，可以设置2个彩膜单元的确定颜色的子单元为绿色的互补色(即洋红色M)，也即是，在彩膜层的矩阵状排列的每4个彩膜单元中，确定颜色的子单元分别青色C、洋红色M、黄色Y和洋红色M。其中，为了保证确定颜色的子单元可以均匀分配于彩膜层中，为洋红色M的两个确定颜色的子单元所在的彩膜单元可以在该4个彩膜单元的对角线位置。该图14中，各个确定颜色的子单元在所属的彩膜单元中的位置相同，均位于该彩膜单元211中的左上角位置。
当然，各个色确定颜色的子单元在所属的彩膜单元中的位置也可以不相同，如图15所示，该图中，在每个以矩阵状排列的4个彩膜单元组成的最小组合单元中，4个确定颜色的子单元均围绕该最小组合单元的中心分布。
在第二种彩膜单元的组合方式中，以条状排列的2个彩膜单元作为最小组合单元，将该最小组合单元阵列排列得到彩膜层。由于确定颜色的子单元为青色、洋红色或者黄色，因此，在该第二种彩膜单元的排列方式中，包括三种形式：
第一种形式，如图16所示，在彩膜层内每相邻的2个彩膜单元211中，确定颜色的子单元分别为青色C和黄色Y。
第二种形式，如图17所示，在彩膜层内每相邻的2个彩膜单元211中，确定颜色的子单元分别为洋红色M和黄色Y。
第三种形式，如图18所示，在彩膜层内每相邻的2个彩膜单元211中，确定颜色的子单元分别为青色C和洋红色M。
与前述第一种图像传感器中描述的第二种彩膜单元的组合方式类似，上述三种形式中，在将最小组合单元阵列排列得到彩膜层时，在彩膜层的第一方向上任意相邻的2个彩膜单元中的确定颜色的子单元不同，该第一方向为行方向和/或列方向。如此使得具有不同颜色的确定颜色的子单元均匀分布于彩膜层中，达到匀光效果，也便于后续图像处理单元进行图像处理。
示例的，如图16至图18所示，图16中，青色C的子单元与黄色Y的子单元在行方向和/或列方向上一一间隔排布，使得对于任意1个具有黄色Y的子单元的彩膜单元211，其行方向和/或列方向相邻的彩膜单元211中的确定颜色的子单元均为青色C。同理对于图17，洋红色M的子单元与黄色Y的子单元在行方向和/或列方向上一一间隔排布。同理对于图18，青色C的子单元与洋红色M的子单元在行方向和/或列方向上一一间隔排布。
图16至图18示出的这种2个彩膜单元一一间隔排布的方式也可以视为矩阵状的4个彩膜单元重复排列的情况，本申请实施例对此不再赘述。
需要说明的是，图16至图18中，各个确定颜色的子单元在所属的彩膜单元中的位置相同，均位于该彩膜单元211中的左上角位置。当然，各个确定颜色的子单元也可以位于其所属的彩膜单元中的其他位置。如图19至图21所示，图19示出了上述第一种形式对应的彩膜层的另一种排列方式，图20示出了上述第二种形式对应的彩膜层的另一种排列方式，图21示出了上述第三种形式对应的彩膜层的另一种排列方式。图19至图21中，任意矩阵状排列的4个彩膜单元211中，确定颜色的子单元分别位于该4个彩膜单元的右下角、左下角、右上角和左上角。
需要说明的是，在第二种图像传感器中，透明的子单元与所有子单元的比值至少为75％，不但保证了尽可能多的光线被图像传感器中的光电二极管接收，有效提高了该图像传感器对光线的灵敏度，并且，由于彩膜层是CMY彩膜层，相较于RGB彩膜层，与CMY彩膜层中每个确定颜色的子单元对应的光电二极管均可以接收到更多的光线，例如，对于CMY彩膜层中的青色子单元来说，其可以允许光线中绿色和蓝色的光线通过，而将红色的光线吸收或者反射，也就是说，与该青色的子单元对应的光电二极管可以接收到绿色的光线以及蓝色的光线。因此，进一步提高了图像传感器对光线的灵敏度。据统计，采用CMY彩膜层的图像传感器相较于采用传统的RGB彩膜层的图像传感器，可提高百分之八十以上的灵敏度，实现了图像传感器在较强的低光照强度下图像的获取和识别能力。
综上所述，本申请实施例提供的图像传感器，其包括的彩膜层中包括多个彩膜单元，每个彩膜单元中均包括确定颜色的子单元以及透明的子单元，且该确定颜色的子单元的数量与多个子单元的数量的比值小于1/2。由于透明的子单元不对光线进行过滤，使得入射至该透明的子单元的光线均可被光电二极管接收，无需增大彩膜层的面积以及增加光电二极管的尺寸，便可以有效提升图像传感器对光线的灵敏度，实现了图像传感器的小型化。
需要说明的是，上述第一种图像传感器和第二种图像传感器中，入射至图像传感器的光线可以包括环境中的可见光以及近红外光源所发出的近红外光。
对于RGB彩膜层来说，在入射至图像传感器的光线仅为环境光中的可见光时，确定颜色的子单元可以仅供该确定颜色的子单元本身的颜色的光线通过，而吸收或反射其他颜色的光线；在入射至图像传感器的光线包括环境光中的可见光以及近红外光源所发出的近红外光时，确定颜色的子单元可以仅供该确定颜色的子单元本身的颜色的光线通过，而吸收或反射其他颜色的光线以及近红外光。而透明彩膜可以透射可见光以及近红外光。
对于CMY彩膜层来说，在入射至图像传感器的光线仅为环境光中的可见光时，确定颜色的子单元可以仅供可见光中该确定颜色的子单元的互补色之外的颜色的光通过，而反射或吸收该确定颜色的子单元的互补色对应的光线；在入射至图像传感器的光线包括环境光中的可见光以及近红外光源所发出的近红外光时，确定颜色的子单元可以供可见光中该确定颜色的子单元的互补色之外的颜色的光通过，而反射或吸收该确定颜色的子单元的互补色对应的光线以及近红外光。而透明彩膜可以透射可见光以及近红外光。
图22示出了本申请实施例提供的另一种图像传感器20，该图像传感器20包括彩膜层21以及光电二极管(图22中未示出)和微透镜(图22中未示出)等结构，其剖面图可以参考上述图3和图4，彩膜层21设置在光电二极管和微透镜之间。图22中所示的图像传感器中光电二极管、微透镜以及该图像传感器的结构等相关描述均可参考上述第一种图像传感器中的相关描述，本申请实施例在此不再赘述。
如图22所示，该彩膜层21包括多个彩膜单元211，该彩膜单元211包括多个子单元2111。多个子单元2111可以包括至少3个确定颜色的子单元，其中，确定颜色的子单元的颜色是确定的，且确定颜色的子单元用于滤除光线中的部分光线，该部分光线具有的颜色为确定颜色的子单元的颜色的互补色，也即是，该确定颜色的子单元可以用于供光线中该确定颜色的子单元的互补色之外的颜色的光线通过。至少3个确定颜色的子单元的数量与多个子单元的数量的比值大于1/2。
图22所示是每个彩膜单元211均包括4个子单元2111的情况，该4个子单元包括3个确定颜色的子单元(即子单元2111a、子单元2111e以及子单元2111c)以及1个透明的子单元2111d，该透明的子单元用于供光线通过。可选的，该4个子单元排列成1个2*2的子单元矩阵。
可选的，如图23所示，在每1个彩膜单元211包括的4个子单元中，包括3个确定颜色的子单元以及1个透明的子单元，该3个确定颜色的子单元可以分别为青色C、黄色Y和洋红色M。
可选的，多个彩膜单元包括4个子单元，该4个子单元可以包括4个子单元，该四个字单元均为确定颜色的子单元，4个确定颜色的子单元中，3个确定颜色的子单元分别为青色、黄色和洋红色，1个确定颜色的子单元为青色、黄色或洋红色。
当然，包括4个子单元的彩膜单元可以包括三种组合方式：4个彩膜单元的确定颜色的子单元分别为青色、黄色、洋红色和青色；4个彩膜单元的确定颜色的子单元分别为青色、黄色、洋红色和黄色；4个彩膜单元的确定颜色的子单元分别为青色、黄色、洋红色和洋红色。
图24示出的是包括2*2个子单元的彩膜单元211中，4个确定颜色的子单元分别为青色C、黄色Y、洋红色M和洋红色M，且洋红色M的确定颜色的子单元位于其所属的彩膜单元中的对角线位置。
其中，关于互补色的相关描述可以参考第一种图像传感器中的相关介绍，在此不再赘述。在图22至图24所示的彩膜层中，由于确定颜色的子单元2111可以滤除光线中该确定颜色的子单元2111的互补色的光线，相较于相关技术中常用的RGB彩膜来说，可以使与子单元2111对应的光电二极管接收到更多的光线，有效提高了图像传感器对光线的灵敏度。
综上所述，本申请实施例提供的图像传感器，其包括的彩膜层中包括多个彩膜单元，每个彩膜单元中均包括至少三个确定颜色的子单元，且该确定颜色的子单元的数量与多个子单元的数量的比值大于1/2。由于该确定颜色的子单元能够供光线中该子单元的互补色之外的颜色的光线通过，使得入射至该确定颜色的子单元的光线大部分可被光电二极管接收，无需增大彩膜层的面积以及增加光电二极管的尺寸，便可以有效提升图像传感器对光线的灵敏度，实现了图像传感器的小型化。
图25示出了本申请实施例提供的一种摄像设备140，该摄像设备可以包括摄像模组141和图像处理单元142。
该摄像模组141可以包括上述实施例所描述的图像传感器20和镜头1411，该摄像模组141可以用于拍摄图像，该图像处理单元142可以用于处理摄像模组141所拍摄的图像，摄像模组141与图像处理单元142连接。
另外，摄像设备140还可以包括控制单元143，该控制单元143可以分别于摄像模组141以及图像处理单元142连接，该控制单元143可以是该摄像设备140的控制中心，其可以用于向摄像模组141发送控制信号以控制所述摄像模组141拍摄图像，或者向图像处理单元142发送控制信号以控制图像处理单元处理图像。
本申请实施例所提供的摄像设备，由于该摄像设备包括上述实施例所提供的图像传感器，使得该摄像设备在光照强度较低的夜间，依旧可以采集到亮度较高的清晰图像。并且，由于无需增大图像传感器的尺寸，因此，实现了摄像设备的小型化。进一步地，还可以降低摄像设备的制造成本。
可选的，请参考图26，该图示出了本申请实施例所提供的一种摄像模组141的结构示意图，该摄像模组141可以应用于包括有RGB彩膜层的图像传感器，该摄像模组141包括承载结构和镜头模组，该承载结构包括：印刷电路板1415、图像传感器1416、红外截止滤光片(IR cut filter)1413和表面贴装元件1414，该镜头模组包括：变焦模块1412和镜头1411。其中，图像传感器1416可以为前述实施例中的图像传感器20。
其中，红外截止滤光片可以活动设置于图像传感器1416和镜头1411之间，当白天光线充分时,红外截止滤光片可以置于图像传感器1416和镜头1411之间，以过滤掉近红外光线，由于只有可见光能够入射至图像传感器，使得图像传感器不受近红外光线干扰，能够还原出真实的图像彩色，而当夜间光照强度较弱时，红外截止滤光片可以从图像传感器1416和镜头1411之间移开，使图像传感器可以充分利用到所有入射至图像传感器的光线，从而提高了图像传感器对光线的灵敏度，但由于受到近红外光线的干扰，只能输出黑白照片。
而对于本申请实施例所提供的包括有CMY彩膜层(包括有透明的子单元的CMY彩膜层)的图像传感器中，可以不设置红外截止滤光片，以获得更高的灵敏度性能，也在一定程度上节约了摄像模组的生产成本。并且还能够同时得到RGB彩色图片和近红外图片。
本申请实施例提供一种监控***，包括：
管理中心以及至少一个摄像机，该摄像机包括本申请实施例提供的任意一种摄像设备；该管理中心用于管理至少一个摄像机。在本申请实施例中，该管理中心可以有多种实现形式，示例的，其为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
在一种可选的实现方式中，该管理中心包括监控平台和存储服务器，请参考图27，图27示出了本申请实施例提供的一种监控***150，该监控***150可以包括监控平台151、存储服务器152以及至少一个摄像机140，监控平台151、存储服务器152以及至少一个摄像机140之间可以通过有线或者无线线路连接。
其中，该至少一个摄像机140可以包括图25所示的摄像设备，示例的，该摄像设备为夜间摄像设备；监控平台152用于提供供监控人员操作的输入输出接口或图形交互界面，如显示屏或键盘等，该监控平台152还用于对摄像机140所拍摄的图像进行图像处理，例如，采用目标物识别算法对图像进行目标物识别，示例的，该目标物识别算法可以为人脸识别算法；该存储服务器151可以是一台服务器，或者由若干台服务器组成的服务器集群，该存储服务器151用于存储监控平台传输的图像或者存储摄像机传输的图像等，该存储服务器可以采用分布式存储***进行数据存储。图27以监控***150包括两个摄像机140为例进行说明。
可选的，该摄像机可以为互联网协议摄像机(internet protocol camera，IPC)，当然，该摄像设备也可以是手机前置或后置摄像头、数码照相机、数码摄像机、车载摄像头或者工业摄像头等具有图像采集功能的装置，可以应用于安防领域、摄影摄像领域、汽车电子领域或者工业机器视觉领域等。
本申请实施例在实际实现时，该监控平台可以包括图像识别单元(例如人工智能图像识别单元)，其用于进行图像识别，例如人脸图像识别，有线或无线数据传输单元，其用于进行数据传输，缓存单元，其用于进行数据缓存，或者显示屏或监视器，其用于对拍摄的图像进行显示等。
请参考图28，其示出了本发明实施例所涉及的一种摄像机140的结构示意图。该摄像机140可以为图27所示监控***中的任一摄像机。
参见图28，该摄像机140包括：接收机147和处理器148，接收机147和处理器148通过总线146连接。处理器148包括一个或者一个以上处理核心。处理器148通过运行软件程序以及单元，从而执行各种功能应用以及数据处理，该处理器148可以具有与图25中所描述的图像处理单元142相同或相似的功能。
可选地，如图28所示，该摄像机140还包括：存储器144、网络接口145和发射机149中的至少一种，存储器144、网络接口145、发射机149分别通过总线146与接收机147和处理器148连接。
其中，网络接口145可以为多个，该网络接口145用于该摄像机140与其它存储设备或者网络设备进行通信。其中，网络接口145是可选地，实际应用中，摄像机140可以通过接收机147和发射机149与其它存储设备或者网络设备进行通信，所以，摄像机140中可以没有网络接口，本发明实施例对此不作限定。
可选的，如图28所示，该摄像机140还包括：摄像组件141以及控制单元143，该摄像组件141通过总线146与处理器142连接，控制单元143通过总线146与接收机141、网络接口145、处理器142、发射机149、存储器144以及摄像组件141连接。
本申请实施例提供了一种从图像传感器获取图像数据的方法，该方法可以由前述的摄像设备中的处理器执行，该图像传感器包括彩膜层，该彩膜层包括多个彩膜单元，彩膜单元包括1个原始确定颜色的子单元以及3个透明的子单元，也即是包括4个子单元，示例的，该4个子单元可以是2行2列的矩阵状的子单元。该原始确定颜色的子单元用于滤除除原始确定颜色的子单元本身的颜色之外的其他颜色，透明的子单元用于供光线通过，需要说明的是，子单元本身的颜色也可称为子单元的颜色。
可选的，彩膜层为RGB彩膜层，该彩膜层具有红色R、绿色G以及蓝色B这三种不同颜色，每个彩膜单元中包括的1个确定颜色的子单元的颜色可以是红色R、绿色G以及蓝色B三种不同颜色中的一种。当该确定颜色的子单元的颜色是红色R时，该确定颜色的子单元可以用于滤除光线中的除红色R之外的颜色的光线，也即是，该确定颜色的子单元可以用于滤除光线中的绿色G和蓝色B的光线；相应的，当该确定颜色的子单元的颜色是绿色G时，该确定颜色的子单元可以用于滤除光线中的蓝色B和红色R的光线，当该确定颜色的子单元的颜色是蓝色B时，该确定颜色的子单元可以用于滤除光线中的绿色G和红色R的光线。
其中，第一透明子单元是指位于彩膜层中且四邻域上存在确定颜色的子单元的透明的子单元，第二透明子单元是指位于彩膜层的多个透明子的单元中除第一透明子单元之外的其他透明的子单元。其中，某一透明的子单元的四邻域指的是某一透明的子单元的上、下、左和右四个方位上相邻的4个位置。
请参考图29，该图在上述图6所示出的实施例的基础上，示出了第一透明子单元X与第二透明子单元Y。从图29中可以看出，第一透明子单元X在四邻域中的左右两个邻域上存在确定颜色的子单元(分别为绿色G子单元以及红色R子单元)，第二透明子单元Y为位于彩膜层的多个透明的子单元中除第一透明子单元之外的其他透明的子单元，也即是彩膜层中四邻域上不存在确定颜色的子单元的透明的子单元。
由于图像传感器上具有多个透明的子单元，而最终获取的图像数据需要保证每个子单元均具有确定颜色，从而实现有效的色彩还原，提高最终图像显示效果。因此需要将各个透明子的单元更新为确定颜色的子单元，将透明的子单元更新为确定颜色的子单元的过程也可以视为对透明的子单元进行颜色和亮度更新处理的过程。则如图30所示，该图像数据的获取方法可以包括：
步骤501、根据位于第一透明子单元周围的两个原始确定颜色的子单元各自的颜色和亮度，以及第一透明子单元的亮度，对该第一透明子单元进行更新处理，得到具有第一目标颜色和第一目标亮度的首次更新后的确定颜色的子单元。
其中，某一透明的子单元周围指的是某一透明的子单元的八邻域以及八邻域的延伸方向上的区域，八邻域的延伸方向指的是上方的上方、下方的下方、左侧的左侧、右侧的右侧、左上方的左上方、左下方的左下方、右上方的右上方以及右下方的右下方。某一透明的子单元的八邻域包括四邻域以及对角邻域，某一透明的子单元的对角邻域指的是某一透明的子单元的左上、左下、右上和右下共4个相邻的位置，某一透明的子单元的八邻域指的是某一透明的子单元的上、下、左、右，以及左上、左下、右上和右下共8个相邻的位置。某一透明子的单元的对角邻域或八邻域的延伸方向也可看作是某一透明的子单元周围除四邻域外的其他区域。
两个原始确定颜色的子单元具有不同的颜色，且根据该两个原始确定颜色的子单元的位置不同，可以分为以下两种情况：第一种情况，两个原始确定颜色的子单元均位于该第一透明子单元的四邻域；第二种情况，两个原始确定颜色的子单元中，一个位于该第一透明子单元的四邻域，另一个位于该第一透明子单元的对角邻域或八邻域的延伸方向上。
可选的，步骤501中，对第一透明子单元进行更新处理的步骤可以包括：
步骤501a、将通过第一透明子单元的光线中除了位于该第一透明子单元周围的两个原始确定颜色的子单元各自的颜色之外的颜色作为该第一目标颜色。
通过第一透明子单元的光线可以为白光，该白光可以看成是光学三基色RGB的混合色，该组成白光的光学三基色RGB可以分别对应本申请实施例中的RGB彩膜层中的三种确定颜色的子单元。光学三基色RGB是最终获取的图像数据所需具有的颜色。
步骤501b、将该第一透明子单元的亮度与位于该第一透明子单元周围的两个原始确定颜色的子单元的亮度之和的差值作为该第一目标亮度。
步骤501c、对该第一透明子单元进行更新处理，得到首次更新后的确定颜色的子单元，该首次更新后的确定颜色的子单元的颜色为第一目标颜色，且该首次更新后的确定颜色的子单元的亮度为所述第一目标亮度。
在本申请实施例中，将每个第一透明子单元进行更新的过程依赖于该第一透明子单元在彩膜层中四邻域上存在的原始确定颜色的子单元，而彩膜单元中包括的1个原始确定颜色的子单元在每个彩膜单元中的位置可以不同，在上述步骤501中已经介绍，对第一透明子单元进行更新处理时所用到的两个原始确定颜色的子单元根据其所在位置的不同，可以有两种情况，以下分别以该两种情况为例对上述步骤5011至步骤5013的过程进行介绍。
第一种情况，两个原始确定颜色的子单元均位于该第一透明子单元的四邻域。
在该种情况下存在两种子情况，第一种子情况，如图31所示，彩膜层中第一透明子单元X的四邻域上存在两种颜色的原始确定颜色的子单元；第二种子情况，如图32所示，彩膜层中第一透明子单元X的四邻域上存在三种不同颜色的原始确定颜色的子单元。以下分别针对该两种子情况分别对将第一透明子单元进行更新处理的过程进行介绍：
在第一种子情况中，请参考图31，图31示出的是该第一透明子单元X的四邻域上存在红色子单元以及绿色子单元的情况，红色和绿色分别为该两个原始确定颜色的子单元的颜色。将组成白光的三种不同颜色中除红色R和绿色G之外的蓝色R确定为该第一透明子单元X对应的第一目标颜色，将该第一透明子单元X的亮度W与红色子单元的亮度I1以及绿色子单元的亮度I2之差确定为该第一透明子单元X对应的蓝色B的第一目标亮度I3，也即是I3＝W-(I1+I2)。以第一目标亮度I3以及第一目标颜色为蓝色对该第一透明子单元进行更新处理，得到首次更新后的亮度为I3的蓝色子单元。
当然，图31示出的是一种彩膜层的局部示意图，且是以多个彩膜单元中的1个彩膜单元中的1个第一透明子单元X为例进行说明，对于第一种情况下的其他第一透明子单元X，更新该第一透明子单元X的颜色和亮度均可参考图31所示出的实施例。
在该第一种情况中，对第一透明子单元进行更新的过程可以应用于上述包括有图6、图8、图9和图10所示的彩膜层的图像传感器中。
在第二种子情况中，请参考图32，图32示出的是该第一透明子单元X的四邻域上存在三种不同颜色的原始确定颜色的子单元，即存在红色子单元、绿色子单元以及蓝色子单元的情况。在该三种不同颜色的子单元中选择任意两种确定颜色的子单元作为该两个原始确定颜色的子单元，例如，选择该三种不同颜色中的红色子单元和绿色子单元作为该两个原始确定颜色的子单元，则将通过第一透明子单元的光线中除了红色和绿色之外的蓝色确定为该第一透明子单元X对应的第一目标颜色，将该第一透明子单元X的亮度W与红色子单元的亮度I1以及绿色子单元的亮度I2之差确定为该第一透明子单元X对应的蓝色B的第一目标亮度I3，也即是I3＝W-(I1+I2)。以第一目标亮度I3以及第一目标颜色为蓝色对该第一透明子单元进行更新处理，得到首次更新后的亮度为I3的蓝色子单元。
当然，图32示出的是一种彩膜层的局部示意图，且是以多个彩膜单元中的1个彩膜单元中的1个第一透明子单元X为例进行说明，对于第三种情况下的其他第一透明子单元X，更新该第一透明子单元X的颜色和亮度均可参考图32所示出的实施例。
第二种情况，两个原始确定颜色的子单元中，一个位于该第一透明子单元的四邻域，另一个位于该第一透明子单元的对角邻域或八邻域的延伸方向上，在选择另一个原始确定颜色的子单元时，可以按照预先设置的选择规则来选择，例如，不同方位的原始确定颜色的子单元的具有不同的优先级，和/或，与第一透明子单元距离不同的确定颜色的子单元具有不同的优先级，该选择规则为：选择优先级最高的另一种颜色的原始确定颜色的子单元。示例的，假设原始确定颜色的子单元的优先级与到第一透明子单元的距离负相关，则可以选择距离该第一透明子单元最近的具有另一种颜色的原始确定颜色的子单元。若在该位于第一透明子单元的八邻域的延伸方向上，存在至少两个具有另一种颜色(该另一种颜色指的是与前述一种颜色不同)的原始确定颜色的子单元距离该第一透明子单元最近，则可以在该至少两个原始确定颜色的子单元中任选一原始确定颜色的子单元作为该另一种颜色的原始确定颜色的子单元。
示例的，如图33所示，图33示出的是该第一透明子单元X的四邻域上存在一绿色子单元的情况，在该第一透明子单元X周围，选择具有另一种颜色的原始确定颜色的子单元，例如，在该第一透明子单元X的对角邻域方向上，距离该第一透明子单元X最近的另一种颜色的原始确定颜色的子单元为红色R，将通过第一透明子单元的光线中除了红色R和绿色G之外的蓝色B确定为该第一透明子单元X对应的第一目标颜色，将该第一透明子单元X的亮度W与红色R子单元的亮度I1以及绿色G子单元的亮度I2之差确定为该第一透明子单元X对应的蓝色的第一目标亮度I3，也即是I3＝W-(I1+I2)。以第一目标亮度I3以及第一目标颜色为蓝色对该第一透明子单元进行更新处理，得到首次更新后的亮度为I3的蓝色子单元。
当然，图33示出的是一种彩膜层的局部示意图，且是以多个彩膜单元中的1个彩膜单元中的1个第一透明子单元X为例进行说明，对于第二种情况下的其他第一透明子单元X，更新该第一透明子单元X的颜色和亮度均可参考图33所示出的实施例。
在该第二种情况中，将第一透明子单元更新为确定颜色的子单元的过程可以应用于上述包括有图7、图11、图12和图13所示的彩膜层的图像传感器中。
步骤502、根据位于第二透明子单元对角邻域上的两个确定颜色的子单元各自的颜色和亮度，以及该第二透明子单元的亮度，对第二透明子单元进行更新处理，得到具有第二目标颜色和第二目标亮度的再次更新后的确定颜色的子单元。
其中，该两个确定颜色的子单元具有不同的颜色，且该两个确定颜色的子单元均为该原始确定颜色的子单元，或者，均为该首次更新后的确定颜色的子单元，或者，其中一个为所述原始确定颜色的子单元，另一个为该首次更新后的确定颜色的子单元。
其中，对该第二透明子单元进行更新处理的过程可以包括：
步骤Q1、将通过第二透明子单元的光线中除了位于第二透明子单元对角邻域上的两个确定颜色的子单元各自的颜色之外的颜色作为第二目标颜色。
步骤Q2、将第二透明子单元的亮度与第二透明子单元对角邻域上的两个确定颜色的子单元的亮度之和的差值作为第二目标亮度。
步骤Q3、对第二透明子单元进行更新处理，得到再次更新后的确定颜色的子单元，该再次更新后的确定颜色的子单元的颜色为第二目标颜色，且所述再次更新后的确定颜色的子单元的亮度为所述第二目标亮度。
请参考图34，图34是在上述图6所示的实施例的基础上，在将第一透明子单元进行更新处理之后的示意图。
请参考图35，图35是在图34所示的实施例的基础上，对第二透明子单元进行更新处理之后的示意图。将通过第二透明子单元的光线中除了位于第二透明子单元对角邻域上的两个确定颜色的子单元的红色R和蓝色B之外的绿色G作为该第二目标颜色，当然，图35仅为示意性说明，本申请实施例在实际实现时，红色R或者蓝色B均可以确定为该第二目标颜色。
步骤Q2中确定第二目标亮度的过程可以参考上述确定第一目标亮度的过程，本申请实施例在此不再赘述。
需要说明的是，上述步骤中，确定透明子单元的目标颜色以及目标亮度的步骤的执行顺序可以进行相应的调整，例如可以先确定透明子单元的目标颜色，再确定透明子单元的目标亮度，或者先确定透明子单元的目标颜色的亮度，再确定透明子单元的目标颜色，本申请实施例不对此进行限制。
步骤503、根据彩膜层内每一原始确定颜色的子单元的颜色以及亮度，每一首次更新后的确定颜色的子单元的颜色以及亮度，以及每一再次更新后的确定颜色的子单元的颜色以及亮度，获取图像数据。
图像数据可以用于形成图像中的图像像素，每个图像像素均包含红色R、绿色G和蓝色B这三种不同颜色的颜色分量，每个颜色的颜色分量均包括该颜色分量对应的颜色以及亮度。
在执行上述步骤501至步骤502之后，彩膜层中包括的多个彩膜单元中的每个彩膜单元中的每个子单元均具有三种不同颜色中的某一种颜色以及相应的亮度。后续可以通过插值算法等色彩还原算法，将获取的彩膜层中各个子单元的颜色以及亮度作为图像数据以形成图像中的每个图像像素。
综上所述，本申请实施例提供的从图像传感器获取图像数据的方法，根据原始确定颜色的子单元各自的颜色以及亮度，以及第一透明子单元的亮度，对第一透明子单元进行更新处理，再根据两个确定颜色的子单元各自的颜色和亮度，以及第二透明子单元的亮度，对第二透明子单元进行更新处理，使得彩膜层中的每个子单元均具有颜色和亮度，以获取图像数据用于图像色彩的还原。由于在彩膜层中设置有不过滤光线的透明的子单元，因此提高了图像传感器对光线的敏感度，并且，还可以根据透明的子单元的亮度以及原始确定颜色的子单元各自的颜色以及亮度获取到用于还原图像色彩所需的其他颜色及相应的亮度，达到了准确还原图像色彩的效果。
本申请实施例提供了另一种从图像传感器获取图像数据的方法，该方法可以由前述的摄像设备中的处理器执行，该图像传感器包括彩膜层，该彩膜层包括多个彩膜单元，该彩膜单元可以包括1个原始确定颜色的子单元以及3个透明的子单元，也即是包括4个子单元，示例的，该4个子单元可以是2行2列的矩阵状子单元，原始确定颜色的子单元用于滤除除所述确定颜色的子单元的颜色的互补色，所述透明的子单元用于供光线通过。其中，第一透明子单元是指位于彩膜层中且四邻域上存在原始确定颜色的子单元的透明的子单元，第二透明子单元是指位于彩膜层的多个透明的子单元中除第一透明子单元之外的其他透明的子单元。关于周围、八邻域、四领域和对角邻域的相关描述可以参考上述一种从图像传感器获取图像数据的方法中的相关描述。
可选的，彩膜层为CMY彩膜层，该彩膜层具有青色C、洋红色，M以及黄色，Y这三种不同颜色，每个彩膜单元中包括的1个确定颜色的子单元的颜色可以是CMY三种不同颜色中的一种。当该确定颜色的子单元的颜色是青色C时，该确定颜色的子单元可以用于滤除光线中与青色C的互补色(即红色R)的光线，也即是，该确定颜色的子单元可以用于滤除光线中的红色R的光线；相应的，当该确定颜色的子单元的颜色是洋红色M时，该确定颜色的子单元可以用于滤除光线中的绿色G的光线，当该确定颜色的子单元的颜色是黄色Y时，该确定颜色的子单元可以用于滤除光线中的蓝色B的光线。
与前述的一种从图像传感器获取图像数据的方法的原理类似，本申请实施例所提供的另一种从图像传感器获取图像数据的方法所应用于的图像传感器上也具有多个透明的子单元，而最终获取的图像数据需要保证每个子单元均具有指定颜色，从而实现有效的色彩还原，提高最终图像显示效果，该指定颜色指的是红色R、绿色G以及蓝色B中的一种。因此，本申请实施例中，不但需要将各个透明的子单元更新为指定颜色的子单元，还需要将每个确定颜色的子单元更新为指定颜色的子单元，则如图36所示，该图像数据的获取方法可以包括：
步骤601、对每个原始确定颜色的子单元进行更新处理，得到原始指定颜色的子单元，该原始指定颜色的子单元的颜色是对应的原始确定颜色的子单元的颜色的互补色，原始指定颜色的子单元的亮度是对应的原始确定颜色的子单元四邻域中的透明的子单元的亮度平均值与对应的原始确定颜色的子单元的亮度的差值。
例如，当原始确定颜色的子单元的颜色为青色C时，将该原始确定颜色的子单元的青色C更新为原始指定颜色的子单元的红色R；当原始确定颜色的子单元的颜色为洋红色M时，将该原始确定颜色的子单元的洋红色M更新为原始指定颜色的子单元的绿色G；当原始确定颜色的子单元的颜色为黄色Y时，将该原始确定颜色的子单元的黄色Y更新为原始指定颜色的子单元的蓝色B。
对于每个确定颜色的子单元，将该确定颜色的子单元的四邻域上的至少1个透明的子单元的的亮度平均值与该确定颜色的子单元的亮度之差确定为对应的原始指定颜色的子单元的亮度。例如，当该原始确定颜色的子单元四邻域上分布有1个透明的子单元时，可以通过将原始确定颜色的子单元四邻域上分布的透明的子单元的亮度与该原始确定颜色的子单元的亮度做差得到对应的原始指定颜色的子单元的亮度。当该原始确定颜色的子单元四邻域上分布有多个透明的子单元时，可以对该多个透明的子单元的亮度取平均值，然后再与该原始确定颜色的子单元的亮度做差得到对应的原始指定颜色的子单元的亮度。
例如，当原始确定颜色的子单元的颜色为黄色Y，且该原始确定颜色的子单元的四邻域上分布有4个透明的子单元时，获取该黄色Y子单元的亮度I1，以及该4个透明的子单元的亮度I2、亮度I3、亮度I4以及亮度I5，将该原始确定颜色的子单元的黄色Y更新为原始指定颜色的子单元的蓝色B，将原始确定颜色的子单元的亮度I1更新为原始指定颜色的子单元的亮度I6，其中，I6＝(I2+I3+I4+I5)/4–I1。
步骤602、根据位于第一透明子单元周围的两个原始指定颜色的子单元各自的颜色和亮度，以及第一透明子单元的亮度，对第一透明子单元进行更新处理，得到具有第一目标颜色和第一目标亮度的首次更新后的指定颜色的子单元。
两个原始指定颜色的子单元具有不同的颜色，且两个原始指定颜色的子单元中，一个位于第一透明子单元的四邻域，另一个位于第一透明子单元的对角邻域或八邻域的延伸方向上，或者，两个原始指定颜色的子单元均位于第一透明子单元的四邻域。
其中，关于第一透明子单元以及第二透明子单元的示意图可以参考上述图29，本申请实施例在此不再赘述。
可选的，步骤602中，对第一透明子单元进行更新处理的步骤可以包括：
步骤602a、将通过第一透明子单元的光线中除了位于第一透明子单元周围的两个原始指定颜色的子单元各自的颜色之外的颜色作为所述第一目标颜色。
步骤602b、将第一透明子单元的亮度与位于第一透明子单元周围的两个原始指定颜色的子单元的亮度之和的差值作为第一目标亮度。
步骤602c、对第一透明子单元进行更新处理，得到首次更新后的指定颜色的子单元，首次更新后的指定颜色的子单元的颜色为第一目标颜色，且首次更新后的指定颜色的子单元的亮度为第一目标亮度。
上述步骤602a至步骤602c中，对第一透明子单元进行更新处理得到第一目标颜色以及第一目标亮度的过程可以参考上述步骤502a至步骤502c的过程，本申请实施例在此不再赘述。
与上述一种从图像传感器获取图像数据的方法类似，本申请实施例中，对第一透明子单元进行更新处理的过程依赖于该第一透明子单元在彩膜层中四邻域上存在的原始确定颜色的子单元，而彩膜单元中包括的1个原始确定颜色的子单元在每个彩膜单元中的位置可以有两种情况，第一种情况，两个原始确定颜色的子单元均位于该第一透明子单元的四邻域，该种情况下，彩膜层中第一透明子单元的四邻域上存在两种颜色的确定颜色的子单元，将第一透明子单元进行更新的过程可以应用于上述包括有图14、图16、图17和图18所示的彩膜层的图像传感器中，或者，彩膜层中第一透明子单元的四邻域上存在三种不同颜色的确定颜色的子单元，将第一透明子单元进行更新的过程可以应用于上述包括有图23所示的彩膜层的图像传感器中；第二种情况，两个原始确定颜色的子单元中，一个位于该第一透明子单元的四邻域，另一个位于该第一透明子单元的对角邻域或八邻域的延伸方向上，，将第一透明子单元极性更新的过程可以应用于上述包括有图15、图19、图20和图21所示的彩膜层的图像传感器中。
步骤603、根据位于第二透明子单元对角邻域上的两个指定颜色的子单元各自的颜色和亮度，以及第二透明子单元的亮度，对第二透明子单元进行更新处理，得到具有第二目标颜色和第二目标亮度的再次更新后的指定颜色的子单元。
其中，两个指定颜色的子单元具有不同的颜色，且两个指定颜色的子单元均为原始指定颜色的子单元，或者，均为首次更新后的指定颜色的子单元，或者，其中一个为所述原始指定颜色的子单元，另一个为首次更新后的指定颜色的子单元。
其中，对第二透明子单元进行更新处理的过程可以包括：
步骤T1、将通过第儿透明子单元的光线中除了位于第二透明子单元对角邻域上的两个指定颜色的子单元各自的颜色之外的颜色作为第二目标颜色。
步骤T2、将所述第二透明子单元的亮度与位于所述第二透明子单元对角邻域上的两个指定颜色的子单元的亮度之和的差值作为所述第二目标亮度。
步骤T3、对所述第二透明子单元进行更新处理，得到所述再次更新后的指定颜色的子单元，所述再次更新后的指定颜色的子单元的颜色为所述第二目标颜色，且所述再次更新后的指定颜色的子单元的亮度为所述第二目标亮度。
步骤603中对第二透明子单元进行更新的过程可以参考是上述步骤502中对第二透明子单元进行更新的过程，本申请实施例在此不再赘述。
步骤604、根据彩膜层内每一原始指定颜色的子单元的颜色以及亮度，每一首次更新后的指定颜色的子单元的颜色以及亮度，以及每一再次更新后的指定颜色的子单元的颜色以及亮度，获取图像数据。
步骤604中获取图像数据的过程可以参考上述步骤503，本申请实施例在此不再赘述。
综上所述，本申请实施例提供的从图像传感器获取图像数据的方法，将每个确定颜色的子单元的颜色以及亮度更新为原始指定颜色的子单元的颜色和亮度，根据原始指定颜色的子单元各自的颜色以及亮度，以及第一透明子单元的亮度，对第一透明子单元进行更新处理，再根据两个指定颜色的子单元各自的颜色和亮度，以及第二透明子单元的亮度，对第二透明子单元进行更新处理，使得彩膜层中的每个子单元均具有颜色和亮度，以获取图像数据用于图像色彩的还原，由于在彩膜层中设置有不过滤光线的透明的子单元，以及能够仅滤除光线中确定颜色的子单元的颜色的互补色的部分光线，而除互补色之外的其他两种颜色的光线均可被图像传感器接收，相较于相关技术中设置有RGB彩膜层的图像传感器，有效提高了图像传感器对光线的敏感度，并且，还可以根据透明的子单元的亮度以及原始指定颜色的子单元的亮度获取到用于还原图像色彩所需的其他颜色及相应的亮度，达到了准确还原图像色彩的效果。
本申请实施例提供了一种从图像传感器获取图像数据的装置700，可以用于执行图30所示的从图像传感器获取图像数据的方法。如图37所示，该装置700包括图像传感器701和处理器702。具体的，该图像传感器701包括彩膜层，所述彩膜层包括多个彩膜单元，所述彩膜单元包括1个原始确定颜色的子单元以及3个透明的子单元，所述原始确定颜色的子单元本身的颜色是确定的，所述原始确定颜色的子单元用于滤除除所述原始确定颜色的子单元本身的颜色之外的其他颜色，所述透明的子单元用于供光线通过，其中，第一透明子单元是指位于所述彩膜层中且四邻域上存在所述确定颜色的子单元的透明子单元，第二透明子单元是指位于所述彩膜层的多个透明子单元中除所述第一透明子单元之外的其他透明子单元。
处理器702用于执行如下操作。根据位于第一透明子单元周围的两个所述原始确定颜色的子单元各自的颜色和亮度，以及所述第一透明子单元的亮度，对所述第一透明子单元进行更新处理，得到具有第一目标颜色和第一目标亮度的首次更新后的确定颜色的子单元。两个所述原始确定颜色的子单元具有不同的颜色，且两个所述原始确定颜色的子单元中，一个位于所述第一透明子单元的四邻域，另一个位于所述第一透明子单元的对角邻域或八邻域的延伸方向上，或者，两个所述原始确定颜色的子单元均位于所述第一透明子单元的四邻域。
根据位于所述第二透明子单元对角邻域上的两个确定颜色的子单元各自的颜色和亮度，以及所述第二透明子单元的亮度，对所述第二透明子单元进行更新处理，得到具有第二目标颜色和第二目标亮度的再次更新后的确定颜色的子单元。其中，两个所述确定颜色的子单元具有不同的颜色，且两个所述确定颜色的子单元均为所述原始确定颜色的子单元，或者，均为所述首次更新后的确定颜色的子单元，或者，其中一个为所述原始确定颜色的子单元，另一个为所述首次更新后的确定颜色的子单元。
根据所述彩膜层内每一所述原始确定颜色的子单元本身的颜色以及亮度，每一所述首次更新后的确定颜色的子单元本身的颜色以及亮度，以及每一所述再次更新后的确定颜色的子单元本身的颜色以及亮度，获取所述图像数据。
综上所述，本申请实施例提供的从图像传感器获取图像数据的装置，根据原始确定颜色的子单元各自的颜色以及亮度，以及第一透明子单元的亮度，对第一透明子单元进行更新处理，再根据两个确定颜色的子单元各自的颜色和亮度，以及第二透明子单元的亮度，对第二透明子单元进行更新处理，使得彩膜层中的每个子单元均具有颜色和亮度，以获取图像数据用于图像色彩的还原。由于在彩膜层中设置有不过滤光线的透明的子单元，因此提高了图像传感器对光线的敏感度，并且，还可以根据透明的子单元的亮度以及原始确定颜色的子单元各自的颜色以及亮度获取到用于还原图像色彩所需的其他颜色及相应的亮度，达到了准确还原图像色彩的效果。
本申请实施例提供了一种从图像传感器获取图像数据的装置800，可以用于执行图36所示的从图像传感器获取图像数据的方法。如图38所示，该装置800包括图像传感器801和处理器802。所述图像传感器801包括彩膜层，所述彩膜层包括多个彩膜单元，所述彩膜单元包括1个原始确定颜色的子单元以及3个透明的子单元，所述原始确定颜色的子单元本身的颜色是确定的，所述原始确定颜色的子单元用于滤除除所述原始确定颜色的子单元本身的颜色的互补色，所述透明的子单元用于供光线通过，其中，第一透明子单元是指位于所述彩膜层中且四邻域上存在所述原始确定颜色的子单元的透明子单元，第二透明子单元是指位于所述彩膜层的多个透明子单元中除所述第一透明子单元之外的其他透明子单元；
处理器802用于执行如下操作。
对每个所述原始确定颜色的子单元进行更新处理，得到原始指定颜色的子单元。所述原始指定颜色的子单元的颜色是对应的所述原始确定颜色的子单元本身的颜色的互补色，所述原始指定颜色的子单元的亮度是对应的所述原始确定颜色的子单元四邻域中的透明子单元的亮度平均值与对应的所述原始确定颜色的子单元的亮度的差值。
根据位于所述第一透明子单元周围的两个所述原始指定颜色的子单元各自的颜色和亮度，以及所述第一透明子单元的亮度，对所述第一透明子单元进行更新处理，得到具有第一目标颜色和第一目标亮度的首次更新后的指定颜色的子单元。两个所述原始指定颜色的子单元具有不同的颜色，且两个所述原始指定颜色的子单元中，一个位于所述第一透明子单元的四邻域，另一个位于所述第一透明子单元的对角邻域或八邻域的延伸方向上，或者，两个所述原始指定颜色的子单元均位于所述第一透明子单元的四邻域。
根据位于所述第二透明子单元对角邻域上的两个指定颜色的子单元各自的颜色和亮度，以及所述第二透明子单元的亮度，对所述第二透明子单元进行更新处理，得到具有第二目标颜色和第二目标亮度的再次更新后的指定颜色的子单元。其中，两个所述指定颜色的子单元具有不同的颜色，且两个所述指定颜色的子单元均为所述原始指定颜色的子单元，或者，均为所述首次更新后的指定颜色的子单元，或者，其中1个为所述原始指定颜色的子单元，另1个为所述首次更新后的指定颜色的子单元。
根据所述彩膜层内每一所述原始指定颜色的子单元本身的颜色以及亮度，每一所述首次更新后的指定颜色的子单元本身的颜色以及亮度，以及每一所述再次更新后的指定颜色的子单元本身的颜色以及亮度，获取所述图像数据。
综上所述，本申请实施例提供的从图像传感器获取图像数据的装置，通过将每个确定颜色的子单元的颜色以及亮度更新为原始指定颜色的子单元的颜色和亮度，根据原始指定颜色的子单元各自的颜色以及亮度，以及第一透明子单元的亮度，对第一透明子单元进行更新处理，再根据两个指定颜色的子单元各自的颜色和亮度，以及第二透明子单元的亮度，对第二透明子单元进行更新处理，使得彩膜层中的每个子单元均具有颜色和亮度，以获取图像数据用于图像色彩的还原，由于在彩膜层中设置有不过滤光线的透明的子单元，以及能够仅滤除光线中确定颜色的子单元的颜色的互补色的部分光线，而除互补色之外的其他两种颜色的光线均可被图像传感器接收，相较于相关技术中设置有RGB彩膜层的图像传感器，有效提高了图像传感器对光线的敏感度，并且，还可以根据透明的子单元的亮度以及原始指定颜色的子单元的亮度获取到用于还原图像色彩所需的其他颜色及相应的亮度，达到了准确还原图像色彩的效果。
本申请实施例中，阵列排布指的是结构相同或相似的结构单元以线性方式排列，在排列方向上，每相邻两个结构单元可以镜像对称或者完全相同。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本发明中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

Claims (4)

1.一种从图像传感器中获取图像数据的方法，其特征在于，所述图像传感器包括彩膜层，所述彩膜层包括多个彩膜单元，所述彩膜单元包括1个原始确定颜色的子单元以及3个透明的子单元，所述原始确定颜色的子单元本身的颜色是确定的，所述原始确定颜色的子单元用于滤除除所述原始确定颜色的子单元本身的颜色之外的其他颜色，所述透明的子单元用于供光线通过，其中，第一透明子单元是指位于所述彩膜层中且四邻域上存在确定颜色的子单元的透明子单元，第二透明子单元是指位于所述彩膜层的多个透明子单元中除所述第一透明子单元之外的其他透明子单元，所述方法包括：
根据位于所述第一透明子单元周围的两个所述原始确定颜色的子单元各自的颜色和亮度，以及所述第一透明子单元的亮度，对所述第一透明子单元的颜色和亮度进行更新处理，得到具有第一目标颜色和第一目标亮度的更新后的第一子单元，两个所述原始确定颜色的子单元具有不同的颜色，且两个所述原始确定颜色的子单元中，一个位于所述第一透明子单元的四邻域，另一个位于所述第一透明子单元的对角邻域或八邻域的延伸方向上，或者，两个所述原始确定颜色的子单元均位于所述第一透明子单元的四邻域；
根据位于所述第二透明子单元对角邻域上的两个确定颜色的子单元各自的颜色和亮度，以及所述第二透明子单元的亮度，对所述第二透明子单元的颜色和亮度进行更新处理，得到具有第二目标颜色和第二目标亮度的更新后的第二子单元，其中，两个所述确定颜色的子单元具有不同的颜色，且两个所述确定颜色的子单元均为所述原始确定颜色的子单元，或者，均为所述更新后的第一子单元，或者，其中一个为所述原始确定颜色的子单元，另一个为所述更新后的第一子单元；
根据所述彩膜层内每一所述原始确定颜色的子单元本身的颜色以及亮度，每一所述更新后的第一子单元本身的颜色以及亮度，以及每一所述更新后的第二子单元本身的颜色以及亮度，获取所述图像数据。
2.根据权利要求1所述的方法，其特征在于，对所述第一透明子单元的颜色和亮度进行更新处理的步骤，具体包括：
将通过所述第一透明子单元的光线中除了位于所述第一透明子单元周围的两个所述原始确定颜色的子单元各自的颜色之外的颜色作为所述第一目标颜色；
将所述第一透明子单元的亮度与位于所述第一透明子单元周围的两个所述原始确定颜色的子单元的亮度之和的差值作为所述第一目标亮度；
对所述第一透明子单元的颜色和亮度进行更新处理，得到所述更新后的第一子单元，所述更新后的第一子单元的颜色为所述第一目标颜色，且所述更新后的第一子单元的亮度为所述第一目标亮度。
3.根据权利要求1所述的方法，其特征在于，对所述第二透明子单元的颜色和亮度进行更新处理的步骤，具体包括：
将通过所述第二透明子单元的光线中除了位于所述第二透明子单元对角邻域上的两个所述确定颜色的子单元各自的颜色之外的颜色作为所述第二目标颜色；
将所述第二透明子单元的亮度与所述第二透明子单元对角邻域上的两个所述确定颜色的子单元的亮度之和的差值作为所述第二目标亮度；
对所述第二透明子单元的颜色和亮度进行更新处理，得到所述更新后的第二子单元，所述更新后的第二子单元的颜色为所述第二目标颜色，且所述更新后的第二子单元的亮度为所述第二目标亮度。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如权利要求1至3任一所述的从图像传感器中获取图像数据的方法。
CN201910105272.0A 2019-02-01 2019-02-01 图像传感器、从其获取图像数据的方法及摄像设备 Active CN109905681B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910105272.0A CN109905681B (zh) 2019-02-01 2019-02-01 图像传感器、从其获取图像数据的方法及摄像设备
PCT/CN2019/116762 WO2020155739A1 (zh) 2019-02-01 2019-11-08 图像传感器、从其获取图像数据的方法及摄像设备
EP19913250.7A EP3846462A4 (en) 2019-02-01 2019-11-08 IMAGE SENSOR, PROCESS FOR ACQUIRING IMAGE DATA FROM AN IMAGE SENSOR, AND CAMERA DEVICE
US17/231,319 US20210233953A1 (en) 2019-02-01 2021-04-15 Image sensor, method for obtaining image data from image sensor, and camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910105272.0A CN109905681B (zh) 2019-02-01 2019-02-01 图像传感器、从其获取图像数据的方法及摄像设备

Publications (2)

Publication Number Publication Date
CN109905681A CN109905681A (zh) 2019-06-18
CN109905681B true CN109905681B (zh) 2021-07-16

Family

ID=66944627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910105272.0A Active CN109905681B (zh) 2019-02-01 2019-02-01 图像传感器、从其获取图像数据的方法及摄像设备

Country Status (4)

Country Link
US (1) US20210233953A1 (zh)
EP (1) EP3846462A4 (zh)
CN (1) CN109905681B (zh)
WO (1) WO2020155739A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905681B (zh) * 2019-02-01 2021-07-16 华为技术有限公司 图像传感器、从其获取图像数据的方法及摄像设备
CN113395497A (zh) * 2019-10-18 2021-09-14 华为技术有限公司 图像处理方法、图像处理装置以及摄像装置
CN113452968B (zh) * 2020-03-25 2022-04-26 杭州海康威视数字技术股份有限公司 图像处理方法
CN116745885A (zh) * 2021-03-31 2023-09-12 华为技术有限公司 一种图像传感器及其制造方法、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681506B (zh) * 2007-05-23 2013-03-27 全视技术有限公司 使用全色图像的噪声降低彩色图像
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
CN104754321A (zh) * 2013-12-25 2015-07-01 奇景光电股份有限公司 相机数组***
CN105210369A (zh) * 2013-04-17 2015-12-30 法国甫托尼公司 用于获取双模态图像的设备
CN108513112A (zh) * 2018-03-27 2018-09-07 宁波舜宇光电信息有限公司 颜色滤光器阵列以及图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
CN101150731B (zh) * 2006-09-22 2012-05-23 罗罡 用于数字成像的彩色滤波阵列及其成像方法
JP2009004605A (ja) * 2007-06-22 2009-01-08 Fujifilm Corp 撮像素子及び撮像装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2013147198A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像装置および撮像素子
WO2014006931A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
US9368530B2 (en) * 2013-02-21 2016-06-14 Omnivision Technologies, Inc. Image sensor and color filter array including multiple selectable meshed filter sets
WO2016103481A1 (ja) * 2014-12-26 2016-06-30 キヤノン株式会社 撮像装置の駆動方法、信号処理方法
US9793306B2 (en) * 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US9467665B1 (en) * 2015-06-29 2016-10-11 Omnivision Technologies, Inc. Color filter array patterns for reduction of color aliasing
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
EP3182453A1 (en) * 2015-12-17 2017-06-21 Autoliv Development AB Image sensor for a vision device and vision method for a motor vehicle
TW201740141A (zh) * 2016-05-13 2017-11-16 原相科技股份有限公司 彩色濾光陣列與應用其之影像感測裝置
CN109905681B (zh) * 2019-02-01 2021-07-16 华为技术有限公司 图像传感器、从其获取图像数据的方法及摄像设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681506B (zh) * 2007-05-23 2013-03-27 全视技术有限公司 使用全色图像的噪声降低彩色图像
CN105210369A (zh) * 2013-04-17 2015-12-30 法国甫托尼公司 用于获取双模态图像的设备
CN104754321A (zh) * 2013-12-25 2015-07-01 奇景光电股份有限公司 相机数组***
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
CN108513112A (zh) * 2018-03-27 2018-09-07 宁波舜宇光电信息有限公司 颜色滤光器阵列以及图像处理方法

Also Published As

Publication number Publication date
EP3846462A4 (en) 2021-10-20
EP3846462A1 (en) 2021-07-07
WO2020155739A1 (zh) 2020-08-06
US20210233953A1 (en) 2021-07-29
CN109905681A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN109905681B (zh) 图像传感器、从其获取图像数据的方法及摄像设备
CN103037180B (zh) 图像传感器和摄像设备
CN206993236U (zh) 一种图像传感器及***
US9230310B2 (en) Imaging systems and methods for location-specific image flare mitigation
US8102459B2 (en) Image pickup apparatus
EP4109894A1 (en) Image sensor and image sensitization method
CN112839215B (zh) 摄像模组、摄像头、终端设备、图像信息确定方法及存储介质
JP2002171430A (ja) 複眼撮像系、撮像装置および電子機器
KR20160064021A (ko) 발광 디바이스를 포함하는 플렌옵틱 카메라
CN111107192A (zh) 终端设备的显示屏以及终端设备
US9497427B2 (en) Method and apparatus for image flare mitigation
CN113228621B (zh) 一种成像控制方法、***和非暂时性计算机可读介质
CN107346089A (zh) 图像传感器、相机模组及电子装置
CN111787237B (zh) 像素、图像传感器、对焦方法、装置及终端设备
CN112135017A (zh) 图像传感器、图像处理方法及装置、成像模组、存储介质
US20130128083A1 (en) High dynamic range image sensing device and image sensing method and manufacturing method thereof
US9124828B1 (en) Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
KR102650663B1 (ko) 이미지 센서 및 이를 포함하는 전자 장치
CN108093230A (zh) 一种摄像装置及电子设备
DE112021000671T5 (de) Elektronisches gerät
CN114666469A (zh) 图像处理装置、方法及具有该图像处理装置的镜头模组
CN216086839U (zh) 像素结构、图像传感器和电子设备
CN115118856B (zh) 图像传感器、图像处理方法、摄像头模组及电子设备
US11848344B2 (en) Pixel structure, image processing method and control method
US20240015383A1 (en) Image sensor including nano-photonic microlens array and electronic apparatus including the image sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant