CN106878690A - 图像传感器的成像方法、成像装置和电子设备 - Google Patents

图像传感器的成像方法、成像装置和电子设备 Download PDF

Info

Publication number
CN106878690A
CN106878690A CN201510925379.1A CN201510925379A CN106878690A CN 106878690 A CN106878690 A CN 106878690A CN 201510925379 A CN201510925379 A CN 201510925379A CN 106878690 A CN106878690 A CN 106878690A
Authority
CN
China
Prior art keywords
pixel
component
scene
primary colors
output valve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510925379.1A
Other languages
English (en)
Inventor
毛水江
郭先清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201510925379.1A priority Critical patent/CN106878690A/zh
Priority to US15/777,796 priority patent/US20180350860A1/en
Priority to PCT/CN2016/106800 priority patent/WO2017101641A1/zh
Priority to EP16874698.0A priority patent/EP3393124A4/en
Publication of CN106878690A publication Critical patent/CN106878690A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种图像传感器的成像方法、成像装置和电子设备，图像传感器包括像素阵列和设置在像素阵列之上的微透镜阵列，像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素，微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素，成像方法包括：读取像素阵列中每个像素的输出；对每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量；获取当前拍摄场景的类型；根据当前拍摄场景的类型确定每个像素的三原色输出值，以根据每个像素的三原色输出值生成图像。该成像方法大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

Description

图像传感器的成像方法、成像装置和电子设备
技术领域
本发明涉及成像技术领域，尤其涉及一种图像传感器的成像方法、成像装置和电子设备。
背景技术
近年来图像传感器发展突飞猛进，销量不断攀升，生产厂商也出现了如雨后春笋般的发展，市场竞争异常激烈，在价格不断下降的同时，对图像质量的要求反而不断提高，为了减小成本和传感器的面积，图像传感器的像素尺寸越做越小，图像传感器像素尺寸变小也就对传感器的成像质量带来了很大的影响，其中影响最大的一项指标即图像传感器的低光效果，像素越小，图像传感器的灵敏度就越低，图像低光的亮度就越不足，为了提高低光亮度，相关技术中的采用的方案有：1、增大模拟或数字增益；2、在图像处理部分对图像加一个亮度；3、采用全通镜头，即既可通可见光又可通红外光的镜头，其中，可见光即人眼可以看到的光线，红外光是指波长在850nm左右为人眼所不能看见的光。
但是，上述方案存在以下缺点：
1)增大模拟或数字增益，即对图像信号乘上一个大于1的倍数，这样可以放大图像信号从而提高图像亮度，但是在放大图像信号的同时，对图像噪声也会带来同样倍数的放大，从而导致放大后图像噪声太大；
2)在图像处理部分对图像加一个亮度，对图像整体加一个亮度，可以达到提高图像低光亮度的效果，但加亮度的同时，会减小图像细节和非细节之间的反差，从而导致图像看起来非常模糊；
3)采用全通镜头，相比普通镜头只让可见光通过，全通镜头还可以通过红外光，这样图像传感器所得到的图像亮度就更高，但是在白天图像容易偏色。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种图像传感器的成像方法，该成像方法大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。
本发明的第二个目的在于提出一种成像装置。
本发明的第三个目的在于提出一种电子设备。
为了实现上述目的，本发明第一方面实施例的图像传感器的成像方法，图像传感器包括像素阵列和设置在所述像素阵列之上的微透镜阵列，其中，所述像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素，所述微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素，所述成像方法包括以下步骤：读取所述像素阵列中每个像素的输出；对所述每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量；获取当前拍摄场景的类型；根据所述当前拍摄场景的类型确定所述每个像素的三原色输出值，以根据所述每个像素的三原色输出值生成图像。
根据本发明实施例的图像传感器的成像方法，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。
为了实现上述目的，本发明第二方面实施例的成像装置，包括：图像传感器，所述图像传感器包括：像素阵列，所述像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素；设置在所述像素阵列之上的微透镜阵列，所述微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素；以及与所述图像传感器相连的图像处理模块，所述图像处理模块，用于读取所述像素阵列中每个像素的输出，并对所述每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量，以及获取当前拍摄场景的类型，并根据所述当前拍摄场景的类型确定所述每个像素的三原色输出值，以根据所述每个像素的三原色输出值生成图像。
根据本发明实施例的成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。
为了实现上述目的，本发明第三方面实施例的电子设备，包括本发明第二方面实施例的成像装置。
根据本发明实施例的电子设备，由于具有了该成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。
附图说明
图1是CMOS图像传感器的工作流程示意图；
图2是根据本发明一个实施例的图像传感器的成像方法的流程图；
图3是R、G、B、IR通道响应曲线的示意图；
图4是相关技术中经典的贝尔阵列示意图；
图5是根据本发明一个实施例的图像传感器中像素阵列的示意图；
图6是根据本发明一个实施例的成像装置的方框示意图；
图7是根据本发明一个实施例的一个微透镜及其覆盖的一个像素的示意图；
图8是根据本发明一个实施例的电子设备的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
首先对相关技术中的CMOS图像传感器的工作流程进行介绍。如图1所示，步骤1：图像传感器像素阵列部分通过光电感应把光信号转换为电信号；步骤2：电信号经过模拟电路处理部分处理；步骤3：模拟电信号经过模数转换部分转换为数字信号；步骤4：数字信号经过数字处理部分处理；最终经过步骤5图像数据输出控制部分输出到显示器上显示。
下面结合附图描述本发明实施例的图像传感器的成像方法、成像装置和电子设备。
图2是根据本发明一个实施例的图像传感器的成像方法的流程图。其中，图像传感器包括像素阵列和设置在像素阵列之上的微透镜阵列，其中，像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素，微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素。
在本发明的一个实施例中，像素阵列中的每个像素包括滤光片和被滤光片覆盖的感光器件，其中，红色滤光片与其覆盖的感光器件构成红色像素，绿色滤光片与其覆盖的感光器件构成绿色像素，蓝色滤光片与其覆盖的感光器件构成蓝色像素，红外滤光片与其覆盖的感光器件构成红外像素。
在本发明的一个实施例中，红色像素、绿色像素和蓝色像素对应的微透镜只允许可见光透过，红外像素对应的微透镜只允许近红外光透过。
具体地，在图像传感器的设计制造过程中，需要对每个像素的微透镜做特殊处理。例如，红色像素R、绿色像素G和蓝色像素B上的微透镜只通过波长650nm以下的可见光，红外像素ir上的微透镜只通过波长650nm以上、850nm左右的近红外光，如图3所示。
其中，相关技术中常用的图像传感器像素阵列为贝尔阵列，如图4所示，其中B代表三原色中的蓝色分量，G代表三原色中的绿色分量，R代表三原色中的红色分量。
在本发明的实施例中，图像传感器所采用的像素阵列如图5所示，也就是将贝尔阵列中其中一个绿色分量G替换成只感应红外的分量ir。
具体地，图5中所示的R为只通可见光的红色分量(R被配置为：使不包含红外分量的可见光波段的红色分量通过)，G为只通可见光的绿色分量(G被配置为：使不包含红外分量的可见光波段的绿色分量通过)，B为只通可见光的蓝色分量(B被配置为：使不包含红外分量的可见光波段的蓝色分量通过)。
在本发明的一个实施例中，图像传感器为CMOS图像传感器。
如图2所示，图像传感器的成像方法，包括以下步骤：
S1，读取像素阵列中每个像素的输出。
对CMOS图像传感器进行曝光后，CMOS图像传感器感应输出图像原始信号，图像原始信号每个像素点仅包含一个颜色分量。其中，CMOS图像传感器感应输出图像原始信号，这是一个光电转换的过程，CMOS图像传感器把外界的光信号通过光电二极管转换成电信号，然后经过模拟电路处理，再通过模数转换器将模拟信号转换成数字信号，以供后续进行数字信号处理。
具体地，读取像素阵列中每个像素的输出，每个像素的输出仅包含一个颜色分量，例如，红色像素的输出仅包含一个红色分量。
S2，对每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量。
具体地，由于每个像素的输出仅包含一个颜色分量，所以需要对每个像素的输出进行插值处理，以获得每个像素的四个分量R、G、B和ir。
例如，对于红色像素来说，红色像素的输出仅包含红色分量R，对该红色像素进行插值处理就可以得到该红色像素的其它颜色分量G、B和ir。这样，经过插值后，每个像素就都具有四个颜色分量R、G、B和ir。
在本发明的一个实施例中，对每个像素的输出进行插值处理采用下列插值方法中的任一种：邻近点插值法、双线性插值法和边缘自适应插值法。
S3，获取当前拍摄场景的类型。
在本发明的一个实施例中，获取当前拍摄场景的类型，具体包括：获取像素阵列的曝光时间；判断曝光时间是否大于预设曝光时间阈值；如果曝光时间大于预设曝光时间阈值，则判断当前拍摄场景为暗场景；如果曝光时间小于或等于预设曝光时间阈值，则判断当前拍摄场景为非暗场景。
具体地，图像传感器感光需要一定的时间，这个时间称为曝光时间T，曝光时间T越长，图像传感器感应出来的图像亮度就越亮。对于白天正常场景，因为环境光线强，图像传感器只需要很短的曝光时间就能达到想要的目标亮度，但对于晚上等暗场景，因为环境光线很低，图像传感器就需要更长的曝光时间。曝光时间长就意味着很长时间才能感应出来一张图像，为了满足帧率(即1秒钟感应的图像数量)的要求，曝光时间会有一个上限值T_th(即预设曝光时间阈值),因此，可以通过比较曝光时间T和上限值T_th来判断是暗场景还是非暗场景，当T小于T_th时为非暗场景，反之则为暗场景。
S4，根据当前拍摄场景的类型确定每个像素的三原色输出值，以根据每个像素的三原色输出值生成图像。
在本发明的一个实施例中，如果当前拍摄场景为非暗场景，则根据每个像素对应的红色分量、绿色分量和蓝色分量确定每个像素的三原色输出值。图像传感器感应出来的图像是以三原色的格式在显示器中显示的，对于非暗场景，每个像素的三原色输出值为：
R’＝R，G’＝G，B’＝B，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量。
这样，在非暗场景使用只通过可见光的R、G、B分量，以保证非暗场景的图像不偏色。
在本发明的一个实施例中，如果当前拍摄场景为暗场景，则根据每个像素对应的红色分量、绿色分量、蓝色分量和红外分量确定每个像素的三原色输出值，即每个像素的三原色输出值为：
R’＝R+ir，G’＝G+ir，B’＝B+ir，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量，ir表示该像素对应的红外分量。
这样，在暗场景通过叠加红外分量可以提高图像的亮度，因为现在很多监控产品暗场景对颜色要求不高，只看重图像的亮度和清晰度，所以暗场景最终以黑白图像的形式输出。
相较于相关技术中提高低光亮度的方案，本发明的实施例的有益之处在于：当处于暗场景时，是从数据源头上提高图像亮度，因此，不会带来噪声的放大；本发明的实施例增加的是图像传感器感应光线的多少，而不是对图像整体加一个亮度，所以不会使图像变模糊；本发明的实施例在非暗场景使用只通可见光的R、G、B三原色，不会对图像的色彩产生影响，而在暗场景时增加红外分量ir,可以提高暗场景时图像的亮度。从而大大提升了图像质量。
本发明实施例的图像传感器的成像方法，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。
为了实现上述实施例，本发明还提出了一种成像装置。
图6是根据本发明一个实施例的成像装置的方框示意图。如图6所示，本发明实施例的成像装置100，包括：图像传感器10和图像处理模块20。
其中，图像传感器10包括：像素阵列11和设置在像素阵列11之上的微透镜阵列12。
如图5所示，像素阵列11中每相邻的四个像素111包括一个红色像素R、一个绿色像素G、一个蓝色像素B和一个红外像素ir。也就是将贝尔阵列中其中一个绿色分量G替换成只感应红外的分量ir。
设置在像素阵列11之上的微透镜阵列12，包括多个微透镜121，每个微透镜121对应覆盖一个像素111，如图7所示。
在本发明的一个实施例中，像素阵列11中的每个像素111包括滤光片1111和被滤光片1111覆盖的感光器件1112，其中，红色滤光片与其覆盖的感光器件构成红色像素，绿色滤光片与其覆盖的感光器件构成绿色像素，蓝色滤光片与其覆盖的感光器件构成蓝色像素，红外滤光片与其覆盖的感光器件构成红外像素。
在本发明的一个实施例中，红色像素、绿色像素和蓝色像素对应的微透镜只允许可见光透过，红外像素对应的微透镜只允许近红外光透过。
具体地，在图像传感器10的设计制造过程中，需要对每个像素的微透镜121做特殊处理。例如，红色像素R、绿色像素G和蓝色像素B上的微透镜121只通过波长650nm以下的可见光，红外像素ir上的微透镜121只通过波长650nm以上、850nm左右的近红外光。
在本发明的一个实施例中，图像传感器10为CMOS图像传感器。
与图像传感器10相连的图像处理模块20，用于读取像素阵列中每个像素的输出，并对每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量，以及获取当前拍摄场景的类型，并根据当前拍摄场景的类型确定每个像素的三原色输出值，以根据每个像素的三原色输出值生成图像。
对图像传感器10进行曝光后，图像传感器10感应出图像原始信号，原始信号每个像素点仅包含一个颜色分量。其中，图像传感器10感应出图像原始信号，这是一个光电转换的过程，图像传感器10把外界的光信号通过光电二极管转换成电信号，然后经过模拟电路处理，再通过模数转换器将模拟信号转换成数字信号，以供图像处理模块20进行处理。
具体地，图像处理模块20读取像素阵列中每个像素的输出，每个像素的输出仅包含一个颜色分量，例如，红色像素的输出仅包含一个红色分量。由于每个像素的输出仅包含一个颜色分量，所以需要对每个像素的输出进行插值处理，以获得每个像素的四个分量R、G、B和ir。
例如，对于红色像素来说，红色像素的输出仅包含红色分量R，图像处理模块20对该红色像素进行插值处理就可以得到该红色像素的其它颜色分量G、B和ir。这样，经过插值后，每个像素就都具有四个颜色分量R、G、B和ir。
在本发明的一个实施例中，对每个像素的输出进行插值处理采用下列插值方法中的任一种：邻近点插值法、双线性插值法和边缘自适应插值法。
进一步地，图像处理模块20获取当前拍摄场景的类型，根据当前拍摄场景的类型确定每个像素的三原色输出值，以根据每个像素的三原色输出值生成图像。下面进行详细说明。
在本发明的一个实施例中，图像处理模块20具体用于获取像素阵列的曝光时间，并判断曝光时间是否大于或等于预设曝光时间阈值，如果曝光时间大于或等于预设曝光时间阈值，则判断当前拍摄场景为暗场景，如果曝光时间小于预设曝光时间阈值，则判断当前拍摄场景为非暗场景。
具体地，图像传感器10感光需要一定的时间，这个时间称为曝光时间T，曝光时间T越长，图像传感器10感应出来的图像亮度就越亮。对于白天正常场景，因为环境光线强，图像传感器10只需要很短的曝光时间就能达到想要的目标亮度，但对于晚上等暗场景，因为环境光线很低，图像传感器10就需要更长的曝光时间。曝光时间长就意味着很长时间才能感应出来一张图像，为了满足帧率(即1秒钟感应的图像数量)的要求，曝光时间会有一个上限值T_th(即预设曝光时间阈值),因此，图像处理模块20可以通过比较曝光时间T和上限值T_th来判断是暗场景还是非暗场景，当T小于T_th时为非暗场景，反之则为暗场景。
进一步地，在本发明的一个实施例中，图像处理模块20具体用于在当前拍摄场景为非暗场景时，根据每个像素对应的红色分量、绿色分量和蓝色分量确定每个像素的三原色输出值。图像传感器10感应出来的图像是以三原色的格式在显示器中显示的，对于非暗场景，每个像素的三原色输出值为：
R’＝R，G’＝G，B’＝B，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量。
这样，在非暗场景使用只通过可见光的R、G、B分量，以保证非暗场景的图像不偏色。
在本发明的一个实施例中，图像处理模块20具体用于在当前拍摄场景为暗场景时，根据每个像素对应的红色分量、绿色分量、蓝色分量和红外分量确定每个像素的三原色输出值，即每个像素的三原色输出值为：
R’＝R+ir，G’＝G+ir，B’＝B+ir，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量，ir表示该像素对应的红外分量。
这样，在暗场景通过叠加红外分量可以提高图像的亮度，因为现在很多监控产品暗场景对颜色要求不高，只看重图像的亮度和清晰度，所以暗场景最终以黑白图像的形式输出。
本发明实施例的成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。
为了实现上述实施例，本发明还提出了一种电子设备200，如图8所示，该电子设备200包括本发明实施例的成像装置100。
在本发明的一个实施例中，电子设备200为监控设备。
本发明实施例的电子设备，由于具有了该成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种图像传感器的成像方法，其特征在于，图像传感器包括像素阵列和设置在所述像素阵列之上的微透镜阵列，其中，所述像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素，所述微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素，所述成像方法包括以下步骤：
读取所述像素阵列中每个像素的输出；
对所述每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量；
获取当前拍摄场景的类型；
根据所述当前拍摄场景的类型确定所述每个像素的三原色输出值，以根据所述每个像素的三原色输出值生成图像。
2.如权利要求1所述的图像传感器的成像方法，其特征在于，所述获取当前拍摄场景的类型，具体包括：
获取所述像素阵列的曝光时间；
判断所述曝光时间是否大于或等于预设曝光时间阈值；
如果所述曝光时间大于或等于所述预设曝光时间阈值，则判断所述当前拍摄场景为暗场景；
如果所述曝光时间小于所述预设曝光时间阈值，则判断所述当前拍摄场景为非暗场景。
3.如权利要求2所述的图像传感器的成像方法，其特征在于，所述根据所述当前拍摄场景的类型确定所述每个像素的三原色输出值，具体包括：
如果所述当前拍摄场景为暗场景，则根据所述每个像素对应的红色分量、绿色分量、蓝色分量和红外分量确定所述每个像素的三原色输出值；
如果所述当前拍摄场景为非暗场景，则根据所述每个像素对应的红色分量、绿色分量和蓝色分量确定所述每个像素的三原色输出值。
4.如权利要求3所述的图像传感器的成像方法，其特征在于，如果所述当前拍摄场景为非暗场景，根据下述公式计算所述每个像素的三原色输出值：
R’＝R，G’＝G，B’＝B，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量。
5.如权利要求3所述的图像传感器的成像方法，其特征在于，如果所述当前拍摄场景为暗场景，根据下述公式计算所述每个像素的三原色输出值：
R’＝R+ir，G’＝G+ir，B’＝B+ir，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量，ir表示该像素对应的红外分量。
6.如权利要求2所述的图像传感器的成像方法，其特征在于，所述根据所述每个像素的三原色输出值生成图像，具体包括：
当所述当前拍摄场景为所述非暗场景时，根据所述每个像素的三原色输出值生成彩色图像；
当所述当前拍摄场景为所述暗场景时，根据所述每个像素的三原色输出值生成黑白图像。
7.如权利要求1所述的图像传感器的成像方法，其特征在于，所述像素阵列中的每个像素包括滤光片和被所述滤光片覆盖的感光器件，其中，
红色滤光片与其覆盖的感光器件构成所述红色像素，绿色滤光片与其覆盖的感光器件构成所述绿色像素，蓝色滤光片与其覆盖的感光器件构成所述蓝色像素，红外滤光片与其覆盖的感光器件构成所述红外像素。
8.如权利要求1所述的图像传感器的成像方法，其特征在于，所述红色像素、绿色像素和蓝色像素对应的微透镜只允许可见光透过，所述红外像素对应的微透镜只允许近红外光透过。
9.如权利要求1所述的图像传感器的成像方法，其特征在于，所述对所述每个像素的输出进行插值处理采用下列插值方法中的任一种：
邻近点插值法、双线性插值法和边缘自适应插值法。
10.一种成像装置，其特征在于，包括：
图像传感器，所述图像传感器包括：
像素阵列，所述像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素；
设置在所述像素阵列之上的微透镜阵列，所述微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素；以及
与所述图像传感器相连的图像处理模块，所述图像处理模块用于读取所述像素阵列中每个像素的输出，并对所述每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量，以及获取当前拍摄场景的类型，并根据所述当前拍摄场景的类型确定所述每个像素的三原色输出值，以根据所述每个像素的三原色输出值生成图像。
11.如权利要求10所述的成像装置，其特征在于，所述图像处理模块具体用于：
获取所述像素阵列的曝光时间，并判断所述曝光时间是否大于或等于预设曝光时间阈值，如果所述曝光时间大于或等于所述预设曝光时间阈值，则判断所述当前拍摄场景为暗场景，如果所述曝光时间小于所述预设曝光时间阈值，则判断所述当前拍摄场景为非暗场景。
12.如权利要求11所述的成像装置，其特征在于，所述图像处理模块具体用于：
在所述当前拍摄场景为所述暗场景时，根据所述每个像素对应的红色分量、绿色分量、蓝色分量和红外分量确定所述每个像素的三原色输出值；
在所述当前拍摄场景为所述非暗场景时，根据所述每个像素对应的红色分量、绿色分量和蓝色分量确定所述每个像素的三原色输出值。
13.如权利要求12所述的成像装置，其特征在于，在所述当前拍摄场景为非暗场景时，所述图像处理模块根据下述公式计算所述每个像素的三原色输出值：
R’＝R，G’＝G，B’＝B，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量。
14.如权利要求12所述的成像装置，其特征在于，在所述当前拍摄场景为暗场景，所述图像处理模块根据下述公式计算所述每个像素的三原色输出值：
R’＝R+ir，G’＝G+ir，B’＝B+ir，
其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量，ir表示该像素对应的红外分量。
15.如权利要求11所述的成像装置，其特征在于，所述图像处理模块具体用于：
在所述当前拍摄场景为非暗场景时，根据所述每个像素的三原色输出值生成彩色图像；
在所述当前拍摄场景为暗场景时，根据所述每个像素的三原色输出值生成黑白图像。
16.如权利要求10所述的成像装置，其特征在于，所述像素阵列中的每个像素包括滤光片和被所述滤光片覆盖的感光器件，其中，
红色滤光片与其覆盖的感光器件构成所述红色像素，绿色滤光片与其覆盖的感光器件构成所述绿色像素，蓝色滤光片与其覆盖的感光器件构成所述蓝色像素，红外滤光片与其覆盖的感光器件构成所述红外像素。
17.如权利要求10所述的成像装置，其特征在于，所述红色像素、绿色像素和蓝色像素对应的微透镜只允许可见光透过，所述红外像素对应的微透镜只允许近红外光透过。
18.如权利要求10所述的成像装置，其特征在于，所述图像处理模块采用邻近点插值法、双线性插值法或边缘自适应插值法对所述每个像素的输出进行插值处理。
19.一种电子设备，其特征在于，包括如权利要求10-18中任一项所述的成像装置。
20.如权利要求19所述的电子设备，其特征在于，所述电子设备为监控设备。
CN201510925379.1A 2015-12-14 2015-12-14 图像传感器的成像方法、成像装置和电子设备 Pending CN106878690A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510925379.1A CN106878690A (zh) 2015-12-14 2015-12-14 图像传感器的成像方法、成像装置和电子设备
US15/777,796 US20180350860A1 (en) 2015-12-14 2016-11-22 Image method of image sensor, imaging apparatus and electronic device
PCT/CN2016/106800 WO2017101641A1 (zh) 2015-12-14 2016-11-22 图像传感器的成像方法、成像装置和电子设备
EP16874698.0A EP3393124A4 (en) 2015-12-14 2016-11-22 Imaging method of image sensor, imaging apparatus and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510925379.1A CN106878690A (zh) 2015-12-14 2015-12-14 图像传感器的成像方法、成像装置和电子设备

Publications (1)

Publication Number Publication Date
CN106878690A true CN106878690A (zh) 2017-06-20

Family

ID=59055768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510925379.1A Pending CN106878690A (zh) 2015-12-14 2015-12-14 图像传感器的成像方法、成像装置和电子设备

Country Status (4)

Country Link
US (1) US20180350860A1 (zh)
EP (1) EP3393124A4 (zh)
CN (1) CN106878690A (zh)
WO (1) WO2017101641A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205139A (zh) * 2017-06-28 2017-09-26 重庆中科云丛科技有限公司 多通道采集的图像传感器及采集方法
CN108271012A (zh) * 2017-12-29 2018-07-10 维沃移动通信有限公司 一种深度信息的获取方法、装置以及移动终端
CN108426637A (zh) * 2018-05-11 2018-08-21 Oppo广东移动通信有限公司 一种光分量计算方法、图像传感器及摄像头模组
CN108600712A (zh) * 2018-07-19 2018-09-28 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN108965704A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN108965703A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN109040720A (zh) * 2018-07-24 2018-12-18 浙江大华技术股份有限公司 一种生成rgb图像的方法及装置
CN111869199A (zh) * 2018-03-27 2020-10-30 索尼半导体解决方案公司 摄像装置和图像处理***
WO2021016900A1 (zh) * 2019-07-31 2021-02-04 华为技术有限公司 一种图像传感器和图像感光的方法
CN113287291A (zh) * 2019-02-01 2021-08-20 Oppo广东移动通信有限公司 图像处理方法、存储介质及电子设备
CN114697585A (zh) * 2020-12-31 2022-07-01 杭州海康威视数字技术股份有限公司 一种图像传感器、图像处理***及图像处理方法
WO2023226395A1 (zh) * 2022-05-25 2023-11-30 Oppo广东移动通信有限公司 图像传感器、摄像头和电子装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532898B (zh) * 2020-12-03 2022-09-27 北京灵汐科技有限公司 双模态红外仿生视觉传感器
CN114697584B (zh) * 2020-12-31 2023-12-26 杭州海康威视数字技术股份有限公司 一种图像处理***及图像处理方法
CN113706637B (zh) * 2021-08-03 2023-10-13 哈尔滨工程大学 一种彩色图像传感器线性区内色彩混叠分离方法
CN115914857A (zh) * 2022-12-22 2023-04-04 创视微电子(成都)有限公司 一种图像传感器中实时自动白平衡补偿方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN103945201A (zh) * 2013-01-21 2014-07-23 浙江大华技术股份有限公司 一种IR-Cut滤光片切换方法、装置和摄像机
CN104661008A (zh) * 2013-11-18 2015-05-27 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006237737A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
JP4949806B2 (ja) * 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
KR100863497B1 (ko) * 2007-06-19 2008-10-14 마루엘에스아이 주식회사 이미지 감지 장치, 이미지 신호 처리 방법, 광 감지 소자, 제어 방법 및 화소 어레이
CN103139572B (zh) * 2011-11-24 2016-12-07 比亚迪股份有限公司 感光装置及用于其的白平衡方法和装置
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
KR101444263B1 (ko) * 2012-12-04 2014-09-30 (주)실리콘화일 분광특성이 강화된 적외선 픽셀을 구비한 씨모스 이미지센서 및 그 제조방법
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法
CN103945201A (zh) * 2013-01-21 2014-07-23 浙江大华技术股份有限公司 一种IR-Cut滤光片切换方法、装置和摄像机
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN104661008A (zh) * 2013-11-18 2015-05-27 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205139A (zh) * 2017-06-28 2017-09-26 重庆中科云丛科技有限公司 多通道采集的图像传感器及采集方法
CN108271012A (zh) * 2017-12-29 2018-07-10 维沃移动通信有限公司 一种深度信息的获取方法、装置以及移动终端
US11743604B2 (en) 2018-03-27 2023-08-29 Sony Semiconductor Solutions Corporation Imaging device and image processing system
CN111869199A (zh) * 2018-03-27 2020-10-30 索尼半导体解决方案公司 摄像装置和图像处理***
CN108426637A (zh) * 2018-05-11 2018-08-21 Oppo广东移动通信有限公司 一种光分量计算方法、图像传感器及摄像头模组
US11743605B2 (en) 2018-07-19 2023-08-29 Vivo Mobile Communication Co., Ltd. Image sensor, mobile terminal, and image photographing method
CN108965704A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN108965703A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
US11996421B2 (en) 2018-07-19 2024-05-28 Vivo Mobile Communication Co., Ltd. Image sensor, mobile terminal, and image capturing method
CN108600712A (zh) * 2018-07-19 2018-09-28 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
WO2020015561A1 (zh) * 2018-07-19 2020-01-23 维沃移动通信有限公司 图像传感器、移动终端及图像拍摄方法
CN108965704B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
US11962918B2 (en) 2018-07-19 2024-04-16 Vivo Mobile Communication Co., Ltd. Image sensor, mobile terminal, and image photographing method
CN109040720B (zh) * 2018-07-24 2019-11-19 浙江大华技术股份有限公司 一种生成rgb图像的方法及装置
CN109040720A (zh) * 2018-07-24 2018-12-18 浙江大华技术股份有限公司 一种生成rgb图像的方法及装置
CN113287291A (zh) * 2019-02-01 2021-08-20 Oppo广东移动通信有限公司 图像处理方法、存储介质及电子设备
WO2021016900A1 (zh) * 2019-07-31 2021-02-04 华为技术有限公司 一种图像传感器和图像感光的方法
CN114697585A (zh) * 2020-12-31 2022-07-01 杭州海康威视数字技术股份有限公司 一种图像传感器、图像处理***及图像处理方法
CN114697585B (zh) * 2020-12-31 2023-12-29 杭州海康威视数字技术股份有限公司 一种图像传感器、图像处理***及图像处理方法
WO2023226395A1 (zh) * 2022-05-25 2023-11-30 Oppo广东移动通信有限公司 图像传感器、摄像头和电子装置

Also Published As

Publication number Publication date
EP3393124A1 (en) 2018-10-24
EP3393124A4 (en) 2018-11-14
WO2017101641A1 (zh) 2017-06-22
US20180350860A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
CN106878690A (zh) 图像传感器的成像方法、成像装置和电子设备
US10257484B2 (en) Imaging processing device and imaging processing method
US9143704B2 (en) Image capturing device and method thereof
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像***及其操作方法
CN103327342B (zh) 具有透明滤波器像素的成像***
CN105578078B (zh) 图像传感器、成像装置、移动终端及成像方法
WO2017193738A1 (zh) 图像传感器、成像方法和成像装置
CN105430359B (zh) 成像方法、图像传感器、成像装置及电子装置
CN207530934U (zh) 一种具有红外成像功能的双摄像头模组
WO2016088293A1 (en) Imaging device, apparatus, and imaging method
CN108712608A (zh) 终端设备拍摄方法和装置
CN105430363B (zh) 成像方法、成像装置及电子装置
CN105635532B (zh) 成像方法、图像传感器、成像装置及电子装置
CN106911876A (zh) 用于输出图像的方法和设备
CN107820066A (zh) 一种低照度彩色摄像机
CN105578081B (zh) 成像方法、图像传感器、成像装置及电子装置
CN105635702B (zh) 成像方法、成像装置及电子装置
CN105554485B (zh) 成像方法、成像装置及电子装置
CN105430360B (zh) 成像方法、图像传感器、成像装置及电子装置
CN208489908U (zh) 阵列摄像模组及具有阵列摄像模组的电子设备
KR102412278B1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
CN109300186B (zh) 图像处理方法和装置、存储介质、电子设备
JP2012010141A (ja) 画像処理装置
CN202617286U (zh) 影像获取装置
CN111918005B (zh) 图像传感器、终端、数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620

RJ01 Rejection of invention patent application after publication