CN105578081B - 成像方法、图像传感器、成像装置及电子装置 - Google Patents

Abstract

本发明公开了一种成像方法，首先，提供图像传感器，图像传感器包括感光像素阵列及设置在感光像素阵列上的滤光片，滤光片包括滤光单元阵列，每个滤光单元包括白色滤光区、彩色滤光区及红外滤光区。彩色滤光区覆盖多个感光像素，白色滤光区及红外滤光区分别覆盖至少一个感光像素。同一滤光单元覆盖的感光像素构成合并像素。接着，读取感光像素阵列的输出，并根据同一合并像素的感光像素的输出计算合并像素的像素值以生成合并图像。得到的合并图像包含完整的色彩信息，信噪比高。本发明还公开了一种可用于实现此成像方法的图像传感器、成像装置及应用成像装置的电子装置。

Description

成像方法、图像传感器、成像装置及电子装置

技术领域

本发明涉及成像技术，特别涉及一种成像方法、图像传感器、成像装置及电子装置。

背景技术

现有图像传感器的滤光像素阵列包括R、G、B滤光像素，有些图像传感器用W、IR来替换部分原有的R、G、B滤光像素，虽能在低照度下得到清晰度较好的图像，但色彩会不准确。其中，R、G、B、W、IR分别代表红色、绿色、蓝色、白色及红外。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明需要提供一种成像方法、图像传感器、成像装置及电子装置。

本发明实施方式的成像方法包括以下步骤：

提供图像传感器，所述图像传感器包括感光像素阵列及设置于所述感光像素阵列上的滤光片，所述滤光片包括滤光单元阵列，所述滤光单元包括白色滤光区、彩色滤光区及红外滤光区，所述彩色滤光区覆盖多个所述感光像素，所述红外滤光区用于仅使预设波长的红外光线通过，所述白色滤光区及所述红外滤光区分别覆盖至少一个所述感光像素，同一所述滤光单元覆盖的所述感光像素构成合并像素；及

读取所述感光像素阵列的输出，并根据同一所述合并像素的所述感光像素的输出计算所述合并像素的像素值以生成合并图像。

本发明实施方式的成像方法中的滤光单元的彩色滤光区用于获取合并像素的色彩信息，白色滤光区及红外滤光区用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。如此，合成图像的像素值既包含色彩信息又包含低噪度的亮度信息，合成图像的色彩完整，亮度及清晰度均较好，噪点少，解决了现有成像方法中的某些问题。

在某些实施方式中，每个所述滤光单元覆盖2*2个所述感光像素；所述彩色滤光区、所述白色滤光区及所述红外滤光区分别覆盖两个、一个、一个所述感光像素。

在某些实施方式中，所述读取步骤进一步包括：

采集第k行及第k+1行的所述感光像素的输出并存入寄存器，其中k＝2n-1，n为自然数，k+1小于等于所述感光像素阵列的总行数；及

从所述寄存器中提取所述第k行及第k+1行的所述感光像素的输出以得到所述合并像素的像素值。

在某些实施方式中，所述合并像素的像素值包括分别与所述彩色滤光区、所述白色滤光区及所述红外滤光区对应的彩色像素值、白色像素值及红外像素值；

所述读取步骤进一步包括：

分别根据所述彩色像素值、所述白色像素值及所述红外像素值生成彩色合并图像、灰度图像及红外图像；及

根据所述彩色合并图像、所述灰度图像及所述红外图像生成所述合并图像。

在某些实施方式中，所述读取步骤进一步包括：

将同一所述合并像素的所述彩色滤光区域对应的多个所述感光像素的输出相加作为所述合并像素的彩色像素值。

在某些实施方式中，

所述读取步骤进一步包括：

将所述彩色合并图像转换为YUV格式的彩色子图像；及

将所述彩色子图像的亮度值替换为根据所述彩色子图像及/或所述灰度图像及/或所述红外图像得到的亮度值以生成所述合并图像。

在某些实施方式中，所述替换步骤进一步包括：

感测并判断环境亮度：及

当所述环境亮度大于第一预定阈值时，将所述彩色子图像的亮度值减去所述红外图像的亮度值从而得到所述合并图像。

在某些实施方式中，所述替换步骤进一步包括：

感测并判断环境亮度：及

当所述环境亮度小于第二预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值从而得到所述合并图像。

在某些实施方式中，所述替换步骤进一步包括：

感测并判断环境亮度：及

当所述环境亮度小于第三预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值并加上所述灰度图像的亮度值以得到所述合并图像。

在某些实施方式中，每个所述感光像素分别与一个模数转换器连接；

所述成像方法进一步包括：

将所述感光像素产生的模拟信号输出转换为数字信号输出；及

将同一所述合并像素中所述彩色滤光区对应的所述感光像素的所述数字信号输出相加以得到所述合并像素的彩色像素值。

本发明还提供一种图像传感器，其包括：

感光像素阵列；及

设置于所述感光像素阵列上的滤光片；

所述滤光片包括滤光单元阵列，每个所述滤光单元包括白色滤光区、彩色滤光区及红外滤光区；所述彩色滤光区覆盖多个所述感光像素，所述红外滤光区用于仅使预设波长的红外光线通过，所述白色滤光区及所述红外滤光区分别覆盖至少一个所述感光像素；

同一所述滤光单元覆盖的所述感光像素构成合并像素。

在某些实施方式中，所述彩色滤光区形成拜耳阵列。

在某些实施方式中，每个所述滤光单元包括2*2个所述感光像素；所述彩色滤光区、所述白色滤光区及所述红外滤光区分别覆盖两个、一个、一个所述感光像素。

在某些实施方式中，所述图像传感器包括控制模块，所述控制模块用于控制所述感光像素阵列逐行曝光。

在某些实施方式中，所述图像传感器还包括寄存器，所述控制模块用于依次采集当前曝光完成的第k行及第k+1行的所述感光像素的输出并存入所述寄存器，其中k＝2n-1，n为自然数，k+1小于等于所述感光像素阵列的总行数。

在某些实施方式中，所述图像传感器包括模数转换器阵列，每个所述模数转换器与一个所述感光像素连接。

在某些实施方式中，所述图像传感器包括微镜阵列，每个所述微镜与一个所述感光像素对应。

本发明还提供一种成像装置，其包括上述实施方式的图像传感器；

所述成像装置还包括与所述图像传感器连接的图像处理模块；

所述图像处理模块用于读取并处理所述感光像素阵列的输出以得到所述合并像素的像素值从而形成合并图像；

所述合并像素的像素值包括分别与所述彩色滤光区、所述白色滤光区及所述红外滤光区对应的彩色像素值、白色像素值及红外像素值；

所述彩色像素值、所述白色像素值及所述红外像素值分别用于构成彩色合并图像、灰度图像及红外图像；

所述图像处理模块用于根据所述彩色合并图像、所述灰度图像及所述红外图像生成所述合并图像。

在某些实施方式中，所述图像处理模块用于将同一所述合并像素对应所述彩色滤光区域的多个所述感光像素的输出相加作为所述合并像素的彩色像素值。

在某些实施方式中，所述图像处理模块还用于将所述彩色合并图像转换为YUV格式的彩色子图像。

所述图像处理模块还用于将所述彩色子图像的亮度值替换为根据所述彩色子图像及/或所述灰度图像及/或所述红外图像得到的亮度值以生成所述合并图像。

在某些实施方式中，所述图像处理模块用于根据所述感光像素的像素值判断环境亮度，及用于在所述环境亮度大于第一预定阈值时，将所述彩色子图像的亮度值减去所述红外图像的亮度值从而得到所述合并图像。

在某些实施方式中，所述图像处理模块用于根据所述感光像素的像素值判断环境亮度，及用于在所述环境亮度小于第二预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值从而得到所述合并图像。

在某些实施方式中，所述图像处理模块用于根据所述感光像素的像素值判断环境亮度，及用于在所述环境亮度小于第三预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值并加上所述灰度图像的亮度值以得到所述合并图像。

本发明还提供一种电子装置，其包括上述实施方式的成像装置。

在某些实施方式中，所述电子装置包括手机。

在某些实施方式中，所述成像装置包括所述手机的前置相机。

在某些实施方式中，所述电子装置包括与所述成像装置连接的中央处理器及外存储器，所述中央处理器用于控制所述外存储器存储所述合并图像。

在某些实施方式中，所述电子装置还包括与所述成像装置连接的中央处理器及显示装置，所述中央处理器用于控制所述显示装置显示所述合并图像。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的成像方法的流程示意图。

图2是本发明实施方式成像方法的读取步骤的流程示意图。

图3是本发明实施方式成像方法的读取步骤的流程示意图。

图4是本发明实施方式成像方法的读取步骤的流程示意图。

图5是本发明实施方式成像方法的读取步骤的流程示意图。

图6是本发明实施方式成像方法的替换步骤的流程示意图。

图7是本发明实施方式成像方法的替换步骤的流程示意图。

图8是本发明实施方式成像方法的替换步骤的流程示意图。

图9是本发明实施方式成像方法的读取步骤的流程示意图。

图10是本发明实施方式的图像传感器的侧视示意图。

图11是本发明实施方式的图像传感器的滤光单元示意图。

图12是拜耳结构的滤光单元阵列示意图。

图13是本发明实施方式的图像传感器的滤光单元阵列示意图。

图14是本发明实施方式的图像传感器的立体结构示意图。

图15是本发明实施方式的图像传感器的功能模块示意图。

图16是本发明实施方式图像传感器的感光像素的电路结构示意图。

图17是本发明实施方式的图像传感器的功能模块示意图。

图18是本发明实施方式的图像传感器的立体结构示意图。

图19是本发明实施方式的成像装置的功能模块示意图。

图20是本发明实施方式的电子装置的功能模块示意图。

图21是本发明实施方式的电子装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

以下结合附图对本发明的实施方式的成像方法、图像传感器、成像装置及电子装置作进一步说明。

请参阅图1，本发明实施方式的成像方法包括以下步骤：

S1，提供图像传感器，图像传感器包括感光像素阵列及设置于感光像素阵列上的滤光片，滤光片包括滤光单元阵列，滤光单元包括白色滤光区、彩色滤光区及红外滤光区，彩色滤光区覆盖多个感光像素，红外滤光区用于仅使预设波长的红外光线通过，白色滤光区及红外滤光区分别覆盖至少一个感光像素，同一滤光单元覆盖的感光像素构成合并像素。

S2，读取感光像素阵列的输出，并根据同一合并像素的感光像素的输出计算合并像素的像素值以生成合并图像。

本发明实施方式的成像方法中的滤光单元的彩色滤光区用于获取合并像素的色彩信息，白色滤光区及红外滤光区用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。如此，合成图像的像素值既包含色彩信息又包含低噪度的亮度信息，合成图像的色彩完整，亮度及清晰度均较好，噪点少。

请参图14，在某些实施方式中，每个滤光单元覆盖2*2个感光像素；彩色滤光区、白色滤光区及红外滤光区分别覆盖两个、一个、一个感光像素。

请参图2，在本实施方式中的成像方法中，步骤S2进一步包括：

S21：采集第k行及第k+1行的感光像素的输出并存入寄存器，其中k＝2n-1，n为自然数，k+1小于等于感光像素阵列的总行数。

S23：从寄存器中提取第k行及第k+1行的感光像素的输出以得到合并像素的像素值。

如此，可以充分利用寄存器来实现感光单元的输出读出、缓存及合并的过程，硬件容易实现且处理速度较快。

在某些实施方式中，合并像素的像素值包括分别与彩色滤光区、白色滤光区及红外滤光区对应的彩色像素值、白色像素值及红外像素值。

请参图3，步骤S2进一步包括：

S25：分别根据彩色像素值、白色像素值及红外像素值生成彩色合并图像、灰度图像及红外图像。

S26：根据彩色合并图像、灰度图像及红外图像生成合并图像。

如此，根据合并像素的彩色像素值得到色彩信息完整的彩色合并图像，根据合并像素的白色像素值得到低照度下亮度和清晰度较好、噪点较少的灰度图像。

请参图4，在某些实施方式中，步骤S2进一步包括：

S24，将同一合并像素对应的彩色滤光区域对应的多个感光像素的输出相加作为合并像素的彩色像素值。

如此，采用像素合并的方法，合并像素的输出为合并之前各像素输出的和，而合并像素的噪声小于合并之前各像素噪声的和，因此合并之后生成的彩色合并图像的噪点较少，信噪比较高。

请参图5，在某些实施方式中，步骤S2进一步包括：

S27，将彩色合并图像转换为YUV格式的彩色子图像；及

S29，将彩色子图像的亮度值替换为根据彩色子图像及/或灰度图像及/或红外图像得到的亮度值以生成合并图像。

YUV格式的图像包含亮度属性，普通的绿色、红色、蓝色滤光片对红外线几乎无阻隔，因此红外线穿过滤光片会导致生成的图像失真，尤其是在高照度下。在低照度下，较于彩色滤光区，白色滤光区对外界光线的阻挡作用较小，因此同一合并像素中，白色像素值对应的灰度图像亮度值较高、噪点也较少。由于有热量的物体均会辐射红外线，且红外线波长较长而传播较远，在低照度下通过感应红外线能实现较好的成像效果。因此，低照度下彩色子图像可根据灰度图像或红外图像进行补偿处理，以生成清晰度和信噪比更高的合并图像。

请参图6，在某些实施方式中，替换步骤进一步包括：

S291：感测并判断环境亮度：

S292：当环境亮度大于第一预定阈值时，将彩色子图像的亮度值减去红外图像的亮度值从而得到合并图像。

请参图7，在某些实施方式中，替换步骤进一步包括：

S293：感测并判断环境亮度：

当环境亮度小于第二预定阈值时，将彩色子图像的亮度值加上红外图像的亮度值从而得到合并图像。

请参图8，在某些实施方式中，替换步骤进一步包括：

S295：感测并判断环境亮度：

当环境亮度小于第三预定阈值时，将彩色子图像的亮度值加上红外图像的亮度值并加上灰度图像的亮度值以得到合并图像。

可将感光像素的像素值作为判断环境亮度的依据，例如，将滤光片上所有白色滤光区对应的感光像素的像素值求平均值来作为环境亮度值。通过感测并判断环境亮度，来对彩色子图像进行适当的处理。例如白天时外界景物辐射的红外线会影响成像质量，可让彩色子图像的亮度值减掉其红外线亮度成分。夜晚亮度较低时，可利用白色滤光片或红外滤光片的感光像素成像的亮度值进行补偿以提升成像亮度及信噪比。

在亮度较低的环境，既可以把彩色子图像的亮度值直接替换为灰度图像或红外图像的亮度值或替换为这两个图像的亮度值之和，也可以把彩色子图像的亮度值加上灰度图像或红外图像的亮度值或迭加灰度图像及红外图像的亮度值作为合并图像的亮度值。

在某些实施方式中，每个感光像素分别与一个模数转换器连接；

请参图9，步骤S2进一步包括：

S31，将感光像素产生的模拟信号输出转换为数字信号输出；

S33，将同一合并像素中彩色滤光区对应的感光像素的数字信号输出相加以得到合并像素的彩色像素值。

如此，一来，一般为数字信号处理芯片(DSP,digital signal processor)的图像处理模块可以直接处理图像传感器的输出，二来，相对于某些通过电路直接对图像传感器的模拟信号格式的输出进行处理的方案来说，较好地保留了图像的信息，例如，对于16M像素的图像传感器来说，本发明实施方式的成像方法可以保留16M像素(即合并前图像)的信息，在此基础上经过处理得到4M像素的合并图像或其他分辨率的图像。

本发明实施方式的成像方法可以由本发明实施方式的图像传感器实现。

请参阅图10及图11，本发明实施方式的图像传感器10包括感光像素阵列11及设置于感光像素阵列11上的滤光片13。滤光片13包括滤光单元阵列131，每个滤光单元1311包括白色滤光区1313、彩色滤光区1315及红外滤光区1316。彩色滤光区1315覆盖多个感光像素111，红外滤光区1316用于仅使预设波长的红外光线通过，白色滤光区1313及红外滤光区1316分别覆盖至少一个感光像素111。同一滤光单元覆盖的感光像素构成合并像素。外部光线通过滤光片13照射到感光像素111的感光部分1111以产生电信号，即感光像素111的输出。

本发明实施方式的成像方法中的滤光单元1311的彩色滤光区1316用于获取合并像素的色彩信息，白色滤光区1313及红外滤光区1316用于在低照度下获取合并像素的亮度信息且此亮度信息噪声较少。如此，合成图像的像素值既包含色彩信息又包含低噪度的亮度信息，合成图像的色彩完整，亮度及清晰度均较好，噪点少。

请参阅图12，在某些实施方式中，彩色滤光区形成拜耳阵列(Bayer pattern)。

拜耳阵列中包括滤光结构1317，每个滤光结构1317包括2*2个滤光单元1311，分别是绿色、红色、蓝色、绿色滤光单元1311。

采用拜耳结构能采用传统针对拜耳结构的算法来处理图像信号，从而不需要硬件结构上做大的调整。

在传统滤光单元阵列结构中，每个滤光单元对应多个感光像素及图像像素。请参阅图11，在本实施方式中，滤光单元阵列131采用拜耳结构，包括滤光结构1317，每个滤光结构1317包括绿色、红色、蓝色、绿色滤光单元1311，而不同的是，每个滤光单元1311对应多个感光像素111。每个滤光单元1311中的彩色滤光片1315对应多个感光像素111，白色滤过片1313及红外滤光片1316分别对应一个感光像素111。

请参阅图14及图13，在某些实施方式中，每个滤光单元1311覆盖2*2个感光像素111以形成合并像素。彩色滤光区1315、白色滤光区1313及红外滤光区1316分别覆盖两个、一个、一个感光像素111。

除了2*2结构外，还有3*3，4*4，甚至是任意n*m等结构(n，m为自然数)，可以理解，感光像素阵列11上可排列的感光像素111的数目是有限的，每个合并像素所包含的感光像素111过多的话，图像的分辨率大小会受到限制，如，若感光像素阵列11的像素值为16M，采用2*2的合并像素结构会得到分辨率为4M的合并图像，而采用4*4结构就只能得到分辨率为1M的合并图像。因此2*2的合并像素结构是一个较佳排列方式，在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。同时，采用2*2结构方便硬件上实现对感光像素输出的读取及合并处理。

请参阅图15，在某些实施方式中，图像传感器还包括控制模块17，控制模块17用于控制感光像素阵列11逐行曝光。控制模块17连接有行选择逻辑单元171及列选择逻辑单元173，以控制逐行对感光像素111的输出进行处理。

逐行曝光并输出的方式在硬件上更容易实现。

请一并参阅图15，在本实施方式中，图像传感器10还包括寄存器19，控制模块17用于依次采集当前曝光完成的第k行及第k+1行的感光像素111的输出并存入寄存器19，其中k＝2n-1，n为自然数，k+1小于等于感光像素阵列11的总行数。

具体的，请参阅图15及图16，图像传感器10包括与行选择逻辑单元171及列选择逻辑单元173连接的控制模块17。行选择逻辑单元171及列选择逻辑单元173与多个感光像素111对应的开关管1115连接，控制模块17用于控制行选择逻辑单元171及列选择逻辑单元173以选通特定位置的感光像素111的开关管1115。

控制模块17首先采集第一行及第二行的感光像素的输出并存入寄存器19。后续电路将位置坐标为1-1、1-2、2-1、2-2的四个感光像素111的输出进行处理以得到合并像素的像素值。其中位置坐标的左边数字代表行，右边数字代表列。

再将坐标为1-3、1-4、2-3、2-4的四个感光像素的输出处理，得到相应合并像素的像素值。

以此类推，直至处理完第一行及第二行的最后一组四个感光像素。

按以上处理方式，对第三行及第四行、第五行及第六行等的感光像素的输出进行处理，直至全部感光像素的输出均处理完成。

请参图17及图16，在某些实施方式中，图像传感器10包括模数转换器21阵列，每个感光像素111分别与一个模数转换器17连接。模数转换器17用于将感光像素111的模拟信号输出转换为数字信号输出。

本实施方式中的感光像素111包括光电二极管1113。光电二极管1113用于将光照转化为电荷，且产生的电荷与光照强度成比例关系。开关管1115用于根据行选择逻辑单元171及列选择逻辑单元173的控制信号来控制电路的导通及断开，当电路导通时，源极跟随器1117(source follower)用于将光电二极管1113经光照产生的电荷信号转化为电压信号。模数转换器211(Analog-to-digital converter)用于将电压信号转换为数字信号，以传输至后续电路处理。

此输出处理方式使感光像素的输出转化为数字信号，在后续数字电路中或在芯片中用软件进行处理。因此每个感光像素的输出信息可以被保留，例如，对于16M像素的图像传感器来说，本发明实施方式的成像方法可以保留16M像素(即合并前图像)的信息，在此基础上经过处理得到4M像素的合并图像或其他分辨率的图像。最终生成图像出现坏点的概率较低。此外，此输出处理方式的噪声较小，信噪比较高。

请参阅图18，在某些实施方式中，图像传感器10包括设置在滤光片13上的微镜阵列23，每个微镜231与一个感光像素111对应。

具体的，每个微镜231与一个感光像素111对应，包括大小、位置对应。在某些实施方式中，每个滤光单元1311对应2*2个感光像素111及2*2个微镜191。随着技术发展，为了得到分辨率更高的图像，感光片上的感光像素111越来越多，排列越来越密集，单个感光像素111也越来越小，其受光受到影响，且感光像素111的感光部分1111面积是有限的，微镜191能将光聚集到感光部分1111，从而提升感光像素111的受光强度以改善图像画质。

综上，本发明实施方式中的图像传感器每个滤光单元包括白色滤光区、彩色滤光区及红外滤光区，使合并像素的像素值既包含色彩信息又包含低噪度的亮度信息，以方便后续电路生成色彩完整且信噪比高的合并图像。

请参图19，本发明还提供一种成像装置100，其包括本发明实施方式的图像传感器10之外，还包括与图像传感器10连接的图像处理模块50。图像处理模块50用于读取并处理感光像素阵列11的输出以得到合并像素的像素值从而形成合并图像。

合并像素的像素值包括分别与彩色滤光区1315、白色滤光区1313及红外滤光区1316对应的彩色像素值、白色像素值及红外像素值。彩色像素值、白色像素值及红外像素值分别用于构成彩色合并图像、灰度图像及红外图像。图像处理模块50用于根据彩色合并图像、灰度图像及红外图像生成合并图像。

具体的，本发明实施方式的图像传感器可包括控制模块17、行选择逻辑单元171、列选择逻辑单元173、模数转换器阵列21、寄存器19等，感光像素阵列11的输出经模数转换器阵列21转换为数字信号，逐行存储于寄存器19及传送至图像处理模块50处理，直至所有感光像素的输出被处理以生成合并图像。

如此，图像处理模块50根据与彩色滤光区对应的彩色像素值生成色彩信息完整的彩色合并图像，及根据白色滤光区对应的白色像素值生成亮度较高，噪点较少的灰度图像，根据红外滤光区对应的红外像素值生成低照度下清晰度高，信噪比高的红外图像。

在本实施方式中，图像处理模块50用于将同一合并像素对应彩色滤光区域的多个感光像素的输出相加作为合并像素的彩色像素值，及用于将同一合并像素对应白色滤光区域的多个感光像素的输出相加作为合并像素的白色像素值。

如此，将多感光像素的输出相加，形成的合并像素信噪比更高。例如，假定原有每个感光像素的输出为S，噪声为N，合并像素包括m个感光像素，则合并像素的像素值为m*S，而合并像素的噪声为m为大于等于1的自然数。可以理解，在m>1的情况下，合并像素的噪声小于合并前每个感光像素输出的噪声之和。而合并像素的输出为合并前各感光像素输出之和，因此合并后生成的彩色合并图像，比起传统方式中用单个像素生成的彩色图像，噪声下降信噪比提高，清晰度提升。

在某些实施方式中，图像处理模块还用于彩色合并图像转换为YUV格式的彩色子图像。图像处理模块还用于将彩色子图像的亮度值替换为根据彩色子图像及/或灰度图像及/或红外图像得到的亮度值以生成合并图像。

YUV是按照亮度和色差的原理来描述颜色的图像格式，YUV格式包括许多具体的格式，如YUV422,YUV420等。在某些实施方式中，彩色合并像素包括绿色、红色、蓝色合并像素，图像处理模块先根据彩色合并像素的像素值得到RGB格式的彩色合并图像，即得到每个图像像素的红色亮度值、绿色亮度值、蓝色亮度值，分别用R,G,B表示，则其相对应的YUV格式图像像素的亮度值Y＝0.299*R+0.587*G+0.114*B。

如此，可得到YUV格式的彩色子图像。

在某些实施方式中，图像处理模块用于根据所述感光像素的像素值判断环境亮度。

在环境亮度大于第一预定阈值时，图像处理模块将所述彩色子图像的亮度值减去所述红外图像的亮度值从而得到所述合并图像。或者在所述环境亮度小于第二预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值从而得到所述合并图像。或者在所述环境亮度小于第三预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值并加上所述灰度图像的亮度值以得到所述合并图像。

可将感光像素的像素值作为判断环境亮度的依据，例如，将滤光片上所有白色滤光区对应的感光像素的像素值求平均值来作为环境亮度值。

通过感测并判断环境亮度，来对彩色子图像进行适当的处理。在环境亮度大于第一预定阈值时，可视为环境亮度较高，外界景物辐射的红外线会穿过彩色滤光片从而影响成像质量，因此可让彩色子图像的亮度值减掉其红外线亮度成分以提高成像质量。

环境亮度小于第二预定阈值或小于第三预定阈值时，可视为环境亮度较低，可利用白色滤光片或红外滤光片的感光像素成像的亮度值进行补偿以提升成像亮度及信噪比。

在亮度较低的环境，既可以把彩色子图像的亮度值直接替换为灰度图像或红外图像的亮度值或替换为这两个图像的亮度值之和，也可以把彩色子图像的亮度值加上灰度图像或红外图像的亮度值或迭加灰度图像及红外图像的亮度值作为合并图像的亮度值。具体采取的亮度替换或补偿方式，可根据环境亮度而定，且不局限于本发明实施方式给出的替换或补偿方式。合并图像的亮度，可采用彩色子图像、灰度图像及红外图像中的某一个图像的亮度值，或其中某两个或三个图像的亮度值运算的结果。

综上，采用本实施方式的成像装置，可根据外界环境光照强弱根据彩色子图像、灰度图像及红外图像像素的亮度值综合得到合并图像。合并图像在其色彩信息完整的基础上提升其亮度、信噪比和清晰度。

本发明还提供一种应用成像装置的电子装置。在某些实施方式中，电子装置包括成像装置。因此，电子装置具有拍照功能且能在低照度下生成色彩完整，信噪比高，清晰度高的合并图像。

电子装置可以是手机。

在某些实施方式中，成像装置可以是手机的前置相机。由于前置相机多用于自拍，而自拍一般要求对图像的清晰度有要求而对图像分辨率要求不高，采用本实施方式的电子装置可满足此要求。

请参阅图20，在某些实施方式中，电子装置200包括与成像装置100连接的中央处理器81及外存储器83，中央处理器81用于控制外存储器83存储合并图像。

这样，生成的合并图像可以被存储，方便以后查看、使用或转移。外存储器83包括SM(Smart Media)卡及CF(Compact Flash)卡等。

请参阅图21，在某些实施方式中，电子装置200还包括与成像装置100连接的中央处理器81及显示装置85，中央处理器81用于控制显示装置85显示合并图像。这样，电子装置200拍摄的图像可以显示于显示装置以供用户查看。显示装置包括LED显示器等。

综上，采用本发明实施方式的电子装置，具有拍照功能且能在低照度下生成色彩完整，信噪比高，清晰度高的合并图像。特别的，当此电子装置为手机的前置相机时，能提升低照度下自拍图像的亮度及清晰度，减少噪点。

本发明实施方式中成像方法及电子装置中未展开的部分，可参以上实施方式的图像传感器或成像装置的对应部分，在此不再详细展开。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

1.一种成像方法，其特征在于，包括以下步骤：

提供图像传感器，所述图像传感器包括感光像素阵列及设置于所述感光像素阵列上的滤光片，所述滤光片包括滤光单元阵列，所述滤光单元包括白色滤光区、彩色滤光区及红外滤光区，所述彩色滤光区覆盖多个所述感光像素，所述白色滤光区及所述红外滤光区分别覆盖至少一个所述感光像素，所述红外滤光区用于仅使预定波长的红外光通过；同一所述滤光单元覆盖的所述感光像素构成合并像素；及

读取所述感光像素阵列的输出，并根据同一所述合并像素的所述感光像素的输出计算所述合并像素的像素值以生成合并图像；

所述合并像素的像素值包括分别与所述彩色滤光区、所述白色滤光区及所述红外滤光区对应的彩色像素值、白色像素值及红外像素值；其中，将同一所述合并像素的所述彩色滤光区对应的多个所述感光像素的输出相 加作为所述合并像素的彩色像素值，一个所述滤光单元的所述彩色滤光区只有一种颜色且为R、G或B，所述滤光片的所有所述彩色滤光区形成拜耳阵列；

所述读取步骤进一步包括：

分别根据所述彩色像素值、所述白色像素值及所述红外像素值生成彩色合并图像、灰度图像及红外图像；及

根据所述彩色合并图像、所述灰度图像及所述红外图像生成所述合并图像；

所述读取步骤进一步包括：

将所述彩色合并图像转换为YUV格式的彩色子图像；及

将所述彩色子图像的亮度值替换为根据所述彩色子图像及/或所述灰度图像及/或所述红外图像得到的亮度值以生成所述合并图像。

2.如权利要求1所述的成像方法，其特征在于，每个所述滤光单元覆盖2*2个所述感光像素；所述彩色滤光区、所述白色滤光区及所述红外滤光区分别覆盖两个、一个、一个所述感光像素。

3.如权利要求2所述的成像方法，其特征在于，所述读取步骤进一步包括：

采集第k行及第k+1行的所述感光像素的输出并存入寄存器，其中k＝2n-1，n为自然数，k+1小于等于所述感光像素阵列的总行数；及

从所述寄存器中提取所述第k行及第k+1行的所述感光像素的输出以得到所述合并像素的像素值。

4.如权利要求1所述的成像方法，其特征在于，所述替换步骤进一步包括：

感测并判断所述环境亮度，所述环境亮度为所述白色滤光区对应的所述感光像素的像素值的平均值：及

当所述环境亮度大于第一预定阈值时，将所述彩色子图像的亮度值减去所述红外图像的亮度值从而得到所述合并图像。

5.如权利要求1所述的成像方法，其特征在于，所述替换步骤进一步包括：

感测并判断所述环境亮度，所述环境亮度为所述白色滤光区对应的所述感光像素的像素值的平均值：及

当所述环境亮度小于第二预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值从而得到所述合并图像。

6.如权利要求1所述的成像方法，其特征在于，所述替换步骤进一步包括：

感测并判断所述环境亮度，所述环境亮度为所述白色滤光区对应的所述感光像素的像素值的平均值：及

当所述环境亮度小于第三预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值并加上所述灰度图像的亮度值以得到所述合并图像。

7.如权利要求1所述的成像方法，其特征在于，每个所述感光像素分别与一个模数转换器连接；

所述成像方法进一步包括：

将所述感光像素产生的模拟信号输出转换为数字信号输出；及

将同一所述合并像素中所述彩色滤光区对应的所述感光像素的所述数字信号输出相加以得到所述合并像素的彩色像素值。

8.一种成像装置，其特征在于包括图像传感器，所述图像传感器包括感光像素阵列及设置于所述感光像素阵列上的滤光片，所述滤光片包括滤光单元阵列，所述滤光单元包括白色滤光区、彩色滤光区及红外滤光区，所述彩色滤光区覆盖多个所述感光像素，所述白色滤光区及所述红外滤光区分别覆盖至少一个所述感光像素，所述红外滤光区用于仅使预定波长的红外光通过；同一所述滤光单元覆盖的所述感光像素构成合并像素；

所述成像装置还包括与所述图像传感器连接的图像处理模块；

所述图像处理模块用于读取并处理所述感光像素阵列的输出以得到所述合并像素的像素值从而形成合并图像；

所述合并像素的像素值包括分别与所述彩色滤光区、所述白色滤光区及所述红外滤光区对应的彩色像素值、白色像素值及红外像素值；其中，将同一所述合并像素的所述彩色滤光区对应的多个所述感光像素的输出相 加作为所述合并像素的彩色像素值，一个所述滤光单元的所述彩色滤光区只有一种颜色且为R、G或B，所述滤光片的所有所述彩色滤光区形成拜耳阵列；

所述彩色像素值、所述白色像素值及所述红外像素值分别用于构成彩色合并图像、灰度图像及红外图像；

所述图像处理模块用于根据所述彩色合并图像、所述灰度图像及所述红外图像生成所述合并图像；

所述图像处理模块还用于将所述彩色合并图像转换为YUV格式的彩色子图像；

所述图像处理模块还用于将所述彩色子图像的亮度值替换为根据所述彩色子图像及/或所述灰度图像及/或所述红外图像得到的亮度值以生成所述合并图像。

9.如权利要求8所述的成像装置，其特征在于，所述图像处理模块用于根据所述感光像素的像素值判断环境亮度，及用于在所述环境亮度大于第一预定阈值时，将所述彩色子图像的亮度值减去所述红外图像的亮度值从而得到所述合并图像，所述环境亮度为所述白色滤光区对应的所述感光像素的像素值的平均值。

10.如权利要求8所述的成像装置，其特征在于，所述图像处理模块用于根据所述感光像素的像素值判断环境亮度，及用于在所述环境亮度小于第二预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值从而得到所述合并图像，所述环境亮度为所述白色滤光区对应的所述感光像素的像素值的平均值。

11.如权利要求8所述的成像装置，其特征在于，所述图像处理模块用于根据所述感光像素的像素值判断环境亮度，及用于在所述环境亮度小于第三预定阈值时，将所述彩色子图像的亮度值加上所述红外图像的亮度值并加上所述灰度图像的亮度值以得到所述合并图像，所述环境亮度为所述白色滤光区对应的所述感光像素的像素值的平均值。

12.一种电子装置，其特征在于，包括如权利要求8所述的成像装置。

13.如权利要求12所述的电子装置，其特征在于，所述电子装置包括手机。

14.如权利要求13所述的电子装置，其特征在于，所述成像装置包括所述手机的前置相机。

15.如权利要求12所述的电子装置，其特征在于，所述电子装置包括与所述成像装置连接的中央处理器及外存储器，所述中央处理器用于控制所述外存储器存储所述合并图像。

16.如权利要求12所述的电子装置，其特征在于，所述电子装置还包括与所述成像装置连接的中央处理器及显示装置，所述中央处理器用于控制所述显示装置显示所述合并图像。