CN109040720B - 一种生成rgb图像的方法及装置 - Google Patents

Abstract

本发明公开了一种生成RGB图像的方法及装置，包括：对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像；去除第一图像中的IR成分，得到第三图像；确定第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据第一平均亮度值与第二平均亮度值的比值，确定导向滤波强度，其中比值越大导向滤波强度越大；采用导向滤波强度对第三图像进行导向滤波处理，得到第四图像；对第四图像进行插值处理，生成RGB图像。由于第一平均亮度值和第二图像的第二平均亮度值的比值越大导向滤波强度越大。对于信噪比越差的图像，采用越大的导向滤波强度对其进行导向滤波处理，使所有RGB图像的信噪比都能够满足要求。

Description

一种生成RGB图像的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种生成RGB图像的方法及装置。

背景技术

传统图像传感器将红R、绿G、蓝B各通道按照一定格式排列，每个像素点感应R、G、B中的一个通道值，然后通过图像信号处理模块进行插值处理，得出全画幅的RGB图像；RGBIR传感器将R、G、B、红外光IR各通道按照一定格式排列，每个像素感应R、G、B、IR中的一个通道值，然后通过图像信号处理模块进行插值处理，得到全画幅的RGB图像以及IR图像。RGBIR传感器相比传统的图像传感器多了IR通道，可以实现更多的功能，比如无需滤光片切换即可实现日夜切换、可实现透雾功能、可提高低照度性能等等。

RGBIR传感器相比传统图像传感器多了一路IR通道，而且RGBIR传感器的R、G、B通道中不可避免的会混有IR成分污染，为了基于RGBIR传感器得到RGB图像，需要将RGBIR传感器的R、G、B通道中的IR成分去除。然后对去除IR成分后的图像进行插值处理，得到RGB图像。

去除IR成分后的图像的信噪比较差，也就使得最终得到的RGB图像的信噪比较差。现有技术中为了提高RGB图像的信噪比，采用固定的导向滤波强度对去除IR成分后的图像进行导向滤波处理，从而提高RGB图像的信噪比。但是IR成分不同，去除IR成分后的图像的信噪比也不同，其中IR成分越多，去除IR成分后的图像的信噪比越差，因此现有技术无法保证基于RGBIR传感器生成的所有RGB图像的信噪比都能够满足要求。

发明内容

本发明实施例提供了一种生成RGB图像的方法及装置，用以解决现有技术无法保证基于RGBIR传感器生成的所有RGB图像的信噪比都能够满足要求的问题。

本发明实施例提供了一种生成RGB图像的方法，所述方法包括：

对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像；去除所述第一图像中的IR成分，得到第三图像；

分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大；

以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像；

分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

进一步地，所述分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值包括：

根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值；

根据所述第一图像和所述第二图像中像素点的坐标信息，确定所述第二图像中的与所述第一图像中的R通道、G通道和B通道的像素点对应的像素点，根据所述对应的像素点的第二亮度值，确定第二平均亮度值。

进一步地，根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值之前，所述方法还包括：

识别所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，滤除第一亮度值大于预设的第一亮度阈值的像素点；

根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值包括：

根据所述第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。

进一步地，根据所述对应的像素点的第二亮度值，确定第二平均亮度值之前，所述方法还包括：

识别所述对应的像素点的第二亮度值，滤除第二亮度值大于预设的第二亮度阈值的像素点；

根据所述对应的像素点的第二亮度值，确定第二平均亮度值包括：

根据所述对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。

进一步地，所述分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分包括：

针对每个IR通道的像素点，根据包含该像素点在内的第一预设邻域内每个像素点的像素值和该像素点的像素值，确定水平边缘梯度值和垂直边缘梯度值；根据所述水平边缘梯度值和垂直边缘梯度值，确定插值方向，在所述插值方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分；

确定每个B通道和R通道的像素点的G成分、每个R通道的像素点的B成分和每个B通道的像素点的R成分；

针对每个IR通道的像素点，根据以下公式：

确定该像素点的B成分；

式中，B_B1至B_Bn分别为第二预设邻域内n个B通道像素点的像素值；B_R1至B_Rn分别为所述第二预设邻域内n个R通道像素点的B成分；G_B1至G_Bn分别为所述第二预设邻域内n个B通道像素点的G成分，G_R1至G_Rn分别为所述第二预设邻域内n个R通道像素点的G成分，G_IR为该像素点的G成分，B_IR为该像素点的B成分。

另一方面，本发明实施例提供了一种生成RGB图像的装置，所述装置包括：

第一确定模块，用于对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像；去除所述第一图像中的IR成分，得到第三图像；

第二确定模块，用于分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大；

滤波处理模块，用于以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像；

生成模块，用于分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

进一步地，所述第二确定模块，具体用于根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值；根据所述第一图像和所述第二图像中像素点的坐标信息，确定所述第二图像中的与所述第一图像中的R通道、G通道和B通道的像素点对应的像素点，根据所述对应的像素点的第二亮度值，确定第二平均亮度值。

进一步地，所述装置还包括：

第一滤除模块，用于识别所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，滤除第一亮度值大于预设的第一亮度阈值的像素点；

所述第二确定模块，具体用于根据所述第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。

进一步地，所述装置还包括：

第二滤除模块，用于识别所述对应的像素点的第二亮度值，滤除第二亮度值大于预设的第二亮度阈值的像素点；

所述第二确定模块，具体用于根据所述对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。

进一步地，所述生成模块，具体用于针对每个IR通道的像素点，根据包含该像素点在内的第一预设邻域内每个像素点的像素值和该像素点的像素值，确定水平边缘梯度值和垂直边缘梯度值；根据所述水平边缘梯度值和垂直边缘梯度值，确定插值方向，在所述插值方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分；确定每个B通道和R通道的像素点的G成分、每个R通道的像素点的B成分和每个B通道的像素点的R成分；针对每个IR通道的像素点，根据以下公式：

确定该像素点的B成分；

式中，B_B1至B_Bn分别为第二预设邻域内n个B通道像素点的像素值；B_R1至B_Rn分别为所述第二预设邻域内n个R通道像素点的B成分；G_B1至G_Bn分别为所述第二预设邻域内n个B通道像素点的G成分，G_R1至G_Rn分别为所述第二预设邻域内n个R通道像素点的G成分，G_IR为该像素点的G成分，B_IR为该像素点的B成分。

本发明实施例提供了一种生成RGB图像的方法及装置，所述方法包括：对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像；去除所述第一图像中的IR成分，得到第三图像；分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大；以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像；分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

由于在本发明实施例中，根据第一图像的第一平均亮度值和第二图像的第二平均亮度值的比值，以及预设的比值范围与导向滤波强度的对应关系确定导向滤波强度，并且比值越大导向滤波强度越大。由于信噪比越差的图像，其对应的平均亮度值比值越大，在本发明实施例中，对于信噪比越差的图像，采用越大的导向滤波强度对其进行导向滤波处理，使得基于RGBIR传感器生成的所有RGB图像的信噪比都能够满足要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的生成RGB图像的过程示意图；

图2为本发明实施例5提供的确定IR通道的像素点的G成分的示意图；

图3为本发明实施例5提供的确定R通道的像素点的G成分的示意图；

图4为本发明实施例5提供的确定B通道的像素点的G成分的示意图；

图5为本发明实施例5提供的确定R通道的像素点的B成分的示意图；

图6为本发明实施例5提供的确定B通道的像素点的R成分的示意图；

图7为本发明实施例5提供的确定IR通道的像素点的B成分的示意图；

图8为本发明实施例提供的生成RGB图像的装置结构示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的生成RGB图像的过程示意图，该过程包括以下步骤：

S101：对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像；去除所述第一图像中的IR成分，得到第三图像。

本发明实施例提供的生成RGB图像的方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是RGBIR传感器。

RGBIR传感器将R、G、B、IR各通道按照一定格式排列，每个像素感应R、G、B、IR中的一个通道值，RGBIR传感器可以采集RGBIR图像，也就是第一图像。如果电子设备是PC、平板电脑等设备，RGBIR传感器在采集到第一图像后，将第一图像传输至电子设备，电子设备对第一图像进行后续生成RGB图像的处理过程。如果电子设备是RGBIR传感器，则RGBIR传感器在采集到第一图像后，直接对第一图像进行后续生成RGB图像的处理过程。

电子设备对第一图像中每个IR通道像素点的像素值进行插值处理，得到第二图像，其中，第二图像包含全画幅的IR通道像素点。其中，电子设备可以采用单线性插值算法对每个IR通道像素点的像素值进行插值处理，较佳的，为了保证第二图像的清晰度，可以采用双线性插值算法对每个IR通道像素点的像素值进行插值处理，以得到包含全画幅的IR通道像素点的第二图像。

电子设备根据第二图像的全画幅的IR通道像素点的像素值，可以确定第一图像中的每个R通道、G通道和B通道的像素点分别对应的IR成分。具体的，根据第一图像和第二图像中每个像素点的坐标信息，可以确定第二图像中的与第一图像中的每个R通道、G通道和B通道的像素点对应的像素点，将每个对应的像素点的像素值，乘以预设的系数，得到每个R通道、G通道和B通道的像素点分别对应的IR成分。电子设备将第一图像中的每个R通道、G通道和B通道的像素点的像素值分别减去对应的IR成分，得到第三图像。

其中，电子设备对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像的过程、根据第二图像的全画幅的IR通道像素点的像素值，确定第一图像中的每个R通道、G通道和B通道的像素点分别对应的IR成分的过程、以及去除第一图像中的IR成分，得到第三图像的过程属于现有技术，在此不再对上述过程进行赘述。

S102：分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大。

电子设备根据第一图像中每个像素点的第一亮度值，可以确定第一平均亮度值。根据第二图像中每个像素点的第二亮度值，可以确定第二平均亮度值。其中，可以计算第一图像中的每个R通道、G通道、B通道和IR通道的像素点的第一亮度值的平均值，将该第一亮度值的平均值作为第一平均亮度值。计算第二图像中的每个IR通道的像素点的第二亮度值的平均值，将该第二亮度值的平均值作为第二平均亮度值。

电子设备在确定第一平均亮度值和第二平均亮度值后，计算第一平均亮度值与第二平均亮度值的比值。电子设备中保存有预设的比值范围与导向滤波强度的对应关系，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大。电子设备在计算出第一平均亮度值与第二平均亮度值的比值后，可以确定该比值所属的比值范围，与该比值范围对应的导向滤波强度，即为确定的导向滤波强度。

下面通过一个具体的例子进行说明。

例如，电子设备中保存有预设的比值范围与导向滤波强度的对应关系表，该关系表如下：

比值m	导向滤波强度
		0＜m≤1.15	0
1.15＜m≤1.25	1
		1.25＜m≤1.35	2
1.35＜m≤1.45	3
		1.45＜m≤1.85	6
1.85＜m	8

例如电子设备计算出第一平均亮度值与第二平均亮度值的比值为1.2，则确定该比值所属的比值范围为1.15＜m≤1.25，与该比值范围对应的导向滤波强度为1，因此确定的导向滤波强度为1。例如电子设备计算出第一平均亮度值与第二平均亮度值的比值为1.5，则确定该比值所属的比值范围为1.45＜m≤1.85，与该比值范围对应的导向滤波强度为6，因此确定的导向滤波强度为6。

S103：以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像。

电子设备为了提高最终生成的RGB图像的信噪比，需要对第三图像进行导向滤波处理。具体的，电子设备以第一图像为参考，采用确定出的导向滤波强度对第三图像进行导向滤波处理，得到第四图像。其中，以第一图像为参考对第三图像进行导向滤波处理，得到第四图像的过程属于现有技术，在此不再对该过程进行赘述。

S104：分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

电子设备在确定导向滤波处理后的第四图像后，分别对第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分。其中，可以采用单线性差值算法、双线性差值算法、后验概率插值算法、连续逼近插值算法、中值滤波插值算法等等分别对第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理。并且，针对第四图像中的R通道、G通道、B通道，可以采用相同的插值算法进行插值处理，也可以采用不同出插值算法进行插值处理。

电子设备输出得到的第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，即可生成RGB图像。其中，该RGB图像为Bayer格式的RGB图像。

由于在本发明实施例中，根据第一图像的第一平均亮度值和第二图像的第二平均亮度值的比值，以及预设的比值范围与导向滤波强度的对应关系确定导向滤波强度，并且包含的比值较大的预设的比值范围，对应的导向滤波强度较大。由于信噪比越差的图像，其对应的平均亮度值比值越大，在本发明实施例中，对于信噪比越差的图像，采用越大的导向滤波强度对其进行导向滤波处理，使得基于RGBIR传感器生成的所有RGB图像的信噪比都能够满足要求。

另外，在本发明实施例中，先对第三图像进行导向滤波处理，得到第四图像，再对第四图像进行插值处理，最终生成RGB图像，使得导向滤波处理处理的数据量较小，因此可以节省内存开销。

实施例2：

为了减小生成RGB图像过程中的数据量，在上述实施例的基础上，在本发明实施例中，所述分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值包括：

根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值；

根据所述第一图像和所述第二图像中像素点的坐标信息，确定所述第二图像中的与所述第一图像中的R通道、G通道和B通道的像素点对应的像素点，根据所述对应的像素点的第二亮度值，确定第二平均亮度值。

由于第一图像中的R通道、G通道和B通道的像素点的第一亮度值对于生成的RGB图像的信噪比影响较大，而第一图像中的IR通道的像素点的第一亮度值对于生成的RGB图像的信噪比影响很小。为了减小生成RGB图像过程中的数据量，可以减小确定第一平均亮度值过程中的数据量。由于第一图像中的IR通道的像素点的第一亮度值对于生成的RGB图像的信噪比影响很小，因此可以不考虑IR通道的像素点，因此在本发明实施例中，电子设备只计算第一图像中的R通道、G通道和B通道的像素点的第一亮度值的平均值，将该第一亮度值的平均值作为第一平均亮度值。其中，第一图像中的每个R通道、G通道和B通道的像素点有对应的第一亮度值，电子设备可以获取第一图像中的每个R通道、G通道和B通道的像素点的第一亮度值，然后计算获取到的第一亮度值的平均值，该平均值即为第一平均亮度值。

电子设备识别第一图像和第二图像中像素点的坐标信息，由于第一图像和第二图像的分辨率相同，因此根据第一图像和第二图像中像素点的坐标信息，可以确定出第二图像中的与第一图像中的R通道、G通道和B通道的像素点对应的像素点。其中，电子设备识别到第一图像中的R通道、G通道和B通道的像素点的坐标信息后，将第二图像中的坐标为上述坐标信息的像素点，作为分别与第一图像中的R通道、G通道和B通道的像素点对应的像素点。电子设备计算第二图像中的对应的像素点的第二亮度值的平均值，将该第二亮度值的平均值作为第二平均亮度值。

例如，第一图像中的某个R通道的像素点的坐标信息为(10，5)，则在第二图像中的坐标信息为(10，5)的像素点即为与该R通道的像素点对应的像素点。

由于在本发明实施例中，根据对于生成的RGB图像的信噪比影响较大的第一图像中R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值，根据第二图像中与第一图像中R通道、G通道和B通道的像素点对应的像素点的第二亮度值，确定第二平均亮度值。而不考虑第一图像中IR通道的像素点，因此减小了确定第一平均亮度值过程中的数据量，进而减小生成RGB图像过程中的数据量。

实施例3：

为了避免曝光对于确定第一平均亮度值产生的不良影响，进一步使第一平均亮度值更准确，在上述各实施例的基础上，在本发明实施例中，根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值之前，所述方法还包括：

识别所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，滤除第一亮度值大于预设的第一亮度阈值的像素点；

根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值包括：

根据所述第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。

电子设备识别第一图像中的每个R通道、G通道和B通道的像素点的第一亮度值，电子设备中保存有预设的第一亮度阈值，其中预设的第一亮度阈值为较大的亮度值，例如240，245等。电子设备针对第一图像中的每个R通道、G通道和B通道的像素点的第一亮度值，判断该第一亮度值是否大于预设的第一亮度阈值，如果是，则说明该第一亮度值对应的像素点为过曝像素点，滤除该像素点。然后计算第一图像中的每个R通道、G通道和B通道剩余的像素点的第一亮度值的平均值，得到第一平均亮度值。

例如，电子设备保存的预设的第一亮度阈值为240，如果电子设备识别到某个R通道的像素点的第一亮度值为250，则说明该R通道的像素点为过曝像素点，滤除该R通道的像素点。如果电子设备识别到某个B通道的像素点的第一亮度值为180，则说明该B通道的像素点不是过曝像素点，保留该B通道的像素点。最后根据第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。

由于在本发明实施例中，电子设备滤除第一亮度值大于预设的第一亮度阈值的像素点，根据第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。因此可以避免曝光对于确定第一平均亮度值产生的不良影响，进一步使第一平均亮度值更准确。

实施例4：

为了避免曝光对于确定第二平均亮度值产生的不良影响，进一步使第二平均亮度值更准确，在上述各实施例的基础上，在本发明实施例中，根据所述对应的像素点的第二亮度值，确定第二平均亮度值之前，所述方法还包括：

识别所述对应的像素点的第二亮度值，滤除第二亮度值大于预设的第二亮度阈值的像素点；

根据所述对应的像素点的第二亮度值，确定第二平均亮度值包括：

根据所述对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。

电子设备识别第二图像中的与第一图像中每个R通道、G通道和B通道的像素点对应的像素点的第二亮度值，电子设备中保存有预设的第二亮度阈值，其中预设的第二亮度阈值为较大的亮度值，并且预设的第二亮度阈值与预设的第一亮度阈值可以相同或不同。电子设备针对第二图像中的每个对应的像素点的第二亮度值，判断该第二亮度值是否大于预设的第二亮度阈值，如果是，则说明该第二亮度值对应的像素点为过曝像素点，滤除该对应的像素点。然后计算第二图像中的对应的像素点中剩余的像素点的第二亮度值的平均值，得到第二平均亮度值。

例如，电子设备保存的预设的第二亮度阈值为245，如果电子设备识别到第二图像中某个对应的像素点的第二亮度值为250，则说明该对应的像素点为过曝像素点，滤除该对应的像素点。如果电子设备识别到某个对应的像素点的第二亮度值为240，则说明该对应的像素点不是过曝像素点，保留该对应的像素点。最后根据对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。

由于在本发明实施例中，电子设备滤除第二亮度值大于预设的第二亮度阈值的对应的像素点，根据对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。因此可以避免曝光对于确定第二平均亮度值产生的不良影响，进一步使第二平均亮度值更准确。

实施例5：

为了使生成的RGB图像的清晰度较高，需要准确确定出第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分。为了使确定的第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分更准确，在上述各实施例的基础上，在本发明实施例中，所述分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分包括：

针对每个IR通道的像素点，根据包含该像素点在内的第一预设邻域内每个像素点的像素值和该像素点的像素值，确定水平边缘梯度值和垂直边缘梯度值；根据所述水平边缘梯度值和垂直边缘梯度值，确定插值方向，在所述插值方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分；

确定每个B通道和R通道的像素点的G成分、每个R通道的像素点的B成分和每个B通道的像素点的R成分；

针对每个IR通道的像素点，根据以下公式：

确定该像素点的B成分；

式中，B_B1至B_Bn分别为第二预设邻域内n个B通道像素点的像素值；B_R1至B_Rn分别为所述第二预设邻域内n个R通道像素点的B成分；G_B1至G_Bn分别为所述第二预设邻域内n个B通道像素点的G成分，G_R1至G_Rn分别为所述第二预设邻域内n个R通道像素点的G成分，G_IR为该像素点的G成分，B_IR为该像素点的B成分。

为了确定第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分，首先需要确定每个IR通道、B通道和R通道的像素点的G成分，为了使生成的RGB图像的清晰度较高，在本发明实施例中，采用边缘导向插值算法对G通道像素点的像素值进行插值处理，得到每个IR通道、B通道和R通道的像素点的G成分。

具体的，针对每个IR通道的像素点，确定包含该像素点在内的第一预设邻域内每个像素点，较佳的，可以确定以该像素点为中心的第一预设邻域内每个像素点。第一预设邻域可以是5*5的邻域、5*7的邻域、7*7的邻域等等。针对每个IR通道的像素点，根据第一预设邻域内每个G通道和IR通道的像素点的像素值和该IR通道的像素点的像素值，确定水平边缘梯度值和垂直边缘梯度值。根据所述水平边缘梯度值和垂直边缘梯度值的大小关系，确定插值方向。其中，边缘梯度值较大的方向即为插值方向。即水平边缘梯度值大于垂直边缘梯度值时，插值方向为水平方向；水平边缘梯度值小于垂直边缘梯度值时，插值方向为垂直方向。在确定的插值方向上对G通道像素点的像素值进行插值处理，得到该IR通道像素点的G成分。

下面通过具体的例子进行说明。

图2为确定IR通道的像素点的G成分的示意图，图2所示的第一预设邻域为以IR通道的像素点为中心的5*5的邻域。图2中的G、IR分别为通道标识，图2中的数字分别为通道序号标识，图2中的空白的通道为R通道或B通道。基于图2，需要确定IR7处的像素点的G成分G7。

根据图2确定水平边缘梯度值和垂直边缘梯度值，具体的，水平边缘梯度值Hg7＝|G6-G8|+(|2*G3-G16-G17|+|2G11-G18-G19|)/4+|2IR7-IR5-IR9|；垂直边缘梯度值Vg7＝|G3-G11|+(|2*G6-G14-G20|+|2G8-G15-G21|)/4+|2IR7-IR1-IR13|。根据Hg7和Vg7的大小关系确定插值方向，如果Hg7大于Vg7，则插值方向为水平方向，在水平方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分为G7＝(G3+G11)/2+(2*IR7-IR1-IR13)/4。如果Hg7小于Vg7，则插值方向为垂直方向，在垂直方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分为G7＝(G6+G8)/2+(2*IR7-IR5-IR9)/4。而如果Hg7等于Vg7，则G7＝(G6+G8+G3+G11)/4+(4*IR7-IR5-IR9-IR1-IR13)/8。

电子设备确定每个B通道和R通道的像素点的G成分，也是采用边缘导向插值算法对G通道像素点的像素值进行插值处理，得到每个B通道和R通道的像素点的G成分。其中，采用边缘导向插值算法对G通道像素点的像素值进行插值处理，得到每个B通道和R通道的像素点的G成分的过程属于现有技术，在此仅通过具体的例子进行说明。

图3为确定R通道的像素点的G成分的示意图，图3所示的第一预设邻域为以R通道的像素点为中心的5*5的邻域。图3中的G、R分别为通道标识，图3中的数字分别为通道序号标识，图3中的空白的通道为IR通道或B通道。基于图3，需要确定R7处的像素点的G成分G7。

根据图3确定水平边缘梯度值和垂直边缘梯度值，具体的，水平边缘梯度值Hg7＝|G6-G8|+(|2*G3-G16-G17|+|2G11-G18-G19|)/4+|2R7-G6-G8|；垂直边缘梯度值Vg7＝|G3-G11|+(|2*G6-G14-G20|+|2G8-G15-G21|)/4+|2R7-G3-G11|。根据Hg7和Vg7的大小关系确定插值方向，如果Hg7大于Vg7，则插值方向为水平方向，在水平方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分为G7＝(G3+G11)/2+(R7-(R22+R23+R24+R25)/4)/2。如果Hg7小于Vg7，则插值方向为垂直方向，在垂直方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分为G7＝(G6+G8)/2+(R7-(R22+R23+R24+R25)/4)/2。而如果Hg7等于Vg7，则G7＝(G6+G8+G3+G11)/4+(R7-(R22+R23+R24+R25)/4)/2。

图4为确定B通道的像素点的G成分的示意图，图4所示的第一预设邻域为以B通道的像素点为中心的5*5的邻域。图4中的G、B分别为通道标识，图4中的数字分别为通道序号标识，图4中的空白的通道为IR通道或R通道。基于图4，需要确定B7处的像素点的G成分G7。

根据图4确定水平边缘梯度值和垂直边缘梯度值，具体的，水平边缘梯度值Hg7＝|G6-G8|+(|2*G3-G16-G17|+|2G11-G18-G19|)/4+|2B7-G6-G8|；垂直边缘梯度值Vg7＝|G3-G11|+(|2*G6-G14-G20|+|2G8-G15-G21|)/4+|2B7-G3-G11|。根据Hg7和Vg7的大小关系确定插值方向，如果Hg7大于Vg7，则插值方向为水平方向，在水平方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分为G7＝(G3+G11)/2+(B7-(B22+B23+B24+B25)/4)/2。如果Hg7小于Vg7，则插值方向为垂直方向，在垂直方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分为G7＝(G6+G8)/2+(B7-(B22+B23+B24+B25)/4)/2。而如果Hg7等于Vg7，则G7＝(G6+G8+G3+G11)/4+(B7-(B22+B23+B24+B25)/4)/2。

进而，为了使生成的RGB图像的清晰度较高，在本发明实施例中，采用色差恒定插值算法对B通道像素点的像素值进行插值处理，得到每个R通道的像素点的B成分，采用色差恒定插值算法对R通道像素点的像素值进行插值处理，得到每个B通道的像素点的R成分。

其中，采用色差恒定插值算法对B通道像素点的像素值进行插值处理，得到每个R通道的像素点的B成分，以及对R通道像素点的像素值进行插值处理，得到每个B通道的像素点的R成分的过程属于现有技术，在此仅通过具体的例子进行说明。

图5为确定R通道的像素点的B成分的示意图，图5所示的预设邻域为以R通道的像素点为中心的5*5的邻域。图5中的R、B分别为通道标识，图5中的数字分别为通道序号标识，图5中的空白的通道为IR通道或G通道或R通道。基于图5确定R4处的像素点的B成分B4为B4＝(B0+B1+B2+B3-G0-G1-G2-G3)/4+G4。

图6为确定B通道的像素点的R成分的示意图，图6所示的预设邻域为以B通道的像素点为中心的5*5的邻域。图6中的R、B分别为通道标识，图6中的数字分别为通道序号标识，图6中的空白的通道为IR通道或G通道或B通道。基于图6确定B4处的像素点的R成分R4为R4＝(R0+R1+R2+R3-G0-G1-G2-G3)/4+G4。

进而，采用色差恒定插值算法得到每个IR通道的像素点的B成分，具体的，针对每个IR通道的像素点，根据以下公式：

确定该像素点的B成分；

式中，B_B1至B_Bn分别为第二预设邻域内n个B通道像素点的像素值；B_R1至B_Rn分别为所述第二预设邻域内n个R通道像素点的B成分；G_B1至G_Bn分别为所述第二预设邻域内n个B通道像素点的G成分，G_R1至G_Rn分别为所述第二预设邻域内n个R通道像素点的G成分，G_IR为该像素点的G成分，B_IR为该像素点的B成分。

图7为确定IR通道的像素点的B成分的示意图，图7所示的第二预设邻域为以IR通道的像素点为中心的3*3的邻域。图7中包含2个B通道，分别为B2和B6，包含4个G通道，分别为G1、G3、G5和G7，图7中的B2和B6分别为R2通道和R6通道像素点的B成分。基于图7确定IR4处的像素点的B成分B4为B4＝(B0+B2+B6+B8-G0-G2-G6-G8)/4+G4。

最后，电子设备输出得到的第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，即可生成RGB图像。

由于在本发明实施例中，采用边缘导向插值算法对G通道像素点的像素值进行插值处理，得到每个IR通道、B通道和R通道的像素点的G成分，采用色差恒定插值算法对B通道像素点的像素值进行插值处理，得到每个R通道的像素点的B成分，以及对R通道像素点的像素值进行插值处理，得到每个B通道的像素点的R成分，采用色差恒定插值算法得到每个IR通道的像素点的B成分。使得最终生成的RGB图像的清晰度较高。

图8为本发明实施例提供的生成RGB图像的装置结构示意图，该装置包括：

第一确定模块81，用于对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像；去除所述第一图像中的IR成分，得到第三图像；

第二确定模块82，用于分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大；

滤波处理模块83，用于以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像；

生成模块84，用于分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

所述第二确定模块82，具体用于根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值；根据所述第一图像和所述第二图像中像素点的坐标信息，确定所述第二图像中的与所述第一图像中的R通道、G通道和B通道的像素点对应的像素点，根据所述对应的像素点的第二亮度值，确定第二平均亮度值。

所述装置还包括：

第一滤除模块85，用于识别所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，滤除第一亮度值大于预设的第一亮度阈值的像素点；

所述第二确定模块82，具体用于根据所述第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。

所述装置还包括：

第二滤除模块86，用于识别所述对应的像素点的第二亮度值，滤除第二亮度值大于预设的第二亮度阈值的像素点；

所述第二确定模块82，具体用于根据所述对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。

所述生成模块84，具体用于针对每个IR通道的像素点，根据包含该像素点在内的第一预设邻域内每个像素点的像素值和该像素点的像素值，确定水平边缘梯度值和垂直边缘梯度值；根据所述水平边缘梯度值和垂直边缘梯度值，确定插值方向，在所述插值方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分；确定每个B通道和R通道的像素点的G成分、每个R通道的像素点的B成分和每个B通道的像素点的R成分；针对每个IR通道的像素点，根据以下公式：

确定该像素点的B成分；

式中，B_B1至B_Bn分别为第二预设邻域内n个B通道像素点的像素值；B_R1至B_Rn分别为所述第二预设邻域内n个R通道像素点的B成分；G_B1至G_Bn分别为所述第二预设邻域内n个B通道像素点的G成分，G_R1至G_Rn分别为所述第二预设邻域内n个R通道像素点的G成分，G_IR为该像素点的G成分，B_IR为该像素点的B成分。

本发明实施例提供了一种生成RGB图像的方法及装置，所述方法包括：对RGBIR传感器输出的第一图像中IR通道像素点的像素值进行插值处理，得到第二图像；去除所述第一图像中的IR成分，得到第三图像；分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大；以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像；分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

由于在本发明实施例中，根据第一图像的第一平均亮度值和第二图像的第二平均亮度值的比值，以及预设的比值范围与导向滤波强度的对应关系确定导向滤波强度，并且比值越大导向滤波强度越大。由于信噪比越差的图像，其对应的平均亮度值比值越大，在本发明实施例中，对于信噪比越差的图像，采用越大的导向滤波强度对其进行导向滤波处理，使得基于RGBIR传感器生成的所有RGB图像的信噪比都能够满足要求。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种生成RGB图像的方法，其特征在于，所述方法包括：

根据RGBIR传感器输出的第一图像中IR通道像素点的像素值，对所述第一图像中R、G、B通道像素进行插值处理，得到第二图像；去除所述第一图像中R、G、B通道像素的IR成分，得到第三图像；

分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大；

以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像；

分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

2.如权利要求1所述的方法，其特征在于，所述分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值包括：

根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值；

根据所述第一图像和所述第二图像中像素点的坐标信息，确定所述第二图像中的与所述第一图像中的R通道、G通道和B通道的像素点对应的像素点，根据所述对应的像素点的第二亮度值，确定第二平均亮度值。

3.如权利要求2所述的方法，其特征在于，根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值之前，所述方法还包括：

识别所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，滤除第一亮度值大于预设的第一亮度阈值的像素点；

根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值包括：

根据所述第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。

4.如权利要求2所述的方法，其特征在于，根据所述对应的像素点的第二亮度值，确定第二平均亮度值之前，所述方法还包括：

识别所述对应的像素点的第二亮度值，滤除第二亮度值大于预设的第二亮度阈值的像素点；

根据所述对应的像素点的第二亮度值，确定第二平均亮度值包括：

根据所述对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。

5.如权利要求1所述的方法，其特征在于，所述分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分包括：

针对每个IR通道的像素点，根据包含该像素点在内的第一预设邻域内每个像素点的像素值和该像素点的像素值，确定水平边缘梯度值和垂直边缘梯度值；根据所述水平边缘梯度值和垂直边缘梯度值，确定插值方向，在所述插值方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分；

确定每个B通道和R通道的像素点的G成分、每个R通道的像素点的B成分和每个B通道的像素点的R成分；

针对每个IR通道的像素点，根据以下公式：

确定该像素点的B成分；

式中，B_B1至B_Bn分别为第二预设邻域内n个B通道像素点的像素值；B_R1至B_Rn分别为所述第二预设邻域内n个R通道像素点的B成分；G_B1至G_Bn分别为所述第二预设邻域内n个B通道像素点的G成分，G_R1至G_Rn分别为所述第二预设邻域内n个R通道像素点的G成分，G_IR为该像素点的G成分，B_IR为该像素点的B成分。

6.一种生成RGB图像的装置，其特征在于，所述装置包括：

第一确定模块，用于根据RGBIR传感器输出的第一图像中IR通道像素点的像素值，对所述第一图像中R、G、B通道像素进行插值处理，得到第二图像；去除所述第一图像中R、G、B通道像素的IR成分，得到第三图像；

第二确定模块，用于分别确定所述第一图像的第一平均亮度值和第二图像的第二平均亮度值；根据所述第一平均亮度值与所述第二平均亮度值的比值，和预设的比值范围与导向滤波强度的对应关系，确定导向滤波强度，其中，包含的比值较大的预设的比值范围，对应的导向滤波强度较大；

滤波处理模块，用于以所述第一图像为参考，采用所述导向滤波强度对所述第三图像进行导向滤波处理，得到第四图像；

生成模块，用于分别对所述第四图像中的R通道、G通道、B通道像素点的像素值进行插值处理，确定所述第四图像中每个B通道像素点的R成分和每个IR通道像素点的B成分；根据所述第四图像中每个G通道像素点的像素值、每个R通道像素点的像素值、每个B通道像素点的R成分和每个IR通道像素点的B成分，生成RGB图像。

7.如权利要求6所述的装置，其特征在于，所述第二确定模块，具体用于根据所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，确定第一平均亮度值；根据所述第一图像和所述第二图像中像素点的坐标信息，确定所述第二图像中的与所述第一图像中的R通道、G通道和B通道的像素点对应的像素点，根据所述对应的像素点的第二亮度值，确定第二平均亮度值。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

第一滤除模块，用于识别所述第一图像中的R通道、G通道和B通道的像素点的第一亮度值，滤除第一亮度值大于预设的第一亮度阈值的像素点；

所述第二确定模块，具体用于根据所述第一图像中的R通道、G通道和B通道剩余的像素点的第一亮度值，确定第一平均亮度值。

9.如权利要求7所述的装置，其特征在于，所述装置还包括：

第二滤除模块，用于识别所述对应的像素点的第二亮度值，滤除第二亮度值大于预设的第二亮度阈值的像素点；

所述第二确定模块，具体用于根据所述对应的像素点中剩余的像素点的第二亮度值，确定第二平均亮度值。

10.如权利要求6所述的装置，其特征在于，所述生成模块，具体用于针对每个IR通道的像素点，根据包含该像素点在内的第一预设邻域内每个像素点的像素值和该像素点的像素值，确定水平边缘梯度值和垂直边缘梯度值；根据所述水平边缘梯度值和垂直边缘梯度值，确定插值方向，在所述插值方向上对G通道像素点的像素值进行插值处理，得到该像素点的G成分；确定每个B通道和R通道的像素点的G成分、每个R通道的像素点的B成分和每个B通道的像素点的R成分；针对每个IR通道的像素点，根据以下公式：

确定该像素点的B成分；

式中，B_B1至B_Bn分别为第二预设邻域内n个B通道像素点的像素值；B_R1至B_Rn分别为所述第二预设邻域内n个R通道像素点的B成分；G_B1至G_Bn分别为所述第二预设邻域内n个B通道像素点的G成分，G_R1至G_Rn分别为所述第二预设邻域内n个R通道像素点的G成分，G_IR为该像素点的G成分，B_IR为该像素点的B成分。