CN114500850A - 图像处理方法及装置、***、可读存储介质 - Google Patents

Abstract

一种图像处理方法及装置、***、可读存储介质。所述方法包括：获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布，竖直方向上，所述可见光像素与所述近红外光像素间隔排布。采用上述方案，可以较低的成本得到高分辨率的融合图像。

Description

图像处理方法及装置、***、可读存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法及装置、***、可读存储介质。

背景技术

图像传感器主要通过捕获物体反射的光线来成像，大多数物体对可见光和近红外光拥有不同的反射特性。例如绿色植物、棉织物对近红外光的反射率高于对可见光的反射率。雪、水体对可见光的反射率高于对近红外光的反射率。另外，近红外光还具有透雾的特性。结合可见光与近红外光的差异，对二者所成的图像进行融合，使其优势互补，可以提高使用者对场景目标的识别能力。

现有近红外和可见光图像融合方案，主要通过以下两种方法实现：第一种是通过两个图像传感器实现，这种双图像传感器的缺点是结构复杂、成本高；第二种是在单图像传感器上制作红(R)、绿(G)、蓝(B)三种可见光像素及近红外光像素来实现，但由于这4种像素的比例较低，此方案得到的融合图像分辨率较低。

因此，如何以较低的成本得到高分辨率、适用于低照度的融合图像，成为亟待解决的问题。

发明内容

本发明要解决的问题是：以较低的成本得到高分辨率的融合图像。

为解决上述问题，本发明实施例提供了一种图像处理方法，所述方法包括：获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。

本发明实施例还提供了一种图像处理装置，所述装置包括：获取单元，适于获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；插值单元，适于对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；图像融合单元，适于将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。

本发明实施例还提供了一种图像处理***，所述图像处理***包括：第一图像传感器，以及上述的图像处理装置；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布；所述第一图像传感器适于向所述图像处理装置提供原始马赛克图像。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现上述方法的步骤。

本发明实施例还提供了一种图像处理装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下优点：

应用本发明的方案，由于原始马赛克图像来自第一图像传感器，即使用单图像传感器来获得完整可见光图像及完整近红外光图像，可以有效降低成本。另外，由于第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素，并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布，在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布，由此使得第一图像传感器的像素阵列中，可见光像素及近红外光像素间隔排布，且各占50％。由于第一图像传感器的像素阵列中可见光像素及近红外光像素所占的比例均较高，因此插值后的完整可见光图像和完整近红外光图像分辨率均较高，最终得到的融合图像的分辨率也较高。

附图说明

图1是一种图像传感器像素阵列上像素的分布示意图；

图2是本发明实施例中一种图像处理方法的流程图；

图3是本发明实施例中第一图像传感器像素阵列上像素的分布示意图；

图4是本发明实施例中一种图像处理过程的示意图；

图5是本发明实施例中一种图像融合过程的示意图；

图6是本发明实施例中对待插值像素执行插值操作的流程图；

图7是本发明实施例中一种第一图像块的示意图；

图8是本发明实施例中计算待插值像素平均水平梯度的过程示意图；

图9是本发明实施例中计算待插值像素平均竖直梯度的过程示意图；

图10是本发明实施例中一种具有密集交替纹理的图像示意图；

图11是本发明实施例中一种原始马赛克图像的示意图；

图12是本发明实施例中一种完整可见光图像的示意图；

图13是本发明实施例中一种完整近红外光图像的示意图；

图14是本发明实施例中一种RGB图像的示意图；

图15是本发明实施例中一种图像处理装置的结构示意图。

具体实施方式

目前已有的近红外和可见光图像融合技术主要分为两种：

第一种是通过两个图像传感器实现，其中一个可见光图像传感器用于拍摄可见光图像，另一个近红外光图像传感器用于拍摄近红外光图像。这种双图像传感器的缺点是结构复杂、成本高。

由于可见光和近红外光可以共用一个单图像传感器，因此另一种已有技术是在单图像传感器上制作RGB像素和近红外光(IR)像素，然后将RGB像素所成的可见光彩色图像与近红外光像素所成的近红外光图像进行融合，这一方法的缺点是R、G、B、IR这四种像素的比例都较低，通常都为25％，如图1所示，造成成像的分辨率显著下降，影响图像质量。

针对该问题，本发明提供了一种图像处理方法，应用所述方法，通过单图像传感器来获得完整可见光图像及完整近红外光图像，可以有效降低成本。另外，在第一图像传感器的像素阵列中，可见光像素及近红外光像素间隔排布且各占50％，因此插值后的完整可见光图像和完整近红外光图像分辨率均较高，最终得到的融合图像的分辨率也较高。另外，由于第一图像传感器中的可见光像素可以接收全部白光，因此比R、G、B像素具有更高的信噪比、从而更适用于低照度应用。另外，本发明在对原始马赛克图像进行插值时，不仅利用与待插值像素同类型的像素进行边缘方向判断，而且综合了与待插值像素不同类型的像素进行判断(即综合可见光像素和近红外光像素进行判断)，即使在纹理密集区域，也可以正确判断待插值像素的插值方向，从而提升最终的图像质量。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例作详细地说明。

参照图2，本发明实施例提供了一种图像处理方法，所述方法可以包括如下步骤：

步骤21，获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器。

其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。例如，参照图3，可见光(W)像素和近红外光像素间隔排布。

采用上述单图像传感器拍摄图像，可以得到原始马赛克图像。而采用单图像传感器，具有结构简单、调试方便、成本低的优点。并且，由于可见光像素、近红外光像素各占50％，比例较高，因此原始马赛克图像的分辨率优于传统的R、G、B、IR像素各占25％的单图像传感器。

另外，现有在单图像传感器上制作R、G、B可见光像素及近红外光像素的方案中，由于R、G、B像素只能接收一小部分波长的光子，在低照度环境下图像质量会严重下降，因此无法用于安防等对低照度性能和图像分辨率要求较高的目标探测和识别领域。

而本发明的方案中，可以设置第一图像传感器中，每个可见光像素都可以接收全部白光可见光，但不接收近红外光，而每个近红外光像素只接收近红外光。由于第一图像传感器中的可见光像素可以接收全部白光，因此比R、G、B像素具有更高的信噪比、从而更适用于低照度应用。

另外，现有的根据梯度方向进行图像插值的方法中，只根据与待插值像素同类型的像素进行梯度判断，未能充分利用其他像素所提供的信息，因此在纹理密集区域插值的精度较低，容易出现插值方向错误，造成图像分辨率下降

步骤22，对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像。

在原始马赛克图像中，W像素捕获到的是W像素值，而没有捕获到IR像素值。IR像素捕获到的是IR像素值，而没有捕获到W像素值。

插值的目的是：在原始马赛克图像的每一个IR像素的位置，设置一个W像素值，以便与原始马赛克图像中已有的W像素值一起构成完整可见光图像。在原始马赛克图像的每一个W像素的位置，设置一个IR像素值，以便与马赛克图像中已有的IR像素值一起构成完整近红外光图像。

完整可见光图像在每一个像素位置都具有一个W像素值。完整近红外光图像在每一个像素位置都具有一个IR像素值。在原始马赛克图像中每一个IR像素的位置设置W像素值，要通过插值来实现，因此在对W像素进行插值以获得完整可见光图像的过程中，将原始马赛克图像中IR像素的位置称为待插值W像素。同样，在对IR像素进行插值以获得完整近红外光图像的过程中，将马赛克图像中W像素的位置称为待插值IR像素。

例如，参照图4，对所述原始马赛克图像40中的可见光像素执行插值操作，可以获得完整可见光图像41。对所述原始马赛克图像40中的近红外光像素执行插值操作，可以获得完整近红外光图像42。

在具体实施中，对所述原始马赛克图像中的可见光像素或近红外光像素执行插值操作的方法，可以存在多种，此处不作限制，只要能够得到完整可见光图像及完整近红外光图像即可。

步骤23，将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像。

在具体实施中，可以采用多种方法对所述完整可见光图像及所述完整近红外光图像进行图像融合。

在本发明的一实施例中，参照图4，将完整可见光图像41及完整近红外光图像42可以通过彩色化的方式，进行融合，得到RGB图像。

将可见光图像和近红外光图像进行彩色化，得到RGB图像，所述RGB图像为彩色图像，不仅可以同时保留可见光图像和近红外光图像在各自波段的优势，而且彩色图像更有利于增强观察者对场景的理解和记忆，提高观察者的反应速度。

在具体实施中，可以采用多种方法，将完整可见光图像及完整近红外光图像进行彩色化，此处不作限制。

在本发明的一实施例中，参照图5，可以将完整近红外光图像51(即插值后的近红外光图像)作为R通道图像53，而将完整可见光图像52(即插值后的可见光图像)分别作为G通道图像54和B通道图像55，从而得到彩色的RGB图像56。

最终得到的RGB图像56中，在完整可见光图像中亮而在完整近红外光图像中暗的像素，会呈现亮青色。在完整可见光图像中暗而在完整近红外光图像中亮的像素，会呈现亮红色。在完整可见光图像和完整近红外光图像中都亮的像素呈现白色，都暗的像素则呈现黑色。

在其它实施例中，可以将完整近红外光图像51作为G通道图像或B通道图像，而将完整可见光图像52作为剩余通道图像，此处不作限制，只要能够得到RGB彩色图像即可。

参照图6，本发明实施例还提供了一种对原始马赛克图像中像素执行插值操作的方法。

现有的根据梯度方向进行图像插值的方法中，只根据与待插值像素同类型的像素进行梯度判断，未能利用其他像素所提供的信息，因此在纹理密集区域插值的精度较低，容易出现插值方向错误，造成图像分辨率下降，影响图像质量。

而本发明的实施例中，对原始马赛克图像中像素执行插值操作，不仅利用与待插值像素同类型的像素进行边缘方向判断，而且综合了与待插值像素不同类型的像素进行判断(即综合可见光像素和近红外光像素进行判断)，即使在纹理密集区域，也可以正确判断待插值像素的插值方向，从而提升最终的图像质量。

具体地，所述方法可以包括如下步骤：

步骤61，计算所述待插值像素的水平梯度值及竖直梯度值。

其中，所述待插值像素为可见光像素或近红外光像素。所述待插值像素的水平梯度值及竖直梯度值，即所述待插值像素所在位置的水平梯度值及竖直梯度值。

在具体实施中，可以通过待插值像素及周围的所有类型像素的像素值，来计算待插值像素的水平梯度值及竖直梯度值。例如，当待插值像素为待插值W像素时，可以通过该待插值W像素及周围的W像素的像素值和IR像素的像素值，来计算待插值W像素的水平梯度值和竖直梯度值。当待插值像素为待插值IR像素时，可以通过该待插值IR像素及周围的IR像素的像素值和W像素的像素值，来计算待插值IR像素的水平梯度值和竖直梯度值。

在具体实施中，计算待插值W像素的水平梯度值及竖直梯度值的方法，与计算待插值IR像素的水平梯度值及竖直梯度值的方法，二者可以相同，也可以不同，此处不作限制。

在本发明的一实施例中，计算待插值像素的水平梯度值及竖直梯度值时，可以先确定该待插值像素为中心的第一图像块，再利用该第一图像块内该待插值像素及周围的所有类型像素的像素值，即可见光像素和近红外光像素的像素值，来计算待插值像素的水平梯度值及竖直梯度值。

以所述待插值像素为待插值W像素Wd为例，以所述待插值W像素Wd为中心的第一图像块如图7所示。所述待插值W像素Wd周围的W像素值包括：第一W像素W1至第十二W像素W12，所述待插值W像素Wd及周围的IR像素值包括：第一IR像素IR1至第十三IR像素IR13。假设待插值W像素Wd的水平梯度值为Dh，竖直梯度值为Dv，可以采用以下两种方法计算待插值W像素Wd的水平梯度值Dh及竖直梯度值Dv：

在一实施例中，参照图7，可以将以下三个绝对值的均值，作为待插值W像素Wd的水平梯度值Dh：待插值W像素Wd左、右相邻两W像素值之间差值的绝对值、待插值W像素Wd所在位置的IR像素与其左侧最近邻的IR像素之间像素值差值的绝对值、待插值W像素Wd所在位置的IR像素与其右侧最近邻的IR像素之间像素值差值的绝对值。可以将以下三个绝对值的均值，作为待插值W像素Wd的竖直梯度值Dv：待插值W像素Wd上下相邻两W像素值之间差值的绝对值、待插值W像素Wd所在位置的IR像素与其上方最近邻的IR像素之间像素值差值的绝对值、待插值W像素Wd所在位置的IR像素与其下方最近邻的IR像素之间像素值差值的绝对值。具体公式如下：

其中，abs()表示绝对值函数。

在另一实施例中，参照图7，可以结合待插值W像素Wd所在行的及相邻行W像素值(也就是第三W像素值W3至第十W像素值W10)和IR像素值(也就是第四IR像素值IR4至第十IR像素值IR10)，得到待插值W像素Wd的水平梯度值Dh。结合待插值W像素Wd所在列的及相邻列W像素值(也就是W1、W6、W11、W4、W9、W2、W7、W12)和IR像素值(也就是IR4、IR9、IR2、IR7、IR12、IR5、IR10)，得到待插值W像素Wd的竖直梯度值Dv，具体公式如下：

类似地，在所述待插值像素为待插值IR像素时，也可以采用上述公式(1)及公式(2)计算待插值IR像素的水平梯度值和竖直梯度值。不同的是，在计算待插值IR像素的水平梯度值和竖直梯度值时，公式(1)及公式(2)中的W像素需要和IR像素互换。

可以理解的是，在具体实施中，计算待插值像素水平梯度值和竖直梯度值的方法并不限于上述实施例中的描述，也可以采用其它方法计算待插值像素水平梯度值和竖直梯度值，此处不再一一举例说明。

步骤62，计算所述水平梯度值及竖直梯度值之间的第一差值。

以所述待插值像素为待插值W像素Wd为例，继续参照图7，所述水平梯度值及竖直梯度值之间的第一差值，即Dh-Dv。后续可以基于该第一差值的大小，判断边缘方向，从而按照边缘方向进行插值。

步骤63，判断所述第一差值的绝对值是否大于预设差值阈值？

当所述第一差值的绝对值大于预设差值阈值时，表明水平梯度值及竖直梯度值之间的差别明显，此时可以准确地确定边缘方向，从而执行步骤64，即按照边缘方向执行插值操作。

当所述第一差值的绝对值小于或等于所述预设差值阈值时，表明水平梯度值及竖直梯度值之间的差别很小，此时，无法准确地确定边缘方向，从而需要执行步骤65，即计算所述待插值像素的平均竖直梯度值及平均水平梯度值，基于所述平均竖直梯度值及平均水平梯度值的大小，按照边缘方向执行插值操作。

在具体实施中，所述预设差值阈值通常为整数，具体可以根据实验或经验设置，通常可设置为等于梯度最大可能取值的10％～30％。例如，对于归一化的图像，如果梯度最大可能取值等于1，则所述预设差值阈值可以取0.2。

可以理解的是，在具体判断是否按照边缘方向执行插值操作的过程中，所述预设差值阈值本身为边界值，也可以在第一差值的绝对值等于预设差值阈值时，按照边缘方向执行插值操作。换言之，在第一差值的绝对值等于预设差值阈值时，是否按照边缘方向执行插值操作，可以由本领域技术人员自行设置。但无论是否执行，上述方案均在本发明的保护范围之内。

步骤64，按照边缘方向执行插值操作。

在具体实施中，所述第一差值的绝对值大于预设差值阈值，此时，第一差值可能为正数，也可能为负数。当所述第一差值为正数时，判定当前边缘方向为竖直方向，并按照竖直方向执行插值操作。当所述第一差值为负数时，判定当前边缘方向为水平方向，并按照水平方向执行插值操作。

具体地，参照图7，以所述待插值像素为待插值W像素Wd为例，当Dv–Dh＞thr_1时，thr_1表示预设差值阈值，判断当前边缘沿水平方向，此时待插值像素Wd的像素值为其左、右相邻两W像素值的平均值：

Wd＝(W6+W7)/2 (3)

当Dh–Dv>thr_1时，判断当前边缘沿竖直方向，此时待插值像素Wd的像素值为其上、下相邻两W像素值的平均值：

Wd＝(W4+W9)/2 (4)

步骤65，计算所述待插值像素的平均竖直梯度值及平均水平梯度值，基于所述平均竖直梯度值及平均水平梯度值的大小，按照边缘方向执行插值操作。

在具体实施中，当第一差值的绝对值小于或等于所述预设差值阈值时，表明水平梯度值及竖直梯度值之间的差别不明显，此时，可以先确定以所述待插值像素为中心的第二图像块，结合所述第二图像块内各可见光像素和近红外光像素，计算所述待插值像素的平均竖直梯度值及平均水平梯度值，最后基于平均竖直梯度值及平均水平梯度值的大小，按照边缘方向执行插值操作。

在纹理密集区域，例如明暗线条逐像素行交替、或逐像素列交替的情况，此时单一类型的像素(W像素或IR像素)在水平方向和竖直方向均具有对称性，因此现有技术仅根据单一类型的像素所计算出的水平梯度值和竖直梯度值均等于0，从而无法根据水平梯度值与竖直梯度值的大小关系正确判断待插值像素的边缘方向和插值方向。

以图10为例进行说明，纹理密集区域100的明暗线条逐像素行交替，当仅考虑W像素构成的W图像101时，由于W像素沿水平和竖直方向均对称，现有技术仅根据单一类型的像素计算梯度，即将待插值W像素左、右相邻的两个W像素值的差值的绝对值作为水平梯度值，而将待插值W像素上、下相邻的两个W像素值的差值的绝对值作为竖直梯度值，则由图10中W图像101可知，由此计算出的水平梯度值和竖直梯度值均等于0，从而无法正确判断待插值像素的边缘方向和插值方向。

本发明中的平均水平梯度值和平均竖直梯度值，综合利用了第二图像块内所有类型的像素，可以更准确地表示纹理密集区域的梯度方向，因此由此方法计算得到的完整可见光图像及近红外光图像，即使在纹理密集区域，也可以沿正确方向插值，从而减少了错误插值结果的出现，进一步提高图像的分辨率，从而提高图像质量。

在具体实施中，结合第二图像块内所有像素，计算待插值像素的平均竖直梯度值及平均水平梯度值的方法，可以存在多种，具体不作限制。

在本发明的一优选实施例中，可以利用相互水平翻转对称的第一滤波器及第二滤波器，分别对所述第二图像块各像素进行逐像素对应相乘并求和操作，得到第一求和结果和第二求和结果，再对所述第一求和结果和第二求和结果分别取绝对值后，再执行相加操作，得到第一相加结果，最后对所述第一相加结果执行归一化操作，得到所述待插值像素的平均水平梯度值。其中，所述第一滤波器及第二滤波器的大小，与所述第二图像块的大小相同。

下面以待插值像素为待插值W像素为例，结合图8，对计算待插值W像素平均水平梯度值的过程进行详细描述：

参照图8，第一滤波器filv1及第二滤波器filv2的系数为3*3矩阵，待插值W像素所在的第二图像块81大小也为3*3，且以待插值W像素为中心。

其中，虽然第二图像块内单一类型的像素在纹理密集区域无法正确判断待插值像素的边缘方向，但是将第二图像块内所有类型的像素在列方向做加权平均后，各列之间加权平均值的差异可以反映平均水平梯度值的大小。因此，第一滤波器filv1和第二滤波器filv2各系数的设计过程中，一方面各系数的大小代表了按列方向做加权平均的权重，要求满足各列之间W像素和IR像素的影响相均衡，另一方面各系数的正负号用于计算各列之间的加权平均值差异。

例如，参照图8，第一滤波器filv1用于计算第二图像块第一列的加权平均值与第二列的加权平均值之间的差异。由于第二图像块81的第一列中，IR像素出现2次，W像素出现1次，而第二图像块81的第二列中，IR像素出现1次，W像素出现2次，故设计第一滤波器filv1第一列系数的大小为[1/2，1，1/2]，第二列系数的大小为[1/2，1，1/2]，第三列系数均为0，则第一列中W像素对应的系数总和与第二列相等，第一列中IR像素对应的系数总和也与第二列相等，从而使第一列与第二列中W像素的影响相平衡、IR像素的影响也相平衡，在这种情况下，第二列与第一列像素的加权平均值之差，才能准确反映纹理密集区域的平均水平梯度，而第一列中的系数应均取负号，以计算所述第二列与第一列像素的加权平均值之差。

具体地，所述第一滤波器filv1的系数为：

类似的，第二滤波器filv2用于计算第二图像块第二列的加权平均值与第三列的加权平均值之间的差异。由于第二图像块81的第三列中，IR像素出现2次，W像素出现1次，第二图像块81的第二列中，IR像素出现1次，W像素出现2次，故设计第二滤波器filv2第三列系数的大小为[1/2，1，1/2]，第二列系数的大小为[1/2，1，1/2]，则第三列中W像素对应的系数总和与第二列相等，第三列中IR像素对应的系数总和也与第二列相等，从而使第三列与第二列中W像素的影响相平衡、IR像素的影响也相平衡，在这种情况下，第二列与第三列像素的加权平均值之差，才能准确反映纹理密集区域的平均水平梯度，而第三列中的系数应均取负号，以计算所述第二列与第三列像素的加权平均值之差。

因此，所述第二滤波器filv2的系数为：

易知，第一滤波器filv1及第二滤波器filv2相互水平翻转对称。

利用上述第一滤波器filv1及第二滤波器filv2，对所述第二图像块81各像素进行逐像素对应相乘并求和操作，得到第一求和结果s1和第二求和结果s2，再对所述第一求和结果s1和第二求和结果s2分别取绝对值后，再执行相加操作，得到第一相加结果，最后对所述第一相加结果执行归一化操作，得到所述待插值W像素的平均水平梯度值Dhm。

假设第二图像块81中待插值W像素位于原始马赛克图像的第i行第j列，则所述第二图像块81对应的位置是：第i-1行第j-1列，至第i+1行第j+1列。将该第二图像块81，与第一滤波器filv1进行逐像素对应相乘并求和操作，可以得到第一求和结果s1，与第二滤波器filv2进行逐像素对应相乘并求和操作，可以得到第二求和结果s2，具体如下：

对第一求和结果s1和第二求和结果s2分别取绝对值后，再执行相加操作，如图8中“Σ”所示，得到第一相加结果。

在具体实施中，对第一相加结果执行归一化操作可以采用多种方法。

本发明的实施例中，参照图8，可以直接将第一相加结果乘以1/4，得到待插值W像素的平均水平梯度值Dhm。具体待插值W像素的平均水平梯度值Dhm如下：

通过以上方法设置系数的第一滤波器filv1及第二滤波器filv2，通过将第二图像块内所有类型的像素在列方向做加权平均后，各列之间加权平均值的差异可以真实反映平均水平梯度的大小，因此采用上述方法计算得到的待插值像素的平均水平梯度值Dhm，可以更准确地表示纹理密集区域的平均水平梯度，从而帮助正确判断待插值像素的边缘方向和插值方向。

在本发明的一优选实施例中，利用相互竖直翻转对称的第三滤波器及第四滤波器，分别对所述第二图像块各像素进行逐像素对应相乘并求和操作，得到第三求和结果和第四求和结果，再对所述第三求和结果和第四求和结果分别取绝对值后，再执行相加操作，得到第二相加结果，最后对所述第二相加结果执行归一化操作，得到所述待插值像素的平均竖直梯度值。其中，所述第三滤波器及第四滤波器的大小，与所述第二图像块的大小相同。

下面以待插值像素为待插值W像素为例，结合图9，对计算待插值W像素平均竖直梯度值的过程进行详细描述：

参照图9，第三滤波器filh1及第四滤波器filh2的系数为3*3矩阵，待插值W像素所在的第二图像块81大小也为3*3，且以待插值W像素为中心。

其中，虽然第二图像块内单一类型的像素在纹理密集区域无法正确判断待插值像素的边缘方向，但是将第二图像块内所有类型的像素在行方向做加权平均后，各行之间加权平均值的差异可以反映平均竖直梯度的大小；因此第三滤波器和第四滤波器各系数的设计过程中，一方面各系数的大小代表了按行方向做加权平均的权重，要求满足各行之间W像素和IR像素的影响相均衡，另一方面各系数的正负号用于计算各行之间的加权平均值差异。

例如，参照图9，第三滤波器用于计算第二图像块第一行的加权平均值与第二行的加权平均值之间的差异，第二图像块81的第一行中，IR像素出现2次，W像素出现1次，第二行中，IR像素出现1次，W像素出现2次，故设计第三滤波器filh1第一行系数的大小为[1/2，1，1/2]，第二行系数的大小为[1/2，1，1/2]，第三行系数均为0，则第一行中W像素对应的系数总和与第二行相等，第一行中IR像素对应的系数总和也与第二行相等，从而使第一行与第二行中W像素的影响相平衡、IR像素的影响也相平衡，在这种情况下，第二行与第一行像素的加权平均值之差，才能准确反映纹理密集区域的平均竖直梯度，而第一行中的系数应均取负号，以计算所述第二行与第一行像素的加权平均值之差。

具体地，所述第三滤波器filh1的系数为：

类似的，第四滤波器用于计算第二图像块第二行的加权平均值与第三行的加权平均值之间的差异。第二图像块81的第三行中，IR像素出现2次，W像素出现1次，第二图像块81的第二行中，IR像素出现1次，W像素出现2次，故设计第四滤波器filh2第三行系数的大小为[1/2，1，1/2]，第二行系数的大小为[1/2，1，1/2]，则第三行中W像素对应的系数总和与第二行相等，第三行中IR像素对应的系数总和也与第二行相等，从而使第三行与第二行中W像素的影响相平衡、IR像素的影响也相平衡，在这种情况下，第二行与第三行像素的加权平均值之差，才能准确反映纹理密集区域的平均竖直梯度，而第三行中的系数应均取负号，以计算所述第二行与第三行像素的加权平均值之差。

因此所述第四滤波器filh2的系数为：

易知，第三滤波器filh1及第四滤波器filh2相互竖直翻转对称。

利用上述第三滤波器filh1及第四滤波器filh2，对所述第二图像块91各像素进行逐像素对应相乘并求和操作，得到第三求和结果s3和第四求和结果s4，再对所述第三求和结果s3和第四求和结果s4分别取绝对值后，再执行相加操作，得到第二相加结果，最后对所述第二相加结果执行归一化操作，得到所述待插值W像素的平均竖直梯度值Dvm。

假设第二图像块81中待插值W像素位于原始马赛克图像的第i行第j列，则所述第二图像块81对应的位置是：第i-1行第j-1列，至第i+1行第j+1列。将该第二图像块81，与第三滤波器filh1进行逐像素对应相乘并求和操作，可以得到第三求和结果s3，与第四滤波器filh2进行逐像素对应相乘并求和操作，可以得到第四求和结果s4，具体如下：

对第三求和结果s3及第四求和结果s4分别取绝对值后，再执行相加操作，如图9中“Σ”所示，得到第二相加结果。

在具体实施中，对第二相加结果执行归一化操作需要采用与第一相加结果相同的归一化方式。

本发明的实施例中，参照图9，可以直接将第二相加结果乘以1/4，得到待插值W像素的平均竖直梯度值Dvm。具体待插值W像素的平均竖直梯度值Dvm如下：

通过以上方法设置系数的第三滤波器filh1及第四滤波器filh2，通过将第二图像块内所有类型的像素在行方向做加权平均后，各行之间加权平均值的差异可以真实反映平均竖直梯度的大小，因此采用上述方法计算得到的待插值像素的平均竖直梯度值Dvm，可以更准确地表示纹理密集区域的平均竖直梯度，从而帮助正确判断待插值像素的边缘方向和插值方向。

在具体实施中，可以根据所述平均竖直梯度值及平均水平梯度值的大小，来判断边缘方向，从而决定待插值W像素的插值方向。

具体地，当所述平均竖直梯度值大于或等于所述平均水平梯度值时，判定当前边缘方向为水平方向，并按照水平方向执行插值操作。当所述平均竖直梯度值小于所述平均水平梯度值时，判定当前边缘方向为竖直方向，并按照竖直方向执行插值操作。

例如，按照图8及图9的方法，计算图7中待插值像素Wd的像素值。当Dvm≥Dhm时，可以判定当前边缘沿水平方向，可以参照公式(3)，得到待插值像素Wd的像素值，即Wd＝(W6+W7)/2。当Dvm＜Dhm时，可以判定当前边缘沿竖直方向，可以参照公式(4)，得到待插值像素Wd的像素值，即Wd＝(W4+W9)/2。

需要说明的是，在Dvm＝Dhm时，可以判定当前边缘沿水平方向，也可以判定当前边缘沿竖直方向。具体如何判定，可以由本领域技术人员自行设置。但无论如何判定，均在本发明的保护范围之内。

可以理解的是，在待插值像素为待插值IR像素时，也可以采用上述方法对待插值IR像素执行插值操作，此处不再赘述。

采用上述方案，由于平均水平梯度Dhm和平均竖直梯度Dvm不仅利用与待插值像素同类型的像素进行边缘方向判断，而且综合了与待插值像素不同类型的像素进行判断(即综合可见光像素和近红外光像素进行判断)，因此可以更准确地表示纹理密集区域的梯度方向，由此方法计算得到的完整可见光图像和完整近红外光图像，即使在纹理密集区域(例如图10所示密集交替的纹理)，也可以沿正确方向插值，从而提升最终的图像质量。

采用本发明实施例中图像处理方法，从第一图像传感器获取原始马赛克图像，如图11所示。对图11中的图像进行处理时，可以得到图12所示的完整可见光图像，以及图13所示的完整近红外光图像。

将图13所示的完整近红外光图像，作为RGB图像的R通道图像，将图12所示的完整可见光图像作为RGB图像的G通道图像及B通道图像。合并R通道图像、G通道图像及B通道图像，可以得到RGB图像。所述RGB图像为彩色图像，图14为去掉色彩的RGB图像。

在图13所示的完整近红外光图像中，圆形糖盒(即A区域)上的喜字是看不到的，并且水泥块(即B区域)与迷彩服C不易区分，而在RGB图像中，可以清晰看到糖盒上的喜字，并且可以轻易区别水泥块与迷彩服。在图12所示的完整可见光图像中，右下角的铝制方盒(即D区域)与背景颜色接近，不易区分，而在RGB图像中，铝制方盒和背景可以轻易区分。因此，采用本发明的方案，最终得到的RGB图像，可以增加目标探测、识别的速度和准确度。

为了使本领域技术人员更好地理解和实现本发明，以下对上述方法对应的装置、***及计算机可读存储介质进行详细描述。

参照图15，本发明实施例提供了一种图像处理装置1500，所述装置包括：获取单元1510、插值单元1520及图像融合单元1530。其中：

所述获取单元1510，适于获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；

所述插值单元1520，适于对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；

所述图像融合单元1530，适于将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；

其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。

关于所述获取单元1510、插值单元1520及图像融合单元1530，具体可以参照上述关于图像处理方法中相应步骤的描述进行实施。

本发明实施例还提供了一种图像处理***，所述图像处理***包括：第一图像传感器，以及上述的图像处理装置1500。

其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布；所述第一图像传感器适于向所述图像处理装置提供原始马赛克图像。

关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现上述实施例中图像处理方法的步骤，不再赘述。

在具体实施中，所述计算机可读存储介质可以包括：ROM、RAM、磁盘或光盘等。

本发明实施例还提供了另一种图像处理装置，所述装置包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述实施例中图像处理方法的步骤。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；

对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；

将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；

其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。

2.如权利要求1所述的图像处理方法，其特征在于，采用以下方法对所述原始马赛克图像中任一待插值像素执行插值操作，包括：

计算所述待插值像素的水平梯度值及竖直梯度值；

计算所述水平梯度值及竖直梯度值之间的第一差值；

当所述第一差值的绝对值大于预设差值阈值时，按照边缘方向执行插值操作；

当所述第一差值的绝对值小于或等于所述预设差值阈值时，计算所述待插值像素的平均竖直梯度值及平均水平梯度值，基于所述平均竖直梯度值及平均水平梯度值的大小，按照边缘方向执行插值操作；

其中，所述待插值像素为可见光像素或近红外光像素。

3.如权利要求2所述的图像处理方法，其特征在于，计算所述待插值像素的水平梯度值及竖直梯度值，包括：

确定以所述待插值像素为中心的第一图像块，结合所述第一图像块内各可见光像素和近红外光像素，计算所述待插值像素的水平梯度值及竖直梯度值。

4.如权利要求2所述的图像处理方法，其特征在于，所述当所述第一差值的绝对值大于预设差值阈值时，按照边缘方向执行插值操作，包括：

当所述第一差值为正数时，判定当前边缘方向为竖直方向，并按照竖直方向执行插值操作；

当所述第一差值为负数时，判定当前边缘方向为水平方向，并按照水平方向执行插值操作。

5.如权利要求2所述的图像处理方法，其特征在于，所述计算所述待插值像素的平均竖直梯度值及平均水平梯度值，包括：

确定以所述待插值像素为中心的第二图像块，结合所述第二图像块内各可见光像素和近红外光像素，计算所述待插值像素的平均竖直梯度值及平均水平梯度值。

6.如权利要求5所述的图像处理方法，其特征在于，结合所述第二图像块内各可见光像素和近红外光像素，计算所述待插值像素的平均水平梯度值，包括：

利用相互水平翻转对称的第一滤波器及第二滤波器，分别对所述第二图像块各像素进行逐像素对应相乘并求和操作，得到第一求和结果和第二求和结果；

对所述第一求和结果和第二求和结果分别取绝对值后，再执行相加操作，得到第一相加结果；

对所述第一相加结果执行归一化操作，得到所述待插值像素的平均水平梯度值；

其中，所述第一滤波器及第二滤波器的大小，与所述第二图像块的大小相同。

7.如权利要求6所述的图像处理方法，其特征在于，所述第一滤波器及第二滤波器的系数，是基于所述第二图像块内每一列各像素出现的次数确定的。

8.如权利要求6所述的图像处理方法，其特征在于，

所述第一滤波器的系数为：

所述第二滤波器的系数为：

9.如权利要求5所述的图像处理方法，其特征在于，结合所述第二图像块内各可见光像素和近红外光像素，计算所述待插值像素的平均竖直梯度值，包括：

利用相互竖直翻转对称的第三滤波器及第四滤波器，分别对所述第二图像块各像素进行逐像素对应相乘并求和操作，得到第三求和结果和第四求和结果；

对所述第三求和结果和第四求和结果分别取绝对值后，再执行相加操作，得到第二相加结果；

对所述第二相加结果执行归一化操作，得到所述待插值像素的平均竖直梯度值；

其中，所述第三滤波器及第四滤波器的大小，与所述第二图像块的大小相同。

10.如权利要求9所述的图像处理方法，其特征在于，所述第三滤波器及第四滤波器的系数，是基于所述第二图像块内每一行各像素出现的次数确定的。

11.如权利要求9所述的图像处理方法，其特征在于，

所述第三滤波器的系数为：

所述第四滤波器的系数为：

12.如权利要求2所述的图像处理方法，其特征在于，所述基于所述平均竖直梯度值及平均水平梯度值的大小，按照边缘方向执行插值操作，包括：

当所述平均竖直梯度值大于或等于所述平均水平梯度值时，判定当前边缘方向为水平方向，并按照水平方向执行插值操作；

当所述平均竖直梯度值小于所述平均水平梯度值时，判定当前边缘方向为竖直方向，并按照竖直方向执行插值操作。

13.如权利要求1所述的图像处理方法，其特征在于，所述第一图像传感器中，每个所述可见光像素都适于接收全部白光可见光，而不接收近红外光；每个所述近红外光像素只接收近红外光。

14.如权利要求1至13任一项所述的图像处理方法，其特征在于，所述将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像，包括：

将所述完整近红外光图像作为R通道图像；

将所述完整可见光图像分别作为G通道图像及B通道图像；

将所述R通道图像、G通道图像及B通道图像合并，得到RGB彩色图像。

15.一种图像处理装置，其特征在于，包括：

获取单元，适于获取原始马赛克图像；所述原始马赛克图像来自第一图像传感器；

插值单元，适于对所述原始马赛克图像中的可见光像素执行插值操作，得到完整可见光图像，以及对所述原始马赛克图像中的近红外光像素执行插值操作，得到完整近红外光图像；

图像融合单元，适于将所述完整可见光图像及所述完整近红外光图像进行图像融合，得到融合图像；

其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布。

16.一种图像处理***，其特征在于，包括：第一图像传感器，以及权利要求15所述的图像处理装置；其中，所述第一图像传感器的像素阵列中，一半像素为可见光像素，另一半像素为近红外光像素；并且，在所述像素阵列的水平方向上，所述可见光像素与所述近红外光像素间隔排布；在所述像素阵列的竖直方向上，所述可见光像素与所述近红外光像素间隔排布；所述第一图像传感器适于向所述图像处理装置提供原始马赛克图像。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求1至14任一项所述方法的步骤。

18.一种图像处理装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至14任一项所述方法的步骤。

Images