CN104751432B

CN104751432B - 一种基于图像重构的可见光与红外图像融合方法

Info

Publication number: CN104751432B
Application number: CN201510101000.5A
Authority: CN
Inventors: 傅志中; 牛婷婷; 徐进; 李晓峰; 周宁; 郑婷
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2015-03-09
Filing date: 2015-03-09
Publication date: 2017-06-16
Anticipated expiration: 2035-03-09
Also published as: CN104751432A

Abstract

本发明公开了一种基于图像重构的可见光与红外图像融合方法，属于图像处理领域。本发明依次通过计算已配准的红外图像和可见光亮度图像的梯度、估计亮度图像的噪声强度、求亮度图像梯度的加权和、获得重构图像、归一化重构图像、重构的亮度图像与原可见光的色彩分量组合等步骤，解决现有图像拼接、融合过程中，图像边界存在显著差异性问题。本发明可应用于任意多幅已配准图像的融合处理。

Description

一种基于图像重构的可见光与红外图像融合方法

技术领域

本发明属于图像处理领域，具体涉及一种基于图像重构的可见光与红外图像融合方法。

背景技术

图像融合是指将多个传感器探测的图像信息综合处理后，实现对探测场景更全面、更可靠的描述。图像融合通过整合不同图像信息源的互补信息，既可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，又能去除多源图像信息的冗余性，在提高图像理解和识别效率的同时又提高了图像的质量，有利于对物理现象和事件进行定位、识别和解释。图像融合通常分为三个层次：像素级融合、特征级融合与决策级融合，本发明属于像素级融合。像素级融合处理的输入和输出数据都是以图像数据为载体，其处理目标是将待融合图像中的感兴趣信息提取出来，集成至融合图像中。

随着多尺度分析工具的发展，以DWT和其一系列改进方案如非下采样轮廓波(NSCT)为代表多尺度分析工具已经广泛应用于图像融合领域[Kong W,Zhang L,LeiY.Novel fusion method for visible light and infrared images based on NSST–SF–PCNN[J].Infrared Physics&Technology,2014,65:103-112.]。融合规则是基于多尺度分析的融合算法中另一个至关重要的因素，融合规则一般可分为三类：基于像素的融合规则、基于窗口的融合规则和基于区域的融合规则[叶传奇.基于多尺度分解的多传感器图像融合算法研究[D].[博士论文].西安电子科技大学,2009]。基于像素的融合规则如传统的加权平均得到的融合图像对比度较低；基于窗口的融合规则，如基于窗口区域统计特性的融合算法[张强,郭宝龙.一种基于非采样Contourlet变换红外图像与可见光图像融合算法[J].红外与毫米波学报,2007,06:476-480.]，考虑了相邻像素间的相关性，在一定程度上提高了融合效果；基于区域的融合规则，是将构成某区域的多个像素作为一个整体参与到融合过程中，如基于区域分割的图像融合算法[Liu Kun,Guo Lei,Li Hui-hua,etal.Fusion of infrared and visible light images based on region segmentation[J].Chinese Journal of Aeronautics,2009,22(1):75-80]，其融合图像的整体视觉效果更好，并可较好地抑制融合痕迹。但是，上述图像融合方法在对不同大小尺寸的图像进行融合处理时，或者在图像中存在显著梯度变化时，融合图像中存在显著的融合、拼接痕迹。采用边界滤波可以降低融合痕迹，但同时也降低了图像的清晰度。本发明采用图像重构的方法，调整参数少，无需对融合图像进行滤波，即可实现图像的无痕迹融合。

发明内容

本发明针对现有技术中的不足之处提供了一种基于图像重构的可见光与红外图像融合方法，解决现有图像拼接、融合后，融合图像中存在融合痕迹问题，其流程如图1所示，主要包括以下步骤：

步骤01.读取需要进行融合的m幅红外图像IR_i(x,y)和n幅可见光图像IM_j(x,y)，其中，i＝1…m，j＝1…n；将每一幅可见光图像IM_j(x,y)变换至YUV空间，YUV空间的三个分量分别为{IV_j,Cb_j,Cr_j}，其中IV_j是亮度分量，Cb_j和Cr_j是色度分量；

步骤02.对每一幅红外图像和可见光图像按步骤03至步骤06进行操作；

步骤03.以一阶前向或后向差分近似求出红外图像IR_i(x,y)的梯度图像GR_i(x,y)及可见光图像对应的亮度分量IV_j(x,y)的梯度图像GV_j(x,y)；以下公式为采用一阶前向差分近似所得：

GR_i(x,y)＝▽IR_i(x,y)≈(IR_i(x+1,y)-IR_i(x,y),IR_i(x,y+1)-IR_i(x,y))；

GV_j(x,y)＝▽IV_j(x,y)≈(IV_j(x+1,y)-IV_j(x,y),IV_j(x,y+1)-IV_j(x,y))；

步骤04.对梯度图像IR_i(x,y)进行均值滤波得均值图像IRM_i(x,y)，对梯度图像IV_j(x,y)进行均值滤波得均值图像IVM_j(x,y)；

步骤05.从梯度图像IR_i(x,y)中减去均值图像IRM_i(x,y)得误差图像IRE_i(x,y)，从梯度图像IV_j(x,y)中减去均值图像IVM_j(x,y)得误差图像IVE_j(x,y)；

步骤06.分别计算误差图像IRE_i(x,y)和IVE_j(x,y)的噪声标准差；

误差图像IRE_i(x,y)的噪声标准差具体通过以下方法获得：

(06-1)统计误差图像IRE_i(x,y)的标准差σ_R0,i；

(06-2)删除误差图像IRE_i(x,y)中分布于三倍方差3σ_R0,i之外的误差点；

(06-3)重复步骤(06-1)至(06-2)进行迭代运算，直至相邻两次迭代运算所得标准差的相对误差小于10％时止，即第p+1次迭代运算所得的标准差σ_Rp+1,i相对于第p次迭代获得的标准差σ_Rp+1,i的相对误差小于10％时止，记第p+1次迭代运算所得的标准差σ_Rp+1,i为误差图像IRE_i(x,y)的噪声标准差σ_R,i；

误差图像IVE_j(x,y)的噪声标准差σ_V,j的计算方法与噪声标准差σ_R,i的计算方法相同；

步骤07.计算加权系数μ_R,i和μ_V,j：

μ_R,i＝σ_V,i/(σ_Rs+σ_Vs)，μ_V,j＝σ_R,j/(σ_Rs+σ_Vs)

其中：σ_Rs＝σ_R,1+σ_R,2+…+σ_R,m；σ_Vs＝σ_V,1+σ_V,2+…+σ_V,n；

步骤08.获得梯度图像加权和G(x,y)＝[Gx(x,y),Gy(x,y)]，具体通过以下方式获得：

Gx(x,y)＝μ_R,1*GR_1,x(x,y)*[sign[|GR_1,x(x,y)|-σ_R,1]+1]/2

+μ_R,2*GR_2,x(x,y)*[sign[|GR_2,x(x,y)|-σ_R,2]+1]/2

……

+μ_R,m*GR_m,x(x,y)*[sign[|GR_m,x(x,y)|-σ_R,m]+1]/2

+μ_V,1*GV_1,x(x,y)*[sign[|GV_1,x(x,y)|-σ_V,1]+1]/2

+μ_V,2*GV_2,x(x,y)*[sign[|GV_2,x(x,y)|-σ_V,2]+1]/2

……

+μ_V,n*GV_n,x(x,y)*[sign[|GV_m,x(x,y)|-σ_V,m]+1]/2；

Gy(x,y)＝μ_R,1*GR_1,y(x,y)*[sign[|GR_1,y(x,y)|-σ_R,1]+1]/2

+μ_R,2*GR_2,y(x,y)*[sign[|GR_2,y(x,y)|-σ_R,2]+1]/2

……

+μ_R,m*GR_m,y(x,y)*[sign[|GR_m,y(x,y)|-σ_R,m]+1]/2

+μ_V,1*GV_1,y(x,y)*[sign[|GV_1,y(x,y)|-σ_V,1]+1]/2

+μ_V,2*GV_2,y(x,y)*[sign[|GV_2,y(x,y)|-σ_V,2]+1]/2

……

+μ_V,n*GV_n,y(x,y)*[sign[|GV_m,y(x,y)|-σ_V,m]+1]/2；

其中，GR_i,x(x,y)与GR_i,y(x,y)分别是梯度图像GR_i(x,y)的x、y分量，GV_i,x(x,y)与GV_i,y(x,y)分别是梯度图像GV_j(x,y)的x、y分量，即GR_i(x,y)＝[GR_i,x(x,y),GR_i,y(x,y)]，GV_j(x,y)＝[GV_i,x(x,y),GV_i,y(x,y)]；

步骤09.求解泊松方程▽²I_Re(x,y)＝div(G(x,y))，获得重构的亮度图像I_Re(x,y)；

步骤10.读取图像I_Re(x,y)的像素最大值I_maxRe和像素最小值I_minRe，对图像I_Re(x,y)归一化：I_Reunify(x,y)＝(I_Re(x,y)-I_minRe)/(I_maxRe-I_minRe)；

步骤11.从所述n幅可见光图像中随机选取一幅图像，将该可见光图像的色度分量Cb、Cr与重构的归一化亮度图像I_Reunify(x,y)组合，得到融合后的图像{I_Reunify,Cb,Cr}。

本发明的有益效果是：

采用本发明的图像融合方法，解决了现有图像拼接、融合算法得到的融合图像中存在的融合痕迹问题。同时，在融合过程中，抑制平坦区域的噪声。

附图说明

图1是本发明提供的基于图像重构的可见光与红外图像融合方法流程图；

图2是用于实施例的RGB空间可见光图像，图像宽度为1024，高度为1024，其视场为红外图像的三分之一，并位于红外图像的中间；

图3是用于实施例的红外图像，图像宽度320，高度为240，其视场是可见光图像的三倍；

图4是采用传统的多尺度图像融合方法把图2和图3进行融合后的图像；

图5是实施例中采用本发明提供的图像融合方法的融合图像。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

实施例

本实施例的目的是把一幅红外图像与一幅可见光图像进行融合，具体包括以下步骤：

步骤01.读取可见光图像IM(x,y)，如图2所示；将可见光图像变换至YUV空间，三个分量分别为{IV,Cb,Cr}，其中IV(x,y)是亮度分量，Cb和Cr是色度分量，图像尺寸为1024×1024，视场为红外图像视场的三分之一，并位于红外图像的正中心；读取红外图像IR(x,y)，如图3所示，图像尺寸为320×240，视场为可见光图像视场的三倍；

步骤02.根据可见光与红外图像视场比例，完成可见光图像与红外图像像素缩放比例变换：将可见光图像水平和垂直方向都线性压缩为其图像的1/3，压缩后的尺寸为341×341，图像中心与红外图像中心重合，对浮点数坐标四舍五入法至整数栅格坐标；

步骤03.采用一阶前向差分求出红外图像IR(x,y)和亮度分量图像IV(x,y)的梯度图像GR(x,y)和GV(x,y)：

GR(x,y)＝▽IR(x,y)≈(IR(x+1,y)-IR(x,y),IR(x,y+1)-IR(x,y))，

GV(x,y)＝▽IV(x,y)≈(IV(x+1,y)-IV(x,y),IV(x,y+1)-IV(x,y))；

步骤04.对梯度图像IR(x,y)进行均值滤波得均值图像IRM(x,y)，对梯度图像IV(x,y)进行均值滤波得均值图像IVM(x,y)；

步骤05.从梯度图像IR(x,y)中减去均值图像IRM(x,y)得误差图像IRE(x,y)，从梯度图像IV(x,y)中减去均值图像IVM(x,y)得误差图像IVE(x,y)；

步骤06.分别计算误差图像IRE(x,y)和IVE(x,y)的标准差σ_R,i和σ_V,j；

步骤07.计算加权系数μ_R,i和μ_V,j；

步骤08.获得梯度图像加权和G(x,y)＝[Gx(x,y),Gy(x,y)]；

步骤10.读取图像I_Re(x,y)的像素最大值I_maxRe和像素最小值I_minRe，对图像I_Re(x,y)进行归一化操作：I_Reunify(x,y)＝(I_Re(x,y)-I_minRe)/(I_maxRe-I_minRe)；

步骤11.将重构的归一化亮度图像I_Reunify(x,y)与原可见光图像的彩色分量Cb、Cr组合，得到融合后图像{I_Reunify,Cb,Cr}，如图5所示，图像输出尺寸为320×240彩色图像。

图4是采用传统的多尺度图像融合方法，将图2与图3进行融合后的融合图像；经对比可知，本实施案例中采用本发明提供方法所得的融合图像较其它方法，能更好地处理融合图像的边界，融合图像边界自然、平滑。

Claims

1.一种基于图像重构的可见光与红外图像融合方法，具体包括以下步骤：

步骤01.读取需要进行融合的m幅红外图像IR_i(x,y)和n幅可见光图像IM_j(x,y)，其中，i＝1,…,m，j＝1,…,n；将每一幅可见光图像IM_j(x,y)变换至YUV空间，YUV空间的三个分量分别为{IV_j,Cb_j,Cr_j}，其中IV_j是亮度分量，Cb_j和Cr_j是色度分量；

步骤03.以一阶前向或后向差分近似求出红外图像IR_i(x,y)的梯度图像GR_i(x,y)及可见光图像对应的亮度分量IV_j(x,y)的梯度图像GV_j(x,y)；

步骤04.对梯度图像GR_i(x,y)进行均值滤波得均值图像IRM_i(x,y)，对梯度图像GV_j(x,y)进行均值滤波得均值图像IVM_j(x,y)；

步骤05.从梯度图像GR_i(x,y)中减去均值图像IRM_i(x,y)得误差图像IRE_i(x,y)，从梯度图像GV_j(x,y)中减去均值图像IVM_j(x,y)得误差图像IVE_j(x,y)；

步骤06.分别计算误差图像IRE_i(x,y)和IVE_j(x,y)的噪声标准差；

误差图像IRE_i(x,y)的噪声标准差具体通过以下方法获得：

(06-1)统计误差图像IRE_i(x,y)的标准差σ_R0,i；

(06-2)删除误差图像IRE_i(x,y)中分布于三倍标准差3σ_R0,i之外的误差点；

(06-3)重复步骤(06-1)至(06-2)进行迭代运算，直至相邻两次迭代运算所得标准差的相对误差小于10％时止，即第p+1次迭代运算所得的标准差σ_Rp+1,i相对于第p次迭代获得的标准差σ_Rp,i的相对误差小于10％时止，记第p+1次迭代运算所得的标准差σ_Rp+1,i为误差图像IRE_i(x,y)的噪声标准差σ_R,i；

步骤07.计算加权系数μ_R,i和μ_V,j：

μ_R,i＝σ_R,i/(σ_Rs+σ_Vs)，μ_V,j＝σ_V,j/(σ_Rs+σ_Vs)

其中：σ_Rs＝σ_R,1+σ_R,2+···+σ_R,m；σ_Vs＝σ_V,1+σ_V,2+···+σ_V,n；

步骤08.获得梯度图像GR_i(x,y)与GV_j(x,y)的加权和G(x,y)＝[Gx(x,y),Gy(x,y)]；

步骤11.从所述n幅可见光图像中随机选取一幅图像，将随机选取的可见光图像的色度分量Cb、Cr与重构的归一化亮度图像I_Reunify(x,y)组合，得到融合后的图像{I_Reunify,Cb,Cr}。

2.根据权利要求1所述的基于图像重构的可见光与红外图像融合方法，其特征在于，步骤03中所述梯度图像GR_i(x,y)及GV_j(x,y)具体采用以一阶前向差分近似求得：

GR_i(x,y)＝▽IR_i(x,y)≈(IR_i(x+1,y)-IR_i(x,y),IR_i(x,y+1)-IR_i(x,y))，

GV_j(x,y)＝▽IV_j(x,y)≈(IV_j(x+1,y)-IV_j(x,y),IV_j(x,y+1)-IV_j(x,y))。

3.根据权利要求1所述的基于图像重构的可见光与红外图像融合方法，其特征在于，所述梯度图像加权和G(x,y)＝[Gx(x,y),Gy(x,y)]具体通过以下方式获得：

Gx(x,y)＝μ_R,1*GR_1,x(x,y)*[sign[|GR_1,x(x,y)|-σ_R,1]+1]/2

+μ_R,2*GR_2,x(x,y)*[sign[|GR_2,x(x,y)|-σ_R,2]+1]/2

······

+μ_R,m*GR_m,x(x,y)*[sign[|GR_m,x(x,y)|-σ_R,m]+1]/2

+μ_V,1*GV_1,x(x,y)*[sign[|GV_1,x(x,y)|-σ_V,1]+1]/2

+μ_V,2*GV_2,x(x,y)*[sign[|GV_2,x(x,y)|-σ_V,2]+1]/2

······

+μ_V,n*GV_n,x(x,y)*[sign[|GV_n,x(x,y)|-σ_V,n]+1]/2；

Gy(x,y)＝μ_R,1*GR_1,y(x,y)*[sign[|GR_1,y(x,y)|-σ_R,1]+1]/2

+μ_R,2*GR_2,y(x,y)*[sign[|GR_2,y(x,y)|-σ_R,2]+1]/2

······

+μ_R,m*GR_m,y(x,y)*[sign[|GR_m,y(x,y)|-σ_R,m]+1]/2

+μ_V,1*GV_1,y(x,y)*[sign[|GV_1,y(x,y)|-σ_V,1]+1]/2

+μ_V,2*GV_2,y(x,y)*[sign[|GV_2,y(x,y)|-σ_V,2]+1]/2

······

+μ_V,n*GV_n,y(x,y)*[sign[|GV_n,y(x,y)|-σ_V,n]+1]/2；

其中，GR_i,x(x,y)与GR_i,y(x,y)分别是梯度图像GR_i(x,y)的x、y分量，GV_j,x(x,y)与GV_j,y(x,y)分别是梯度图像GV_j(x,y)的x、y分量，即GR_i(x,y)＝[GR_i,x(x,y),GR_i,y(x,y)]，GV_j(x,y)＝[GV_j,x(x,y),GV_j,y(x,y)]。