CN110175970A - 基于改进fpde和pca的红外与可见光图像融合方法 - Google Patents

Abstract

本发明公开了一种基于改进FPDE和PCA的红外与可见光图像融合方法,包括以下主要步骤：1）使用改进的FPDE方法对红外和可见光图像进行分解；2）利用引导滤波对低频分量进行融合；3）利用改进的PCA方法对高频分量进行融合；4）利用线性组合进行重构得到最终融合图像。本发明避免了融合图像出现块状效应并能更好的权衡融合图像的边缘保留和平滑。

Description

基于改进FPDE和PCA的红外与可见光图像融合方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于改进FPDE和PCA的红外与可见光图像融合方法。

背景技术

在图像处理领域中，对于红外与可见光融合方法依然是研究的热点，其中基于多尺度分解的方法在图像融合方面应用最广。常用的多尺度分解方法包括小波变换(WT)、基于交叉双边滤波器(Cross Bilateral Filter，CBF)、非降采样Contourlet变换(NSCT)等。近几年研究学者们开始将PDE方法引入到图像融合处理上，它能在保持图像局部特征的同时处理重要的几何信息。与其他通用数字图像处理工具不同的是，PDE方法将图像视为一个连续的对象，对图像进行无限小的迭代操作，利用数值分析的方法进行处理。

在进行图像处理时采用PDE工具常使用各向异性扩散方法，在源图像基础上进行平滑化直到达到最优化。但是，这样极易产生块状效应或伪轮廓，影响融合图像效果。

发明内容

针对现有技术的不足，本发明所解决的技术问题是红外与可见光融合后融合图像细节纹理信息不足以及视觉效果不佳问题。

为解决上述技术问题，本发明采用的技术方案是一种基于改进FPDE和PCA的红外与可见光图像融合方法,包括以下主要步骤：

1)使用改进的FPDE方法对红外和可见光图像进行分解；具体包括下述过程：

(a)对偏微分方程使用梯度下降求解获得FPDE方法；

(b)将红外图像I_IR和可见光图像I_VI分别送入FPDE方法进行分解，分别获得低频图像和

(c)通过源图像减去近似图像获得高频图像和

2)利用引导滤波对低频分量进行融合；具体包括下述过程：

(a)对低频图像进行均值滤波得到基础图像B_n，再由低频图像减去基础图像得到细节图像D_n；

(b)分别计算待融合图像的显著性、清晰度、标准差信息，得到初始融合权重；

(c)利用引导滤波算法对初始融合权值进行修正；

(d)采用加权平均的融合方式分别对基础图像与细节图像进行融合得出融合图像的低频分量F^A；

3)利用改进的PCA方法对高频分量进行融合；具体包括下述过程：

(a)判别较暗和对比度较低的图像区域并增强此区域；

(b)将高频图像和作为矩阵γ的列向量并找出其协方差矩阵C_γγ；

(c)计算特征值λ₁、λ₂和C_γγ的特征向量；

(d)找出最大特征值并将与之对应的特征向量作为最大特征向量，再对其主成分分量进行归一化；

(e)将主成分分量作为权重来融合图像信息得到最终细节图像F^D；

4)利用线性组合进行重构得到最终融合图像。

与现有技术相比，本发明避免了融合图像出现块状效应并能更好的权衡融合图像的边缘保留和平滑。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。

图1示出了一种基于改进FPDE和PCA的红外与可见光图像融合方法，包括以下主要步骤：

1)使用改进的FPDE方法对红外和可见光图像进行分解；具体包括下述过程：

此操作会运用到拉普拉斯算子，而拉普拉斯算子对图像进行处理时，对噪声比较敏感。于是先对图像进行高斯卷积操作进行降噪操作，再通过拉普拉斯算子进行处理，就可以提高算子对于噪声的鲁棒性，而这一过程中Laplacian of Gaussian(LOG)算子就诞生了。

(a)对偏微分方程使用梯度下降求解获得FPDE方法，具体包括下述分步骤：

Step1：图像先进过高斯滤波卷积：

I_σ＝G_σ*I

σ是标准差；x、y是图像像素位置坐标；G_σ是高斯滤波卷积操作；

I是原始图像。

Step2：建立FPDE过程从而得到计算公式：

是对经过高斯滤波的图像强度图像函数u执行的FPDE进程；▽²是拉普拉斯算子；c是改进的扩散系数，其中s为变量，k_f、k_b为常数分别控制向前和向后扩散的范围，β为常数辅助控制向后扩散范围，α是向前和向后扩散之间的调节系数，满足α≤k_f/2(k_b+β)。

Step3：用迭代方法进行数值求解得到计算公式：

所是在n+1次迭代和在(x,y)像素位置处的较粗糙分辨率的图像强度，同理；Δt是步长。

(b)将红外图像I_IR和可见光图像I_VI分别送入FPDE方法进行分解，分别获得低频图像和

(c)通过源图像减去近似图像获得高频图像和

2)利用引导滤波对低频分量进行融合，具体包括下述过程：

(a)对低频图像进行均值滤波得到基础图像B_n，再由低频图像减去基础图像得到细节图像D_n：

B_n＝I_n*Z

D_n＝I_n-B_n

I_n为第n幅源图像，Z是均值滤波器。

(b)分别计算待融合图像的显著性、清晰度、标准差信息，得到初始融合权重，具体包括下述分步骤：

Step1：定义图像显著性得到计算公式：

是源图像I_n经过拉普拉斯滤波器L得到的滤波图像，g表示大小为(2r+1)×(2r+1)的高斯低通滤波器，σ是标准差。

Step2：根据图像显著性获得融合权重矩阵

N表示源图像数量，为第n幅图像中第k个像素的显著性值。

Step3：使用空间频率来表示图像清晰度并根据清晰度获得其融合权重矩阵

RF＝[I(x,y)-I(x,y-1)]²

CF＝[I(x,y)-I(x-1,y)]²

MDF＝[I(x,y)-I(x-1,y-1)]²

SDF＝[I(x,y)-I(x-1,y+1)]²

RF、CF、MDF和SDF分别表示图像的行频率、列频率、主对角频率和副对角频率。M、N分别表示图像长宽；x、y是图片像素位置坐标。

为第n幅图像中第k个像素的清晰度。

Step4：使用图像标准差表示图像对比度信息并根据标准差获得其权重矩阵

μ为局部区域内图像平均灰度值；为第n幅图像中第k个像素的对比度值。

Step5：由显著性、清晰度、对比度融合权重相乘得到初始融合权重W：

W＝P×V×C

(c)利用引导滤波算法对初始融合权值进行修正，得到经过引导滤波处理后的基础图像和细节图像和

P_n为出现融合权重矩阵；I_n为引导图像；γn和εn分别表示滤波半径和滤波模糊程度。G为引导滤波处理。

(d)采用加权平均的融合方式分别对基础图像B_n与细节图像D_n进行融合得出融合图像的低频分量F^A。

3)利用改进的PCA方法对高频分量进行融合，具体包括下述过程：

为了更好的获得融合图像的细节信息，在PCA方法中加入局部图像增强处理，减少因低灰度和低对比度而影响到图像细节信息的获取。

(a)判别较暗和对比度较低的图像区域并增强此区域，具体包括下述分步骤：

Step1：定义高频图像全局均值E_g和全局对比度得到计算公式如下：

r表示在图像灰度级[0,G-1]上的离散随机变量；p(r_i)表示灰度级r_i出现的概率。

Step2：定义高频图像局部均值E_l(i,j)和局部对比度得到计算公式如下：

假定x(a,b)是图像中某点灰度值，(2n+1)*(2n+1)为图像窗口大小。

Step3：根据判定标准对局部图像进行增强处理，计算公式如：

D表示为图像的平均值；k₀、k₁、k₂均为小于1的常数。

(b)将高频图像和作为矩阵γ的列向量并找出其协方差矩阵C_γγ；

(c)计算特征值λ₁、λ₂和C_γγ的特征向量：

(d)找出最大特征值并将与之对应的特征向量作为最大特征向量，再对其主成分分量进行归一化：

(e)将主成分分量作为权重来融合图像信息得到最终细节图像F^D，计算公式如下：

4)利用线性组合进行重构得到最终融合图像。

与现有技术相比，本发明避免了融合图像出现块状效应并能更好的权衡融合图像的边缘保留和平滑，减少融合伪影并使源图像的细节信息更好地转移到融合图像中。

以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (7)

1.一种基于改进FPDE和PCA的红外与可见光图像融合方法,其特征在于，包括以下主要步骤：

1)使用改进的FPDE方法对红外和可见光图像进行分解；

2)利用引导滤波对低频分量进行融合；

3)利用改进的PCA方法对高频分量进行融合；

4)利用线性组合进行重构得到最终融合图像。

2.根据权利要求1所述的基于改进FPDE和PCA的红外与可见光图像融合方法,其特征在于，步骤1)具体包括下述过程：

(a)对偏微分方程使用梯度下降求解获得FPDE方法；

(b)将红外图像I_IR和可见光图像I_VI分别送入FPDE方法进行分解，分别获得低频图像和

(c)通过源图像减去近似图像获得高频图像和

3.根据权利要求2所述的基于改进FPDE和PCA的红外与可见光图像融合方法,其特征在于，步骤(a)具体包括下述分步骤：

Step1：图像先进过高斯滤波卷积：

I_σ＝G_σ*I

σ是标准差；x、y是图像像素位置坐标；G_σ是高斯滤波卷积操作；I是原始图像；

Step2：建立FPDE过程从而得到计算公式：

是对经过高斯滤波的图像强度图像函数u执行的FPDE进程；是拉普拉斯算子；c是改进的扩散系数，其中s为变量，k_f、k_b为常数分别控制向前和向后扩散的范围，β为常数辅助控制向后扩散范围，α是向前和向后扩散之间的调节系数，满足α≤k_f/2(k_b+β)；

Step3：用迭代方法进行数值求解得到计算公式：

所是在n+1次迭代和在(x,y)像素位置处的较粗糙分辨率的图像强度，同理；Δt是步长。

4.根据权利要求1所述的基于改进FPDE和PCA的红外与可见光图像融合方法,其特征在于，步骤2)具体包括下述过程：具体包括下述过程：

(a)对低频图像进行均值滤波得到基础图像B_n，再由低频图像减去基础图像得到细节图像D_n；

(b)分别计算待融合图像的显著性、清晰度、标准差信息，得到初始融合权重；

(c)利用引导滤波算法对初始融合权值进行修正；

(d)采用加权平均的融合方式分别对基础图像与细节图像进行融合得出融合图像的低频分量F^A。

5.根据权利要求4所述的基于改进FPDE和PCA的红外与可见光图像融合方法,其特征在于，步骤(b)具体包括下述分步骤：

Step1：定义图像显著性S_n得到计算公式：

是源图像I_n经过拉普拉斯滤波器L得到的滤波图像，g表示大小为(2r+1)×(2r+1)的高斯低通滤波器，σ是标准差；

Step2：根据图像显著性获得融合权重矩阵

N表示源图像数量，为第n幅图像中第k个像素的显著性值；

Step3：使用空间频率来表示图像清晰度并根据清晰度获得其融合权重矩阵

RF＝[I(x,y)-I(x,y-1)]²

CF＝[I(x,y)-I(x-1,y)]²

MDF＝[I(x,y)-I(x-1,y-1)]²

SDF＝[I(x,y)-I(x-1,y+1)]²

RF、CF、MDF和SDF分别表示图像的行频率、列频率、主对角频率和副对角频率；M、N分别表示图像长宽；x、y是图片像素位置坐标；

为第n幅图像中第k个像素的清晰度；

Step4：使用图像标准差表示图像对比度信息并根据标准差获得其权重矩阵

μ为局部区域内图像平均灰度值；为第n幅图像中第k个像素的对比度值；

Step5：由显著性、清晰度、对比度融合权重相乘得到初始融合权重W：

W＝P×V×C。

6.根据权利要求1所述的基于改进FPDE和PCA的红外与可见光图像融合方法,其特征在于，步骤3)具体包括下述过程：

(a)判别较暗和对比度较低的图像区域并增强此区域；

(b)将高频图像和作为矩阵γ的列向量并找出其协方差矩阵C_γγ；

(c)计算特征值λ₁、λ₂和C_γγ的特征向量；

(d)找出最大特征值并将与之对应的特征向量作为最大特征向量，再对其主成分分量进行归一化；

(e)将主成分分量作为权重来融合图像信息得到最终细节图像F^D。

7.根据权利要求6所述的基于改进FPDE和PCA的红外与可见光图像融合方法,其特征在于，步骤(a)具体包括下述分步骤：

Step1：定义高频图像全局均值E_g和全局对比度得到计算公式如下：

r表示在图像灰度级[0,G-1]上的离散随机变量；p(r_i)表示灰度级r_i出现的概率；

Step2：定义高频图像局部均值E_l(i,j)和局部对比度得到计算公式如下：

假定x(a,b)是图像中某点灰度值，(2n+1)*(2n+1)为图像窗口大小；

Step3：根据判定标准对局部图像进行增强处理，计算公式如：

E_g＜k₀E_l且k₁σ_g＜σ_g＜k₂σ_l

D表示为图像的平均值；k₀、k₁、k₂均为小于1的常数。