CN104616261A - 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 - Google Patents

Abstract

本发明涉及一种基于光谱特性的Shearlet域多光谱与全色图像融合方法，其包括以下步骤：(1)对多光谱影像进行IHS变换；(2)将BIMFs和全色图像分别进行Shearlet变换分解，并获得其各自的一个低频子带和若干高频子带；(3)建立融合规则选择融合系数：低频系数利用拉普拉斯金字塔分解，通过比较取大法选择低频融合系数；通过基于双通道脉冲耦合神经网络(PCNN)的融合规则融合对应的高频系数；(4)通过IHS逆变换，得到最终融合后图像。本发明融合算法在增强空间细节表现能力的同时尽可能保护了图像的光谱信息，改善了融合效果。

Description

一种基于光谱特性的Shearlet域多光谱与全色图像融合方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体涉及一种基于光谱特性的Shearlet域多光谱与全色图像融合方法。

背景技术

遥感影像无法同时具备高空间分辨率和高光谱分辨率，需要利用光谱分辨率提高空间分辨率。遥感图像融合把空间或时间上冗余的多源数据按一定规则运算处理，获得比任何单一数据更精确、更丰富的信息，生成一幅具有新的空间、波谱、时间特征的合成图像。

全色图像具有高空间分辨率，善于表达地物的细节特征，但光谱分辨率不足；多光谱图像光谱信息丰富，利于对识别地物目标轮廓，但空间分辨率低。多光谱与全色图像融合既可以利用全色图像的高分辨率改善多光谱图像的分辨率，又可以充分利用多光谱图像中特有的对目标的精细表达，获得更丰富的目标信息。

改进分量替换方法和多分辨分析是解决光谱失真问题的两种方法，通过对常用IHS变换公式进行了改进，用矩阵加法运算替换了矩阵乘法运算，将融合范围扩展到多于三个波段的融合，以缩小光谱扭曲程度；部分研究通过加入调节参数，用以控制空间细节的注入程度，使得融合结果介于标准IHS变换与BROVERY变换之间。

为了取得更好的融合效果，越来越多的研究将分量替代法和基于多分辨分析方法结合起来运用；IHS变换结合小波变换的融合方法是其中的代表，首先对Pan图像、MS图像的亮度分量预处理，然后进行小波分解，用全色图像的高频系数替换亮度分量的高频系数，保留MS图像的低频分量，融合处理得到新的亮度分量,由于其携带的光谱信息受到保护，一定程度上减少了光谱扭曲；类似的利用IHS变换结合Contourlet变换的融合方法，先将MS图像的亮度分量与PAN图做直方图匹配，运用多分辨分析将PAN图像的细节信息注入到亮度分量，得到高分辨率的主分量；由于融合只在亮度分量和PAN图像之间进行，部分减少了融合图像的光谱失真问题；上述方法虽然减少了融合图像的光谱失真，但由于其都包括下采样和上采样操作，产生伪吉布斯现象，损失了Pan图像的部分空间信息,融合影像的空间分辨率往往不及传统的IHS融合方法，同时融合结果对小波基函数和分解层次的选择比较敏感，参数选择较为复杂。

为了克服上述缺点，可以利用BEMD代替上述多分辨分析方法，原因在于BEMD具有比小波分析更直观的特征表示方式和更灵活的频率特性，对图像进行分解不需要在变换中选择基函数却能得到类似小波变换的多分辨率表示,且在目标分解中不引进冗余信息。分解得到的BIMFs各子带间具有相关性，类似于小波域不同尺度间的相关性，同时由于分解过程无下采样，避免了小波变换中会引起的伪吉布斯现象。BEMD具有很好的图像边缘检测与纹理识别的能力，利于图像细节保护和图像纹理的提取。BIMFs各子带包含了原始图像的主要边缘轮廓，即空间结构信息，而余量则包含了图像的趋势信息，对应于遥感图像的低频分量，携带了其光谱信息。所以利用BEMD实现图像多分辨分析，可以更好地保护光谱信息。

发明内容

本发明所要解决的技术问题是：提供一种基于光谱特性的Shearlet域多光谱与全色图像融合方法，提高空间分辨率的同时兼顾了人眼在彩色背景下的视觉特性，尽可能保留多光谱图像原亮度分量中的光谱信息，减少了光谱失真。

本发明的技术方案是：一种基于光谱特性的Shearlet域多光谱与全色图像融合方法，包括以下步骤：

(1)对多光谱影像进行IHS变换，得到亮度分量P_I、色度分量P_S、饱和度分量P_H，将多光谱影像的亮度分量P_I通过二维经验模态分解BEMD得到频率从高到低排列的n-1个二维内蕴模函数BIMF_t,t＝1,2,...n-1,n>3和余量res；

(2)计算n-1个二维内蕴模函数BIMF_t的能量并排序，统计能量排序前三的分量之和B_MS，将B_MS和全色图像I_PAN分别通过Shearlet变换分解，分解层数为三层，获得各自的一个低频子带：和三层高频子带：m＝1,2,3，二维内蕴模函数BIMF_t能量的计算公式如式(1)所示：

$E\left({\mathrm{BIMF}}_t\right)=\left(\underset{x=1}{\overset{i}{\mathrm{\Σ}}}\underset{y=1}{\overset{j}{\mathrm{\Σ}}}D{{(x,y)}^2}_t\right)---\left(1\right)$

其中，D(x,y)_t为BIMF_t的系数，i,j分别表示BIMF_t的行数和列数；

(3)建立融合规则选择融合系数：利用拉普拉斯金字塔分解低频系数，得到对应分解系数L_MS,ij和L_PAN,ij，通过式(2)所示的比较取大法选择低频融合系数L_F,ij：

$L_{F,\mathrm{ij}}=\left\{\begin{array}{c}{L}_{\mathrm{MS},\mathrm{ij}},\mathrm{if}(L_{\mathrm{MS},\mathrm{ij}}\&GreaterEqual;L_{\mathrm{PAN},\mathrm{ij}})\\ L_{\mathrm{PAN},\mathrm{ij}},\mathrm{if}(L_{\mathrm{MS},\mathrm{ij}}<L_{\mathrm{PAN},\mathrm{ij}})\end{array}\right.---\left(2\right)$

通过基于双通道脉冲耦合神经网络制定的融合规则融合对应的高频系数，具体如下：

①将分别输入双通道脉冲耦合神经网络的两个输入端，利用式(3)计算系数的对比敏感度因子CSF作为双通道脉冲耦合神经网络的外部激励；

CSF(f)＝2.6×(0.0192+0.114f)exp[-(0.114f)^1.1]   (3)

其中，是空间频率；f_x、f_y分别是水平和竖直方向的空间频率，

$f_x=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i,j-1)]}^2}---\left(4\right)$

$f_y=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i-1,j)]}^2}---\left(5\right)$

其中，M为源图像行数，N为源图像列数；

②根据公式(6)比较得到各方向子带的融合系数：

$H_{F,\mathrm{ij}}^{m,k}=\left\{\begin{array}{cc}{B}_{\mathrm{MS},\mathrm{ij}}^{h,m},\mathrm{if}& \mathrm{CSF}\left(B_{\mathrm{MS},\mathrm{ij}}^{h,m}\right)>\mathrm{CSF}\left(I_{\mathrm{PAN},\mathrm{ij}}^{h,m}\right)\\ I_{\mathrm{PAN},\mathrm{ij}}^{h,m},\mathrm{if}& \mathrm{CSF}\left(B_{\mathrm{MS},\mathrm{ij}}^{h,m}\right)<\mathrm{CSF}\left(I_{\mathrm{PAN},\mathrm{ij}}^{h,m}\right)\end{array}\right.---\left(6\right)$

其中，m和k分别指第m层分解，第k个方向子带，是高频子带在(i,j)点的系数；

③利用Shearlet反变换重构L_F,ij和得到融合系数F_I，利用公式(7)得到新亮度分量P_I':

P_I'＝F_I+res   (7)

其中，res是步骤(1)得到的余量；

(4)将新亮度分量P_I'、色度分量P_S、饱和度分量P_H进行IHS逆变换，得到最终融合图像。

本发明与现有技术相比的优点在于：

本发明将BEMD和人眼对比灵敏度特性运用到遥感图像融合中,源图像首先经过IHS变换实现颜色空间转换，将I分量通过二维经验模态分解得到包含高频分量的固有模态函数和包含低频分量的余量，然后将Pan图像和IMFs通过Shearlet变换分解获得不同尺度多个方向下的分解系数，融合规则考虑了人眼特性，利用基于的彩色对比灵敏度激励的双通道PCNN和拉普拉斯金字塔选择融合系数，再通过IHS反变换重构得到融合图像，新算法利用了Shearlet变换能够实现图像最优表示的优势。

为改善传统融合方法引起的光谱扭曲，本发明利用彩色对比敏感度特性，首先通过IHS变换得到I分量，再结合BEMD实现多光谱图像光谱信息(I分量中的Res分量)和空间信息(I分量中的BIMFs分量)分离，Pan图像中的空间信息通过与IMFs融合的方式注入到融合图像，为了符合人眼特性，利用Shearlet变换分别将Pan图像和IMFs分解为不同尺度多个方向下的系数，通过基于彩色对比敏感度激励的双通道PCNN选择融合高频系数，实现彩色背景下图像特征的提取，融合算法在增强空间细节表现能力的同时尽可能保护了图像的光谱信息，改善了融合效果。

附图说明

图1为本发明融合流程示意图。

图2为各种融合算法效果比较示意图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

如图1所示，一种基于光谱特性的Shearlet域多光谱与全色图像融合方法包括以下步骤：

(1)对多光谱影像进行IHS变换，得到亮度分量P_I、色度分量P_S、饱和度分量P_H，将多光谱影像的亮度分量P_I通过二维经验模态分解BEMD得到频率从高到低的n-1个二维内蕴模函数BIMF_t,t＝1,2,...n-1,n>3和余量res；

(2)计算n-1个二维内蕴模函数BIMF_t的能量并进行排序，统计能量排序前三的分量之和B_MS，将B_MS和全色图像I_PAN分别进行Shearlet变换三层分解，获得各自的一个低频子带：和三层高频子带：m＝1,2,3，其中1-3层分别包含10，10，18个方向子带；二维内蕴模函数BIMF_t能量的计算公式如式(1)所示：

$E\left({\mathrm{BIMF}}_t\right)=\left(\underset{x=1}{\overset{i}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{j}{\mathrm{\&Sigma;}}}D{{(x,y)}^2}_t\right)---\left(1\right)$

其中，D(x,y)_t为BIMF_t的系数，i,j分别表示BIMF_t的行数和列数；

(3)建立融合规则选择融合系数：利用拉普拉斯金字塔分解低频系数，得到对应分解系数L_MS,ij和L_PAN,ij，通过式(2)所示的比较取大法选择低频融合系数L_F,ij：

$L_{F,\mathrm{ij}}=\left\{\begin{array}{c}{L}_{\mathrm{MS},\mathrm{ij}},\mathrm{if}(L_{\mathrm{MS},\mathrm{ij}}\&GreaterEqual;L_{\mathrm{PAN},\mathrm{ij}})\\ L_{\mathrm{PAN},\mathrm{ij}},\mathrm{if}(L_{\mathrm{MS},\mathrm{ij}}<L_{\mathrm{PAN},\mathrm{ij}})\end{array}\right.---\left(2\right)$

通过基于双通道脉冲耦合神经网络PCNN制定的融合规则融合对应的高频系数，具体如下：

①将分别输入到双通道脉冲耦合神经网络PCNN的两个输入端，利用式(3)计算系数的对比敏感度因子CSF作为双通道脉冲耦合神经网络PCNN的外部激励；

CSF(f)＝2.6×(0.0192+0.114f)exp[-(0.114f)^1.1]   (3)

其中，是空间频率；f_x、f_y分别是水平和竖直方向的空间频率，

$f_x=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i,j-1)]}^2}---\left(4\right)$

$f_y=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i-1,j)]}^2}---\left(5\right)$

其中，M为源图像行数，N为源图像列数；

②根据公式(6)比较得到各方向子带的融合系数：

$H_{F,\mathrm{ij}}^{m,k}=\left\{\begin{array}{cc}{B}_{\mathrm{MS},\mathrm{ij}}^{h,m},\mathrm{if}& \mathrm{CSF}\left(B_{\mathrm{MS},\mathrm{ij}}^{h,m}\right)>\mathrm{CSF}\left(I_{\mathrm{PAN},\mathrm{ij}}^{h,m}\right)\\ I_{\mathrm{PAN},\mathrm{ij}}^{h,m},\mathrm{if}& \mathrm{CSF}\left(B_{\mathrm{MS},\mathrm{ij}}^{h,m}\right)<\mathrm{CSF}\left(I_{\mathrm{PAN},\mathrm{ij}}^{h,m}\right)\end{array}\right.---\left(6\right)$

其中，m和k分别指第m层分解，第k个方向子带；是高频子带在(i，j)点的系数，是高频子带，由步骤(2)得到。

③利用Shearlet反变换重构L_F,ij和得到融合系数F_I，利用公式(7)得到新亮度分量P_I':

P_I'＝F_I+res   (7)

其中，res是步骤(1)中得到的余量；

(4)将新亮度分量P_I'、色度分量P_S、饱和度分量P_H进行IHS逆变换，得到最终融合后的图像。

如图2所示，本发明方法与其它几种融合方法比较的效果。图(a)为Pan图像，图(b)为MS图像，图(c)-(g)分别为利用基于GIHS、离散小波变换(DWT)、主成分分析(PCA)、Brovey和本发明方法进行图像融合的效果，通过比较可以看到，利用本发明方法进行图像融合不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节，符合人眼视觉特性。

在表1所示的客观评价指标比较表中，通过标准差(Std)，信息熵(En)，空间频率(SF)，平均梯度(Gradient)，相关系数(CC)，光谱扭曲度(WD)衡量不同融合方法获得的融合图像质量，标准差(Std)，信息熵(En)，空间频率(SF)，平均梯度(Gradient)，相关系数(CC)越大，说明融合图像中特征信息越丰富，与源图像越接近，融合效果越好，光谱扭曲度(WD)衡量光谱失真程度，值越大说明光谱失真越严重。由表1中数据可以看到，本方法前五个指标和其他方法相比都有明显改善，显示本方法所生成的融合图像具有较大的局部梯度，灰度级分布更加分散，图像纹理较丰富，细节突出，光谱扭曲度(WD)是所有方法最小的，说明本发明方法光谱信息损失较少，融合效果更好。

表1

Claims (1)

1.一种基于光谱特性的Shearlet域多光谱与全色图像融合方法，其特征在于，包括以下步骤：

(1)对多光谱影像进行IHS变换，得到亮度分量P_I、色度分量P_S、饱和度分量P_H，将多光谱影像的亮度分量P_I通过二维经验模态分解BEMD得到频率从高到低排列的n-1个二维内蕴模函数BIMF_t,t＝1,2,...n-1,n>3和余量res；

(2)计算n-1个二维内蕴模函数BIMF_t的能量并排序，统计能量排序前三的分量之和B_MS，将B_MS和全色图像I_PAN分别通过Shearlet变换分解，分解层数为三层，获得各自的一个低频子带：和三层高频子带：m＝1,2,3，二维内蕴模函数BIMF_t能量的计算公式如式(1)所示：

$E\left({\mathrm{BIMF}}_t\right)=\left(\underset{x=1}{\overset{i}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{j}{\mathrm{\&Sigma;}}}D{{(x,y)}^2}_t\right)---\left(1\right)$

其中，D(x,y)_t为BIMF_t的系数，i,j分别表示BIMF_t的行数和列数；

(3)建立融合规则选择融合系数：利用拉普拉斯金字塔分解低频系数，得到对应分解系数L_MS,ij和L_PAN,ij，通过式(2)所示的比较取大法选择低频融合系数L_F,ij：

$L_{F,\mathrm{ij}}=\left\{\begin{array}{c}{L}_{\mathrm{MS},\mathrm{ij}}\mathrm{if}(L_{\mathrm{MS},\mathrm{ij}}\&GreaterEqual;L_{\mathrm{PAN},\mathrm{ij}})\\ L_{\mathrm{PAN},\mathrm{ij}},\mathrm{if}(L_{\mathrm{MS},\mathrm{ij}}<L_{\mathrm{PAN},\mathrm{ij}})\end{array}\right.---\left(2\right)$

通过基于双通道脉冲耦合神经网络制定的融合规则融合对应的高频系数，具体如下：

①将分别输入双通道脉冲耦合神经网络的两个输入端，利用式(3)计算系数的对比敏感度因子CSF作为双通道脉冲耦合神经网络的外部激励；

CSF(f)＝2.6×(0.0192+0.114f)exp[-(0.114f)^1.1]  (3)

其中，是空间频率；f_x、f_y分别是水平和竖直方向的空间频率，

$f_x=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i,j-1)]}^2}---\left(4\right)$

$f_y=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{[f(i,j)-f(i-1,j)]}^2}---\left(5\right)$

其中，M为源图像行数，N为源图像列数；

②根据公式(6)比较得到各方向子带的融合系数：

$H_{F,\mathrm{ij}}^{m,k}=\left\{\begin{array}{cc}{B}_{\mathrm{MS},\mathrm{ij}}^{h,m},\mathrm{if}& \mathrm{CSF}\left(B_{\mathrm{MS},\mathrm{ij}}^{h,m}\right)>\mathrm{CSF}\left(I_{\mathrm{PAN},\mathrm{ij}}^{h,m}\right)\\ I_{\mathrm{PAN},\mathrm{ij}}^{h,m},\mathrm{if}& \mathrm{CSF}\left(B_{\mathrm{MS},\mathrm{ij}}^{h,m}\right)<\mathrm{CSF}\left(I_{\mathrm{PAN},\mathrm{ij}}^{h,m}\right)\end{array}\right.---\left(6\right)$

其中，m和k分别指第m层分解，第k个方向子带，是高频子带在(i,j)点的系数；

③利用Shearlet反变换重构L_F,ij和得到融合系数F_I，利用公式(7)得到新亮度分量P_I':

P_I'＝F_I+res  (7)

其中，res是步骤(1)得到的余量；

(4)将新亮度分量P_I'、色度分量P_S、饱和度分量P_H进行IHS逆变换，得到最终融合图像。