CN102063710A - 一种遥感图像融合增强的实现方法 - Google Patents

Abstract

本发明涉及一种遥感图像融合增强的实现方法，包括以下步骤：将选取的多光谱遥感影像与全色波段影像进行配准；将多光谱遥感影像的波段进行LBV数据变换，得到处理后的L、B、V图像；将处理后的L、B、V图像作为三个分量，将代表普通辐射水平的L当作I分量和V分量，选择进行IHS变换融合、IHS变换同小波变换相结合的融合以及HSV变换同小波变换相结合的融合；通过肉眼观察最后的图像融合结果是否满意；采用多种评价标准对结果图像进行评价。本发明方法采用了利用多个光谱波段进行数据变换的LBV数据变换方法，使图像光谱信息更加丰富，突破了以往传统的图像融合方法只利用3个光谱波段与高分辨率图像进行融合的局限，是对传统融合方法的一大突破。

Description

一种遥感图像融合增强的实现方法

技术领域

本发明涉及计算机图像处理技术领域，具体的说是一种将LBV数据变换同传统的图像融合相结合的遥感图像融合增强的实现方法。

背景技术

LBV数据变换方法是通过对大量地物光谱曲线的研究而提出的一种新的数据变换方法，近年来在遥感图像增强，图像解译和分类等方面取得了较为广泛的应用。该算法利用多光谱图像四个波段的光谱信息，从中提取出反应地物辐射水平的L，反应可见光-近红外辐射平衡的B，以及辐射变化矢量(速度和方向)V。利用该方法所产生的L、B、V图像不仅具有明确的物理，数学和地理意义，而且保留了大量的光谱信息，合成的图像地物颜色接近地面物质的颜色特征，可以有效的用来对遥感图像进行地物识别分类和地学应用分析等。传统的变换方法往往只能使用三个光谱通道的信息，与传统方法相比，LBV变换可以集成多于3个光谱通道的信息，其变换后的图像信息量更加丰富。(参考文献：Zeng Zhiyuan，A new method of data transformation for satellite images：I.Methodology and transformation equations for TM images[J]，International Journal of Remote Sensing，2007，28(18)：4095-4124.)

图像融合就是将不同空间与光谱分辨率图像按特定的算法进行处理，使所产生的新图像同时具有原来图像的多光谱特性以及高空间分辨率信息。在多光谱遥感影像融合中，典型的图像融合方法有：基于IHS变换的融合方法，基于IHS变换和小波变换的相结合的融合方法，基于HSV变换与小波变换相结合的融合方法。

IHS(Intensity，Hue，Saturation)表示亮度、色调和饱和度，是人们认识颜色的三个特征。IHS是基于不同色彩空间融合方法的一种。在所有的色彩变换技术中，IHS变换最符合人的视觉效果。IHS变换可分为柱体变换，单六角椎变换，球体变换和三角变换四种。IHS彩色空间变换融合是指首先将RGB彩色图像分解成I(亮度)，H(色调)，S(饱和度)，再用直方图匹配后的高分辨率影像替换I，并进行反变换。对图像融合而言，各种IHS变换方法无明显的差异。(参考文献：Chavez P.S.jr，Side S.C.，Anderson J.A.，Comparison of Three Different Methods to Merge Multi-resolution and Multi-spectral Data：TM&SPOT-PAN，Photogram eng.Remote Sens.，1991，57(3)：295-303；POHL C，GENDEREN J Lva.Multisensor image fusion in remote sensing：concepts，methods，and applications[J].International Journal of Remote Sensing，1998，19(5)：823-854；Wang Ren-li，QiMeng-rao，Wang Hui.Comparative Study on the Method of IHS Transformation for Image Fusion[J].Journal of Institute of Surveying and Mapping，2000，17(4)：269-272.)

IHS融合能明显的增加多光谱图像的空间分辨率，但当高分辨率图像与多光谱图像波段之间的光谱响应范围不一致时，融合后的影像色彩畸变严重。(参考文献：POHL C，GENDEREN J Lva.Multisensor image fusion in remote sensing：concepts，methods，and applications[J].International Journal of Remote Sensing，1998，19(5)：823-854。)

小波(Wavelet Transform)变换遥感图像融合方法很好的解决了这个问题，提供了更好的光谱信息。小波变换属于时频分析的一种，其核心是多分辨率分解。小波变换可以将图像分解成一系列具有不同分辨率特征，频率特征和方向特征的子带信号并且将图像的光谱特征和空间特征完全分离，从而为不同分辨率图像的融合提供了有利条件。但是现有的小波融合算法不能保证两组信号的幅值一致，因此结果影像的边缘过度不自然，出现模糊现象，且小波基选择困难。并且融合图像的空间分辨率不如IHS变换。(参考文献有：RANCHIN T，WALD L.Fusion of high spatial and spectral resolution images：the ARSIS concept and its implementation[J].Photogrammetric Engineering and Remote Sensing，2000，66(1)：49-61.)

为了更好的结合多光谱图像的光谱信息和高分辨率图像的空间信息，人们提出了基于IHS变换和小波变换相结合的遥感图像融合方法，其基本思路是通过将高分辨率的图像与多光谱图像的IHS变换后的I分量进行直方图匹配，然后再分别进行小波变换，用高分辨率图像的低频替换I分量的低频，再对新生成的I分量进行小波反变换，而后经过IHS反变换，获得融合后的图像。(参考文献：MAR A G A，JOSE L S，RAQUEL G C，et al.Fusion of multispectral and panchromatic images using improved HIS and PCA mergers based on wavelet decomposition[J].IEEE Transactions on Geos and Remote Sensing，2004，42(6)：1291-1299；ZHANG Yun，HONG Gang.An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and quickbird images[J].Information Fusion，2005(6)：225-234.)

相比单独的IHS融合和小波融合，基于IHS变换和小波变换相结合的遥感图像融合方法可以更好的保留多光谱图像的光谱信息和高分辨率图像的空间信息。但这种方法也存在对图像配准精度要求高，小波基选择困难，计算相对复杂且所需时间长等一些不足。

基于HSV变换和小波变换的融合方法是在IHS变换与小波变换相结合的图像融合法的基础上提出的一种近似的图像融合方法。HSV色彩空间模型为一圆锥体。圆锥顶面对应v＝1，颜色较亮；色调H绕v轴的旋转角度表示，红色对应于0°，绿色对应于120°，蓝色对应于240°。饱和度S由轴心向椎体圆周过渡，表示由低到高。该方法得到的融合图像无论是在细节纹理还是多光谱信息上都得到了很好的保持.(参考文献：Chang Hua-wen，Chen Chun-xiang.Image fusion based on HSV color space modes and wavelet transform[j].Computer Engineering and Design，2007，28(23)：5682-5684.)

以上典型的图像融合方法能够在保留部分图像光谱信息的同时，加入高分辨率图像的空间信息，从而提高了图像的空间分辨率，生成既具有多光谱特性又具有高空间分辨率的图像。但不论是以上哪种图像融合方法，都只是利用了遥感影像中的三个光谱通道，所含的光谱信息有限，能否在提高分辨率的基础上再加入更多的光谱信息，使图像的信息量更加丰富一直是图像预处理中需要解决的问题。

LBV变换方法利用了遥感影像中的四个光谱波段，经过数据变换得到了物理含义明确，且光谱信息更加丰富的L、B、V图像，很好的增加了图像的光谱信息，提高了图像所含的信息量。但LBV数据变换仅仅考虑了光谱特征，没有考虑到空间特征，纹理特征等其它特征。与典型的融合方法相比，其光谱信息虽然更为丰富，但是缺失空间信息，空间分辨率不能得到提高。

发明内容

针对上述现有技术中存在的应用图像处理领域的问题，由于往往因为图像处理的技术不同，其处理后的图像具有不同的空间信息和光谱信息特点，本发明要解决的技术问题是提供一种提高图像的光谱信息和空间信息，更有利于图像识别，增加图像信息量，增强目视解译效果，突出特定地物的遥感图像融合增强的实现方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种遥感图像融合增强的实现方法包括以下步骤：

(1)数据预处理：将选取的多光谱遥感影像与全色波段影像进行配准；

(2)LBV数据变换：将多光谱遥感影像的波段进行LBV数据变换，得到处理后的L、B、V图像；

(3)将L、B、V变换图像进行传统图像融合：将处理后的L、B、V图像作为三个分量，将代表普通辐射水平的L当作I分量和V分量，选择进行IHS变换融合、IHS变换同小波变换相结合的融合以及HSV变换同小波变换相结合的融合；

(4)主观结果比较：通过肉眼观察最后的图像融合结果，是否能够具有高空间分辨率信息和地物纹理结构信息，融合结果是否满意；

(5)客观定量评价：采用多种评价标准对结果图像进行评价，评价标准有：均值、方差、熵、梯度、相关系数以及逼真度。

所述LBV数据变换包括以下步骤：

(2-1)绘制地物灰度值曲线：以波长为横坐标，灰度值为纵坐标绘制裸地、水体、植被典型地物类型的灰度值曲线；

(2-2)计算并绘制回归方程：将波长值带入二次回归曲线模型和回归直线模型，求出二次回归曲线和回归直线方程的系数，并绘制出线性和二次回归曲线；

(2-3)确定L、B、V的通用公式：

L₀＝1.441247D₂-0.090419D₃-1.367302D₄+1.794034D₅+12.000000

B₀＝1.126971D₂+0.673348D₃+0.077966D₄-1.878287D₅+159.000000

V₀＝1.636910D₂-3.396809D₃+1.915944D₄-0.156048D₅+121.000000

式中，D₂为TM影像第二波段的灰度值，D₃为TM影像第三波段的灰度值，D₄为TM影像第三波段的灰度值，D₅为TM影像第三波段的灰度值，L₀为适用于所有TM影像的地物辐射水平值，B₀为适用于所有TM影像的可见光-近红外辐射平衡值，V₀为适用于所有TM影像的辐射变化矢量(速度和方向)值；

(2-4)确定L、B、V的特定公式：根据(2-3)中得到的L₀、B₀、V₀图像，计算出其灰度平均值和标准差，计算出所用TM图像的L、B、V最终公式，其中L为所采用的TM影像的最终地物辐射水平值，B为所采用的TM影像的最终可见光-近红外辐射平衡值，V为所采用的TM影像的最终辐射变化矢量(速度和方向)值；

(2-5)得到最终L、B、V图像：根据(2-4)中的公式得到最终的L、B、V图像，并分别赋予红色、蓝色、绿色，得到彩色合成图像。

所述将L、B、V变换图像进行传统图像融合如图3所示，包括以下步骤：

(3-1)IHS变换融合：将经过LBV数据变换后生成的L、B、V图像进行IHS正变换，得到I、H、S三个分量；将SPOT高分辨率全色波段图像，对照I分量进行直方图匹配，得到新的全色图像PAN1；用PAN1代替I分量，进行IHS反变换，得到新的L、B、V图像；

(3-2)IHS变换与小波变换相结合的融合：

经过LBV数据变换后生成的L、B、V图像进行IHS正变换，得到I、H、S三个分量；

将SPOT全色PAN图像对照I分量进行直方图拉伸，生成新的PAN1图像；

对I分量和PAN1分别进行小波变换，生成分别代表低频整体信息分量和水平，垂直，对角3个方向上的高频信息分量：lli、lhi、hli、hhi和llp、lhp、hlp、hhp；

计算I分量的低频整体信息分量lli与PAN1图像中整体低频信息分量llp的相关关系w1，得到新的llp，llp＝llp*(1-w1)+lli*w1；

用新的llp代替旧的llp，进行小波反变换，生成新的I分量，再进行IHS反变换，得到新的L、B、V图像；

(3-3)HSV变换同小波变换相结合的融合：经过LBV数据变换后生成的L、B、V图像进行HSV正变换，得到H、S、V三个分量；将SPOT全色PAN图像对照V分量进行融合；将SPOT全色PAN图像与V分量进行小波融合，将融合生成新的变量定义为V‘与H、S分量进行HSV逆变换，生成新的LBV融合图像。

所述客观定量评价包括如下步骤：

(5-1)均值评价：均值为图像中像素的灰度平均值，对人眼反应为平均亮度，图像均值的计算公式为：

$Z=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}Z(x_i,y_j)}{M\×N}$

式中：Z表示图像的均值，Z(x_i，y_i)为图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号；

(5-2)均方根误差RMSE评价：用来评价融合图像与参考图像之间的差异程度，差异小，表示融合效果好，均方根误差计算公式为：

$\mathrm{RMSE}=\sqrt{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[R(x_i,y_j)-F(x_i,y_j)]}^2}{M\×N}}$

式中：RMSE表示均方根误差，R(x_i，y_i)为融合后图像在第i行，第j列的灰度值，∑表示求和运算，F(x_i，y_j)为融合前图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号；

(5-3)熵评价：选用对图像求熵的方法进行信息量大小的评价，熵越大，图像所含的信息越丰富，图像质量越好，熵的计算公式为：

$E=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log }_2{p}_i$

式中：E为图像的熵，L为图像的总灰度级，P_i表示灰度值为i的像素数N_i与图像总像素数N之比；

(5-4)梯度评价：梯度反应影像清晰度的大小，用G表示，G越大，图像越清晰，图像梯度的计算公式为：

$G=\frac{1}{(M-1)(N-1)}\underset{i=1}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{\frac{({\left(\frac{\mathrm{\δZ}(x_i,y_i)}{{\mathrm{\δx}}_i}\right)}^2+{\left(\frac{\mathrm{\δZ}(x_i,y_j)}{{\mathrm{\δy}}_j}\right)}^2)}{2}}$

式中：G表示图像梯度值，Z(x_i，y_j)为图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号δ表示对函数求偏微分；

(5-5)相关系数评价：相关系数反应两幅图像的相关程度，通过比较融合前后图像的相关系数，得到多光谱影像的光谱信息改变程度，相关系数的计算公式为：

$p=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}[F(x_i,x_j)-\stackrel{\‾}{f}][A(x_i,y_j)-\stackrel{\‾}{a}]}{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[F(x_i,y_i)-\stackrel{\‾}{f}]}^2{[A(x_i,y_i)-\stackrel{\‾}{a}]}^2}}$

式中：P为相关系数，F(x_i，y_j)为融合前图像第i行，第j列的灰度值，A(x_i，y_j)为融合后图像第i行，第j列的灰度值，

为融合前图像的均值，

为融合后图像的均值，M为图像的总行数，N为图像的总列数。

本发明具有以下有益效果及优点：

1.解决了单纯LBV数据变换中缺少空间纹理结构等信息的缺陷。本发明方法采用了利用多个光谱波段进行数据变换的LBV数据变换方法，使变换后的图像光谱信息更加丰富。但是LBV数据变换没有考虑到空间信息，本方法将变换后的图像进一步进行经典的图像融合，很好的解决了这一问题。

2.增加了传统图像融合后图像的光谱信息。本发明方法创新性的突破了以往传统的图像融合方法只利用3个光谱波段与高分辨率图像进行融合的局限，将采用四个(或更多)光谱波段的L，B，V图像同高分辨率图像进行融合，增加了融合图像的光谱信息，是对传统融合方法的一大突破。

3.应用广泛。经过本发明方法处理后的图像，光谱信息更加丰富，色彩更加鲜明，地物类别更易区分，特别的能够突出水体，植被等地物类别，可以很好的应用于图像的目视解译。

附图说明

图1为本发明一种遥感图像融合增强的实现方法流程图；

图2为本发明多光谱遥感影像波段的LBV数据变换示意图；

图3为本发明将变换后的L、B、V图像进行IHS变换融合示意图；

图4为本发明将变换后的L、B、V图像进行IHS变换和小波变换相结合的融合示意图；

图5为本发明将变换后的L、B、V图像进行HSV变换和小波变换相结合的融合示意图；

图6A为将2，3，4，5波段的TM多光谱影像进行LBV数据变换后得到的图像；

图6B为经LBV数据变换后的图像与SPOT全色波段进行IHS变换与小波变换相结合的融合后得到的图像；

图6C为经LBV数据变换后的图像与HSV变换与小波变换相结合的融合后得到的图像。

具体实施方式

下面结合附图对具体实施方式加以详细说明。

本发明提出了一种遥感图像融合增强的新方法，即将LBV数据变换同传统的图像融合相结合的图像融合增强的实现方法，其目的是增强处理后图像的光谱信息和提高处理后图像的空间分辨率，针对LBV数据变换以及传统的图像融合方法各自所存在的优缺点，将两种图像处理方法相结合，提出了将LBV数据变换同传统的图像融合相结合的图像处理实现方法。该方法可使处理后的图像光谱信息更加丰富，地物类别更易区分，可以有助于目视解译及特定目标地物的提取。本发明实现方法首先对多光谱影像进行LBV数据变换，然后选择利用经典的融合方法进行与高分辨率PAN影像的融合处理。对原始的多光谱图像进行LBV数据变换(参见图2所示)，将变换后的图像用IHS(参见图2所示)、基于ISH和小波变换相结合的变换(参见图3所示)、基于HSV和小波相结合的变换(参见图4所示)等几种融合方法与高分辨率全色PAN图像进行了融合处理，并给出了融合结果的评价方法。实验结果表明，在进行LBV变换的基础上，选择不同的融合方法进行融合的结果存在差异，各有优缺点，说明实际融合时可根据不同的应用目的选择合适的融合方法。但总的来说，基于LBV变换后的融合图像，与未经LBV变换后的融合图像相比，光谱信息更加丰富，地物类别更易区分，可以有助于目视解译及特定目标地物的提取，是一种具有良好应用潜力的图像处理方法。

具体实施步骤如图1所示：

(1)数据预处理：将选取的TM(是一种卫星传感器)低分辨率多光谱影像与SPOT高分辨率全色波段影像进行配准；

(2)LBV数据变换：将多光谱遥感影像波段进行LBV数据变换，得到处理后的L、B、V图像；

LBV数据变换的实现流程如图2所示，具体包括以下5个子步骤：

(2-1)绘制地物灰度值曲线：以波长为横坐标，灰度值为纵坐标绘制裸地、水体、植被等典型地物类型的灰度值曲线；

(2-2)计算并绘制回归方程：将波长值代入二次回归曲线模型和回归直线模型，求出二次回归曲线和回归直线方程的系数，并绘制出线性和二次回归曲线；

(2-3)确定L、B、V的通用公式：本实施例以TM遥感影像为例，用λ＝-0.20μm时的灰度值来表示普通辐射水平L，用线性回归直线的斜率来表示可见光-近红外辐射平衡B，用回归残差v表示波段辐射变化矢量(速度和方向)V，通用公式为：

L₀＝1.441247D₂-0.090419D₃-1.367302D₄+1.794034D₅+12.000000

B₀＝1.126971D₂+0.673348D₃+0.077966D₄-1.878287D₅+159.000000

V₀＝1.636910D₂-3.396809D₃+1.915944D₄-0.156048D₅+121.000000

式中，D₂为TM影像第二波段的灰度值，D₃为TM影像第三波段的灰度值，D₄为TM影像第三波段的灰度值，D₅为TM影像第三波段的灰度值，L₀为适用于所有TM影像的地物辐射水平值，B₀为适用于所有TM影像的可见光-近红外辐射平衡值，V₀为适用于所有TM影像的辐射变化矢量(速度和方向)值。

(2-4)确定L、B、V的特定公式：根据(2-3)中得到的L₀，B₀，V₀图像，计算出其灰度平均值和标准差，计算出适合于本实例所用的TM图像的L、B、V最终公式：

L＝1.2173919D₂-0.076375477D₃-1.1549318D₄+1.5153838D₅+77.377914

B＝0.64155117D₂+0.38331683D₃+0.044383962D₄-1.0692530D₅+137.43799

V＝2.1351396D₂-4.4306883D₃+2.4990958D₄-0.20354377D₅+112.12141

式中，D₂为TM影像第二波段的灰度值，D₃为TM影像第三波段的灰度值，D₄为TM影像第三波段的灰度值，D₅为TM影像第三波段的灰度值，L为适于本发明所采用的TM影像的最终地物辐射水平值，B为适于本发明所采用的TM影像的最终可见光-近红外辐射平衡值，V为适于本发明所采用的TM影像的最终辐射变化矢量(速度和方向)值。

(2-5)得到最终L、B、V图像：根据(2-4)中的公式得到最终的L、B、V图像，并分别赋予红色、蓝色、绿色，得到彩色合成图像。

(3)将L、B、V变换图像进行传统图像融合：有以下方法供用户参考选择：(1)进行IHS变换融合；(2)利用IHS变换同小波变换相结合的融合，(3)利用HSV变换同小波变换相结合的融合。

本发明中提出的将L、B、V变换图像进行传统图像融合，实质上是一种新的方法实现多光谱图像与高分辨率PAN图像的融合，有以下方法供用户参考选择，如图3所示：

(3-1)IHS变换融合：将经过LBV数据变换后生成的L、B、V图像进行IHS正变换，得到I、H、S三个分量；将SPOT高分辨率全色波段图像，对照I分量进行直方图匹配，得到新的全色图像PAN1；用PAN1代替I分量，进行IHS反变换，得到新的L、B、V图像；

(3-2)IHS变换同小波变换相结合的融合(如图4所示)：经过LBV数据变换后生成的L、B、V图像进行IHS正变换，得到I、H、S三个分量；将SPOT全色PAN图像对照I分量进行直方图拉伸，生成新的PAN1图像；对I分量和PAN1分别进行小波变换，生成分别代表低频整体信息分量和3个方向(水平，垂直，对角)上的高频信息分量：lli、lhi、hli、hhi和llp、lhp、，hlp、hhp；计算I分量的低频整体信息分量lli与PAN1图像中低频整体信息分量llp的相关关系w1，得到新的llp，llp＝llp*(1-w1)+lli*w1；用新的llp代替旧的llp，进行小波反变换，生成新的I分量，再进行IHS反变换，得到新的L、B、V图像；

(3-3)HSV变换同小波变换相结合的融合(如图5所示)：经过LBV数据变换后生成的L、B、V图像进行HSV正变换，得到H、S、V三个分量；将SPOT全色PAN图像与V分量进行小波融合，将融合生成新的分量定义为V‘，与H、S分量进行HSV逆变换，生成新的LBV融合图像。(参见图5所示)

(4)主观结果评价：通过肉眼观察最后的图像融合结果，图6B和图6C与图6A相比，经过LBV变换后的融合图像结果除色彩更加分明，地物类别更加分明，能很好的突出裸露地表，植被，水体等信息外，能够具有高空间分辨率信息，地物纹理结构等信息得以突出；如6A～6C所示，图6A为将2，3，4，5波段的TM多光谱影像进行LBV数据变换后得到的图像，图6B为经LBV数据变换后的图像与SPOT全色波段进行IHS变换与小波变换相结合的融合后得到的图像，图6C为经LBV数据变换后的图像与HSV变换与小波变换相结合的融合后得到的图像。

(5)客观定量评价：采用多种评价标准对结果图像进行评价，可采用的评价标准有：均值，方差，熵，梯度，相关系数和逼真度。(参见图6A～C所示)

本发明中提出的客观定量评价实质上是对采用本方法进行图像处理后的融合图像进行定量的分析，具体包括如下5个子步骤：

(5-1)均值评价：均值为图像中像素的灰度平均值，对人眼反应为平均亮度，图像均值的计算公式为：

$Z=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}Z(x_i,y_j)}{M\×N}$

式中：Z表示图像的均值，Z(x_i，y_i)为图像在第i行、第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号。

(5-2)均方根误差RMSE评价：用来评价融合图像与参考图像之间的差异程度。差异小，表示融合效果好，均方根误差计算公式为：

$\mathrm{RMSE}=\sqrt{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[R(x_i,y_j)-F(x_i,y_j)]}^2}{M\×N}}$

式中：RMSE表示均方根误差，R(x_i，y_i)为融合后图像在第i行，第j列的灰度值，F(x_i，y_j)为融合前图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号。

(5-3)熵评价：熵是衡量图像信息丰富程度的一个重要指标，可选用对图像求熵的方法进行信息量大小的评价。熵越大，图像所含的信息越丰富，图像质量越好，熵的计算公式为：

$E=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log }_2{p}_i$

式中：E为图像的熵，L为图像的总灰度级，P_i表示灰度值为i的像素数N_i与图像总像素数N之比。

(5-4)梯度评价：梯度反应影像清晰度的大小，用G表示，G越大，图像越清晰。图像梯度的计算公式为：

$G=\frac{1}{(M-1)(N-1)}\underset{i=1}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{\frac{({\left(\frac{\mathrm{\δZ}(x_i,y_j)}{{\mathrm{\δx}}_i}\right)}^2+{\left(\frac{\mathrm{\δZ}(x_i,y_j)}{{\mathrm{\δy}}_j}\right)}^2)}{2}}$

式中：G表示图像梯度值，Z(x_i，y_j)为图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号δ表示对函数求偏微分。

(5-5)相关系数评价：相关系数反应了两幅图像的相关程度。通过比较融合前后图像的相关系数，得到多光谱影像的光谱信息改变程度。

相关系数的计算公式为：

$p=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}[F(x_i,x_j)-\stackrel{\‾}{f}][A(x_i,y_j)-\stackrel{\‾}{a}]}{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[F(x_i,y_i)-\stackrel{\‾}{f}]}^2{[A(x_i,y_i)-\stackrel{\‾}{a}]}^2}}$

式中：P为相关系数，F(x_i，y_j)为融合前图像第i行、第j列的灰度值，A(x_i，y_j)为融合后图像第i行、第j列的灰度值，为融合前图像的均值，

为融合后图像的均值，M为图像的总行数，N为图像的总列数。

本发明方法的实现原理如下：

LBV数据变换的理论基础

LBV数据变换是一种新的关于遥感图像数据变换的方法，它通过对遥感图像上不同波段不同地物特征的灰度曲线进行分析，提取出了四种最基本的遥感特征：普通辐射水平L，可将光-近红外辐射平衡B，波段辐射变化矢量(速度和方向)V，热辐射强度I。其中，热辐射强度I取决于热红外波段，这一特征是独立的，可以单独被使用，因此不需要参与数据变换。所以，数据转换主要是针对原始图像提取出L、B、V三个特征来进行。以TM影像为例，利用TM遥感影像的2，3，4，5波段的灰度值绘制回归直线和二次回归曲线，通过分析和比较，普通辐射水平L可用λ＝-0.20μm时的灰度值来表示，可将光-近红外辐射平衡B用回归直线的斜率来表示，波段辐射变化矢量(速度和方向)V可用回归残差v表示。这样就得到了TM影像的L，B，V最初计算公式：

L₀＝5.101187D₂-0320033D₃-4.839463D₄+6.349850D₅

B₀＝0.607728D₂+0.363108D₃+0.042044D₄-1.012881D₅

V₀＝0.649331D₂-1.347445D₃+0.760016D₄-0.061901D₅

但这些初始的L₀、B₀、V₀有可能是负值，或者超过最大灰度值255，因此对于任意一幅TM影像，都可以用以下的通用公式来得到L、B、V值：

L₁＝1.441247D₂-0.090419D₃-1.367302D₄+1.794034D₅+12.000000

B₁＝1.126971D₂+0.673348D₃+0.077966D₄-1.878287D₅+159.000000

V₁＝1.636910D₂-3.396809D₃+1.915944D₄-0.156048D₅+121.000000

对于特定地区的图像，可以通过计算L、B、V图像的均值和标准差来修正L、B、V计算公式，得到特定图像的L、B、V计算公式，本发明方法计算出了所用到的TM影像的最终L、B、V计算公式：

L＝1.2173919D₂-0.076375477D₃-1.1549318D₄+1.5153838D₅+77.377914

B＝0.64155117D₂+0.38331683D₃+0.044383962D₄-1.0692530D₅+137.43799

V＝2.1351396D₂-4.4306883D₃+2.4990958D₄-0.20354377D₅+112.12141

另外，在地球表面有三个最基本的地面覆盖要素，即裸地(广义)，植被和水体，这三者的不同比例构成了地球表面所有的覆盖类型。此外，在彩色图像上有三种最基本的颜色(包括遥感图像的彩色合成)，既红色，绿色和蓝色，这三种颜色组成了彩色图像里的所有颜色。

LBV数据变换就是将这三种最基本遥感特征，这三种最基本的陆地覆盖要素和三种最基本的颜色相互对应，代表普通辐射水平的L在遥感图像上表示广义的裸地，赋予红色；代表可见光-近红外辐射平衡的B在遥感图像上表示水体，赋予蓝色；代表波段辐射变化矢量(速度和方向)V在遥感图像上表示植被，赋予绿色。因此被分别赋予红色，蓝色，绿色的L、B、V图像可以有效的用来生成高质量的彩色复合图像，能够产生红色，绿色，蓝，黄，粉色，青色和其他各种颜色，并且这些颜色都纯净、饱和、平衡，定义明确而且接近地面物质的颜色特征。因此，能够不仅仅凭借经验，也能通过逻辑来更容易的解释和分析地表物质。是一种能够被用来进行遥感图像解译，分类和增强的好方法。

本发明对LBV数据变换的改进：

经过LBV数据变换后得到的L、B、V合成图像，其光谱信息明显增加，色彩更加鲜明，地物类别更易区分。但是LBV数据变换没有考虑到空间信息，因此图像的空间分辨率不能得到增强。本发明方法将LBV数据变换同传统的融合方法相结合，通过IHS变换融合方法，IHS变换和小波变换相结合的融合方法，HSV变换同小波变换相结合的融合方法，大大的提高了经过LBV变换后图像的空间分辨率，得到了光谱信息更加丰富，空间分辨率高的图像。

IHS变换融合的理论基础：

IHS是基于不同色彩空间融合方法的一种。在所有的色彩变换技术中，IHS变换最符合人的视觉效果。IHS从多光谱色彩空间中提取代表空间信息的亮度I(Intensity)和代表光谱信息的色度H(Hue)与饱和度S(Saturation)。亮度I主要反映图像地物反射的全部能量信息；色度H代表颜色属性，由红、绿、蓝的比重所决定；饱和度S表示相对中性灰色而言颜色的比重，即颜色的鲜艳度。经过HIS变换后，亮度、色度和饱和度三种成分之间的相关性变得很低，可以对HIS空间中的三个变量单独进行处理，为我们对饱和度进行拉伸提供基础。通常将RGB到HIS的变换称为HIS正变换，而将IHS到RGB的变换称为HIS逆变换。IHS变化的方法有圆柱体法，六棱锥法和三角形法。对于图像融合而言，各种HIS变换方法无异。以Smith的三角形模型计算IHS变换为例，正变换公式如下：

I＝(R+G+B)/3

H＝(G-B)/3(I-B)，S＝1-B/I，(B＝min)

H＝(B-G)/3(I-R)，S＝1-R/I，(R＝min)

H＝(R-G)/3(I-G)，S＝1-G/I，(G＝min)

式中：R表示被颜色为红色的波段的灰度值，G表示颜色为绿色的波段的灰度值，B表示颜色为蓝色的波段的灰度值，I表示经变换后得到的亮度值，H表示经变换后得到的色度值，S表示经变换后得到的饱和度值。

反变换公式如下：

B＝I×(1-S)

G＝3H(I-B)+B(B＝min)

R＝3I-B-G

R＝I×(1-S)

B＝3H(I-R)+R(R＝min)

G＝3I-B-R

G＝I×(1-S)

R＝3H(I-G)+G(G＝min)

B＝3I-R-G

式中：R表示被颜色为红色的波段的灰度值，G表示颜色为绿色的波段的灰度值，B表示颜色为蓝色的波段的灰度值，I表示经变换后得到的亮度值，H表示经变换后得到的色度值，S表示经变换后得到的饱和度值。

IHS变换与小波变换相结合的融合方法的理论基础：

为了更好的结合多光谱图像的光谱信息和高分辨率图像的空间信息，人们又提出了基于IHS变换和小波变换相结合的遥感图像融合方法，其基本思路是通过将高分辨率的图像与多光谱图像的IHS变换后的I分量进行直方图匹配，然后再分别进行小波变换，用高分辨率图像的低频替换I分量的低频，再对新生成的I分量进行小波反变换，而后经过IHS反变换，获得融合后的图像。

HSV变换与小波变换相结合的融合方法的理论基础：

HSV正变换的公式为：

v＝m；当m＝0时，s＝0，当s≠0，s＝(m-n)/m；

当S＝0时，h＝0；当r＝m且g≥b时，h＝60(g-b)/(m-n)，

当r＝m且g＜b时，h＝360+60(g-b)/(m-n)

当g＝m时，h＝120+60(b-r)/(m-n)

当b＝m时，h＝240+60(r-b)/(m-n) m＝max(r，g，b)，n＝min(r，g，b)(r，g，b分别是归一化的rgb空间中的值，max表示最大值，min表示最小值)

HSV反变换

若h＝360，则h＝0，I为h对60取整，f为h对60取余。

设p＝v*(1-s)，q＝v*(1-s*f)，t＝v*(1-s*(1-f))

若I＝0，r＝v，g＝t，b＝p

I＝1，r＝q，g＝v，b＝p

I＝2，r＝p，g＝v，b＝t

I＝3，r＝p，g＝q，b＝v

I＝4，r＝t，g＝p，b＝v

I＝5，r＝v，g＝p，b＝q

式中：r表示被颜色为红色的波段的灰度值，g表示颜色为绿色的波段的灰度值，b表示颜色为蓝色的波段的灰度值，v表示经变换后得到的明度值，h表示经变换后得到的色度值，s表示经变换后得到的饱和度值，I为h对60取整，f为h对60取余；p、t、q为中间变量。

本发明对传统的融合方法：IHS变换融合，IHS变换与小波变换相结合的融合，HSV变换与小波变换相结合的融合所进行的改进：

本发明对传统的图像融合方法进行了改进，与传统融合方法的不同之处在于，进入各种融合变换的不是多光谱影像的3个原始波段，而是将多光谱影像的四个波段进行LBV数据变换，将变换后的L、B、V图像运用传统的融合方法进行融合。因为进行融合的L、B、V图像包含了四个波段的光谱信息，因此本发明方法增加了融合后图像的光谱信息，并且使融合后的图像地物类别更易区分，可以有助于目视解译及特定目标地物的提取。

Claims (4)

1.一种遥感图像融合增强的实现方法，其特征在于包括以下步骤：

(1)数据预处理：将选取的多光谱遥感影像与全色波段影像进行配准；

(2)LBV数据变换：将多光谱遥感影像的波段进行LBV数据变换，得到处理后的L、B、V图像；

(3)将L、B、V变换图像进行传统图像融合：将处理后的L、B、V图像作为三个分量，将代表普通辐射水平的L当作I分量和V分量，选择进行IHS变换融合、IHS变换同小波变换相结合的融合以及HSV变换同小波变换相结合的融合；

(4)主观结果比较：通过肉眼观察最后的图像融合结果，是否能够具有高空间分辨率信息和地物纹理结构信息，融合结果是否满意；

(5)客观定量评价：采用多种评价标准对结果图像进行评价，评价标准有：均值、方差、熵、梯度、相关系数以及逼真度。

2.按权利要求1所述的遥感图像融合增强的实现方法，其特征在于：

所述LBV数据变换包括以下步骤：

(2-1)绘制地物灰度值曲线：以波长为横坐标，灰度值为纵坐标绘制裸地、水体、植被典型地物类型的灰度值曲线；

(2-2)计算并绘制回归方程：将波长值带入二次回归曲线模型和回归直线模型，求出二次回归曲线和回归直线方程的系数，并绘制出线性和二次回归曲线；

(2-3)确定L、B、V的通用公式：

L₀＝1.441247D₂-0.090419D₃-1.367302D₄+1.794034D₅+12.000000

B₀＝1.126971D₂+0.673348D₃+0.077966D₄-1.878287D₅+159.000000

V₀＝1.636910D₂-3.396809D₃+1.915944D₄-0.156048D₅+121.000000

式中，D₂为TM影像第二波段的灰度值，D₃为TM影像第三波段的灰度值，D₄为TM影像第三波段的灰度值，D₅为TM影像第三波段的灰度值，L₀为适用于所有TM影像的地物辐射水平值，B₀为适用于所有TM影像的可见光-近红外辐射平衡值，V₀为适用于所有TM影像的辐射变化矢量(速度和方向)值；

(2-4)确定L、B、V的特定公式：根据(2-3)中得到的L₀、B₀、V₀图像，计算出其灰度平均值和标准差，计算出所用TM图像的L、B、V最终公式，其中L为所采用的TM影像的最终地物辐射水平值，B为所采用的TM影像的最终可见光-近红外辐射平衡值，V为所采用的TM影像的最终辐射变化矢量(速度和方向)值；

(2-5)得到最终L、B、V图像：根据(2-4)中的公式得到最终的L、B、V图像，并分别赋予红色、蓝色、绿色，得到彩色合成图像。

3.按权利要求1所述的遥感图像融合增强的实现方法，其特征在于：

所述将L、B、V变换图像进行传统图像融合包括如下步骤：

(3-1)IHS变换融合：将经过LBV数据变换后生成的L、B、V图像进行IHS正变换，得到I、H、S三个分量；将SPOT高分辨率全色波段图像，对照I分量进行直方图匹配，得到新的全色图像PAN1；用PAN1代替I分量，进行IHS反变换，得到新的L、B、V图像；

(3-2)IHS变换与小波变换相结合的融合：

经过LBV数据变换后生成的L、B、V图像进行IHS正变换，得到I、H、S三个分量；

将SPOT全色PAN图像对照I分量进行直方图拉伸，生成新的PAN1图像；

对I分量和PAN1分别进行小波变换，生成分别代表低频整体信息分量和水平，垂直，对角3个方向上的高频信息分量：lli、lhi、hli、hhi和llp、lhp、hlp、hhp；

计算I分量的低频整体信息分量lli与PAN1图像中整体低频信息分量llp的相关关系w1，得到新的llp，llp＝llp*(1-w1)+lli*w1；

用新的llp代替旧的llp，进行小波反变换，生成新的I分量，再进行IHS反变换，得到新的L、B、V图像；

(3-3)HSV变换同小波变换相结合的融合：经过LBV数据变换后生成的L、B、V图像进行HSV正变换，得到H、S、V三个分量；将SPOT全色PAN图像对照V分量进行融合；将SPOT全色PAN图像与V分量进行小波融合，将融合生成新的变量定义为V‘与H、S分量进行HSV逆变换，生成新的LBV融合图像。

4.按权利要求1所述的遥感图像融合增强的实现方法，其特征在于：

所述客观定量评价包括如下步骤：

(5-1)均值评价：均值为图像中像素的灰度平均值，对人眼反应为平均亮度，图像均值的计算公式为：

$Z=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}Z(x_i,y_j)}{M\×N}$

式中：Z表示图像的均值，Z(x_i，y_i)为图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号；

(5-2)均方根误差RMSE评价：用来评价融合图像与参考图像之间的差异程度，差异小，表示融合效果好，均方根误差计算公式为：

$\mathrm{RMSE}=\sqrt{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[R(x_i,y_j)-F(x_i,y_j)]}^2}{M\×N}}$

式中：RMSE表示均方根误差，R(x_i，y_i)为融合后图像在第i行，第j列的灰度值，∑表示求和运算，F(x_i，y_j)为融合前图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号；

(5-3)熵评价：选用对图像求熵的方法进行信息量大小的评价，熵越大，图像所含的信息越丰富，图像质量越好，熵的计算公式为：

$E=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log }_2{p}_i$

式中：E为图像的熵，L为图像的总灰度级，P_i表示灰度值为i的像素数N_i与图像总像素数N之比；

(5-4)梯度评价：梯度反应影像清晰度的大小，用G表示，G越大，图像越清晰，图像梯度的计算公式为：

$G=\frac{1}{(M-1)(N-1)}\underset{i=1}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{\frac{({\left(\frac{\mathrm{\δZ}(x_i,y_i)}{{\mathrm{\δx}}_i}\right)}^2+{\left(\frac{\mathrm{\δZ}(x_i,y_j)}{{\mathrm{\δy}}_j}\right)}^2)}{2}}$

式中：G表示图像梯度值，Z(x_i，y_j)为图像在第i行，第j列的灰度值，M为图像的总行数，N为图像的总列数，i，j分别表示依次取的像素的行列号δ表示对函数求偏微分；

(5-5)相关系数评价：相关系数反应两幅图像的相关程度，通过比较融合前后图像的相关系数，得到多光谱影像的光谱信息改变程度，相关系数的计算公式为：

$p=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}[F(x_i,x_j)-\stackrel{\‾}{f}][A(x_i,y_j)-\stackrel{\‾}{a}]}{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[F(x_i,y_i)-\stackrel{\‾}{f}]}^2{[A(x_i,y_i)-\stackrel{\‾}{a}]}^2}}$

式中：P为相关系数，F(x_i，y_j)为融合前图像第i行，第j列的灰度值，A(x_i，y_j)为融合后图像第i行，第j列的灰度值，

为融合前图像的均值，

为融合后图像的均值，M为图像的总行数，N为图像的总列数。

Images