CN104899848A - 一种基于黎曼度量的自适应多策略图像融合方法 - Google Patents

Abstract

本发明公开了一种基于黎曼度量的自适应多策略图像融合方法。(1)对待融合源图像进行平移不变剪切波变换(SIST)分解，得到低频子带系数和一系列高频子带系数；(2)对低频子带系数和高频子带系数分别采用不同的融合规则，低频子带系数采用加权平均的融合策略；高频子带系数采用基于黎曼度量的自适应多策略融合，给出了一种黎曼空间不相似度，利用仿射不变度量与Log-Euclidean度量两种度量方式计算高频子带系数形成黎曼空间的测地线距离，以此度量图像的互补冗余属性，然后得到融合的SIST系数；(3)对融合系数进行SIST逆变换，得到融合图像。本发明属于图像融合技术领域，能够实现对多源图像进行高效的图像融合。

Description

一种基于黎曼度量的自适应多策略图像融合方法

技术领域

本发明属于图像融合技术领域，特别是一种基于黎曼度量的自适应多策略图像融合方法。

背景技术

图像融合的过程是对源图像特征提取的过程，但是有时直接对图像灰度值的操作不能达到很好的区分度，因此可以通过把图像转换成包含更丰富信息的形式，比如结构张量，来产生更有区分度的特征(编码彩色、梯度等)。纹理是图像的最重要的特征之一，因此充分考虑图像的纹理信息可以提高融合图像的质量。

作为一种快速局部处理方法，结构张量已经被用来进行纹理分析，它可以作为边缘保持以及方向的测度。结构张量是一类非常特殊的矩阵(正定对称矩阵)，其位于黎曼流形(赋予黎曼度量的微分流形)上。黎曼空间的操作不再遵循欧式几何，因为它不属于向量空间，比如该空间对乘以负数不封闭，因此不能利用传统的欧式几何运算进行操作。

根据Pennec对医学图像处理的研究，Affine-Invariant度量(AI)和Log-Euclidean度量(LE)为处理张量提供了有力的工具。Caseiro等提出了一种基于张量域黎曼框架的前景分割方法，定义了张量流形上的核密度估计模型(KDE)，赋予了张量流形两种度量方式：Affine-Invariant度量(AI)和Log-Euclidean度量(LE)，取得了很好的分割效果。王国刚提出了一种基于黎曼度量的Hausdorff距离图像匹配算法，在匹配的准确性、抵抗噪声干扰和光照变换等方面效果良好。刘佳提出了一种基于协方差描述子和黎曼流形的语音情感识别方法，利用仿射不变度量实现了较好的识别效果。鉴于黎曼度量在图像其他领域的良好应用，因此本发明将黎曼度量引入到图像融合中，以期获得更好的融合效果。

发明内容

本发明的目的在于提供一种基于黎曼度量的自适应多策略图像融合方法，能够实现对多源图像进行高效的图像融合。

实现本发明目的的技术解决方案为：一种基于黎曼度量的自适应多策略图像融合方法，包括以下步骤：

步骤 1)，源图像多尺度分解：对源图像进行平移不变剪切波变换(SIST)分解，得到低频子带系数和一系列高频子带系数；

步骤 2)，低频子带系数融合：对于步骤1)得到的低频子带系数，采用基于加权平均的融合策略，得到低频融合子带系数；

步骤 3)，高频子带系数融合：对于步骤1)得到的高频子带系数，给出了一种黎曼空间不相似度，采用基于黎曼度量的自适应多策略融合规则进行融合，得到高频子带融合系数；

步骤 4)，图像重构：将步骤2)得到的低频融合子带系数和步骤3)得到的高频子带融合系数进行SIST逆变换，得到最终融合图像。

所述步骤1)具体为：将待融合的两幅                                                源图像和，利用SIST分别将两幅图像分解为低频子带与高频子带系数：和，其中，和为低频子带系数；和为一系列高频子带系数。

所述步骤2)具体为：对得到的低频子带系数采用加权平均的融合规则进行融合。

式中，，和分别表示源图像、以及融合图像在点处对应的低频系数。

所述步骤3)包括如下步骤：

a) 计算高频子带系数的结构张量

对于图像中的某一点，其梯度为，在的邻域，这点的局部梯度向量为：

其中，；和分别为和方向的导数。

利用梯度向量可以得到点的结构张量：

其中，；和分别为和方向的导数；*为卷积运算，是标准差为的高斯核。

b) 黎曼空间不相似度

 基于AI(Affine-Invariant)度量的不相似度

对于，基于AI度量的之间的不相似度(测地线距离)为：

其中，表示矩阵的迹。

 基于Log-Euclidean度量的不相似度

对于，基于LE度量的之间的不相似度(测地线距离)为：

其中，表示矩阵的迹。

c) 采用基于黎曼度量的自适应多策略规则融合

高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：

其中，，和分别表示源图像、以及融合图像在点处的高频子带系数，权值由sigmoid函数计算得到，收缩因子与变量的计算在下面详细讨论。

 计算收缩因子

通过以下公式建立与黎曼空间不相似度的关系。

其中，是一个正参数。

 计算变量

的计算公式如下：

，

其中，或为区域能量；为不小于3的奇数；表示源图像或在点处第个高频子带系数。

本发明与现有技术相比，其显著优点：(1) 利用SIST对待融合图像进行多尺度多方向的分解，SIST是图像融合领域很有发展前景的分解工具，它克服了下采样操作引起的伪Gibbs效应，有效抑制图像失真，并且各个子带系数间的对应关系更加明确。(2)引入了结构张量，结构张量可以实现像素级和区域级特征的融合，在像素级能够利用梯度等信息描述每一个像素，在区域级可以通过结构张量可以表示出像素级提取的特征相关性，并通过计算像素点邻域得到，并且结构张量的阶数不依赖于邻域窗口的大小，而是依赖于特征向量的维数，因此具备尺度不变性。(3) 给出了一种黎曼空间不相似度，并提出了一种基于黎曼度量的自适应多策略融合规则。该方法适用范围广，对多聚焦图像、遥感图像、医学图像、红外与可见光图像均有很好的效果，并且具有鲁棒性强的优点。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于黎曼度量的自适应多策略图像融合方法的流程图。

图2 (a) 是本发明方法右聚焦图像。

图2 (b) 是本发明方法左聚焦图像。

图2 (c) 是基于加权平均的多聚焦图像融合结果图。

图2 (d) 是基于PCA的多聚焦图像融合结果图。

图2 (e) 是基于梯度金字塔变换的多聚焦图像融合结果图。

图2 (f) 是基于FSDP的多聚焦图像融合结果图。

图2 (g) 是基于PCNN的多聚焦图像融合结果图。

图2 (h) 是基于Shearlet变换和PCNN的多聚焦图像融合结果图。

图2 (i) 是基于本发明方法的利用仿射不变度量(AI)的多聚焦图像融合结果图。

图2 (j) 是基于本发明方法的利用Log-Euclidean度量(LE)的多聚焦图像融合结果图。

图3 (a) 是本发明方法NMR图像。

图3 (b) 是本发明方法CT图像。

图3 (c) 是基于加权平均的医学图像融合结果图。

图3 (d) 是基于PCA的医学图像融合结果图。

图3 (e) 是基于梯度金字塔变换的医学图像融合结果图。

图3 (f) 是基于FSDP的医学图像融合结果图。

图3 (g) 是基于PCNN的医学图像融合结果图。

图3 (h) 是基于Shearlet变换和PCNN的医学图像融合结果图。

图3 (i) 是基于本发明方法的利用AI度量的医学图像融合结果图。

图3 (j) 是基于本发明方法的利用LE度量的医学图像融合结果图。

图4 (a) 是本发明方法3波段大地遥感图像。

图4 (b) 是本发明方法8波段大地遥感图像。

图4 (c) 是基于加权平均的遥感图像融合结果图。

图4 (d) 是基于PCA的遥感图像融合结果图。

图4 (e) 是基于梯度金字塔变换的遥感图像融合结果图。

图4 (f) 是基于FSDP的遥感图像融合结果图。

图4 (g) 是基于PCNN的遥感图像融合结果图。

图4 (h) 是基于Shearlet变换和PCNN的遥感图像融合结果图。

图4 (i) 是基于本发明方法的利用AI度量的遥感图像融合结果图。

图4 (j) 是基于本发明方法的利用LE度量的遥感图像融合结果图。

图5 (a) 是本发明方法红外图像。

图5 (b) 是本发明方法可见光图像。

图5 (c) 是基于加权平均的红外与可见光图像融合结果图。

图5 (d) 是基于PCA的红外与可见光图像融合结果图。

图5 (e) 是基于梯度金字塔变换的红外与可见光图像融合结果图。

图5 (f) 是基于FSDP的红外与可见光图像融合结果图。

图5 (g) 是基于PCNN的红外与可见光图像融合结果图。

图5 (h) 是基于Shearlet变换和PCNN的红外与可见光图像融合结果图。

图5 (i) 是基于本发明方法的利用AI度量的红外与可见光图像融合结果图。

图5 (j) 是基于本发明方法的利用LE度量的红外与可见光图像融合结果图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。如图1所示，包括如

下步骤：

步骤1准备待融合的两幅(本实施例中，)源图像和，利用SIST分别将两幅图像分解为低频子带与高频子带系数：和。其中，和为低频子带系数；和为一系列高频子带系数。SIST采用的滤波器为“maxflat”，分解的方向数为6，6，6。

步骤2低频子带系数融合：对于低频子带系数，给出一种基于加权平均的融合策略，得到低频子带融合系数。低频子带系数的融合方法为：

式中，，和分别表示源图像、以及融合图像在点处对应的低频系数。

步骤3高频子带系数融合：对于高频子带系数，计算它们的局部梯度信息构造结构张量，并计算他们的黎曼空间不相似度，采用基于黎曼度量的自适应多策略融合规则进行融合；

a) 计算高频子带系数的结构张量

对于图像中的某一点，其梯度为，在的(本实施例中)邻域，这点的局部梯度向量为^[52]：

其中，；和分别为和方向的导数。

利用梯度向量可以得到点的结构张量：

其中，；和分别为和方向的导数；*为卷积运算，是标准差为的高斯核。

b) 计算黎曼空间不相似度

结构张量具有黎曼流形结构，赋予黎曼流形两种黎曼度量：仿射不变度量和Log-Euclidean度量，利用这两种度量计算黎曼空间不相似度。

 计算基于AI(Affine-Invariant)度量的不相似度

对于，基于AI度量的之间的不相似度(测地线距离)为：

其中，表示矩阵的迹。

 计算基于Log-Euclidean度量的不相似度

对于，基于LE度量的之间的不相似度(测地线距离)为：

其中，表示矩阵的迹。

c) 采用基于黎曼度量的自适应多策略规则融合

高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：

其中，，和分别表示源图像、以及融合图像在点处的高频子带系数，权值由sigmoid函数计算得到，收缩因子与变量的计算在下面详细讨论。

 计算收缩因子

通过以下公式建立与黎曼空间不相似度的关系。

其中，是一个正参数(本实施例中为100)。

 计算变量

的计算公式如下：

，

其中，或为区域能量；为不小于3的奇数(本实施例中)；表示源图像或在点处第个高频子带系数。

步骤4对融合系数进行SIST逆变换得到融合图像。

下面结合实例对本发明作进一步详细的说明。

本发明以多聚焦图像、医学图像、遥感图像以及红外与可见光图像为待融合源图像(这4组图像均为已经配准好)，提出了一种基于黎曼度量的自适应多策略融合方法，并利用此方法对多聚焦图像、医学图像、遥感图像以及红外与可见光图像进行融合。

如图2 (a) 本发明方法右聚焦图像，图2 (b) 本发明方法左聚焦图像所示，首先分别读取右聚焦图像A和左聚焦图像B，对其进行SIST分解，得到低频子带系数，和一系列高频子带系数，，对于低频子带系数，给出一种基于加权平均的融合策略，得到低频融合图像；对于得到的高频子带系数，，计算它们的局部梯度信息构造结构张量，利用仿射不变度量AI和Log-Euclidean度量LE分别求解这两种度量方式的测地线距离，也即黎曼空间不相似度，以此来衡量图像的互补与冗余信息；对于高频子带系数和，分别计算它们的区域能量，然后计算出它们的比值e；建立k与黎曼空间不相似度S的关系，将k和e作为sigmoid函数变量，给出一种基于sigmoid函数的自适应多策略图像融合方法，最后得到高频融合图像；将低频融合图像和高频融合图像进行SIST逆变换，得到最终融合图像，如图2 (i) 基于本发明方法的利用仿射不变度量(AI)的多聚焦图像融合结果图，图2 (j) 基于本发明方法的利用Log-Euclidean度量(LE)的多聚焦图像融合结果图所示。

同样的，对于图3 (a) 本发明方法NMR图像，图3 (b) 本发明方法CT图像，图4 (a) 本发明方法3波段大地遥感图像，图4 (b) 本发明方法8波段大地遥感图像，图5 (a) 本发明方法红外图像，图5 (b) 本发明方法可见光图像，利用本发明方法提出的一种基于sigmoid函数的自适应多策略融合方法，得到的融合图像分别如图3 (i) 基于本发明方法的利用仿射不变度量(AI)的医学图像融合结果图，图3 (j) 基于本发明方法的利用Log-Euclidean度量(LE)的医学图像融合结果图，图4 (i) 基于本发明方法的利用仿射不变度量(AI)的遥感图像融合结果图，图4 (j) 基于本发明方法的利用Log-Euclidean度量(LE)的遥感图像融合结果图，图5 (i) 基于本发明方法的利用仿射不变度量(AI)的红外与可见光图像融合结果图，图5 (j) 基于本发明方法的利用Log-Euclidean度量(LE)的红外与可见光图像融合结果图所示。

为了将本发明所提出的方法和其它方法对比，分别设计了基于加权平均的图像融合方法(AVE)，基于PCA的图像融合方法(PCA)，基于梯度金字塔变换的图像融合方法(GP)，基于FSDP的图像融合方法(FSDP)，基于PCNN的图像融合方法(PCNN)，基于Shearlet变换和PCNN的图像融合方法(ShearletPCNN)，其中，GP和FSDP的分解层数为2，小波基为“DBSS(2,2)”，低频系数取平均，高频系数绝对值取大；PCNN的链接强度为6，迭代次数是20；ShearletPCNN采用的滤波器为“maxflat”，分解层数为3，每层的方向数为6。其仿真结果分别如图2 (c) – (h)，图3 (c) – (h)，图4 (c) – (h)，图5 (c) – (h) 所示：图2 (c) 基于加权平均的多聚焦图像融合结果图；图2 (d) 基于PCA的多聚焦图像融合结果图；图2 (e) 基于梯度金字塔变换的多聚焦图像融合结果图；图2 (f) 基于FSDP的多聚焦图像融合结果图；图2 (g) 基于PCNN的多聚焦图像融合结果图；图2 (h) 基于Shearlet变换和PCNN的多聚焦图像融合结果图；图3 (c) 基于加权平均的医学图像融合结果图；图3 (d) 基于PCA的医学图像融合结果图；图3 (e) 基于梯度金字塔变换的医学图像融合结果图；图3 (f) 基于FSDP的医学图像融合结果图；图3 (g) 基于PCNN的医学图像融合结果图；图3 (h) 基于Shearlet变换和PCNN的医学图像融合结果图；图4 (c) 基于加权平均的遥感图像融合结果图；图4 (d) 基于PCA的遥感图像融合结果图；图4 (e) 基于梯度金字塔变换的遥感图像融合结果图；图4 (f) 基于FSDP的遥感图像融合结果图；图4 (g) 基于PCNN的遥感图像融合结果图；图4 (h) 基于Shearlet变换和PCNN的遥感图像融合结果图；图5 (c) 基于加权平均的红外与可见光图像融合结果图；图5 (d) 基于PCA的红外与可见光图像融合结果图；图5 (e) 基于梯度金字塔变换的红外与可见光图像融合结果图；图5 (f) 基于FSDP的红外与可见光图像融合结果图；图5 (g) 基于PCNN的红外与可见光图像融合结果图；图5 (h) 基于Shearlet变换和PCNN的红外与可见光图像融合结果图。

根据图2 (c) - (j) ，可以看出基于ShearletPCNN的融合结果左侧闹钟不清晰，其他方法基本上能把源图像融合闹钟和钟表均清晰的图像，但是，基于AVE、PCA和PCNN的融合结果对比度降低，尽管基于GP和FSDP的融合结果比基于AVE、PCA和PCNN的融合结果对比度更适合人眼观察，但是仍然比不上本发明方法融合结果。说明了基于多分辨率分析的融合结果优于基于非多分辨率分析的融合结果，本发明方法融合结果亮度适中，清晰度高，更适合人眼观察，并且LE度量与AI度量具有相似的视觉效果。

根据图3 (c) - (j) ，可以看出基于AVE的融合结果对比度下降，基于PCA的融合结果丢失了大量的CT信息，基于DWT融合结果的左下边缘部分出现了虚假信息，基于GP与FSDP的融合结果中软组织细节部分不太清晰，基于PCNN的融合结果右下部分丢失了部分CT信息，基于ShearletPCNN的融合结果中出现了许多虚假信息，并且LE度量与AI度量具有相似的视觉效果，所以本发明方法能够有效的融合CT和NMR图像，融合结果亮度适中，细节清晰，具有最好的视觉效果。

    根据图4 (c) - (j) ，可以发现本发明方法与对比方法均在一定程度上整合了两幅图像中的互补信息，但是基于AVE、PCA和PCNN的融合结果对比度降低，而其他方法的融合结果比较清晰，并且LE度量与AI度量具有相似的视觉效果。

根据图5 (c) - (j) ，可以从视觉效果上观察到，PCA具有最差的视觉效果，融合图像中的目标“人”变成了黑色，不利于图像的后期处理，基于ShearletPCNN的融合方法目标“人”周围有一圈黑影，不利于计算机的识别，基于PCNN的融合结果中“台子”比较模糊，基于AVE的融合图像对比度下降，GP、FSDP和本文方法能够把目标和背景融合成比较清晰的图像。

所以，本发明方法的适用范围很广，对多聚焦图像、遥感图像、医学图像、红外与可见光图像均有很好的效果。

Claims (4)

1.一种基于黎曼度量的自适应多策略图像融合方法，其特征在于包括以下步骤：

步骤1)，源图像多尺度分解：对源图像进行平移不变剪切波变换(SIST)分解，得到低频子带系数和一系列高频子带系数；

步骤2)，低频子带系数融合：对低频子带系数，给出一种基于加权平均的融合策略，得到低频子带融合系数；

步骤3)，高频子带系数融合：对高频子带系数，采用基于黎曼度量的自适应多策略融合规则进行融合，得到高频子带融合系数；

步骤4)，图像重构：对得到的低频子带融合系数和高频子带融合系数进行SIST逆变换，得到最终融合图像。

2.根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于，所述步骤1)包括：

将待融合的两幅                                                源图像和，利用平移不变剪切波变换分别将两幅图像分解为低频子带与高频子带系数：和，其中，和为低频子带系数；和为一系列高频子带系数。

3.根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于，所

述步骤2)包括：

对于低频子带系数，给出一种基于加权平均的融合策略，得到低频子带融合系数，低频子带系数的融合方法为：

式中，，和分别表示源图像、以及融合图像在点处对应的低频系数。

4.根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于，所

述步骤3)包括如下步骤：

a) 计算高频子带系数的结构张量

对于图像中的某一点，其梯度为，在的邻域，这点的局部梯度向量为：

其中，；和分别为和方向的导数；

利用梯度向量可以得到点的结构张量：

其中，；和分别为和方向的导数；*为卷积运算，是标准差为的高斯核；

b) 黎曼空间不相似度

 基于AI(Affine-Invariant)度量的不相似度

对于，基于AI度量的之间的不相似度(测地线距离)为：

其中，表示矩阵的迹；

 基于Log-Euclidean度量的不相似度

对于，基于LE度量的之间的不相似度(测地线距离)为：

其中，表示矩阵的迹；

c) 采用基于黎曼度量的自适应多策略规则融合

高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：

其中，，和分别表示源图像、以及融合图像在点处的高频子带系数，权值由sigmoid函数计算得到，收缩因子与变量的计算在下面详细讨论；

 计算收缩因子

通过以下公式建立与黎曼空间不相似度的关系；

其中，是一个正参数；

 计算变量

的计算公式如下：

，

其中，或为区域能量；为不小于3的奇数；表示源图像或在点处第个高频子带系数。