CN1822046A - 基于区域特征模糊的红外与可见光图像融合方法 - Google Patents

Abstract

一种基于区域特征模糊的图像融合方法，其步骤为：1)采用小波框架将待融合图像进行多尺度分解，最终得到一系列高频分量和一个最低频分量；2)对红外图像低频部分进行K均值聚类分割成三类；3)对聚类分割的三类分别表示成为重要目标区域、次重要区域和背景区域；根据模糊区域特征以及多传感器图像高频部分的量测指标得到融合决策；4)将最后得到的多分辨率图像送入一个同样由小波基函数构造的滤波器中滤波并对滤波后的图像信号进行求和，将小波框架变换层数降一层，将构造滤波器进行一次降采样处理后再作下一层反变换，以此类推，完成整个小波框架的反变换从而得到最终的融合图像；本发明能大幅度地提高融合后的图像质量，以达到理想的实用效果。

Description

基于区域特征模糊的红外与可见光图像融合方法

技术领域

本发明涉及图像处理技术，特别是涉及一种基于区域特征模糊的多传感器图像融合方法，是信息融合领域中一项多尺度、模糊理论以及图像区域分割结合的图像融合方法，在光学成像、目标监视、安全检查等***中均可有广泛的应用。

背景技术

近年来，多传感器图像融合技术在机器视觉、遥感、医学、军事等领域得到了广泛地关注。多传感器图像融合是指多个传感器采集的关于同一目标或场景的图像数据，根据某种算法进行适当的综合处理，产生一幅新的，满足某种需求的新图像。由于多传感器获取的图像间既存在冗余性又存在互补性，图像融合可以通过适当的融合这些对同一场景的图像，获得一幅更加适合于人眼和机器识别的图像。

目前具有代表性的图像融合方法有基于塔形变换的方法、基于子波变换的方法等。多尺度图像融合的过程是首先将配准后图像经多尺度分解，分解方法包括拉普拉斯、梯度金字塔以及小波分解等方法；分解后图像的每层看作为图像在这一尺度或波段的特征，根据这些特征所反应的能量测度进行加权平均或选择，以达到融合的目的。由于每个像素是属于图像中的某一个区域的，为了保证像素的一致性，有必要发展一套基于区域的多尺度图像融合方法，比较典型的有基于小波的区域融合方法和基于拉普拉斯变换的区域融合方法。这两种方法中，区域的显著性测度是在多尺度上每一层上进行的提取的，也就是求取每个区域的多尺度系数绝对值的和作为显著性测度，融合过程是根据这种测度，选择比较大的那个区域的相应的多尺度系数，融合结果通过多尺度反变换得到。尽管他们的多尺度变换的方法以及图像分割的方法不同，但是对融合准则的选取上，以及融合测度的设计上基本相似，融合结构类似。所以导致了他们共同存在一个问题：区域一致性的问题。由于区域的显著性测度是在多尺度展开后每个频段上求取，导致了在每一个频段上的选择可能不一致，即，不是选择同一幅图像相应区域的所有频段，从而出现了区域的不一致性，目标区域的对比度和区域一致性都有所下降。

发明内容

针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能在模糊空间中处理区域融合决策问题的，能够解决多分辨率变换域中的区域一致性问题，以提高融合后的图像质量，达到理想的实用效果的基于区域特征模糊的红外与可见光图像融合方法。

为了解决上述技术问题，本发明所提供的一种基于区域特征模糊的红外与可见光图像融合方法，其特征在于，包括如下具体步骤：

1)采用小波框架将待融合图像进行多尺度分解：将原始图像信号输入小波基函数构造的两个滤波器进行分解，得到一个高频分量和一个低频分量，然后将这两个滤波器进行升采样处理，将分解后的低频分量作为输入信号送入经升采样处理后的滤波器中进行小波框架的两层分解，得到又一组高频分量和低频分量，同时滤波器再一次进行升采样处理，将两层分解后得到的低频分量再次作为滤波器的输入信号，可进一步得到更高的分解层数，最终得到小波框架的一系列高频分量和一个最低频分量；

2)对红外图像低频部分进行K均值聚类分割成三类：K均值算法将红外图像低频部分分成三类，这三类都与聚类中心对应一个欧几里德距离，根据欧几里德距离确定距离的二范数为目标函数，利用简单的寻优算法使得这个目标函数最小，从而得出红外图像分割成三类的结果；

3)对红外传感器图像的低频分量部分进行聚类分割成三类后，分别表示成为重要目标区域、次重要区域和背景区域；根据模糊区域特征以及多传感器图像高频部分的量测指标得到融合决策；

4)小波框架反变换得到最后融合结果：将最后得到的多分辨率图像送入一个同样由小波基函数构造的滤波器中滤波并对滤波后的图像信号进行求和，将小波框架变换层数降一层，将构造滤波器进行一次降采样处理后再作下一层反变换，以此类推，完成整个小波框架的反变换从而得到最终的融合图像。

利用本发明提供的基于区域特征模糊的红外与可见光图像融合方法，由于考虑到区域融合的一致性问题，将所有区域的属性事先判别清楚，对于不同的区域采用不同的策略，使得具有重要区域特征的信息不损失一致性特性；在多分辨率方法上，采用了基于小波框架的多分辨率分解方法，这种方法避免了小波变换的平移变化特性，针对于一些图像配准精度不是特别高的图像具有较强的鲁棒性；针对红外图像低频段的区域分割，采用了K均值算法，该算法具有算法简单，精度高的特点。基于以上三点原因，本发明的基于区域特征模糊的图像融合方法能够充分提高图像的融合性能，使融合后的图像质量得到大幅度地提高，对于各种应用***的后续处理和图像显示具有重要意义和实用价值。

本发明的基于模糊区域特征的图像融合方法在保证重要区域和背景区域有良好的一致性信息的同时，次重要区域具有显著的高频特征。从而避免了单纯追求图像中所有区域保持一致性特征而产生的矛盾。并将其应用到红外与可见光图像的融合中。

附图说明

图1为本发明的基于区域特征模糊的图像融合方法的流程示意图；

图2为本发明所采用隶属函数的示意图；

图3为不同融合方法对红外与可见光图像融合结果的对照示意图。

具体实施方式

以下结合附图说明对本发明的实施例作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似方法及其相似变化，均应列入本发明的保护范围。

本发明实施例所提供的一种基于区域特征模糊的图像融合方法的流程参见图1所示，在图1中，待融合图像为红外传感器图像A和CCD传感器图像B。首先分别对红外传感器图像A、CCD传感器图像B分别进行小波框架(多分辨率)变换；经分解系数分别将图像信号以多尺度的形式表示出来；信号的多尺度表示有两部分，一部分是反映信号突变的高频分量部分，也就是信号的细节部分；另一部分是反映信号概貌的低频分量部分；对红外图像低频分量采用K均值分割的聚类方法进行分割，然后将聚类结果与CCD传感器图像B图像的低频分量经区域模糊隶属度函数处理确定融合决策，红外传感器图像A、CCD传感器图像B的高频分量分别经量测指标处理共同确定融合决策；然后红外传感器图像A、CCD传感器图像B的高频分量分别经融合决策确定的融合运算进行融合处理，同时与低频分量共同组成融合后系数，也就是融合结果图像的多分辨率表示，最后进行多分辨率小波框架反变换就可以得到融合图像。

具体实施步骤为：

1)采用传统的9/7小波滤波器组对待融合的原图像进行多分辨率展开：

离散小波框架是对离散小波变换的修正，在对图像进行离散小波变换的时，一般需要将通过小波变换的高频和低频滤波器的输出进行降采样。小波框架的不同之处就在于没有对这一部分作降采样处理，而是将小波的滤波器系数进行修正。具体的叠代变换过程如公式(1)和公式(2)：

$w_{i+1}\left(n\right)=\underset{k}{\mathrm{\Σ}}g(2^i\·k)\·s_i(n-k)---\left(1\right)$

$s_{i+1}\left(n\right)=\underset{k}{\mathrm{\Σ}}h(2^{\′}\·k)\·s_i(n-k)---\left(2\right)$

g(k)是小波框架的分解高频滤波器，h(k)是小波框架的分解低频滤波器。

通过公式(1)和公式(2)得到小波框架的高频分量w₀，w₁，...，w_N和最低频分量s_N；N为小波框架变换的层数。

2)对红外图像低频部分进行K均值聚类分割成三类：

在对图像的应用和研究过程中，人们往往对图像中的某些部分感兴趣，这些部分一般对应图像中特定的、具有独特性质的区域，由此需要把这些区域分离提取出来。图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标的技术。图像分割是图像理解和分析的一项基本内容。图像中的区域是指一个互相连通的、具有一致的“有意义”属性的像元集合。所谓的“有意义”的属性依赖于待分析图像的具体情况，如图像的颜色、灰度、像元的邻域的统计特性或纹理特性等。“一致性”要求每个区域具有相同或相近的特征属性。图像分割方法一般包括：阈值分割法、聚类分割法、统计学分割法和区域增长法和分开合并法。K均值分割算法属于聚类分割方法中的一种。

K均值算法把n个向量x_j分成c个类G_i，并求每类的聚类中心，使得非相似性(或距离)指标的目标函数达到最小。当选择第1类G_i中向量x_k与相应聚类中心c_i间的度量为欧几里德距离时，目标函数可以定义为：

$J=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{J}_i=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left(\underset{k,x_k\∈G_i}{\mathrm{\Σ}}{\left|\right|x_k-c_i\left|\right|}^2\right),$

这里 $J_i=\underset{k,x_k\∈G_i}{\mathrm{\Σ}}{\left|\right|x_k-c_i\left|\right|}^2$ 是类G_i内目标函数。J_i的值依赖于G_i的几何尺寸和c_i的位置。显然，j的值越小，表明聚类效果越好。

K均值算法基本思想：

①首先随机选取c个向量作为每类的中心；

②设U是一个c×n的二维隶属矩阵。如果第1个向量x_j属于类I，则U中的元素u_ij为1；否则该元素取0。即：

③根据u_ij计算目标函数式(4)的值，如果它低于一个给定的最小阈值或者连续两次值之差小于一个参数阈值则停止运行。

根据u_ij更新各个聚类中心： $c_i=\frac{1}{\left|G_i\right|}\underset{k,x_k\∈G_i}{\mathrm{\Σ}}{x}_k,$ 这里 $\left|G_i\right|=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}},$ 表示类G_i内元素的个数。然后重新回到步骤②

3)对红外传感器图像的低频分量部分进行聚类分割成三类后，分别表示成为重要目标区域、次重要区域和背景区域，进行模糊化处理：

在多个传感器对某一场景进行成像时，每个传感器图像的真实场景区域大致可以分成三种，这三个区域可以通过某个对目标敏感的传感器(如红外成像传感器)进行划分，分别是包括目标的重要区域、边缘或纹理信息丰富的次重要区域和包含背景信息的背景区域。由上述的模糊理论中的概念，这三种区域的全集定义了真实场景U上的一个区域模糊集A。由于进行区域划分的传感器对目标的敏感性，我们统称之为目标传感器，其他成像传感器称为背景传感器。

首先要确定区域模糊集A中的每一个元素在进行融合时的融合法则。如果区域被划分成重要区域，说明目标传感器图像的这个区域的重要性强于背景传感器图像的相应区域，融合的方法是将目标传感器图像这部分区域的所有多分辨率系数作为融合后图像的相应区域部分。如果是次重要区域，则说明多传感器图像在该区域表现的显著性特征相当，只要将具有边缘特征的信息作为融合结果保留下来即可，没有必要保留该区域所有信息，则在对该区域融合过程中可以选择显著性相对较大的那个多分辨率系数作为融合结果，对该区域一致性的破坏不会使最终的融合结果变坏。如果区域属于背景区域，说明背景传感器图像在该区域的重要性要强于目标传感器图像，与重要性区域相似，融合的方法是将背景传感器图像这部分区域的所有多分辨率系数作为融合后图像的相应区域部分。

设区域模糊集A的元素分别为A₁，A₂，A₃，分别表示目标重要性区域、次重要区域和背景区域，区域特征属性为u(u∈U)，则μ_A(u)称为u对区域模糊集A的隶属度，因此在区域属性确定时，区域融合策略应该是：

由于图像区域的重要性是相对的，也就是说，不能够根据图像的某个特征判断该区域是重要的或是不重要的。区域的重要性是个模糊的概念，因此有必要对图像的重要性属性进行模糊化，融合过程在模糊空间进行。

本发明采用比较常用的正态分布隶属函数，如图2所示，该函数的定义为：

${\mathrm{\μ}}_{A_j}\left(u\right)=\exp \left[\frac{-{(\mathrm{ME}\left(u\right)-E\left(A_j\right))}^2}{\frac{L_{\max }-L_{\min }}{2}}\right]---\left(6\right)$

其中，μ_Aj(u)表示u区域属于A_j的隶属度函数；_Lmax和L_min分别为图像的重要区域和背景区域理想的聚类中心，E(A₁)＝L_min，E(A₃)＝L_max；E(A_j)表示属性为A_j理想的聚类中心，设L_max，L_min为目标传感器图像的最大、最小灰度等级， $E\left(A_2\right)=\frac{L_{\max }+L_{\min }}{2};$ ME(u)为u区域实际的聚类中心。将所获得的某一传感器图像所获得一系列模糊区域隶属度称为该图像的模糊区域特征。

图中A₁，A₂，A₃分别表示图像模糊区域集的三个元素，它们分别对应三种理想的融合结果。当ME(u)＝A₁时表示图像区域u为背景，可直接利用背景传感器图像的相应区域作为融合结果，设为F₁；当ME(u)＝A₂时表示区域u为次重要区域，我们采用基于像素点的图像融合方法^[1]，得融合结果F₂；当ME(u)＝A₃时表示区域u为重要区域，直接采用目标传感器图像的相应区域作为融合结果F₃。

最后，根据每个区域的特性，定义出所有图像像素点的隶属度空间上的点μ_Aj(u)(j＝1，2，3)。根据这些隶属度点，确定图像的融合结果。

$F=\frac{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\μ}}_{A_i}\left(u\right)F_i}{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\μ}}_{A_i}\left(u\right)},---\left(7\right)$

公式中F即是融合结果的多分辨率表示。对其进行相应的多分辨率反变换，即可得到最终的融合结果。

4)小波框架反变换得到最后融合结果：将最后得到的多分辨率图像送入一个同样由小波基函数构造的滤波器中滤波并对滤波后的图像信号进行求和，将小波框架变换层数降一层，将构造滤波器进行一次降采样处理后再作下一层反变换，以此类推，完成整个小波框架的反变换从而得到最终的融合图像。

$s_i\left(n\right)=\underset{k}{\mathrm{\Σ}}\tilde{h}(2^i\·n-k)\·s_{i+1}\left(n\right)+\underset{k}{\mathrm{\Σ}}\tilde{g}(2^i\·n-k)\·w_{i+1}\left(n\right)---\left(8\right)$

公式(8)表示的是小波框架的反变换过程(信号重构)。 是小波框架的重构高频滤波器，

是小波框架的重构低频滤波器。最终得到融合图像，如图3e。

本发明的实施见图2、图3，分别按图2的模糊隶属度函数对红外图像的低频段进行模糊处理，以及将其用于融合图3a表示的红外图像和图3b表示的可见光图像进行融合。图3c表示的是采用小波变换和传统区域融合算法方法的融合结果；图3d采用拉普拉斯金字塔变换和传统区域融合的融合结果；图3e为本发明基于基于模糊区域特征的图像融合结果。

表1为可见光/红外图像的融合结果指标评价指标。从表中可以看出，当采用本发明提出的方法时，融合性能已经超过了传统小波方法，拉普拉斯金字塔方法，甚至超过了传统的小波框架的方法。

                表1

图像融合方法	EMI	PMI
			采用Zhang.Z的方法采用Piella.G的方法基于FRF方法	0.36100.47600.4462	1.36941.41721.5037

Claims (1)

1、一种基于区域特征模糊的图像融合方法，其特征在于，包括如下具体步骤：

1)采用小波框架将待融合图像进行多尺度分解：将原始图像信号输入小波基函数构造的两个滤波器进行分解，得到一个高频分量和一个低频分量，然后将这两个滤波器进行升采样处理，将分解后的低频分量作为输入信号送入经升采样处理后的滤波器中进行小波框架的两层分解，得到又一组高频分量和低频分量，同时滤波器再一次进行升采样处理，将两层分解后得到的低频分量再次作为滤波器的输入信号，可进一步得到更高的分解层数，最终得到小波框架的一系列高频分量和一个最低频分量；

2)对红外图像低频部分进行K均值聚类分割成三类：K均值算法将红外图像低频部分分成三类，这三类都与聚类中心对应一个欧几里德距离，根据欧几里德距离确定距离的二范数为目标函数，利用简单的寻优算法使得这个目标函数最小，从而得出红外图像分割成三类的结果；

3)对红外传感器图像的低频分量部分进行聚类分割成三类后，分别表示成为重要目标区域、次重要区域和背景区域；根据模糊区域特征以及多传感器图像高频部分的量测指标得到融合决策；

4)小波框架反变换得到最后融合结果：将最后得到的多分辨率图像送入一个同样由小波基函数构造的滤波器中滤波并对滤波后的图像信号进行求和，将小波框架变换层数降一层，将构造滤波器进行一次降采样处理后再作下一层反变换，以此类推，完成整个小波框架的反变换从而得到最终的融合图像。

Images