CN104574334A - 一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 - Google Patents

Abstract

一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法，它有四大步骤：一、利用两种形态学交替算子提取原始红外与可见光图像中的多尺度特征；二、由提取到的多尺度特征构造多尺度融合特征；三、利用模糊度量计算每一尺度融合特征的权值，通过加权求和产生最终的融合特征；四、以原始图像的平均图像为基准，引入最终的融合特征，生成最终融合图像。本发明可应用于各类基于图像融合的实际应用***，具有很好的应用前景。

Description

一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法

技术领域

本发明涉及一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法，属于数字图像处理领域，它主要涉及模糊数学、数学形态学和图像融合技术。在各类基于图像融合的实际应用***中有广阔的应用前景。

背景技术

由不同成像传感器获得的图像包含场景的不同性质。例如，红外探测器获得的红外图像包含了场景中的温度特性，对目标识别具有重要意义；而可见光图像包含场景的大量细节信息，可提供场景分析所需要的大量信息。如何获得同时包含不同成像源产生的图像中的不同有用信息是图像分析的重要研究内容，图像融合是解决这一问题的有效途径(参见文献：莱维等，一种用于人认知的新的多谱特征图像融合方法，红外物理与技术，52卷，(2009)79-88。(M.Leviner,M.Maltz,A new multi-spectral feature level image fusion method for humaninterpretation,Infrared Physics&Technology 52(2009)79–88.))。

为了有效融合红外与可见光图像，研究人员提出了各种方法。直接平均法是简单有效的图像融合方法。然而，该方法会严重平滑图像信息。基于小波或曲波的方法是红外和可见光图像融合的一类重要方法(参见文献：帕亚雷斯等，一种基于小波的图像融合策略，模式识别，37卷，(2004)1855-1872。(G.Pajares,J.Cruz,A wavelet-based image fusion tutorial,PatternRecognition 37(2004)1855–1872)；南希等，利用曲波变换的遥感图像融合，信息融合，8卷，(2007)143–156。(F.Nencini,A.Garzelli,S.Baronti,L.Alparone,Remote sensing imagefusion using the curvelet transform,Information Fusion 8(2007)143–156.))。但是，这类方法仍然会平滑图像细节，使得融合图像不够清晰。基于独立成分分析的方法也是图像融合的一类重要方法(参见文献：米提安纳蒂斯等，利用独立成分分析的像素级和区域级图像融合框架，信息融合，8卷，(2007)131-142。(N.Mitianoudis,T.Stathaki,Pixel-based and region-basedimage fusion schemes using ICA bases,Information Fusion 8(2007)131–142.))。但该方法可能会丢失其他成分信息，造成融合图像细节不够清晰。

形态学方法是红外与可见光图像融合的重要工具。其中，高帽变换可有效应用于红外与可见光图像融合(参考文献：白等，基于多尺度中心环绕高帽变换特征提取的红外和可见光图像融合，光学快报，19卷，(2011)8444–8457。(X.Bai,F.Zhou,B.Xue,Fusion of infraredand visual images through region extraction by using multi scale center-surround top-hattransform,Optics Express 19(9)(2011)8444–8457.))。虽然融合结果图像的对比度较好，但图像细节仍然不够清晰。形态学交替算子可有效提取图像中的有用信息，尤其是细节信息(参考文献：白等，利用基于形态学开闭运算的切换变换构造交替算子的显微矿物图像增强，光学杂志，16卷，(2014)125407。(X.Bai,Y.Zhang,Enhancement of microscopy mineral imagesthrough constructing alternating operators using opening and closing based toggle operator,Journal of Optics 16(2014)125407.))。这说明，该算子可能用于红外与可见光图像融合特征的提取，从而生成对比度较好且细节清晰的融合结果。基于此，本发明提出了一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法。

发明内容

1、目的：图像融合可有效利用多源图像中的有用信息，是图像分析的重要关键技术。红外和可见光图像融合需有效提取图像中的有用信息并合理地组合从而形成包含更多有用信息的融合图像。为了生成有效的融合图像，研究人员提出了各种红外和可见光图像融合方法。但是，现有方法产生的融合图像的细节还不够清晰、图像对比度还不够好，融合结果还不是非常有效。

为了解决上述问题并弥补传统方法的不足，本发明提供了一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法，它利用两种形态学交替算子提取原始红外与可见光图像中的多尺度特征；由提取的多尺度特征构造多尺度融合特征；利用模糊度量计算每一尺度融合特征的权值，通过加权求和产生最终的融合特征；以原始图像的平均图像为基准，引入最终的融合特征，生成最终融合图像。融合结果图像中的细节更加清晰、对比度更好。

2、技术方案：为了实现这个目的，本发明一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法，该方法具体步骤如下：

步骤一：利用两种形态学交替算子提取原始红外与可见光图像中的多尺度亮、暗特征，具体如下：

设f，g为原始红外与可见光图像，则提取的红外图像f的多尺度亮特征BFAO_i(f)如下：

${\mathrm{BFAO}}_i\left(f\right)=[\mathrm{BFA}{O}_i^1\left(f\right)+\mathrm{BFA}{O}_i^2\left(f\right)]/2,$

和的表述如下：

${\mathrm{BFAO}}_i^1\left(f\right)=\max [f(x,y)-[{\mathrm{AO}}_i^1\left(f\right)](x,y),0],$

${\mathrm{BFAO}}_i^2\left(f\right)=\max [f(x,y)-[{\mathrm{AO}}_i^2\left(f\right)](x,y),0],$

其中，和为两类形态学交替算子，其定义如下：

${\mathrm{AO}}_i^1(x,y)={\mathrm{IFD}}_{B_i}\left({\mathrm{IFB}}_{B_i}(x,y)\right),$

${\mathrm{AO}}_i^2(x,y)={\mathrm{IFB}}_{B_i}\left({\mathrm{IFD}}_{B_i}(x,y)\right),$

其中，和的表述如下：

${\mathrm{IFB}}_{B_i}\left(f\right)(x,y)=\max (f(x,y)-{\mathrm{TO}}_{B_i}\left(f\right)(x,y),0),$

${\mathrm{IFD}}_{B_i}\left(f\right)(x,y)=\max ({\mathrm{TO}}_{B_i}\left(f\right)(x,y)-f(x,y),0),$

其中，的表述如下：

其中，为多尺度形态学结构元素，B₁表示最低尺度的结构元素；f○B_i和f●B_i的表述如下：

其中，和fΘB_i的表述如下：

$f\⊕B_i=\underset{u,v}{\max }(f(x-u,y-v)+B_i(u,v)),$

$\mathrm{f\Θ}{B}_i=\underset{u,v}{\min }(f(x+u,y+v)-B(u,v)),$

其中，(x,y)和(u,v)是f和B_i的图像坐标；和Θ分别代表形态学膨胀和腐蚀运算。

同理，提取的红外图像f的多尺度暗特征DFAO_i(f)如下：

${\mathrm{DFAO}}_i\left(f\right)=[\mathrm{DFA}{O}_i^1\left(f\right)+{\mathrm{DFAO}}_i^2\left(f\right)]/2,$

其中，和的表述如下：

$\mathrm{DFA}{O}_i^1\left(f\right)=\max \left[\right[{\mathrm{AO}}_i^1\left(f\right)](x,y)-f(x,y),0],$

$\mathrm{DFA}{O}_i^2\left(f\right)=\max \left[\right[{\mathrm{AO}}_i^2\left(f\right)](x,y)-f(x,y),0].$

同样，针对可见光图像g，提取的多尺度亮特征BFAO_i(g)和暗特征DFAO_i(g)分别如下：

${\mathrm{BFAO}}_i\left(g\right)=[\mathrm{BFA}{O}_i^1\left(g\right)+\mathrm{BFA}{O}_i^2\left(g\right)]/2,$

${\mathrm{DFAO}}_i\left(g\right)=[\mathrm{BFA}{O}_i^1\left(g\right)+\mathrm{BFA}{O}_i^2\left(g\right)]/2.$

步骤二：由提取的多尺度亮、暗特征构造多尺度亮、暗融合特征：

按下式计算由红外和可见光图像产生的多尺度亮融合特征BFAO_i(f,g)：

$\mathrm{BFA}{O}_i(f,g)=\left\{\begin{array}{ccc}\left[\mathrm{BFA}{O}_i\left(f\right)\right](x,y),& \mathrm{if}& \left[\mathrm{BFA}{O}_i\left(f\right)\right](x,y)>\left[\mathrm{BFA}{O}_i\left(g\right)\right](x,y)\\ \left[\mathrm{BFA}{O}_i\left(g\right)\right](x,y),& & \mathrm{else}\end{array}\right..$

按下式计算由红外和可见光图像产生的多尺度暗融合特征DFAO_i(f,g)：

$\mathrm{DFA}{O}_i(f,g)=\left\{\begin{array}{ccc}\left[\mathrm{DFA}{O}_i\left(f\right)\right](x,y),& \mathrm{if}& \left[\mathrm{DFA}{O}_i\left(f\right)\right](x,y)>\left[\mathrm{DFA}{O}_i\left(g\right)\right](x,y)\\ \left[\mathrm{DFA}{O}_i\left(g\right)\right](x,y),& & \mathrm{else}\end{array}\right..$

步骤三：利用模糊度量计算每一尺度融合特征的权值，通过加权求和产生最终的亮、暗融合特征：

按下式计算最终的亮融合特征FBFAO(f,g)：

$\mathrm{FBFAO}(f,g)=\underset{i}{\mathrm{\Σ}}{\mathrm{wf}}_i\×\mathrm{BFA}{O}_i(f,g),$

其中，wf_i的表述如下：

$w{f}_i=\mathrm{\γ}\left[\mathrm{BFA}{O}_i(f,g)\right]/\underset{i}{\mathrm{\Σ}}\mathrm{\γ}\left[\mathrm{BFA}{O}_i(f,g)\right],$

$\mathrm{\γ}\left(I\right)=\frac{2}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\min \{p_{\mathrm{xy}},(1-p_{\mathrm{xy}})\},$

$p_{\mathrm{xy}}=\sin [\frac{\mathrm{\π}}{2}\×(1-\mathrm{\μ}(x,y))],$

μ(x,y)＝I(x,y)/I_max，

其中，I为任意图像，I_max为图像I中的最大灰度值。

同理，按下式计算最终的暗融合特征FDFAO(f,g)：

$\mathrm{FDFAO}(f,g)=\underset{i}{\mathrm{\Σ}}{\mathrm{df}}_i\×\mathrm{DFA}{O}_i(f,g),$

其中，df_i的表述如下：

${\mathrm{df}}_i=\mathrm{\γ}\left[\mathrm{dFA}{O}_i(f,g)\right]/\underset{i}{\mathrm{\Σ}}\mathrm{\γ}\left[\mathrm{DFA}{O}_i(f,g)\right].$

步骤四：以原始红外和可见光图像的平均图像为基准，引入最终的亮、暗融合特征，生成最终融合图像。

3、优点及功效：

利用构造的两种形态学交替算子可以提取原始红外和可见光图像中的更多有用信息从而更加有利于图像融合。而且，基于模糊度量的权重策略和多尺度形态学理论的应用，可更好地构造最终融合特征，从而使得融合图像更加有效。因此，本发明可有效融合红外和可见光图像。总之，本发明可以很好地融合原始红外和可见光图像中的有用信息，使融合结果图像中的细节更加清晰、对比度更好，可广泛应用于各类基于图像融合的实际应用***，具有很好的市场前景与应用价值。

附图说明

图1为本发明一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法的流程框图；

图2(a)为原始红外图像；

图2(b)为原始可见光图像；

图2(c)为本发明应用于红外和可见光融合结果图像。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本发明的流程框图如图1所示，本发明是一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法，该方法的具体实施步骤如下：

步骤一：利用两种形态学交替算子提取原始红外与可见光图像中的多尺度亮、暗特征

形态学理论是图像分析的重要理论之一(参考文献：塞拉等，图像分析和数学形态学，学术出版社，纽约，1982。(J.Serra,Image analysis and mathematical morphology,Academic Press,New York,1982_.))。设原始红外图像为f，结构元素为B。基于多尺度理论，设为多尺度形态学结构元素，B₁表示最低尺度的结构元素。则形态学多尺度膨胀和腐蚀可表示为：

$f\⊕B_i=\underset{u,v}{\max }(f(x-u,y-v)+B_i(u,v)),$

$\mathrm{f\Θ}{B}_i=\underset{u,v}{\min }(f(x+u,y+v)-B_i(u,v)),$

其中，(x,y)是f的像素坐标；(u,v)是B的像素坐标；和分别表示膨胀和腐蚀运算。

利用膨胀和腐蚀运算，则多尺度开、闭运算可定义为：

其中，○和●分别是开、闭运算符。

基于形态学开、闭运算符，多尺度形态学切换变换可表示为：

基于切换变化构造的形态学交替算子的定义如下(参考文献：白等，利用基于形态学开闭运算的切换变换构造交替算子的显微矿物图像增强，光学杂志，16卷，(2014)125407。(X.Bai,Y.Zhang,Enhancement of microscopy mineral images through constructing alternatingoperators using opening and closing based toggle operator,Journal of Optics 16(2014)125407.))：

${\mathrm{AO}}_i^1(x,y)={\mathrm{IFD}}_{B_i}\left({\mathrm{IFB}}_{B_i}(x,y)\right),$

${\mathrm{AO}}_i^2(x,y)={\mathrm{IFB}}_{B_i}\left({\mathrm{IFD}}_{B_i}(x,y)\right),$

其中，和的表述如下：

$\mathrm{IF}{B}_{B_i}\left(f\right)(x,y)=\max (f(x,y)-T{O}_{B_i}\left(f\right)(x,y),0),$

$\mathrm{IF}{D}_{B_i}\left(f\right)(x,y)=\max ({\mathrm{TO}}_{B_i}\left(f\right)(x,y)-f(x,y),0).$

利用形态学交替算子，提取的红外图像f的多尺度亮特征BFAO_i(f)如下：

${\mathrm{BFAO}}_i\left(f\right)=[{\mathrm{BFAO}}_i^1\left(f\right)+\mathrm{BFA}{O}_i^2\left(f\right)]/2,$

和的表述如下：

$\mathrm{BFA}{O}_i^1\left(f\right)=\max [f(x,y)-[{\mathrm{AO}}_i^1\left(f\right)](x,y),0],$

$\mathrm{BFA}{O}_i^2\left(f\right)=\max [f(x,y)-[{\mathrm{AO}}_i^2\left(f\right)](x,y),0].$

同理，提取的红外图像f的多尺度暗特征DFAO_i(f)如下：

${\mathrm{DFAO}}_i\left(f\right)=[\mathrm{DFA}{O}_i^1\left(f\right)+{\mathrm{DFAO}}_i^2\left(f\right)]/2,$

和的表述如下：

$\mathrm{DFA}{O}_i^1\left(f\right)=\max \left[\right[{\mathrm{AO}}_i^1\left(f\right)](x,y)-f(x,y),0],$

$\mathrm{DFA}{O}_i^2\left(f\right)=\max \left[\right[{\mathrm{AO}}_i^2\left(f\right)](x,y)-f(x,y),0].$

同样，针对可见光图像g，提取的多尺度亮BFAO_i(g)和暗特征DFAO_i(g)分别如下：

${\mathrm{BFAO}}_i\left(g\right)=[\mathrm{BFA}{O}_i^1\left(g\right)+\mathrm{BFA}{O}_i^2\left(g\right)]/2,$

${\mathrm{DFAO}}_i\left(g\right)=[\mathrm{BFA}{O}_i^1\left(g\right)+\mathrm{BFA}{O}_i^2\left(g\right)]/2.$

步骤二：由提取的多尺度亮、暗特征构造多尺度亮、暗融合特征

由红外图像f和可见光图像g获取的多尺度亮特征BFAO_i(f)和BFAO_i(g)都是基于灰度的，灰度较大的像素对应的特征较为明显，因此可采用像素灰度的对比策略来融合从不同图像中获得的特征。实际上，像素灰度对比策略(参考文献：白等，基于多尺度中心环绕高帽变换特征提取的红外和可见光图像融合，光学快报，19卷，(2011)8444–8457。(X.Bai,F.Zhou,B.Xue,Fusion of infrared and visual images through region extraction by using multi scalecenter-surround top-hat transform,Optics Express 19(9)(2011)8444–8457.))是构造基于灰度的融合特征的有效策略，本发明采用这一策略融合由交替算子获得的多尺度亮特征，从而产生多尺度亮融合特征如下：

$\mathrm{BFA}{O}_i(f,g)=\left\{\begin{array}{ccc}\left[\mathrm{BFA}{O}_i\left(f\right)\right](x,y),& \mathrm{if}& \left[\mathrm{BFA}{O}_i\left(f\right)\right](x,y)>\left[\mathrm{BFA}{O}_i\left(g\right)\right](x,y)\\ \left[\mathrm{BFA}{O}_i\left(g\right)\right](x,y),& & \mathrm{else}\end{array}\right..$

同理，可按下式计算由红外和可见光图像产生的多尺度暗融合特征DFAO_i(f,g)：

$\mathrm{DFA}{O}_i(f,g)=\left\{\begin{array}{ccc}\left[\mathrm{DFA}{O}_i\left(f\right)\right](x,y),& \mathrm{if}& \left[\mathrm{DFA}{O}_i\left(f\right)\right](x,y)>\left[\mathrm{DFA}{O}_i\left(g\right)\right](x,y)\\ \left[\mathrm{DFA}{O}_i\left(g\right)\right](x,y),& & \mathrm{else}\end{array}\right..$

步骤三：利用模糊度量计算每一尺度融合特征的权值，通过加权求和产生最终的亮、暗融合特征

合理融合多尺度融合特征是产生有效融合结果的关键。包含有更多有用信息的多尺度特征应在最终融合特征中占有更多比重。模糊度量γ(参考文献：来等，利用平台直方图的一种基于量化度量的红外图像增强，光学通讯，283卷，(2010)4283-4288。(R.Lai,Y.Yang,B.Wang,H.Zhou,A quantitative measure based infrared image enhancement algorithm using plateauhistogram,Optics Communications 283(2010)4283–4288.)；霍夫曼，模糊理论概论，科学出版社1975。(A.Kaufmann.Introduction to the theory of fuzzy,Academic Press,1975.))是有效度量融合特征所包含有用信息的重要度量，可用于构造融合特征的权值。其对任意图像I进行度量的定义如下：

$\mathrm{\γ}\left(I\right)=\frac{2}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\min \{p_{\mathrm{xy}},(1-p_{\mathrm{xy}})\},$

$p_{\mathrm{xy}}=\sin [\frac{\mathrm{\π}}{2}\×(1-\mathrm{\μ}(x,y))],$

μ(x，y)＝I(x，y)/I_max，

其中，I为任意图像，I_max为图像I中的最大灰度值。

利用模糊度量γ计算每一尺度融合亮特征的权值如下wf_i：

${\mathrm{wf}}_i=\mathrm{\γ}\left[{\mathrm{BFAO}}_i(f,g)\right]/\underset{i}{\mathrm{\Σ}}\mathrm{\γ}\left[B{\mathrm{FAO}}_i(f,g)\right].$

利用权值wf_i按下式计算最终的亮融合特征FBFAO(f,g)：

$\mathrm{FBFAO}(f,g)=\underset{i}{\mathrm{\Σ}}{\mathrm{wf}}_i\×{\mathrm{BFAO}}_i(f,g).$

同理，可按下式计算最终的暗融合特征FDFAO(f,g)：

$\mathrm{FDFAO}(f,g)=\underset{i}{\mathrm{\Σ}}{\mathrm{df}}_i\×{\mathrm{DFAO}}_i(f,g),$

其中，df_i的表述如下：

${\mathrm{df}}_i=\mathrm{\γ}\left[\mathrm{dFA}{O}_i(f,g)\right]/\underset{i}{\mathrm{\Σ}}\mathrm{\γ}\left[\mathrm{DFA}{O}_i(f,g)\right].$

步骤四：以原始红外和可见光图像的平均图像为基准，引入最终的亮、暗融合特征，生成最终融合图像

将形态学特征通过对比度调整的方式进行组合可形成多种具有调节图像对比度效果的形态学算子，本发明称其为形态学对比度算子簇。形态学对比度算子簇所采用的线性调整图像对比度的策略是提高图像视觉效果的重要方式之一。形态学对比度算子簇的基本定义可表述如下：

e＝w₁×I+w₂×α–w₃×β，

其中，e为形态学对比度算子簇的结果；I为由原始图像产生的任意图像；α和β为利用任意形态学对偶运算得到的具有对应特性的形态学亮、暗特征；w₁，w₂和w₃为三个调节参数。

本发明以原始红外和可见光图像的平均图像为基准图像，采用形态学对比度算子簇的线性方式引入最终的亮、暗融合特征，调整图像对比度，从而生成最终融合图像。具体表示形式如下：

F＝B×w₁+FBFAO(f,g)×w₂–FDFAO(f,g)×w₃，

其中，F为最终融合图像；B为原始红外和可见光图像的平均图像。实际上，F的表示形式是形态学对比度算子簇在本发明中应用的一个特例。

为了展示本发明的效果，利用多模红外与可见光图像进行验证。图2(a)—(c)是本发明的一个应用实例。原始红外图像包含了道路等重要信息，原始可见光图像包含了场景中的细节信息。融合这两类图像将提供重要的区域和图像细节信息。从本发明的融合结果中可以看出，融合图像不仅有效融合了各类有效信息，而且图像细节更加丰富，图像对比度更好。这说明，本发明是一种有效的红外与可见光图像融合方法。因此，本发明可应用于各类基于图像融合的实际应用***，具有良好的市场应用价值。

Claims (1)

1.一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法，其特征在于：该方法具体步骤如下：

步骤一：利用两种形态学交替算子提取原始红外与可见光图像中的多尺度亮、暗特征，具体如下：

设f，g为原始红外与可见光图像，则提取的红外图像f的多尺度亮特征BFAO_i(f)如下：

${\mathrm{BFAO}}_i\left(f\right)=[{\mathrm{BFAO}}_i^1\left(f\right)+{\mathrm{BFAO}}_i^2\left(f\right)]/2,$

和的表述如下：

${\mathrm{BFAO}}_i^1\left(f\right)=\max [f(x,y)-[{\mathrm{AO}}_i^1\left(f\right)](x,y),0],$

${\mathrm{BFAO}}_i^2\left(f\right)=\max [f(x,y)-[{\mathrm{AO}}_i^2\left(f\right)](x,y),0],$

其中，和为两类形态学交替算子，其定义如下：

${\mathrm{AO}}_i^1(x,y)={\mathrm{IFD}}_{B_i}\left({\mathrm{IFB}}_{B_i}(x,y)\right),$

${\mathrm{AO}}_i^2(x,y)={\mathrm{IFB}}_{B_i}\left({\mathrm{IFD}}_{B_i}(x,y)\right),$

其中，和的表述如下：

${\mathrm{IFB}}_{B_i}\left(f\right)(x,y)=\max (f(x,y)-{\mathrm{TO}}_{B_i}\left(f\right)(x,y),0),$

${\mathrm{IFD}}_{B_i}\left(f\right)(x,y)=\max ({\mathrm{TO}}_{B_i}\left(f\right)(x,y)-f(x,y),0),$

其中，的表述如下：

其中，为多尺度形态学结构元素，B₁表示最低尺度的结构元素；

f○B_i和f●B_i的表述如下：

$f\·B_i=(f\⊕B_i)\mathrm{\Θ}{B}_i,$

其中，和fΘB_i的表述如下：

$f\⊕B_i=\underset{u,v}{\max }(f(x-u,y-v)+B_i(u,v)),$

$\mathrm{f\Θ}{B}_i=\underset{u,v}{\min }(f(x+u,y+v)-B_i(u,v)),$

其中，(x,y)和(u,v)是f和B_i的图像坐标；和Θ分别代表形态学膨胀和腐蚀运算；

同理，提取的红外图像f的多尺度暗特征DFAO_i(f)如下：

${\mathrm{DFAO}}_i\left(f\right)=[{\mathrm{DFAO}}_i^1\left(f\right)+{\mathrm{DFAO}}_i^2\left(f\right)]/2,$

其中，和的表述如下：

${\mathrm{DFAO}}_i^1\left(f\right)=\max \left[\right[{\mathrm{AO}}_i^1\left(f\right)](x,y)-f(x,y),0],$

${\mathrm{DFAO}}_i^2\left(f\right)=\max \left[\right[{\mathrm{AO}}_i^2\left(f\right)](x,y)-f(x,y),0];$

同样，针对可见光图像g，提取的多尺度亮特征BFAO_i(g)和暗特征DFAO_i(g)分别如下：

${\mathrm{BFAO}}_i\left(g\right)=[{\mathrm{BFAO}}_i^1\left(g\right)+{\mathrm{BFAO}}_i^2\left(g\right)]/2,$

${\mathrm{DFAO}}_i\left(g\right)=[{\mathrm{BFAO}}_i^1\left(g\right)+{\mathrm{BFAO}}_i^2\left(g\right)]/2;$

步骤二：由提取的多尺度亮、暗特征构造多尺度亮、暗融合特征：

按下式计算由红外和可见光图像产生的多尺度亮融合特征BFAO_i(f,g)：

${\mathrm{BFAO}}_i(f,g)=\left\{\begin{array}{ccc}\left[{\mathrm{BFAO}}_i\left(f\right)\right](x,y),& \mathrm{if}& \left[{\mathrm{BFAO}}_i\left(f\right)\right](x,y)>\left[{\mathrm{BFAO}}_i\left(g\right)\right](x,y)\\ \left[{\mathrm{BFAO}}_i\left(g\right)\right](x,y),& & \mathrm{else}\end{array}\right.;$

按下式计算由红外和可见光图像产生的多尺度暗融合特征DFAO_i(f,g)：

${\mathrm{DFAO}}_i(f,g)=\left\{\begin{array}{ccc}\left[{\mathrm{DFAO}}_i\left(f\right)\right](x,y),& \mathrm{if}& \left[{\mathrm{DFAO}}_i\left(f\right)\right](x,y)>\left[{\mathrm{DFAO}}_i\left(g\right)\right](x,y)\\ \left[{\mathrm{DFAO}}_i\left(g\right)\right](x,y),& & \mathrm{else}\end{array}\right.;$

步骤三：利用模糊度量计算每一尺度融合特征的权值，通过加权求和产生最终的亮、暗融合特征：

按下式计算最终的亮融合特征FBFAO(f,g)：

$\mathrm{FBFAO}(f,g)=\underset{i}{\mathrm{\Σ}}{\mathrm{wf}}_i\×{\mathrm{BFAO}}_i(f,g),$

其中，wf_i的表述如下：

${\mathrm{wf}}_i=\mathrm{\γ}\left[{\mathrm{BFAO}}_i(f,g)\right]/\underset{i}{\mathrm{\Σ}}\mathrm{\γ}\left[{\mathrm{BFAO}}_i(f,g)\right],$

$\mathrm{\γ}\left(I\right)=\frac{2}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\min \{p_{\mathrm{xy}},(1-p_{\mathrm{xy}})\},$

$p_{\mathrm{xy}}=\sin [\frac{\mathrm{\π}}{2}\×(1-\mathrm{\μ}(x,y))],$

μ(x,y)＝I(x,y)/I_max，

其中，I为任意图像，I_max为图像I中的最大灰度值；

同理，按下式计算最终的暗融合特征FDFAO(f,g)：

$\mathrm{FDFAO}(f,g)=\underset{i}{\mathrm{\Σ}}{\mathrm{df}}_i\×{\mathrm{DFAO}}_i(f,g),$

其中，df_i的表述如下：

${\mathrm{df}}_i=\mathrm{\γ}\left[{\mathrm{dFAO}}_i(f,g)\right]/\underset{i}{\mathrm{\Σ}}\mathrm{\γ}\left[{\mathrm{DFAO}}_i(f,g)\right];$

步骤四：以原始红外和可见光图像的平均图像为基准，引入最终的亮、暗融合特征，生成最终融合图像。