CN113947554B - 一种基于nsst和显著信息提取的多聚焦图像融合方法 - Google Patents

一种基于nsst和显著信息提取的多聚焦图像融合方法 Download PDF

Info

Publication number
CN113947554B
CN113947554B CN202010693743.7A CN202010693743A CN113947554B CN 113947554 B CN113947554 B CN 113947554B CN 202010693743 A CN202010693743 A CN 202010693743A CN 113947554 B CN113947554 B CN 113947554B
Authority
CN
China
Prior art keywords
fusion
frequency
low
correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010693743.7A
Other languages
English (en)
Other versions
CN113947554A (zh
Inventor
何小海
吴剑
吴晓红
王正勇
卿粼波
吴小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010693743.7A priority Critical patent/CN113947554B/zh
Publication of CN113947554A publication Critical patent/CN113947554A/zh
Application granted granted Critical
Publication of CN113947554B publication Critical patent/CN113947554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于NSST和显著信息提取的多聚焦图像融合方法。主要涉及图像融合领域中的多聚焦图像融合问题。首先，将源图像通过NSST变换进行多尺度、多方向分解得到高、低频子带。其次，对低频子带系数采用局部区域的改进拉普拉斯能量和构建低频子带初始融合权重，为对低频初始融合权重进行修正，增加了非局部均值滤波修正融合规则；对高频子带系数采用基于相关系数的空间频率与能量相结合的融合规则，再加以相位一致性融合规则进行修正，构建高频子带融合权重；最后，通过NSST反变换得到最终融合图像。由于对低频和高频子带分别进行了相应的权重修正策略，降低了聚焦区域的判别错误率。在多组不同聚焦图像的实验中验证了该方法的有效性。

Description

一种基于NSST和显著信息提取的多聚焦图像融合方法
技术领域
本发明涉及图像融合领域中的多聚焦图像融合问题，尤其是涉及一种基于NSST和显著信息提取的多聚焦图像融合方法。
背景技术
图像融合技术是属于图像处理领域的一大研究热点。一幅图像中包含的信息(亮度，色彩，空间等)有限，因此，仅仅通过一张信息有限的图像，是很难满足特定的应用场景。通过将多幅带有不同侧重信息的图像以某种规则融合在一起，从而得到一幅含有更多信息，能够更加方便观察的图像。显然，图像融合的目标是将有用的信息尽可能的保留，同时去除一定的冗余信息。多聚焦图像融合将同一场景下的不同聚焦图像通过一定的融合方法整合在一起，从而使融合图像的清晰度更高，包含的信息更加丰富。
图像融合领域应用较多的像素级融合方法中，包括基于空间域的融合、基于变换域的融合方法以及基于深度学习的融合方法。其中，基于变换域的融合方法较其他两种方法，应用较多。所谓变换域，就是将图像的原始数据信息通过某种可逆的数学变换，得到具有不同特征信息的中间数据。通过对这些中间数据进行相应的融合规则处理，在经过可逆变换得到融合图像。显然，这类方法中，可逆变换、融合规则成为了关键。相继出现的可逆变换有金字塔变换、小波变换、非下采样轮廓波变换(NSCT)、非下采样剪切波变换(NSST)等。采用的融合规则也相对较多，有基于空间频率的融合规则，基于能量信息的融合规则，基于导向滤波的融合规则等。学者们从不同的角度出发，提出了很多融合算法。大多数融合算法得出的融合图像，存在清晰度不高，聚焦信息丢失，以及聚焦边缘模糊不清等现象。
发明内容
本发明提出了一种基于NSST和显著信息提取的多聚焦图像融合方法。对不同聚焦图像进行NSST变换得到的高低频子带系数，采用不同的融合规则加以一定的修正规则进行处理，最终得到融合图像。本发明主要通过以下过程步骤实现上述目的：
(1)使用NSST变换对不同聚焦图像进行处理，得到高低频子带系数；
(2)对(1)中得到的低频子带系数采用改进拉普拉斯能量和(SML)的初始低频融合规则进行初步处理，得到初始低频融合权重；
(3)运用显著性信息提取的低频修正融合规则对(2)中的结果进行一定的差错修正；
(4)对(1)中得到的高频子带系数采用基于相关系数的初始高频融合规则进行初步处理,得到初始高频融合权重；
(5)对一系列高频融合权重辅以不同程度的相位一致性(PC)修正规则，进行判别修正；
(6)对(3)和(5)得到的处理结果进行NSST反变换，得到融合结果。
附图说明
图一基于NSST和显著信息提取的多聚焦图像融合框架图；
具体实施方式
本发明引入非局部均值滤波(NLMF)结合导向滤波(GF)对低频子带系数进行加权修正，将基于相关系数的空间频率与能量相结合构成初始高频加权融合规则，同时运用相位一致性修正策略对初始高频融合权重进行修正判定。
非局部均值滤波修正融合规则如下：
结合附图二低频子带修正规则框图；
不同聚焦图像经过NSST变换后，所得到的低频子带图像丢失细节信息，运用基于改进拉普拉斯能量和(SML)的初始融合规则所得到的初始融合权重存在判别差错，本发明考虑源图像的细节信息，利用非局部均值滤波对源图像进行滤波，再将源图像与滤波图像进行差值运算得到显著性信息Dl，
Dl＝|Il-Il×NMLF| (1)
(1)式中：Il(0＜l＜L)为源图像，L代表源图像个数，×表示滤波操作。
再利用导向滤波得到聚焦区域细节信息，
Gl＝guidedfilter(Il,Dl,r,eps) (2)
最后采用取大策略得到低频子带修正融合权重
Figure GDA0002658273060000021
对初始融合权重进行差错修正。
Figure GDA0002658273060000022
初始高频加权融合规则如下：
高频子带图像包含源图像的细节信息，本发明将空间频率和能量利用相关系数相结合，构成初始高频融合规则。
首先，定义相关系数(Corr)的运算：
Figure GDA0002658273060000031
式中：
Figure GDA0002658273060000032
分别表示高频子带图像以及对高频子带图像进行均值滤波后的图像，/>
Figure GDA0002658273060000033
分别是/>
Figure GDA0002658273060000034
的均值，M*N为所取的图像块大小。
接着定义基于相关系数的空间频率及能量(SF_Eng_Corr)计算公式如下：
Figure GDA0002658273060000035
式中：SF_Corr和Eng_Corr分别表示空间频率相关系数和能量相关系数,对于一幅图像的聚焦区域与非聚焦区域来说，聚焦区域类的SF_Corr值和Eng_Corr值往往大于非聚焦区域。利用这一点，将两者加权结合构成SF_Eng_Corr，再利用取大策略求取初始高频融合权重。
相位一致性修正策略如下：
由相关系数得到的初始高频融合权重忽视了高频子带系数本身的相关性。为此，本文采用相位一致性PC加以修正，过程如下：
本发明采用一种新的活跃测量规则NAM来得到高频修正融合权重：
Figure GDA0002658273060000036
式中：PC、LSCM、LE分别表示相位一致性，局部锐度变换以及局部能量；α、β、γ分别为比例因子。
对高频子带系数来说，NAM能够将系数本身所带有的局部能量信息，细节边缘信息，以及梯度信息通过一定的比例整合在一起，从而有利于对聚焦区域的判别。
为了验证本发明提出的基于NSST和显著信息提取的多聚焦图像融合方法的有效性，进行了一系列对比实验。实验中选取3组大小分别为512pixel×512pixel，640pixel×480pixel，512pixel×512pixel的不同聚焦图像进行融合实验，并与现有的五种常见算法进行比较；同时采用六种评价指标进行定量评估。所用对比图片均已配准，实验结果如表一所示：
表一平均指标结果
Tab.1 The result of average index
Figure GDA0002658273060000041
从表中可以看出本发明方法在保留足够的融合信息的前提下，将融合图像的视觉清晰度提高到了0.9009，结构相似度提高到0.9945。其余指标中，除了标准差STD略有降低，其余均有一定地提升。本文算法不仅有效地保留了源图像的轮廓、纹理等细节信息，同时，在图像的聚焦边缘区域，也有良好的视觉效果。融合图像的对比清晰度都有一定的提升，融合效果较理想。所以，本文算法是一种可行的多聚焦图像融合方法。

Claims (5)

1.一种基于NSST和显著信息提取的多聚焦图像融合方法，其特征在于包括以下步骤：
(1)使用NSST变换对不同聚焦图像进行处理，得到高低频子带系数；
(2)对(1)中得到的低频子带系数采用改进拉普拉斯能量和(SML)的初始低频融合规则进行初步处理，得到初始低频融合权重；
(3)运用显著性信息提取的低频修正融合规则对(2)中的结果进行一定的差错修正；
(4)对(1)中得到的高频子带系数采用基于相关系数的初始高频融合规则进行初步处理,得到初始高频融合权重；
(5)对一系列高频融合权重辅以不同程度的相位一致性(PC)修正规则，进行判别修正；
(6)对(3)和(5)得到的处理结果进行NSST反变换，得到融合结果。
2.根据权利要求1所述的方法，其特征在于步骤(3)中加入非局部均值滤波修正融合规则，使低频融合权重更为精确，修正融合规则如下：
利用非局部均值滤波对源图像进行滤波，再将源图像与滤波图像进行差值运算得到显著性信息Dl：
Dl＝|Il-Il×NMLF| (1)
(1)式中：Il(0＜l＜L)为源图像，L代表源图像个数，×表示滤波操作；
再利用导向滤波得到聚焦区域细节信息：
Gl＝guidedfilter(Il,Dl,r,eps) (2)
最后采用取大策略得到低频子带修正融合权重，对初始融合权重进行差错修正。
3.根据权利要求1所述的方法，其特征在于步骤(4)中将基于相关系数的空间频率及能量应用于初始高频融合权重地提取，提取过程如下：
对于图像的聚焦区域与非聚焦区域来说，聚焦区域的空间频率相关系数值SF_Corr和能量相关系数值(Eng_Corr)往往大于非聚焦区域；利用这一点，将两者加权结合构成基于相关系数的空间频率及能量(SF_Eng_Corr)，再利用取大策略求取初始高频融合权重；
Figure FDA0004241517730000011
式中：SF_Corr和Eng_Corr分别表示空间频率相关系数和能量相关系数。
4.根据权利要求1所述的方法，其特征在于步骤(5)中对初始高频融合权重进行相位一致性融合修正，将高频细节信息、局部能量信息，梯度边缘信息通过一定的比例整合在一起，从而有利于对聚焦区域的判别。
5.根据权利要求1所述方法，其特征在于对经过NSST变换得到的高低频子带系数根据不同的融合规则得出初始融合权重，同时分别利用修正融合规则对初始权重进行相应的修正，使得融合图像的信息量以及清晰度都有一定程度的提升。
CN202010693743.7A 2020-07-17 2020-07-17 一种基于nsst和显著信息提取的多聚焦图像融合方法 Active CN113947554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010693743.7A CN113947554B (zh) 2020-07-17 2020-07-17 一种基于nsst和显著信息提取的多聚焦图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010693743.7A CN113947554B (zh) 2020-07-17 2020-07-17 一种基于nsst和显著信息提取的多聚焦图像融合方法

Publications (2)

Publication Number Publication Date
CN113947554A CN113947554A (zh) 2022-01-18
CN113947554B true CN113947554B (zh) 2023-07-14

Family

ID=79327234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010693743.7A Active CN113947554B (zh) 2020-07-17 2020-07-17 一种基于nsst和显著信息提取的多聚焦图像融合方法

Country Status (1)

Country Link
CN (1) CN113947554B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968883A (zh) * 2010-10-28 2011-02-09 西北工业大学 一种基于小波变换和邻域特征的多聚焦图像融合方法
CN102129676A (zh) * 2010-01-19 2011-07-20 中国科学院空间科学与应用研究中心 一种基于二维经验模态分解的显微图像融合方法
CN104077762A (zh) * 2014-06-26 2014-10-01 桂林电子科技大学 一种基于nsst与聚焦区域检测的多聚焦图像融合方法
CN104156917A (zh) * 2014-07-30 2014-11-19 天津大学 基于双能谱的x射线ct图像增强方法
CN104504673A (zh) * 2014-12-30 2015-04-08 武汉大学 基于nsst的可见光与红外图像融合方法及***
WO2015061128A1 (en) * 2013-10-21 2015-04-30 Bae Systems Information And Electronic Systems Integration Inc. Medical thermal image processing for subcutaneous detection of veins, bones and the like
CN105551010A (zh) * 2016-01-20 2016-05-04 中国矿业大学 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN105719263A (zh) * 2016-01-22 2016-06-29 昆明理工大学 基于nsct域底层视觉特征的可见光和红外图像融合算法
CN105894483A (zh) * 2016-03-30 2016-08-24 昆明理工大学 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法
CN105913407A (zh) * 2016-04-06 2016-08-31 昆明理工大学 一种基于差值图对多聚焦度图像融合优化的方法
CN106204510A (zh) * 2016-07-08 2016-12-07 中北大学 一种基于结构相似度约束的红外偏振与光强图像融合方法
CN106236117A (zh) * 2016-09-22 2016-12-21 天津大学 基于心电和呼吸信号同步性特征的情绪检测方法
CN106803242A (zh) * 2016-12-26 2017-06-06 江南大学 基于四元数小波变换的多聚焦图像融合方法
CN106803301A (zh) * 2017-03-28 2017-06-06 广东工业大学 一种基于深度学习的人脸识别门禁方法及***
CN107203696A (zh) * 2017-06-19 2017-09-26 深圳源广安智能科技有限公司 一种基于图像融合的智能医疗***
CN107633495A (zh) * 2017-08-02 2018-01-26 中北大学 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法
CN110097530A (zh) * 2019-04-19 2019-08-06 西安电子科技大学 基于超像素聚类与联合低秩表示的多聚焦图像融合方法
CN110648342A (zh) * 2019-09-30 2020-01-03 福州大学 基于nsst显著性检测及图割的泡沫红外图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129676A (zh) * 2010-01-19 2011-07-20 中国科学院空间科学与应用研究中心 一种基于二维经验模态分解的显微图像融合方法
CN101968883A (zh) * 2010-10-28 2011-02-09 西北工业大学 一种基于小波变换和邻域特征的多聚焦图像融合方法
WO2015061128A1 (en) * 2013-10-21 2015-04-30 Bae Systems Information And Electronic Systems Integration Inc. Medical thermal image processing for subcutaneous detection of veins, bones and the like
CN104077762A (zh) * 2014-06-26 2014-10-01 桂林电子科技大学 一种基于nsst与聚焦区域检测的多聚焦图像融合方法
CN104156917A (zh) * 2014-07-30 2014-11-19 天津大学 基于双能谱的x射线ct图像增强方法
CN104504673A (zh) * 2014-12-30 2015-04-08 武汉大学 基于nsst的可见光与红外图像融合方法及***
CN105551010A (zh) * 2016-01-20 2016-05-04 中国矿业大学 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN105719263A (zh) * 2016-01-22 2016-06-29 昆明理工大学 基于nsct域底层视觉特征的可见光和红外图像融合算法
CN105894483A (zh) * 2016-03-30 2016-08-24 昆明理工大学 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法
CN105913407A (zh) * 2016-04-06 2016-08-31 昆明理工大学 一种基于差值图对多聚焦度图像融合优化的方法
CN106204510A (zh) * 2016-07-08 2016-12-07 中北大学 一种基于结构相似度约束的红外偏振与光强图像融合方法
CN106236117A (zh) * 2016-09-22 2016-12-21 天津大学 基于心电和呼吸信号同步性特征的情绪检测方法
CN106803242A (zh) * 2016-12-26 2017-06-06 江南大学 基于四元数小波变换的多聚焦图像融合方法
CN106803301A (zh) * 2017-03-28 2017-06-06 广东工业大学 一种基于深度学习的人脸识别门禁方法及***
CN107203696A (zh) * 2017-06-19 2017-09-26 深圳源广安智能科技有限公司 一种基于图像融合的智能医疗***
CN107633495A (zh) * 2017-08-02 2018-01-26 中北大学 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法
CN110097530A (zh) * 2019-04-19 2019-08-06 西安电子科技大学 基于超像素聚类与联合低秩表示的多聚焦图像融合方法
CN110648342A (zh) * 2019-09-30 2020-01-03 福州大学 基于nsst显著性检测及图割的泡沫红外图像分割方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
LIU Y.Simultaneous image fusion and denoising with adaptive sparse representation.《IET Image Process》.2014,第347-357页. *
冯鑫 ; 张建华 ; 胡开群 ; 翟志芬 ; .一种改进含噪多聚焦图像融合方法.光电子・激光.2017,(11),第96-102页. *
刘栋 ; 聂仁灿 ; 周冬明 ; 侯瑞超 ; 熊磊 ; .结合NSST与GA参数优化PCNN图像融合.计算机工程与应用.2018,(19),第164-169+177页. *
张晓琪 ; 侯世英 ; .基于导向滤波与分形维度的图像加权融合算法.包装工程.2018,(09),第230-237页. *
曹义亲 ; 曹婷 ; 黄晓生 ; .基于NSST的CS与区域特性相结合的图像融合方法.计算机工程与应用.2017,(20),第195-201页. *
朱平哲 ; .基于NSST与DBM的可见光与红外图像融合方法.吉林化工学院学报.2019,(03),第65-71页. *
李娇 ; 杨艳春 ; 党建武 ; 王阳萍 ; .NSST与引导滤波相结合的多聚焦图像融合算法.哈尔滨工业大学学报.2018,(11),第151-158页. *

Also Published As

Publication number Publication date
CN113947554A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN103093433B (zh) 基于区域划分和字典学习的自然图像去噪方法
CN103208097B (zh) 图像多方向形态结构分组的主分量分析协同滤波方法
US9443286B2 (en) Gray image processing method and apparatus based on wavelet transformation
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、***及装置
CN112288668A (zh) 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
CN112634238B (zh) 一种基于注意力模块的图像质量评价方法
CN106204502B (zh) 基于混合阶l0正则化模糊核估计方法
CN105913408A (zh) 一种基于双边滤波器的多聚焦图像融合方法
Liu et al. True wide convolutional neural network for image denoising
CN114627035A (zh) 一种多聚焦图像融合方法、***、装置及存储介质
CN111815550A (zh) 一种基于灰度共生矩阵的红外与可见光图像融合方法
Li et al. Multiple degradation and reconstruction network for single image denoising via knowledge distillation
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN113947554B (zh) 一种基于nsst和显著信息提取的多聚焦图像融合方法
CN103778615B (zh) 基于区域相似性的多聚焦图像融合方法
Liu et al. A fast multi-focus image fusion algorithm by DWT and focused region decision map
CN116630198A (zh) 一种结合自适应伽马校正的多尺度融合水下图像增强方法
CN115131226B (zh) 一种基于小波张量低秩正则化的图像复原方法
Wang et al. Pyramid model based down-sampling for image inpainting
CN111539894A (zh) 一种新型图像增强方法
Swati et al. Analysis of exemplar base inpainting for adaptive patch propagation using wavelet transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant