CN104463822B - 基于多尺度全局滤波的多聚焦图像融合方法及其装置 - Google Patents
基于多尺度全局滤波的多聚焦图像融合方法及其装置 Download PDFInfo
- Publication number
- CN104463822B CN104463822B CN201410763858.3A CN201410763858A CN104463822B CN 104463822 B CN104463822 B CN 104463822B CN 201410763858 A CN201410763858 A CN 201410763858A CN 104463822 B CN104463822 B CN 104463822B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- images
- image
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 105
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 49
- 238000007500 overflow downdraw method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 description 17
- 238000002474 experimental method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度全局滤波的多聚焦图像融合方法，根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解，根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像，对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像；本发明还公开了一种基于多尺度全局滤波的多聚焦图像融合装置，本发明提高了融合图像的清晰度、信息量等以得到图像质量更好的融合图像。
Description
技术领域
本发明属于图像融合处理技术领域，具体涉及一种基于多尺度全局滤波的多聚焦图像融合方法及其装置。
背景技术
图像融合在图像分析和计算机视觉方面有着重要的意义。通过图像融合技术可以将从不同成像传感器获取同一场景的图像有机组合成一幅图像，其能有效地互补不同成像传感器所获取图像的优势，形成一幅能真实清晰反映客观场景的图像，以便对图像进一步分析、理解以及目标的检测与识别等。从二十世纪八十年代开始，多传感器图像融合已引起了广泛的兴趣和研究热潮。其中，多聚焦图像融合是一个重要的研究方向，在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展，图像融合技术已形成了一定的规模，国内外也都开发出许多用于不同领域的融合***，但是，这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看，图像融合技术在理论和技术方面均存在有待解决的问题。与国外相比，国内开展图像融合研究工作起步较晚，尽管国内近几年在图像融合方面的研究取得了较大的成就；但是，相比国外仍处于较落后的状态。因此，急需我们对图像融合进行广泛深入的基础理论和基础技术的研究。
随着信息技术的快速发展，实际应用中，人们对信息量的需求越来越大。在这种条件下，典型的图像融合方法，如基于多分辨分析的图像融合方法，参见文献《Imagesequence fusion using a shift-invariant wavelet transform》，Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291，因为小波变换不能很好地捕捉图像的边缘和纹理信息，而且，该方法用简单的系数绝对值取大的融合规则，得到的融合图像效果不理想；参见文献《Feature level fusion of multimodalmedical images in lifting wavelet transform domain》，Engineering in Medicineand Biology Society,2004.IEMBS'04.26th Annual International Conference oftheIEEE.IEEE,2004,1:1479-1482，该方法通过计算小波变换系数的梯度，并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数，该方法所得到的融合图像尽管效果有所改善，但是，融合效果依然不够理想。近年来，一些学者又提出了采用图像滤波理论对图像进行融合的方法，参见文献《The multiscale directional bilateralfilter and its application to multisensor image fusion》，Information Fusion,2012,13(3):196-206.此方法通过多尺度双边滤波加方向性以有效地提取图像信息，获得了较好的融合效果，具有较高的空间分辨率和对比度；参见文章《Image fusion based onpixel significance using cross bilateral filter》，Signal,Image and VideoProcessing,2013:1-12.该方法对双边滤波的滤波核进行交换，采用领域窗口统计特性获得融合权重，采用加权平均方法获得融合图像，其信息量、对比度、空间分辨率等均有所提高；但是，细节信息、清晰度等依然难以满足使用要求，融合图像的整体效果还是不尽如人意。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种基于多尺度全局滤波的多聚焦图像融合方法及其装置。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于多尺度全局滤波的多聚焦图像融合方法，该融合方法为：根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解，根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像，对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像。
上述方案中，所述根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解为：根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像和高频子带图像其中，K＝5，K表示分解层数，m表示分解的第m层，A表示第一幅多聚焦图像，B表示第二幅多聚焦图像。
上述方案中，所述根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像为：对经多尺度全局滤波分解的两幅多聚焦图像的低频子带图像进行融合，以及对高频子带图像进行融合。
本发明实施例还提供一种基于多尺度全局滤波的多聚焦图像融合装置，该装置包括分解单元、融合单元、逆多尺度全局滤波单元，
所述分解单元，用于根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解；
所述融合单元，用于根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像；
所述逆多尺度全局滤波单元，用于对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像。
上述方案中，所述分解单元，具体用于根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像和高频子带图像 其中，K＝5，K表示分解层数，m表示分解的第m层，A表示第一幅多聚焦图像，B表示第二幅多聚焦图像。
上述方案中，所述融合单元，具体用于对经多尺度全局滤波分解的两幅多聚焦图像的低频子带系数进行融合，以及对高频子带图像进行融合。
与现有技术相比，本发明根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解，根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像，对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像；本发明通过对多聚焦图像进行多次滤波，获得低频子带图像和不同尺度上的高频子带图像；其在分解过程中充分考虑了图像的空间一致性。分别采用top-hat变换和高阶统计特性分别获取低频子带图像和高频子带图像的融合权重，该方法提高了融合图像的清晰度、信息量等以得到图像质量更好的融合图像；对全局滤波进行多尺度化能更好地捕获图像的重要信息。
附图说明
图1是本发明的整体流程图；
图2是本发明使用的两组多聚焦图像的源图像；
图3是本发明与现有的四种图像融合方法对多聚焦bottle图像进行融合的结果图；
图4是本发明与现有的四种图像融合方法对多聚焦pepsi图像进行融合的结果图；
图5是本发明的装置连接框图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供一种基于多尺度全局滤波的多聚焦图像融合方法，根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解，根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像，对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像。
本发明实施例提供一种基于多尺度全局滤波的多聚焦图像融合方法，如图1所示，该方法通过以下步骤实现：
步骤101：根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解。
具体的，根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像和高频子带图像 其中，K＝5，K表示分解层数，m表示分解的第m层，A表示第一幅多聚焦图像，B表示第二幅多聚焦图像。
所述根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像和高频子带图像具体为：
对于图像A与图像B，利用式(1)与式(2)得到滤波图像序列：
其中，当m取1时，即A1与B1分别表示原图像A与B，全局滤波的滤波器
其中，[Yi1,Yi2,...,Yin]与[Zi1,Zi2,…,Zin]分别表示对称高斯核矩阵Y与Z的第i行，n表示待滤波图像的第n个像素。
获取图像A与B的低频子带系数，通过式(5)与式(6)便可获得：
获取图像A与B的高频子带系数，相邻尺度近似图像间的差异表示了高频子带的细节图像：
其中，m＝1,2,…,K。
步骤102：根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像。
具体的，对经多尺度全局滤波分解的两幅多聚焦图像的低频子带系数进行融合，以及对高频子带图像 进行融合。
由于，低频子带系数是图像的近似，其反映了原图像的能量分布。因此，图像融合的主要信息来源于低频子带系数，对低频子带图像的融合规则的选择的优劣直接影响最终融合结果的质量。本发明通过对原多聚焦图像进行top-hat变换获取低频子带系数的融合权重进而对低频子带系数进行融合，以提高图像融合的质量。
所述对经多尺度全局滤波分解的两幅多聚焦图像的低频子带系数进行融合，具体为：
步骤201：对原多聚焦图像A与B分别进行top-hat变换，得到变换图像A*与B*。设利用结构元素U对图像f(f表示A和B)的灰度进行膨胀、腐蚀分别表示为：
[fΘU](p,q)＝min{f(p+a,q+b)-U(a,b)} (10)
其中，(p,q)是图像像素的坐标，(a,b)是结构元素中像素的坐标，与Θ分别表示数学形态学的膨胀和腐蚀运算符，选取的结构元素为大小为3×3。
在定义了膨胀和腐蚀运算后，可以通过结构元素U对图像f(f表示A和B)进行开运算和闭运算，具体表示如下：
其中，与·分别表示数学形态学的开运算符与闭运算符。
步骤202：获取低频子带系数与的融合权重，在定义了数学形态学的开运算和闭运算的基础上，利用结构元素U对图像A与B进行top-hat变换便得到低频子带系数与的融合权重与
步骤203：低频子带系数与的融合：
由于图像的高频子带系数代表图像的细节信息，因此，融合图像的细节信息主要来源于源图像的高频子带系数，选取高频子带系数融合规则的优劣将会直接影响最终融合图像细节信息的丰富程度和图像的清晰度。本发明通过采用高阶统计特性获取源图像的高频子带系数的八阶相关度CF，来确定最终的高频子带系数的融合规则。
对经多尺度全局滤波分解得到的高频子带系数与进行融合，具体为：
步骤301：求解相关度CF：
其中，I1与I2分别表示与在P×Q局部邻域的灰度值，与分别表示与的均值，(p,q)表示高频子带系数的像素位置，P×Q表示邻域窗口的大小，在本发明中P×Q取3×3。
步骤302：高频子带系数与的融合：
若相关度CF(p,q)＞Th时，表明两幅图像的高频子带系数在像素位置(p,q)处的相关性较高，此时的融合图像的高频子带系数表示为：
若相关度CF(p,q)＜Th时，表明两幅图像的高频子带系数在像素位置(p,q)处的相关性较低，为了保存两幅多聚焦图像的高频信息，此时的融合图像的高频子带系数表示为：
其中，与Hm(p,q)分别表示两幅多聚焦图像A、B与融合图像F在像素位置(p,q)处的高频子带系数，Th为预设的阈值，本发明中取0.9。
步骤103：对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像。
具体的，为了得到最终的融合图像F，需对步骤102中所获得的融合低频子带系数LK(p,q)与高频子带系数Hm(p,q)进行重构，本发明的重构方法是对融合的多尺度子带系数进行逆多尺度全局滤波，即对融合的低频子带系数和高频子带系数相加便得最终的融合图像F，具体如式(19)所示：
F(p,q)＝LK(p,q)+Hm(p,q) (19)
本发明的效果可以通过仿真实验具体说明：
1.实验条件
实验中采用的图像数据是两组已配准的多聚焦图像，大小均为128×128，第一组为bottle图像，如图2(a)和图2(b)，第二组为pepsi图像，如图2(c)和图2(d)。
2.实验内容
实验1，用本发明的方法和现有的四种融合方法对bottle图像进行融合实验，融合结果如图3，其中图3(a)为文献《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing,1997.Proceedings.,InternationalConference on.IEEE,1997,3:288-291.图3(b)为文献《Feature level fusion ofmultimodal medical images in lifting wavelet transform domain》，Engineering inMedicine and Biology Society,2004.IEMBS'04.26th Annual InternationalConference ofthe IEEE.IEEE,2004,1:1479-1482.图3(c)为文献《Image fusion basedon pixel significance using cross bilateral filter》,Signal,Image and VideoProcessing,2013:1-12.图3(d)为《The multiscale directional bilateral filter andits application to multisensor image fusion.Information Fusion》，InformationFusion,2012,13(3):196-206.图3(e)为本发明的图像融合结果图。
从图3可见，本发明的融合方法和现有的四种融合方法相比，视觉效果更好、两个瓶子上的字母和齿轮都更清晰，文献《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing,1997.Proceedings.,InternationalConference on.IEEE,1997,3:288-291、文献《Feature level fusion of multimodalmedical images in lifting wavelet transform domain》，Engineering in Medicineand Biology Society,2004.IEMBS'04.26th Annual International Conference oftheIEEE.IEEE,2004,1:1479-1482与文献《Image fusion based on pixel significanceusing cross bilateral filter》,Signal,Image and Video Processing,2013:1-12.的融合方法及文献《The multiscale directional bilateral filter and itsapplication to multisensor image fusion.Information Fusion》，InformationFusion,2012,13(3):196-206.的融合方法的融合结果和本发明方法相比，清晰度较低、细节信息量较少。
实验2，用本发明的方法和现有的四种融合方法对pepsi图像进行融合实验，融合结果如图4，其中图4(a)为文献《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing,1997.Proceedings.International Conferenceon.IEEE,1997,3:288-291.图4(b)为文献《Feature level fusion of multimodalmedical images in lifting wavelet transform domain》，Engineering in Medicineand Biology Society,2004.IEMBS'04.26th Annual International Conference oftheIEEE.IEEE,2004,1:1479-1482.图4(c)为文献《Image fusion based on pixelsignificance using cross bilateral filter》,Signal,Image and Video Processing,2013:1-12.图4(d)为文献《The multiscale directional bilateral filter and itsapplication to multisensor image fusion.Information Fusion》，InformationFusion,2012,13(3):196-206.图4(e)为本发明的图像融合结果图。
从图4可见，本发明的融合方法和现有的四种融合方法相比，视觉效果更好、图像中的文字更清晰，文献《Image sequence fusion using a shift-invariant wavelettransform》，Image Processing,1997.Proceedings.,International Conferenceon.IEEE,1997,3:288-291、文献《Feature level fusion of multimodal medical imagesin lifting wavelettransform domain》，Engineering in Medicine and BiologySociety,2004.IEMBS'04.26th Annual International Conference ofthe IEEE.IEEE,2004,1:1479-1482与文献《Image fusion based on pixel significance usingcrossbilateral filter》,Signal,Image and Video Processing,2013:1-12.的融合方法及文献《The multiscale directional bilateral filter and its application tomultisensor image fusion.Information Fusion》，Information Fusion,2012,13(3):196-206.的融合方法的融合结果和本发明方法相比清晰度较低、信息量较少。
将本发明的融合方法与文献《Image sequence fusion using a shift-invariant wavelet transform》，Image Processing,1997.Proceedings.,InternationalConference on.IEEE,1997,3:288-291.的融合方法、文献《Feature level fusion ofmultimodal medical images in lifting wavelet transform domain》，Engineering inMedicine and Biology Society,2004.IEMBS'04.26th Annual InternationalConference ofthe IEEE.IEEE,2004,1:1479-1482.的融合方法、文献《Image fusionbased on pixel significance using cross bilateral filter》,Signal,Image andVideo Processing,2013:1-12.的融合方法及文献《The multiscale directionalbilateral filter and its application to multisensor image fusion.InformationFusion》，Information Fusion,2012,13(3):196-206.的融合方法在四种图像质量评价指标上进行比较，来客观评价本发明的效果。五种融合方法在第一组bottle、第二组pepsi多聚焦图像上的融合客观评价指标如表1与表2：
表1.第一组多聚焦图像bottle融合客观评价指标
表2.第二组多聚焦图像pepsi融合客观评价指标
| Method | SD | AG | Entropy | SF |
| SWT | 43.2108 | 8.4721 | 6.9742 | 13.2138 |
| LWT | 43.2108 | 9.4786 | 6.9834 | 15.2527 |
| CBF | 43.6270 | 9.4341 | 6.9924 | 15.5338 |
| MDBF | 44.6036 | 10.1409 | 7.0392 | 16.7478 |
| 本发明 | 45.6118 | 13.6810 | 7.2870 | 22.3411 |
表1与表2中：
SWT表示文献Rockinger O,“Image sequence fusion using a shift-invariantwavelet transform,”Image Processing,1997.Proceedings.,InternationalConference on.IEEE,1997,3:288-291.的融合方法。
LWT表示文献Kor S,Tiwary U,“Feature level fusion of multimodal medicalimages in lifting wavelet transform domain,”Engineering in Medicine andBiology Society,2004.IEMBS'04.26th Annual International Conference oftheIEEE.IEEE,2004,1:1479-1482.的融合方法。
CBF表示文献Kumar B K S.Image fusion based on pixel significance usingcross bilateral filter.Signal,Image and Video Processing,2013:1-12.的图像融合方法。
MDBF表示文献Hu J,Li S.The multiscale directional bilateral filter andits application to multisensor image fusion.Information Fusion,2012,13(3):196-206.的融合方法。
SD表示标准差，AG表示平均梯度，Entropy表示信息熵，SF表示空间频率。
由表1可见，本发明的方法在三项指标上明显优于上述的四篇文献的方法，另外一项指标也比较接近其它方法；而且，本发明方法的整体指标较高。
由表2可见，本发明的方法在四项指标上明显优于上述四篇文献的方法。
上述实验证明，本发明对多聚焦图像融合问题能取得较好的视觉效果。
本发明实施例还提供一种基于多尺度全局滤波的多聚焦图像融合装置，如图5所示，该装置包括分解单元1、融合单元2、逆多尺度全局滤波单元3，
所述分解单元1，用于根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解；
所述融合单元2，用于根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像；
所述逆多尺度全局滤波单元3，用于对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像。
所述分解单元1，具体用于根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像和高频子带图像其中，K＝4，K表示分解层数，m表示分解的第m层。
所述融合单元2，具体用于对经多尺度全局滤波分解的两幅多聚焦图像的低频子带系数进行融合，以及对高频子带图像进行融合。
本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。
Claims (4)
1.一种基于多尺度全局滤波的多聚焦图像融合方法，其特征在于，该融合方法为：根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解，根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像，对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像；
所述根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解为：根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像 和高频子带图像 其中，K＝5，K表示分解层数，m表示分解的第m层，A表示第一幅多聚焦图像，B表示第二幅多聚焦图像；
所述根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像 和高频子带图像具体为：
对于图像A与图像B，利用式(1)与式(2)得到滤波图像序列：
<mrow>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<msubsup>
<mi>W</mi>
<mi>m</mi>
<mi>A</mi>
</msubsup>
<msub>
<mi>A</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>B</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<msubsup>
<mi>W</mi>
<mi>m</mi>
<mi>B</mi>
</msubsup>
<msub>
<mi>B</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，当m取1时，即A1与B1分别表示原图像A与B，全局滤波的滤波器
<mrow>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，[Yi1,Yi2,...,Yin]与[Zi1,Zi2,...,Zin]分别表示对称高斯核矩阵Y与Z的第i行，n表示待滤波图像的第n个像素；
获取图像A与B的低频子带系数，通过式(5)与式(6)便可获得：
<mrow>
<msubsup>
<mi>L</mi>
<mi>K</mi>
<mi>A</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>K</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>L</mi>
<mi>K</mi>
<mi>B</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>B</mi>
<mrow>
<mi>K</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
获取图像A与B的高频子带系数，相邻尺度近似图像间的差异表示了高频子带的细节图像：
<mrow>
<msubsup>
<mi>H</mi>
<mi>m</mi>
<mi>A</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>A</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>H</mi>
<mi>m</mi>
<mi>B</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>B</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>B</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，m＝1,2,...,K。
2.根据权利要求1所述的基于多尺度全局滤波的多聚焦图像融合方法，其特征在于，所述根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像为：对经多尺度全局滤波分解的两幅多聚焦图像的低频子带图像 进行融合，以及对高频子带图像进行融合。
3.一种基于多尺度全局滤波的多聚焦图像融合装置，其特征在于，该装置包括分解单元、融合单元、逆多尺度全局滤波单元，
所述分解单元，用于根据多尺度全局滤波分别对待融合的若干幅多聚焦图像进行多尺度分解；
所述融合单元，用于根据融合规则融合分解获得的若干幅多聚焦图像的多尺度子带图像；
所述逆多尺度全局滤波单元，用于对融合后的多尺度子带图像进行逆多尺度全局滤波获得最终的融合图像；
所述分解单元，具体用于根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像 和高频子带图像 其中，K＝5，K表示分解层数，m表示分解的第m层，A表示第一幅多聚焦图像，B表示第二幅多聚焦图像；所述根据多尺度全局滤波对输入的两幅多聚焦图像进行多尺度全局滤波分解，获得两幅多聚焦图像的低频子带图像 和高频子带图像 具体为：
对于图像A与图像B，利用式(1)与式(2)得到滤波图像序列：
<mrow>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<msubsup>
<mi>W</mi>
<mi>m</mi>
<mi>A</mi>
</msubsup>
<msub>
<mi>A</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>B</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<msubsup>
<mi>W</mi>
<mi>m</mi>
<mi>B</mi>
</msubsup>
<msub>
<mi>B</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，当m取1时，即A1与B1分别表示原图像A与B，全局滤波的滤波器
<mrow>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，[Yi1,Yi2,...,Yin]与[Zi1,Zi2,...,Zin]分别表示对称高斯核矩阵Y与Z的第i行，n表示待滤波图像的第n个像素；
获取图像A与B的低频子带系数，通过式(5)与式(6)便可获得：
<mrow>
<msubsup>
<mi>L</mi>
<mi>K</mi>
<mi>A</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>K</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>L</mi>
<mi>K</mi>
<mi>B</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>B</mi>
<mrow>
<mi>K</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
获取图像A与B的高频子带系数，相邻尺度近似图像间的差异表示了高频子带的细节图像：
<mrow>
<msubsup>
<mi>H</mi>
<mi>m</mi>
<mi>A</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>A</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>H</mi>
<mi>m</mi>
<mi>B</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>B</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>B</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，m＝1,2,...,K。
4.根据权利要求3所述的基于多尺度全局滤波的多聚焦图像融合装置，其特征在于：所述融合单元，具体用于对经多尺度全局滤波分解的两幅多聚焦图像的低频子带系数 进行融合，以及对高频子带图像 进行融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410763858.3A CN104463822B (zh) | 2014-12-11 | 2014-12-11 | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410763858.3A CN104463822B (zh) | 2014-12-11 | 2014-12-11 | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104463822A CN104463822A (zh) | 2015-03-25 |
| CN104463822B true CN104463822B (zh) | 2017-08-25 |
Family
ID=52909809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410763858.3A Active CN104463822B (zh) | 2014-12-11 | 2014-12-11 | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104463822B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105430266A (zh) * | 2015-11-30 | 2016-03-23 | 努比亚技术有限公司 | 基于多尺度变换的图像处理方法及终端 |
| CN109583282B (zh) * | 2017-09-29 | 2021-04-09 | 阿里巴巴（中国）有限公司 | 一种矢量道路确定方法及装置 |
| CN109671044B (zh) * | 2018-12-04 | 2019-10-08 | 重庆邮电大学 | 一种基于可变图像分解的多曝光图像融合方法 |
| CN111489319A (zh) * | 2020-04-17 | 2020-08-04 | 电子科技大学 | 基于多尺度双边滤波和视觉显著性的红外图像增强方法 |
| CN115311691B (zh) * | 2022-10-12 | 2023-02-28 | 山东圣点世纪科技有限公司 | 一种基于腕部静脉和腕部纹理的联合识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968883A (zh) * | 2010-10-28 | 2011-02-09 | 西北工业大学 | 一种基于小波变换和邻域特征的多聚焦图像融合方法 |
| CN102063713A (zh) * | 2010-11-11 | 2011-05-18 | 西北工业大学 | 基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法 |
| CN103632354A (zh) * | 2012-08-24 | 2014-03-12 | 西安元朔科技有限公司 | 基于nsct尺度积的多聚焦图像融合方法 |
| CN103955910A (zh) * | 2014-05-13 | 2014-07-30 | 武汉科技大学 | 一种基于双边图像梯度尖锐度量的多聚焦图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9299130B2 (en) * | 2013-03-15 | 2016-03-29 | Trustees Of Tufts College | Methods and apparatus for image processing and analysis |
-
2014
- 2014-12-11 CN CN201410763858.3A patent/CN104463822B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968883A (zh) * | 2010-10-28 | 2011-02-09 | 西北工业大学 | 一种基于小波变换和邻域特征的多聚焦图像融合方法 |
| CN102063713A (zh) * | 2010-11-11 | 2011-05-18 | 西北工业大学 | 基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法 |
| CN103632354A (zh) * | 2012-08-24 | 2014-03-12 | 西安元朔科技有限公司 | 基于nsct尺度积的多聚焦图像融合方法 |
| CN103955910A (zh) * | 2014-05-13 | 2014-07-30 | 武汉科技大学 | 一种基于双边图像梯度尖锐度量的多聚焦图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多尺度柔性形态学滤波器的图像融合;赵鹏, 倪国强;《光电子激光》;20090930;第20卷(第9期);第1243-1247页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104463822A (zh) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Infrared and visible image fusion using a deep learning framework | |
| CN104200452B (zh) | 基于谱图小波变换的红外与可见光图像融合方法及其装置 | |
| CN104268847B (zh) | 一种基于交互非局部均值滤波的红外与可见光图像融合方法 | |
| CN104463822B (zh) | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 | |
| CN107977661B (zh) | 基于fcn与低秩稀疏分解的感兴趣区域检测方法 | |
| CN104268833B (zh) | 基于平移不变剪切波变换的图像融合方法 | |
| Cheng et al. | Snow mask guided adaptive residual network for image snow removal | |
| Chakraborty | An advanced approach to detect edges of digital images for image segmentation | |
| Chen et al. | Quantify pixel-level detection of dam surface crack using deep learning | |
| Yao et al. | A novel technique for analysing histogram equalized medical images using superpixels | |
| Zhu et al. | A survey on objective evaluation of image sharpness | |
| Zhang et al. | An image denoising method based on BM4D and GAN in 3D shearlet domain | |
| Lyu et al. | DSTnet: a new discrete shearlet transform-based CNN model for image denoising | |
| Huang et al. | Image noise removal method based on improved nonlocal mean algorithm | |
| Guan et al. | NCDCN: multi-focus image fusion via nest connection and dilated convolution network | |
| Wang et al. | Multi-focus image fusion framework based on transformer and feedback mechanism | |
| Pang et al. | Infrared and visible image fusion based on double fluid pyramids and multi-scale gradient residual block | |
| CN106971392B (zh) | 一种结合dt-cwt和mrf的遥感图像变化检测方法与装置 | |
| CN103778615B (zh) | 基于区域相似性的多聚焦图像融合方法 | |
| Dong et al. | Dense Connected Edge Feature Enhancement Network for Building Edge Detection from High Resolution Remote Sensing Imagery | |
| Ran et al. | Sketch-guided spatial adaptive normalization and high-level feature constraints based GAN image synthesis for steel strip defect detection data augmentation | |
| Tang et al. | Industrial anomaly detection with multiscale autoencoder and deep feature extractor‐based neural network | |
| Chandra et al. | Detection of defects in fabrics using subimage-based singular value decomposition | |
| Jia et al. | Pyramid dilated convolutional neural network for image denoising | |
| Gao et al. | Algorithms of image fusion based on wavelet transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |