CN109509163B - 一种基于fgf的多聚焦图像融合方法及*** - Google Patents
一种基于fgf的多聚焦图像融合方法及*** Download PDFInfo
- Publication number
- CN109509163B CN109509163B CN201811194833.0A CN201811194833A CN109509163B CN 109509163 B CN109509163 B CN 109509163B CN 201811194833 A CN201811194833 A CN 201811194833A CN 109509163 B CN109509163 B CN 109509163B
- Authority
- CN
- China
- Prior art keywords
- image
- source image
- focus
- fusion
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 52
- 102000018233 Fibroblast Growth Factor Human genes 0.000 claims abstract description 39
- 108050007372 Fibroblast Growth Factor Proteins 0.000 claims abstract description 39
- 229940126864 fibroblast growth factor Drugs 0.000 claims abstract description 39
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000000354 decomposition reaction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000002059 diagnostic imaging Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 17
- 238000000513 principal component analysis Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 6
- 238000007499 fusion processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于光学图像处理技术领域，公开了一种基于快速导向滤波(Fast Guided Filter，FGF)的多聚焦图像融合方法及***，用均值滤波对源图像进行平滑，移除源图像中的小结构，并对源图像进行分解得到源图像的基础层和细节层；将拉普拉斯滤波和高斯低通滤波先后对源图像进行滤波处理，得到源图像的显著图；通过对比源图像显著图像素大小得到对应源图像的权值图；将源图像作为引导图像并利用FGF对权值图进行分解优化，分别得到优化的权值图基础层和细节层；根据一定的融合规则，将基础层和细节层对应像素融合；将融合后的基础层和细节层合并，得到融合图像。本发明不但能够有效提高源图像中的聚焦区域检测准确性，且能极大提高融合图像的主客观品质。
Description
技术领域
本发明属于光学图像处理技术领域，设计一种多聚焦图像融合方法，尤其涉及一种基于FGF的多聚焦图像融合方法及***。
背景技术
由于光学传感器成像***只能将焦点上的目标清晰的成像在像平面上，而对焦点外的目标成像却是模糊的。因此，聚焦范围有限的问题容易导致光学成像***无法对场景目标全部清晰成像。如果要对整个场景目标进行完全了解，需要分析相当数量的相似图像，既浪费时间又浪费精力，也会造成存储空间上的浪费。通过图像融合方法得到一幅同一场景中所有物体都清晰的图像，使其更加全面、真实的反映场景信息对于图像的准确分析和理解具有重要意义，而多聚焦图像融合是实现这一目标的有效技术手段之一。
多聚焦图像融合就是对经过配准的相同成像条件下获得的关于某一场景中的多幅聚焦图像，采用某种融合算法，通过活性测量检测并提取每幅聚焦图像的清晰区域，然后根据一定的融合规则将这些区域合并生成一幅该场景中所有目标物都清晰的图像。多聚焦图像融合技术可以清晰完整的表征场景目标信息，为特征提取，目标识别与追踪等奠定了良好的基础，从而有效地提高了图像信息的利用率和***对目标表探测识别的可靠性，扩展了时空范围，降低了不确定性。
多聚焦图像融合算法的关键是对聚焦区域特性做出准确表征，准确定位并提取出聚焦范围内的区域或像素，这也是多聚焦图像融合技术中至今尚未得到很好解决的问题之一。目前，图像融合研究已经持续了三十余年。随着计算机和成像技术的不断发展，国内外研究者针对多聚焦图像融合技术中存在的聚焦区域判定和提取问题，提出了几百种性能优异的融合算法。这些多聚焦图像融合算法主要分为两类：空间域多聚焦图像融合算法和变换域多聚焦图像融合算法。其中，空间域图像融合算法根据源图像中像素点的灰度值大小，利用不同的聚焦区域特性评价方法将聚焦区域的像素点或区域提取出来，根据融合规则得到融合图像。该算法的优点是方法简单，容易执行，计算复杂度低，融合图像包含源图像的原始信息。缺点是易受到噪声干扰，易产生“块效应”。变换域图像融合算法对源图像进行变换，根据融合规则对变换系数进行处理，将处理后的变换系数进行逆变换得到融合图像。其不足之处主要表现在分解过程复杂、耗时，高频系数空间占用大，融合过程中易造成信息丢失。如果改变融合图像的一个变换系数，则整个图像的空域灰度值都将会发生变化，结果在增强一些图像区域属性的过程中，引入了不必要的人为痕迹。较为常用的像素级多聚焦图像融合算法有以下几种：
(1)基于拉普拉斯金字塔(Laplacian Pyramid，LAP)的多聚焦图像融合方法。其主要过程是对源图像进行拉普拉斯金字塔分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的金字塔系数进行逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但各分解层间数据有冗余，无法确定各分解层上的数据相关性。提取细节信息能力差，分解过程中高频信息丢失严重，直接影响了融合图像质量。
(2)基于小波变换(Discrete Wavelet Transform，DWT)的多聚焦图像融合方法。其主要过程是对源图像进行小波分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行小波逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但二维小波基是由一维小波基通过张量积的方式构成，对于图像中的奇异点的表示是最优的，但对于图像奇异的线和面却无法进行稀疏表示。另外DWT属于下采样变换，缺乏平移不变性，在融合过程中易造成信息的丢失，导致融合图像失真。
(3)基于非下采样的轮廓波变换(Non-sub-sampled Contourlet Transform，NSCT)的多聚焦图像融合方法。其主要过程是对源图像进行NSCT分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行 NSCT逆变换得到融合图像。该方法可取得不错的融合效果，但运行速度较慢，分解系数需要占用大量的存储空间。
(4)基于主成分分析(Principal Component Analysis，PCA)的多聚焦图像融合方法。其主要过程是将源图像按照行优先或者列优先转换成列向量，并计算协方差，根据协方差矩阵求取特征向量，确定第一主成分对应的特征向量并据此确定各源图像融合的权重，根据权重进行加权融合。该方法在源图像之间具有某些共有特征时，能够得到较好的融合效果；而在源图像之间的特征差异较大时，则容易在融合图像中引入虚假的信息，导致融合结果失真。该方法计算简单，速度快，但由于单个像素点的灰度值无法表示所在图像区域的聚焦特性，导致融合图像出现轮廓模糊，对比度低的问题。
(5)基于空间频率(Spatial Frequency，SF)的多聚焦图像融合方法。其主要过程是将源图像进行块分割，然后计算各块SF，对比源图像对应块的SF，将 SF值大的对应图像块合并得到融合图像。该方法简单易于实施，但分块大小难以自适应确定，分块太大，易将焦点外的像素都包含进来，降低融合质量，使融合图像对比度下降，易产生块效应，分块太小对区域清晰程度表征能力受限，易出现块的错误选择，使得相邻子块间一致性差，在交界处出现明显细节差异，产生“块效应”。另外，图像子块的聚焦特性难以准确描述，如何利用图像子块局部特征准确描述该子块的聚焦特性，将直接影响聚焦子块选择的准确性和融合图像的质量。
(6)卷积稀疏表示(convolutional sparse representation，CSR)的多聚焦图像融合方法。其主要过程是对源图像进行CSR分解，得到源图像的基础层和细节层，然后对基础层和细节层进行融合，最后将融合的基础层和细节层合并得到融合图像。该方法不直接依赖于源图像的聚焦特性，而是通过源图像基础层和细节层的显著性特征来判定源图像的聚焦区域，对噪声具有鲁棒性。
(7)基于卡通-纹理图像分解(cartoon-texture decomposition，CTD)的多聚焦图像融合方法。其主要过程是对多聚焦源图像分别进行卡通-纹理图像分解，得到多聚焦源图像的卡通成分和纹理成分，并对多聚焦源图像的卡通成分和纹理成分分别进行融合，合并融合后的卡通成分和纹理成分得到融合图像。其融合规则是基于图像的卡通成分和纹理成分的聚焦特性设计的，不直接依赖于源图像的聚焦特性，从而对噪声和划痕破损具有鲁棒性。
(8)基于导向滤波的多聚焦图像融合方法(Guided Filter Fusion，GFF)。其主要过程是使用导向图像滤波器将图像分解为包含大尺度强度变化的基础层和包含小尺度细节的细节层，然后利用基础层和细节层的显著性和空间一致性构建融合权值图，并以此为基础将源图像的基础层和细节层分别融合，最后把融合的基础层和细节层合并得到最终融合图像，该方法可取得不错的融合效果，但对噪声缺乏鲁棒性。
上述八种方法是较为常用的多聚焦图像融合方法，但这些方法中，小波变换(DWT)不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像，易造成融合图像出现偏移和信息丢失现象；基于非下采样的轮廓波变换(NSCT)方法由于分解过程复杂，运行速度较慢，另外分解系数需要占用大量的存储空间。主成分分析(PCA)方法容易降低融合图像对比度，影响融合图像质量。卷积稀疏表示(CSR)、卡通纹理图像分解(CTD)、导向滤波(GFF) 都是近几年提出的新方法，都取得了不错的融合效果，其中导向滤波(GFF)是基于局部非线性模型进行边缘保持和平移不变操作，计算效率高；可以利用迭代框架恢复大尺度边缘的同时，消除边缘附近的小细节；前四种常用融合方法都存在着不同的缺点，速度和融合质量间难以调和，限制了这些方法的应用和推广，第八种方法是目前融合性能比较优异的融合算法，但导向滤波没有对源图像直接进行滤波处理，容易丢失部分源图像信息，同时平均权值融合技术在和一定程度上影响了融合性能。
综上所述，现有技术存在的问题是：
现有技术中，(1)传统的空间域方法主要采用区域划分方法进行，区域划分尺寸过大将导致焦点内外区域位于同一区域，导致融合图像质量下降；区域划分尺寸过小，子区域特征不能充分反映该区域特征，容易导致聚焦区域像素的判定不准确并产生误选，使得相邻区域间一致性差，在交界处出现明显细节差异，产生“块效应”。(2)传统的基于多尺度分解的多聚焦融合方法中，总是将整幅多聚焦源图像作为单个整体进行处理，细节信息提取不完整，不能在融合图像中较好表示源图像边缘纹理等细节信息，影响了融合图像对源图像潜在信息描述的完整性，进而影响融合图像质量。
发明内容
针对现有技术存在的问题，本发明提供了一种能够有效消除“块效应”，扩展光学成像***景深且能极大提升融合图像主客观品质的基于FGF的多聚焦图像融合方法及***。克服了多聚焦图像融合中存在的聚焦区域判定不准确，不能有效提取源图像边缘纹理信息，融合图像细节特征表征不完整，部分细节丢失，“块效应”，对比度下降等诸多问题。
(1)用均值滤波对源图像进行平滑，对源图像进行分解得到源图像的基础层和细节层；(2)将拉普拉斯滤波和高斯低通滤波先后对源图像进行滤波处理，得到源图像的显著图；(3)通过对比源图像显著图像素大小得到对应源图像的权值图；(4)将源图像作为引导图像并利用FGF对权值图进行分解优化，分别得到优化的权值图基础层和细节层；(5)根据一定的融合规则，利用优化的权值图基础层和细节层，将基础层和细节层对应像素融合；(6)将融合后的基础层和细节层合并，得到融合图像。
本发明是这样实现的，首先用均值滤波将源图像中分解为基础层和细节层；然后利用拉普拉斯滤波和高斯低通滤波对源图像进行显著性检测，得到源图像的显著图；然后通过对比源图像显著图像素大小得到对应源图像的权值图；并将源图像作为引导图像并利用FGF对权值图进行分解优化，分别得到优化的权值图基础层和细节层；然后基于决策矩阵，根据一定的融合规则分别将基础层和细节层对应像素融合；最后将融合后的基础层和细节层合并，得到融合图像。
进一步，所述基于FGF的多聚焦图像融合方法，对配准后的多聚焦图像I1和 I2进行融合，I1和I2均为灰度图像，且I1，I2∈iM×N，
是大小为M×N的空间， M和N均为正整数，具体包括：
(1)利用均值波器AF分别对多聚焦图像I1和I2进行平滑操作，移除源图像 I1和I2中的小结构，得到源图像基础层(B1，B2)，源图像细节层(D1，D2)。其中： (B1，B2)＝AF(I1，I2)，(D1，D2)＝(I1，I2)-(B1，B2)。
(2)用LF对源图像进行滤波处理，得到源图像的高通滤波图像H1和H2，用GLF对H1和H2低通滤波处理得到源图像显著图S1和S2。其中： (H1，H2)＝LF(I1，I2)，(S1，S2)＝GLF(H1，H2)。
(3)根据源图像I1和I2对应显著图中像素S1(i，j)和S2(i，j)大小，构建源图像对应的权值矩阵P1和P2。其中：
S1(i，j)为源图像I1的显著图像素(i，j)；
S2(i，j)为源图像I2的显著图像素(i，j)；
P1(i，j)为源图像I1的权值矩阵元素(i，j)；
P2(i，j)为源图像I2的权值矩阵元素(i，j)；
i＝1，2，3，…，M；j＝1，2，3，…，N；
S(i，j)为矩阵显著图S第i行、第j列的元素；
(4)将源图像I1和I2作为引导图像，用FGF对权值矩阵P1和P2进行分解优化，得到权值矩阵W1 B，W2 B，W1 D和W2 D。其中：(W1 B，W1 D)＝FGF(P1，I1)， (W2 B，W2 D)＝FGF(P2，I2)。
(5)基于源图像基础层(B1，B2)和细节层(D1，D2)，根据优化的权值矩阵W1 B， W2 B，W1 D和W2 D构建融合图像基础层FB，
和细节层FD，
得到融合后的基础层FB和细节层FD。其中，FB＝W1 BB1+W2 BB2，FD＝W1 DD1+W2 DD2。
(6)构建融合图像F，
得到融合后的灰度图像，其中： F＝FB+FD。
进一步，对步骤(4)中构建的特征矩阵进行腐蚀膨胀操作处理，并利用处理后的特征矩阵构建融合图像。
本发明的另一目的在于提供一种基于FGF的多聚焦图像融合***。
本发明的另一目的在于提供一种利用上述基于FGF的多聚焦图像融合方法的智慧城市多聚焦图像融合***。
本发明的另一目的在于提供一种利用上述基于FGF的多聚焦图像融合方法的医疗成像多聚焦图像融合***。
本发明的另一目的在于提供一种利用上述基于FGF的多聚焦图像融合方法的安全监控多聚焦图像融合***。
本发明的优点及积极效果为：
(1)本发明首先利用均值滤波将源图像中分解为基础层和细节层，然后利用拉普拉斯高通滤波和高斯低通滤波对源图像进行显著性检测，得到源图像的显著图；然后通过对比源图像显著图像素大小得到对应源图像的权值图；并将源图像作为引导图像并利用FGF对权值图进行分解优化，分别得到优化的权值图基础层和细节层，利用权值图的基础层和细节层分别将源图像基础层和细节层融合，然后将融合后的基础层和细节层进行融合得到源图像的融合图像。对源图像进行二次融合，提高了对源图像聚焦区域特性判定的准确率，有利于清晰区域目标的提取，可以更好的从源图像转移边缘纹理等细节信息，有效提高融合图像主客观品质。
(2)本发明中，图像融合框架灵活，易于实施，可用于其他类型的图像融合任务。
(3)本融合算法用均值滤波器对源图像进行平滑操作时，可以有效抑制源图像中的噪声对融合图像质量的影响。
本发明图像融合方法框架灵活，对源图像聚焦区域特性判定具有较高的准确率，可较为准确的提取聚焦区域目标细节，清晰表示图像细节特征，同时有效消除“块效应”，有效提高融合图像主客观品质。
附图说明
图1是本发明实施案例提供的基于FGF的多聚焦图像融合方法流程图。
图2是本发明实施案例1提供的待融合源图像‘Disk’效果图。
图3是本发明实施案例提供的为拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方法、空间频率(SF)、卷积稀疏表示(CSR)、卡通纹理图像分解(CTD)、导向滤波(GFF)以及本发明(Proposed)共九种图像融合方法对多聚焦图像‘Disk’图3(a)与(b)的融合效果图。
图4是本发明实施案例2提供2的待融合图像‘Book’效果图；
图5为拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换 (NSCT)、主成分分析(PCA)方法、空间频率(SF)、卷积稀疏表示(CSR)、卡通纹理图像分解(CTD)、导向滤波(GFF)以及本发明(Proposed)图像九种融合方法对多聚焦图像‘Book’图4(a)与(b)的融合效果图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，多聚焦图像融合领域中融合算法对源图像聚焦区域判定不准确，细节信息提取不完整，不能在融合图像中较好表示源图像边缘纹理等细节信息，融合效果差。
下面结合附图对本发明的应用原理作详细描述。
如图1所示，本发明实施案例提供的基于FGF的多聚焦图像融合方法，包括：
S101：首先利用均值滤波将源图像中分解为基础层和细节层。
S102：然后利用拉普拉斯高通滤波和高斯低通滤波对源图像进行显著性检测，得到源图像的显著图，并通过对比对应源图像显著图像素大小得到对应源图像的权值图。
S103：将源图像作为引导图像并利用FGF对权值图进行分解优化，分别得到优化的权值图基础层和细节层，并利用权值图的基础层和细节层分别将源图像基础层和细节层融合。
S104：最后将融合后的基础层和细节层合并，得到融合图像。
下面结合具体流程对本发明作进一步描述。
本发明实施案例提供的基于FGF的多聚焦图像融合方法，具体流程包括：
利用均值波器AF分别对多聚焦图像I1和I2进行平滑操作，移除源图像I1和I2中的小结构，得到源图像基础层(B1，B2)，源图像细节层(D1，D2)。其中： (B1，B2)＝AF(I1，I2)，(D1，D2)＝(I1，I2)-(B1，B2)；
用LF对源图像进行滤波处理，得到源图像的高通滤波图像H1和H2，用GLF 对H1和H2低通滤波处理得到源图像显著图S1和S2。其中：(H1，H2)＝LF(I1，I2)， (S1，S2)＝GLF(H1，H2)。并根据源图像I1和I2对应显著图中像素S1(i，j)和S2(i，j)大小，构建源图像对应的权值矩阵P1和P2。其中：
S1(i，j)为源图像I1的显著图像素(i，j)；
S2(i，j)为源图像I2的显著图像素(i，j)；
P1(i，j)为源图像I1的权值矩阵元素(i，j)；
P2(i，j)为源图像I2的权值矩阵元素(i，j)；
i＝1，2，3，…，M；j＝1，2，3，…，N；
S(i，j)为矩阵显著图S第i行、第j列的元素；
分别将源图像I1和I2作为引导图像，用FGF对权值矩阵P1和P2进行分解优化，得到权值矩阵W1 B，W2 B，W1 D和W2 D。其中：(W1 B，W1 D)＝FGF(P1，I1)， (W2 B，W2 D)＝FGF(P2，I2)。
基于源图像基础层(B1，B2)和细节层(D1，D2)，根据优化的权值矩阵W1 B，W2 B， W1 D和W2 D构建融合图像基础层FB，
和细节层FD，
得到融合后的基础层FB和细节层FD。其中，FB＝W1 BB1+W2 BB2，FD＝W1 DD1+W2 DD2。
构建融合图像F，
得到融合后的灰度图像，其中：F＝FB+FD。
下面结合具体实施案例对本发明作进一步描述。
图2是本发明实施案例1提供的待融合源图像‘Disk’效果图。
实施案例1
遵循本发明的方案，该实施案例1对图2(a)与(b)所示两幅源图像进行融合处理，处理结果如图3中的Propose所示。同时利用拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方法、空间频率(SF)、卷积稀疏表示(CSR)、卡通纹理图像分解(CTD)、导向滤波(GFF)八种图像融合方法对图2(a)与(b)所示两幅源图像进行融合处理，对不同融合方法的融合图像进行质量评价，处理计算得表1所示结果。
表1 多聚焦图像‘Disk’融合图像质量评价.
实施案例2：
遵循本发明的方案，该实施案例对图4(a)与(b)所示两幅源图像进行融合处理，处理结果如图5中的Proposed所示。
同时拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方法、空间频率(SF)、卷积稀疏表示(CSR)、卡通纹理图像分解(CTD)、导向滤波(GFF)八种图像融合方法对图4所示两幅源图像(a)与(b)进行融合处理，对图5不同融合方法的融合图像进行质量评价，处理计算得表2所示结果。
表2 多聚焦图像‘Book’融合图像质量评价.
表1和表2中：Method代表方法；融合方法包括八种分别是：拉普拉斯 (LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方法、空间频率(SF)、卷积稀疏表示(CSR)、卡通纹理图像分解 (CTD)、导向滤波(GFF)；Running Time代表运行时间，单位为秒。MI代表互信息，是基于互信息的融合图像质量客观评价指标。QAB/F代表从源图像中转移的边缘信息总量。
从图3、图5可以看出，其它方法中频域方法包括拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)，其融合图像都存再伪影，模糊以及对比度差的问题；空域方法中主成分分析(PCA)方法其融合图像对比度最差，、空间频率(SF)方法的融合图像存在“块效应”现象，而卷积稀疏表示(CSR)、卡通纹理图像分解(CTD)、导向滤波(GFF)融合质量相对较好，但也存在少量部分模糊。本发明的方法对多聚焦图像图3‘Disk’和多聚焦图像图 5‘Book’的融合图像主观视觉效果明显优于其他融合方法的融合效果。
从融合图像可看出，本发明方法对源图像焦点区域目标边缘和纹理的提取能力明显优于其他方法，能够很好的将源图像中焦点区域的目标信息转移到融合图像中去，保存源图像中的边缘和纹理等细节信息。可以有效捕捉聚焦区域的目标细节信息，提高图像融合质量。本发明方法具有良好的主观品质。
从表1和表2可以看出，本发明方法融合图像的图像质量客观评价指标MI 比其他方法的融合图像对应指标平均高出1.5，融合图像的图像质量客观评价指标QAB/F比其他方法的融合图像对应指标高出0.04。说明本方法获得融合图像具有良好的客观品质。
以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于FGF的多聚焦图像融合方法，其特征在于，所述基于FGF的多聚焦图像融合方法及***包括以下步骤：
(1)用均值滤波(Average Filtering，AF)对源图像进行分解，分别得到源图像的基础层和细节层；
(2)将拉普拉斯滤波(Laplacian Filter，LF)和高斯低通滤波(Gaussian Low-passFilter，GLF)先后对源图像进行滤波处理，得到源图像的显著图；
(3)根据源图像对应显著图像素大小构建对应源图像的权值图，将源图像作为引导图像并利用FGF对权值图进行分解优化，分别得到优化的权值图基础层和细节层；
(4)基于权值图的基础层和细节层，根据一定的融合规则分别将源图像基础层和细节层对应像素融合；
(5)将融合后的基础层和细节层合并，得到融合图像；
所述基于FGF的多聚焦图像融合方法，对配准后的多聚焦图像I1和I2进行融合，I1和I2均为灰度图像，且I1，I2∈iM×N，iM×N是大小为M×N的空间，M和N均为正整数，具体包括：
(1)利用均值波器AF分别对多聚焦图像I1和I2进行平滑操作，移除源图像I1和I1中的小结构，得到源图像基础层(B1，B2)，源图像细节层(D1，D2)，其中：(B1，B2)＝AF(I1，I2)，(D1，D2)＝(I1，I2)-(B1，B2)；
(2)用LF对源图像进行滤波处理，得到源图像的高通滤波图像H1和H2，用GLF对H1和H2低通滤波处理得到源图像显著图S1和S2，其中：(H1，H2)＝LF(I1，I2)，(S1，S2)＝GLF(H1，H2)；
(3)根据源图像I1和I2对应显著图中像素S1(i，j)和S2(i，j)大小，构建源图像对应的权值矩阵P1和P2；其中：
S1(i，j)为源图像I1的显著图像素(i，j)；
S2(i，j)为源图像I2的显著图像素(i，j)；
P1(i，j)为源图像I1的权值矩阵元素(i，j)；
P2(i，j)为源图像I2的权值矩阵元素(i，j)；
i＝1，2，3，…，M；j＝1，2，3，…，N；
S(i，j)为矩阵显著图S第i行、第j列的元素；
(4)将源图像I1和I2作为引导图像，用FGF对权值矩阵P1和P2进行分解优化，得到权值矩阵W1 B，
W1 D和
其中：(W1 B，W1 D)＝FGF(P1，I1)，
(5)基于源图像基础层(B1，B2)和细节层(D1，D2)，根据优化的权值矩阵W1 B，
W1 D和
构建融合图像基础层FB，FB∈iM×N和细节层FD，FD∈iM×N，得到融合后的基础层FB和细节层FD，其中，
(6)构建融合图像F，F∈iM×N得到融合后的灰度图像，其中：F＝FB+FD。
2.如权利要求1所述的基于FGF的多聚焦图像融合方法，其特征在于，对步骤(4)中构建的权值矩阵进行优化分解处理，并利用处理后的权值矩阵融合源图像的基础层和细节层，进而构建融合图像。
3.一种利用权利要求1所述基于FGF的多聚焦图像融合方法的基于FGF的多聚焦图像融合***。
4.一种利用权利要求1所述基于FGF的多聚焦图像融合方法的智慧城市多聚焦图像融合***。
5.一种利用权利要求1所述基于FGF的多聚焦图像融合方法的医疗成像多聚焦图像融合***。
6.一种利用权利要求1所述基于FGF的多聚焦图像融合方法的安全监控多聚焦图像融合***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811194833.0A CN109509163B (zh) | 2018-09-28 | 2018-09-28 | 一种基于fgf的多聚焦图像融合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811194833.0A CN109509163B (zh) | 2018-09-28 | 2018-09-28 | 一种基于fgf的多聚焦图像融合方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109509163A CN109509163A (zh) | 2019-03-22 |
| CN109509163B true CN109509163B (zh) | 2022-11-11 |
Family
ID=65746461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811194833.0A Active CN109509163B (zh) | 2018-09-28 | 2018-09-28 | 一种基于fgf的多聚焦图像融合方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109509163B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211081B (zh) * | 2019-05-24 | 2023-05-16 | 南昌航空大学 | 一种基于图像属性和引导滤波的多模医学图像融合方法 |
| CN110648302B (zh) * | 2019-10-08 | 2022-04-12 | 太原科技大学 | 基于边缘增强引导滤波的光场全聚焦图像融合方法 |
| CN111223069B (zh) * | 2020-01-14 | 2023-06-02 | 天津工业大学 | 一种图像融合方法及*** |
| CN111815549A (zh) * | 2020-07-09 | 2020-10-23 | 湖南大学 | 一种基于导向滤波图像融合的夜视图像彩色化方法 |
| CN112884690B (zh) * | 2021-02-26 | 2023-01-06 | 中国科学院西安光学精密机械研究所 | 一种基于三种尺度分解的红外与可见光图像融合方法 |
| CN117391985B (zh) * | 2023-12-11 | 2024-02-20 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011051134A1 (en) * | 2009-10-30 | 2011-05-05 | Siemens Aktiengesellschaft | A body fluid analyzing system and an imaging processing device and method for analyzing body fluids |
| CN103455991A (zh) * | 2013-08-22 | 2013-12-18 | 西北大学 | 一种多聚焦图像融合方法 |
| CN104036479A (zh) * | 2013-11-11 | 2014-09-10 | 西北大学 | 一种基于非负矩阵分解的多聚焦图像融合方法 |
| CN107909560A (zh) * | 2017-09-22 | 2018-04-13 | 洛阳师范学院 | 一种基于SiR的多聚焦图像融合方法及*** |
| CN108230282A (zh) * | 2017-11-24 | 2018-06-29 | 洛阳师范学院 | 一种基于agf的多聚焦图像融合方法及*** |
-
2018
- 2018-09-28 CN CN201811194833.0A patent/CN109509163B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011051134A1 (en) * | 2009-10-30 | 2011-05-05 | Siemens Aktiengesellschaft | A body fluid analyzing system and an imaging processing device and method for analyzing body fluids |
| CN103455991A (zh) * | 2013-08-22 | 2013-12-18 | 西北大学 | 一种多聚焦图像融合方法 |
| CN104036479A (zh) * | 2013-11-11 | 2014-09-10 | 西北大学 | 一种基于非负矩阵分解的多聚焦图像融合方法 |
| CN107909560A (zh) * | 2017-09-22 | 2018-04-13 | 洛阳师范学院 | 一种基于SiR的多聚焦图像融合方法及*** |
| CN108230282A (zh) * | 2017-11-24 | 2018-06-29 | 洛阳师范学院 | 一种基于agf的多聚焦图像融合方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 结合向导滤波与复轮廓波变换的多聚焦图像融合算法;刘帅奇等;《信号处理》;20160325(第03期);全文 * |
| 结合引导滤波和卷积稀疏表示的红外与可见光图像融合;刘先红等;《光学精密工程》;20180515(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109509163A (zh) | 2019-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109509163B (zh) | 一种基于fgf的多聚焦图像融合方法及*** | |
| CN109509164B (zh) | 一种基于gdgf的多传感器图像融合方法及*** | |
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| Liu et al. | Wavelet-based dual-branch network for image demoiréing | |
| CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| Bhat et al. | Multi-focus image fusion techniques: a survey | |
| CN107909560A (zh) | 一种基于SiR的多聚焦图像融合方法及*** | |
| Saha et al. | Mutual spectral residual approach for multifocus image fusion | |
| CN109636766B (zh) | 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 | |
| Hassan et al. | Real-time image dehazing by superpixels segmentation and guidance filter | |
| Bhatnagar et al. | A novel image fusion framework for night-vision navigation and surveillance | |
| Yue et al. | CID: Combined image denoising in spatial and frequency domains using Web images | |
| Ding et al. | U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement | |
| Ma et al. | Curvelet-based snake for multiscale detection and tracking of geophysical fluids | |
| Zhao et al. | A deep cascade of neural networks for image inpainting, deblurring and denoising | |
| Zhao et al. | Infrared and visible image fusion algorithm based on saliency detection and adaptive double-channel spiking cortical model | |
| CN110751680A (zh) | 一种具有快速对齐算法的图像处理方法 | |
| Khmag | Natural digital image mixed noise removal using regularization Perona–Malik model and pulse coupled neural networks | |
| Pujar et al. | Medical image segmentation based on vigorous smoothing and edge detection ideology | |
| Wang et al. | Video deraining via nonlocal low-rank regularization | |
| CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| Baiju et al. | An intelligent framework for transmission map estimation in image dehazing using total variation regularized low-rank approximation | |
| Dong et al. | Dense Connected Edge Feature Enhancement Network for Building Edge Detection from High Resolution Remote Sensing Imagery | |
| Wang et al. | [Retracted] A New Method of Denoising Crop Image Based on Improved SVD in Wavelet Domain | |
| Zin et al. | Local image denoising using RAISR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |