CN106447640A - 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 - Google Patents
基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 Download PDFInfo
- Publication number
- CN106447640A CN106447640A CN201610738233.0A CN201610738233A CN106447640A CN 106447640 A CN106447640 A CN 106447640A CN 201610738233 A CN201610738233 A CN 201610738233A CN 106447640 A CN106447640 A CN 106447640A
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- fusion
- width
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 141
- 238000001914 filtration Methods 0.000 title claims abstract description 71
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 70
- 238000012549 training Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 239000000155 melt Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于字典学习、旋转引导滤波的多聚焦图像融合方法,首先通过对若干幅经典多聚焦图像进行旋转引导滤波处理获得每幅图像的滤波图像,对所述若干幅滤波图像进行字典学习获得图像的散焦字典,输入的多幅配准的多聚焦图像并将所述的散焦字典作用于输入图像并进行处理获得每幅输入多聚焦图像的聚焦特征图对所述获得的每幅输入图像对应的聚焦特征图进行处理获得融合权重图,最后,根据所述获得的融合权重图获得融合图像;还公开了一种基于字典学习、旋转引导滤波的多聚焦图像融合装置,通过本发明有效地提升了图像的清晰度、解决了因输入图像未完全配准引起的块效应和人工噪声问题,得到了融合效果更好的图像。
Description
技术领域
本发明属于图像融合处理技术领域,具体涉及一种基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置。
背景技术
由于传统相机的光学透镜景深的限制,导致其难以获取一幅所有景物均聚焦的清晰图像;为了解决这一问题,学者们便发明了图像融合技术,该技术是通过提取并综合来自多个传感器的图像信息,获得对同一场景或目标的更为准确、全面、可靠的图像描述,而且尽可能低保留源图像的显著性视觉信息并不引入人工噪声,以便对图像进行进一步的分析、理解及目标检测、识别或跟踪。图像融合技术在计算机视觉、目标自动识别等领域有着广泛的应用前景。
目前,市场上适用的图像融合方法主要两类,一类是基于变换域的图像融合方法,另一类是基于空域的图像融合方法。
基于变换与的融合方法,其核心思想是:首先将输入图像分解成不同的变换系数,然后对变换系数进行融合,最后对融合系数进行重构获得融合图像。在这种框架下,基于多尺度变化的图像融合方法是最经典的也是最常用的方法,其主要有基于金字塔变化的图像融合方法,参见文献《Image fusion by using steerable pyramid》Pattern RecognitionLetters,2001,22(9):929-939;基于离散小波变换的图像融合方法,参见文献《Multisensor image fusion using the wavelet transform》Graphical models andimage processing,1995,57(3):235-245;基于非下采样轮廓波变化的图像融合方法,参见文献《Multifocus image fusion using the nonsubsampled contourlet transform》Signal Processing,2009,89(7):1334-1346。此外,还有基于独立成分分析的图像融合方法,参见文献《Pixel-based and region-based image fusion schemes using ICAbases》Information fusion,2007,8(2):131-142;基于鲁棒性主成分分析的图像融合方法,参见文献《Multifocus image fusion based on robust principal componentanalysis》Pattern Recognition Letters,2013,34(9):1001-1008;基于稀疏表示的图像融合方法,参见文献《Simultaneous image fusion and denoising with adaptivesparse representation》IET Image Processing,2014,9(5):347-357;基于多尺度变换与稀疏表示的图像融合方法,参见文献《A general framework for image fusion based onmulti-scale transform and sparse representation》Information Fusion,2015,24:147-164。对于这些方法,通常改变了图像的强度值及在融合图像中产生空间不连续性问题和引入了一些人工噪声,从而模糊化了融合图像的细节信息,造成融合图像的清晰度下降。尤其是对未完全配准的多聚焦图像,这些方法的性能表现的更差。
基于空域的方法中最早的是采用像素的加权平均融合方法,该方法通常会引入人工噪声。近年来,一些基于块和区域的融合方法已经被提出,其中基于块的图像融合方法通常会在融合结果中产生块效应;相比下,基于区域的图像融合方法通常能够较好地在融合结果中保留输入图像的细节和空间连续性,主要有IM方法,参见《Image matting forfusion of multi-focus images in dynamic scenes》Information Fusion,2013,14(2):147-162;GF方法,参见《Image fusion with guided filtering》IEEE Transactions onImage Processing,2013,22(7):2864-2875;DSIFT方法,参见《Multi-focus image fusionwith dense SIFT》Information Fusion,2015,23:139-155;MWGF方法,参见《Multi-scaleweighted gradient-based fusion for multi-focus images》Information Fusion,2014,20:60-72等。这些新兴的方法对配准的多聚焦图像通常能够取得较好的效果;但是对于未完全配准的多聚焦图像,这些方法通常不能够很好地保留图像的细节信息以及产生空间不连续性问题或引入人工噪声。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供一种基于字典学习、旋转引导滤波的多聚焦图像融合方法,该方法为:首先通过对若干幅经典多聚焦图像进行旋转引导滤波处理获得每幅图像的滤波图像,对所述若干幅滤波图像进行字典学习获得图像的散焦字典,输入的多幅配准的多聚焦图像并将所述的散焦字典作用于输入图像并进行处理获得每幅输入多聚焦图像的聚焦特征图对所述获得的每幅输入图像对应的聚焦特征图进行处理获得融合权重图,最后,根据所述获得的融合权重图获得融合图像。
上述方案中,所述对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图,具体为:分别对多幅输入配准的多聚焦图像进行分块获得每幅输入配准的多聚焦图像对应的图像块,将所述每幅输入配准的多聚焦图像对应的图像块分别转化成图像块列向量,根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数,根据稀疏系数构造每个图像块列向量对应的稀疏特征,最后对每幅输入配准的多聚焦图像的图像块的稀疏特征进行拼接获得每幅输入配准的多聚焦图像的聚焦特征图。
上述方案中,所述对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图,具体为:
步骤1:分别对输入图像I1和I2进行分块,其滑动窗口的大小为8×8,相邻窗口的步长为1,得到输入图像I1和I2的图像块I1,j和I2,j;
步骤2:获得的输入图像I1和I2的图像块I1,j和I2,j分别转化成图像块列向量和散焦图像字典D作用于所述获得的每个图像块列向量和通过OMP算法求解式,得到输入图像I1和I2的图像块列向量和对应的稀疏系数和
||·||1表示·的一范数,||·||2表示·的二范数,常数θ在本发明中的取值为18.4;但是,对于不同的问题和需求,常数θ是可调的;
步骤3:通过获得的稀疏系数和构造输入的图像块列向量和的稀疏特征f1,j和f2,j,如式(3)和(4)所示,
构建输入图像I1和I2的聚焦特征图,基于获得的图像块的稀疏特征f1,j和f2,j,通过对所有的稀疏特征块f1,j和f2,j进行拼接,得到输入图像I1和I2的聚焦特征图W1,1和W2,1;
步骤4:根据旋转引导滤波对获得的聚焦特征图W1,1和W2,1进行平滑,获得聚焦区域和散焦区域的差异明显的聚焦特征图W1,2和W2,2,具体计算如式(5)和(6)所示:
W1,2=FRG(W1,1,σs,σr,t) (5)
W2,2=FRG(W2,1,σs,σr,t) (6)
其中,FRG(·)表示旋转引导滤波算子,参数σs和σr分别控制空间和幅度权重,t表示滤波次数。
上述方案中,所述散焦图像字典D具体通过如下方法获得:对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像,根据所述若干幅滤波图像随机选取图像块来训练获得散焦图像字典D。
上述方案中,所述散焦图像字典D获得的具体步骤如下:
步骤(1)从滤波图像中随机选取多个图像块,每个图像块分别被表示为P1,P2,...Pj,图像块的大小为8×8,分别将P1,P2,...Pj转化成对应图像块的列向量
步骤(2)基于列向量通过K-SVD算法求解式,得到每个图像块列向量的稀疏系数αj和散焦图像字典D,
其中,表示·的二范数平方,||·||0表示·的零范数,参数k=5,k表示求解的稀疏系数αj中的非零项不多于k个。
上述方案中,该方法还包括:根据旋转引导滤波对所述获得每幅输入配准的多聚焦图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异明显的聚焦特征图,通过比较聚焦特征图差异获得初始融合权重图,再根据形态学闭运算算子对获得的多幅输入配准的多聚焦图像初始融合权重图进行膨胀和腐蚀获得融合权重图,最后,根据所述获得的融合权重图获得融合图像。
本发明实施例还提供一种基于字典学习、旋转引导滤波的多聚焦图像融合装置,该装置包括图像处理单元、融合权重单元、融合单元;
所述图像处理单元,用于对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的多聚焦图像对应的聚焦特征图,发送到对融合权重单元;
所述融合权重单元,用于对所述获得的每幅输入配准的图像对应的聚焦特征图进行特征差异比较获得初始融合权重图,然后对初始融合权重图进行膨胀和腐蚀获得融合权重图,发送到融合单元;
所述融合单元,用于根据所述获得的融合权重图获得融合图像。
上述方案中,所述图像处理单元,具体用于分别对多幅输入配准的多聚焦图像进行分块获得每幅输入配准的多聚焦图像对应的图像块,将所述每幅输入配准的多聚焦图像对应的图像块分别转化成图像块列向量,根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数,根据稀疏系数构造每个图像块列向量对应的稀疏特征,最后对每幅输入图像的图像块的稀疏特征进行拼接获得每幅输入图像的聚焦特征图。
上述方案中,所述图像处理单元,还具体用于对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像,根据所述若干幅滤波图像随机选取图像块训练获得散焦图像字典D。
上述方案中,所述图像处理单元,还用于根据旋转引导滤波对所述获得的每幅输入配准的多聚焦图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异较明显的聚焦特征图,发送到融合权重单元;
所述融合权重单元,用于比较聚焦特征图的特征差异获得初始融合权重图,然后根据形态学闭运算算子对获得的初始融合权重图进行膨胀和腐蚀获得融合权重图,发送到融合;
所述融合单元,用于根据所述获得的融合权重图获得融合图像。
与现有技术相比,本发明的有益效果:
1.本发明利用旋转引导滤波模糊多聚焦图像,其滤波结果与散焦区域的图像结构和视觉效果非常相似,通过经旋转引导滤波模糊的多聚焦图像,有利于训练一个有效的散焦图像字典;
2.本发明是利用经过旋转引导滤波模糊后的多聚焦图像进行训练散焦图像字典,其能够很好地表示图像散焦区域的信息;
3.本发明利用学习的散焦图像字典作用于输入的多聚焦图像,获得图像稀疏表示系数,并通过稀疏表示系数的L1范数来构建多聚焦图像的聚焦测量模型;
4.利用多聚焦测量模型来计算输入图像的融合权重图;
5.对已获得的融合权重图采用形态学闭运算进行优化获得理想的融合权重图,该技术不仅操作简单,而且有效地提升了图像的清晰度、解决了块效应和人工噪声问题,得到了融合效果更好的图像。
附图说明
图1是本发明的整体流程图。
图2是本发明使用的两组多聚焦图像的源图像。
图3是本发明与现有五种融合方法对第一组多聚焦图像进行融合的结果图。
图4是本发明与现有五种融合方法对第一组多聚焦图像进行融合获得结果与输入的一幅图像的差异结果图。
图5是本发明与现有五种融合方法对第二组多聚焦图像进行融合的结果图。
图6是本发明与现有五种融合方法对第二组多聚焦图像进行融合获得结果与输入的一幅图像的差异结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于字典学习与旋转引导滤波的多聚焦图像融合方法,如图1所示,该方法具体通过以下步骤实现:
步骤101:对至少两幅输入配准的图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图;
具体地,分别对至少两幅输入配准的图像进行分块获得每幅输入配准的图像对应的图像块,将所述每幅输入配准的图像对应的图像块分别转化成图像块列向量,根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数,根据稀疏系数构造每个图像块列向量对应的稀疏特征,最后对每幅输入配准的图像的图像块的稀疏特征进行拼接获得每幅输入配准的图像的聚焦特征图。
根据旋转引导滤波对所述获得的每幅输入配准的图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异明显的聚焦特征图,然后根据聚焦特征图的聚焦特征差异比较获得初始融合权重图,再根据形态学闭运算算子对获得的至少两幅输入配准的多聚焦图像的初始融合权重图进行膨胀和腐蚀获得融合权重图。
分别对输入图像I1和I2进行分块,分块是通过对整个图像滑窗得到的:分别对输入图像I1和I2进行分块,其滑动窗口的大小为8×8,相邻窗口的步长为1,得到输入图像I1和I2的图像块I1,j和I2,j。
获得的输入图像I1和I2的图像块I1,j和I2,j分别转化成图像块列向量和散焦图像字典D作用于所述获得的每个图像块列向量和通过OMP算法求解式,得到输入图像I1和I2的图像块列向量和对应的稀疏系数和
||·||1表示·的一范数,||·||2表示·的二范数,常数θ在本发明中的取值为18.4;但是,对于不同的问题和需求,常数θ是可调的。
通过获得的稀疏系数和构造输入的图像块列向量和的稀疏特征f1,j和f2,j,如式(3)和(4)所示,
构建输入图像I1和I2的聚焦特征图,基于获得的图像块的稀疏特征f1,j和f2,j,通过对所有的稀疏特征块f1,j和f2,j进行拼接,得到输入图像I1和I2的聚焦特征图W1,1和W2,1,
由于通过所述获得的聚焦特征图中的聚焦区域和散焦区域的差异不是非常明显,为了增大此差异,本发明再次利用旋转引导滤波对获得的聚焦特征图W1,1和W2,1进行平滑,获得聚焦区域和散焦区域的差异明显的聚焦特征图W1,2和W2,2,具体计算如式(5)和(6)所示:
W1,2=FRG(W1,1,σs,σr,t) (5)
W2,2=FRG(W2,1,σs,σr,t) (6)。
所述散焦图像字典D具体通过如下方法获得:对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像,根据所述若干幅滤波图像训练获得散焦图像字典D。
对多幅经典的多聚焦图像I1,I2,......,In进行旋转引导滤波,获得滤波图像其中n表示第n幅图像(本发明中所取的是4)。
设像素位置p和q,其对应的旋转引导滤波可表示为:
其中,
这里,Jt+1(p)表示第t次迭代的滤波结果,t表示滤波次数,N(p)表示像素p的邻域像素级,参数σs和σr分别控制空间和幅度权重;此外,N(p)的大小是由输入图像的尺寸和σs决定的。在本发明中,用FRG(I,σs,σr,t)表示旋转引导滤波算子。
根据所述获取的滤波图像训练散焦图像字典D,具体步骤如下:
(1)从滤波图像中随机选取多个图像块,每个图像块分别被表示为P1,P2,...Pj(本发明所设计的图像块的大小为8×8),分别将P1,P2,...Pj转化成对应图像块的列向量
(2)基于列向量通过K-SVD算法求解式,得到每个图像块列向量的稀疏系数αj和散焦图像字典D,
其中,表示·的二范数平方,||·||0表示·的零范数,参数k=5,k表示求解的稀疏系数αj中的非零项不多于k个。
步骤102:对所述获得的每幅输入图像对应的聚焦特征图进行处理获得融合权重图;
具体地,根据获得的聚焦特征图W1,2和W2,2,获取本发明中的初始融合权重图,如式(12)所示。
由于初始融合图W与目标边缘存在不一致性,而且将一些散焦的小区域及一些“孔洞”出现在聚焦区域,为此本发明采用简单的形态学闭运算算子可以有效地解决此问题,获得理想的融合图W*,计算如下式所示:
W*=imclose(W,b) (13)
其中,imclose(·)表示·的形态学闭运算,b表示结构元素,本发明中b采用的半径为19个像素大小的圆形结构。
步骤103:根据所述获得的融合权重图获得融合图像。
具体地,根据如下公式IF(x,y)=W*(x,y)I1(x,y)+(1-W*(x,y))I2(x,y) (14)计算获得本发明的融合图像IF。
本发明实施例还提供一种基于字典学习与旋转引导滤波的图像融合装置,该装置包括图像处理单元、融合权重单元、融合单元;
所述图像处理单元,用于对至少两幅输入配准的图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图,发送到对融合权重单元;
所述融合权重单元,用于对所述获得的每幅输入配准的图像对应的聚焦特征图进行处理获得融合权重图,发送到融合单元;
所述融合单元,用于根据所述获得的融合权重图获得融合图像。
所述图像处理单元,具体用于分别对至少两幅输入配准的图像进行分块获得每幅输入配准的图像对应的图像块,将所述每幅输入配准的图像对应的图像块分别转化成图像块列向量,根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数,根据稀疏系数构造每个图像块列向量对应的稀疏特征,最后对每幅输入配准的图像的图像块的稀疏特征进行拼接获得每幅输入配准的图像的聚焦特征图。
所述图像处理单元,还具体用于对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像,根据所述若干幅滤波图像训练获得散焦图像字典D。
所述图像处理单元,还用于根据旋转引导滤波对所述获得的每幅输入配准的图像对应的聚焦特征图进行平滑处理获得聚焦区域和散焦区域的差异明显的聚焦特征图,发送到融合权重单元;
所述融合权重单元,用于根据聚焦特征图的差异获得初始融合权重图,再用于根据形态学闭运算算子对获得的至少两幅配准的图像的初始融合权重图进行膨胀和腐蚀获得融合权重图,发送到融合;
所述融合单,用于根据所述获得的融合权重图获得融合图像。
本发明的效果可以通过仿真实验具体说明:
1.实验条件
实验所用的CPU为Intel Core(TM)i5-3320M 2.6GHz内存3GB,编程平台是MATLABR2014a。实验采用的是两组未完全配准的多聚焦图,图像来源于网站http://home.ustc.edu.cn/~liuyu1/。两组多聚焦图像的大小分别为320×240和256×256,如图2所示。
2.实验内容与结果
实验一,利用本发明对图2(a1)和(a2)进行仿真,得到如图3(a)—(f)所示的融合图像。其中图3(a)是NSCT法的融合结果图,图3(b)是ASR法的融合结果图,3(c)是NSCT-SR法的融合结果图,3(d)是GF法的融合结果图,3(e)是DSIFT法的融合结果图,3(f)是本发明的融合结果图,从图3(a)—(f)的融合结果图可见,本发明的融合图更加清晰、细节信息更丰富,而且为了证明本发明对未完全配准的多聚焦图像融合,未引入人工噪声和空间不连续问题,图4给出了融合结果与其中输入图像图2(a2)的差异图的效果图。图4(a)是NSCT法的融合差异图,图4(b)是ASR法的融合差异图,4(c)是NSCT-SR法的融合差异图,4(d)是GF法的融合差异图,4(e)是DSIFT法的融合差异图,4(f)是本发明的融合差异图,从图4(a)—(f)的融合差异图可见,本发明的融合对未配准的多聚焦图像融合未引入人工噪声和产生空间不连续性问题。
实验二,利用本发明对图2(b1)和(b2)进行仿真,得到如图5(a)—(f)所示的融合图像。其中图5(a)是NSCT法的融合结果图,图5(b)是ASR法的融合结果图,5(c)是NSCT-SR法的融合结果图,5(d)是GF法的融合结果图,3(e)是DSIFT法的融合结果图,5(f)是本发明的融合结果图,从图5(a)—(f)的融合结果图可见,本发明的融合图更加清晰、细节信息更丰富,而且为了证明本发明对未完全配准的多聚焦图像融合,未引入人工噪声和空间不连续问题,图6给出了融合结果与其中输入图像图2(b2)的差异图的效果图。图6(a)是NSCT法的融合差异图,图6(b)是ASR法的融合差异图,6(c)是NSCT-SR法的融合差异图,6(d)是GF法的融合差异图,6(e)是DSIFT法的融合差异图,6(f)是本发明的融合差异图,从图6(a)—(f)的融合差异图可见,本发明的融合对未配准的多聚焦图像融合未引入人工噪声和产生空间不连续性问题。
此外,为了更好地说明本发明的优越性和先进性,本发明将里采用常用的4个典型的图像融合客观评价指标来评价利用本发明技术获得融合结果与别的方法获得的融合结果的客观质量。4种评价指标分别为:QG用来测量输入图像中的边缘信息在融合图像中的保留情况,QMI测量输入图像的信息在融合图像中的保留情况,QY测量输入图像的结构信息在融合图像中的保留情况,QCB测量融合图像的视觉效果;而且,这些评价指标值越高说明融合图像质量越好。两组实验图像的客观评价指标如表1和表2所示。
表1
表2
由表1和表2可以看出,本发明融合结果得到的4项客观评价指标均优于其它方法,因此本发明能够有效提高图像的清晰度和细节信息。
综上,本发明提出的基于字典学习与旋转引导滤波的多聚焦图像融合方法对未配准的多聚焦图像问题能够有效提高图像的清晰度和细节信息并取得较好的视觉效果。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (10)
1.一种基于字典学习、旋转引导滤波的多聚焦图像融合方法,其特征在于,该方法为:首先通过对若干幅经典多聚焦图像进行旋转引导滤波处理获得每幅图像的滤波图像,对所述若干幅滤波图像进行字典学习获得图像的散焦字典,输入的多幅配准的多聚焦图像并将所述的散焦字典作用于输入图像并进行处理获得每幅输入多聚焦图像的聚焦特征图对所述获得的每幅输入图像对应的聚焦特征图进行处理获得融合权重图,最后,根据所述获得的融合权重图获得融合图像。
2.根据权利要求1所述的基于字典学习、旋转引导滤波的多聚焦图像融合方法,其特征在于,所述对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图,具体为:分别对多幅输入配准的多聚焦图像进行分块获得每幅输入配准的多聚焦图像对应的图像块,将所述每幅输入配准的多聚焦图像对应的图像块分别转化成图像块列向量,根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数,根据稀疏系数构造每个图像块列向量对应的稀疏特征,最后对每幅输入配准的多聚焦图像的图像块的稀疏特征进行拼接获得每幅输入配准的多聚焦图像的聚焦特征图。
3.根据权利要求2所述的基于字典学习、旋转引导滤波的多聚焦图像融合方法,其特征在于,所述对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的图像对应的聚焦特征图,具体为:
步骤1:分别对输入图像I1和I2进行分块,其滑动窗口的大小为8×8,相邻窗口的步长为1,得到输入图像I1和I2的图像块I1,j和I2,j;
步骤2:获得的输入图像I1和I2的图像块I1,j和I2,j分别转化成图像块列向量和散焦图像字典D作用于所述获得的每个图像块列向量和通过OMP算法求解式,得到输入图像I1和I2的图像块列向量和对应的稀疏系数和
||·||1表示·的一范数,||·||2表示·的二范数,常数θ在本发明中的取值为18.4;但是,对于不同的问题和需求,常数θ是可调的;
步骤3:通过获得的稀疏系数和构造输入的图像块列向量和的稀疏特征f1,j和f2,j,如式(3)和(4)所示,
构建输入图像I1和I2的聚焦特征图,基于获得的图像块的稀疏特征f1,j和f2,j,通过对所有的稀疏特征块f1,j和f2,j进行拼接,得到输入图像I1和I2的聚焦特征图W1,1和W2,1;
步骤4:根据旋转引导滤波对获得的聚焦特征图W1,1和W2,1进行平滑,获得聚焦区域和散焦区域的差异明显的聚焦特征图W1,2和W2,2,具体计算如式(5)和(6)所示:
W1,2=FRG(W1,1,σs,σr,t) (5)
W2,2=FRG(W2,1,σs,σr,t) (6)
其中,FRG(·)表示旋转引导滤波算子,参数σs和σr分别控制空间和幅度权重,t表示滤波次数。
4.根据权利要求2所述的基于字典学习、旋转引导滤波的多聚焦图像融合方法,其特征在于,所述散焦图像字典D具体通过如下方法获得:对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像,根据所述若干幅滤波图像随机选取图像块来训练获得散焦图像字典D。
5.根据权利要求4所述的基于字典学习、旋转引导滤波的多聚焦图像融合方法,其特征在于,所述散焦图像字典D获得的具体步骤如下:
步骤(1)从滤波图像中随机选取多个图像块,每个图像块分别被表示为P1,P2,…Pj,图像块的大小为8×8,分别将P1,P2,…Pj转化成对应图像块的列向量
步骤(2)基于列向量通过K-SVD算法求解式,得到每个图像块列向量的稀疏系数αj和散焦图像字典D,
其中,表示·的二范数平方,||·||0表示·的零范数,参数k=5,k表示求解的稀疏系数αj中的非零项不多于k个。
6.根据权利要求1所述的基于字典学***滑处理获得聚焦区域和散焦区域的差异明显的聚焦特征图,通过比较聚焦特征图差异获得初始融合权重图,再根据形态学闭运算算子对获得的多幅输入配准的多聚焦图像初始融合权重图进行膨胀和腐蚀获得融合权重图,最后,根据所述获得的融合权重图获得融合图像。
7.一种基于字典学习、旋转引导滤波的多聚焦图像融合装置,其特征在于,该装置包括图像处理单元、融合权重单元、融合单元;
所述图像处理单元,用于对多幅输入配准的多聚焦图像进行处理分别获得每幅输入配准的多聚焦图像对应的聚焦特征图,发送到对融合权重单元;
所述融合权重单元,用于对所述获得的每幅输入配准的图像对应的聚焦特征图进行特征差异比较获得初始融合权重图,然后对初始融合权重图进行膨胀和腐蚀获得融合权重图,发送到融合单元;
所述融合单元,用于根据所述获得的融合权重图获得融合图像。
8.根据权利要求7所述的基于字典学习、旋转引导滤波的多聚焦图像融合装置,其特征在于,所述图像处理单元,具体用于分别对多幅输入配准的多聚焦图像进行分块获得每幅输入配准的多聚焦图像对应的图像块,将所述每幅输入配准的多聚焦图像对应的图像块分别转化成图像块列向量,根据散焦图像字典D和OMP算法求解式对每个图像块列向量进行处理获得对应的稀疏系数,根据稀疏系数构造每个图像块列向量对应的稀疏特征,最后对每幅输入图像的图像块的稀疏特征进行拼接获得每幅输入图像的聚焦特征图。
9.根据权利要求8所述的基于字典学习、旋转引导滤波的多聚焦图像融合装置,其特征在于,所述图像处理单元,还具体用于对若干幅经典的多聚焦图像分别进行旋转引导滤波获得若干幅滤波图像,根据所述若干幅滤波图像随机选取图像块训练获得散焦图像字典D。
10.根据权利要求9所述的基于字典学***滑处理获得聚焦区域和散焦区域的差异较明显的聚焦特征图,发送到融合权重单元;
所述融合权重单元,用于比较聚焦特征图的特征差异获得初始融合权重图,然后根据形态学闭运算算子对获得的初始融合权重图进行膨胀和腐蚀获得融合权重图,发送到融合;
所述融合单元,用于根据所述获得的融合权重图获得融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610738233.0A CN106447640B (zh) | 2016-08-26 | 2016-08-26 | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610738233.0A CN106447640B (zh) | 2016-08-26 | 2016-08-26 | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106447640A true CN106447640A (zh) | 2017-02-22 |
CN106447640B CN106447640B (zh) | 2019-07-16 |
Family
ID=58182354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610738233.0A Active CN106447640B (zh) | 2016-08-26 | 2016-08-26 | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106447640B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689038A (zh) * | 2017-08-22 | 2018-02-13 | 电子科技大学 | 一种基于稀疏表示和循环引导滤波的图像融合方法 |
CN108665435A (zh) * | 2018-01-08 | 2018-10-16 | 西安电子科技大学 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
CN109242888A (zh) * | 2018-09-03 | 2019-01-18 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
CN109934794A (zh) * | 2019-02-20 | 2019-06-25 | 常熟理工学院 | 一种基于显著稀疏表示和邻域信息的多聚焦图像融合方法 |
CN111127375A (zh) * | 2019-12-03 | 2020-05-08 | 重庆邮电大学 | 一种结合dsift和自适应图像分块的多聚焦图像融合方法 |
CN112508828A (zh) * | 2019-09-16 | 2021-03-16 | 四川大学 | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542549A (zh) * | 2012-01-04 | 2012-07-04 | 西安电子科技大学 | 基于压缩感知的多光谱与全色图像超分辨融合方法 |
CN104008533A (zh) * | 2014-06-17 | 2014-08-27 | 华北电力大学 | 基于分块自适应特征跟踪的多传感器图像融合方法 |
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
-
2016
- 2016-08-26 CN CN201610738233.0A patent/CN106447640B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542549A (zh) * | 2012-01-04 | 2012-07-04 | 西安电子科技大学 | 基于压缩感知的多光谱与全色图像超分辨融合方法 |
CN104008533A (zh) * | 2014-06-17 | 2014-08-27 | 华北电力大学 | 基于分块自适应特征跟踪的多传感器图像融合方法 |
CN105678723A (zh) * | 2015-12-29 | 2016-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
Non-Patent Citations (3)
Title |
---|
LIU SHUAIQI等: ""Medical Image Fusion Based on Rolling Guidance Filter and Spiking Cortical Model"", 《COMPUT MATH METHODS MED》 * |
MANSOUR NEJATI等: ""Multi-focus image fusion using dictionary-based sparse representation"", 《INFORMATION FUSION》 * |
严春满等: ""自适应字典学习的多聚焦图像融合"", 《中国图像图形学报》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689038A (zh) * | 2017-08-22 | 2018-02-13 | 电子科技大学 | 一种基于稀疏表示和循环引导滤波的图像融合方法 |
CN108665435A (zh) * | 2018-01-08 | 2018-10-16 | 西安电子科技大学 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
CN108665435B (zh) * | 2018-01-08 | 2021-11-02 | 西安电子科技大学 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
CN109242888A (zh) * | 2018-09-03 | 2019-01-18 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
CN109242888B (zh) * | 2018-09-03 | 2021-12-03 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
CN109934794A (zh) * | 2019-02-20 | 2019-06-25 | 常熟理工学院 | 一种基于显著稀疏表示和邻域信息的多聚焦图像融合方法 |
CN112508828A (zh) * | 2019-09-16 | 2021-03-16 | 四川大学 | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 |
CN111127375A (zh) * | 2019-12-03 | 2020-05-08 | 重庆邮电大学 | 一种结合dsift和自适应图像分块的多聚焦图像融合方法 |
CN111127375B (zh) * | 2019-12-03 | 2023-04-07 | 重庆邮电大学 | 一种结合dsift和自适应图像分块的多聚焦图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106447640B (zh) | 2019-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106447640B (zh) | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 | |
Zhao et al. | Multi-focus image fusion with a natural enhancement via a joint multi-level deeply supervised convolutional neural network | |
CN109583340B (zh) | 一种基于深度学习的视频目标检测方法 | |
CN106339998B (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
Nguyen et al. | Quality-driven super-resolution for less constrained iris recognition at a distance and on the move | |
CN108830818A (zh) | 一种快速多聚焦图像融合方法 | |
CN104077761B (zh) | 基于自适应稀疏表示的多聚焦图像融合方法 | |
CN103310453A (zh) | 一种基于子图像角点特征的快速图像配准方法 | |
CN107730536B (zh) | 一种基于深度特征的高速相关滤波物体追踪方法 | |
Lee et al. | Skewed rotation symmetry group detection | |
CN107729820A (zh) | 一种基于多尺度hog的手指静脉识别方法 | |
CN100573584C (zh) | 基于成像机理与非采样Contourlet变换多聚焦图像融合方法 | |
CN111507334A (zh) | 一种基于关键点的实例分割方法 | |
CN105913407A (zh) | 一种基于差值图对多聚焦度图像融合优化的方法 | |
CN104919491A (zh) | 图像处理的改进或与图像处理相关的改进 | |
CN102542535B (zh) | 虹膜图像的去模糊方法 | |
CN103854265A (zh) | 一种新的多聚焦图像融合技术 | |
Hsieh et al. | Fast and robust infrared image small target detection based on the convolution of layered gradient kernel | |
CN110147769B (zh) | 一种手指静脉图像匹配方法 | |
Nguyen et al. | Focus-score weighted super-resolution for uncooperative iris recognition at a distance and on the move | |
CN105869134B (zh) | 基于方向图模型的人脸画像合成方法 | |
Bhatnagar et al. | Multi-sensor fusion based on local activity measure | |
CN116740076A (zh) | 视网膜色素变性眼底图像中色素分割的网络模型及方法 | |
CN103778615A (zh) | 基于区域相似性的多聚焦图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |