CN110097530B - 基于超像素聚类与联合低秩表示的多聚焦图像融合方法 - Google Patents

基于超像素聚类与联合低秩表示的多聚焦图像融合方法 Download PDF

Info

Publication number
CN110097530B
CN110097530B CN201910318421.1A CN201910318421A CN110097530B CN 110097530 B CN110097530 B CN 110097530B CN 201910318421 A CN201910318421 A CN 201910318421A CN 110097530 B CN110097530 B CN 110097530B
Authority
CN
China
Prior art keywords
feature
super
matrix
low
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910318421.1A
Other languages
English (en)
Other versions
CN110097530A (zh
Inventor
张强
王凡
焦强
刘健
韩军功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910318421.1A priority Critical patent/CN110097530B/zh
Publication of CN110097530A publication Critical patent/CN110097530A/zh
Application granted granted Critical
Publication of CN110097530B publication Critical patent/CN110097530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Discrete Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于超像素聚类与联合低秩表示的多聚焦图像融合方法，涉及图像处理技术领域，通过接收经过配准的源图像IA和IB，利用谱聚类算法，对IA和IB进行超像素分割，再对超像素利用K均值算法进行聚类，并对源图像以超像素为单位进行特征提取，构建针对每一个超像素类的特征矩阵。构建字典及联合低秩表示模型并结合拉普拉斯一致性约束项，分别对源图像IA和IB中的超像素类所对应的特征矩阵进行联合低秩表示，计算出IA的低秩表示系数ZA和误差矩阵EA以及IB的低秩表示系数ZB和误差矩阵EB，利用表示系数和误差设计融合规则，构建建最终的融合图像，解决了现有技术存在的融合结果中出现的块状模糊和突兀的过渡边缘现象，提高了图像融合的质量和视觉效果。

Description

基于超像素聚类与联合低秩表示的多聚焦图像融合方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于超像素聚类与联合低秩表示的多聚焦图像融合方法。
背景技术
多聚焦图像融合是图像融合的一个重要分支，多聚焦图像融合能够将同一场景不同图像上所有聚焦信息集成为一体，生成一幅全聚焦的清晰图像，从而更实现准确地描述被拍摄的场景。
传统的多聚焦图像融合主要对图像进行区域划分，采用聚焦性测量指标对图像聚焦区域进行测量，得出源图像中较为清晰的区域并进行融合。这种方法稳定性较差，对噪声和误配准较为敏感，融合结果会出现大量的区域性模糊。利用多尺度的分解进行多聚焦图像融合能够将图像分解为不同尺度，并针对不同尺度选取相应的融合规则进行融合，在一定程度上提高了融合效果，但这种方法受噪声和误配准影响加大，导致融合结果会出现振铃和局部模糊现象。
因稀疏表示对噪声和误配准具有较强的鲁棒性，很多学者将其应用到了多聚焦图像融合中。比如：论文“B.Yang,S.Li,Multi-focus image fusion and restoration withsparse representation,IEEE Transactions on Instrumentation and Measurement,vol.59,no.4,pp.884-892,2010”最早提出将稀疏表示应用于图像融合中；论文“S.T.Li,H.T.Yin,L.Y.Fang,Group-sparse representation with dictionary learning formedical image denoising and fusion[J].IEEE Transactions on BiomedicalEngineering,2012,59(12):3450-3459.”提出了基于组稀疏表示模型(GSR)的融合算法；论文“N.Yu,T.Qiu,et al.,Image features extraction and fusion based on jointsparse representation,IEEE Journal of Selected Topics in Signal Processing 5(5)(2011)1074-1082.”提出了基于联合稀疏表示模型的多聚焦图像融合算法；论文“J.Wang,J.Peng,et al.,Fusion method for infrared and visible images by usingnon-negative sparse representation,Infrared Physics&Technology,67(2014)477-489.”提出了一种基于非负稀疏表示模型的红外与可见光图像融合算法。相比传统的基于空域和多尺度变换的图像融合算法，这些算法的出现较大程度上提高了图像融合的质量，同时充分的说明了稀疏表示模型的灵活性以及强大的表示能力。然而，基于稀疏表示的融合方法一般都是以图像“子块”为单位进行稀疏表示和融合，这就造成融合结果出现大量的块状模糊和突兀的过渡边缘，即“块效应”和“锯齿状”边界。为缓解该问题，提高图像融合的质量和视觉效果，大多数算法采用了滑动窗口技术对源图像进行采样。但滑动窗口不仅大幅度的增加了计算量，同时平滑了一些高频信息，造成细节信息的丢失。
申请号为201810086733.X的专利申请提出一种基于一致性和非负稀疏表示的多聚焦图像融合算法，该算法保证了对源图像特征提取的空间一致性，使得空间相邻且特征相似的图像块对应的表示系数同样具有较高的相似性。这些方法采用了空间一致性信息，在一定的程度上缓解了块状模糊，但无法解决“锯齿状”边界的问题。论文“J.Duan,L.Chen,C.L.P.Chen,Multifocus image fusion using superpixel segmentation andsuperpixel-based mean filtering,Applied Optics 55(36)(2016)10352-10362.”虽然也采用了超像素分割技术，但由于其采用基于块的稀疏表示与源图像的均值图像生成一副清晰度增强的图像，然后利用超像素分割技术进行分割并以超像素为单位进行清晰度比较，虽然能够解决“块效应”的问题，但因利用稀疏表示生成的清晰度增强图像误差较大，并且过度依赖超像素分割技术，将聚焦与离焦区域进行分割与区分，造成结果出现大量区域性模糊，造成融合质量下降。
发明内容
针对现有技术存在的缺陷，本发明实施例提供了一种基于超像素聚类与联合低秩表示的多聚焦图像融合方法，该方法包括：
(1)接收经过配准的源图像IA和IB，其中，IA∈Rm×n，IB∈Rm×n，m表示源图像IA和IB的宽度，n表示IA和IB的高度；
(2)利用谱聚类算法，对IA或IB中的任一源幅图像进行超像素分割，将分割后得到的超像素标记矩阵映射到另一幅源图像中，使得IA和IB具有相同数量的超像素块且同一位置上的超像素块具有相同的形状和尺寸，得到与IA和IB对应的超像素集{spA,i|i＝1,2,…,N}和{spB,i|i＝1,2,…,N}，其中，N代表超像素的个数；
(3)对IA和IB的超像素进行聚类
(31)对IA或IB中的任一幅图像的超像素集{spA/B,i|i＝1,2,…,N},提取所述超像素集中各个像素点的R值、G值及B值并分别求取所述R值、所述G值及所述B值的均值，得到各个超像素对应的颜色特征，再利用K-Means算法和所述颜色特征对IA或IB超像素进行聚类，得到聚类结果；
(32)将聚类结果映射到另一幅源图像的超像素集中，得到IA及IB所对应的两个超像素类{CA,k|k＝1,2,…,K}和{CB,k|k＝1,2,…,K}，其中，K代表聚类的个数；
(4)对IA及IB进行特征提取，构建源图像中每一个超像素类CA/B,k所对应的特征矩阵XA/B,k；
(5)构建字典
(51)利用公式
Figure BDA0002033877630000041
得到IA及IB的均值图像IM(x,y)；
(52)利用公式
Figure BDA0002033877630000042
对所述均值图像进行高斯模糊，得到高斯模糊图像IN(x,y)，提取所述高斯模糊图像IN(x,y)的特征值，构建所述均值图像的特征矩阵；
(53)利用主成分分析PCA技术对所述特征矩阵进行降维，得到低秩表示字典D；
(6)构建联合低秩表示模型并对超像素类所对应的特征矩阵进行联合低秩表示；
(7)利用基于自适应惩罚因子的线性迭代方向法对所述联合低秩表示模型进行求解，计算出IA的低秩表示系数ZA和误差矩阵EA以及IB的低秩表示系数ZB和误差矩阵EB；
(8)构建融合决策标记图
(81)根据低秩表示系数Z和误差矩阵E采用加权求和的方法构建聚焦性测量因子，即MOFA/B,i＝η||zA/B,i||2+(1-η)||eA/B,i||2，其中，zA/B,i和eA/B,i分别为ZA/B和EA/B的第i列，||·||2表示向量的l2范数，η为权重值；
(82)利用聚焦性测量因子，构建与源图像具有相同尺寸的融合标记图Υ(x,y)，其中，
Figure BDA0002033877630000051
(9)根据公式IF(x,y)＝Υ(x,y)IA(x,y)+(1-Υ(x,y))IB(x,y)，构建最终融合图像。
优选地，对IA及IB进行特征提取，构建源图像中每一个超像素类CA/B,k所对应的特征矩阵XA/B,k包括：
对源图像中的每一个像素点pA/B,j，建立特征向量vA/B,j∈Rd，其中，d＝44，为特征向量的维数，包含颜色特征、边缘特征和纹理特征，其中，颜色特征为包括RGB分量和HSI分量的6维特征，边缘特征为包括高通滤波器响应及离散小波变换边缘算子生成的18维特征，纹理特征为灰度共生矩阵生成的4个方向的20维特征；
对IA及IB中的每一个超像素spA/B,i，建立特征向量xA/B,i∈Rd，所述特征向量为对超像素中所包含的像素对应的特征向量取平均值而得，即
Figure BDA0002033877630000052
其中，i代表第i个超像素，/>
Figure BDA0002033877630000053
代表第i个超像素内所包含的像素点pj的个数；
根据每一个超像素类，构建特征矩阵，将每一类CA/B,k中所包含的超像素对应的特征向量按列进行组合排列，得到该类别所对应的特征矩阵
Figure BDA0002033877630000054
即
Figure BDA0002033877630000055
Figure BDA0002033877630000061
其中，xA/B,k,i代表在源图像的第k类CA/B,k中，第i个超像素spA/B,i所对应的特征向量。
优选地，构建联合低秩表示模型并对超像素类所对应的特征矩阵进行联合低秩表示包括：
利用低秩表示模型对不同的超像素类进行联合低秩约束，根据类内相似一致性和空间位置一致性的拉普拉斯约束项，在满足Xk＝DZk+Ek的前提下，得到联合低秩表示模型
Figure BDA0002033877630000062
满足Xk＝DZk+Ek,k＝1,2,…,K。其中，DZk表示包含在特征矩阵Xk内在低秩部分，/>
Figure BDA0002033877630000063
为需要被求解的低秩表示系数矩阵，/>
Figure BDA0002033877630000064
表示矩阵中的误差或噪声部分，||Zk||*表示对系数Zk进行核范数约束，K表示超像素的K个类，
Figure BDA0002033877630000065
表示对聚类后的K个类的表示系数进行联合低秩约束，矩阵Z∈RM×N和E∈Rd×N分别被定义为Z＝[Z1,Z2,…,ZK]和E＝[E1,E2,…,EK]，||E||2,1表示E的l2,1范数，α为控制稀疏误差E的权衡因子，β为控制相似一致性约束项的权衡因子，/>
Figure BDA0002033877630000066
ZT表示Z的转置矩阵，zt表示低秩表示系数Z的第t列，t∈[1,N]，zm表示低秩表示系数Z的第m列，m∈[1,N]，ωt,m代表第t个和第m个超像素的相似性，k＝1,2,…,K，其中，
Figure BDA0002033877630000067
其中，
xt表示特征矩阵X中的第t列，xm表示第m个超像素对应的特征向量，σ为尺度参数，利用ωt,m建立相似性矩阵W∈RN×N和对角矩阵H∈RN×N，其中，相似性矩阵W的第(t,m)项Wt,m＝ωt,m，对角矩阵H的第t个对角元素为Ht,t＝∑mWt,m，利用W和H可建立拉普拉斯矩阵L，即为L＝H-W。
本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法具有以下有益效果：
通过采用超像素聚类技术与联合低秩表示技术，解决了现有技术存在的融合结果中出现的块状模糊和突兀的过渡边缘，提高了图像融合的质量和视觉效果。
附图说明
图1为本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法的流程示意图；
图2a-2d分别为采用卷积神经网络、引导滤波、稀疏表示和鲁棒稀疏表示联合拉普拉斯一致性约束所得到的融合结果示意图；
图2e为采用本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法所得到的融合结果示意图；
图3a-图3g为采用现有的算法得到的融合结果示意图；
图3h为采用发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法得到的融合结果示意图。
具体实施方式
如图1所示，本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法包括以下步骤：
S101，接收经过配准的源图像IA和IB，其中，IA∈Rm×n，IB∈Rm×n，m表示源图像IA和IB的宽度，n表示IA和IB的高度。
进一步地，两经过配准的源图像IA和IB大小相等，内容相互对应，不存在几何形变。
S102，利用谱聚类算法，对IA或IB中的任一源幅图像进行超像素分割，将分割后得到的超像素标记矩阵映射到另一幅源图像中，使得IA和IB具有相同数量的超像素块且同一位置上的超像素块具有相同的形状和尺寸，得到与IA和IB对应的超像素集{spA,i|i＝1,2,…,N}和{spB,i|i＝1,2,…,N}，其中，N代表超像素的个数。
S103，对IA和IB的超像素进行聚类。
S1031，对IA或IB中的任一幅图像的超像素集{spA/B,i|i＝1,2,…,N},提取所述超像素集中各个像素点的R值、G值及B值并分别求取所述R值、所述G值及所述B值的均值，得到各个超像素对应的颜色特征，再利用K-Means算法和所述颜色特征对IA或IB超像素进行聚类，得到聚类结果；
S1032，将聚类结果映射到另一幅源图像的超像素集中，得到IA及IB所对应的两个超像素类{CA,k|k＝1,2,…,K}和{CB,k|k＝1,2,…,K}，其中，K代表聚类的个数；
S104，对IA及IB进行特征提取，构建源图像中每一个超像素类CA/B,k所对应的特征矩阵XA/B,k。
S105，构建字典。
S1051，利用公式
Figure BDA0002033877630000081
得到IA及IB的均值图像IM(x,y)；
S1052，利用公式
Figure BDA0002033877630000091
对所述均值图像进行高斯模糊，得到高斯模糊图像IN(x,y)，提取所述高斯模糊图像IN(x,y)的特征值，构建所述均值图像的特征矩阵；
S1053，利用主成分分析PCA技术对所述特征矩阵进行降维，得到低秩表示字典D。
S106，构建联合低秩表示模型并对超像素类对应的特征矩阵进行联合低秩表示。
S107，利用基于自适应惩罚因子的线性迭代方向法对联合低秩表示模型进行求解，计算IA的低秩表示系数ZA和误差矩阵EA以及IB的低秩表示系数ZB和误差矩阵EB。
S108，设计融合规则，构建融合决策标记图。
S1081，根据低秩表示系数Z和误差矩阵E采用加权求和的方法构建聚焦性测量因子，即MOFA/B,i＝η||zA/B,i||2+(1-η)||eA/B,i||2，其中，zA/B,i和eA/B,i分别为ZA/B和EA/B的第i列，||·||2表示向量的l2范数，η为权重值；
S1082，利用聚焦性测量因子，构建与源图像具有相同尺寸的融合标记图Υ(x,y)，其中，
Figure BDA0002033877630000092
作为一个具体的实施例，Υ(x,y)为初步的聚焦性决策图，表示聚焦区域在源图像中所对应的位置，可以通过去除该聚焦性决策图决策图中孤立的小区域，再利用图像抠图原理对决策图聚焦标记边缘进行处理，使得边缘更为准确，最后使用引导滤波进行处理，得到最终的聚焦性决策图。
S109，根据公式IF(x,y)＝Υ(x,y)IA(x,y)+(1-Υ(x,y))IB(x,y)，构建最终融合图像。
可选地，对IA及IB进行特征提取，构建源图像中每一个超像素类CA/B,k所对应的特征矩阵XA/B,k包括：
对源图像中的每一个像素点pA/B,j，建立特征向量vA/B,j∈Rd，其中，d＝44，为特征向量的维数，包含颜色特征、边缘特征和纹理特征，其中，颜色特征为包括RGB分量和HSI分量的6维特征，边缘特征为包括高通滤波器响应及离散小波变换边缘算子生成的18维特征，纹理特征为灰度共生矩阵生成的4个方向的20维特征；
对IA及IB中的每一个超像素spA/B,i，建立特征向量xA/B,i∈Rd，所述特征向量为对超像素中所包含的像素对应的特征向量取平均值而得，即
Figure BDA0002033877630000101
其中，i代表第i个超像素，/>
Figure BDA0002033877630000102
代表第i个超像素内所包含的像素点pj的个数；
根据每一个超像素类，构建特征矩阵，将每一类CA/B,k中所包含的超像素对应的特征向量按列进行组合排列，得到该类别所对应的特征矩阵
Figure BDA0002033877630000103
即
Figure BDA0002033877630000104
Figure BDA0002033877630000105
其中，xA/B,k,i代表在源图像的第k类CA/B,k中，第i个超像素spA/B,i所对应的特征向量。
可选地，构建联合低秩表示模型并对超像素类所对应的特征矩阵进行联合低秩表示包括：
利用低秩表示模型对不同的超像素类进行联合低秩约束，根据类内相似一致性和空间位置一致性的拉普拉斯约束项，在满足Xk＝DZk+Ek的前提下，得到联合低秩表示模型
Figure BDA0002033877630000111
满足Xk＝DZk+Ek,k＝1,2,…,K。其中，DZk表示包含在特征矩阵Xk内在低秩部分，/>
Figure BDA0002033877630000112
为需要被求解的低秩表示系数矩阵，/>
Figure BDA0002033877630000113
表示矩阵中的误差或噪声部分，||Zk||*表示对系数Zk进行核范数约束，K表示超像素的K个类，
Figure BDA0002033877630000114
表示对聚类后的K个类的表示系数进行联合低秩约束，矩阵Z∈RM×N和E∈Rd×N分别被定义为Z＝[Z1,Z2,…,ZK]和E＝[E1,E2,…,EK]，||E||2,1表示E的l2,1范数，α为控制稀疏误差E的权衡因子，β为控制相似一致性约束项的权衡因子，
Figure BDA0002033877630000115
ZT表示Z的转置矩阵，zt表示低秩表示系数Z的第t列，t∈[1,N]，zm表示低秩表示系数Z的第m列，m∈[1,N]，ωt,m代表第t个和第m个超像素的相似性，k＝1,2,…,K，其中，
Figure BDA0002033877630000116
其中，
xt表示特征矩阵X中的第t列，xm表示第m个超像素对应的特征向量，σ为尺度参数，利用ωt,m建立相似性矩阵W∈RN×N和对角矩阵H∈RN×N，其中，相似性矩阵W的第(t,m)项Wt,m＝ωt,m，对角矩阵H的第t个对角元素为Ht,t＝∑mWt,m，利用W和H可建立拉普拉斯矩阵L，即为L＝H-W。
下面结合具体实验对本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法的效果进行详细说明。
实验条件
本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法的仿真是在主频为3GHZ的Intel(R)Core(TM)I7、内存8G的硬件环境和Matlab R2017a软件环境下实现的。
实验内容
实验1：
如图2所示，图2a-2d分别为采用卷积神经网络(CNN)、引导滤波(GFF)、稀疏表示(SR)和鲁棒稀疏表示联合拉普拉斯一致性约束(LR_RSR)所得到的融合结果，图2e为采用本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法所得到的融合结果。从该实验结果可以看出，本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法相比现有一些图像融合算法，其融合结果不包含块状或区域性模糊，其决策图聚焦性标记边缘区域更为自然准确，因此，本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法能够达到较好的融合效果。
实验2：
图3a-图3g为采用现有的算法得到的融合结果，图3h为采用发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法得到的融合结果，将图3a-图3h中的主观聚焦决策图进行对比，可以看出，本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法能够达到较为准确的融合结果。同时本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法采用Petrovic’s metric(QAB/F)、特征互信息(FMI)、信息保持度(Quiqi)、归一化互信息(QMI)、彩色失真度(QSSIM)、相位一致性(Q4)六种客观评价指标对融合结果进行了对比，六种融合指标的值越大，代表融合效果越好。实验结果如表1所示。
表1
Figure BDA0002033877630000131
从表1中可以发现本发明设计的多聚焦图像融合算法明显优于所参与对比的其他现有融合算法的性能，进一步表明了本发明能够获得更为准确的多聚焦图像融合结果。
本发明实施例提供的基于超像素聚类与联合低秩表示的多聚焦图像融合方法，通过接收经过配准的源图像IA和IB，利用谱聚类算法，对IA或IB中的任一源幅图像进行超像素分割，将分割后得到的超像素标记矩阵映射到另一幅源图像中，得到与IA和IB对应的超像素集，对IA和IB的超像素进行聚类，对IA及IB进行特征提取，构建源图像中每一个超像素类CA/B,k所对应的特征矩阵XA/B,k，构建字典及联合低秩表示模型并分别对超像素类对应的特征矩阵进行联合低秩表示，利用基于自适应惩罚因子的线性迭代方向法对联合低秩表示模型进行求解，计算出IA的低秩表示系数ZA和误差矩阵EA以及IB的低秩表示系数ZB和误差矩阵EB，利用表示系数和误差矩阵设计融合规则，构建最终的融合图像，解决了现有技术存在的融合结果中出现的块状模糊和突兀的过渡边缘现象，提高了图像融合的质量和视觉效果。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (3)

1.一种基于超像素聚类与联合低秩表示的多聚焦图像融合方法，其特征在于，包括：
(1)接收经过配准的源图像IA和IB，其中，IA∈Rm×n，IB∈Rm×n，m表示源图像IA和IB的宽度，n表示IA和IB的高度；
(2)利用谱聚类算法，对IA或IB中的任一源幅图像进行超像素分割，将分割后得到的超像素标记矩阵映射到另一幅源图像中，使得IA和IB具有相同数量的超像素块且同一位置上的超像素块具有相同的形状和尺寸，得到与IA和IB对应的超像素集{spA,i|i＝1,2,…,N}和{spB,i|i＝1,2,…,N}，其中，N代表超像素的个数；
(3)对IA和IB的超像素进行聚类
(31)对IA或IB中的任一幅图像的超像素集{spA/B,i|i＝1,2,…,N},提取所述超像素集中各个像素点的R值、G值及B值并分别求取所述R值、所述G值及所述B值的均值，得到各个超像素对应的颜色特征，再利用K-Means算法和所述颜色特征对IA或IB超像素进行聚类，得到聚类结果；
(32)将所述聚类结果映射到另一幅源图像的超像素集中，得到IA及IB所对应的两个超像素类{CA,k|k＝1,2,…,K}和{CB,k|k＝1,2,…,K}，其中，K代表聚类的个数；
(4)对IA及IB进行特征提取，构建源图像中每一个超像素类CA/B,k所对应的特征矩阵XA/B,k；
(5)构建字典
(51)利用公式
Figure FDA0003977662920000011
得到IA及IB的均值图像IM(x,y)；
(52)利用公式
Figure FDA0003977662920000021
对所述均值图像进行高斯模糊，得到高斯模糊图像IN(x,y)，提取所述高斯模糊图像IN(x,y)的特征值，构建所述均值图像的特征矩阵；
(53)利用主成分分析PCA技术对所述特征矩阵进行降维，得到低秩表示字典D；
(6)构建联合低秩表示模型并对超像素类所对应的特征矩阵进行联合低秩表示；
(7)利用基于自适应惩罚因子的线性迭代方向法对联合低秩表示模型进行求解，计算出IA的低秩表示系数ZA和误差矩阵EA以及IB的低秩表示系数ZB和误差矩阵EB；
(8)构建融合决策标记图
(81)根据低秩表示系数Z和误差矩阵E采用加权求和的方法构建聚焦性测量因子，即MOFA/B,i＝η||zA/B,i||2+(1-η)||eA/B,i||2，其中，zA/B,i和eA/B,i分别为ZA/B和EA/B的第i列，||·||2表示向量的l2范数，η为权重值；
(82)利用聚焦性测量因子，构建与源图像具有相同尺寸的融合标记图Υ(x,y)，其中，
Figure FDA0003977662920000022
(9)根据公式IF(x,y)＝Υ(x,y)IA(x,y)+(1-Υ(x,y))IB(x,y)，构建最终融合图像。
2.根据权利要求1所述的基于超像素聚类与联合低秩表示的多聚焦图像融合方法，其特征在于，对IA及IB进行特征提取，构建源图像中每一个超像素类CA/B,k所对应的特征矩阵XA/B,k包括：
对源图像中的每一个像素点pA/B,j，建立特征向量vA/B,j∈Rd，其中，d＝44，为特征向量的维数，包含颜色特征、边缘特征和纹理特征，其中，颜色特征为包括RGB分量和HSI分量的6维特征，边缘特征为包括高通滤波器响应及离散小波变换边缘算子生成的18维特征，纹理特征为灰度共生矩阵生成的4个方向的20维特征；
对IA及IB中的每一个超像素spA/B,i，建立特征向量xA/B,i∈Rd，所述特征向量为对超像素中所包含的像素对应的特征向量取平均值而得，即
Figure FDA0003977662920000031
其中，i代表第i个超像素，
Figure FDA0003977662920000032
代表第i个超像素内所包含的像素点pj的个数；
根据每一个超像素类，构建特征矩阵，将每一类CA/B,k中所包含的超像素对应的特征向量按列进行组合排列，得到该类别所对应的特征矩阵
Figure FDA0003977662920000033
即
Figure FDA0003977662920000034
Figure FDA0003977662920000035
其中，xA/B,k,i代表在源图像的第k类CA/B,k中，第i个超像素spA/B,i所对应的特征向量。
3.根据权利要求1所述的基于超像素聚类与联合低秩表示的多聚焦图像融合方法，其特征在于，构建联合低秩表示模型并对超像素类所对应的特征矩阵进行联合低秩表示包括：
利用低秩表示模型对不同的超像素类进行联合低秩约束，并结合类内相似一致性和空间位置一致性的拉普拉斯约束项，得到联合低秩表示模型
Figure FDA0003977662920000041
满足Xk＝DZk+Ek,k＝1,2,…,K，其中，DZk表示包含在特征矩阵Xk内在低秩部分，
Figure FDA0003977662920000042
为需要被求解的低秩表示系数矩阵，
Figure FDA0003977662920000043
表示矩阵中的误差或噪声部分，||Zk||*表示对系数Zk进行核范数约束，K表示超像素的K个类，
Figure FDA0003977662920000044
表示对聚类后的K个类的表示系数进行联合低秩约束，矩阵Z∈RM×N和E∈Rd×N分别被定义为Z＝[Z1,Z2,…,ZK]和E＝[E1,E2,…,EK]，||E||2,1表示E的l2,1范数，α为控制稀疏误差E的权衡因子，β为控制相似一致性约束项的权衡因子，
Figure FDA0003977662920000045
ZT表示Z的转置矩阵，zt表示低秩表示系数Z的第t列，t∈[1,N]，zm表示低秩表示系数Z的第m列，m∈[1,N]，ωt,m代表第t个和第m个超像素的相似性，其中，
Figure FDA0003977662920000046
其中，
xt表示特征矩阵X中的第t列，xm表示第m个超像素对应的特征向量，σ为尺度参数，利用ωt,m建立相似性矩阵W∈RN×N和对角矩阵H∈RN×N，其中，相似性矩阵W的第(t,m)项Wt,m＝ωt,m，对角矩阵H的第t个对角元素为Ht,t＝∑mWt,m，利用W和H可建立拉普拉斯矩阵L，即为L＝H-W。
CN201910318421.1A 2019-04-19 2019-04-19 基于超像素聚类与联合低秩表示的多聚焦图像融合方法 Active CN110097530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910318421.1A CN110097530B (zh) 2019-04-19 2019-04-19 基于超像素聚类与联合低秩表示的多聚焦图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910318421.1A CN110097530B (zh) 2019-04-19 2019-04-19 基于超像素聚类与联合低秩表示的多聚焦图像融合方法

Publications (2)

Publication Number Publication Date
CN110097530A CN110097530A (zh) 2019-08-06
CN110097530B true CN110097530B (zh) 2023-03-24

Family

ID=67445350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910318421.1A Active CN110097530B (zh) 2019-04-19 2019-04-19 基于超像素聚类与联合低秩表示的多聚焦图像融合方法

Country Status (1)

Country Link
CN (1) CN110097530B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947554B (zh) * 2020-07-17 2023-07-14 四川大学 一种基于nsst和显著信息提取的多聚焦图像融合方法
CN114998358A (zh) * 2022-05-06 2022-09-02 暨南大学 多聚焦图像融合方法、装置、计算机设备和存储介质
CN115063413B (zh) * 2022-08-04 2022-11-11 宁波鑫芯微电子科技有限公司 一种超大规模晶圆异常数据的特征提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574534A (zh) * 2015-12-17 2016-05-11 西安电子科技大学 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN108510465A (zh) * 2018-01-30 2018-09-07 西安电子科技大学 基于一致性约束非负稀疏表示的多聚焦图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181188B2 (en) * 2016-02-19 2019-01-15 International Business Machines Corporation Structure-preserving composite model for skin lesion segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574534A (zh) * 2015-12-17 2016-05-11 西安电子科技大学 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN108510465A (zh) * 2018-01-30 2018-09-07 西安电子科技大学 基于一致性约束非负稀疏表示的多聚焦图像融合方法

Also Published As

Publication number Publication date
CN110097530A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
Salazar-Colores et al. Single image dehazing using a multilayer perceptron
Pistilli et al. Learning graph-convolutional representations for point cloud denoising
CN108830818B (zh) 一种快速多聚焦图像融合方法
Cho et al. Weakly-and self-supervised learning for content-aware deep image retargeting
US20240202871A1 (en) Three-dimensional point cloud upsampling method, system and device, and medium
Kou et al. Gradient domain guided image filtering
CN110148104B (zh) 基于显著性分析与低秩表示的红外与可见光图像融合方法
CN110097530B (zh) 基于超像素聚类与联合低秩表示的多聚焦图像融合方法
CN108399611B (zh) 基于梯度正则化的多聚焦图像融合方法
CN110120065B (zh) 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及***
He et al. Fast weighted histograms for bilateral filtering and nearest neighbor searching
CN113052755A (zh) 一种基于深度学习的高分辨率图像智能化抠图方法
Liu et al. Multi-focus image fusion based on residual network in non-subsampled shearlet domain
CN112598012B (zh) 神经网络模型中数据处理方法、存储介质和电子装置
CN116433707B (zh) 复杂背景下线结构光中心亚像素精确提取方法及***
Mevenkamp et al. Variational multi-phase segmentation using high-dimensional local features
Zhao et al. Constant time texture filtering
Singh et al. Construction of fused image with improved depth-of-field based on guided co-occurrence filtering
Lee et al. Optimizing image focus for 3D shape recovery through genetic algorithm
Yang et al. Anisotropic variational models for image denoising based on directional hessian
Yao et al. A multi-expose fusion image dehazing based on scene depth information
CN115880199A (zh) 一种长波红外高光谱与多光谱图像融合方法、***及介质
Tu et al. Improved color patch similarity measure based weighted median filter
Huang et al. Parametric meta-filter modeling from a single example pair
CN112613574B (zh) 一种图像分类模型的训练方法、图像分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant