CN110176029B - 基于层级稀疏表示的图像复原与匹配一体化方法及*** - Google Patents

基于层级稀疏表示的图像复原与匹配一体化方法及*** Download PDF

Info

Publication number
CN110176029B
CN110176029B CN201910355004.4A CN201910355004A CN110176029B CN 110176029 B CN110176029 B CN 110176029B CN 201910355004 A CN201910355004 A CN 201910355004A CN 110176029 B CN110176029 B CN 110176029B
Authority
CN
China
Prior art keywords
image
sparse
dictionary
matching
sparse coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910355004.4A
Other languages
English (en)
Other versions
CN110176029A (zh
Inventor
桑农
李文豪
高常鑫
邵远杰
彭军才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910355004.4A priority Critical patent/CN110176029B/zh
Publication of CN110176029A publication Critical patent/CN110176029A/zh
Application granted granted Critical
Publication of CN110176029B publication Critical patent/CN110176029B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于层级稀疏表示的图像复原与匹配一体化方法及***，属于计算机视觉领域，包括：利用滑窗法构建原始字典；对原始字典进行聚类操作并利用距离聚类中心最近的一维向量构成一级字典；利用一级字典与查询图像对应的一维向量进行稀疏表示，以得到稀疏系数α1和重建图像x1；将重建图像x1作为模糊图像，并根据稀疏系数α1中非零分量构建二级字典；利用二级字典与模糊图像进行稀疏表示，以得到稀疏系数α2和重建图像x2，并更新更新模糊图像为重建图像x2，重复此步骤直至达到最大迭代次数；获得稀疏系数α2中最大分量对应的图像块作为匹配图像，以获得查询图像在参考图像中的坐标。本发明能够在保证较高的图像匹配精度的同时，提高图像匹配的速度。

Description

基于层级稀疏表示的图像复原与匹配一体化方法及***
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种基于层级稀疏表示的图像复原与匹配一体化方法及***。
背景技术
图像匹配是计算机视觉中的经典问题之一，可广泛地应用于基于视觉的导航***、遥感图像等场景中。所谓图像匹配，是指通过一定的算法从两幅或多幅图像之间识别同名点(同一物理位置处的点在不同图像之间的像点)的过程。例如，给定参考图像和查询图像，通过图像匹配，可以确定出查询图像在参考图像中的坐标。
大部分的图像匹配算法都默认输入的查询图像是处于理想状态的，而在实际应用中，所获取到的查询图像通常情况下是带有现实世界退化的图像，例如，模糊的图像、低分辨率的图像等。因此，在通常情况下，现有的基于理想查询图像的图像匹配算法，匹配精度往往得不到保证。针对这一问题，JRM-DSR(Shao Y,Sang N,Gao C,et al.Joint ImageRestoration and Matching Based on Distance-Weighted Sparse Representation[C]//2018 24th International Conference on Pattern Recognition(ICPR).IEEE,2018:2498-2503.)提出了一种基于距离加权稀疏表达的图像复原与匹配一体化方法，利用退化的查询图像和初始清晰图像对模糊核的约束与梯度算子正则化来估计模糊核，得到模糊核的估计；利用模糊核的估计和字典D对初始清晰图像的约束来估计初始清晰图像，得到清晰图像估计；采用距离加权的稀疏表达算法，得到清晰图像估计在字典集中的稀疏表达系数向量估计；对上述步骤进行A次迭代，得到目标图像和目标图像在参考图像中的初始定位；缩小参考图像的范围后利用上述方法得到目标图像的复原图像和定位结果。
JRM-DSR能够有效解决由于查询图像带有现实退化而带来的匹配精度低的问题，但是，当参考图像的大小比查询图像的大小大很多的时候，由参考图像提取的字典的大小就会变得很大，这就导致用字典矩阵进行稀疏表示的时候，需要进行大量的计算，从而图像匹配的速度很慢。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于层级稀疏表示的图像复原与匹配一体化方法及***，其目的在于，在保证较高的图像匹配精度的同时，提高图像匹配的速度。
为实现上述目的，按照本发明的一个方面，提供了一种基于层级稀疏表示的图像复原与匹配一体化方法，包括：
(1)利用与查询图像大小相等的窗口在参考图像上滑动以提取出多个图像块，并通过扁平化操作得到每一个图像块对应的一维向量后，拼接得到原始字典D；
(2)对原始字典D进行聚类操作以得到多个簇，并利用每个簇中距离聚类中心最近的一维向量构成一级字典D1；
(3)通过扁平化操作得到查询图像对应的一维向量后，利用一级字典D1与该一维向量进行稀疏表示，以得到稀疏系数α1和对应的重建图像x1；
(4)将重建图像x1作为模糊图像，并获得稀疏系数α1中非零分量对应的簇，由簇中的一维向量构成二级字典D2；
(5)利用二级字典D2与模糊图像进行稀疏表示，以得到稀疏系数α2和对应的重建图像x2，并更新模糊图像为重建图像x2；
(6)重复执行步骤(5)直至达到预设的最大迭代次数；
(7)获得稀疏系数α2中最大分量所对应的一维向量，将该一维向量对应的图像块确定为查询图像的匹配图像，从而确定查询图像在参考图像中的坐标。
本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法，一方面，在进行图像匹配的同时会进行图像复原的任务，并且图像匹配任务和图像复原任务相互促进，通过图像复原弥补由于查询图像退化而带来的匹配精度损失，能够有效提高图像匹配精度。另一方面，在图像匹配的过程中，构造了两级字典，即一级字典和二级字典；一级字典中，每一个一维向量代表由多个一维向量构成的簇，因此，一级字典的大小远小于原始字典，利用一级字典与查询图像进行稀疏表示，可以快速获取到与查询图像相匹配的簇，实现粗匹配；二级字典由粗匹配出的簇中的一维向量构成，其大小也远小于原始字典，利用二级字典与粗匹配得到的重建图像进行稀疏表示，能够快速获取到与查询图像相匹配的一维向量，进而获得查询图像在参考图像中的坐标，实现精匹配；总的来说，本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法，利用两个体量远小于原始字典的层级化字典分别进行粗匹配和精匹配，有效减少了计算量，提高了图像匹配的速度。
进一步地，本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法，还包括：迭代终止后，利用二级字典D2和稀疏系数α2获得查询图像的重建图像为x′＝D2·α2，从而完成对查询图像的图像复原；本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法，还可实现图像复原，并且由于图像复原任务和图像匹配任务相互促进，本发明能够提高图像复原的速度。
进一步地，步骤(1)中，窗口在参考图像上滑动的步长为1个像素，以避免因在滑窗过程中遗漏信息而影响匹配精度。
进一步地，步骤(2)中，进行聚类操作所依据的特征为PCA特征；PCA(Principalcomponents analysis，主成分分析)可依据最近重构性与最大可分性，将数据从高维空间映射到低维空间，依据PCA特征而非直接基于像素进行聚类操作，可有效提高图像复原与图像匹配的速度。
作为进一步优选地，步骤(2)中，进行聚类操作所采用的算法为K-means算法。
进一步地，步骤(3)中稀疏表示的方法包括：
根据公式
Figure GDA0002895092000000041
求解稀疏系数α1，作为稀疏系数α1的初始值，并初始化重建图像x1为x1＝D1·α1；
以查询图像的模糊核k′、重建图像x1以及稀疏系数α1为待求解的参数，利用交替优化的方法求解粗匹配的优化表达式，从而得到稀疏系数α1和对应的重建图像x1；交替优化的迭代次数为1；
粗匹配的优化表达式为：
Figure GDA0002895092000000042
其中，y′为查询图像对应的一维向量，η′、λ′、τ′和ρ′为权重系数，w′表示重建图像x1与一级字典D1之间的欧式距离，el表示第l个导数滤子，L为导数滤子总数，s为稀疏分量，|| ||2表示二范数，|| ||1表示一范数，*表示卷积运算，
Figure GDA0002895092000000044
表示内积运算。
进一步地，步骤(5)中稀疏表示的方式包括：
根据公式
Figure GDA0002895092000000043
求解稀疏系数α2，作为稀疏系数α2的初始值，并初始化重建图像x2为x2＝D2·α2；
以模糊图像的模糊核k、重建图像x2以及稀疏系数α2为待求解的参数，利用交替优化的方法求解精匹配的优化表达式，从而得到稀疏系数α2和对应的重建图像x2；
精匹配的优化表达式为：
Figure GDA0002895092000000051
其中，y为模糊图像，η、λ、τ和ρ为权重系数，w表示重建图像x2与二级字典D2之间的欧式距离，el表示第l个导数滤子，L为导数滤子总数，s为稀疏分量，|| ||2表示二范数，|| ||1表示一范数，*表示卷积运算，
Figure GDA0002895092000000052
表示内积运算。
更进一步地，交替优化的方式为：
(S1)固定重建图像x2和稀疏系数α2不变，求解精匹配的优化表达式，以得到优化后的模糊核k；
(S2)固定稀疏系数α2不变，并固定所求解的模糊核k不变，求解精匹配的优化表达式，以得到优化后的重建图像x2；
(S3)固定所求解的模糊核k和重建图像x2不变，求解精匹配的优化表达式，以得到优化后的稀疏系数α2；
(S4)重复执行步骤(S1)～(S3)直至达到指定的优化迭代次数。
按照本发明的另一个方面，提供一种基于层级稀疏表示的图像复原与匹配一体化***，包括：原始字典构建模块、一级字典构建模块、第一稀疏表示模块、二级字典构建模块、第二稀疏表示模块以及图像匹配模块；
原始字典构建模块，用于利用与查询图像大小相等的窗口在参考图像上滑动以提取出多个图像块，并通过扁平化操作得到每一个图像块对应的一维向量后，拼接得到原始字典D；
一级字典构建模块，用于对原始字典D进行聚类操作以得到多个簇，并利用每个簇中距离聚类中心最近的一维向量构成一级字典D1；
第一稀疏表示模块，用于通过扁平化操作得到所述查询图像对应的一维向量后，利用所述一级字典D1与该一维向量进行稀疏表示，以得到稀疏系数α1和对应的重建图像x1；
二级字典构建模块，用于将所述重建图像x1作为模糊图像，并获得所述稀疏系数α1中非零分量对应的簇，由簇中的一维向量构成二级字典D2；
第二稀疏表示模块，用于利用所述二级字典D2与模糊图像进行稀疏表示，以得到稀疏系数α2和对应的重建图像x2，并更新所述模糊图像为重建图像x2；
图像匹配模块，用于获得稀疏系数α2中最大分量所对应的一维向量，将该一维向量对应的图像块确定为查询图像的匹配图像，从而确定查询图像在参考图像中的坐标。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法及***，在进行图像匹配的同时会进行图像复原的任务，并且图像匹配任务和图像复原任务相互促进，通过图像复原弥补由于查询图像退化而带来的匹配精度损失，能够有效提高图像匹配精度；并且，利用两个体量远小于原始字典的层级化字典分别进行粗匹配和精匹配，有效减少了计算量，提高了图像匹配的速度。总的来说，本发明在保证较高的图像匹配精度的同时，有效提高了图像匹配的速度。
(2)本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法及***，还可实现图像复原，并且由于图像复原任务和图像匹配任务相互促进，本发明能够提高图像复原的速度。
(3)本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法及***，基于PCA特征进行聚类操作，能够有效提高图像复原与图像匹配的速度。
附图说明
图1为本发明实施例提供的基于层级稀疏表示的图像复原与匹配一体化方法流程图；
图2为本发明实施例提供的基于层级稀疏表示的图像复原与匹配一体化方法整体示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在详细解释本发明的技术方案之前，先对相关的技术术语进行简要介绍：
稀疏表示：用较少的基本信号的线性组合来表达大部分或者全部的原始信号；其中，这些基本信号被称作原子，是从过完备字典中选出来的；而过完备字典则是由个数超过信号维数的原子聚集而来的；可见，任一信号在不同的原子组下有不同的稀疏表示；假设我们用一个M×N的矩阵表示数据集X，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵是稠密的，即大多数元素不为0；稀疏表示的含义是，寻找一个系数矩阵A(P×N)以及一个字典矩阵B(M×P)，使得B·A尽可能的还原X，且A尽可能的稀疏，即大多数元素为0；A便是X的稀疏表示；
PCA(Principal components analysis，主成分分析)：是最重要的降维方法之一；在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用；PCA是一种线性变换，将数据从高维空间映射到低维空间，依据最近重构性与最大可分性；最近重构性：样本点到这个超平面的距离都足够近，最大可分性：样本点在这个超平面上的投影能尽可能分开；
K-means：K-means是一种经典的聚类算法，聚类算法是通过无监督的学***均值，作为新的中心点；再计算数据与中心点的距离，如此循环，直到C个中心点不再变化或者达到指定的最大迭代次数，停止聚类。
本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法，如图1所示，包括：
(1)利用与查询图像大小相等的窗口在参考图像上滑动以提取出多个图像块，并通过扁平化操作得到每一个图像块对应的一维向量后，拼接得到原始字典D；
在一个可选的实施方式中，通过扁平化操作得到每一个图像块对应的一维向量，具体包括：
对于每一个图像块，分别提取其行向量，然后将所有行向量按照行顺序拼接得到一个新的行向量，将该行向量转置为列向量即得到该图像块所对应的一维向量；
例如，对于一个大小为60×60的图像块，经过扁平化操作之后，所得到的一维向量具体为1×3600的一维向量；
通过滑窗法，所提取的每一个图像块在参考图像中的坐标都是已知的，因此，确定与查询图像相匹配的图像块后，即可获取到查询图像在参考图像中的坐标，从而完成图像匹配；
在本实施例中，窗口在参考图像上滑动的步长为1个像素，以避免因在滑窗过程中遗漏信息而影响匹配精度；
(2)对原始字典D进行聚类操作以得到多个簇，并利用每个簇中距离距离中心最近的一维向量构成一级字典D1；
在一个可选的实施方式中，步骤(2)中，进行聚类操作所依据的特征为PCA特征；PCA(Principal components analysis，主成分分析)可依据最近重构性与最大可分性，将数据从高维空间映射到低维空间，基于PCA特征而非直接基于像素进行聚类操作，可有效提高图像复原与图像匹配的速度；
在本实施例中，为了基于PCA特征进行聚类，步骤(2)中，进行聚类操作时具体采用了K-means算法；
应当理解的是，在步骤(2)中，进行聚类操作的具体方法也可采用其他聚类方法；
聚类操作所得到的每一个簇，实质上包括具有相似特征(PCA算法中具体为PCA特征)的多个一维向量，其中距离聚类中心最近的一维向量，即可用于代表这一类一维向量；
由于一级字典D1中，每一个一维向量代表由多个一维向量构成的簇，因此，一级字典D1的大小远小于原始字典D；
(3)通过扁平化操作得到查询图像对应的一维向量后，利用一级字典D1与该一维向量进行稀疏表示，以得到稀疏系数α1和对应的重建图像x1；
通过扁平化操作得到查询图像对应的一维向量的具体方式，可参考上述步骤(1)中的描述；在本实施例中，最终得到的稀疏系数α1为一维列向量，其中大多数分量为0；
在一个可选的实施方式中，步骤(3)中稀疏表示的方式具体包括：
根据公式
Figure GDA0002895092000000091
求解稀疏系数α1，作为稀疏系数α1的初始值，并初始化重建图像x1为x1＝D1·α1；
以查询图像的模糊核k′、重建图像x1以及稀疏系数α1为待求解的参数，利用交替优化的方法求解粗匹配的优化表达式，从而得到稀疏系数α1和对应的重建图像x1；交替优化的迭代次数为1；
粗匹配的优化表达式为：
Figure GDA0002895092000000101
其中，y′为查询图像对应的一维向量，η′、λ′、τ′和ρ′为权重系数，w′表示重建图像x1与一级字典D1之间的欧式距离，el表示第l个导数滤子，L为导数滤子总数，s为稀疏分量，|| ||2表示二范数，|| ||1表示一范数，*表示卷积运算，
Figure GDA0002895092000000106
表示内积运算，arg表示返回满足最优化的参数；
在上述优化表达式中，第一项
Figure GDA0002895092000000102
为重建约束，第二项
Figure GDA0002895092000000103
表示重建图像x1可表示为字典的线性组合，第三项
Figure GDA0002895092000000107
表示稀疏系数α1的正则项，第四项
Figure GDA0002895092000000104
表示自然图像的稀疏先验，第五项
Figure GDA0002895092000000105
表示正则项；
(4)将重建图像x1作为模糊图像，并获得稀疏系数α1中非零分量对应的簇，由簇中的一维向量构成二级字典D2；
利用稀疏系数α1中非零分量，可从一级字典D1中筛选出多个一维向量，进而可以获得一级字典D1中每一个一维向量所对应的簇；
由于稀疏系数α1中大多数分量为0，因此二级字典D2的大小远小于原始字典D；
(5)利用二级字典D2与模糊图像进行稀疏表示，以得到稀疏系数α2和对应的重建图像x2，并更新模糊图像为重建图像x2；
在本实施例中，最终得到的稀疏系数α2也是一维列向量，其中大多数分量为0；
在一个可选的实施方式中，步骤(5)中稀疏表示的方法包括：
根据公式
Figure GDA0002895092000000111
求解稀疏系数α2，作为稀疏系数α2的初始值，并初始化重建图像x2为x2＝D2·α2；
以模糊图像的模糊核k、重建图像x2以及稀疏系数α2为待求解的参数，利用交替优化的方法求解精匹配的优化表达式，从而得到稀疏系数α2和对应的重建图像x2；
精匹配的优化表达式为：
Figure GDA0002895092000000112
其中，y为模糊图像，η、λ、τ和ρ为权重系数，w表示重建图像x2与二级字典D2之间的欧式距离，el表示第l个导数滤子，L为导数滤子总数，s为稀疏分量，|| ||2表示二范数，|| ||1表示一范数，*表示卷积运算，
Figure GDA0002895092000000117
表示内积运算；
在上述优化表达式中，第一项
Figure GDA0002895092000000113
为重建约束，第二项
Figure GDA0002895092000000114
表示重建图像x可表示为字典的线性组合，第三项
Figure GDA0002895092000000118
表示稀疏系数α2的正则项，第四项
Figure GDA0002895092000000115
表示自然图像的稀疏先验，第五项
Figure GDA0002895092000000116
表示正则项；
其中，交替优化的方式具体为：
(S1)固定重建图像x2和稀疏系数α2不变，求解精匹配的优化表达式，以得到优化后的模糊核k；
(S2)固定稀疏系数α2不变，并固定所求解的模糊核k不变，求解精匹配的优化表达式，以得到优化后的重建图像x2；
(S3)固定所求解的模糊核k和重建图像x2不变，求解精匹配的优化表达式，以得到优化后的稀疏系数α2；
(S4)重复执行步骤(S1)～(S3)直至达到指定的优化迭代次数；
(6)重复执行步骤(5)直至达到预设的最大迭代次数；
最大迭代次数可根据实际的应用场景、查询图像的图像质量或其他影响因素相应设定，以保证满足图像匹配的精度要求；通过多次进行精匹配，可以进一步保证图像匹配的精度；
(7)获得稀疏系数α2中最大分量所对应的一维向量，将该一维向量对应的图像块确定为查询图像的匹配图像，从而确定查询图像在参考图像中的坐标；
利用稀疏系数α2中非零分量，可从二级字典D2中筛选出多个一维向量，这些一维向量所对应的图像块与查询图像具有较高的相似度，其中最大分量所对应的图像块，即为与查询图像最相似的图像块，将其作为匹配图像，可以保证最高的匹配精度。
上述基于层级稀疏表示的图像复原与匹配一体化方法，如图2所示，在进行图像匹配的同时会进行图像复原的任务，具体来说，在每一轮迭代中，会先进行图像复原，得到重建图像，然后利用复原后的图像进行图像匹配；每一轮迭代中，进行图像复原的对象则为上一轮迭代中图像匹配所得到的结果图像；在本发明中，图像匹配任务和图像复原任务相互促进，通过图像复原弥补由于查询图像退化而带来的匹配精度损失，能够有效提高图像匹配精度。
此外，上述基于层级稀疏表示的图像复原与匹配一体化方法，如图2所示，在图像匹配的过程中，构造了两级字典，即一级字典和二级字典；一级字典中，每一个一维向量代表由多个一维向量构成的簇，即每一个一维向量代表参考图像中的多个图像块，因此，一级字典的大小远小于原始字典，利用一级字典与查询图像进行稀疏表示，可以快速获取到与查询图像相匹配的簇，实现粗匹配；二级字典由粗匹配出的簇中的一维向量构成，其大小也远小于原始字典，利用二级字典与粗匹配得到的重建图像进行稀疏表示，能够快速获取到与查询图像相匹配的一维向量，进而获得查询图像在参考图像中的坐标，实现精匹配；总的来说，本发明所提供的基于层级稀疏表示的图像复原与匹配一体化方法，利用两个体量远小于原始字典的层级化字典分别进行粗匹配和精匹配，有效减少了计算量，提高了图像匹配的速度。
为了实现图像复原，上述基于层级稀疏表示的图像复原与匹配一体化方法，还包括：迭代终止后，利用二级字典D2和稀疏系数α2获得查询图像的重建图像为x′＝D2·α2，从而完成对查询图像的图像复原；上述基于层级稀疏表示的图像复原与匹配一体化方法，由于图像复原任务和图像匹配任务相互促进，因此能够在实现图像复原的同时提高图像复原的速度。
按照本发明的另一个方面，提供一种基于层级稀疏表示的图像复原与匹配一体化***，用于实现上述基于层级稀疏表示的图像复原与匹配一体化方法，该***包括：原始字典构建模块、一级字典构建模块、第一稀疏表示模块、二级字典构建模块、第二稀疏表示模块以及图像匹配模块；
原始字典构建模块，用于利用与查询图像大小相等的窗口在参考图像上滑动以提取出多个图像块，并通过扁平化操作得到每一个图像块对应的一维向量后，拼接得到原始字典D；
一级字典构建模块，用于对原始字典D进行聚类操作以得到多个簇，并利用每个簇中距离距离中心最近的一维向量构成一级字典D1；
第一稀疏表示模块，用于通过扁平化操作得到所述查询图像对应的一维向量后，利用所述一级字典D1与该一维向量进行稀疏表示，以得到稀疏系数α1和对应的重建图像x1；
二级字典构建模块，用于将所述重建图像x1作为模糊图像，并获得所述稀疏系数α1中非零分量对应的簇，由簇中的一维向量构成二级字典D2；
第二稀疏表示模块，用于利用所述二级字典D2与模糊图像进行稀疏表示，以得到稀疏系数α2和对应的重建图像x2，并更新所述模糊图像为重建图像x2；
图像匹配模块，用于获得稀疏系数α2中最大分量所对应的一维向量，将该一维向量对应的图像块确定为查询图像的匹配图像，从而确定查询图像在参考图像中的坐标；
在本发明实施例中，各模块的具体实施方式可参考上述方法实施例中的描述，在此将不做复述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，包括：
(1)利用与查询图像大小相等的窗口在参考图像上滑动以提取出多个图像块，并通过扁平化操作得到每一个图像块对应的一维向量后，拼接得到原始字典D；
(2)对所述原始字典D进行聚类操作以得到多个簇，并利用每个簇中距离聚类中心最近的一维向量构成一级字典D1；
(3)通过扁平化操作得到所述查询图像对应的一维向量后，利用所述一级字典D1与该一维向量进行稀疏表示，以得到稀疏系数α1和对应的重建图像x1；
(4)将所述重建图像x1作为模糊图像，并获得所述稀疏系数α1中非零分量对应的簇，由簇中的一维向量构成二级字典D2；
(5)利用所述二级字典D2与模糊图像进行稀疏表示，以得到稀疏系数α2和对应的重建图像x2，并更新所述模糊图像为重建图像x2；
(6)重复执行步骤(5)直至达到预设的最大迭代次数；
(7)获得所述稀疏系数α2中最大分量所对应的一维向量，将该一维向量对应的图像块确定为所述查询图像的匹配图像，从而确定所述查询图像在所述参考图像中的坐标。
2.如权利要求1所述的基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，还包括：迭代终止后，利用所述二级字典D2和所述稀疏系数α2获得所述查询图像的重建图像为x′＝D2·α2，从而完成对所述查询图像的图像复原。
3.如权利要求1或2所述的基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，所述步骤(1)中，窗口在参考图像上滑动的步长为1个像素。
4.如权利要求1或2所述的基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，所述步骤(2)中，进行聚类操作所依据的特征为PCA特征。
5.如权利要求4所述的基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，所述步骤(2)中，进行聚类操作所采用的算法为K-means算法。
6.如权利要求1或2所述的基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，所述步骤(3)中稀疏表示的方法包括：
根据公式
Figure FDA0002895091990000021
求解稀疏系数α1，作为所述稀疏系数α1的初始值，并初始化重建图像x1为x1＝D1·α1；
以查询图像的模糊核k′、重建图像x1以及稀疏系数α1为待求解的参数，利用交替优化的方法求解粗匹配的优化表达式，从而得到稀疏系数α1和对应的重建图像x1；交替优化的迭代次数为1；
粗匹配的优化表达式为：
Figure FDA0002895091990000022
其中，y′为查询图像对应的一维向量，η′、λ′、τ′和ρ′为权重系数，w′表示重建图像x1与一级字典D1之间的欧式距离，el表示第l个导数滤子，L为导数滤子总数，s为稀疏分量，|| ||2表示二范数，|| ||1表示一范数，*表示卷积运算，
Figure FDA0002895091990000023
表示内积运算。
7.如权利要求1或2所述的基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，所述步骤(5)中稀疏表示的方法包括：
根据公式
Figure FDA0002895091990000031
求解稀疏系数α2，作为所述稀疏系数α2的初始值，并初始化重建图像x2为x2＝D2·α2；
以模糊图像的模糊核k、重建图像x2以及稀疏系数α2为待求解的参数，利用交替优化的方法求解精匹配的优化表达式，从而得到稀疏系数α2和对应的重建图像x2；
精匹配的优化表达式为：
Figure FDA0002895091990000032
其中，y为模糊图像，η、λ、τ和ρ为权重系数，w表示重建图像x2与二级字典D2之间的欧式距离，el表示第l个导数滤子，L为导数滤子总数，s为稀疏分量，|| ||2表示二范数，|| ||1表示一范数，*表示卷积运算，
Figure FDA0002895091990000033
表示内积运算。
8.如权利要求7所述的基于层级稀疏表示的图像复原与匹配一体化方法，其特征在于，交替优化的方式为：
(S1)固定重建图像x2和稀疏系数α2不变，求解精匹配的优化表达式，以得到优化后的模糊核k；
(S2)固定稀疏系数α2不变，并固定所求解的模糊核k不变，求解精匹配的优化表达式，以得到优化后的重建图像x2；
(S3)固定所求解的模糊核k和重建图像x2不变，求解精匹配的优化表达式，以得到优化后的稀疏系数α2；
(S4)重复执行步骤(S1)～(S3)直至达到指定的优化迭代次数。
9.一种基于层级稀疏表示的图像复原与匹配一体化***，其特征在于，包括：原始字典构建模块、一级字典构建模块、第一稀疏表示模块、二级字典构建模块、第二稀疏表示模块以及图像匹配模块；
所述原始字典构建模块，用于利用与查询图像大小相等的窗口在参考图像上滑动以提取出多个图像块，并通过扁平化操作得到每一个图像块对应的一维向量后，拼接得到原始字典D；
所述一级字典构建模块，用于对所述原始字典D进行聚类操作以得到多个簇，并利用每个簇中距离聚类中心最近的一维向量构成一级字典D1；
所述第一稀疏表示模块，用于通过扁平化操作得到所述查询图像对应的一维向量后，利用所述一级字典D1与该一维向量进行稀疏表示，以得到稀疏系数α1和对应的重建图像x1；
所述二级字典构建模块，用于将所述重建图像x1作为模糊图像，并获得所述稀疏系数α1中非零分量对应的簇，由簇中的一维向量构成二级字典D2；
所述第二稀疏表示模块，用于利用所述二级字典D2与模糊图像进行稀疏表示，以得到稀疏系数α2和对应的重建图像x2，并更新所述模糊图像为重建图像x2；
所述图像匹配模块，用于获得所述稀疏系数α2中最大分量所对应的一维向量，将该一维向量对应的图像块确定为所述查询图像的匹配图像，从而确定所述查询图像在所述参考图像中的坐标。
CN201910355004.4A 2019-04-29 2019-04-29 基于层级稀疏表示的图像复原与匹配一体化方法及*** Expired - Fee Related CN110176029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910355004.4A CN110176029B (zh) 2019-04-29 2019-04-29 基于层级稀疏表示的图像复原与匹配一体化方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910355004.4A CN110176029B (zh) 2019-04-29 2019-04-29 基于层级稀疏表示的图像复原与匹配一体化方法及***

Publications (2)

Publication Number Publication Date
CN110176029A CN110176029A (zh) 2019-08-27
CN110176029B true CN110176029B (zh) 2021-03-26

Family

ID=67690353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910355004.4A Expired - Fee Related CN110176029B (zh) 2019-04-29 2019-04-29 基于层级稀疏表示的图像复原与匹配一体化方法及***

Country Status (1)

Country Link
CN (1) CN110176029B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046889A (zh) * 2019-12-17 2020-04-21 易见天树科技(北京)有限公司 压制茶信息处理的方法、装置及电子设备
CN113223065B (zh) * 2021-03-30 2023-02-03 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar卫星图像与光学图像自动匹配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354395A (zh) * 2011-09-22 2012-02-15 西北工业大学 基于稀疏表示的模糊图像盲复原方法
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法
WO2018027584A1 (zh) * 2016-08-09 2018-02-15 深圳大学 一种目标属性辅助的压缩感知图像恢复方法及其***
CN108491868A (zh) * 2018-03-12 2018-09-04 广东工业大学 一种基于k-means聚类和字典学习的图像处理方法及装置
CN108520497A (zh) * 2018-03-15 2018-09-11 华中科技大学 基于距离加权稀疏表达先验的图像复原与匹配一体化方法
CN109544477A (zh) * 2018-11-23 2019-03-29 南通大学 基于自适应字典学习稀疏表示的图像去噪算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354395A (zh) * 2011-09-22 2012-02-15 西北工业大学 基于稀疏表示的模糊图像盲复原方法
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法
WO2018027584A1 (zh) * 2016-08-09 2018-02-15 深圳大学 一种目标属性辅助的压缩感知图像恢复方法及其***
CN108491868A (zh) * 2018-03-12 2018-09-04 广东工业大学 一种基于k-means聚类和字典学习的图像处理方法及装置
CN108520497A (zh) * 2018-03-15 2018-09-11 华中科技大学 基于距离加权稀疏表达先验的图像复原与匹配一体化方法
CN109544477A (zh) * 2018-11-23 2019-03-29 南通大学 基于自适应字典学习稀疏表示的图像去噪算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yuefeng Wu.et.Joint Image Restoration and Location in Visual Navigation System.《MIPPR 2017: Automatic Target Recognition and Navigation》.2018,第10608卷第106080A-1-106080A-6页. *
王新蕾.基于邻域学习和稀疏原子聚类字典的图像超分辨率重构算法研究.《中国博士学位论文全文数据库 信息科技辑》.2017,(第2期),第I138-164页. *

Also Published As

Publication number Publication date
CN110176029A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
Batson et al. Noise2self: Blind denoising by self-supervision
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN112001960B (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
US6496184B1 (en) Method for inferring scenes from test images and training data using probability propagation in a markov network
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN113592026B (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN111179187B (zh) 基于循环生成对抗网络的单幅图像去雨方法
CN109636722B (zh) 一种基于稀疏表示的在线字典学习超分辨率重建的方法
CN114091628B (zh) 基于双分支网络的三维点云上采样方法及***
CN110348299B (zh) 三维物体的识别方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
Nie et al. Ghostsr: Learning ghost features for efficient image super-resolution
CN110176029B (zh) 基于层级稀疏表示的图像复原与匹配一体化方法及***
CN108460400A (zh) 一种结合多种特征信息的高光谱图像分类方法
Pons et al. Variational stereovision and 3D scene flow estimation with statistical similarity measures
CN108182694A (zh) 一种基于插值的运动估计与自适应视频重建方法
CN114170311A (zh) 一种双目立体匹配方法
CN116797787A (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN112784747B (zh) 高光谱遥感图像多尺度本征分解方法
Shahdoosti et al. A new compressive sensing based image denoising method using block-matching and sparse representations over learned dictionaries
CN110390336B (zh) 一种提高特征点匹配精度的方法
CN110378167B (zh) 一种基于深度学习的条码图像补正方法
CN108846797B (zh) 基于两种训练集合的图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210326