CN112287995B - 一种基于多层耦合映射的低分辨率图像识别方法 - Google Patents
一种基于多层耦合映射的低分辨率图像识别方法 Download PDFInfo
- Publication number
- CN112287995B CN112287995B CN202011161508.1A CN202011161508A CN112287995B CN 112287995 B CN112287995 B CN 112287995B CN 202011161508 A CN202011161508 A CN 202011161508A CN 112287995 B CN112287995 B CN 112287995B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- layer
- low
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008878 coupling Effects 0.000 title claims abstract description 109
- 238000010168 coupling process Methods 0.000 title claims abstract description 109
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 109
- 238000013507 mapping Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 105
- 239000011159 matrix material Substances 0.000 claims abstract description 78
- 230000006870 function Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 abstract description 6
- 238000013459 approach Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 108
- 238000012549 training Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000002356 single layer Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层耦合映射的低分辨率图像识别方法，包括：获取低分辨率样本图像和多种高分辨率样本图像；基于耦合映射学***下的信息互补。同时，利用核方法通过非线性途径将原始图像变换到核空间中，并在核空间中进行耦合空间的学习。能够更加准确的描述高低分辨率图像之间的关系。此外，还采用了从局部耦合优化到全局优化的结构，特征信息互为补充，增强了方法的泛化性。
Description
技术领域
本发明涉及低分辨率人脸图像处理技术领域，具体涉及一种基于多层耦合映射的低分辨率图像识别方法。
背景技术
实际生活中某些特定场景下如监控，远距离拍摄时可能会出现低分辨率图像的情况，该类图像具有模糊，像素数量少，难以识别等特点，对于这类信息有限的图像直接进行处理和识别是比较困难的。目前，一种通用的方案是利用高分辨率图像丰富的信息来提取相应低分辨率图像的特征，从而实现图像的识别。现有低分辨率人脸图像识别方法主要有以下几种：包括分辨率图像上采样法、中间分辨率特征空间映射法以及高分辨率图像下采样法。
其中，低分辨率图像上采样法又可称为超分辨率(Super－resolution)重建法，其主要思想是将低分辨率的图像上采样，使其与高分辨率图像有相同维数，再在高分辨率图像的特征空间中进行图像的识别。在上述方法用于图像识别时，需要先将低分辨率图像重建成高分辨率图像，然后再利用得到的高分辨率图像进行目标识别。由于超分辨率重建与图像识别的目的并不完全一致，所以这类算法在进行图像目标识别时得到的性能有限，且超分辨率重建的过程需要有多幅不同的待识别图像，或者需要知道图像目标在高、低分辨之间关系的先验信息。
中间分辨率特征空间映射法的主要思路是将不同分辨率图像通过一种维度变换方法来映射到相同的空间中，这样原本不同维度的图像由于变换使得它们具有相同的维度，从而可以实现图像的相似度匹配。这类方法由于对不同分辨率图像进行中间分辨率的维度变换，从而有助于减弱变换过程对于图像特征信息的影响，因此可以实现较好的识别效果，也是目前应用的最为广泛的低分辨率图像识别算法。但这类方法在应用中如果采用了不恰当的中间分辨率，则有可能会使得识别效果变得更差，因此如何找到最佳的中间分辨率就显得极为重要。
高分辨率图像下采样法的基本思想是将高分辨率图像统一下采样到低分辨率图像的特征空间中进行识别。由于下采样至低分辨率空间后，图像信息会有较大的损失，能用于识别的信息是非常有限的。如何利用低分辨率空间中有限的识别信息是一个非常具有挑战性的问题，目前这类方法的研究相对较少。
综上所述，现有低分辨率人脸识别方法主要存在以下几点问题：通过单层的、线性的耦合关系难以准确描述高低分辨率图像之间的关系。
发明内容
有鉴于此，本发明实施例提供了一种基于多层耦合映射的低分辨率图像识别方法，以解决现有采用单层的、线性的耦合关系难以准确描述高低分辨率图像之间的关系的技术问题。
本发明提出的技术方案如下：
本发明实施例第一方面提供一种基于多层耦合映射的低分辨率图像识别方法，该识别方法包括：获取低分辨率样本图像和多种高分辨率样本图像，所述多种高分辨率样本图像包括多种分辨率互不相同的样本图像；基于耦合映射学习方法，学习低分辨率样本图像和多种高分辨率样本图像在所有层中的耦合映射矩阵，所有层的层数和高分辨率样本图像的种类数相同；根据所述耦合映射矩阵确定待识别图像在每一层中的新特征；根据待识别图像在每一层中的新特征以及最近邻法进行待识别图像的分类识别。
可选地，获取低分辨率样本图像和多种高分辨率样本图像，包括：获取低分辨率样本图像和高分辨率样本图像；将所述高分辨率样本图像进行下采样得到包含所述高分辨率样本图像的多种高分辨率样本图像。
可选地，基于耦合映射学习方法，学习低分辨率样本图像和多种高分辨率样本图像在所有层中的耦合映射矩阵，包括：根据低分辨率样本图像和多种高分辨率样本图像的数字矩阵展开得到低分辨率图像矩阵和多种高分辨率图像矩阵；根据所述多种高分辨率图像矩阵计算得到每种高分辨率图像的近邻矩阵；将每种高分辨率图像的近邻矩阵和低分辨率图像矩阵构成耦合映射层，学习计算相应层中的投影矩阵，构成所有层的耦合映射矩阵。
可选地，将每种高分辨率图像的近邻矩阵和低分辨率图像矩阵构成耦合映射层，学习计算相应层中的投影矩阵，构成所有层的耦合映射矩阵，包括：根据每种高分辨率图像的近邻矩阵和低分辨率图像矩阵构造相应层的目标函数；根据核函数求解最小化目标函数，得到相应层的投影矩阵；根据每层的投影矩阵得到所有层的耦合映射矩阵。
可选地，根据待识别图像在每一层中的新特征以及最近邻法进行待识别图像的分类识别，包括：根据待识别图像在每一层中的新特征计算待识别图像对于每一种高分辨率图像的加权距离；将计算得到的所有加权距离进行比较，将待识别图像分为加权距离最小的一种。
可选地，根据待识别图像在每一层中的新特征计算待识别图像对于每一种高分辨率图像的加权距离，包括：根据待识别图像在每一层中的新特征计算待识别图像在每一层中对于每一种高分辨率图像的距离；根据加权系数以及待识别图像在每一层中对于每一种高分辨率图像的距离确定待识别图像对于每一种高分辨率图像的加权距离。
本发明实施例第二方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的基于多层耦合映射的低分辨率图像识别方法。
本发明实施例第三方面一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的基于多层耦合映射的低分辨率图像识别方法。
本发明提供的技术方案，具有如下效果：
本发明实施例提供的基于多层耦合映射的低分辨率图像识别方法，在对低分辨率图像进行识别时，首先，将原始图像特征通过核映射方法映射到更高维的空间中，在高维空间中的这些图像特征的可分性相对原始空间较好，因此，在变换之后的空间中更有利于学习出表达性更好的耦合空间，从而提高分类的正确率。该识别方法根据原始高分辨率训练图像中分离出来的多个不同分辨率级别的图像，和低分辨率图像构造出了多层耦合映射结构，将各层耦合映射相结合，构造出一个全局性的多层耦合映射结构。设计求解耦合映射矩阵的目标函数，通过对训练样本的学习，得到相应的耦合映射变换矩阵，最后将测试样本映射到对应的耦合空间中，通过全局相似性度量实现了目标的分类，
本发明实施例提供的基于多层耦合映射的低分辨率图像识别方法，相对于现有的低分辨率识别方法，根据多层耦合映射模型提出了多级分层结构，由此充分利用了各个不同分辨率级别下的图像信息，实现不同分辨率水平下的信息互补。有效地改善了最优耦合子空间的学习过程的鲁棒性。
本发明实施例提供的基于多层耦合映射的低分辨率图像识别方法，利用核方法通过非线性途径将原始图像变换到能够更好表达图像特征的核空间中，并在核空间中进行耦合空间的学习。能够更加准确的描述高低分辨率图像之间的关系。同时，该识别方法计算待识别图像在不同层中的新特征，融合多层耦合映射关系计算高低分辨率图像之间的相似性度量，通过最近邻法实现低分辨率图像的分类识别，即采用了从局部耦合优化到全局优化的结构，局部整合，每一层的特征信息互为补充，也相互制约，增强了模型本身的泛化性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于多层耦合映射的低分辨率图像识别方法的流程图；
图2是根据本发明另一实施例的基于多层耦合映射的低分辨率图像识别方法的流程图；
图3是根据本发明另一实施例的基于多层耦合映射的低分辨率图像识别方法的流程图；
图4是层数对识别性能影响的实验结果；
图5(a)、图5(b)和图5(c)是本发明实施例提供的基于多层耦合映射的低分辨率图像识别方法在三种人脸数据集下识别精度的关系曲线图；
图6是根据本发明实施例提供的计算机可读存储介质的结构示意图；
图7是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于多层耦合映射的低分辨率图像识别方法，如图1所示，该识别方法包括如下步骤：
步骤S101：获取低分辨率样本图像和多种高分辨率样本图像，多种高分辨率样本图像包括多种分辨率互不相同的样本图像。
在一实施例中，可以从样本库中获取高分辨率图像fi h,i＝1,2,...,N和低分辨率图像fi l,i＝1,2,...,N；对于获取的高分辨率图像可以通过平滑下采样处理，得到多种分辨率互不相同的高分辨率样本图像，例如可以通过平滑和样方差值处理，得到k种分辨率水平的图像fi h(q),i＝1,2,...,N；q＝1,...,k；其中，i表示第i张，q表示第q种高分辨率图像，N表示样本数量，一张高分辨率图像表示为与其相对应的低分辨率图像表示为li，第q种高分辨率图像是指维度为/>的图像，低分辨率图像是指维度为DL的图像。
在一个具体的实施例中，原始获取的高分辨率图像大小为32×28，通过下采样获得另外两种高分辨率图像，其大小分别为20×18和16×14，即该实施例中的高分辨率样本图像共三种(k＝3)，三种高分辨率图像大小分别为32×28、20×18和16×14。获取的低分辨率图像大小为8×7。
步骤S102：基于耦合映射学习方法，学习低分辨率样本图像和多种高分辨率样本图像在所有层中的耦合映射矩阵，所有层的层数和高分辨率样本图像的种类数相同。
在一实施例中，在耦合映射学习方法中，可以先将低分辨率样本图像和多种高分辨率样本图像表示为向量，即根据低分辨率样本图像和多种高分辨率样本图像的数字矩阵展开得到低分辨率图像矩阵和多种高分辨率图像矩阵。
在一个具体的实施例中，对于处理得到的多种高分辨率图像fi h(q),i＝1,2,...,N；q＝1,...,k和低分辨率图像fi l,i＝1,2,...,N，将读取的每张图片的数字矩阵，按列依次连接展开为一个列向量。对于所有的低分辨率图像展开的列向量，可以将其组合成矩阵的形式，即为了加快实验速度，可以对每一个高分辨图像样本向量进行PCA降维，得到降维后的向量为/>对于各种高分辨率下的所有图像展开的列向量，分别组合成矩阵的形式为/>Hq表示第q种高分辨率图像样本矩阵。
在一实施例中，在得到高分辨率图像的样本矩阵后，根据多种高分辨率图像矩阵计算得到每种高分辨率图像的近邻矩阵，即构造多个反映高分辨率图像样本邻域信息的矩阵Gq,q＝1,...k。
在一具体实施例中，在构造近邻矩阵时，预先设定所需的参数，包括：近邻矩阵的近邻样本数量N(i)，相似性度量权重参数λk，近邻矩阵参数σ。对于多组高分辨率图像样本矩阵Hq,q＝1,...,k，可以计算出每一组高分辨率图像的近邻矩阵Gq,q＝1,...k，该近邻矩阵Gq第i行第j列的元素[Gq]ij的计算过程由公式(1)表示：
在一实施例中，在确定高分辨率样本图像的近邻矩阵后，将每种高分辨率样本图像的近邻矩阵和低分辨率图像矩阵构成耦合映射层，学习计算相应层中的投影矩阵，构成所有层的耦合映射矩阵。例如，可以先通过一种高分辨率图像矩阵Hq和低分辨率图像矩阵L构成第q层耦合映射层，学习第q层在非线性途径下的投影矩阵Pq，之后根据对第q层耦合映射层中的映射矩阵Pq的学习过程，利用k中不同的高分辨率样本图像学习出所有层的耦合映射矩阵。
在一具体实施例中，如图2所示，学习第q层在非线性途径下的投影矩阵Pq可以包括以下步骤：
步骤S201：根据高分辨率图像的近邻矩阵Gq和低分辨率图像矩阵L构造第q层的目标函数；具体可以根据公式(2)由第q层的高分辨率图像样本矩阵Hq、高分辨率图像的近邻矩阵Gq和低分辨率图像样本矩阵L，构造目标函数
其中是低分辨率图像的非线性映射函数，/>是高分辨率图像的非线性映射函数。
步骤S202：根据核函数求解最小化目标函数，得到第q层的投影矩阵。
一般地，非线性映射函数和/>是未知的。可以利用核方法，通过核函数来度量映射后样本之间的内积。本发明实施例中核函数选择为多项式核函数。对公式(2)式进行变形可以得到：
对公式(3)进一步变形可以得到公式(4)：
其中同时令Pq、Zq、Mq分别满足公式(5)、公式(6)和公式(7)：
则可以得到公式(8)：
令Pq＝ZqUq，公式(8)可以化简为公式(9)：
Jq(Uq)＝Tr(Uq TZq TZqMqZq TZqUq) 公式(9)
令 目标函数公式(9)转换为公式(10)：
Jq(Uq)＝Tr(Uq TXqMqXq TUq) 公式(10)
因此，该问题转化为的最优化问题，等价于求解公式(11)
令Aq＝XqMqXq T,Bq＝XqXq T，则该问题转化为特征值求解问题，形式如公式(12)表示：
Aqμ＝λBqμ 公式(12)
在求解的过程中，为方便求解可以令通过求解广义特征值问题公式(12)，保留其前t个最小的特征值所对应的特征向量ui构成矩阵/>可以由公式(13)表示：
因此，求解得到的第q层的投影矩阵可以由公式(14)表示：
步骤S203：根据第q层的投影矩阵得到所有层的耦合映射矩阵。在求解得到第q层的投影矩阵后，可以利用步骤S203中第q层耦合映射层中的映射矩阵Pq的学习过程，利用k中不同的高分辨率样本图像学习出所有层的耦合映射矩阵。
步骤S103：根据耦合映射矩阵确定待识别图像在每一层中的新特征。具体可以根据获得的每一层的耦合映射矩阵和/>计算样本在不同层中的新特征。根据公式(14)可知，每一层的耦合映射矩阵为：/>于是对于待识别的低分辨率图像样本l，其在第q层的新特征/>由公式(15)表示：
该层中高分辨率图像样本的新特征/>为：
其中KL(·,·)和KH(·,·)分别是作用于低分辨率图像和高分辨率图像样本上的核函数。
步骤S104：根据待识别图像在每一层中的新特征以及最近邻法进行待识别图像的分类识别。具体地，可以利用新特征，融合多层耦合映射关系计算高低分辨率之间的相似性度量，通过最近邻法实现低分辨率图像的分类识别。
在一实施例中，对于待识别的低分辨率图像样本l在第q层的新特征可以计算其在第q层中与第j类样本中心的距离，由公式(17)表示：
其中，表示为第q层中第j类高分辨率样本图像的中心，/>可以表示为
之后融合多层耦合映射关系，则待识别低分辨率图像样本l对于第j类样本的加权距离度量由公式(18)表示：
其中λq为加权系数，且∑qλq＝1。最终可以通过对比待识别低分辨率样本图像与每一类高分辨率样本图像的加权距离，将待识别低分辨率图像样本判为和其加权距离最小的一类高分辨率样本图像，实现待识别图像或待识别人脸图像的识别。
本发明实施例提供的基于多层耦合映射的低分辨率图像识别方法，在对低分辨率图像进行识别时，首先，将原始图像特征通过核映射方法映射到更高维的空间中，在高维空间中的这些图像特征的可分性相对原始空间较好，因此，在变换之后的空间中更有利于学习出表达性更好的耦合空间，从而提高分类的正确率。该识别方法根据原始高分辨率训练图像中分离出来的多个不同分辨率级别的图像，和低分辨率图像构造出了多层耦合映射结构，将各层耦合映射相结合，构造出一个全局性的多层耦合映射结构。设计求解耦合映射矩阵的目标函数，通过对训练样本的学习，得到相应的耦合映射变换矩阵，最后将测试样本映射到对应的耦合空间中，通过全局相似性度量实现了目标的分类，
本发明实施例提供的基于多层耦合映射的低分辨率图像识别方法，相对于现有的低分辨率人脸识别方法，根据多层耦合映射模型提出了多级分层结构，由此充分利用了各个不同分辨率级别下的图像信息，实现不同分辨率水平下的信息互补。有效地改善了最优耦合子空间的学习过程的鲁棒性。
本发明实施例提供的基于多层耦合映射的低分辨率图像识别方法，利用核方法通过非线性途径将原始图像变换到能够更好表达图像特征的核空间中，并在核空间中进行耦合空间的学习。能够更加准确的描述高低分辨率图像之间的关系。同时，该识别方法计算待识别图像在不同层中的新特征，融合多层耦合映射关系计算高低分辨率图像之间的相似性度量，通过最近邻法实现低分辨率图像的分别识别，即采用了从局部耦合优化到全局优化的结构，局部整合，每一层的特征信息互为补充，也相互制约，增强了模型本身的泛化性。
在一实施例中，如图3所示，该基于多层耦合映射的低分辨率图像识别方法，可以分为训练阶段和测试阶段，在训练阶段中，可以先获取训练图像如低分辨率样本图像和高分辨率样本图像，将训练图像进行核变换后进行多层耦合映射训练，得到所有层的耦合映射矩阵。在测试阶段中，获取待识别图像和训练阶段得到的耦合映射矩阵，学习得到待识别图像在每一层的新特征，再根据新特征在相应层与某一类高分辨率样本图像的距离，实现局部相似性度量，之后融合多层耦合映射关系，计算加权距离度量，实现全局相似性度量，最终得到待识别图像的类别输出。
在一实施例中，当采用基于耦合映射的方法时，需要用到高分辨率和低分辨率样本图像，这两种图像之间的分辨率水平通常会有较大的差异。在单层的结构中，可能会因为高低分辨率图像之间维度差异过大，而导致很难准确学***之间的“亚”高分辨率样本图像，从而缩小分辨率水平差异过大而导致难以学习准确的公共特征子空间问题。同时，融合由多种高低分辨率图像学习的多种公共特征子空间中的信息，可以实现不同分辨率图像下的信息互补。如图4所示，给出了单层结构，双层结构和多层结构方法在不同的数据集下的识别性能结果。从实验结果可以观察到，多层结构的方法能够获得更好的识别性能。
一般而言，多层结构中，每一层学习到的特征子空间维度都是不同的，因此无法直接比较每一层获得的样本的新特征。本发明实施例中的方法是从融合每层特征子空间中的距离度量，获得融合多层耦合特征子空间信息的整体距离度量方法，从而利用到多种公共特征子空间中的信息来完成识别过程。
本发明实施例提供基于多层耦合映射的低分辨率图像识别方法，是将样本通过非线性映射投影到一个线性可分的高维空间中，在此高维空间中再利用线性方法进行处理和分析，能够使得提出的方法更加适合现实数据的分析和处理。同时，该识别方法利用不同高分辨率样本图像，能够降低高低分辨率图像之间分辨率差异过大而导致的公共特征子空间学习不准确问题。同时多层结构能够实现不同高分辨图像之间的信息互补。
如图5(a)、图5(b)和图5(c)所示，给出了采用本发明实施例提供的识别方法(proposed)以及采用LGCM方法和DLCLPM方法进行识别时在不同人脸数据集上(FERET人脸数据库、YALE人脸数据库、CMU人脸数据库)的识别率。从图中可以看出，不论采用哪种人脸数据集，本发明实施例提供的识别方法的识别率均高于另外两种识别方法的识别率，由此可见，采用本发明实施例提供的识别方法可以提高低分辨率人脸图像的识别率。
本发明实施例还提供一种存储介质，如图6所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中基于多层耦合映射的低分辨率图像识别方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图7中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于多层耦合映射的低分辨率图像识别方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－2所示实施例中的基于多层耦合映射的低分辨率图像识别方法。
上述电子设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种基于多层耦合映射的低分辨率图像识别方法，其特征在于，包括：
获取低分辨率样本图像和多种高分辨率样本图像，所述多种高分辨率样本图像包括多种分辨率互不相同的样本图像；
基于耦合映射学习方法，学习低分辨率样本图像和多种高分辨率样本图像在所有层中的耦合映射矩阵，所有层的层数和高分辨率样本图像的种类数相同；
根据所述耦合映射矩阵确定待识别图像在每一层中的新特征；
根据待识别图像在每一层中的新特征以及最近邻法进行待识别图像的分类识别；
根据所述耦合映射矩阵确定待识别图像在每一层中的新特征，包括：
根据获得的每一层的耦合映射矩阵和/>计算样本在不同层中的新特征，其中，每一层的耦合映射矩阵为：/>对于待识别的低分辨率图像样本l，其在第q层的新特征/>由如下公式表示：
该层中高分辨率图像样本的新特征/>为：
其中，是低分辨率图像的非线性映射函数，/>是高分辨率图像的非线性映射函数，/>表示一张高分辨率图像，li表示对应的低分辨率图像，L表示低分辨率图像样本矩阵，KL(·,·)和KH(·,·)分别是作用于低分辨率图像和高分辨率图像样本上的核函数；
根据待识别图像在每一层中的新特征以及最近邻法进行待识别图像的分类识别，包括：
利用新特征，融合多层耦合映射关系计算高低分辨率之间的相似性度量，通过最近邻法实现低分辨率图像的分类识别，其中，对于待识别的低分辨率图像样本l在第q层的新特征计算其在第q层中与第j类样本中心的距离，由如下公式表示：
其中，表示为第q层中第j类高分辨率样本图像的中心，/>表示为
之后融合多层耦合映射关系，则待识别低分辨率图像样本l对于第j类样本的加权距离度量由如下公式表示：
其中λq为加权系数，且∑qλq＝1，最终通过对比待识别低分辨率样本图像与每一类高分辨率样本图像的加权距离，将待识别低分辨率图像样本判为和其加权距离最小的一类高分辨率样本图像，实现待识别图像的识别。
2.根据权利要求1所述的基于多层耦合映射的低分辨率图像识别方法，其特征在于，获取低分辨率样本图像和多种高分辨率样本图像，包括：
获取低分辨率样本图像和高分辨率样本图像；
将所述高分辨率样本图像进行下采样得到包含所述高分辨率样本图像的多种高分辨率样本图像。
3.根据权利要求1所述的基于多层耦合映射的低分辨率图像识别方法，其特征在于，基于耦合映射学习方法，学习低分辨率样本图像和多种高分辨率样本图像在所有层中的耦合映射矩阵，包括：
根据低分辨率样本图像和多种高分辨率样本图像的数字矩阵展开得到低分辨率图像矩阵和多种高分辨率图像矩阵；
根据所述多种高分辨率图像矩阵计算得到每种高分辨率图像的近邻矩阵；
将每种高分辨率图像的近邻矩阵和低分辨率图像矩阵构成耦合映射层，学习计算相应层中的投影矩阵，构成所有层的耦合映射矩阵。
4.根据权利要求3所述的基于多层耦合映射的低分辨率图像识别方法，其特征在于，将每种高分辨率图像的近邻矩阵和低分辨率图像矩阵构成耦合映射层，学习计算相应层中的投影矩阵，构成所有层的耦合映射矩阵，包括：
根据每种高分辨率图像的近邻矩阵和低分辨率图像矩阵构造相应层的目标函数；
根据核函数求解最小化目标函数，得到相应层的投影矩阵；
根据每层的投影矩阵得到所有层的耦合映射矩阵。
5.根据权利要求1所述的基于多层耦合映射的低分辨率图像识别方法，其特征在于，根据待识别图像在每一层中的新特征以及最近邻法进行待识别图像的分类识别，包括：
根据待识别图像在每一层中的新特征计算待识别图像对于每一种高分辨率图像的加权距离；
将计算得到的所有加权距离进行比较，将待识别图像分为加权距离最小的一种。
6.根据权利要求5所述的基于多层耦合映射的低分辨率图像识别方法，其特征在于，根据待识别图像在每一层中的新特征计算待识别图像对于每一种高分辨率图像的加权距离，包括：
根据待识别图像在每一层中的新特征计算待识别图像在每一层中对于每一种高分辨率图像的距离；
根据加权系数以及待识别图像在每一层中对于每一种高分辨率图像的距离确定待识别图像对于每一种高分辨率图像的加权距离。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－6任一项所述的基于多层耦合映射的低分辨率图像识别方法。
8.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－6任一项所述的基于多层耦合映射的低分辨率图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161508.1A CN112287995B (zh) | 2020-10-26 | 2020-10-26 | 一种基于多层耦合映射的低分辨率图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161508.1A CN112287995B (zh) | 2020-10-26 | 2020-10-26 | 一种基于多层耦合映射的低分辨率图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287995A CN112287995A (zh) | 2021-01-29 |
| CN112287995B true CN112287995B (zh) | 2023-08-15 |
Family
ID=74372542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011161508.1A Active CN112287995B (zh) | 2020-10-26 | 2020-10-26 | 一种基于多层耦合映射的低分辨率图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287995B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188820B (zh) * | 2023-01-12 | 2023-10-13 | 中国兵器装备集团自动化研究所有限公司 | 一种视觉目标处理方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489446A (zh) * | 2013-10-10 | 2014-01-01 | 福州大学 | 复杂环境下基于自适应能量检测的鸟鸣识别方法 |
| CN103761723A (zh) * | 2014-01-22 | 2014-04-30 | 西安电子科技大学 | 基于多层支持向量回归机模型的图像超分辨重建方法 |
| CN104616243A (zh) * | 2015-01-20 | 2015-05-13 | 北京大学 | 一种高效的gpu三维视频融合绘制方法 |
| CN105787462A (zh) * | 2016-03-16 | 2016-07-20 | 武汉工程大学 | 基于半耦合判决性字典学习的极低分辨率人脸识别方法及*** |
| CN110796022A (zh) * | 2019-10-09 | 2020-02-14 | 西安工程大学 | 一种基于多流形耦合映射的低分辨人脸识别方法 |
| CN111695455A (zh) * | 2020-05-28 | 2020-09-22 | 西安工程大学 | 一种基于耦合判别流形对齐的低分辨人脸识别方法 |
-
2020
- 2020-10-26 CN CN202011161508.1A patent/CN112287995B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489446A (zh) * | 2013-10-10 | 2014-01-01 | 福州大学 | 复杂环境下基于自适应能量检测的鸟鸣识别方法 |
| CN103761723A (zh) * | 2014-01-22 | 2014-04-30 | 西安电子科技大学 | 基于多层支持向量回归机模型的图像超分辨重建方法 |
| CN104616243A (zh) * | 2015-01-20 | 2015-05-13 | 北京大学 | 一种高效的gpu三维视频融合绘制方法 |
| CN105787462A (zh) * | 2016-03-16 | 2016-07-20 | 武汉工程大学 | 基于半耦合判决性字典学习的极低分辨率人脸识别方法及*** |
| CN110796022A (zh) * | 2019-10-09 | 2020-02-14 | 西安工程大学 | 一种基于多流形耦合映射的低分辨人脸识别方法 |
| CN111695455A (zh) * | 2020-05-28 | 2020-09-22 | 西安工程大学 | 一种基于耦合判别流形对齐的低分辨人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287995A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Survey of single image super‐resolution reconstruction | |
| Ha et al. | Deep learning based single image super-resolution: A survey | |
| KR102197297B1 (ko) | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 | |
| Sameen et al. | Classification of very high resolution aerial photos using spectral‐spatial convolutional neural networks | |
| WO2023138300A1 (zh) | 目标检测方法及应用其的移动目标跟踪方法 | |
| CN112541904B (zh) | 一种无监督遥感图像变化检测方法、存储介质及计算设备 | |
| CN106845341B (zh) | 一种基于虚拟号牌的无牌车辆识别方法 | |
| CN109886330B (zh) | 文本检测方法、装置、计算机可读存储介质和计算机设备 | |
| CN113468978B (zh) | 基于深度学习的细粒度车身颜色分类方法、装置和设备 | |
| CN113901900A (zh) | 一种同源或异源遥感图像用无监督变化检测方法及*** | |
| Olmschenk et al. | Improving dense crowd counting convolutional neural networks using inverse k-nearest neighbor maps and multiscale upsampling | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN114926693A (zh) | 基于加权距离的sar图像小样本识别方法及装置 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN112287995B (zh) | 一种基于多层耦合映射的低分辨率图像识别方法 | |
| CN116665153A (zh) | 一种基于改进型Deeplabv3+网络模型的道路场景分割方法 | |
| CN116363037A (zh) | 一种多模态图像融合方法、装置及设备 | |
| CN115439718A (zh) | 一种结合监督学习和特征匹配技术的工业检测方法、***、存储介质 | |
| CN114998610A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| Varghese et al. | Unpaired image-to-image translation of structural damage | |
| CN114299358A (zh) | 图像质量评估方法、装置、电子设备及机器可读存储介质 | |
| WO2022087778A1 (zh) | 一种基于多层耦合映射的低分辨率图像识别方法 | |
| Ahmadian et al. | Single image super-resolution with self-organization neural networks and image laplace gradient operator | |
| CN113139540B (zh) | 背板检测方法及设备 | |
| Shen et al. | Graph-Represented Distribution Similarity Index for Full-Reference Image Quality Assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |