CN111611962A - 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法 - Google Patents
基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法 Download PDFInfo
- Publication number
- CN111611962A CN111611962A CN202010473054.5A CN202010473054A CN111611962A CN 111611962 A CN111611962 A CN 111611962A CN 202010473054 A CN202010473054 A CN 202010473054A CN 111611962 A CN111611962 A CN 111611962A
- Authority
- CN
- China
- Prior art keywords
- resolution
- fractional order
- fmpls
- matrix
- principal component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 230000001427 coherent effect Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法,步骤1在训练阶段利用训练集学习不同分辨率视图之间的相关关系,使用PCA对图像降维,利用分数阶思想重新估计组内及组间协方差矩阵,并计算FMPLS投影矩阵,将主成分特征投影到FMPLS的一致相干子空间;步骤2在测试阶段,提取输入的多种低分辨率图像的主成分特征,并投影到相应的FMPLS子空间,通过邻域重建策略重建出输入的低分辨率图像的高分辨率特征;步骤3最后利用最近邻分类器进行人脸识别。本发明利用分数阶多集偏最小二乘,可以同时学习不同分辨率人脸视图之间的多种特定分辨率的映射,同时借助分数阶思想,重新估计协方差矩阵,以减少由样本数量不足、噪声等因素带来的影响。
Description
技术领域
本发明涉及人脸超分辨率识别领域,特别涉及一种基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法。
背景技术
在现实世界应用中,尤其是视频监控领域,由于光照条件差、成像距离较远姿态变化等因素,设备捕获到的人脸图像通常都是低分辨率的,这对传统的人脸识别算法来说是一大难题。为了解决这一问题,近些年来许多人脸超分辨率重建方法被提出,旨在将输入的低分辨率人脸图像恢复成高分辨率图像。
多元分析方法常被运用于超分辨率重建以进行特征提取,其中较为流行的是主成分分析(Principal Component Analysis,PCA),特征提取步骤通常用来对数据降维并减少噪声。PCA通过保留合适的维度以提取人脸的有用信息并过滤噪声,Wang等人提出一个通过PCA得到图像线性组合系数来生成高分辨率人脸的框架。
超分辨率方法可大致分为三类:基于插值的、基于重建的以及基于学习的方法,其中基于学习的方法旨在从训练集中学习高低分辨率图像之间的映射关系。近年来,将深度学习应用于人脸超分辨率技术取得了较大的成功。但是,基于深度学习的方法通常需要大量的训练数据以学习最优的参数,并且尽管硬件性能大幅提升,深度网络的学习过程仍然需要耗费大量时间,因此传统的超分辨率方法仍然有较大的研究价值。
在现实生活中,人们通常需要面对同一人脸具有多种不同分辨率视图的情况。对于多种不同的低分辨率视图,先前的方法通常需要分别训练和处理每一种分辨率视图,这种处理方式十分耗时且效率低下。换句话说,现有的经典方法很难将多个低分辨率视图同时映射到高分辨率人脸空间,迄今为止,共同学习多种视图之间关系还没有得到广泛关注;此外,由于训练样本不足或噪声等因素的影响,协方差矩阵可能会存在偏差。
发明内容
本发明的目的是克服现有技术缺陷,提供一种基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法,解决了现有技术中无法同时学习多种分辨率视图之间相关关系且协方差矩阵可能存在偏差的问题。
本发明的目的是这样实现的:一种基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法,包括以下步骤:
步骤1在训练阶段利用训练集学习不同分辨率视图之间的相关关系,使用PCA对图像降维,利用分数阶思想重新估计组内及组间协方差矩阵,计算FMPLS投影矩阵,将主成分特征投影到FMPLS的一致相干子空间;
步骤2在测试阶段,提取输入的多种低分辨率图像的主成分特征,并投影到相应的FMPLS子空间,通过邻域重建策略重建出输入的低分辨率图像的高分辨率特征;
步骤3最后利用最近邻分类器预测人脸标签,输出超分辨率人脸识别结果。
作为本发明的进一步限定,所述步骤1具体包括以下步骤:
(2)对于利用分数阶重新估计协方差矩阵,使用特征值分解分解组内协方差矩阵并用分数阶参数αi为指数进行重新估计:
其中Qi为组内协方差Sii的特征向量组成的矩阵,是以分数阶参数αi为指数的特征值对角矩阵,ri=rank(Sii)且分数阶参数αi满足0≤αi≤1;使用奇异值分解分解组间协方差矩阵并用分数阶参数βij重新估计:
(4)对于训练集中的原始高分辨率图像集和它对应的m个低分辨率视图的图像集其中d0为高分辨率人脸图像列向量的维度,每个视图的样本数量为n个,其中所有的低分辨率视图都利用双三次插值算法上采样到了和高分辨率视图同样的尺寸;
作为本发明的进一步限定,所述步骤2具体包括以下步骤:
与现有技术相比,本发明的有益效果在于:本发明先抽取多视图人脸图像的主成分特征,再利用分数阶多集偏最小二乘重新估计组内及组间协方差矩阵并计算投影方向,提取潜在相干特征,通过邻域重建恢复输入图像的高分辨率特征,最后利用最近邻分类器预测人脸标签,输出超分辨率人脸识别结果,利用分数阶多集偏最小二乘,同时学习不同分辨率人脸视图之间的多种特定分辨率的映射;解决了低分辨率人脸图像因信息不足、姿态变化、光照影响等因素而给人脸识别带来的困难,以及传统人脸超分辨率算法无法同时处理多种分辨率人脸图像输入的问题,本发明利用分数阶思想重新估计组内及组间协方差矩阵以减少训练样本不足或噪声等因素带来的影响,在多视图场景下能够有效提升处理效率以及人脸识别率,并在训练样本较少的场景下更为稳定。
附图说明
图1是本发明的实现流程图。
具体实施方式
如图1所示的一种基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法,包括以下步骤:
步骤1在训练阶段利用训练集学习不同分辨率视图之间的相关关系,使用PCA对图像降维,利用分数阶思想重新估计组内及组间协方差矩阵,计算FMPLS投影矩阵,将主成分特征投影到FMPLS的一致相干子空间;
(2)对于利用分数阶重新估计协方差矩阵,使用特征值分解分解组内协方差矩阵并用分数阶参数αi为指数进行重新估计:
其中Qi为组内协方差Sii的特征向量组成的矩阵,是以分数阶参数αi为指数的特征值对角矩阵,ri=rank(Sii)且分数阶参数αi满足0≤αi≤1;使用奇异值分解分解组间协方差矩阵并用分数阶参数βij重新估计:
(4)对于训练集中的原始高分辨率图像集和它对应的m个低分辨率视图的图像集其中d0为高分辨率人脸图像列向量的维度,每个视图的样本数量为n个,其中所有的低分辨率视图都利用双三次插值算法上采样到了和高分辨率视图同样的尺寸;
步骤2在测试阶段,提取输入的多种低分辨率图像的主成分特征,并投影到相应的FMPLS子空间,通过邻域重建策略重建出输入的低分辨率图像的高分辨率特征;
步骤3利用最近邻分类器预测人脸标签,输出超分辨率人脸识别结果。
为了测试本发明的有效性,分别在CMU PIE人脸数据库以及AT&T人脸数据库与其他六种方法进行对比测试。CMU PIE数据库包含68个不同人的人脸图像,每人24张,包含不同视角、光线条件、角度等,选择每人的偶数张人脸图像作为训练,剩下的作为测试。高分辨率人脸图像大小为64×64,下采样倍数分别为2倍、4倍以及8倍,其分辨率分别为32×32、16×16以及8×8。AT&T人脸数据库包含40个人的人脸图像,每人10张,分别选择每人的前Ntrain张人脸作为训练集进行实验(Ntrain分别为7、5、3),每次实验剩下的人脸作为测试。原始高分辨率为112×92,下采样倍数为2倍、4倍以及8倍,对应低分辨率为56×46、28×23以及14×12。
实验1基于CMU PIE人脸数据库的超分辨率识别对比实验
在本实验中,本发明的邻域大小设置为40,保留95维FMPLS特征,同时分数阶参数α和β分别为0.4和0.8。所得人脸识别对比结果如表1所示,可以看出本发明在每种分辨率视图下都取得了最高的人脸识别率。
表1七种方法在CMU PIE人脸数据库上不同缩放倍数的人脸识别率(%)
倍数 | 本发明 | CLLR-SR | SRDCCA | LINE | VDSR | TLcR | Bic-PCA |
2× | 95.96 | 93.63 | 94.73 | 95.71 | 95.71 | 95.71 | 87.50 |
4× | 96.20 | 94.12 | 94.24 | 95.59 | 94.49 | 95.83 | 85.42 |
8× | 95.22 | 93.75 | 92.52 | 91.30 | 86.15 | 93.26 | 74.88 |
实验2基于AT&T人脸数据库的超分辨率识别对比实验
在本实验中,本发明的邻域大小设置为50,保留75维FMPLS特征,当使用每人前7张图片训练时,分数阶参数α=0.2,β=1;当使用每人前5张图片训练时,α=0.4,β=1;当使用每人前3张图片训练时,α=0.2,β=0.8。表2记录了七种方法在AT&T人脸数据库上不同缩放倍数以及不同训练样本数量情况下的人脸识别率。从表格中可以看出本发明的人脸识别率在三种不同训练样本情况下以及不同缩放倍数下都优于对比方法。
表2七种方法在AT&T人脸数据库上不同缩放倍数以及不同训练样本数下的人脸识别率(%)
综上所述,本发明提出了一种基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法,本发明利用分数阶多集偏最小二乘,可以同时学习不同分辨率人脸视图之间的多种特定分辨率的映射,同时借助分数阶思想,重新估计协方差矩阵,以减少由样本数量不足、噪声等因素带来的影响,实验结果表明,本发明的识别效果在多视图情况下表现较为出色,同时在训练样本减少的场景下更为稳定。
本发明并不局限于上述实施例,在本发明公开的技术方案的基础上,本领域的技术人员根据所公开的技术内容,不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形,这些替换和变形均在本发明的保护范围内。
Claims (3)
1.一种基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法,其特征在于,包括以下步骤:
步骤1在训练阶段利用训练集学习不同分辨率视图之间的相关关系,使用PCA对图像降维,利用分数阶思想重新估计组内及组间协方差矩阵,计算FMPLS投影矩阵,将主成分特征投影到FMPLS的一致相干子空间;
步骤2在测试阶段,提取输入的多种低分辨率图像的主成分特征,并投影到相应的FMPLS子空间,通过邻域重建策略重建出输入的低分辨率图像的高分辨率特征;
步骤3最后利用最近邻分类器预测人脸标签,输出超分辨率人脸识别结果。
2.根据权利要求1所述的基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法,其特征在于,所述步骤1具体包括以下步骤:
(2)对于利用分数阶重新估计协方差矩阵,使用特征值分解分解组内协方差矩阵并用分数阶参数αi为指数进行重新估计:
其中Qi为组内协方差Sii的特征向量组成的矩阵,是以分数阶参数αi为指数的特征值对角矩阵,ri=rank(Sii)且分数阶参数αi满足0≤αi≤1;使用奇异值分解分解组间协方差矩阵并用分数阶参数βij重新估计:
(4)对于训练集中的原始高分辨率图像集和它对应的m个低分辨率视图的图像集其中d0为高分辨率人脸图像列向量的维度,每个视图的样本数量为n个,其中所有的低分辨率视图都利用双三次插值算法上采样到了和高分辨率视图同样的尺寸;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010473054.5A CN111611962A (zh) | 2020-05-29 | 2020-05-29 | 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010473054.5A CN111611962A (zh) | 2020-05-29 | 2020-05-29 | 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111611962A true CN111611962A (zh) | 2020-09-01 |
Family
ID=72196511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010473054.5A Pending CN111611962A (zh) | 2020-05-29 | 2020-05-29 | 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111611962A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537086A (zh) * | 2021-07-20 | 2021-10-22 | 科大讯飞股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN113887509A (zh) * | 2021-10-25 | 2022-01-04 | 济南大学 | 一种基于图像集合的快速多模态视频人脸识别方法 |
CN115205941A (zh) * | 2022-07-13 | 2022-10-18 | 山西大学 | 基于广义多视图图嵌入的亲属关系验证方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697197A (zh) * | 2009-10-20 | 2010-04-21 | 西安交通大学 | 一种基于典型相关分析空间超分辨率的人脸识别方法 |
CN106096547A (zh) * | 2016-06-11 | 2016-11-09 | 北京工业大学 | 一种面向识别的低分辨率人脸图像特征超分辨率重建方法 |
-
2020
- 2020-05-29 CN CN202010473054.5A patent/CN111611962A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697197A (zh) * | 2009-10-20 | 2010-04-21 | 西安交通大学 | 一种基于典型相关分析空间超分辨率的人脸识别方法 |
CN106096547A (zh) * | 2016-06-11 | 2016-11-09 | 北京工业大学 | 一种面向识别的低分辨率人脸图像特征超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
YUN-HAO YUAN 等: ""Fractional-order embedding multiset canonical correlations with applications to multi-feature fusion and recognition"" * |
YUN-HAO YUAN 等: ""Learning Simultaneous Face Super-Resolution Using Multiset Partial Least Squares"" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537086A (zh) * | 2021-07-20 | 2021-10-22 | 科大讯飞股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN113887509A (zh) * | 2021-10-25 | 2022-01-04 | 济南大学 | 一种基于图像集合的快速多模态视频人脸识别方法 |
CN113887509B (zh) * | 2021-10-25 | 2022-06-03 | 济南大学 | 一种基于图像集合的快速多模态视频人脸识别方法 |
CN115205941A (zh) * | 2022-07-13 | 2022-10-18 | 山西大学 | 基于广义多视图图嵌入的亲属关系验证方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN111611962A (zh) | 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法 | |
CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
CN104077742B (zh) | 基于Gabor特征的人脸素描合成方法及*** | |
CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
CN113379597A (zh) | 人脸超分辨率重构方法 | |
CN112419174B (zh) | 基于门循环单元的图像文字去除方法、***及装置 | |
CN111127316A (zh) | 一种基于sngan网络的单幅人脸图像超分辨方法及*** | |
CN110647820A (zh) | 基于特征空间超分辨映射的低分辨率人脸识别方法 | |
CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
CN107845064B (zh) | 基于主动采样和高斯混合模型的图像超分辨重建方法 | |
CN110851627B (zh) | 一种用于描述全日面图像中太阳黑子群的方法 | |
Tseng et al. | An interpretable compression and classification system: Theory and applications | |
CN111259792A (zh) | 基于dwt-lbp-dct特征的人脸活体检测方法 | |
CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
CN115293966A (zh) | 一种人脸图像重建方法、装置以及存储介质 | |
CN111126169A (zh) | 基于正交化的图正则非负矩阵分解的人脸识别方法及*** | |
Birajdar et al. | Subsampling-based blind image forgery detection using support vector machine and artificial neural network classifiers | |
CN115797179A (zh) | 一种街景中文文本图像超分辨率重建方法 | |
CN111242082B (zh) | 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法 | |
CN111062408B (zh) | 一种基于深度学习的模糊车牌图像超分辨率重建方法 | |
CN112766081A (zh) | 一种基于主成分和稀疏表示的掌纹识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200901 |