CN101635048A - 融合全局特征与局部信息的人脸图像超分辨率处理方法 - Google Patents
融合全局特征与局部信息的人脸图像超分辨率处理方法 Download PDFInfo
- Publication number
- CN101635048A CN101635048A CN200910056694A CN200910056694A CN101635048A CN 101635048 A CN101635048 A CN 101635048A CN 200910056694 A CN200910056694 A CN 200910056694A CN 200910056694 A CN200910056694 A CN 200910056694A CN 101635048 A CN101635048 A CN 101635048A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- facial image
- pyramid
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种融合全局特征与局部信息的人脸图像超分辨率处理方法,具体涉及一种利用图像金字塔,对低分辨率人脸图像金像处理得到高分辨率人脸图像的方法,包括:(1)建立高分辨率人脸图像的可操纵金字塔数据库;(2)求一幅低分辨率人脸图像的全局高分辨率图像;(3)建立高分辨率残差人脸图像数据库;(4)计算输入低分辨率人脸图像的全局高分辨率图像;(5)计算输入低分辨率人脸图像的高分辨率残差人脸图像;(6)计算输入低分辨率人脸图像的最终高分辨率图像。本发明具有易于实现、鲁棒性强、精确度高等优点,可以为人脸识别提供一种实时可靠的特征信息。
Description
技术领域
本发明涉及一种人融合全局特征与局部信息的人脸图像超分辨率处理方法,具体涉及一种利用图像金字塔,对低分辨率人脸图像进行处理得到高分辨率人脸图像的方法。属于图像处理领域。
背景技术
人脸研究一直是模式识别、计算机视觉和计算机图形学领域中的经典问题之一。由于人脸是一种极为复杂的、多维的模式,也是一种典型的非刚性模式,具有非常复杂的生理学构造,再加上人们对人脸的熟悉和敏感,因而人脸方面的研究相对来说比较困难。任何人脸处理***的第一步都是检测人脸在图像中的位置。然而,从一幅图像中检测人脸是一项极具挑战性的任务,因为其尺度、位置、方向和位姿都是变化的,面部表情、遮挡和光照条件也是变化的。有些视频流中的人脸太小,以至于无法进行人脸跟踪,可以先对视频流进行超分辨率放大,然后再跟踪。为了对视频中的人脸进行超分辨率放大,首先需要研究静态图片中人脸的超分辨率放大。如何对人脸图像进行超分辨率,成为人脸识别中亟待解决的问题。
经对现有技术文献的检索发现,目前在对于人脸图像超分辨率方法主要有:Freeman等人在《IEEE Computer Graphics and Applications(计算机图形与应用)》上的论文“Example-based super-resolution(基于样本的超分辨率)”提出的一种基于样本的方法,利用马尔可夫网络(Markov Network)学***与垂直方向的导数以及拉普拉斯(Laplacian)金字塔,其结果比Freeman和Hertzmann的要好,但是超分辨率得到的人脸图像在有些部位存在较大的噪声。Liu等人在IEEE Computer Society Conference on ComputerVision and Pattern Recognition(计算机视觉与模式识别国际会议)的论文“Atwo-step approach to hallucinating faces:global parametric model and localnonparametric model(一种两部的人脸幻想方法:全局参数模型和局部非参数模型)”提出一种两步的人脸超分辨率算法,利用了全局参数模型与局部非参数模型相结合的思想,其结果比Baker的要平滑,但是由于使用主成分分析(Principal ComponentsAnalysis,PCA)计算全局模型,超分辨率的结果与原始高分辨率图像不相似。
发明内容
本发明的目的在于针对现有技术的不足,提供一种融合全局特征与局部信息的人脸图像超分辨率处理方法,能在光照变化、噪声等复杂环境下,融合全局特征与局部信息,准确地估计高分辨率人脸图像,为人脸识别提供一种可靠的依据。
为实现上述目的,本发明建立高分辨率人脸图像的金字塔库以及高分辨率残差人脸库,然后对一幅低分辨率输入图像进行重构,得到完整高分辨率图像,再计算输入图像的高分辨率残差人脸图像,最后将完整高分辨率图像与残差人脸图像进行叠加,得到最终高分辨率图像。
本发明的方法通过以下具体步骤实现:
1)对人脸图像数据库中每一幅高分辨率人脸图像IH,根据以下公式计算其五层三阶可操纵金字塔SP(IH):
上式中,Gl(H0(IH))表示可操纵金字塔第l层的高通子带图像,Bl,0(IH),Bl,1(IH),Bl,2(IH)和Bl,3(IH)表示第l层的四个带通子带图像,Ll(IH)表示第l层的低通子带图像;获得高分辨率人脸图像可操纵金字塔数据库。
2)对人脸图像数据库中低分辨率人脸图像IL,根据以下公式计算其三层三阶可操纵金字塔SP(IL):
上式中,Gl(H0(IL))表示可操纵金字塔第l层的高通子带图像,Bl,0(IL),Bl,1(Il),Bl,2(IL)和Bl,3(IL)表示第l层的四个带通子带图像,Ll(IL)表示第l层的低通子带图像;获得低分辨率人脸图像可操纵金字塔数据库。
3)将低分辨率人脸图像可操纵金字塔数据库中的每一个子带图像和高分辨率人脸图像可操纵金字塔数据库中的每一个子带图像,分别分割成相互重叠的正方形图像块;根据得到的图像块,求低分辨率人脸图像在高分辨率人脸图像可操纵金字塔数据库中的K邻域解,得到低分辨率人脸图像的五层三阶可操纵金字塔;通过“倒坍”(collapse)低分辨率人脸图像的五层三阶可操纵金字塔,得到低分辨率人脸图像的全局高分辨率图像
4)对每一幅低分辨率图像IL按步骤3)进行处理,得到其全局高分辨率图像将每一幅低分辨率人脸图像所对应的高分辨率图像IH减去得到高分辨率残差人脸图像;由所有得到的高分辨率残差人脸图像组成一个高分辨率残差人脸图像数据库。
式中,w为K邻域解的权值向量,γ1,…,γK为K邻域解对应的K个高分辨率人脸图像块;
本发明与现有技术相比的显著效果在于:第一阶段合成的全局高分辨率人脸图像边缘清晰并且噪声较少,能够很好的抵抗噪声带来的干扰。第二阶段,将包含高频图像信息的残差人脸图像叠加到全局高分辨率人脸图像上,可以进一步加强人脸图像的细节信息,从而使合成的全局高分辨率人脸图像更接近真实人脸。同时,由于第二阶段残差人脸图像的合成直接利用第一阶段求取的权值向量和候选样本,因此本发明具有更高的计算效率。
本发明针对在智能视频监控、生物识别和认证、人机交互等实际应用方面的需要,提出一种基于学习的相互关联的两阶段人脸超分辨率技术。在第一阶段,采用可操纵金字塔重构全局的高分辨率人脸图像;在第二阶段,为了补偿全局高分辨率人脸图像的局部细节特征,采用残差人脸图像合成技术。本发明具有算法简单、鲁棒性强、效果好、计算快等优点,克服了以往技术方法都难以克服的低质量、高计算等困难,也消除了实现应用中的主要障碍,最终为智能视频监控、生物识别和认证、人机交互等实际应用提供了一个新的可靠的技术支持。
附图说明
图1为本发明方法流程图。
图2为一幅高分辨率人脸图像的五层三阶可操纵金字塔图。
图3为输入低分辨率人脸图像的最终高分辨率图像的合成图。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
如图1本发明方法流程图所示,本实施例具体实施步骤如下
1)建立高分辨率人脸图像的可操纵金字塔数据库
对每一幅高分辨率人脸图像IH,根据以下公式计算其五层三阶可操纵金字塔SP(IH):
上式中,Gl(H0(IH))表示可操纵金字塔第l层的高通子带图像,Bl,0(IH),Bl,1(IH),Bl,2(IH)和Bl,3(IH)表示第l层的四个带通子带图像,Ll(IH)表示第l层的低通子带图像。其中SP0(IH)为最大尺度层,即可操纵金字塔的第零层,SP4(IH)为最小尺度层。所有高分辨率人脸图像的五层三阶可操纵金字塔组成一个高分辨率人脸图像金字塔数据库。
图2为一幅高分辨率人脸图像的五层三阶可操纵金字塔。
2)计算低分辨率人脸图像IL的三层三阶可操纵金字塔SPl(IL),在这里2≤l≤4,对人脸图像数据库中低分辨率人脸图像IL,根据以下公式计算其三层三阶可操纵金字塔SP(IL):
上式中,Gl(H0(IL))表示可操纵金字塔第l层的高通子带图像,Bl,0(IL),Bl,1(IL),Bl,2(IL)和Bl,3(IL)表示第l层的四个带通子带图像,Ll(IL)表示第l层的低通子带图像;获得低分辨率人脸图像可操纵金字塔数据库。
3)求一幅低分辨率人脸图像的全局高分辨率图像
将低分辨率人脸图像金字塔和高分辨率人脸图像金字塔数据库中的每一个子带图像都按照一定的划分规则分割成相互重叠的正方形图像块,要求确保每个子带图像含有相同数量的图像块。这样的话,金字塔中的子带图像可以看作是由许多大小相同且相互重叠的正方形图像小块组成。接着,按照层的先后顺序排列同一图像金字塔中位于子带图像相同位置(i,j)的所有正方形图像块组成一个图像块集,i、j分别为图像块的行、列序号。把高分辨率金字塔中(i,j)位置的图像块集的前两层记为图像块子集Hb(i,j),对应的后三层记为图像块子集Ha(i,j)。同样地,低分辨率金字塔中(i,j)位置的图像块集的前两层记为图像块子集Lb(i,j),对应的后三层记为图像块子集La(i,j)。对于低分辨率人脸图像金字塔中的图像块子集La(i,j),按照欧式距离最短的原则,在高分辨率人脸图像金字塔数据库中寻找与La(i,j)最接近的K个Ha(i,j),简记为α1,…,αK。同时,记高分辨率人脸图像金字塔数据库中与K个Ha(i,j)相对应的K个Hb(i,j)为β1,…,βK。利用α1,…,αK对La(i,j)进行重构,按下式计算重构权值向量w:
G=[La(i,j)-α1,…,La(i,j)-αK]T[La(i,j)-α1,…,La(i,j)-αK].
接着,利用上式求得的权值向量w按下式计算低分辨率金字塔中的图像块子集Lb(i,j):
Lb(i,j)=[β1,…,βK]w.
当所有的Lb(i,j)都已经求解完毕后,取Lb(i,j)中重叠部分像素的平均值并综合所有的Lb(i,j),从而得到SP0(IL)和SP1(IL)。这样,就得到了低分辨率人脸图像IL的五层三阶可操纵金字塔SPl(IL),在这里0≤l≤4。通过“倒坍”(collapse)低分辨率人脸图像IL的五层三阶可操纵金字塔,就可以得到低分辨率人脸图像的全局高分辨率图像
将低分辨率图像的原始高分辨率图像IH减去从而得到其高分辨率残差人脸图像由所有低分辨率图像得到的高分辨率残差人脸图像组成一个高分辨率残差人脸图像数据库。同样地,将高分辨率残差人脸图像数据库中的每一个残差人脸图像分割成相互重叠的正方形图像块。这样的话,高分辨率残差人脸图像中的图像块与步骤3)中的图像块子集Ha(i,j)存在一一对应的关系。
5)计算输入低分辨率人脸图像的全局高分辨率图像
6)计算输入低分辨率人脸图像的高分辨率残差人脸图像
(7)计算输入低分辨率人脸图像的最终高分辨率图像
Claims (1)
1、一种融合全局特征与局部信息的人脸图像超分辨率处理方法,其特征在于包括以下步骤:
1)对人脸图像数据库中每一幅高分辨率人脸图像IH,根据以下公式计算其五层三阶可操纵金字塔SP(IH):
上式中,Gl(H0(IH))表示可操纵金字塔第l层的高通子带图像,Bl,0(IH),Bl,1(IH),Bl,2(IH)和Bl,3(IH)表示第l层的四个带通子带图像,Ll(IH)表示第l层的低通子带图像;获得高分辨率人脸图像可操纵金字塔数据库;
2)对人脸图像数据库中低分辨率人脸图像IL,根据以下公式计算其三层三阶可操纵金字塔SP(IL):
上式中,Gl(H0(IL))表示可操纵金字塔第l层的高通子带图像,Bl,0(IL),Bl,1(IL),Bl,2(IL)和Bl,3(IL)表示第l层的四个带通子带图像,Ll(IL)表示第l层的低通子带图像;获得低分辨率人脸图像可操纵金字塔数据库;
3)将低分辨率人脸图像可操纵金字塔数据库中的每一个子带图像和高分辨率人脸图像可操纵金字塔数据库中的每一个子带图像,分别分割成相互重叠的正方形图像块;根据得到的图像块,求低分辨率人脸图像在高分辨率人脸图像可操纵金字塔数据库中的K邻域解,得到低分辨率人脸图像的五层三阶可操纵金字塔;通过“倒坍”低分辨率人脸图像的五层三阶可操纵金字塔,得到低分辨率人脸图像的全局高分辨率图像
式中,w为K邻域解的权值向量,γ1,…,γK为K邻域解对应的K个高分辨率人脸图像块;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910056694A CN101635048A (zh) | 2009-08-20 | 2009-08-20 | 融合全局特征与局部信息的人脸图像超分辨率处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910056694A CN101635048A (zh) | 2009-08-20 | 2009-08-20 | 融合全局特征与局部信息的人脸图像超分辨率处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101635048A true CN101635048A (zh) | 2010-01-27 |
Family
ID=41594230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910056694A Pending CN101635048A (zh) | 2009-08-20 | 2009-08-20 | 融合全局特征与局部信息的人脸图像超分辨率处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101635048A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306374A (zh) * | 2011-08-30 | 2012-01-04 | 西安交通大学 | 一种位置块非线性映射的人脸图像超分辨率重建方法 |
CN102354394A (zh) * | 2011-09-22 | 2012-02-15 | 中国科学院深圳先进技术研究院 | 图像超分辨方法及*** |
CN102521810A (zh) * | 2011-12-16 | 2012-06-27 | 武汉大学 | 一种基于局部约束表示的人脸超分辨率重建方法 |
CN102622590A (zh) * | 2012-03-13 | 2012-08-01 | 上海交通大学 | 基于人脸—指纹协同的身份识别方法 |
CN102693416A (zh) * | 2012-05-09 | 2012-09-26 | 浙江捷尚视觉科技有限公司 | 一种高抗噪性单幅人脸自动超分辨率方法 |
CN102800069A (zh) * | 2012-05-22 | 2012-11-28 | 湖南大学 | 一种融合软决策自适应插值与双三次插值的图像超分辨率方法 |
CN108062743A (zh) * | 2017-08-25 | 2018-05-22 | 成都信息工程大学 | 一种含噪图像超分辨率方法 |
CN110047058A (zh) * | 2019-03-25 | 2019-07-23 | 杭州电子科技大学 | 一种基于残差金字塔的图像融合方法 |
CN112288626A (zh) * | 2020-10-10 | 2021-01-29 | 武汉大学 | 一种基于双路径深度融合的人脸幻构方法及*** |
CN114549323A (zh) * | 2022-02-28 | 2022-05-27 | 福建师范大学 | 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其*** |
-
2009
- 2009-08-20 CN CN200910056694A patent/CN101635048A/zh active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306374A (zh) * | 2011-08-30 | 2012-01-04 | 西安交通大学 | 一种位置块非线性映射的人脸图像超分辨率重建方法 |
CN102306374B (zh) * | 2011-08-30 | 2013-02-06 | 西安交通大学 | 一种位置块非线性映射的人脸图像超分辨率重建方法 |
CN102354394A (zh) * | 2011-09-22 | 2012-02-15 | 中国科学院深圳先进技术研究院 | 图像超分辨方法及*** |
CN102354394B (zh) * | 2011-09-22 | 2015-03-11 | 中国科学院深圳先进技术研究院 | 图像超分辨方法及*** |
CN102521810A (zh) * | 2011-12-16 | 2012-06-27 | 武汉大学 | 一种基于局部约束表示的人脸超分辨率重建方法 |
CN102521810B (zh) * | 2011-12-16 | 2013-09-18 | 武汉大学 | 一种基于局部约束表示的人脸超分辨率重建方法 |
CN102622590A (zh) * | 2012-03-13 | 2012-08-01 | 上海交通大学 | 基于人脸—指纹协同的身份识别方法 |
CN102622590B (zh) * | 2012-03-13 | 2015-01-21 | 上海交通大学 | 基于人脸-指纹协同的身份识别方法 |
CN102693416B (zh) * | 2012-05-09 | 2014-03-12 | 浙江捷尚视觉科技有限公司 | 一种高抗噪性单幅人脸自动超分辨率方法 |
CN102693416A (zh) * | 2012-05-09 | 2012-09-26 | 浙江捷尚视觉科技有限公司 | 一种高抗噪性单幅人脸自动超分辨率方法 |
CN102800069A (zh) * | 2012-05-22 | 2012-11-28 | 湖南大学 | 一种融合软决策自适应插值与双三次插值的图像超分辨率方法 |
CN108062743A (zh) * | 2017-08-25 | 2018-05-22 | 成都信息工程大学 | 一种含噪图像超分辨率方法 |
CN108062743B (zh) * | 2017-08-25 | 2020-07-21 | 成都信息工程大学 | 一种含噪图像超分辨率方法 |
CN110047058A (zh) * | 2019-03-25 | 2019-07-23 | 杭州电子科技大学 | 一种基于残差金字塔的图像融合方法 |
CN112288626A (zh) * | 2020-10-10 | 2021-01-29 | 武汉大学 | 一种基于双路径深度融合的人脸幻构方法及*** |
CN114549323A (zh) * | 2022-02-28 | 2022-05-27 | 福建师范大学 | 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101635048A (zh) | 融合全局特征与局部信息的人脸图像超分辨率处理方法 | |
CN112287940B (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
CN107944442B (zh) | 基于改进卷积神经网络的对象检测装置及方法 | |
CN106127684B (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
CN101872472B (zh) | 一种基于样本学习的人脸图像超分辨率重建方法 | |
CN102881000B (zh) | 一种视频图像的超分辨率方法、装置和设备 | |
CN102521810B (zh) | 一种基于局部约束表示的人脸超分辨率重建方法 | |
CN101556690A (zh) | 基于词典学习和稀疏表示的超分辨率算法 | |
CN105894045A (zh) | 一种基于空间金字塔池化的深度网络模型的车型识别方法 | |
CN105741252A (zh) | 基于稀疏表示与字典学习的视频图像分级重建方法 | |
CN107220957B (zh) | 一种利用滚动导向滤波的遥感图像融合方法 | |
CN103593850A (zh) | 一种在cuda平台上基于递归高斯滤波的sift并行化***及方法 | |
CN101271525A (zh) | 一种快速的图像序列特征显著图获取方法 | |
CN102402784B (zh) | 一种基于最近特征线流形学习的人脸图像超分辨率方法 | |
CN110060286B (zh) | 一种单目深度估计方法 | |
CN103824272A (zh) | 基于k近邻重识别的人脸超分辨率重建方法 | |
CN106022355A (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
CN104036468A (zh) | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 | |
CN104867106A (zh) | 一种深度图超分辨率方法 | |
CN102930511B (zh) | 一种基于灰阶超声图像的心脏流场速度矢量分析方法 | |
Zou et al. | Joint wavelet sub-bands guided network for single image super-resolution | |
CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
CN106023122A (zh) | 基于多通道分解的图像融合方法 | |
Chen et al. | Density-imbalance-eased lidar point cloud upsampling via feature consistency learning | |
Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20100127 |