CN106157251B - 一种基于柯西正则化的人脸超分辨率方法 - Google Patents
一种基于柯西正则化的人脸超分辨率方法 Download PDFInfo
- Publication number
- CN106157251B CN106157251B CN201510151907.2A CN201510151907A CN106157251B CN 106157251 B CN106157251 B CN 106157251B CN 201510151907 A CN201510151907 A CN 201510151907A CN 106157251 B CN106157251 B CN 106157251B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- low
- block
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 37
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 230000001815 facial effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 208000004547 Hallucinations Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于柯西正则化的人脸超分辨率方法,包括对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块;分别建立高、低分辨率图像块集作为高、低分辨率图像块字典;用低分辨率图像块字典表示该图像块,利用柯西约束项求解重建系数,然后利用此重建系数和高分辨率图像块字典重建出新的高分辨率图像块;根据低分辨率图像块的位置关系将所得的高分辨率图像块融合成高分辨率图像。本发明在最小二乘法的基础上对重建系数加上柯西约束,本发明可得到了更高质量、与真实情况更为接近的重建效果。
Description
技术领域
本发明涉及图像超分辨率领域,具体涉及一种基于柯西正则化的人脸超分辨率方法。
背景技术
在过去的十年中,人们已经见证了视频应用的快速发展,如视频聊天、视频监控、视频检索等等。同时,人们经常会面对不尽如人意的视频质量,尤其是视频中的人脸图像要求更高。因此,一种称之为人脸超分辨率的技术发展起来,并引发了图像处理和计算机视觉领域的大量关注。人脸超分辨率技术就是一种能够利用单帧或者连续多帧低分辨率人脸图像重建出一张或者多张高分辨率图像的技术,可以有效增强低质量图像的分辨率。
人脸超分辨率技术将输入的低分辨率图像修复为高分辨率图像,是一种逆问题。为了恢复让人视觉上满意的高分辨图像,研究人员提出了许多利用图像先验信息的正则化方法,目的就是为了使这个逆向过程得到稳定的结果。
最近,作为一种统计信号模型的有力工具,稀疏表示作为正则项被广泛的应用于该逆向问题中。Yang等人在文献[1]中首次在幻构人脸中引入L1范数的稀疏表示,使得对应的低分辨图像块和高分辨率图像块有相同的稀疏表示,该方法增强了人脸的细节信息。Jung等人在基于位置图像块的人脸超分方法的基础上,将人脸超分问题看做稀疏约束的的最小二乘问题[2],获得了较好的超分效果。最近,Dong等人利用图像的非局部自相似性,提出了非局部集中稀疏表示算法(NCSR)来更好的预测稀疏重建系数[3]。
稀疏表示方法假设系数向量符合零均值的多变量拉普拉斯分布(Laplaciandistribution),该方法是在重建系数上加入了1范数惩罚(L1-penalty),稀疏表示的重建系数在零值处呈尖峰分布,体现出强稀疏性。由于基于稀疏表示的人脸超分辨率方法强调稀疏性,可能会选择和输入图像差别很大的基图像重建输入图像,进而使得重建得到的高分辨率人脸图像存在很大的噪声,尤其是在边缘丰富的眼睛和嘴巴等部位,因此,可能会得到不能令人满意的重建图像。基于稀疏表示的方法认为重建系数符合拉普拉斯分布,然而这个假设可能和真实的分布并不一致。
现有技术中相关的参考文献如下:
文献1:J.Yang,H.Tang,Y.Ma,and T.Huang,“Face hallucination via sparsecoding,”in Proc.IEEE Conf.on Image Processing(ICIP),2008,pp.1264–1267.
文献2:C.Jung,L.Jiao,B.Liu,and M.Gong,“Position-Patch Based FaceHallucination Using Convex Optimization,”IEEE Signal Process.Lett.,vol.18,no.6,pp.367–370,2011.
文献3:Guangming Shi Weisheng Dong,Lei Zhang and Xin Li,“Nonlocallycentralized sparse representation for imagerestoration,”IEEE Trans.on ImageProcessing,vol.22,no.4,pp.1620–1630,2013.
文献4:C.Thomaz and G.Giraldi,“A new ranking method for principalcomponents analysis and its application to face image analysis,”Image andVision Computing,vol.28,no.6,pp.902–913,2010.
文献5:H.Chang,D.Y.Yeung,and Y.M.Xiong.Super-resolution throughneighbor embedding.In CVPR,pp.275–282,2004.
文献6:X.Ma,J.P Zhang,and C.Qi.Hallucinating face by position-patch.Pattern Recognition,43(6):3178–3194,2010.
发明内容
本发明目的在于克服现有技术缺陷,提供一种基于柯西正则化的人脸超分辨率方法。
为达到上述目的,本发明采用的技术方案是一种基于柯西正则化的人脸超分辨率方法,包括如下步骤:
步骤1,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块;
步骤2,对于输入的低分辨率人脸图像中每个图像块,取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点,得到相应低分辨率图像块字典,建立低分辨率人脸样本块空间,取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点,得到相应高分辨率图像块字典,建立高分辨率人脸样本块空间;实现如下,设对输入的低分辨率人脸图像Xt划分为M个相互重叠的图像块后所构成的图像块集为对高分辨率训练集中的高分辨率人脸样本图像和低分辨率训练集中的低分辨率人脸样本图像分别划分相互重叠的图像块后,分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块字典和低分辨率图像块字典其中,标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号,标识j表示图像上的块位置序号,为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数,M为每幅图像划分图像块的块数;
步骤3,对输入低分辨率人脸图像中某一个图像块,分别使用步骤2所得低分辨率图像块字典进行柯西正则化的稀疏表示,得到线性重构的最优权重系数α,实现如下,
其中,J(α)返回关于变量α的函数在得到最小值时α的取值,α是维向量,由个线性重构系数αi构成,σα是α的标准方差,是柯西正则项,表示对二范数||·||2的结果求平方,λ是平衡重建误差和稀疏性的正则化参数;
步骤4,利用步骤3得到的最优权重系数以及步骤2所得高分辨率人脸样本块空间,线性重构得到新的高分辨率图像块;
步骤5,将所有加权重构出的高分辨率人脸图像块按照在人脸上的位置叠加,然后除以每个像素位置交叠的次数,得到一张高分辨率人脸图像。
在本发明中,使用一种更适合的先验模型进行人脸超分辨率重建,提出了一种称为柯西正则化的模型来提高人脸超分的性能。和拉普拉斯分布的重建系数在零值处呈尖峰分布不同,柯西先验对应的重建系数在零值处呈现出较温和的稀疏性。通过在解决方案中加入柯西先验项,可以得到一种适度地稀疏正则化方法,该方法优于基于L1范数的稀疏算法。
附图说明
图1为本发明实施例的流程图。
具体实施方式
本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1,本发明实施例具体步骤为:
步骤1,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块;
低分辨率训练集和高分辨率训练集提供预先设定的训练样本对,低分辨率训练集中包含低分辨率人脸样本图像,高分辨率训练集中包含高分辨率人脸样本图像。实施例中,所有高分辨率图像为经过手工对齐配准的人脸图像,像素大小为120×100。低分辨率训练集中每个低分辨率人脸样本图像由高分辨率训练集中的一个高分辨率人脸样本图像以4×4平滑滤波并4倍下采样得到,低分辨率图像像素大小为30×25,高分辨率图像块大小定为12×12,重叠像素值设为4,低分辨率图像块大小为3×3,重叠像素值为1。
实施例中,对输入的低分辨率人脸图像Xt划分相互重叠的图像块后所构成的图像块集为对低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像分别划分相互重叠的图像块,分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块构成的字典M个与输入的低分辨率人脸图像M个图像块对应位置的低分辨率图像块构成的字典其中,标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号,标识j表示图像上的块位置序号,为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数,M为每幅图像划分图像块的块数;
步骤2,对于输入的低分辨率人脸图像中每个人脸图像块,取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点,建立低分辨率人脸样本块空间,取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点,建立高分辨率人脸样本块空间;
实施例中,对输入的低分辨率人脸图像中的某个位置图像块可得到相应低分辨率图像块字典和高分辨率图像块字典,从而建立低分辨率人脸样本块空间(即)和高分辨率人脸样本块空间(即);
步骤3中,对输入低分辨率人脸图像中每一个图像块分别使用步骤2所得低分辨率图像块字典进行柯西正则化的稀疏表示,得到线性重构的最优权重系数α;
柯西正则化的线性重构是指:
其中,J(α)返回关于变量α的函数在得到最小值时α的取值,α是维向量,由个线性重构系数αi构成,简称系数向量。σα是系数α的标准方差,是柯西正则项,表示对二范数||·||2的结果求平方,λ是平衡重建误差和稀疏性的正则化参数,λ建议取值1e-2。
柯西正则化的方法和现有的稀疏表示的方法不同,稀疏表示的解决方案等价于如下的优化问题:
其中∑i|αi|是稀疏正则项。
步骤4,利用步骤3得到的最优权重系数α以及步骤2所得高分辨率人脸样本块空间可以通过下式来重建新的高分辨率图像块
即可通过个线性重构系数α1,α2,α3,α4,...,,重构得到高分辨率图像块。
步骤5,将所有加权重构出的高分辨率图像块按照位置叠加,然后除以每个像素位置交叠的次数,重构出高分辨率人脸图像。
为了验证本发明的有效性,采用FEI人脸数据库[4]进行实验,选用所有200个个体的400张正面、预对齐的人脸图像。原始的高分辨率人脸图像为120×100像素。低分辨率人脸图像由高分辨率人脸图像4倍Bicubic下采样后得到。随机选择360张作为训练样本,将剩余40张作为测试图像。我们将本发明得到的重构效果和一些基于块位置的方法进行对比,例如近邻嵌入法(NE,文献5),最小二乘方法(LSR,文献6)、稀疏表示法(SR,文献2)和非局部集中稀疏表示法(NCSR,文献3)等。
实验采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)来衡量对比算法的优劣,SSIM则是衡量两幅图相似度的指标,其值越接近于1,说明图像重建的效果越好。比较以上方法对全部40张测试图像处理获得的平均PSNR和SSIM值,详见表1。
从表1中可以看出,对比方法和本发明方法的PSNR值分别为31.75、31.90、32.11、31.30和32.51,SSIM值分别为0.894、0.903、0.905、0.906和0.910,即,本发明方法比对比方法中最好的算法的PSNR值和SSIM值分别提高0.4dB和0.004。由此可见,本发明方法较其他已有的方法相比,效果有了显著的提高。
表1本发明方法和现有方法的PSNR值和SSIM值
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (1)
1.一种基于柯西正则化的人脸超分辨率方法,其特征在于,包括如下步骤:
步骤1,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块;
步骤2,对于输入的低分辨率人脸图像中每个图像块,取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点,得到相应低分辨率图像块字典,建立低分辨率人脸样本块空间,取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点,得到相应高分辨率图像块字典,建立高分辨率人脸样本块空间;实现如下,
设对输入的低分辨率人脸图像Xt划分为M个相互重叠的图像块后所构成的图像块集为对高分辨率训练集中的高分辨率人脸样本图像和低分辨率训练集中的低分辨率人脸样本图像分别划分相互重叠的图像块后,分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块字典和低分辨率图像块字典其中,标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号,标识j表示图像上的块位置序号,为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数,M为每幅图像划分图像块的块数;
步骤3,对输入低分辨率人脸图像中某一个图像块,分别使用步骤2所得低分辨率图像块字典进行柯西正则化的稀疏表示,得到线性重构的最优权重系数α,实现如下,
其中,J(α)返回关于变量α的函数在得到最小值时α的取值,α是维向量,由个线性重构系数αi构成,σα是α的标准方差,是柯西正则项,表示对二范数||·||2的结果求平方,λ是平衡重建误差和稀疏性的正则化参数;
步骤4,利用步骤3得到的最优权重系数以及步骤2所得高分辨率人脸样本块空间,线性重构得到新的高分辨率图像块;
步骤5,将所有加权重构出的高分辨率人脸图像块按照在人脸上的位置叠加,然后除以每个像素位置交叠的次数,得到一张高分辨率人脸图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510151907.2A CN106157251B (zh) | 2015-04-01 | 2015-04-01 | 一种基于柯西正则化的人脸超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510151907.2A CN106157251B (zh) | 2015-04-01 | 2015-04-01 | 一种基于柯西正则化的人脸超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106157251A CN106157251A (zh) | 2016-11-23 |
CN106157251B true CN106157251B (zh) | 2018-10-26 |
Family
ID=57338623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510151907.2A Expired - Fee Related CN106157251B (zh) | 2015-04-01 | 2015-04-01 | 一种基于柯西正则化的人脸超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106157251B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596838B (zh) * | 2018-05-09 | 2022-02-18 | 北京环境特性研究所 | 一种基于学习的单帧人脸图像超分方法及装置 |
CN109815889B (zh) * | 2019-01-21 | 2022-08-30 | 南京邮电大学 | 一种基于特征表示集的跨分辨率人脸识别方法 |
CN110532871B (zh) * | 2019-07-24 | 2022-05-10 | 华为技术有限公司 | 图像处理的方法和装置 |
CN114004913B (zh) * | 2021-12-28 | 2022-03-29 | 成都理工大学 | 一种基于柯西混合模型的tgs图像重构方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325104A (zh) * | 2013-06-09 | 2013-09-25 | 中山大学 | 基于迭代稀疏表达的人脸图像超分辨率重建方法 |
CN103871041A (zh) * | 2014-03-21 | 2014-06-18 | 上海交通大学 | 基于认知正则化参数构建的图像超分辨率重构方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2790126B1 (en) * | 2013-04-08 | 2016-06-01 | Cogisen SRL | Method for gaze tracking |
-
2015
- 2015-04-01 CN CN201510151907.2A patent/CN106157251B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325104A (zh) * | 2013-06-09 | 2013-09-25 | 中山大学 | 基于迭代稀疏表达的人脸图像超分辨率重建方法 |
CN103871041A (zh) * | 2014-03-21 | 2014-06-18 | 上海交通大学 | 基于认知正则化参数构建的图像超分辨率重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106157251A (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Deep learning for image super-resolution: A survey | |
Wang et al. | Contextual transformation network for lightweight remote-sensing image super-resolution | |
Li et al. | No-reference and robust image sharpness evaluation based on multiscale spatial and spectral features | |
Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
Kang et al. | Learning-based joint super-resolution and deblocking for a highly compressed image | |
Xie et al. | Joint super resolution and denoising from a single depth image | |
CN107274347A (zh) | 一种基于深度残差网络的视频超分辨率重建方法 | |
Liu et al. | Data-driven soft decoding of compressed images in dual transform-pixel domain | |
Lei et al. | Deep stereoscopic image super-resolution via interaction module | |
CN106157251B (zh) | 一种基于柯西正则化的人脸超分辨率方法 | |
Wang et al. | Joint chroma downsampling and upsampling for screen content image | |
Li et al. | An iterative framework of cascaded deblocking and superresolution for compressed images | |
CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
US20130294544A1 (en) | Upsampling in a tiered signal quality hierarchy | |
Li et al. | Perceptual quality evaluation for image defocus deblurring | |
Simonyan et al. | Fast video super-resolution via classification | |
Ma et al. | Recovering realistic details for magnification-arbitrary image super-resolution | |
Wang et al. | Robust temporal-spatial decomposition and its applications in video processing | |
Gan et al. | AutoBCS: Block-based image compressive sensing with data-driven acquisition and noniterative reconstruction | |
Yue et al. | A global appearance and local coding distortion based fusion framework for CNN based filtering in video coding | |
Liu et al. | Single image super-resolution using a deep encoder–decoder symmetrical network with iterative back projection | |
WO2020001046A1 (zh) | 一种基于自适应层次化运动建模的视频预测方法 | |
Ancuti et al. | NTIRE 2023 HR nonhomogeneous dehazing challenge report | |
Wang et al. | Compressed screen content image super resolution | |
Liu et al. | Arbitrary-scale super-resolution via deep learning: A comprehensive survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181026 |
|
CF01 | Termination of patent right due to non-payment of annual fee |