CN103366347B - 基于稀疏表示的图像超分辨率重建方法 - Google Patents
基于稀疏表示的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN103366347B CN103366347B CN201310296581.3A CN201310296581A CN103366347B CN 103366347 B CN103366347 B CN 103366347B CN 201310296581 A CN201310296581 A CN 201310296581A CN 103366347 B CN103366347 B CN 103366347B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- low
- rarefaction representation
- image super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于稀疏表示的图像超分辨率重建方法,包括样本训练步骤和图像超分辨率重建步骤;所述样本训练步骤包括:计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息;通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合;所述图像超分辨率重建步骤包括:计算待处理低分辨率图像的梯度信息;在低分辨率特征集合中找到其稀疏表示系数向量;在高分辨率特征集合中找到对应的残差信息,将此残差信息融合到低分辨率图像上,获得高分辨率图像。本发明得到的高分辨率图像细节更丰富、边缘更清晰,具有更好的视觉效果。本发明可在标清视频转换成高清视频中应用。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种基于稀疏表示的图像超分辨率重建方法。
背景技术
标清视频(Standard Definition,SD),是指分辨率在400线左右的VCD、DVD、电视节目等视频。高清(High Definition,HD),是指至少具备720线逐行扫描或1080线隔行扫描以及屏幕宽高比为16:9的视频。比较标清视频和高清视频的规范可以看到,两者的差别主要在分辨率和宽高比,其中转换的关键是视频分辨率的提高。
图像超分辨率重建技术是一种提升图像的分辨率技术解决方案,目前常用的图像超分辨率方法有三大类:基于插值、基于重建和基于学习的方法。基于插值的方法主要是利用相邻像素的强相关性来估计插值点的信息,该类方法速度快且简单,但是对于图像边缘区域和纹理区域处理效果不佳,重建结果细节不够丰富。基于重建的方法是运用从高分辨率图像到低分辨率图像的生成模型的先验假设来求解超分辨率问题,该类方法的缺点是由于高分辨率图像到低分辨率图像的生成模型的先验假设不准确,基于重建的方法会随着放大倍数的提高而严重退化,两种方法均会造成图像细节和边缘部分效果不佳。
发明内容
发明目的:基于上述问题,本发明提出了一种基于稀疏表示的图像超分辨率重建方法。
技术方案:基于稀疏表示的图像超分辨率重建方法,包括样本训练步骤和图像超分辨率重建步骤;所述样本训练步骤包括:计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息;通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合;所述图像超分辨率重建步骤包括:计算待处理低分辨率图像的梯度信息;在低分辨率特征集合中找到其稀疏表示系数向量;在高分辨率特征集合中找到对应的残差信息,将此残差信息融合到低分辨率图像上,获得高分辨率图像。
优选的,所述图像超分辨率重建步骤中,利用基于分类思想的快速正交匹配追踪算法在低分辨率特征集合中找到其稀疏表示系数向量。
本发明采用上述技术方案,具有以下有益效果:本发明技术方案统计了大量的图像,并且特征的提取均与梯度和高频信息有关,因此,最后得到的高分辨率图像细节更丰富、边缘更清晰,具有更好的视觉效果。
附图说明
图1为本发明样本训练步骤流程图;
图2为本发明图像超分辨率重建步骤流程图;
图3为本发明方法与双三次插值算法在峰值信噪比(PSNR)的比较图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于稀疏表示的图像超分辨率重建方法,分为两个部分,分别是样本训练步骤和图像超分辨率重建步骤。在样本训练步骤,首先计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息,进而通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合。在图像超分辨率重建步骤,首先计算待处理图像的梯度信息,然后在低分辨率特征集合中找到其近似表示,接下来可以在高分辨率特征集合中找到对应的残差信息,将此残差信息融合到低分辨率图像上,就可以得到高分辨率图像。具体技术方案如下:
具体的:
样本训练步骤,如图1所示:
1、构建高分辨率图像训练样本库对样本库中的图像进行双三次降采样处理,得到低分辨率图像再对进行双三次升采样得到高分辨率重建图像{Tl j}。
2、计算高分辨率图像与重建图像之间的残差图像对残差图像用6×6的窗口进行遍历,提取6×6的图像块并转换成长度为36的向量,记为其中K为块的序号。
3、对于每一幅高分辨率重建图像{Tl j},分别在水平和垂直方向用1×3和1×5梯度算子进行滤波,得到四个滤波图像(r=1,2,3,4)。同样用6×6的窗口对图像进行遍历,提取相同位置上的4个6×6的图像块,并转换成长度为144的向量,记为其中K为块的序号。
4、对进行降维处理得到其中B为的降维基向量矩阵。
5、利用下式计算的稀疏表示系数和特征集合:
其中Al是低分辨率特征集合,qk为对应特征在Al特征集合中的稀疏表示系数向量。
6、利用下式计算高分辨率的特征集合Ah:
图像超分辨率重建步骤,如图2所示:
1、对待处理的低分辨率图像sl进行双三次插值得到放大的图像yl。
2、对图像yl分别在水平和垂直方向用1×3和1×5梯度算子进行滤波,得到四个滤波图像{yf}r(r=1,2,3,4)。用6×6的窗口对图像{yf}r进行遍历操作,提取相同位置上的4个6×6的图像块,并转换成长度为144的一维向量,记为其中k为块的序号。
3、利用训练过程中步骤4的基向量矩阵B,得到降维后的特征数据
4、对于利用快速正交匹配追踪算法在低分辨率特征集合Al中找到其稀疏表示系数向量{nk}k。
5、将系数向量{nk}k与高分辨率特征集合中相应的特征相乘,得到高分辨率块将获得的高分辨率块与yl图像进行融合处理,获得最终的高分辨率图像
重建过程的核心部分为一种基于分类思想的快速正交匹配算法。传统正交匹配算法算法本质思想是:以贪婪迭代的方法选择传感矩阵Φ的列,使得在每次迭代中所选择的列与当前的冗余向量最大程度地相关,从测量向量中减去相关部分并反复迭代,直到迭代次数达到稀疏度K,强制迭代停止。其步骤如下:
输入:传感矩阵Φ,采样向量y,稀疏度K;
输出:x的K-稀疏的逼近
初始化:残差rt-1=y,重建原子集合Λt-1=φ(t=1);
循环执行步骤1-4。
1、计算残差rt-1和传感矩阵中每个列向量的相似度,并提取相似度最大的列向量记为将该向量加入重建原子集合,得到更新后的重建原子集合
2、由最小二乘得到
3、更新残差t=t+1;
4、判断是否满足t>K,若满足,则停止迭代;若不满足,则执行步骤1。
上述正交匹配追踪算法由于需要对传感矩阵中的每个列向量进行遍历搜索,耗时非常严重,为此本发明针对步骤1相似度最大的列向量的寻找做了改进,利用分类的思想,将传感矩阵中列分为K类,并将每一个子类继续分下去,直到子类包含的原子个数小于初始设置的个数,而在寻找最近匹配的原子时,只需要和每一层各类中心比较,选择距离最近的类中心,在此类的子类中按照同样的搜索机制,直至最低层。此方法可以大幅度减少残差r和传感矩阵的列向量相似度计算的次数,具体步骤如下:
1、将传感矩阵Φ分为K类,分别记为Φ1,Φ2,...,Φk;
2、计算每类中心到其他各类中心的最大距离,分别记为D1,D2,...,Dk;
3、将传感矩阵中到每类中心的距离小于最大距离的原子组合成新的传感矩阵,记为
4、分别选取作为新的传感矩阵,如果某个新的传感矩阵中的原子个数小于初始设置的个数,则此传感矩阵停止分类,否则执行步骤1。
参见图3,本方法采用峰值信噪比(PSNR)来衡量超分辨率图像重建结果,其中,以B表示标准图像,标准图像经过降采样后即为本发明方法输入的原始待处理图像,图像X为本发明的重建结果。
均方误差反映了待评价图像、原始图像之间的差异性,其计算公式下式所示。
其中,M、N为图像数据的行列数,Bi,j为原始图像第i行第j列的像素点值,Xi,j为待评价图像第i行第j列的像素点值。
峰值信噪比反映了待评价图像的逼真度,其计算公式如下式所示。
其中,L是像素点值的动态变化范围,对于常见的8bit的图像,取L=255,PSNR值越大,说明图像逼真度越高,即重建结果与原始图像之间越相近。
Claims (1)
1.基于稀疏表示的图像超分辨率重建方法,其特征在于,包括样本训练步骤和图像超分辨率重建步骤;
所述样本训练步骤包括:计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息;通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合;
所述图像超分辨率重建步骤包括:计算待处理低分辨率图像的梯度信息;在低分辨率特征集合中找到其稀疏表示系数向量;在高分辨率特征集合中找到对应的残差信息,将此残差信息融合到低分辨率图像上,获得高分辨率图像;
所述图像超分辨率重建步骤中,利用基于分类思想的快速正交匹配追踪算法在低分辨率特征集合中找到其稀疏表示系数向量;具体步骤如下:
一、将传感矩阵Φ分为K类,分别记为Φ1,Φ2,...,Φk;
二、计算每类中心到其他各类中心的最大距离,分别记为D1,D2,...,Dk;
三、将传感矩阵中到每类中心的距离小于最大距离的原子组合成新的传感矩阵,记为
四、分别选取作为新的传感矩阵,如果某个新的传感矩阵中的原子个数小于初始设置的个数,则此传感矩阵停止分类,否则执行步骤一。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310296581.3A CN103366347B (zh) | 2013-07-16 | 2013-07-16 | 基于稀疏表示的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310296581.3A CN103366347B (zh) | 2013-07-16 | 2013-07-16 | 基于稀疏表示的图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103366347A CN103366347A (zh) | 2013-10-23 |
CN103366347B true CN103366347B (zh) | 2016-09-14 |
Family
ID=49367621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310296581.3A Active CN103366347B (zh) | 2013-07-16 | 2013-07-16 | 基于稀疏表示的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103366347B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104715460A (zh) * | 2015-03-30 | 2015-06-17 | 江南大学 | 一种基于稀疏表示的快速图像超分辨率重建方法 |
CN105225215B (zh) * | 2015-10-23 | 2018-03-09 | 广州高清视信数码科技股份有限公司 | 一种基于组稀疏表示的单帧图像超分辨率重建方法 |
CN106056554B (zh) * | 2016-06-01 | 2019-04-12 | 南昌大学 | 一种梯度域卷积稀疏编码的磁共振快速成像方法 |
CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
CN107705271B (zh) * | 2017-11-02 | 2021-04-02 | 兰州理工大学 | 一种基于混合样本和稀疏表示的图像超分辨率方法 |
CN109903221B (zh) | 2018-04-04 | 2023-08-22 | 华为技术有限公司 | 图像超分方法及装置 |
CN109214989B (zh) * | 2018-09-04 | 2019-08-13 | 四川大学 | 基于多方向特征预测先验的单幅图像超分辨率重建方法 |
KR102676093B1 (ko) * | 2019-11-28 | 2024-06-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN113449784B (zh) * | 2021-06-18 | 2024-04-05 | 宜通世纪科技股份有限公司 | 基于先验属性图谱的图像多分类方法、装置、设备及介质 |
CN113702970A (zh) * | 2021-07-09 | 2021-11-26 | 中国人民解放军空军预警学院 | 一种基于2d-fomp的二维联合稀疏成像算法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110052023A1 (en) * | 2009-08-28 | 2011-03-03 | International Business Machines Corporation | Reconstruction of Images Using Sparse Representation |
-
2013
- 2013-07-16 CN CN201310296581.3A patent/CN103366347B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
Non-Patent Citations (1)
Title |
---|
稀疏表示的人脸识别及其优化算法;郑轶 等;《华东交通大学学报》;20120229;第29卷(第1期);第10-14页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103366347A (zh) | 2013-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103366347B (zh) | 基于稀疏表示的图像超分辨率重建方法 | |
CN101976435B (zh) | 基于对偶约束的联合学习超分辨方法 | |
CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
CN105046672A (zh) | 一种图像超分辨率重建方法 | |
CN106934766A (zh) | 一种基于稀疏表示的红外图像超分辨率重建方法 | |
CN101615290B (zh) | 一种基于典型相关分析的人脸图像超分辨率重建方法 | |
CN105844590A (zh) | 基于稀疏表示的图像超分辨率重建方法及*** | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN102024266B (zh) | 基于图像结构模型的压缩感知图像重构方法 | |
CN103077511A (zh) | 基于字典学习和结构相似的图像超分辨率重建方法 | |
CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、***及装置 | |
CN104899830A (zh) | 一种图像超分辨方法 | |
CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN102136144A (zh) | 图像配准可靠性模型和超分辨率图像的重构方法 | |
CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
CN102194222A (zh) | 一种基于联合运动估计与超分辨率重建的图像重建方法 | |
CN106651772A (zh) | 一种卫星云图的超分辨率重建方法 | |
CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
CN106886978A (zh) | 一种图像的超分辨率重建方法 | |
CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
CN104036468A (zh) | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 | |
CN110211193A (zh) | 三维ct层间图像插值修复与超分辨处理方法及装置 | |
Sun et al. | FDRN: a fast deformable registration network for medical images | |
CN104091364A (zh) | 单幅图像超分辨重建方法 | |
CN103020936A (zh) | 一种人脸图像超分辨率重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |