CN103593825A - 基于改进的非局部约束和局部自相似性的图像超分辨方法 - Google Patents
基于改进的非局部约束和局部自相似性的图像超分辨方法 Download PDFInfo
- Publication number
- CN103593825A CN103593825A CN201310488729.3A CN201310488729A CN103593825A CN 103593825 A CN103593825 A CN 103593825A CN 201310488729 A CN201310488729 A CN 201310488729A CN 103593825 A CN103593825 A CN 103593825A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- resolution
- piece
- amplification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003321 amplification Effects 0.000 claims abstract description 44
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 44
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000002474 experimental method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 6
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 claims description 2
- 238000005303 weighing Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101100192157 Mus musculus Psen2 gene Proteins 0.000 description 1
- 101150011873 Pdcd6 gene Proteins 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进的非局部约束和局部自相似性的图像超分辨方法。其实现步骤为:(1)对低分辨率图像X作双三次插值放大和高通滤波,获得预放大图像及低、高频分量;(2)分别在预放大图像和低频分量中提取图像块;(3)对低频图像块进行K聚类,并将预放大图像块与每一类的聚类中心作比较,找到最相似的类,进而在最相似类中找到3个相似的低频图像块;(4)根据相似的低频图像块找到相对应的高频图像块,再对这些高频图像块进行非局部加权,得到重构的初步高分辨率图像;(5)将重构的高分辨率图像作为下一次的输入图像,重复步骤(1)~步骤(4),获得最终的高分辨率图像。本发明在对图像超分辨时,能够锐化图像边缘,更好的恢复图像高频细节。
Description
技术领域
本发明属于图像处理技术领域,具体的说是一种图像的分辨方法,该方法可用于对输入的低分辨率图像进行超分辨,获得高分辨率图像。
背景技术
图像超分辨技术是为了获得更准确的图像信息,而通过多种技术手段提高图像的清晰度,抑制噪声的一门学科。它是图像处理中重要而又富有挑战性的研究内容。对于图像超分辨问题,研究者已经提出了很多方法。
2008年Yang等人提出一种基于样例学习的图像超分辨重建方法,见J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution as sparse representation of raw image patches”,inProc.IEEE Conf.Comput.Vis.Pattern Recognit.,2008,pp.1-8.这种方法的基本思想是从一些高分辨率图像中随机选取一些块组成一个过完备的高分辨词典Dh,再用同样的方法组成一个低分辨字典Do,通过训练两个字典Do和Dh,得到在低分和高分字典下的低分辨和高分辨图像块的相似稀疏表示。因此低分辨图像块的稀疏表示同高分辨字典Dh相乘可以得到高分辨图像块。该方法的缺陷就在于过完备字典的选择,随机的选择只能实现特定领域的图像的超分辨率,对于通用图像的超分辨率效果较差。
2011年Gilad提出基于局部自相似性的算法,利用迭代放大的方法对图像进行超分辨重建,并且证明了在较小的放大因子下,局部极小块与放大后图像的局部极小块存在极强的相似性。见Gilad.Freedman,R Fattal,“Image and Video Upscaling from LocalSelf-examples”,ACM Transaction on Graphics(TOG),april2011,30(2).其基本思想是将低分辨图像X进行较小因子的放大,获得预放大图像Yo,同时对低分辨图像进行滤波,得到X的高频图像Xh和低频图像Xo,取预放大图像Yo中的图像块,找到其在Xo中最相似的块,并在Xh中找到与之相应的匹配高频块,最终将查找到的高频块迭加在预放大图像块上。但该方法由于只查找一个相似高频图像块,对匹配准则的依赖性过高,容易产生误差,得到的高分辨图像边缘模糊,视觉效果不好。
发明内容
本发明的目的在于针对已有技术的不足,提出了一种基于改进的非局部约束和局部自相似性的图像超分辨方法,以在匹配时找到更多的相似高频图像块,获取更多的高频信息,得到边缘清晰,视觉效果好的高分辨图像。
实现本发明目的的技术关键是:直接从输入的低分辨图像内部寻找高频细节信息,并以输入的低分辨图像作为训练字典,不需要外部的训练图像,克服现有算法对训练字典的敏感性,且在匹配时通过找到更多的相似高频图像块,获取更多的高频信息,其具体步骤包括如下
(1)输入低分辨率图像X,并将其进行双三次插值放大,放大因子λ=1.25,获得预放大图像Yo;
(2)通过高通滤波器对低分辨图像X进行滤波,将其分解为高频分量Xh和低频分量Xo;
(3)利用高频分量Xh,低频分量Xo和预放大图像Yo对输入的低分辨图像X进行超分辨重建:
3b)对提取的低频图像块进行k-means聚类,将其分成20类,得到每一类的聚类中心;
3c)用预放大图像块Yo i中的每一个图像块与上步获得的聚类中心作比较,找到与其最为相似的那一类,并在这一类中找到与预放大图像块Yo i最相似的3个近邻低频图像块k=1,...,3,k为最相似的近邻块的数目;
其中,为非局部加权系数;
3f)将高分辨图像块Yh i按照排列顺序,放到相应的位置处,得到初步的高分辨图像Yp:
(4)将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步骤1~步骤3,直至达到预期设定的放大倍数m,获得最终的超分辨图像Yh。
本发明与现有的技术相比具有以下优点:
本发明用k-means算法对提取的低频图像块进行聚类,得到多块与预放大图像块相似的图像块,解决了只查找一个相似块,对匹配准则依赖性高的难题;
本发明利用非局部约束对得到的相似块进行加权重构,能够锐化图像边缘,且能够恢复更多的图像细节;
附图说明
图1是本发明的实现流程图;
图2是本发明与现有的两种方法在仿真实验中应用的Lena高分辨率图像;
图3是本发明与现有两种方法在仿真实验中应用的Lena低分辨率图像;
图4是用现有基于样例学习法在仿真实验中得到的Lena高分辨率图像;
图5是用现有基于局部自相似性的方法在仿真实验中得到的Lena高分辨率图像。
图6是本发明在仿真实验中得到的Lena高分辨率图像;
具体实施方式
参照图1,本发明的实现步骤如下:
步骤1,输入低分辨率图像X,并对其进行插值放大。
输入如图3所示的低分辨图像X,设放大因子λ=1.25,对该低分辨图像X进行双三次插值放大,获得预放大图像Yo
步骤2,对低分辨图像X进行滤波。
使用高斯高通滤波器对输入的低分辨图像X进行滤波,将其分解为高频分量Xh和低频分量Xo。
步骤3,利用高频分量Xh、低频分量Xo和预放大图像Yo,对输入的低分辨图像X进行超分辨重建。
3a)在低频分量Xo中提取低频图像块Xo j,j=1,...,M,M为低频图像块的数目,在预放大图像Yo中提取预放大图像块Yo i,i=1,...,N,N为预放大图像块的数目,其中图像块大小均为5×5,重叠块大小均为4×4;
3b)对提取的低频图像块Xo j进行k-means聚类,将低频图像块Xo j分成20类,得到每一类的聚类中心Vu,u=1,...,20;
3c)对于预放大图像Yo中的每一个图像块Yo i,将其与上步得到的聚类中心Vu作比较,找到与其最为相似的那一类,即先计算预放大图像块Yo i与每个聚类中心的均方差,再从这些均方差中找出最小值,该最小值所对应的聚类中心就是与预放大图像块Yo i最相似的块,包含这个最相似块的类即为最相似的那一类;再在这一类中找到与预放大图像块Yo i最相似的3个近邻低频图像块k=1,...,3,k为最相似的近邻块的数目;
其中ci为归一化参数,
3f)将高分辨图像块Yh i按照排列顺序,放到相应的位置处,得到初步的高分辨图像Yp:
步骤4,将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步骤1~步骤3,直至达到预期设定的放大倍数m,其中m=2,获得最终的超分辨图像Yh,如图6所示。
本发明的效果可以通过下面的仿真实验进一步说明:
1、实验条件与内容
实验条件为:Intel Core2Duo CPU E65502.33GHZ、2GB RAM,编程平台为MATLABR2010a。实验所用到的图像来源于标准图像库,分别为Cameraman,Lena,Boats,大小均为256×256,其中原始的高分辨率图像如图2所示,低分辨率图像如图3所示。
实验内容:分别为现有的基于样例学习的图像超分辨方法,现有的基于局部自相似性的图像超分辨方法和本发明方法,其中前两种方法都是基于学习的超分辨重构中的经典方法。
实验中,应用峰值信噪比PSNR值评价指标来评价超分辨结果的优劣,PSNR值的定义为:
2、仿真内容与结果
本发明将图3所示的Lena图像作为输入的低分辨率图像,大小为256×256。
仿真一,用现有的基于样例学习的方法对图3进行超分辨重建,结果如图4所示。
由图4可见,该方法能够较好的恢复出图像的细节信息,但同时在图像的边界处产生了阶梯效应;
仿真二,用现有的基于局部自相似性的方法对图3进行超分辨重建,结果如图5所示。
由图5可见,该方法重建的图像视觉效果较好,能够很好地保持边界区域信息,但对非边界区域的保持则不够好,存在过平滑现象;
仿真三,用本发明对图3进行超分辨重建,结果如图6所示。
由图6可见,本发明的超分辨重建结果有最好视觉效果,同时保留了更多的图像边缘和细节信息。
本发明与两种对比方法在实验中获取的PSNR值如表1所示,其中,Alg1是基于样例学习的方法,Alg2是基于局部自相似性的方法,Alg3是本发明的方法。
表1.本发明和对比方法在实验设置下得到的PSNR值
从表1中可以看出,本发明比其它两种对比方法具有更高的PSNR值,有更好的超分辨结果。
Claims (4)
1.一种基于改进的非局部约束和局部自相似性的图像超分辨方法,包括如下步骤:
(1)输入低分辨率图像X,并将其进行双三次插值放大,放大因子λ=1.25,获得预放大图像Yo;
(2)通过高通滤波器对低分辨图像X进行滤波,将其分解为高频分量Xh和低频分量Xo;
(3)利用高频分量Xh,低频分量Xo和预放大图像Yo对输入的低分辨图像X进行超分辨重建:
3b)对提取的低频图像块进行k-means聚类,将其分成20类,得到每一类的聚类中心;
3c)用预放大图像块Yo i中的每一个图像块与上步获得的聚类中心作比较,找到与其最为相似的那一类,并在这一类中找到与预放大图像块Yo i最相似的3个近邻低频图像块k=1,...,3,k为最相似的近邻块的数目;
3f)将高分辨图像块Yh i按照排列顺序,放到相应的位置处,得到初步的高分辨图像Yp:
(4)将步骤3获得的初步高分辨图像Yp作为步骤1的输入图像X,迭代重复步骤1~步骤3,直至达到预期设定的放大倍数m,获得最终的超分辨图像Yh。
2.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法,其中所述步骤(3a)中的低频图像块Xo j和预放大图像块Yo i,其大小均为5×5,重叠块的大小均为4×4。
3.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法,其中所述步骤(3c)中找出聚类中心中与预放大图像块Yo i最相似的块,是先计算预放大图像块Yo i与每个聚类中心的均方差,再从这些均方差中找出最小值,该最小值所对应的聚类中心就是与预放大图像块Yo i最相似的块。
4.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法,其中所述步骤(4)中的预期设定放大倍数m,在实验中设定为m=2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310488729.3A CN103593825B (zh) | 2013-10-17 | 2013-10-17 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310488729.3A CN103593825B (zh) | 2013-10-17 | 2013-10-17 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103593825A true CN103593825A (zh) | 2014-02-19 |
CN103593825B CN103593825B (zh) | 2016-04-13 |
Family
ID=50083950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310488729.3A Active CN103593825B (zh) | 2013-10-17 | 2013-10-17 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103593825B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
CN104036468A (zh) * | 2014-06-19 | 2014-09-10 | 西安电子科技大学 | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 |
CN105354795A (zh) * | 2015-10-08 | 2016-02-24 | Tcl集团股份有限公司 | 一种基于相位相关的自学习超分辨率图像获取方法及*** |
CN105405106A (zh) * | 2015-10-22 | 2016-03-16 | 华南农业大学 | 一种单图像超分辨率重建的方法 |
CN105427253A (zh) * | 2015-11-06 | 2016-03-23 | 北京航空航天大学 | 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 |
CN105590304A (zh) * | 2014-10-24 | 2016-05-18 | 北京大学 | 超分辨率图像重建方法和装置 |
CN105590303A (zh) * | 2014-10-20 | 2016-05-18 | Tcl集团股份有限公司 | 一种增加图像分辨率的方法和*** |
CN106485734A (zh) * | 2016-10-12 | 2017-03-08 | 天津大学 | 一种基于非局部自相似性的视频运动物体检测方法 |
CN107133921A (zh) * | 2016-02-26 | 2017-09-05 | 北京大学 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
CN110009589A (zh) * | 2019-04-11 | 2019-07-12 | 重庆大学 | 一种基于dlss深度学习超级采样技术的图像滤波方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689343A (en) * | 1995-05-26 | 1997-11-18 | Xerox Corporation | Area mapping employing reference clusters for high quality noninteger resolution conversion with enhancement |
CN1488119A (zh) * | 2000-11-28 | 2004-04-07 | 通过最近相邻分类滤波提高分辨率 | |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
-
2013
- 2013-10-17 CN CN201310488729.3A patent/CN103593825B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689343A (en) * | 1995-05-26 | 1997-11-18 | Xerox Corporation | Area mapping employing reference clusters for high quality noninteger resolution conversion with enhancement |
CN1488119A (zh) * | 2000-11-28 | 2004-04-07 | 通过最近相邻分类滤波提高分辨率 | |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
Non-Patent Citations (2)
Title |
---|
GILAD FREEMAN ET AL.: "Image and Video Upscaling from Local Self-examples", 《ACM TRANSACTION ON GRAPHICS》, vol. 30, no. 2, 30 April 2011 (2011-04-30), XP058001113, DOI: doi:10.1145/1944846.1944852 * |
杨宇翔 等: "利用图像局部自相似性的超分辨率重构算法", 《中国图象图形学报》, vol. 16, no. 5, 31 May 2011 (2011-05-31) * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
CN104036468A (zh) * | 2014-06-19 | 2014-09-10 | 西安电子科技大学 | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 |
CN104036468B (zh) * | 2014-06-19 | 2017-06-16 | 西安电子科技大学 | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 |
CN105590303A (zh) * | 2014-10-20 | 2016-05-18 | Tcl集团股份有限公司 | 一种增加图像分辨率的方法和*** |
CN105590303B (zh) * | 2014-10-20 | 2019-02-01 | Tcl集团股份有限公司 | 一种增加图像分辨率的方法和*** |
CN105590304B (zh) * | 2014-10-24 | 2019-01-08 | 北京大学 | 超分辨率图像重建方法和装置 |
CN105590304A (zh) * | 2014-10-24 | 2016-05-18 | 北京大学 | 超分辨率图像重建方法和装置 |
CN105354795A (zh) * | 2015-10-08 | 2016-02-24 | Tcl集团股份有限公司 | 一种基于相位相关的自学习超分辨率图像获取方法及*** |
CN105354795B (zh) * | 2015-10-08 | 2019-09-10 | Tcl集团股份有限公司 | 一种基于相位相关的自学习超分辨率图像获取方法及*** |
CN105405106A (zh) * | 2015-10-22 | 2016-03-16 | 华南农业大学 | 一种单图像超分辨率重建的方法 |
CN105427253A (zh) * | 2015-11-06 | 2016-03-23 | 北京航空航天大学 | 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 |
CN105427253B (zh) * | 2015-11-06 | 2019-03-29 | 北京航空航天大学 | 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 |
CN107133921A (zh) * | 2016-02-26 | 2017-09-05 | 北京大学 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
CN107133921B (zh) * | 2016-02-26 | 2020-03-06 | 北京大学 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
CN106485734A (zh) * | 2016-10-12 | 2017-03-08 | 天津大学 | 一种基于非局部自相似性的视频运动物体检测方法 |
CN110009589A (zh) * | 2019-04-11 | 2019-07-12 | 重庆大学 | 一种基于dlss深度学习超级采样技术的图像滤波方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103593825B (zh) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103593825A (zh) | 基于改进的非局部约束和局部自相似性的图像超分辨方法 | |
Xu et al. | Image inpainting by patch propagation using patch sparsity | |
CN101950365B (zh) | 基于ksvd字典学习的多任务超分辨率图像重构方法 | |
CN101520894B (zh) | 基于区域显著性的显著对象提取方法 | |
CN104899830B (zh) | 一种图像超分辨方法 | |
CN102930518B (zh) | 基于改进的稀疏表示的图像超分辨率方法 | |
CN103093433B (zh) | 基于区域划分和字典学习的自然图像去噪方法 | |
CN102800076B (zh) | 基于双字典学习的图像超分辨重建方法 | |
CN103279933B (zh) | 一种基于双层模型的单幅图像超分辨率重建方法 | |
CN102800094A (zh) | 一种快速彩色图像分割方法 | |
CN105046672A (zh) | 一种图像超分辨率重建方法 | |
CN104123705B (zh) | 一种超分辨率重建图像质量Contourlet域评价方法 | |
CN103606136A (zh) | 基于关键帧和非局部约束的视频超分辨方法 | |
CN102968762A (zh) | 一种基于稀疏化和泊松模型的pet重建方法 | |
CN103914816A (zh) | 一种基于非局部正则化和关键帧的视频超分辨方法 | |
CN103455988A (zh) | 基于结构自相似性与稀疏表示的超分辨率图像重构方法 | |
CN105046651A (zh) | 一种图像的超分辨率重构方法和装置 | |
Zou et al. | Joint wavelet sub-bands guided network for single image super-resolution | |
CN104021523A (zh) | 一种基于边缘分类的图像超分辨率放大的新方法 | |
CN104252704A (zh) | 基于总广义变分的红外图像多传感器超分辨率重建方法 | |
He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
CN105913383A (zh) | 基于图像块先验估计混合框架的图像降噪方法 | |
CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
CN104463822B (zh) | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 | |
CN106157240A (zh) | 基于字典学习的遥感图像超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |