CN106910215B - 一种基于分数阶梯度插值的超分辨率方法 - Google Patents
一种基于分数阶梯度插值的超分辨率方法 Download PDFInfo
- Publication number
- CN106910215B CN106910215B CN201710152709.7A CN201710152709A CN106910215B CN 106910215 B CN106910215 B CN 106910215B CN 201710152709 A CN201710152709 A CN 201710152709A CN 106910215 B CN106910215 B CN 106910215B
- Authority
- CN
- China
- Prior art keywords
- gradient
- image
- resolution
- interpolation
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012545 processing Methods 0.000 claims description 40
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 10
- 238000001303 quality assessment method Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种基于分数阶梯度插值的超分辨率方法，其步骤依次如下：①首先构建基于分数阶的梯度模板：对插值的中心点建立6个方向的分数阶梯度模板，对插值边缘点建立9个方向的分数阶梯度模板；②然后通过图像相似性准则选择最优分数阶值及插值梯度：采用梯度相似的最小能量函数确定最优的分数阶值；③然后通过最小能量函数构建超分辨率图像；④之后通过金字塔法构建多比例超分辨率图像：每层比例为2，对每4个低分辨率像素点，插值1个中心点和4个边缘点。本发明可得到最优梯度值，获得的高分辨率图像有更高的相似度及更加清晰的纹理细节，并且在大比例下有较好的鲁棒性。
Description
技术领域
本发明涉及计算机及自动化技术领域，特别提供了一种以图像识别技术为核心的基于分数阶梯度插值的超分辨率方法。
背景技术
单图像超分辨率是通过一幅低分辨图像来产生高分辨图像。在无人机农业图像分析，视频监控以及图像融合方面得到了广泛的应用。通常来说图像的超分辨率方法分为两种：多图像超分辨率和单图像超分辨率。多图像超分辨率采用多幅同一场景的图像合成一幅高分辨图像(参见下述文献：[1]J.Boulanger,C.Kervrann,P.Bouthemy,时空自适应图像序列恢复(Space-time adaptation for patch-based image sequence restoration),IEEE模式分析与机器智能(Transactions on Pattern Analysis and MachineIntelligence)29(6)(2007)1096–1102.[2]S.Farsiu,M.D.Robinson,M.Elad,P.Milanfar,快速鲁棒性多帧图像超分辨率(Fast and robust multi-frame super resolution),IEEE图像处理学报(Transactions on Image Processing)13(10)(2004)1327–1344.[3]R.Fransens,C.Strecha,L.Van Gool,基于光流法的超分辨率(Optical flow basedsuper-resolution:Aprobabilistic approach),计算机视觉与图像理解(ComputerVision and Image Understanding)106(1)(2007)106–115.)。而单图像高分辨率方法，由于只采用一幅图像估计，所以会导致无穷个解，也就是说一幅低分辨率图像会产生无数个高分辨率图像。因此图像的先验限制需要加入到图像的构建过程中，在这些无数个解中选出最优解。到目前为止，很多单图像高分辨率方法被提出，大致可以分为三类：基于插值，基于样板，基于重构。其中基于插值的方法是用一个基函数来拟合未知的高分辨率像素点，常用的方法包括“双线性插值”和“双立方插值”，这些方法都快速有效。但是这些方法是基于光滑的前提，所以产生的高分辨率图像会有明显的模糊现象(参见下述文献：[4]X.Li,M.T.Orchard,新的边缘方向插值(New edge-directed interpolation),IEEE图像处理学报(Transactions on Image Processing)10(10)(2001)1521–1527.[5]D.Su,P.Willis,像素级数据三角测量的图像插值(Image interpolation by pixel-level data-dependenttriangulation),计算机图形学(Computer Graphics Forum),Vol.23,Wiley OnlineLibrary,2004,pp.189–201.)。基于样板的方法是通过一些训练样本来估计补丁对的系数，通过补丁对的差值来模拟高频信息，为了得到准确的系数，需要大的训练样本，而大的训练样本会导致计算量过大(参见下述文献：[6]W.T.Freeman,T.R.Jones,E.C.Pasztor,基于样板的图像超分辨率(Example-based superresolution),计算机图形学与应用(ComputerGraphics and Applications)22(2)(2002)56–65.[7]Y.Tang,H.Chen,Z.Liu,B.Song,Q.Wang,公众图像的基于样板图像的超分辨率(Example-based super-resolution viasocial images),神经计算(Neurocomputing)172 (2016)38–47.[8]H.Chang,D.-Y.Yeung,Y.Xiong,紧邻嵌入的超分辨率方法(Super-resolution through neighbor embedding),IEEE计算机学会的计算机视觉与模式识别会议录(Proceedings of the IEEE ComputerSociety Conference onComputer Vision and Pattern Recognition),Vol.1,IEEE,2004,pp.I–I.[9]R.Timofte,V.Smet,L.Gool,锚点邻域退化的基于样板的超分辨率方法(Anchored neighborhood regression for fast example-based super-resolution),IEEE国际计算机视觉会议录(Proceedings of the IEEE International Conference onComputer Vision),2013,pp.1920–1927.[10]Y.Zhu,Y.Zhang,A.Yuille,单图像超分辨率使用变形补丁(Single image super-resolution using deformable patches),计算机视觉和模式识别的IEEE会议论文集(Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition),2014,pp.2917–2924.[11]M.Zontak,M.Irani,内部统计的单自然图像(Internal statistics of a single natural image),IEEE计算机视觉与模式识别会议录(Proceedings of IEEE Conference on Computer Vision andPattern Recognition),IEEE,2011,pp.977–984.[12]H.Zhang,J.Yang,Y.Zhang,T.S.Huang,非局部核回归的图像及视频恢复(Non-local kernel regression for imageand video restoration),计算机视觉，施普林格(Computer Vision,Springer),2010,pp.566–579.)。为了改进计算速度，各种基于样板的方法被提出(参见下述文献：[13]J.Yang,Z.Lin,S.Cohen,快速图像超分辨率方法基于就近样板回归(Fast image super-resolution based on in-place example regression),计算机视觉和模式识别的IEEE会议论文集(Proceedings of the IEEE Conference on Computer Vision and PatternRecognition),2013,pp.1059–1066.[14]J.Yang,J.Wright,T.S.Huang,Y.Ma,基于稀疏表示的图像超分辨率方法(Image super-resolution via sparse representation),IEEETransactions on Image Processing 19(11)(2010)2861–2873.[15]D.Glasner,S.Bagon,M.Irani,单图像超分辨率(Super-resolution from a single image),IEEE第十二届国际计算机视觉会议(Proceedings of the IEEE 12th International Conference onComputer Vision),IEEE,2009,pp.349–356.)，如快速的回归模型，稀疏信号的表达等等，所有的这些方法都是基于一个假设，即相同的图像块在整个图像中会大量的重复出现，既在同比例的图像中出现，也会在不同比例的图像中出现。
基于重构的方法是通过加入某种先验来限制高分辨的合成(参见下述文献：[16]K.Zhang,X.Gao,J.Li,H.Xia,基于正则化的非局部核回归的单图像超分辨率方法(Singleimage super-resolution using regularization of non-local steering kernelregression),信号处理(Signal Processing).[17]H.Chen,X.He,Q.Teng,C.Ren,使用局部光滑和自相似先验的单图像超分辨率方法(Single image super resolution usinglocal smoothness and nonlocal self-similarity priors),信号处理：图像通信(Signal Processing:Image Communication).[18]M.Protter,M. Elad,H.Takeda,P.Milanfar,非局部均值的超分辨重构(Generalizing the nonlocal means to super-resolution reconstruction),IEEE图像处理汇刊(IEEE Transactions on ImageProcessing)18(1)(2009)36–51.[19]H.A.Aly,E.Dubois,应用总变量正则化的新观察模型的图像上采样方法(Image up-sampling using total-variation regularization witha new observation model),IEEE图像处理汇刊(IEEE Transactions on ImageProcessing)14(10)(2005)1647–1659.[20]Z.Ren,C.He,Q.Zhang,分数阶正则化的图像超分辨率(Fractional order total variation regularization for image super-resolution),信号处理(Signal Processing)93(9)(2013)2408–2421.[21]H.Li,Z.Yu,C.Mao,分数阶差分和变分的方法对图像融合和超分辨率(Fractional differential andvariational method for image fusion and super-resolution),神经计算(Neurocomputing)171(2016)138–148.[22]S.Baker,T.Kanade,超分辨率的限制和如何打破限制(Limits on super-resolution and how to break them),IEEE模式分析与机器智能(IEEE Transactions on Pattern Analysis and Machine Intelligence)24(9)(2002)1167–1183.[23]Y.Xian,Y.Tian,基于内部梯度相似性的单图像超分辨率方法(Singleimage super-resolution via internal gradient similarity),视觉传达与影像表现杂志(Journal of Visual Communication and Image Representation)35(2016)91–102.[24]J.Sun,Z.Xu,H.-Y.Shum,梯度先验以及其应用在图像超分辨率和增强(Gradientprofile prior and its applications in image super-resolution andenhancement),IEEE图像处理汇刊(IEEE Transactions on Image Processing)20(6)(2011)1529–1542.[25]R.Fattal,应用边缘统计的图像上采样(Image upsampling viaimposed edge statistics),ACM交易图形(ACM Transactions on Graphics(TOG)),Vol.26,ACM,2007,p.95.[26]J.Sun,J.Sun,Z.Xu,H.-Y.Shum,利用梯度先验的图像超分辨率方法(Image super-resolution using gradient profile prior),IEEE计算机视觉和模式识别大会(IEEE Conference on Computer Vision and Pattern Recognition),IEEE,2008,pp.1–8.)，如图像相似的先验和图像梯度的先验。通过这些图像先验的限制，基于重构的方法可以产生较为理想的高分辨图像。
人们迫切希望获得一种技术效果优良的图像识别用的超分辨率方法。
发明内容
本发明的目的是提供一种技术效果优良的基于分数阶梯度插值的超分辨率方法。其主要是为了解决现有技术中存在的问题，即合成的高分辨率图像会模糊，纹理及边缘不清晰。本发明提供一种基于分数阶梯度插值的超分辨率方法，可以保证高分辨率图像与低分辨率图像的相似性，同时使合成的高分辨率图像保持清晰的边缘和纹理。如图1、图2所示，分别为低分辨率图像和合成的高分辨率图像。
本发明提供了一种基于分数阶梯度插值的超分辨率方法，其特征在于：其步骤依次如下：①首先构建基于分数阶的梯度模板；②然后通过图像相似性准则选择最优分数阶值及插值梯度；③然后通过最小能量函数构建超分辨率图像；④之后通过金字塔法构建多比例超分辨率图像；其中：
步骤①的具体要求是：对插值的中心点建立6个方向的分数阶梯度模板，对插值边缘点建立9个方向的分数阶梯度模板；
步骤②的具体要求是：采用梯度相似的最小能量函数确定最优的分数阶值；
步骤③的具体要求是：采用如下算法：
其中：u为插值图像，h代表高斯核，*代表卷积算子，↓s代表下采样算子，↑s代表上采样算子，λ代表平衡图像相似和梯度相似的系数；
步骤④的具体要求是：每层比例为2，对每4个低分辨率像素点，插值1个中心点和4个边缘点；如图7-9。
金字塔法广泛应用于多比例信号表示，本发明采用线性金字塔框架来分层构建高分辨图像，并提供高分辨率图像逐层构建的框架。与其他线性插值方法相比，本发明所采用的线性金字塔法通过每层中最小能量函数，保证了每一层构建的高分辨率图像与相应的低分辨率图像的“保真性”，即相似性；金字塔构建方式如图9所示：每一层的比例因子设置为2；每个***点的值是由分数阶梯度值确定，并通过调整分数阶阶次值，由最小能量函数保证其***的梯度值与原低分辨率图像梯度值的相似性，进而确定其最优的梯度值；金字塔构建示意图如图9所示；
在每层中，***点满足如下要求示意图如图8所示：对于给定的第一层四个像素点梯度值(即四角的紫色点)，在其内部***5个梯度值(十字型的5个红色点)，构建得到第二层高分辨率图像，即图像放大2倍，在第三层重复上一步操作，在之前的基础上增加更多蓝色点，以下各层重复操作，所以图像的比例为2，4，8，....，2n；
建立完金字塔超分辨率框架后，我们需要确定插值点计算，使生成的高分辨图像有清晰的纹理结构以及出色的保真性。
处理流程及算法如图10所示：
首先构建高分辨图像的梯度值
调整分数阶值α，通过最小能量函数(图10中左侧第一个蓝框，保证图像的梯度相似)选择梯度与输入图像最相近的
即图10中优化的
之后通过重构的最小能量函数(左侧第三个蓝框，其中第一项保证图像相似，第二项保证图像的梯度相似)迭代出最终高分辨图像；其中h为高斯核，*为卷积运算，卷积高斯核是为了获得下采样图像，使高分辨率图像和低分辨率图像在同一分辨率下进行比较；如上为整个超分辨率方法的框架，下面逐个介绍每个步骤。
自优化的分数阶梯度插值相关内容如下：
分数阶运算已经得到了广泛的应用，如工程控制领域以及图像处理领域。对于图像领域中的纹理及边缘增强，通常的整数阶算子在图像的高频区域有较好的表现，如Sobel,Prewitt以及Laplacian算子。但是在低频的光滑区域，它们的性能退化严重；而分数阶算子不仅能够增强高频轮廓特征，同时也能够改善低频区域的纹理及边缘特征；如图11所示：
基于如上的理论，采用分数阶梯度插值的方法来恢复高频图像的细节，合成清晰的纹理及细节；
三种基本的分数阶导数定位为G-L,R-L以及Caputo；其中G-L定义应用最为广泛，在此采用G-L定义(参见下述文献：[27]D.Xue,Control system computer aideddesignmatlab language and application,M,Tsinghua University Press,Beijing.(控制***计算机辅助设计在matlab语言中的应用)[28]Y.Q.Chen,K.L.Moore,Discretization schemes for fractional-order differentiators and integrators,Circuits and Systems I:Fundamental Theory and Applications,IEEE Transactionson49(3)(2002)363–367.(分数阶差分和积分的离散表))，如下所示：
其中：
是多项式(1-z)α的系数，其能通过如下迭代运算
对于二维图像，参数h＝1，t∈[b-a]；因此函数f(t)的α阶导数能够近似为：
基于如上公式，设定
建立分数阶模板遮罩如下：
为使插值更加光滑，选择使用遮罩在区域的边缘方向来计算***点值；
边缘方向计算如下：
其中
和θ分别指输入图像块的x方向梯度，y方向梯度，以及边缘方向角度；对于插值的中心点，建立了6个方向遮罩，边缘插值点，建立了9个方向遮罩；如图7所示为插值的中心点及边缘点对应图；另请参见图3-6；
具体地：选择与输入图像块边缘方向最近的梯度模板来计算***的梯度值，***点的梯度计算如下：
其中：
为高分辨图像块的梯度，fx，y为输入的图像块，
为离图像块边缘角度最近的模板；
为了确定最优的梯度值及分数阶值，通过不断调整分数阶α值，计算其最小能量函数，确定***的最优梯度值；如下所示：
确定最优的高分辨率梯度
后，通过图像相似和梯度相似的最小能量函数，来重构高分辨图像；
高分辨率图像重构得相关内容如下：
重构图像采用如下公式：
其中：u为插值图像，h代表高斯核，*代表卷积算子，↓s代表下采样算子，↑s代表上采样算子，λ代表平衡图像相似和梯度相似的系数；
求解采用梯度下降法(参见文献：[30]M.D.Zeiler,Adadelta:一种自适应的学习率方法,arXiv预印本(an adaptive learning rate method,arXiv preprint arXiv):1212.5701.)；为使解很快达到全局最优，不累积所有梯度方差迭代，而只采用一定比例的梯度方差累积，这样保证了当误差大的时候迭代步长大，误差小的时候，迭代步长小，具体步骤如下所示：
ut+1＝ut+Δut
所述基于分数阶梯度插值的超分辨率方法，其特征在于：步骤①的具体要求是：
分数阶梯度模板根据分数阶导数G-L定义的泰勒近似展开系数建立：
其中：ΓO为伽马函数，
α阶导数的梯度模板建立为如下公式：
详细过程参见图3-6所示。
步骤②的具体要求是：
首先根据计算图像块边缘方向为：
之后根据边缘方向选择角度最接近的上述的模板，计算插值梯度为：
其中：
为最近邻模板，fx，y为低分辨率图像块，
为插值的梯度；最后调整分数阶α值，使如下能量函数最小，确定最优插值的梯度值如下：
本发明对应的实验结果说明如下：
在实验中，本发明与当前流行的其他方法进行了比较，实验结果显示本发明的方法在纹理等细节上有突出的表现。在图像处理过程中，由于RGB颜色模型各通道有颜色退化(参见文献：[31]D.Chen,Y.Chen,D.Xue,一维和二维分数阶差分算子，Golay微分器、信号、图像和视频处理(1-D and 2-D digital fractional-order Savitzky–Golaydifferentiator,Signal,Image and Video Processing)6(3)(2012)503–511.)。所以采用YUV颜色模型，并且为了简化运算，只采用Y通道实现算法，其它通道采用双立方插值实现超分辨率。
视觉相似性：本发明与当前流行的前言方法进行比较，采用伯克利数据库BSDS500(参见文献：[32]D.Martin,C.Fowlkes,D.Tal,J.Malik,人体分割自然图像及其应用来估价分割算法和测量，第八国际计算机视觉(A database of human segmented naturalimages and its application to evaluating segmentation algorithms andmeasuring ecological statistics,in:Proc.8th Int’l Conf.Computer Vision),Vol.2,2001,pp.416–423.)比例因子设置为4进行超分辨率比较。首先对数据中的图像下采样，分辨率及尺寸为原图像的1/4，之后测试各种超分辨方法。我们采用经典的“小孩kid”，“芯片chip”作为测试图像，比较结果如图12所示：
基于结构相似性指标(SSIM)及根均值方差(RMSE)(参见文献：[37]Z.Wang,A.C.Bovik,H.R.Sheikh,E.P.Simoncelli,图像质量评价：小波域结构相似度，IEEE图像处理(Image quality assessment:from error visibility to structural similarity,IEEE Transactions on Image Processing)13(4)(2004)600–612.[38]C.-Y.Yang,C.Ma,M.-H.Yang,单图像超分辨率：基准，计算机视觉(Single-image super-resolution:abenchmark,in:Computer Vision,Springer),2014,pp.372–386.[39]H.R.Sheikh,A.C.Bovik,G.De Veciana,一种对图像质量估价的信息保真标准,IEEE图像处理汇刊(Aninformation fidelity criterion for image quality assessment using naturalscene statistics,IEEE Transactions on Image Processing)14(12)(2005)2117–2128.)[37-39]，数据如下：最优值为黑色加粗。
表1均方根误差(RMSE)
表2结构相似性(SSIM)(4倍放大)
纹理效果及相似性:为测试纹理效果及相似性，我们采用5幅图像进行算法比对，并进行定量分析。纹理效果如图14所示，请在放大尺寸下观看。纹理相似性，采用纹理特征“Energy”，“Homogeneity”和“Entropy”进行比较，最优值用黑色标注。
表3纹理比对结果(4倍放大)
如上数据对比曲线图如图15所示。
为测试算法的鲁棒性，我们在8倍超分辨率下进行了测试。在大比例的情况下，算法需要估计更多的未知点，所以通常算法在大比例下会有严重失真，本算法提供的方法可提供较好的效果。如图16所示，由于尺寸限制，请在放大下观看。
本发明提供的一种基于分数阶梯度插值的超分辨率方法，采用分数阶梯度算法插值，并采用最小能量函数优化，可得到最优梯度值，在此梯度值基础上，采用图像相似及梯度相似最小能量函数进行重构，最终的高分辨率的图像可产生清晰的纹理及细节。与现有方法相比，本发明提供的方法的高分辨率图像有更高的相似度及更加清晰的纹理细节，并且在大比例下有较好的鲁棒性。
另：本发明所涉及的背景文献还有：
[29]B.Li,W.Xie,自适应分数阶差分方法及其医疗图像增强应用,计算机与电气工程(Adaptive fractional differential approach and its application to medicalimage enhancement,Computers&Electrical Engineering)45(2015)324–335.[30]M.D.Zeiler,Adadelta:一种自适应学习率方法,预刊印(an adaptive learning ratemethod,arXiv preprint arXiv):1212.5701.[33]C.-Y.Yang,M.-H.Yang,通过简单函数的快速超分辨率方法,IEEE计算机程序(Fast direct super-resolution by simplefunctions,in:Proceedings of the IEEE International Conference on Computer)Vision,2013,pp.561–568.[34]Q.Shan,Z.Li,J.Jia,C.-K.Tang,快速的图像及视频上采样,ACM交易图形(Fast image/video upsampling,in:ACM Transactions on Graphics)(TOG),Vol.27,ACM,2008,p.153.[35]G.Freedman,R.Fattal,从局部模板的图像及视频上采样,ACM交易图形(Image and video upscaling from local self-examples,ACMTransactions on Graphics)(TOG)30(2)(2011)12.[36]J.Yang,Z.Wang,Z.Lin,S.Cohen,T.Huang,对偶字典训练的图像超分辨率,ACM交易图形(Coupled dictionary trainingfor image super-resolution,IEEE Transactions on Image Processing)21(8)(2012)3467–3478.
附图说明
下面结合附图及实施方式对本发明作进一步详细的说明：
图1为低分辨率图像例图；
图2为高分辨率图像例图；
图3为中心点及6个方向示意图；
图4为插值中心点所构建的6个方向模板示意图；
图5为插值的边缘点及9个方向示意图；
图6为插值边缘点所构建的9个方向模板示意图；
图7为金字塔法构建多比例超分辨率图像原理示意图(插值的中心点及边缘点对应图)；
图8为金字塔法构建多比例超分辨率图像插值示意图；
图9为金字塔法构建多比例超分辨率图像时每层之间的示意图；
图10为金字塔法构建多比例超分辨率图像时的流程及算法示意图；
图11为分数阶算子可增强高频轮廓特征并改善低频区域的纹理及边缘特征的示意图；
图12为Bicubic、文献15、文献36、文献35、文献13及本发明所述方法的比较测试结果示意图；建议方法比例观看；
图13为原测试图片；
图14为采用5幅图像进行算法比对的示意图，从左到右分别为原始图像、bicubic方法图像，本发明所述方法得到的图像；
图15为对应表3的数据对比曲线图之一(小孩)；
图16为对应表3的数据对比曲线图之二(蘑菇)；
图17为对应表3的数据对比曲线图之三(花)；
图18为对应表3的数据对比曲线图之四(女孩)；
图19为8倍超分辨率下测试算法鲁棒性后的示意图之一(原图像)；
图20为8倍超分辨率下测试算法鲁棒性后的示意图之二(本发明所使用的算法处理后的图像)。
具体实施方式
实施例1
一种基于分数阶梯度插值的超分辨率方法，其步骤依次如下：①首先构建基于分数阶的梯度模板；②然后通过图像相似性准则选择最优分数阶值及插值梯度；③然后通过最小能量函数构建超分辨率图像；④之后通过金字塔法构建多比例超分辨率图像；其中：
步骤①的具体要求是：对插值的中心点建立6个方向的分数阶梯度模板，对插值边缘点建立9个方向的分数阶梯度模板；
步骤②的具体要求是：采用梯度相似的最小能量函数确定最优的分数阶值；
步骤③的具体要求是：采用如下算法：
其中：u为插值图像，h代表高斯核，*代表卷积算子，↓s代表下采样算子，↑s代表上采样算子，λ代表平衡图像相似和梯度相似的系数；
步骤④的具体要求是：每层比例为2，对每4个低分辨率像素点，插值1个中心点和4个边缘点；如图7-9。
金字塔法广泛应用于多比例信号表示，本实施例采用线性金字塔框架来分层构建高分辨图像，并提供高分辨率图像逐层构建的框架。与其他线性插值方法相比，本实施例所采用的线性金字塔法通过每层中最小能量函数，保证了每一层构建的高分辨率图像与相应的低分辨率图像的“保真性”，即相似性；金字塔构建方式如图9所示：每一层的比例因子设置为2；每个***点的值是由分数阶梯度值确定，并通过调整分数阶阶次值，由最小能量函数保证其***的梯度值与原低分辨率图像梯度值的相似性，进而确定其最优的梯度值；金字塔构建示意图如图9所示；
在每层中，***点满足如下要求示意图如图8所示：对于给定的第一层四个像素点梯度值(即四角的紫色点)，在其内部***5个梯度值(十字型的5个红色点)，构建得到第二层高分辨率图像，即图像放大2倍，在第三层重复上一步操作，在之前的基础上增加更多蓝色点，以下各层重复操作，所以图像的比例为2，4，8，....，2n；
建立完金字塔超分辨率框架后，我们需要确定插值点计算，使生成的高分辨图像有清晰的纹理结构以及出色的保真性。
处理流程及算法如图10所示：
首先构建高分辨图像的梯度值
调整分数阶值α，通过最小能量函数(图10中左侧第一个蓝框，保证图像的梯度相似)选择梯度与输入图像最相近的
即图10中优化的
之后通过重构的最小能量函数(左侧第三个蓝框，其中第一项保证图像相似，第二项保证图像的梯度相似)迭代出最终高分辨图像；其中h为高斯核，*为卷积运算，卷积高斯核是为了获得下采样图像，使高分辨率图像和低分辨率图像在同一分辨率下进行比较；如上为整个超分辨率方法的框架，下面逐个介绍每个步骤。
自优化的分数阶梯度插值相关内容如下：
分数阶运算已经得到了广泛的应用，如工程控制领域以及图像处理领域。对于图像领域中的纹理及边缘增强，通常的整数阶算子在图像的高频区域有较好的表现，如Sobel,Prewitt以及Laplacian算子。但是在低频的光滑区域，它们的性能退化严重；而分数阶算子不仅能够增强高频轮廓特征，同时也能够改善低频区域的纹理及边缘特征；如图11所示：
基于如上的理论，采用分数阶梯度插值的方法来恢复高频图像的细节，合成清晰的纹理及细节；
三种基本的分数阶导数定位为G-L,R-L以及Caputo；其中G-L定义应用最为广泛，在此采用G-L定义(参见下述文献：[27][28])，如下所示：
其中：
是多项式(1-z)α的系数，其能通过如下迭代运算
对于二维图像，参数h＝1，t∈[b-a]；因此函数f(t)的α阶导数能够近似为：
基于如上公式，设定
建立分数阶模板遮罩如下：
为使插值更加光滑，选择使用遮罩在区域的边缘方向来计算***点值；
边缘方向计算如下：
其中
和θ分别指输入图像块的x方向梯度，y方向梯度，以及边缘方向角度；对于插值的中心点，建立了6个方向遮罩，边缘插值点，建立了9个方向遮罩；如图7所示为插值的中心点及边缘点对应图；另请参见图3-6；
具体地：选择与输入图像块边缘方向最近的梯度模板来计算***的梯度值，***点的梯度计算如下：
其中：
为高分辨图像块的梯度，fx，y为输入的图像块，
为离图像块边缘角度最近的模板；
为了确定最优的梯度值及分数阶值，通过不断调整分数阶α值，计算其最小能量函数，确定***的最优梯度值；如下所示：
确定最优的高分辨率梯度
后，通过图像相似和梯度相似的最小能量函数，来重构高分辨图像；
高分辨率图像重构得相关内容如下：
重构图像采用如下公式：
其中：u为插值图像，h代表高斯核，*代表卷积算子，↓s代表下采样算子，↑s代表上采样算子，λ代表平衡图像相似和梯度相似的系数；
求解采用梯度下降法(参见文献：[30])；为使解很快达到全局最优，不累积所有梯度方差迭代，而只采用一定比例的梯度方差累积，这样保证了当误差大的时候迭代步长大，误差小的时候，迭代步长小，具
体步骤如下所示：
ut+1＝ut+Δut
所述基于分数阶梯度插值的超分辨率方法，其特征在于：步骤①的具体要求是：
分数阶梯度模板根据分数阶导数G-L定义的泰勒近似展开系数建立：
其中：ΓO为伽马函数，
α阶导数的梯度模板建立为如下公式：
详细过程参见图3-6所示。
步骤②的具体要求是：
首先根据计算图像块边缘方向为：
之后根据边缘方向选择角度最接近的上述的模板，计算插值梯度为：
其中：
为最近邻模板，fx，y为低分辨率图像块，
为插值的梯度；最后调整分数阶α值，使如下能量函数最小，确定最优插值的梯度值如下：
本实施例对应的实验结果说明如下：
在实验中，本实施例与当前流行的其他方法进行了比较，实验结果显示本实施例的方法在纹理等细节上有突出的表现。在图像处理过程中，由于RGB颜色模型各通道有颜色退化(参见文献：[31])。所以采用YUV颜色模型，并且为了简化运算，只采用Y通道实现算法，其它通道采用双立方插值实现超分辨率。
视觉相似性：本实施例与当前流行的前言方法进行比较，采用伯克利数据库BSDS500(参见文献：[32])比例因子设置为4进行超分辨率比较。首先对数据中的图像下采样，分辨率及尺寸为原图像的 1/4，之后测试各种超分辨方法。我们采用经典的“小孩kid”，“芯片chip”作为测试图像，比较结果如图12所示：
基于结构相似性指标(SSIM)及根均值方差(RMSE)(参见文献：[37][38][39])，数据如下：最优值为黑色加粗。
表1均方根误差(RMSE)
表2结构相似性(SSIM)(4倍放大)
纹理效果及相似性:为测试纹理效果及相似性，我们采用5幅图像进行算法比对，并进行定量分析。纹理效果如图14所示，请在放大尺寸下观看。
纹理相似性，采用纹理特征“Energy”，“Homogeneity”和“Entropy”进行比较，最优值用黑色标注。
表3纹理比对结果(4倍放大)
如上数据对比曲线图如图15所示。
为测试算法的鲁棒性，我们在8倍超分辨率下进行了测试。在大比例的情况下，算法需要估计更多的未知点，所以通常算法在大比例下会有严重失真，本算法提供的方法可提供较好的效果。如图16所示，由于尺寸限制，请在放大下观看。
本实施例提供的一种基于分数阶梯度插值的超分辨率方法，采用分数阶梯度算法插值，并采用最小能量函数优化，可得到最优梯度值，在此梯度值基础上，采用图像相似及梯度相似最小能量函数进行重构，最终的高分辨率的图像可产生清晰的纹理及细节。与现有方法相比，本实施例提供的方法的高分辨率图像有更高的相似度及更加清晰的纹理细节，并且在大比例下有较好的鲁棒性。
Claims (4)
1.一种基于分数阶梯度插值的超分辨率方法，其特征在于：其步骤依次如下：①首先构建基于分数阶的梯度模板；②然后通过图像相似性准则选择最优分数阶值及插值梯度；③然后通过最小能量函数构建超分辨率图像；④之后通过金字塔法构建多比例超分辨率图像；其中：
步骤①的具体要求是：对插值的中心点建立6个方向的分数阶梯度模板，对插值边缘点建立9个方向的分数阶梯度模板；
步骤②的具体要求是：采用梯度相似的最小能量函数确定最优的分数阶值；
步骤③的具体要求是：采用如下算法：
其中：u为插值后的图像，h代表高斯核，*代表卷积算子，↓s代表下采样算子，↑s代表上采样算子，λ代表平衡图像相似和梯度相似的系数；C(u)为最小能量函数，f为原始输入的图像，
为插值图像的梯度，
为优化的梯度；
步骤④的具体要求是：每层比例为2，对每4个低分辨率像素点，插值1个中心点和4个边缘点。
2.按照权利要求1所述基于分数阶梯度插值的超分辨率方法，其特征在于：步骤①的具体要求是：
分数阶梯度模板根据分数阶导数G-L定义的泰勒近似展开系数建立：
其中：Γ()为伽马函数，
α阶导数的梯度模板建立为如下公式：
3.按照权利要求1或2所述基于分数阶梯度插值的超分辨率方法，其特征在于：步骤②的具体要求是：
首先根据计算图像块边缘方向为：
之后根据边缘方向选择角度最接近的上述的模板，计算插值梯度为：
其中：
为最近邻模板，fx，y为低分辨率图像块，
为插值的梯度；最后调整分数阶α值，使如下能量函数最小，确定最优插值的梯度值如下：
4.按照权利要求1或2所述基于分数阶梯度插值的超分辨率方法，其特征在于：采用线性金字塔框架来分层构建高分辨图像，并提供高分辨率图像逐层构建的框架；线性金字塔法通过每层中最小能量函数，保证了每一层构建的高分辨率图像与相应的低分辨率图像的“保真性”，即相似性；金字塔构建方式满足如下要求：每一层的比例因子设置为2；每个***点的值是由分数阶梯度值确定，并通过调整分数阶阶次值，由最小能量函数保证其***的梯度值与原低分辨率图像梯度值的相似性，进而确定其最优的梯度值；
在每层中，***点满足如下要求：对于给定的第一层四个像素点梯度值，在其内部***5个梯度值，构建得到第二层高分辨率图像，即图像放大2倍，在第三层重复上一步操作，在之前的基础上增加更多点，以下各层重复操作，所以图像的比例为2，4，8，…，2n；
建立完金字塔超分辨率框架后，我们需要确定插值点计算，使生成的高分辨图像有清晰的纹理结构以及出色的保真性；
处理流程及算法：
首先构建高分辨图像的梯度值
调整分数阶值α，通过最小能量函数选择梯度与输入图像最相近的
即优化的
之后通过重构的最小能量函数迭代出最终高分辨图像；其中h为高斯核，*为卷积运算，卷积高斯核是为了获得下采样图像，使高分辨率图像和低分辨率图像在同一分辨率下进行比较；下面逐个说明每个步骤：
自优化的分数阶梯度插值相关内容如下：
采用分数阶梯度插值的方法来恢复高频图像的细节，合成清晰的纹理及细节；
三种基本的分数阶导数定位为G-L，R-L以及Caputo；其中G-L定义应用最为广泛，在此采用G-L定义，如下所示：
其中：
是多项式(1-z)α的系数，其能通过如下迭代运算
对于二维图像，参数h＝1，t∈[b-a]；因此函数f(t)的α阶导数能够近似为：
基于如上公式，设定
建立分数阶模板遮罩如下：
为使插值更加光滑，选择使用遮罩在区域的边缘方向来计算***点值；
边缘方向计算如下：
其中：
和θ分别指输入图像块的x方向梯度，y方向梯度，以及边缘方向角度；对于插值的中心点，建立了6个方向遮罩，边缘插值点，建立了9个方向遮罩；
具体地：选择与输入图像块边缘方向最近的梯度模板来计算***的梯度值，***点的梯度计算如下：
其中：
为高分辨图像块的梯度，fx，y为输入的图像块，
为离图像块边缘角度最近的模板；
为了确定最优的梯度值及分数阶值，通过不断调整分数阶α值，计算其最小能量函数，确定***的最优梯度值；如下所示：
确定最优的高分辨率梯度
后，通过图像相似和梯度相似的最小能量函数，来重构高分辨图像；
高分辨率图像重构得相关内容如下：
重构图像采用如下公式：
其中：u为插值图像，h代表高斯核，*代表卷积算子，↓s代表下采样算子，↑s代表上采样算子，λ代表平衡图像相似和梯度相似的系数；
求解采用梯度下降法；为使解很快达到全局最优，不累积所有梯度方差迭代，而只采用一定比例的梯度方差累积，这样保证了当误差大的时候迭代步长大，误差小的时候，迭代步长小，具体步骤如下所示：
ut+1＝ut+Δut。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710152709.7A CN106910215B (zh) | 2017-03-15 | 2017-03-15 | 一种基于分数阶梯度插值的超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710152709.7A CN106910215B (zh) | 2017-03-15 | 2017-03-15 | 一种基于分数阶梯度插值的超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106910215A CN106910215A (zh) | 2017-06-30 |
| CN106910215B true CN106910215B (zh) | 2022-01-07 |
Family
ID=59187618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710152709.7A Active CN106910215B (zh) | 2017-03-15 | 2017-03-15 | 一种基于分数阶梯度插值的超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106910215B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492270B (zh) * | 2018-03-23 | 2021-09-21 | 沈阳理工大学 | 一种基于模糊核估计和变分重构的超分辨率方法 |
| CN108805916B (zh) * | 2018-04-27 | 2021-06-08 | 沈阳理工大学 | 一种基于分数阶变分光流模型及对偶优化的图像配准方法 |
| CN110796612B (zh) * | 2019-10-09 | 2022-03-25 | 陈根生 | 一种图像增强方法及*** |
| CN114612294A (zh) * | 2020-12-08 | 2022-06-10 | 武汉Tcl集团工业研究院有限公司 | 一种图像超分辨率处理方法和计算机设备 |
| CN116664872A (zh) * | 2023-07-26 | 2023-08-29 | 成都实时技术股份有限公司 | 一种基于边缘计算的嵌入式图像识别方法、介质及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136727A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 |
| CN103337060A (zh) * | 2013-07-17 | 2013-10-02 | 蒲亦非 | 一种基于分数阶偏微分方程的纹理图像高精度去噪滤波器 |
| CN103854267A (zh) * | 2014-03-12 | 2014-06-11 | 昆明理工大学 | 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 |
| CN104050683A (zh) * | 2014-07-09 | 2014-09-17 | 东南大学 | 一种基于单幅图像分数阶处理的纹理力触觉感知方法 |
| CN104537613A (zh) * | 2014-12-02 | 2015-04-22 | 沈阳大学 | 一种用于改善图像视觉效果的分数阶I-divergence方法 |
| CN105787956A (zh) * | 2016-03-30 | 2016-07-20 | 深圳大学 | 构造基于分数阶微分信息的自适应权重活动轮廓模型的方法及*** |
| CN106169174A (zh) * | 2016-06-30 | 2016-11-30 | 北京大学 | 一种图像放大方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049878A (zh) * | 2012-12-10 | 2013-04-17 | 天津天地伟业数码科技有限公司 | 基于fpga和边缘预测算法的颜色插值方法 |
| CN103455986B (zh) * | 2013-09-13 | 2017-04-05 | 杨柱中 | 基于分数阶微分梯度的随机噪声点检测方法 |
| CN105023240B (zh) * | 2015-07-08 | 2019-07-09 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率***及方法 |
| CN105678700B (zh) * | 2016-01-11 | 2018-10-09 | 苏州大学 | 基于预测梯度的图像插值方法及*** |
-
2017
- 2017-03-15 CN CN201710152709.7A patent/CN106910215B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136727A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 |
| CN103337060A (zh) * | 2013-07-17 | 2013-10-02 | 蒲亦非 | 一种基于分数阶偏微分方程的纹理图像高精度去噪滤波器 |
| CN103854267A (zh) * | 2014-03-12 | 2014-06-11 | 昆明理工大学 | 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 |
| CN104050683A (zh) * | 2014-07-09 | 2014-09-17 | 东南大学 | 一种基于单幅图像分数阶处理的纹理力触觉感知方法 |
| CN104537613A (zh) * | 2014-12-02 | 2015-04-22 | 沈阳大学 | 一种用于改善图像视觉效果的分数阶I-divergence方法 |
| CN105787956A (zh) * | 2016-03-30 | 2016-07-20 | 深圳大学 | 构造基于分数阶微分信息的自适应权重活动轮廓模型的方法及*** |
| CN106169174A (zh) * | 2016-06-30 | 2016-11-30 | 北京大学 | 一种图像放大方法 |
Non-Patent Citations (8)
| Title |
|---|
| Accurate blur models vs. image priors in single image super-resolution;Netalee Efrat等;《ICCV2013》;20131230;1832-2839 * |
| FRACTIONAL CALCULUS IN IMAGE PROCESSING: A REVIEW;，Qi Yang等;《arXiv:1608.03240v1》;20160810;正文第2.1-2.2、3.1节 * |
| Fractional differential and variational method for image fusion and super-resolution;Huafeng Li等;《Neurocomputing》;20150630;正文第3节 * |
| Image denoising using fractional integral;Huang Guo等;《CSAE》;20120820;107-112 * |
| Image super-resolution using gradient profile prior;Jian Sun等;《CVPR》;20080805;1-8 * |
| Single image super-resolution via internal gradient similarity;Yang Xian等;《J. Vis. Commun. Image R.》;20151217;正文第2节 * |
| 基于分数阶微分的视网膜血管图像边缘检测;师一帅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315(第03期);I138-1017 * |
| 数字图像的分数阶微分自适应增强;陈庆利等;《计算机应用研究》;20150530;第32卷(第5期);1597-1600 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106910215A (zh) | 2017-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tu et al. | Maxim: Multi-axis mlp for image processing | |
| Yifan et al. | Patch-based progressive 3d point set upsampling | |
| CN106910215B (zh) | 一种基于分数阶梯度插值的超分辨率方法 | |
| Wang et al. | Edge-directed single-image super-resolution via adaptive gradient magnitude self-interpolation | |
| Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
| Yue et al. | Deep recursive super resolution network with Laplacian Pyramid for better agricultural pest surveillance and detection | |
| Li et al. | A two-channel convolutional neural network for image super-resolution | |
| Yang et al. | Single image super-resolution using self-optimizing mask via fractional-order gradient interpolation and reconstruction | |
| CN110060204B (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| CN108492270B (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
| Lu et al. | A deep learning method for image super-resolution based on geometric similarity | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| Mishra et al. | Self-FuseNet: data free unsupervised remote sensing image super-resolution | |
| Tang et al. | Deep residual networks with a fully connected reconstruction layer for single image super-resolution | |
| Mikaeli et al. | Single-image super-resolution via patch-based and group-based local smoothness modeling | |
| Chudasama et al. | RSRGAN: computationally efficient real-world single image super-resolution using generative adversarial network | |
| Zhou et al. | Single-image super-resolution based on local biquadratic spline with edge constraints and adaptive optimization in transform domain | |
| Li et al. | Guided depth map super-resolution using recumbent y network | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| Liu et al. | Image super-resolution via hierarchical and collaborative sparse representation | |
| Lu et al. | A lightweight generative adversarial network for single image super-resolution | |
| Zuo et al. | Gradient-guided single image super-resolution based on joint trilateral feature filtering | |
| Chudasama et al. | E-ProSRNet: An enhanced progressive single image super-resolution approach | |
| Yang et al. | Example-based image super-resolution via blur kernel estimation and variational reconstruction | |
| Ahmadian et al. | Single image super-resolution with self-organization neural networks and image laplace gradient operator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |