CN105678700A - 基于预测梯度的图像插值方法及*** - Google Patents

Abstract

本发明公开一种基于预测梯度的图像插值方法及***，主要是为了提供一种根据有效判断像素为边缘像素，且能够有效提高插值质量而设计。本发明基于预测梯度的图像插值方法，包括：判断待插值像素是否为边缘像素，若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。本发明，能够有效判断图像梯度值，保留了边缘，纹理信息，减少插值算法中存在的锯齿现象和模糊现象并且处理转换到Lab颜色空间上的彩色图像只需要消耗较少的计算时间，对于实时图像应用具有重要的意义。

Description

基于预测梯度的图像插值方法及***

技术领域

本发明涉及一种基于预测梯度的图像插值方法及***。

背景技术

图像的空间分辨率是人类视觉***观察数字图像的一个重要特性，分辨率越高，人眼就能获得越多的图像细节信息。在许多领域都需要高分辨率的数字图像，比如：人脸识别，军事雷达图像处理，生物医学切片分析以及数字高清电视的应用等。总的来说，提高图像分辨率的方式有两种，一种是对图像的采集设备进行升级，另一种就是利用软件的方式来提高已采集到的数字图像的空间分辨率。虽然在过去的几十年中，随着数码摄像机传感器设备的发展，便携式摄像机或者是扫描器都已经取得了较大的进步，但是利用软件的方式提高数字图像的分辨率仍然是必不可少的。利用软件的方法提高图像分辨率可以被视为一种实用且经济的解决方法，也可以作为硬件***的一个附加设备。

图像插值是图像处理过程中一个重要的步骤，它是图像数据再生的一个过程，目的在于将一幅低分辨率(LR)图像通过增加像素的方式变成一幅高分辨率(HR)图，这样能够保存自然图像的特性。

在过去的几十年中，基于时间复杂度和重建质量的权衡，各种各样的图像插值方法相继被提出。这些插值方法可以被粗略地分为两大类：一种是传统的线性插值方法，另一种就是后来改进的非线性插值方法。这两类方法的主要不同点在于，传统的线性插值方法对于整幅图像采用不变的卷积内核而不考虑图像的结构信息；但是改进的非线性插值方法会对图像的不同部分采用不同的插值策略，比如对人类视觉***不太重要的背景部分，采用简单的线性插值方法处理，而对人类视觉***有重要影响的边缘部分则需要根据边缘的方向，强弱等采用不同的插值策略。

传统的线性插值方法包括最近邻插值，双线性插值，双三次插值以及其他一些稍作改进的方法。这些方法的时间复杂度较低，在处理图片时消耗的CPU时间也相对比较少。但是，这类方法只是简单地从数学的角度增加图像的像素数，并不能适应不同场景下的像素结构。最后，插值得到的图像显得比较模糊即使在较平坦的区域或者背景部分可以取得较好的插值结果。所以，为改善插值图像的视觉质量，一些改进的非线性插值方法应运而生。

改进的非线性插值方法，主要包括基于协方差，小波，边缘信息以及机器学***均，那么这四个加权系数就反映了图像的局部结构特征。然后在低分辨图像上利用一个8×8的窗口来计算协方差系数，通过计算得到的协方差系数来确定每个像素周围的加权系数从而进行插值。后来，Zhang和Wu提出了另一种基于协方差系数的方法叫做SAI(soft-decisioninterpolation)。这种方法与NEDI相比主要的不同点在于它同时计算一个像素块的插值权重，这样的话，在每一步，它都可以对一个像素块进行插值。通过这种像素块估计和分段自回归模型，SAI插值方法相比较NEDI方法可以获得更好的插值结果，但同时也需要消耗更多的计算时间。

由于小波具有多分辨率分析功能和逐渐局部细化等性质，基于小波的插值方法也相继被提出。正交小波分解后各层子带之间具有相似性，若能准确地得到图像的高频细节，利用重构的理论，就可以得到分辨率高一倍的图像。传统的基于小波的插值方法是对原图像进行小波分解，利用低分辨率图像的高频信息预测高分辨率图像的高频信息，然后通过某种方法估计高分辨率图像中的低频信息，就可以重构出高分辨率的图像。Carey和Chuang等人利用图像边缘在各个尺度中的衰减系数来构造最佳的小波，然后根据已有的小波分解信息对图像进行插值。小波基的选择在基于小波的图像插值算法中占据举足轻重的地位。

基于边缘信息的图像插值方法的核心思想是对非边缘像素点采用无方向的传统的插值方法进行插值，而对于边缘像素点则采用有方向的插值方法。其中效果比较好的方法就是Wei和Ma提出的基于图像边缘对比度的插值方法CGI(contrast-guidedinterpolation)的方法。该方法先对整幅图像采用传统插值方法(如双三次插值)，然后在插值完成的高分辨率图像上采用边缘检测算子检测出边缘，对于检测出来的边缘点根据像素点所处的边缘方向采用有方向的插值方法(如一维三次样条插值)进行更新。而本发明提出的基于预测-校验的图像插值方法也是一种基于图像边缘的插值方法。

近些年，随着机器学习理论的快速发展及其在各个领域的广泛应用，基于机器学习的图像插值方法越来越受到关注。其中较为代表性的就是基于稀疏编码的图像插值方法。这种方法首先需要训练一个插值用的字典，然后根据原始图像图片与字典中参考图片的稀疏关系来获得高分辨率的插值图像。但是，这种方法与训练得到的字典数据库高度相关，并且不同内容的图片插值得到的结果也会不一样。结果，当原始图像图片不是自相似的或者在字典数据库中找不到相似的图像块时，插值得到的图片的质量会不太好，并且会产生一些人工伪迹。

如果数据库很大的话，离线训练过程和图像插值在线搜索过程将会消耗很长时间，而且所需要的电脑内存也是需要解决的一个问题。

发明内容

针对上述问题，本发明提供一种更好的保留了边缘，纹理信息的基于预测梯度的图像插值方法及***。

为达到上述目的，本发明基于预测梯度的图像插值方法，包括：

判断待插值像素是否为边缘像素，

若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；

若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。

进一步地，判断待插值像素是否为边缘像素具体包括：

计算低分辨率图像上所有像素I_l(i，j)的梯度值，梯度值计算公式为： $U_{l_{\mathrm{\θ}}}\left(i,j\right)=\left|{\▿}_{l_{\mathrm{\θ}}}{I}_l\left(i,j\right)\right|,$

指像素(i，j)上的梯度值，是LR图像的方向导数，θ代表所计算梯度的方向，S_θ是Sobel边缘检测器，*是卷积操作；

采用预测方法选择待插值像素周围的像素I_l(i，j)的梯度值预测该待插值像素的梯度值公式表示如下：Ψ为一种预测方法；

计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比较，

若大于或等于所述阈值，则该待插值像素为边缘像素；

若小于所述阈值，则该待插值像素为非边缘像素。

进一步地，所述预测方法包括：双三次预测、基于预插值图片的预测。

进一步地，所述的非线性插值方法具体包括：

对边缘像素进行扩散，并计算扩散后的梯度；

基于低分辨图像LR的像素I_l(i，j)，对处理高分辨图像对角上的像素进行插值，其中，

若I_A＝I_h(i-1，j-1)，I_B＝I_h(i+1，j+1)，I_C＝I_h(i-3，j-3)以及I_D＝I_h(i+3，j+3)。

若U₁₃₅(i，j)-U₄₅(i，j)＞T，I_A＝I_h(i+1，j+1)，I_B＝I_h(i-1，j-1)，I_c＝I_h(i+3，j+3)以及I_D＝I_h(i-3，j-3)；

基于低分辨率图像的I_l(i，j)以及处理图像插值得到的对角像素I_h(2i，2j)，对余下的水平和垂直方向上的像素进行处理，插值公式下如所示：

I_O＝ω(I_A+I_B)+(1-ω)(I_C+I_D)

若I_A＝I_h(i-1，j)，I_B＝I_h(i+1，j)，I_C＝I_h(i-3，j)以及I_D＝I_h(i+3，j)。

若I_A＝I_h(i，j-1)，I_B＝I_h(i，j+1)，I_C＝I_h(i，j-3)以及I_D＝I_h(i，j+3)；

其中，I_A，I_B，I_C和I_D是已知像素，I_O是待插像素，ω是可调参数，T是一个阈值。

进一步地，ω为17/40，T＝0.08。

为达到上述目的，本发明基于预测梯度的彩色图像插值方法，包括：

将彩色图像从RGB颜色空间转到Lab颜色空间；

分离亮度分量L、色度分量a,b；

色度分量a,采用线性插值方法进行插值处理；

亮度分量L采用权利要求1至5任一所述的基于预测梯度的图像插值方法进行插值。

进一步地，彩色图像从RGB颜色空间转到Lab颜色空间，具体包括：

将原始的rgb色彩分量通过Gamma矫正为RGB色彩分量

R＝gamma(r)，G＝gamma(g)，B＝gamma(b)(r，g，b∈[0.255])

将RGB模式转换为XYZ模式

[X，Y，Z]=[M]*[R，G，B]

其中，M是一个3×3的矩阵；

将XYZ模式转换为Lab模式

其中，f是矫正函数，X₁，Y₁，Z₁分别是线性诡异化之后的X,Y,Z值。

为达到上述目的，本发明基于预测梯度的图像插值***，包括：

边缘像素判断模块，用于判断待插值像素是否为边缘像素，

若该待插值像素为非边缘像素，则线性插值模块采用线性插值方法进行插值得到高分辨率图像；

若该待插值像素为边缘像素，则非线性插值模块采用非线性插值方法进行插值得到高分辨率图像。

进一步地，所述的边缘像素判断模块，包括：

计算单元，用于计算低分辨率图像上所有像素I_l(i，j)的梯度值，梯度值计算公式为： $U_{l_{\mathrm{\θ}}}\left(i,j\right)=\left|{\▿}_{l_{\mathrm{\θ}}}{I}_l\left(i,j\right)\right|,$

指像素(i，j)上的梯度值，是LR图像的方向导数，θ代表所计算梯度的方向，S_θ是边缘检测器，*是卷积操作；

采用预测方法选择待插值像素周围的像素I_l(i，j)的梯度值预测该待插值像素的梯度值公式表示如下：Ψ为一种预测方法；

比较单元，用于计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比较，

若大于或等于所述阈值，则该待插值像素为边缘像素；

若小于所述阈值，则该待插值像素为非边缘像素。

进一步地，所述的非线性插值模块包括：

扩散单元，用于对边缘像素进行扩散，并计算扩散后的梯度；

对角线插值单元，基于低分辨图像LR的像素I_l(i，j)，对处理高分辨图像对角上的像素进行插值，其中，

若I_A＝I_h(i-1，j-1)，I_B＝I_h(i+1，j+1)，I_C＝I_h(i-3，j-3)以及I_D＝I_h(i+3，j+3)。

若U₁₃₅(i，j)-U₄₅(i，j)＞T，I_A＝I_h(i+1，j+1)，I_B＝I_h(i-1，j-1)，I_C＝I_h(i+3，j+3)以及I_D＝I_h(i-3，j-3)；

水平和垂直方向值单元，基于低分辨率图像的I_l(i，j)以及处理图像插值得到的对角像素I_h(2i，2j),对余下的水平和垂直方向上的像素进行处理，插值公式下如所示：

I_O＝ω(I_A+I_B)+(1-ω)(I_C+I_D)

若I_A＝I_h(i-1，j)，I_B＝I_h(i+1，j)，I_C＝I_h(i-3，j)以及I_D＝I_h(i+3，j)。

若I_A＝I_h(i，j-1)，I_B＝I_h(i，j+1)，I_C＝I_h(i，j-3)以及I_D＝I_h(i，j+3)；

其中，I_A，I_B，I_C和I_D是已知像素，I_O是待插像素，ω是可调参数，T是一个阈值。

有益效果

本发明与方法与现有技术具备如下有益效果：

本发明对于边缘像素采用一维方向滤波器进行处理，而对于非边缘像素则采用二维无方向滤波器进行处理。同时用待插像素周边的梯度值来预测其梯度值以及边缘方向。提高了人眼主观视觉质量，并且在时间复杂度上，与目前常用的插值方法相比，本发明的速度也名列前茅，对实现实时的在线图像插值是非常重要的。

附图说明

图1是本发明基于预测梯度的图像插值方法插值流程图；

图2是本发明基于预测梯度的图像插值方法梯度值的计算图；

图3是展示了不同梯度值确定方法的能量图；

图4是不同的边缘强度应具有不同的边缘宽度的示意图；

图5是相邻2个像素与水平方向形成夹角的4种情况；

图6是本发明图像插值的步骤图；

图7是实验中用到的8幅测试图片；

图8是利用上述8种算法处理图片“Station”的结果；

图9是8幅图片在8中不同插值算法下的平均峰值信噪比比较。

具体实施方式

下面结合附图对本发明做进一步的描述。

说明：为了能够方便区分，在本发明中，将待插值的低分辨率图像标记为图像LR，称为低分辨率像素，图像LR上的每一个像素记为I_l(i，j)，这里1≤i≤M,1≤j≤N，图像LR的尺寸是M×N。通过插值得到的高分辨率图像记为图像HR，图像上的每一个像素记为I_h(i，j)，称为待插值像素，图像HR的尺寸是m×n。如果硬件条件允许的话，m和n可以为任意值。

插值算法的应用：

基于各个插值算法的有效性以及其固有特性，它们已被引用多次并被运用到各个领域。

①可以利用图像插值技术来对图像进行修复，当对一幅图像进行插值放大后，本发明就可以获得更多的未知像素值，因为图像的重建就是对受损像素的修补，而如果本发明将这些受损的像素作为未知值，那么求解这些受损像素的过程就是通过邻域像素预估待求未知像素的过程，也就是插值，所以利用插值方法对图像进行修复是一个很好的思路。

②在数字电视(DTV)向高清晰度电视(HDTV)过度阶段，仅有部分电视节目会以HDTV的形式播出，不少节目采用的仍是DTV的形式。因此，可以利用超分辨率重建技术将DTV信号转化为HDTV接收机相匹配的信号，提高电视节目的兼容性。

③在银行、证券等部门的安全监控***中，当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索。

④可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图像信息，当有不同需要时，再利用超分辨率重构技术获得不同分辨率的图像和视频。

⑤以“对数极坐标映射”数学模型为基础的空间分辨率可变视觉***中，可以利用图像插值算法来确定“最优对应”像素，这样得到的映射变换图不仅进一步减弱了马赛克现象，而且可以提高图像旋转、缩放值得估计精度，为基于变换阵的图像处理与识别奠定了基础。

⑥利用插值算法可以对目标进行移除。例如旧照片由于存放时间较长，可能会有划痕，为了使照片看上去跟新的一样，本发明就必须移除照片上的划痕。问题是划痕的去除并不是想象的那么简单，因为移除划痕后，划痕所在区域就会变成白色，所以本发明需要对移除划痕后的图像进行修复，而利用图像插值方法对图像进行修复是一种简单可行的办法。

实施例1

本实施例基于预测梯度的图像插值方法，包括：

判断待插值像素是否为边缘像素，

若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；

若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。

本实施例中，给定一个连续色调的梯度图像I(i，j),此时这个梯度图像可以看成是一个关于(i，j)的二维函数。为了判断某一像素是否为边缘像素，本发明需要计算此像素的梯度值，计算公式如公式(1)所示：

公式(1)

这里，指像素(i，j)上的梯度值，是LR图像的方向导数，θ代表所计算梯度的方向，它有4个候选值(具体原因将会在下文进行详细说明)，分别为θ＝45°，θ＝135°，θ＝0°和θ＝90°，|·|代表绝对值。对于一个数字图像I_l(i，j)而言，本发明可以利用卷积来计算方向导数，如公式(2)所示：

公式(2)

这里，S_θ代表Sobel边缘检测器，*代表卷积操作。需要重点注意的是：公式(1)和公式(2)表示如何计算LR图像上任意像素的梯度值但是本发明的任务是计算HR图像上像素的梯度很显然，对于插值倍数是2的情况，所有LR图像上像素的梯度值都可以直接复制到HR图像上的相应位置处，也就是：I_h(2i-1，2j-1)＝I_h(i，j)，那么HR图像上的部分像素梯度也可以直接得到：这样的话，待确定的梯度值分别为以及本发明可以使用某种策略根据待计算梯度周围的值来确定HR图像上未知像素位置上的梯度值。图3展示了不同梯度值确定方法的能量图。

实施例2

本实施例基于预测梯度的图像插值方法，在实施例1的基础上，所述非线性插值方法具体包括如下内容。

边缘对比度越大，越容易被人眼所观测，人眼视觉***之所以能够观察到一幅自然梯度图像的边缘是因为相邻区域间较大的梯度差异，如图4(a)所示，而这种梯度间的差异本发明可以称之为对比度或者边缘强度。运用某一边缘检测算法，对于图4(a)给定的图像，将会得到图4(b)所示的边缘结果图，此时形成的边缘线是梯度图像的真实边缘，也是人眼所观测到的边缘。但是有一点值得注意，边缘强度越大，越易被人眼视为边缘。可惜的是，边缘检测算法对于边缘强度的检测无能为力。如图4(a)所示，3个相邻区域间的对比度明显是不一样的，但是边缘检测算法检测出来的边缘强度是一样的(图4(b))，而本发明所期待的结果应如图4(c)所示，因此本发明需要计算具有不同宽度的“边缘”，以便能够将不同强度的边缘区分开，在这篇文章中，本发明将这样的“边缘”叫做对比度。换句话说，在本发明已经用边缘检测算法检测出边缘像素后，本发明对其进行扩散，使得具有较大对比度的边缘像素的邻近像素也划分为边缘像素进行处理。

构造一个正则表达式来解决上述问题，其中包括两项，一个是数据保真项E_d(u_θ)，另一个为平滑项λE_s(u_θ)

公式(4)

其中，u_θ指梯度值U_θ经过扩散之后的值，拉格朗日系数λ是一个正则参数，用来约束数据项E_d(u_θ)和平滑项E_s(u_θ)之间的权重。注意到u_θ的求解非常困难，从而将公式(4)的求解转化为一个迭代求解的过程,如公式(5)所示，其中的n代表迭代次数。

公式(5)

λ的取值为0.18,n取值为6。

在对图像梯度值进行扩散后，就可以使得图像上不同强度的边缘具有不同的宽度，然后通过计算某一像素正交方向上的梯度差值就可以判断该像素是否为边缘像素。实际生活中，边缘的方向可以在[0°,180°]方向上任意变化，但是在实验中，本发明将自然图像进行数字化，用一个个的像素表示，此时相邻两个像素形成的边缘与水平方向的夹角只有4种情况，分别为0°，90°，45°和135°，如图5所示。因此，在判断某一像素是否为边缘像素时，本发明仅用4个方向的边缘检测算子，两组正交方向的梯度差值进行判断。那么，上文提到的HR图像上的梯度可以简单记为U_O(i，j)，U₉₀(i，j)，U₄₅(i，j)和U₁₃₅(i，j)。

对已给定的一幅LR图像，本发明先用一种边缘检测算子区分图像上的边缘像素和非边缘像素。对于非边缘像素，本发明采用传统的插值方法比如双三次对其进行插值。对于边缘像素，本发明需要根据其边缘强度确定其周围应该被归为“边缘像素”的像素(有可能原本是非边缘像素)并计算扩散后的梯度：u₀(i，j),u₉₀(i，j)，u₄₅(i，j)以及u₁₃₅(i，j)。

本发明需要对扩散后的“边缘像素”进行插值，由于边缘方向的不同，本发明需要根据图6所示的两个步骤进行处理。在步骤1中，基于原始LR图像的像素I_l(i，j)，先对HR图像对角上的像素进行插值；在步骤2中，基于原始的I_l(i，j)以及步骤1中插值得到的I_h(2i，2j),余下的水平和垂直方向上的像素将会被处理。插值公式如(6)所示

I_O＝ω(I_A+IB)+(1-ω）（I_C+ID）公式(6)

这里，I_A，I_B，I_C和I_D是已知像素，I_O是待插像素，ω是可调参数，实验中的值为17/40。I_A，I_B，I_C和I_D的选择遵从以下规则：

步骤1中：

i若I_A＝I_h(i-1，j-1)，I_B＝I_h(i+1，j+1)，I_C＝I_h(i-3，j-3)以及I_D＝I_h(i+3，j+3)。

ii若U₁₃₅(i，j)-U₄₅(i，j)＞T，I_A＝I_h(i+1，j+1)，I_B＝I_h(i-1，j-1)，I_C＝I_h(i3+，j+3)以及I_D＝I_h(i-3，j-3)。

步骤2中：

i若I_A＝I_h(i-1，j)，I_B＝I_h(i+1，j)，I_C＝I_h(i-3，j)以及I_D＝I_h(i+3，j)。

ii若I_A＝I_h(i，j-1)，I_B＝Ih(i，j+1)，I_C＝I_h(i，j-3)以及I_D＝I_h(i，j+3)。

此处T是一个阈值，其中T＝0.08。

实施例3

本实施例基于预测梯度的图像插值***，包括：

边缘像素判断模块，用于判断待插值像素是否为边缘像素，

若该待插值像素为非边缘像素，则线性插值模块采用线性插值方法进行插值得到高分辨率图像；

若该待插值像素为边缘像素，则非线性插值模块采用非线性插值方法进行插值得到高分辨率图像。

在本实施例中，同一幅彩色图像在不同的颜色空间的表现情况是不同的。其中，RGB颜色空间是最重要也是应用最为广泛的颜色空间，其他的颜色空间是RGB颜色空间线性或非线性的一种变化。在以RGB代表的颜色空间中，一幅彩色图片可以表示为如下模型：

这里，r，g和b分别表示彩色图像的3个通道。对于RGB颜色空间的彩色图像插值，本发明可以将彩色图片分为R,G,B三个颜色通道，则每个颜色通道的图像都可以当作灰度图像进行处理。但是在RGB颜色空间上进行彩色图像插值有一个较为明显的劣势，三个通道毫无关联的进行插值再进行组合很容易产生伪色，这是由于人眼对RGB三个通道的颜色敏感程度是不一样的。举个例子，3幅彩色图片I₁，I₂，I₃,当它们的颜色空间差异值相同，也就是说当时，人眼对这三幅图片的敏感程度并不一定相同。

若单纯从RGB颜色空间差异值上看，黑色与灰色的对比度与黑色与红色的对比度是相同的，但实际人眼观测的结果应该是黑色与红色的对比度明显大于黑色与灰色的对比度。由此，衍生出了各种各样的颜色空间，这里简单介绍Lab颜色空间，并将彩色图像的插值转换到此空间上进行处理。

众所周知，Lab颜色空间是一种设备无关的颜色***，也是一种基于生理特征的颜色***。这就意味着，它是用数字化的方法来描述人的视觉感应，其中，L称为亮度分量，a和b称为色度分量。将彩色图像从RGB颜色空间转到Lab颜色空间，需要三个步骤：

将原始的rgb色彩分量通过Gamma矫正为RGB色彩分量

R＝gamma(r)，G＝gamma(g)，B＝gamma(b)(r，g，b∈[0，255])

公式(7)

将RGB模式转换为XYZ模式

[X，Y，Z]＝[M]*[R，G，B]公式(8)

其中，M是一个3×3的矩阵。

将XYZ模式转换为Lab模式

公式(9)

其中f是一个类似Gamma函数的矫正函数，X₁，Y₁，Z₁分别是线性诡异化之后的X,Y,Z，值。利用公式(7)，(8)，(9)就可以将一幅彩色图片从RGB颜色空间转换到Lab颜色空间。为了显示彩色图像在Lab空间上较RGB空间的优越性，本发明将上面提到的3幅彩色图像分别转换到Lab空间，然后比较它们的差异。

在Lab空间上，红色与黑色的颜色差异大于黑色与灰色的颜色差异，这与人眼观察到这3幅图的结果相似。将彩色图像转换到Lab空间后，对人眼影响较大的是亮度分量L，而色度分量a,b的轻微变化并不会对人眼观察图片的结果有较大影响，所以，本发明只需要对L分量采用本发明提出的基于预测-校验梯度图像的插值算法，对色度分量采用传统的插值算法即可，这样在插值效果变化不大的情况下可以节省大量的时间，这对彩色图像插值的实时应用具有重要的意义。

实施例4

本实施例基于预测梯度的图像插值***，包括：

边缘像素判断模块，用于判断待插值像素是否为边缘像素，

若该待插值像素为非边缘像素，则线性插值模块采用线性插值方法进行插值得到高分辨率图像；

若该待插值像素为边缘像素，则非线性插值模块采用非线性插值方法进行插值得到高分辨率图像。

本实施例中，所述的边缘像素判断模块，包括：

计算单元，用于计算低分辨率图像上所有像素I_l(i，j)的梯度值，梯度值计算公式为： $U_{l_{\mathrm{\θ}}}\left(i,j\right)=\left|{\▿}_{l_{\mathrm{\θ}}}{I}_l\left(i,j\right)\right|$

指像素(i，j)上的梯度值，是LR图像的方向导数，θ代表所计算梯度的方向，S_θ是Sobel边缘检测器，*是卷积操作；

采用预测方法选择待插值像素周围的像素I_l(i，j)的梯度值预测该待插值像素的梯度值公式表示如下：Ψ为一种预测方法；

比较单元，用于计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比较，

若大于或等于所述阈值，则该待插值像素为边缘像素；

若小于所述阈值，则该待插值像素为非边缘像素。

本实施例中，所述的非线性插值模块包括：

扩散单元，用于对边缘像素进行扩散，并计算扩散后的梯度；

对角线插值单元，基于低分辨图像LR的像素I_l(i，j)，对处理高分辨图像对角上的像素进行插值，其中，

若I_A＝I_h(i-1，j-1)，I_B＝I_h(i+1，j+1)，I_C＝I_h(i-3，j-3)以及I_D＝I_h(i+3，j+3)。

若U₁₃₅(i，j)-U₄₅(i，j)＞T，I_A＝I_h(i+1，j+1)，I_B＝I_h(i-1，j-1)，I_C＝I_h(i+3，j+3)以及I_D＝I_h(i-3，j-3)；

水平和垂直方向值单元，基于低分辨率图像的I_l(i，j)以及处理图像插值得到的对角像素I_h(2i，2j),对余下的水平和垂直方向上的像素进行处理，插值公式下如所示：

I_O＝ω(I_A+I_B)+(1-ω)(I_C+I_D)

若I_A＝I_h(i-1，j)，I_B＝I_h(i+1，j)，I_C＝I_h(i-3，j)以及I_D＝I_h(i+3，j)。

若I_A＝I_h(i，j-1)，I_B＝I_h(i，j+1)，I_c＝I_h(i，j-3)以及I_D＝I_h(i，j+3)；

其中，I_A，I_B，I_C和I_D是已知像素，I_O是待插像素，ω是可调参数，T是一个阈值。

本发明进行了大量的仿真实验，从客观和主观两个方面验证本发明提出的基于预测梯度的插值算法较目前常用的7种插值算法的优越性。这7种插值算法包括传统的双三次插值算法，NEDI插值算法，LMMSE插值算法，SAI插值算法，SME插值算法，CGI插值算法以及NARM插值算法。

在实验中，本发明将传统的双三次插值算法作为基准算法以定量计算其余改进算法较双三次算法在插值性能和计算时间上的优势。图7显示了实验中用到的8幅测试图片(都为pgm格式)。为了可以将插值图片与测试图片的真实图进行比较，本发明首先分别对每幅图进行降采样获得相应的低分辨率图LR，采样因子为2×2，并且在降采样过程中不要人为地添加噪声。那么在插值过程中的输入图片就是这些降采样得到的LR图，然后对这些图片进行插值，插值因子为2×2，最后可以得到与原始图片尺寸大小相同的HR图。这样做的目的是可以定量的计算插值得到的图片与原始图片的峰值信噪比PSNR(peaksignal-to-noiseratio)以及结构相似性SSIM(structuralsimilarity)。而这两种度量标准也是目前衡量图片处理结果的重要指标。

表1：各个算法在对LR进行2×2插值得到的图片与原图片的PSNR(单位：dB)比较。LR是通过对原HR图片进行2×2降采样得到的图片。最后一行数据是各算法在处理8幅测试图片得到的平均PSNR高出双三次插值的数据。对于每幅图片各算法中取得最大值的数据已用黑色字体标出。

表2：各个算法在对LR进行2×2插值得到的图片与原图片的SSIM比较。LR是通过对原HR图片进行2×2降采样得到的图片。最后一行数据是各算法在处理8幅测试图片得到的平均SSIM高出双三次插值的数据。对于每幅图片各算法中取得最大值的数据已用黑色字体标出。

表3：不同算法的插值时间比较(单位：秒)。实验允许环境：MATLAB版本2014，计算机条件：InterCore3.10GHzCPU，安装内存RAM为4GB。

表1是所有插值算法所得到的峰值信噪比PSNR比较，本发明可以看出，SME，NARM以及本发明所提出的算法要比其他算法的效果好。而且本发明所提出算法的平均结果要比SME和NARM算法好。

在进行客观比较时，除了PSNR这个标准外，本发明也用结构相似性SSIM对结果进行测评，由于SSIM这个指标与人类视觉感知结果相似，结果如图2所示。值得注意的是，PSNR和SSIM都是用来比较插值图像和原图像的相似度，也就是说值越大，效果越好。从表2中，本发明可以看出，本发明提出的算法比其他7种算法结果好。

本发明提出的插值算法的另一个优势在于时间相对较少，表3记录了处理8幅图片所消耗的CPU时间。从表3，本发明可以看出，本发明算法所耗时间略高于Bicubic和CGI，但是比其他算法时间要短。

本发明算法插值得到的结果在边缘部分没有产生伪彩色，而CGI却出现较多伪彩色，而且在CPU时间消耗方面，本发明算法大约是CGI的一半，这对以后的实时彩图图像插值应用具有重要的意义。

这篇文章提出了一种新的基于边缘的图像插值方法。这种方法可以看成是已存在的对比度引导的插值算法CGI的一个改进算法。本发明的贡献有两个方面：一是提出了一种在图像插值过程中判断待插像素是否是边缘像素的新策略；二是提出了一种基于变换颜色空间的彩色图像插值算法。本发明算法则是用待插像素周边的梯度值来预测其梯度值以及边缘方向。在处理彩色图像插值时，本发明考虑到图像的亮度和色度对人眼影响的差异，在对亮度分量进行插值时采用本发明提出的梯度图像插值算法，而对色度分量则采用传统的图像插值算法进行插值时，这样可以降低处理彩色图像所需要的时间，提高算法的执行效率。大量实验结果证明无论是从主观视觉质量评估还是客观度量计算方面，本发明提出的算法都具有很大的优势，并且在时间复杂度上，与目前常用的插值方法相比，本发明提出的方法的速度也名列前茅，这一结果对实现实时的在线图像插值是非常重要的。

对本发明应当理解的是，以上所述的实施例，对本发明的目的、技术方案和有益效果进行了进一步详细的说明，以上仅为本发明的实施例而已，并不用于限定本发明，凡是在本发明的精神原则之内，所作出的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (10)

1.一种基于预测梯度的图像插值方法，其特征在于，包括：

判断待插值像素是否为边缘像素，

若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；

若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。

2.根据权利要求1所述的基于预测梯度的图像插值方法，其特征在于，判断待插值像素是否为边缘像素具体包括：

计算低分辨率图像上所有像素I_i(i，j)的梯度值，梯度值计算公式为： $U_{l_{\mathrm{\θ}}}(i,j)=\left|{\▿}_{l_{\mathrm{\θ}}}{I}_l(i,j)\right|,$

指像素（i，j)上的梯度值，是LR图像的方向导数，θ代表所计算梯度的方向，S_θ是边缘检测器，*是卷积操作；

采用预测方法选择待插值像素周围的像素I_i(i，j)的梯度值预测该待插值像素的梯度值公式表示如下：Ψ为一种预测方法；

计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比较，

若大于或等于所述阈值，则该待插值像素为边缘像素；

若小于所述阈值，则该待插值像素为非边缘像素。

3.根据权利要求2所述的基于预测梯度的图像插值方法，其特征在于，所述预测方法包括：双三次预测、基于预插值图片的预测。

4.根据权利要求2所述的基于预测梯度的图像插值方法，其特征在于，所述的非线性插值方法具体包括：

对边缘像素进行扩散，并计算扩散后的梯度；

基于低分辨图像LR的像素I_i(i，j)，对处理高分辨图像对角上的像素进行插值，其中，

若I_A＝I_h(i-1，j-1)，I_B＝I_h(i+1，j+1)，I_C＝I_h(i-3，j-3)以及I_D＝I_h(i+3，j+3)。

若U₁₃₅(i，j)-U₄₅(i，j)＞T，I_A＝I_h(i+1，j+1)，I_B＝I_h(i-1，j-1)，I_C＝I_h(i+3，j+3)以及I_D＝I_h(i-3，j-3)；

基于低分辨率图像的I_i(i，j)以及处理图像插值得到的对角像素I_h(2i，2j)，对余下的水平和垂直方向上的像素进行处理，插值公式下如所示：

I_O＝ω(I_A+I_B)+(1-ω)(I_C+I_D)

若I_A＝I_h(i-1，j)，I_B＝I_h(i+1，j)，I_C＝I_h(i-3，j)以及I_D＝I_h(i+3，j)。

若I_A＝I_h(i，j-1)，I_B＝I_h(i，j+1)，I_C＝I_h(i，j-3)以及I_D＝I_h(i，j+3)；

其中，I_A，I_B，I_C和I_D是已知像素，I_O是待插像素，ω是可调参数，T是一个阈值，T取值为0至1。

5.根据权利要求4所述的基于预测梯度的图像插值方法，其特征在于，ω为17/40，T＝0.08。

6.一种基于预测梯度的彩色图像插值方法，其特征在于，包括：

将彩色图像从RGB颜色空间转到Lab颜色空间；

分离亮度分量L、色度分量a，b；

色度分量a、b，采用线性插值方法进行插值处理；

亮度分量L采用权利要求1至5任一所述的基于预测梯度的图像插值方法进行插值。

7.根据权利要求6所述的基于预测梯度的彩色图像插值方法，其特征在于，彩色图像从RGB颜色空间转到Lab颜色空间，具体包括：

将原始的rgb色彩分量通过Gamma矫正为RGB色彩分量

R＝gamma(r)，G＝gamma(g)，B＝gamma(b)(r，g，b∈[0，255])

将RGB模式转换为XYZ模式

[X，Y，Z]＝[M]*[R，G，B]

其中，M是一个3×3的矩阵；

将XYZ模式转换为Lab模式

$\left\{\begin{array}{c}L=116*f\left(Y_1\right)-16\\ a=500*\left(f\right(X_1)-f(Y_1\left)\right)\\ b=200*\left(f\right(Y_1)-f(Z_1\left)\right)\end{array}\right.$

其中，f是矫正函数，X₁，Y₁，Z₁分别是线性诡异化之后的X，Y，Z值。

8.一种基于预测梯度的图像插值***，其特征在于，包括：

边缘像素判断模块，用于判断待插值像素是否为边缘像素，

若该待插值像素为非边缘像素，则线性插值模块采用线性插值方法进行插值得到高分辨率图像；

若该待插值像素为边缘像素，则非线性插值模块采用非线性插值方法进行插值得到高分辨率图像。

9.根据权利要求8所述的基于预测梯度的图像插值***，其特征在于，所述的边缘像素判断模块，包括：

计算单元，用于计算低分辨率图像上所有像素I_i(i，j)的梯度值，梯度值计算公式为： $U_{l_{\mathrm{\θ}}}(i,j)=\left|{\▿}_{l_{\mathrm{\θ}}}{I}_l(i,j)\right|,$

指像素(i，j)上的梯度值，是LR图像的方向导数，θ代表所计算梯度的方向，S_θ是边缘检测器，*是卷积操作；

采用预测方法选择待插值像素周围的像素I_i(i，j)的梯度值预测该待插值像素的梯度值公式表示如下：Ψ为一种预测方法；

比较单元，用于计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比较，

若大于或等于所述阈值，则该待插值像素为边缘像素；

若小于所述阈值，则该待插值像素为非边缘像素。

10.根据权利要求8所述的基于预测梯度的图像插值***，其特征在于，所述的非线性插值模块包括：

扩散单元，用于对边缘像素进行扩散，并计算扩散后的梯度；

对角线插值单元，基于低分辨图像LR的像素I_i(i，j)，对处理高分辨图像对角上的像素进行插值，其中，

若I_A＝I_h(i-1，j-1)，I_B＝I_h(i+1，j+1)，I_C＝I_h(i-3，j-3)以及I_D＝I_h(i+3，j+3)。

若U₁₃₅(i，j)-U₄₅(i，j)＞T，I_A＝I_h(i+1，j+1)，I_B＝I_h(i-1，j-1)，I_C＝I_h(i+3，j+3)以及I_D＝I_h(i-3，j-3)：

水平和垂直方向值单元，基于低分辨率图像的I_i(i，j)以及处理图像插值得到的对角像素I_h(2i，2j)，对余下的水平和垂直方向上的像素进行处理，插值公式下如所示：

I_O＝ω(I_A+I_B)+(1-ω)(I_C+I_D)

若I_A＝I_h((i-1，j)，I_B＝I_h(i+1，j)，I_C＝I_h(i-3，j)以及I_D＝I_h(i+3，j)。

若I_A＝I_h(i，j-1)，I_B＝I_h(i，j+1)，I_C＝I_h(i，j-3)以及I_D＝I_h(i，j+3)：

其中，I_A，I_B，I_C和I_D是已知像素，I_O是待插像素，ω是可调参数，T是一个阈值，T取值为0至1。