CN102595140B - 基于图像修复和矢量预测算子的帧内预测视频编码方法 - Google Patents

Abstract

本发明涉及一种基于图像修复和矢量预测算子的帧内预测视频编码方法，其技术特点是：(1)计算当前块基于HEVC中传统帧内预测模式的率失真代价值RD1；(2)计算当前块基于拉普拉斯方程图像修复方法的帧内预测模式的率失真代价值RD2，若RD2小于RD1，则计算当前块基于全变分模型图像修复方法的帧内预测模式的率失真代价值RD2；(3)计算当前块基于矢量预测算子的帧内预测模式的率失真代价值RD3；(4)编码端根据RD1、RD2和RD3的比较结果，计算得到当前块的预测像素值并对当前块进行预测、压缩和编码。本发明设计合理，提高了已有的基于图像修复的帧内预测模式的预测准确性，能够在编解码后视频质量基本不变的情况下，降低编码码率，从而提高视频编码的压缩效率。

Description

基于图像修复和矢量预测算子的帧内预测视频编码方法

技术领域

本发明涉及视频压缩技术领域，特别是一种基于图像修复和矢量预测算子的帧内预测视频编码方法。

背景技术

在实际的视频序列中，空间相关性是数据冗余的一个重要来源。在去除空间冗余方面，无论在理论上还是在实际应用中，帧内预测都是一个简单、有效和可靠的方法。因此，帧内预测一直都是视频编码技术研究中的一个热点，对于降低视频压缩数据中的空间冗余具有重要意义。

H.264相比于之前编码标准的一个重要改进是引入了帧内预测模式，这使得它能利用视频的空间相关性来进一步提高压缩效率。当前待预测块中的每个像素都可用17个最接近的先前已编码像素的加权和来预测，即此像素所在块的左上角的17个像素。利用帧内预测算法，在除去相邻块之间的空间冗余度方面，取得更为有效的压缩效果。在H.264中，对于4x4、8x8、16x16大小的预测块，分别有9、9、4种预测模式进行预测。作为H.264/AVC的下一代协议，高效率视频编码(High Efficiency Video Coding，HEVC)重点关注对高清/超高清视频进行有效的压缩和编码。HEVC继承了H.264的混合编码模式，但在各个模块中都采用更加先进的算法，以提高压缩效率。在帧内预测方面，HEVC采用了更高效的四叉树块结构，这对应于H.264中的宏块及子块的概念。此外，相较于先前的标准，HEVC大大增加了可用的预测模式，最高可达34种。由此可以看出，在传统的帧内预测方法中，为了提高帧内预测的准确性，主要是通过增加帧内预测的模式数量和采用更加复杂的宏块划分方案，但是，这种方法增加了用于表示宏块划分结果和每个子块预测模式的数据量，同时，传统的帧内预测采用固定的预测方向，无法自适应地处理实际图像。

解决上述问题的一个方法是采用基于图像修复的帧内预测，同时，由于帧内预测可以被看作一个图像修复问题，因此，基于图像修复的帧内预测是当前的一个技术热点。图像修复(Image Inpainting)是指利用待修复区域的边缘信息，采用传播机制将信息传播到待修补的区域内。纹理合成在修复含有大量细节的大区域方面效果很好，通常使用的是模板匹配的方法；基于求解偏微分方程的图像修复更适合于平坦的小区域；T.K Tan等人提出了一种基于模板匹配的帧内预测方法以及一种基于优先级模板匹配的帧内预测方法；V.Bastani和D.Liu等人将基于求解偏微分方程的图像修复方法分别应用于图像和视频压缩；D.Doshkove等人将模板匹配和偏微分方程相结合的图像修复方法应用于帧内预测当中，并取得很好的实验结果。但是，上述基于图像修复的帧内预测存在如下两个问题：1、常用的基于拉普拉斯偏微分方程图像修复的帧内预测无法有效地处理图像中的非平坦区域，尤其是含有边沿的情况；2、基于纹理合成图像修复的帧内预测能够有效地利用帧内预测的非局部相关性，然而，模板匹配需要进行大量的计算，增加了编解码的运算复杂度，对实时应用会有影响。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够有效提高预测准确性和视频编码的压缩效率的基于图像修复和矢量预测算子的帧内预测视频编码方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于图像修复和矢量预测算子的帧内预测视频编码方法，包括以下步骤：

(1)计算当前块基于HEVC中传统帧内预测模式的率失真代价值RD1；

(2)计算当前块基于拉普拉斯方程图像修复方法的帧内预测模式的率失真代价值RD2，若率失真代价值RD2小于RD1，则计算当前块基于全变分模型图像修复方法的帧内预测模式的率失真代价值RD2；

(3)计算当前块基于矢量预测算子的帧内预测模式的率失真代价值RD3；

(4)编码端根据率失真代价值RD1、RD2和RD3的比较结果，选取最小率失真代价值所对应的帧内预测模式，按所对应的帧内预测模式计算得到当前块的预测像素值并对当前块进行预测、压缩和编码。

而且，所述的率失真代价值RD1、率失真代价值RD2、率失真代价值RD3均是由HEVC自带的率失真代价计算模块计算得到。

而且，所述基于全变分模型图像修复的帧内预测模式计算当前块的预测像素值是通过如下迭代公式迭代完成后得到：

$u_O^{\left(n\right)}=\underset{P\∈{\mathrm{\Λ}}_O}{\mathrm{\Σ}}{h}_{\mathrm{OP}}^{(n-1)}{u}_P^{(n-1)}+h_{\mathrm{OO}}^{(n-1)}{u}_O^{(n-1)}$

其中，h^(n-1)＝h(u^(n-1))，n-1表示上次迭代过程中的各个参数的相应值，n表示当前迭代过程中各个参数的相应值。

而且，所述通过基于矢量预测算子的帧内预测模式计算当前块的预测像素值的方法包括以下步骤：

(1)将当前块划分为相等子块P_i，i＝1，2，3，4，i初始化为1，搜索区域S设置为当前块相邻左侧与上方、2x当前块大小且不包括当前块的像素区域；

(2)对当前子块P_i和搜索区域S进行1/2下采样，得到下采样后的DP_i和DS；

(3)计算DP_i在DS中的最小SAD值，得到位置坐标(x，y)，若SAD值大于或等于阈值Thres，则认为当前块不适用本模式，结束返回，否则继续；

(4)计算当前子块P_i在S中(2x，2y)及其相邻位置中的最小SAD值所在坐标，得到当前子块P_i的预测值与匹配块矢量Vi，并将P_i并入搜索区域S，i自加1，其中，相邻位置的定义为(2x-1，2y)、(2x+1，2y)、(2x，2y-1)和(2x，2y+1)，在上述五个匹配块中寻找SAD值最小的块作为最优匹配块，如果(2x，2y)靠近搜索区域的边沿，则只选取可用的匹配块进行比较；

(5)若i小于或等于4，则执行步骤(2)，否则处理结束并得到当前块的预测像素值和矢量数据。

而且，所述的计算SAD值采用如下公式：

$\mathrm{SAD}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|S_{t\arg \mathrm{et}}\left(i\right)-S_{\mathrm{template}}\left(i\right)|$

式中，N是子块中像素的数量，i代表像素位置，S_target是搜索区域中的像素块，S_template是选定的模板像素块。

本发明的优点和积极效果是：

本发明设计合理，针对HEVC中的帧内预测视频编码方法，引入了基于拉普拉斯方程和全变分模型相结合的增强型图像修复的帧内预测模式以及基于矢量预测算子的帧内预测模式，通过比较率失真代价而选取最优的模式进行预测和编码，通过帧内图像的非局部相关性来提高HEVC视频编解码器的总体率失真性能，该方法不仅可以解决传统帧内预测中预测模式固定、无法自适应视频内容的问题，提高了已有的基于图像修复的帧内预测模式的预测准确性，而且能够在编解码后视频质量基本不变的情况下，降低编码码率，从而提高视频编码的压缩效率。

附图说明

图1为基于图像修复算法的帧内预测示意图；

图2为全变分模型数值化求解中相关像素位置定义；

图3为基于矢量预测算子的帧内预测中宏块划分与搜索区域示意图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于图像修复和矢量预测算子的帧内预测视频编码方法，如图1所示，采用基于拉普拉斯方程和全变分模型相结合的增强型图像修复的帧内预测模式以及基于矢量预测算子的帧内预测模式，通过比较率失真代价而选取选取具有最小率失真代价的模式对当前宏块进行预测和压缩，具体包括以下步骤：

步骤1：计算当前块基于HEVC中传统帧内预测模式的率失真代价值RD1。

HEVC中帧内预测模式的选择是根据率失真代价的计算而实现，即选择具有最小率失真代价的模式作为当前宏块的预测模式，因此，HEVC自带了率失真代价计算模块。HEVC中的帧内预测模式与本发明所提出的基于拉普拉斯方程图像修复方法的帧内预测模式以及基于矢量预测算子的帧内预测模式的率失真代价都是通过该模块来计算，本发明的实现不需要关心该数值的具体值，仅为了表述的方便而将其记为RD1，下同。

步骤2：计算当前块基于拉普拉斯方程图像修复方法的帧内预测模式的率失真代价值RD2，若率失真代价值RD2小于RD1，则计算当前块基于全变分模型图像修复方法的帧内预测模式的率失真代价值RD2。

本步骤是将基于拉普拉斯方程和全变分模型相结合形成的增强型图像修复的帧内预测模式，以提高帧内预测的准确性和帧内预测的压缩效率，解决传统帧内预测中预测模式固定、无法自适应视频内容的问题。

步骤3：计算当前块基于矢量预测算子的帧内预测模式的率失真代价值RD3。

步骤4：编码端根据率失真代价值RD1、RD2和RD3的比较结果，选取最小率失真代价值所对应的帧内预测模式，按所对应的帧内预测模式计算得到当前块的预测像素值并对当前块进行预测、压缩和编码。

在本步骤中，根据率失真代价值RD1、RD2和RD3的比较结果选取相应的帧内预测模式，即：如果RD1最小，则选取HEVC中传统的帧内预测模式计算当前块的预测像素值，如果RD2最小，则选取基于全变分模型图像修复的帧内预测模式计算当前块的预测像素值，如果RD3最小，则选取基于矢量预测算子的帧内预测模式计算当前块的预测像素值。下面分别说明三种帧内预测模式计算当前块的预测像素值的方法：

1、通过HEVC中传统的帧内预测模式计算当前块的预测像素值的方法：

通过HEVC中传统的帧内预测模式计算当前块的预测像素值，该方法是属于HEVC自身具有的功能，在此不进行具体说明。

2、通过基于全变分模型图像修复的帧内预测模式计算当前块的预测像素值的方法为：

基于拉普拉斯方程的帧内预测模式计算当前块的预测像素值的方法为：

在二维离散情况下，拉普拉斯算子的数值形式可以表示为：

$\mathrm{Lf}(x,y)=\underset{(i,j)\∈u_4(x,y)}{\mathrm{\Σ}}f(i,j)-4f(x,y)---\left(1\right)$

其中，u₄(x，y)代表了当前像素点f(x，y)的4个相邻像素点。然而，当f(x，y)位于右侧和下方的边界上时，某些相邻像素点不可用，必须特殊处理。由此得到了下面的表达式：

$\mathrm{Lf}(x,y)=\underset{(i,j)\∈{\mathrm{\μ}}_4(x,y)}{\mathrm{\Σ}}\mathrm{\χ}(i,j)f(i,j)-N_{\mathrm{xy}}f(x,y)---\left(2\right)$

当相应的相邻像素可用时，χ(x，y)为1，否则为0，N_xy代表可用的相邻像素数。通过这种方式，基于拉普拉斯方程的图像修复算法能够正确地处理边界处像素不可用的情况。利用迭代的方法求解，其过程可以表达如下：

f^(t+1)＝f^(t)+c^(t)(Lf)^(t)，t＝0，1，2，...    (3)

其中，c^(t)代表迭代的步长，当||f^(τ+1)-f^(τ)||小于某个阈值时，函数f^(τ)就被认为是基于拉普拉斯方程的帧内预测所得到的预测像素值。

基于全变分模型图像修复的帧内预测模式计算当前块的预测像素值的方法为：

如图2所示，对于给定的目标像素0，定义E、N、W和S分别表示其四个相邻的像素，e、n、w和s分别表示相应的四个中间位置上的点，这四个点是假想的点，在图像中并不能直接得到。定义：

Λ_o＝{E，N，W，S}    (4)

$v=(v^1,v^2)=\▿u/|\▿u|---\left(5\right)$

其中，

表示函数u的梯度，

表示函数u梯度的模，v表示归一化的函数u的梯度，是一个矢量。接下来，求中心处的差分值：

$\▿\·v=\frac{{\∂v}^1}{\∂x}+\frac{{\∂v}^2}{\∂y}\≈\frac{v_e^1-v_w^1}{h}+\frac{v_n^2-v_s^2}{h}---\left(6\right)$

其中，h代表了网格的尺寸，并且在图像处理中往往取作1，

和

分别表示中心像素右侧、左侧、上侧和下侧的假想中间像素e、n、w和s上函数v的值。接下来，进一步得到中间像素上函数v的估计值，这些点处的信息并不是从图像中直接得到的。例如，将中间像素e作为例子：

$v_e^1=\frac{1}{\left|{\▿u}_e\right|}{\left[\frac{\∂u}{\∂x}\right]}_e\≈\frac{1}{\left|{\▿u}_e\right|}\frac{u_E-u_O}{h}---\left(7\right)$

$\left|{\▿u}_e\right|\≈\frac{1}{h}\sqrt{{(u_E-u_O)}^2+{[(u_{\mathrm{NE}}+u_N-u_S-u_{\mathrm{SE}})/4]}^2}---\left(8\right)$

其中，u是像素值函数，u_E表示位置E上的u的值，其余类推。上述对中间像素e上函数v的计算方法也适用于其他三个方向上的中间像素n、w和s。

此时，可以全变分模型算法的离散化表达式：

$0=\underset{P\∈{\mathrm{\Λ}}_O}{\mathrm{\Σ}}\frac{1}{\left|{\▿u}_p\right|}(u_O-u_P)+{\mathrm{\λ}}_e\left(O\right)(u_O-u_O^0)---\left(9\right)$

其中，0表示区域E∩Ω中的任一像素，Λ_O表示像素0四个邻近方向上的像素集合{N，S，W，S}，若P＝E，那么p表示e，其余类推，u_O表示待求的像素值，与函数f对应，

表示已知的像素值，与函数f*对应。定义：

$w_P=\frac{1}{\left|{\▿u}_P\right|},P\∈{\mathrm{\Λ}}_O---\left(10\right)$

$h_{\mathrm{OP}}=\frac{w_P}{{\mathrm{\Σ}}_{P\∈{\mathrm{\Λ}}_O}{w}_P+{\mathrm{\λ}}_e\left(O\right)}---\left(11\right)$

$h_{\mathrm{OO}}=\frac{{\mathrm{\λ}}_e\left(O\right)}{{\mathrm{\Σ}}_{P\∈{\mathrm{\Λ}}_O}{w}_P+{\mathrm{\λ}}_e\left(O\right)}---\left(12\right)$

最终得到的迭代公式为：

$u_O^{\left(n\right)}=\underset{P\∈{\mathrm{\Λ}}_O}{\mathrm{\Σ}}{h}_{\mathrm{OP}}^{(n-1)}{u}_P^{(n-1)}+h_{\mathrm{OO}}^{(n-1)}{u}_O^{(n-1)}---\left(13\right)$

其中，h^(n-1)＝h(u^(n-1))，n-1表示上次迭代过程中的各个参数的相应值，n表示当前迭代过程中各个参数的相应值。迭代完成后，即得到当前块基于全变分模型图像修复的帧内预测模式的预测像素值。

3、通过基于矢量预测算子的帧内预测模式计算当前块的预测像素值的方法为：

该方法的核心是在已重构像素区域中利用当前块附近的像素值通过模板匹配来得到当前块的预测像素值，以利用帧内图像的非局部相关性。为达到上述目的，对当前宏块进行编码时，采用如下步骤实现：

(1)将当前块划分为相等子块P_i，i＝1，2，3，4，i初始化为1，搜索区域S设置为当前块相邻左侧与上方、2x当前块大小且不包括当前块的像素区域，如图3所示。

(2)对当前子块Pi和搜索区域S进行1/2下采样，得到下采样后的DPi和DS。

(3)计算DP_i在DS中的最小SAD值，得到位置坐标(x，y)，若SAD值大于或等于阈值Thres，则认为当前块不适用本模式，结束返回，否则继续。其中，SAD值的计算表达式为：

$\mathrm{SAD}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|S_{t\arg \mathrm{et}}\left(i\right)-S_{\mathrm{template}}\left(i\right)|---\left(14\right)$

其中，N是子块中像素的数量，i代表像素位置，S_target是搜索区域中的像素块，S_template是选定的模板像素块。

(4)计算Pi在S中(2x，2y)及其相邻位置中的最小SAD值所在坐标，得到当前子块Pi的预测值与匹配块矢量Vi，并将Pi并入搜索区域S，i自加1。其中，相邻位置的定义为(2x-1，2y)、(2x+1，2y)、(2x，2y-1)和(2x，2y+1)。在上述五个匹配块中寻找SAD值最小的块作为最优匹配块。另外，若(2x，2y)靠近搜索区域的边沿，则并不是所有四个相邻匹配块都可用，此时，只选取可用的匹配块进行比较。

(5)若i小于或等于4，则执行步骤(2)，否则结束返回，得到当前块的预测像素值和矢量数据。

实例验证中采用的仿真环境为HEVC参考软件HM 2.0，将本发明所提出的基于增强型图像修复算法和矢量预测算子的帧内预测模式嵌入到了HM2.0的帧内预测模块中。具体来说，本帧内预测模式是作为一个附加模式添加到了编码单元CU的模式选择过程中，模式选择的标准是依据标准的HEVC中的率失真代价函数计算。如果新预测模式的率失真代价函数值小于HEVC中自身预测模式，那么将使用本发明所提出的新的预测模式，否则，将使用HEVC中自身的预测模式。为了评估本发明中新预测模式的性能，共使用了5个视频序列。这5个视频序列选取自JCT-VC对技术提案进行评估时所采用的视频序列集，分辨率由低到高。下面是进行实验时的参数设定：帧内最大TU深度为3，TU最小值为4，最大值为32；CABAC熵编码和RDOQ打开；除此之外，每个视频序列都使用全帧内模式进行编码，故Intra Period和GOP Size均为1。最终用来评估压缩性能的PSNR值(峰值信噪比)和编码码率由HM2.0自带的统计工具完成。

表1给出了本发明所提出帧内预测模式编码码率实例验证结果表，为了便于对比，同时给出了基于矢量预测、拉普拉斯方程和增强型图像修复的编码码率结果。所有的比特率变化均与HM2.0中原有的帧内预测模式编码结果相比较。每个视频序列的编码帧数量均为10，量化参数QP设置为32。

表1

表2给出了本发明所提出帧内预测模式PSNR实例验证结果表，每个视频序列的编码帧为10帧，量化参数QP为32。从表2中可以看出，与HM2.0中原始的帧内预测编码模式相比，PSNR基本上保持不变。

表2

结合表1和表2，我们可以看出，基于增强型图像修复算法的帧内预测模式的压缩性能很明显地好于基于拉普拉斯方程的帧内预测模式，将增强型图像修复算法和矢量预测算子相结合时，最高能够达到4.51％的比特率节省，平均结果为1.65％。因此，实例验证结果表明，本发明所提出的新的预测模式，在PSNR基本保持不变的情况下，达到了平均1.65％的比特率节省。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于图像修复和矢量预测算子的帧内预测视频编码方法，其特征在于：包括以下步骤：

(1)计算当前块基于HEVC中传统帧内预测模式的率失真代价值RD1；

(2)计算当前块基于拉普拉斯方程图像修复方法的帧内预测模式的率失真代价值RD2，若率失真代价值RD2小于RD1，则计算当前块基于全变分模型图像修复方法的帧内预测模式的率失真代价值RD2；

(3)计算当前块基于矢量预测算子的帧内预测模式的率失真代价值RD3；

(4)编码端根据率失真代价值RD1、RD2和RD3的比较结果，选取最小率失真代价值所对应的帧内预测模式，按所对应的帧内预测模式计算得到当前块的预测像素值并对当前块进行预测、压缩和编码。

2.根据权利要求1所述的基于图像修复和矢量预测算子的帧内预测视频编码方法，其特征在于：所述的率失真代价值RD1、率失真代价值RD2、率失真代价值RD3均是由HEVC自带的率失真代价计算模块计算得到。

3.根据权利要求1所述的基于图像修复和矢量预测算子的帧内预测视频编码方法，其特征在于：所述基于全变分模型图像修复的帧内预测模式计算当前块的预测像素值是通过如下迭代公式迭代完成后得到：

$u_O^{\left(n\right)}=\underset{P\∈{\mathrm{\Λ}}_O}{\mathrm{\Σ}}{h}_{\mathrm{OP}}^{(n-1)}{u}_P^{(n-1)}+h_{\mathrm{OO}}^{(n-1)}{u}_O^{(n-1)}$

其中，h^(n-1)＝h(u^(n-1))，n-1表示上次迭代过程中的各个参数的相应值，n表示当前迭代过程中各个参数的相应值。

4.根据权利要求1所述的基于图像修复和矢量预测算子的帧内预测视频编码方法，其特征在于：所述通过基于矢量预测算子的帧内预测模式计算当前块的预测像素值的方法包括以下步骤：

(1)将当前块划分为相等子块P_i，i＝1，2，3，4，i初始化为1，搜索区域S设置为当前块相邻左侧与上方、2x当前块大小且不包括当前块的像素区域；

(2)对当前子块P_i和搜索区域S进行1/2下采样，得到下采样后的DP_i和DS；

(3)计算DP_i在DS中的最小SAD值，得到位置坐标(x，y)，若SAD值大于或等于阈值Thres，则认为当前块不适用本模式，结束返回，否则继续；

(4)计算当前子块P_i在S中(2x，2y)及其相邻位置中的最小SAD值所在坐标，得到当前子块P_i的预测值与匹配块矢量Vi，并将P_i并入搜索区域S，i自加1，其中，相邻位置的定义为(2x-1，2y)、(2x+1，2y)、(2x，2y-1)和(2x，2y+1)，在上述五个匹配块中寻找SAD值最小的块作为最优匹配块，如果(2x，2y)靠近搜索区域的边沿，则只选取可用的匹配块进行比较；

(5)若i小于或等于4，则执行步骤(2)，否则处理结束并得到当前块的预测像素值和矢量数据。

5.根据权利要求4所述的基于图像修复和矢量预测算子的帧内预测视频编码方法，其特征在于：所述的计算SAD值采用如下公式：

$\mathrm{SAD}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|S_{t\arg \mathrm{et}}\left(i\right)-S_{\mathrm{template}}\left(i\right)|$

式中，N是子块中像素的数量，i代表像素位置，S_target是搜索区域中的像素块，S_template是选定的模板像素块。

Images