CN106604031A - 一种基于兴趣区域的h.265视频质量提升方法 - Google Patents

Abstract

本发明公开了一种基于兴趣区域的H.265视频质量提升方法，我们提出了一种新的基于兴趣区域(ROI)的H.265码率控制算法，目的是提高主观视觉质量的同时仍保持码率控制精度。首先，提出了一种新的基于图显著性模型，通过时空域显著图来对当前帧的兴趣区域进行估计，进而来确定兴趣区域(ROI)和指导帧(Frame)级和最大编码宏块(LCU)级比特位分配。考虑到视频质量平滑的问题，分别在空间域和时域对λ和QP值的调整进行限制。实验结果表明，该算法可以使输出比特率达到目标值，同时有效地提升了视频帧的兴趣区域峰值信噪比(PSNR)，因此编码序列的整体主观视觉质量比HM10.0标准中自带的码率控制算法大大提高。

Description

一种基于兴趣区域的H.265视频质量提升方法

技术领域

本发明属于视频编解码领域，涉及一种基于兴趣区域的H.265视频质量提升方法。

背景技术

H.265视频编解码标准是ITU-T视频编码专家组(VCEG)和ISO/IEC的运动图像专家组(MPEG)的标准化组织联合推出的最新的视频编解码标准(JCT-VC)。H.265标准仍然是基于传统的基于块的运动补偿的混合视频编码概念，但在算法上进行了大量的改进和创新，相对于以前的标准，如引入64x64的超宏块、四叉树的编码结构和更加完善的编码后处理模块，例如SAO。H.265显著提高编码效率，与264相比，视频编码效果在相同图像质量(PSNR)的情况下，码率节省40～50％,但算法复杂度提升了几百倍。

码率控制是视频编码中至关重要的模块，根据目标比特率来调整编码器输出的实际比特率，避免视频编码帧输出过大或过小，影响到解码的设计和网络传输。多种码率控制算法已在视频编码标准发展过程被提出，例如MPEG-2测试模型(TM5)和MPEG-4验证模型(VM)8、H.264/AVC中的JVT-N046。H.265中也提出了一些新的码率控制算法。例如基于二次R-Q模型和称为二次像素为基础的统一的速率量化(URQ)模型，这个也是HM6推荐的码率控制算法。HM10.0中提出了一种线性的R-λ模型，基于码率控制算法λ模型。它可以分为两个部分：第一部分是位分配，第二部分是根据已分配的位来调整编码参数。第二部分涉及R-λ模型

λ＝α·R^β (1)

其中，α和β是与视频源相关的参数，R是目标设码率。λ是拉格朗日算子在率失真优化(RDO)过程中起到非常重要的作用。量化参数(QP)是从如下方程中的获取：

QP＝4.2005lnλ+13.7122 (2)

由于基于线性R-λ模型的码率控制算法其优异的压缩性能，此码率控制算法目前已成为H.265参考软件(HM)推荐的码率控制算法。从视频和人类视觉特性，HM10.0推荐的码率控制算法还有如下二点不足，存在改进的空间：

1)它没有考虑到人眼视觉特性，导致LCU层的比特分配不是最优。其LCU级比特分配是基于以前的编码帧属于同一位置的LCU平均绝对差(MAD)。然而，这些方法无法比拟人类视觉***的特点，因为一个区域的有很高的平均绝对差值，但这区域并不会受到太多的人的关注。

2)视频序列中有两种情况：物体在移动，背景相对静止；背景在运动，物体相对静止。这二种情况，基于线性R-λ模型的码率控制算法，都不能得到最佳的主观上视觉体验。

发明内容

本发明的目的是克服现有技术的不足，在JCTVC-K0103R-λ模型码率控制过程中加入一种基于感兴趣区域H.265码率控制改进方法。

本发明的技术方案如下：

本发明公开了一种基于兴趣区域的H.265视频质量提升方法，包括如下步骤：

1)初始化码率相关的参数：R-λ模式码率控制初始量化参数QP方程如下：

λ＝α·R^β (1)

QP＝4.2005lnλ+13.7122 (2)

其中α和β是与视频源相关的参数，R是目标码率值，λ是率失真拉格朗日算子，式(2)就是获取初始量化参数；

2)基于相干规范融合方法融合空间域显著图分量S_p和时域显著图分量S_m,得到时空显著图S_F，方程如下：

S_F＝θ₁S_m+θ₂S_p+θ₃S_mS_p (3)

其中：u和v是宏块宏运动矢量的水平和垂直分量；S_p通过基于图的马尔可夫链平衡分布来获取,θ₁,θ₂,θ₃是加权因子；

通过时空显著图S_F对视频帧感兴趣区域和非感兴趣区域进行判断；

3)区分感兴趣区的码率控制初始化过程

比特分配过程之前设置帧目标位与HM10.0一致，然后根据质量因子K将帧的目标比特数分成两部分，质量因子K是ROI和NROI所需比特数比值，ROI和NROI目标比特数是根据以下公式确定

T＝T_ROI+T_NROI (5)

T_ROI＝K×T_NROI (6)

其中T,T_ROI,和T_NROI表示当前帧、ROI和NROI各自的目标比特，为了保证时域上的质量稳定，参数λ和QP需要限定在一个较小的范围.λ取值范围：

QP取值范围：

QP_XlastPic-10≤QP_XcurrPic≤QP_XlastPic+10 (8)

其中x可能是ROI或NROI；currPic、lastPic分别表示当前帧相关参数、上一帧编码参数；

4)考虑当前LCU和周边LCU的关系对λ和QP取值进行如下范围控制：

如果当前LCU及其左相邻LCU，属于同一类型，其ROI或NROI的λ和QP值修正式子如下：

QP_lastLCU-1≤QP_currLCU≤QP_lastLCU+1 (10)

其中lastLCU意味着与前一个编码LCU相关的参数；如果当前LCU和其左相邻LCU属于不同的类型，其λ和QP值修正式子如下：

QP_lastLCU-10≤QP_currLCU≤QP_lastLCU+10 (12)

5)视频帧级的比特分配

ω_i是当前视频帧组GOP组中每个视频帧的权值，Coded_GOP是当前图像组GOP组已经用掉位；

6)判断是否还有新图像组GOP或图像组GOP有新的视频帧，如有，修改序列参数i对下一张图像进行编码，跳至步骤2)，如没有就结束编码。

作为优选的，所述的通过时空显著图S_F对视频帧感兴趣区域和非感兴趣区域进行判断，过程如下：

第一步：通过式(4)计算每个宏块LCU中每个像素点时空显著图累加值：

其中：M和N是当前宏块的宽和高，S_F(i,m,n)是第i个LCU，(m,n)坐标中的像素点的时空显著图；

第二步：获取当前编码帧中所有的宏块的时空显著图ws(i)值，按大到小的顺序进行排列，设定一个阈值T,大于阈值就认定为是当前视频帧的ROI区域,否则即为NROI区域。

作为优选的，所述加权因子θ₁、θ₂、θ₃分别设置为0.5、0.3、0.5。

本发明通过基于图的方法对视频帧进行感兴趣区和非感兴趣区区分，然后分别对感兴趣区和非感兴趣区进行有差别的码率控制算法，防止非感兴趣区域过度占用感兴趣区域的数据位，确保感兴趣区域的视频质量提升；感兴趣区域比特位分配多一点，非感兴趣区域比特位分配少一点，最终实现提升视频的主观质量。实验结果表明，该算法可以使输出比特率达到目标值的同时，有效地提升了视频帧的兴趣区域峰值信噪比，因此编码序列的整体主观视觉质量相比HM10.0标准中自带的码率控制算法大大提高。

本发明为保证流畅的视觉质量，通过调整λ和QP来进行些约束。除了使实际编码比特率接近目标比特率，相比H.265现有的码率控制算法，本文提出的码率控制方法有更好的感兴趣区域(ROI)信息，极大的提升了主观视频质量。

附图说明

图1：码率控制过程框图；

图2:重构视频对比PSNR曲线图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。本实施例经本发明技术方法以前提进行实施，给出了详细的实施方式和具体操作，但本发明的保护范围不限于下述实施例。

如图1所示，基于兴趣区域的H.265视频质量提升方法，步骤如下：

1)初始化码率相关的参数：R-λ模式码率控制初始量化参数QP方程如下：

λ＝α·R^β (1)

QP＝4.2005lnλ+13.7122 (2)

其中α和β是与视频源相关的参数，R是目标码率值，λ是率失真拉格朗日算子，式(2)就是获取初始量化参数；

2)基于相干规范融合方法融合空间域显著图分量S_p和时域显著图分量S_m,得到时空显著图S_F，方程如下：

S_F＝θ₁S_m+θ₂S_p+θ₃S_mS_p (3)

其中：u和v是宏块宏运动矢量的水平和垂直分量；S_p通过基于图的马尔可夫链平衡分布来获取,θ₁,θ₂,θ₃是加权因子；

A)空间域上的显著图

为了产生所需的空间域上的最终显著图，借用著名的基于图(GB)的显著性模型。它利用与Itti模型相同的特征提取方法，该算法特征信道通常采用颜色、强度、方向和对比度。改进方法所有通道的加权因子都采用这些参数。假设一个特征映射产生，其表达式为：M:[n]²→R。下一步是操作在M域上活化区域或显著图。基于图(GB)的显著性模型引入了一个马尔可夫方法这个过程。对于特征映射中的两个节点P和Q，它们的差异性可以定义为：

这差异性最直接的定义：简单的对数刻度上测量的两个数量的比率。A点一个完全连接的有向图G_A可以通过连接M域中的每个节点与所有其他n-1节点得到。有向图G_A边缘节点到节点q和q加权重表达式w_A(p,q)如下：

其中(p_x,p_y),(q_x,q_y)是节点P和Q的坐标，σ是一个自由参数(通常为十分之一到十五分之一的图片宽度)。在相反的方向的边缘节点也具有相同权重值。在G_A马尔可夫链可以通过规范各节点1出境的边的权重绘制节点和状态之间的一个等价定义，和边权值和转移概率。这条链的平衡分布，从长远来看反映随机游走在各个节点或状态下的时间分量，相比周围节点，在这个节点上会自然有较高的积累，因为转移到到这样的子图有可能，不可能转移到具有相似的M值节点上，此结果是一个来自两两比较有用的衡量。

在获得所有激活图后，它们应该在加性组合之前进行归一化处理。通过另一个马尔可夫算法进行规范化过程如下：假设有一个激活图：A:[n]²→R。一个完全连接的有向图G_N可以通过连接在与所有其他N-1个节点每个节点构造。对于在A域的二个节点p和q，其边加权函数表达式如下：

其中A(p)是节点p的激活值,通过计算的马尔可夫链平衡分布，得到归一化的激活图。

B)时域上的显著图

通常情况下，移动的物体是观众极大的兴趣点。运动矢量(MV)是时域显著图中一重要的特征参数，因为它可以表示物体的运动强度。它是基于块匹配提取的，在前面的帧中搜索的最佳匹配块。由于平均绝对差(MAD)相对较低的计算复杂度，故作为算法和自适应十字模式搜索(ARPS)的搜索算法。块大小设置为16x16和搜索范围7，MV的幅度M可以表示其块的运动强度，其计算如下：

其中u和v是水平和垂直运动分量。视频序列中有两种情况：物体在移动，背景相对静止；背景在运动，物体相对静止。在第二种情况下，运动向量的大小是不能够代表它的块的显著特性。

3)显著图和感兴趣区域组合决策

为了获得时空显著图S_F，基于相干规范融合方法结合了空域和时域的显著图，如下：

S_F＝θ₁S_m+θ₂S_p+θ₃S_mS_p (7)

其中θ₁,θ₂,θ₃是加权因子,根据经验分别设置为0.5,0.3,0.5.给时域显著图选择较大的加权因子，因为移动的物体总是更具吸引力人的眼睛。在eq.9前两个参数是通过时空域显著图来提升像素独立属性。另一方面，在eq.9第三参数是通过空或域显著图来对时域显著图进行加权，反之亦然。因此，它是一个相互促进的术语，它加强那些在空域和时域上都显著的像素。

可以根据显著图来确定感兴趣区域。每一帧的LCU显著特性可以通过下式来衡量：

其中ws(i)可以被认为是第i个LCU显著图的加权值，S_F(i,m,n)与坐标(m，n)的值对应的帧中的第i个LCU的显著图，m和n分别是该块的宽度和高度。通过计算一个视频帧中所有的ws(i)，然后从大到小的进行排序，选定一个阈值T，LCU的ws(i)值大于T将被设定为感兴趣区域(ROI),小于T将被认为是非感兴趣区域(NROI)。

4)针对ROI/NROI下目标码率设定和λ选择

码率控制的目的是使实际使用的比特数达到目标值。在这个改进算法中，针对ROI和NROI数据位分配是独立去决策的。换句话说，ROI和NROI有他们自己的目标位。需要注意的是，比特分配过程之前设置帧目标位跟HM10.0方法一致。然后根据质量因子K将帧的目标比特数分成两部分，质量因子K是ROI和NROI所需比特数比值。ROI和NROI目标比特数是根据以下公式确定

T＝T_ROI+T_NROI (9)

T_ROI＝K×T_NROI (10)

其中T,T_ROI,和T_NROI表示当前帧，ROI和NROI各自的目标比特.为了保证时域上的质量稳定，参数λ和QP需要限定在一个较小的范围.λ取值范围：

QP取值范围：

QP_XlastPic-10≤QP_XcurrPic≤QP_XlastPic+10 (14)

其中x可能是ROI或NROI.currPic,lastPic分别表示当前帧相关参数、上一帧编码参数。

在LCU层级的码率控制，每个LCU的目标位设定应该与当前LCU显著度值成正比例，其表达式如下：

其中和分别表示ROI和NROI剩余位数.R(p)是第p个LCU感兴趣区域估计数字位，M_left是ROI区域中没有编码的LCU个数。R(q)是第p个LCU非感兴趣区域估计位，N_left是NROI区域中没有编码的LCU个数。通过对当前LCU的目标数字位进行预估，λ和QP的初始值通过Eq.1和Eq.2获得.考虑到每帧的视频质量平滑属性，λ和QP取值应该控制在如下范围：

QP_XcurrPic-2≤QP_currLCU≤QP_XcurrPic+2 (17)

其中X可以ROI或NROI，依赖于当前LCU分类。currlcu意味着是当前LCU相应的参数。LCU的λ和QP值也应该由那些邻近的LCU在空间域平滑约束。如果当前LCU及其左相邻LCU，属于同一类型，例如最后的编码LCU单元，其ROI或NROI的λ和QP值修正式子如下：

QP_lastLCU-1≤QP_currLCU≤QP_lastLCU+1 (19)

其中lastLCU意味着与前一个编码LCU相关的参数。如果当前LCU和其左相邻LCU属于不同的类型，其λ和QP值修正式子如下：

QP_lastLCU-10≤QP_currLCU≤QP_lastLCU+10 (21)

5)视频帧级的比特分配

ω_i是当前视频帧组GOP组中每个视频帧的权值，Coded_GOP是当前图像组GOP组已经用掉位；

6)判断是否还有新图像组GOP或图像组GOP有新的视频帧，如有，修改序列参数i对下一张图像进行编码，跳至步骤2)，如没有就结束编码。

图2为HM10.0固定QP,HM10.0码率控制和本发明方法(改进码率控制方法)下的主观视觉测试的比较结果。DMOS表示是十次客观测试平均MOS值。较低的值代表更好的视觉质量。首先，这两个序列是固定的QP分别设置：32，38，40，42和46。它们的输出比特率设置作为在hm10.0码率控制算法的测试目标比特率。本发明提出的方法在同行码率情况下能得到更好的视觉质量。本发明方法主要思想是感兴趣区域分配更多的比特位，非感兴趣区域分配少一点比特位，特别是在低码率情况下，能大大的提升整个视频的主观视觉质量。在高码率的情况下，三种方法均能提供非常良好的主观质量，这时人类的眼睛很难大致区分它们之间的区别。

表1显示了不同序列有不同目标比特率的实验结果。

表1测试结果(实际码率、ROI和NROI PSNR)对比

可以看出，与HM10比较，本发明在比特率精度波动在0～1％的范围内情况下。本发明方法在感兴趣区域(ROI)视频质量提升1.15～1.5db，付出的代价是非感兴趣区域(NROI)视频质量有0.76～1.49db损失。

Claims (3)

1.一种基于兴趣区域的H.265视频质量提升方法，其特征在于包括如下步骤：

1)初始化码率相关的参数：R-λ模式码率控制初始量化参数QP方程如下：

λ＝α·R^β (1)

QP＝4.2005lnλ+13.7122 (2)

其中α和β是与视频源相关的参数，R是目标码率值，λ是率失真拉格朗日算子，式(2)就是获取初始量化参数；

2)基于相干规范融合方法融合空间域显著图分量S_p和时域显著图分量S_m,得到时空显著图S_F，方程如下：

S_F＝θ₁S_m+θ₂S_p+θ₃S_mS_p (3)

其中：u和v是宏块宏运动矢量的水平和垂直分量；S_p通过基于图的马尔可夫链平衡分布来获取,θ₁,θ₂,θ₃是加权因子；

通过时空显著图S_F对视频帧感兴趣区域和非感兴趣区域进行判断；

3)区分感兴趣区的码率控制初始化过程

比特分配过程之前设置帧目标位与HM10.0一致，然后根据质量因子K将帧的目标比特数分成两部分，质量因子K是ROI和NROI所需比特数比值，ROI和NROI目标比特数是根据以下公式确定

T＝T_ROI+T_NROI (5)

T_ROI＝K×T_NROI (6)

其中T,T_ROI,和T_NROI表示当前帧、ROI和NROI各自的目标比特，为了保证时域上的质量稳定，参数λ和QP需要限定在一个较小的范围.λ取值范围：

${\mathrm{\λ}}_{XlastPic}\·2^{-\frac{10.0}{3.0}}\≤{\mathrm{\λ}}_{XcurrPic}\≤{\mathrm{\λ}}_{XlastPic}\·2^{\frac{10.0}{3.0}}---\left(7\right)$

QP取值范围：

QP_XlastPic-10≤QP_XcurrPic≤QP_XlastPic+10 (8)

其中x可能是ROI或NROI；currPic、lastPic分别表示当前帧相关参数、上一帧编码参数；

4)考虑当前LCU和周边LCU的关系对λ和QP取值进行如下范围控制：

如果当前LCU及其左相邻LCU，属于同一类型，其ROI或NROI的λ和QP值修正式子如下：

${\mathrm{\λ}}_{lastLCU}\·2^{-\frac{1.0}{3.0}}\≤{\mathrm{\λ}}_{currLCU}\≤{\mathrm{\λ}}_{lastLCU}\·2^{\frac{1.0}{3.0}}---\left(9\right)$

QP_lastLCU-1≤QP_currLCU≤QP_lastLCU+1 (10)

其中lastLCU意味着与前一个编码LCU相关的参数；如果当前LCU和其左相邻LCU属于不同的类型，其λ和QP值修正式子如下：

${\mathrm{\λ}}_{lastLCU}\·2^{-\frac{10.0}{3.0}}\≤{\mathrm{\λ}}_{currLCU}\≤{\mathrm{\λ}}_{lastLCU}\·2^{\frac{10.0}{3.0}}---\left(11\right)$

QP_lastLCU-10≤QP_currLCU≤QP_lastLCU+10 (12)

5)视频帧级的比特分配

$T_{CurrPic}=\frac{T_{GOP}-{\mathrm{Coded}}_{GOP}}{\underset{NotCodedPictures}{\mathrm{\Σ}}{\mathrm{\ω}}_i}\·{\mathrm{\ω}}_{CurrPic}---\left(13\right)$

ω_i是当前视频帧组GOP组中每个视频帧的权值，Coded_GOP是当前图像组GOP组已经用掉位,T_GOP是视频帧组GOP设定码率值。

6)判断是否还有新图像组GOP或图像组GOP有新的视频帧，如有，将视频序列i进行加1，对下一帧图像进行编码，跳至步骤2)，如没有就结束编码。

2.根据权利要求1所述的一种基于兴趣区域的H.265视频质量提升方法，其特征在于所述的通过时空显著图S_F对视频帧感兴趣区域和非感兴趣区域进行判断，过程如下：

第一步：通过式(4)计算每个宏块LCU中每个像素点时空显著图累加值：

$ws\left(i\right)={\mathrm{\Σ}}_{m=1}^M{\mathrm{\Σ}}_{n=1}^N{S}_F(i,m,n)---\left(4\right)$

其中：M和N是当前宏块的宽和高，S_F(i,m,n)是第i个LCU，(m,n)坐标中的像素点的时空显著图；

第二步：获取当前编码帧中所有的宏块的时空显著图ws(i)值，按大到小的顺序进行排列，设定一个阈值T,大于阈值就认定为是当前视频帧的ROI区域。

3.根据权利要求1所述的一种基于兴趣区域的H.265视频质量提升方法，其特征在于所述加权因子θ₁、θ₂、θ₃分别设置为0.5、0.3、0.5。