CN105898332B

CN105898332B - 针对3d-hevc编码标准的快速深度图帧内模式判决方法

Info

Publication number: CN105898332B
Application number: CN201610493811.9A
Authority: CN
Inventors: 孙丽君; 陈天飞; 杨志晓; ***; 宋强; 孙道辉
Original assignee: Henan University of Technology
Current assignee: Henan University of Technology
Priority date: 2016-06-27
Filing date: 2016-06-27
Publication date: 2018-09-04
Anticipated expiration: 2036-06-27
Also published as: CN105898332A

Abstract

本发明包括一种针对3D‑HEVC编码标准的快速深度图帧内模式判决方法，其步骤如下：选择深度图中的编码单元；执行传统HEVC编码标准的帧内预测模式判决，进行粗略预测；判断编码单元CU的最佳模式是否是Planar模式或DC模式；执行3D‑HEVC编码器中的快速DMM1搜索，获得判决公式；根据判决公式判决DMM1搜索后，执行3D‑HEVC编码器中的DMM4搜索，计算最小率失真代价；判决最佳帧内预测模式，处理深度图中的下一个编码单元。本发明利用深度图特点来初步判决当前深度图帧内预测模式，跳过一些在深度图编码过程中不常出现的帧内模式，具有计算量小、编码复杂度低、编码时间短、压缩性能与原始3D‑HEVC一致等突出优点。

Description

针对3D-HEVC编码标准的快速深度图帧内模式判决方法

技术领域

本发明涉及视频编码的技术领域，涉及深度图的帧内模式判决，具体涉及一种针对3D-HEVC编码标准的快速深度图帧内模式判决方法。

背景技术

随着计算机视觉技术与多媒体技术的飞速发展，高效的3D视频显示技术成为了当前的研究热点。多视点纹理视频加深度图(multi-view texture videos plus depthmaps，MVD)格式不仅是最新的3D视频编码格式，还是最有效的3D视频编码方法之一。在解码端，MVD格式可以利用深度图合成(depth image based rendering，DIBR)技术，将少数视点的纹理视频流及其对应的深度图码流进行编码，并合成出更多视点的纹理视频，这样便可在自由立体显示器上显示3D内容。近期，3D视频联合组(Joint Collaborative Team on 3DVideo Coding，JCT-3V)制定了3D-HEVC(3D High Efficiency Video Coding)视频编码标准，其中加入了许多新的编码工具，使其可以有效利用MVD格式对多视点3D视频进行压缩处理，尤其对于深度图的编码效率，更是有了大幅度的提高。

深度图有着大面积同质区域和锐利边缘的特点，而纹理视频并不具有这样的特点，所以如果仅使用传统HEVC编码标准中的帧内预测方法对深度图进行预测编码会造成虚拟视点的失真，尤其在边缘部分容易出现振铃效应。为了能够适应深度图大面积同质区域和锐利边缘，3D-HEVC编码标准中的深度图帧内编码部分加入了一些新的预测模式。对于深度图的编码，3D-HEVC编码标准既使用了传统HEVC编码标准中的帧内预测模式，也使用了新增加的适用于深度图的帧内预测模式，这样虽然提高了编码效率，但同时也增加了计算复杂度，而这就会严重影响到3D-HEVC编码器的实际应用。因此，目前急需一种快速算法，来降低深度图帧内预测的计算复杂度。

最近提出了不少基于3D-HEVC编码标准的快速算法，以降低深度图帧内编码的计算复杂度。为了降低wedgelet候选模式数量，有研究人员根据纹理视频与深度图的相关性提出了一种低复杂度的深度图编码算法；有研究人员利用简化的边缘检测方法来实现快速的3D-HEVC深度图帧内预测；有研究人员结合深度图与纹理视频的相关性，以及帧间帧内的相关性，对四叉树划分进行改进，以降低3D-HEVC中深度图帧内编码的复杂度；还有一些研究人员通过提前终止判决或跳过某些非必要预测模式，从而加速深度图帧内预测模式判决过程。以上这些方法虽然都取得了一定的成效，但是在加速深度图编码的同时，又会引入新的计算复杂度，所以对于复杂度的降低仍有很大的空间。

为了能够适应深度图大面积同质区域和锐利边缘，3D-HEVC编码标准中的深度图帧内编码部分加入了一些新的预测模式，包括深度模型模式(Depth Modeling Modes，DMM)，区域边界链编码(Region Boundary Chain Coding Mode，RBC)模式以及简化深度编码模式(Simplified Depth Coding Mode，SDC)。其中，DMM模式可将深度块分割成两个非矩形区域，且每个区域都由唯一固定常数来表示；RBC模式利用链编码的方法找到区域边界，从而将深度块分成两个区域；SDC模式使用残差编码。然而，由于DMM2、DMM3和RBC模式的高计算复杂度以及低编码质量，后来的3D-HEVC参考软件中移除了这三种深度图的预测模式。显然，原始3D-HEVC的深度图帧内判决方法计算量巨大，计算复杂度较高，消耗大量的编码时间，会影响到3D-HEVC编码器的实际应用。

发明内容

为了解决上述技术问题，本发明提供了一种针对3D-HEVC编码标准的快速深度图帧内模式判决方法，节省了大量编码时间，同时与原始3D-HEVC算法编码性能一致。

为了达到上述目的，本发明的技术方案是：一种针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其步骤如下：

步骤一、选择深度图中的编码单元CU；

步骤二、执行传统HEVC编码标准的帧内预测模式判决，进行粗略预测；

步骤三、判断编码单元CU的最佳模式是否是Planar模式或DC模式，如果是，转到步骤六，否则转动步骤四；

步骤四、执行3D-HEVC编码器中的快速DMM1搜索，获得判决公式；

步骤五、根据步骤四中的判决公式判决DMM1搜索后，执行3D-HEVC编码器中的DMM4搜索，并计算最小率失真代价；

步骤六、判决最佳帧内预测模式，并跳至步骤一处理深度图中的下一个编码单元。

所述粗略预测的方法是：选取常用的8个测试序列，包括包含有大面积的运动区域以及丰富的纹理的Shark、Undo_Dancer序列，纹理相对均匀且运动区域面积不大Kendo、Balloons、Newspaper、GT_Fly和Poznan_Street序列，纹理最为平滑基本无运动区域的Poznan_Hall2序列；对所有测试序列执行传统HEVC编码标准的帧内预测模式判决；根据统计结果显示，有66.2％的Planar模式、7.2％的DC模式、8.4％的Horizontal模式和11.9％的Vertical模式最终被判决为最佳帧内模式，而剩下的帧内模式包括角度格式2-9、角度格式11-25和角度格式27-34被判决为最佳预测模式的可能性不超过6.3％；深度图的帧内预测模式判决中，Planar模式、DC模式、Horizontal模式和Vertical模式选为最佳预测模式。

在3D-HEVC的帧内预测模式判决过程中，DMM模式的时间消耗约占52％，其余48％为传统HEVC帧内判决时间；深度图中包含大面积的同质区域时，DMM模式判决处理效率低。

所述执行3D-HEVC编码器中的快速DMM1搜索，获得判决公式的方法为：

(4-1)、检查3D-HEVC编码器中wedgelet的候选方向模式中水平方向模式、竖直方向模式、角度方向5模式、角度方向14模式、角度方向21模式、角度方向30模式6个帧内预测方向来匹配DMM1搜索的分割线；

(4-2)、设置标志位F，用来判断是Horizontal模式还是Vertical模式；设置Horizontal模式或Vertical模式的斜率偏移量的绝对值为A、偏移方向为S；

(4-3)、根据步骤(4-2)中设置的标志位F、偏移方向S、斜率偏移量的绝对值A，得到判决公式如下：Dir＝F+(S)*A-S。

本发明利用深度图特点来初步判决当前深度图帧内预测模式，之后跳过一些在深度图编码过程中不常出现的帧内模式，从而实现快速深度图帧内模式判决。与原始3D-HEVC深度图帧内模式判决方法相比，本发明具有计算量小、编码复杂度低、编码时间短、压缩性能与原始3D-HEVC一致等突出优点；采用粗略判决和跳过不常见模式的手段，在深度图帧内模式判决准确度保持不变的情况，加快了判决速度，具有实际操作性，便于进行实时应用。本发明不仅利用了深度图的纹理特征，还结合了提前跳过非常见预测模式的判决，计算复杂度较低，PSNR与码率表现与原始3D-HEVC编码器相当，同时节省了大约30％的编码时间，可应用于实时编码。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程图。

图2是本发明深度图帧内预测时常选的四个预测模式。

图3是本发明3D-HEVC编码器中wedgelet的候选方向模式。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种针对3D-HEVC编码标准的快速深度图帧内模式判决方法，首先选取深度图中的编码单元，然后根据前期的统计结果并进行分析，进一步找到一种快速的深度图帧内模式判决方法，其步骤是：

步骤一、选择深度图中的编码单元CU。

为了实现快速深度图帧内预测模式的判决，本发明以3D-HEVC编码器的测试模型为基础，在其基础上进行粗略预测以及跳过非常见模式判决，从而实现快速深度图帧内预测模式判决。

步骤二、执行传统HEVC编码标准的帧内预测模式判决，进行粗略预测。

粗略预测的方法是：常用的8个测试序列中，“Shark”和“Undo_Dancer”包含有大面积的运动区域以及丰富的纹理，“Kendo”，“Balloons”，“Newspaper”，“GT_Fly”和“Poznan_Street”纹理相对均匀且运动区域面积不大，而“Poznan_Hall2”序列纹理最为平滑，基本无运动区域。根据统计结果显示，有66.2％的Planar模式、7.2％的DC模式、8.4％的Horizontal模式和11.9％的Vertical模式最终被判决为最佳帧内模式，而剩下的帧内模式包括角度格式2-9、角度格式11-25和角度格式27-34被判决为最佳预测模式的可能性不超过6.3％。因此，我们可以根据以上分析推断出，对于深度图的帧内预测模式判决中，Planar模式、DC模式、Horizontal模式和Vertical模式更有可能被选为最佳预测模式。基于上述分析，可选用如图2所示的4个预测模式作为候选模式，只从这4个候选模式中选出最佳帧内预测模式，这样就跳过了对剩余大部分预测模式的判决过程。

进行粗略预测，由于避免了全率失真代价搜索的过程，仅对部分模式进行筛选，这样可以大大降低编码时间，从而提高编码速度。

步骤三、判断编码单元CU的最佳模式是否是Planar模式或DC模式，如果是，转到步骤六，否则转动步骤四。

统计实验结果表明，在3D-HEVC的帧内预测模式判决过程中，DMM模式的时间消耗约占52％，其余48％为传统HEVC帧内判决时间。相比之下，DMM判决的计算复杂度要远高于传统HEVC帧内判决，因此需要降低DMM的计算复杂度，从而提高编码效率。深度图中包含了大面积的同质区域，而DMM判决对此处理效率并不高。因此，遇到同质区域时，DMM判决会被略过。对于传统HEVC帧内判决，遇到像素变化不明显的块时，Planar模式通常作为最佳预测模式。对于3D-HEVC编码器来讲，遇到同质区域时，Planar模式通常作为最佳预测模式。除Planar模式以外，DC模式也常被选作同质区域的最佳预测模式。那么，当编码块被确定为Planar模式或DC模式后，则不再进行DMM判决。

DMM判决常用的包括DMM1搜索和DMM4搜索，若深度块中分割线呈直线，那么即选用DMM1对其进行编码，若深度块中分割线非直线，则选用DMM4对其进行编码。在处理编码单元CU时，是根据原始3D-HEVC算法中的率失真代价优化来判决该编码单元CU是Planar模式还是DC模式。

步骤四、执行3D-HEVC编码器中的快速DMM1搜索，获得判决公式。

(4-1)、检查3D-HEVC编码器中wedgelet的候选方向模式中水平方向模式、竖直方向模式、角度方向5模式、角度方向14模式、角度方向21模式、角度方向30模式6个帧内预测方向来匹配DMM1搜索的分割线。

根据统计分析结果，发现wedgelet的候选方向模式中水平方向模式、竖直方向模式、角度方向5模式、角度方向14模式、角度方向21模式、角度方向30模式六个方向模式是最常用的预测模式，所以要首先对这六个方向模式进行预测，从而减少对不必要预测模式的处理，以提高预测效率。匹配分割线的过程即为深度块DMM模式的预测过程，作用是对深度块进行预测编码，效果是提高了预测效率。

(4-2)、设置标志位F，用来判断是Horizontal模式还是Vertical模式；设置Horizontal模式或Vertical模式的斜率偏移量的绝对值为A、偏移方向为S。

标志位F主要是判断深度帧内编码模式是Horizontal模式还是Vertical模式、偏移方向S是判定深度帧内编码模式偏移方向是“+”或“-”、斜率偏移量的绝对值A是判定深度帧内编码模式偏移角度的一个绝对值，提出快速DMM1搜索方法(也就是步骤4)主要是针对这个三个变量来判断DMM1搜索的准确位置来完成的。本发明中A的值记为0或7，偏移方向顺时针S记为“+”，偏移方向逆时针S记为“-”。

步骤五、根据步骤四中的判决公式判决DMM1搜索后，执行3D-HEVC编码器中的DMM4搜索，并计算最小率失真代价。

3D-HEVC是利用率失真优化技术计算最小率失真代价，并判决具有最小率失真代价的模式为最佳预测模式。率失真优化技术的根本原理是利用Lagrange乘子算出每个预测模式的率失真代价，然后在所有模式对应的率失真代价中找到最小的那个预测模式，那么该模式就是最佳预测模式。率失真代价计算公式为J＝Distortion+λ×BitR其中，BitR表示对各个模式进行编码所需的码率，λ代表朗格朗日乘子，Distortion表示当前块与重建块之间的失真量，在实际应用中常用客观评价方法有很多。例如，平方误差和SSD的公式如下：均方误差MSD的公式如下：绝对误差和SAD的公式如下：峰值信噪比PSNR的公式如下：其中，V(n,m)和V_rec(n,m)分别表示原始图像和重建图像的(n,m)位置上的像素值，N和M分别表示图像的宽和高。

步骤六、判决最佳帧内预测模式，并跳至步骤一处理深度图中的下一个编码单元CU。

根据步骤五中的率失真优化技术，找到具有最小率失真代价的模式，并判决该模式为最佳预测模式。

为了评测本发明的效果，选用表1中的标准测试视频序列进行测试实验，在JCT-3V提供的视频编码***平台HTM 11上，采用参数对(25,34)，(30,39)，(35,42)和(40,45)作为仿真实验的量化参数，表1给出测试序列的信息，表2给出测试条件，表3给出本发明与原始3D-HEVC编码器的测试结果对比。标准测试序列：

表1测试序列信息

测试序列	分辨率	帧数	编码视点
				Kendo	1024×768	200	1-3-5
Balloons	1024×768	200	1-3-5
				Newspaper	1024×768	200	2-4-6
Shark	1920×1088	150	1-5-9
				Undo_Dancer	1920×1088	150	1-5-9
GT_Fly	1920×1088	150	9-5-1
				Poznan_Street	1920×1088	150	5-4-3
Poznan_Hall2	1920×1088	150	7-6-5

测试条件：

表2测试条件

测试结果：

表3测试结果对比

表3中的BDBR表示Bjontegaard Delta Bitrate，即与原始3D-HEVC编码器相比，码率的改变情况，其单位为％；BDPSNR表示Bjontegaard Delta PSNR，即与原始3D-HEVC编码器相比，PSNR的改变情况，其单位为Db；Dtime表示与原始3D-HEVC编码器相比，编码时间的改变情况，其单位为％。

由表3可知：本发明与原始3D-HEVC编码器相比，在Random Access通用测试条件下，节省了平均4.9％的编码时间，而在All-Intra通用测试条件下，节省了平均30％的编码时间，与此同时，在PSNR和码率表现方面，二者效果相当。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其特征在于，其步骤如下：

步骤一、选择深度图中的编码单元CU；

步骤六、判决最佳帧内预测模式，并跳至步骤一处理深度图中的下一个编码单元；

(4-3)、根据步骤(4-2)中设置的标志位F、偏移方向S、斜率偏移量的绝对值A，得到判决公式如下：。

2.根据权利要求1所述的针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其特征在于，所述粗略预测的方法是：选取常用的8个测试序列，包括包含有大面积的运动区域以及丰富的纹理的Shark、Undo_Dancer序列，纹理相对均匀且运动区域面积不大Kendo、Balloons、Newspaper、GT_Fly和Poznan_Street序列，纹理最为平滑基本无运动区域的Poznan_Hall2序列；对所有测试序列执行传统HEVC编码标准的帧内预测模式判决；根据统计结果显示，有66.2%的Planar模式、7.2%的DC模式、8.4%的Horizontal模式和11.9%的Vertical模式最终被判决为最佳帧内模式，而剩下的帧内模式包括角度格式2-9、角度格式11-25和角度格式27-34被判决为最佳预测模式的可能性不超过6.3%；深度图的帧内预测模式判决中，Planar模式、DC模式、Horizontal模式和Vertical模式选为最佳预测模式。

3.根据权利要求1所述的针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其特征在于，在3D-HEVC的帧内预测模式判决过程中，DMM模式的时间消耗占52%，其余48%为传统HEVC帧内判决时间；深度图中包含大面积的同质区域时，DMM模式判决处理效率低。