CN106101699A - 针对3d‑hevc深度图编码的深度建模模式判决方法 - Google Patents

针对3d‑hevc深度图编码的深度建模模式判决方法 Download PDF

Info

Publication number
CN106101699A
CN106101699A CN201610571479.3A CN201610571479A CN106101699A CN 106101699 A CN106101699 A CN 106101699A CN 201610571479 A CN201610571479 A CN 201610571479A CN 106101699 A CN106101699 A CN 106101699A
Authority
CN
China
Prior art keywords
depth
block
mode
modelling
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610571479.3A
Other languages
English (en)
Other versions
CN106101699B (zh
Inventor
张秋闻
赵进超
常化文
蒋斌
吴庆岗
黄琨强
王晓
张文帅
赵小鑫
甘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN201610571479.3A priority Critical patent/CN106101699B/zh
Publication of CN106101699A publication Critical patent/CN106101699A/zh
Application granted granted Critical
Publication of CN106101699B publication Critical patent/CN106101699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种针对3D‑HEVC深度图编码的深度建模模式判决方法，对深度图宏块进行分类跳过判定，根据预测单元尺寸判定轮廓模式是否提前终止，进行深度建模模式的率失真优化得到最优的深度建模模式，其步骤是：开始深度图宏块的深度建模模式判决过程；把当前深度块分类为近区域、中区域和远区域；进行不必要深度块跳过；根据当前预测单元的尺寸进行轮廓模式的提前终止；进行深度建模模式决策的率失真最优化过程；判定深度图的最优深度建模模式。本发明采用了块的分类跳过及轮廓模式的提前终止，编码性能较好，码率只有小幅上涨，峰值信噪比降低可忽略，比原始3D‑HEVC编码方法平均节约了31.33%的编码时间，可应用于实时编码。

Description

针对3D-HEVC深度图编码的深度建模模式判决方法
技术领域
本发明属于视频编码的技术领域，具体涉及的是一种视频编码中帧内编码的深度建模模式判决方法，特别是一种面向高效率视频编码标准3D视频扩展中深度图编码的深度建模模式判决方法。
背景技术
近几年来，随着高清视频以及各种网络视频的普及，视频压缩技术迎来了不小的挑战。ISO/IEC的运动图像专家组(Motion Picture Experts Group，MPEG)和ITU-T的视频编码专家组(Video Coding Expert Group，VCEG)组成视频编码联合组(JointCollaborative Team on Video Coding，JCT-VC)，并联合制定了高效率视频编码标准H.265/HEVC(High Efficiency Video Coding)。新一代视频编码标准H.265/HEVC中增加了许多新的编码工具，与上一代视频编码标准H.264/AVC相比，H.265/HEVC的编码性能有了大幅度的提升。而且，基于高效率视频编码标准的扩展3D-HEVC(high efficiency videocoding based 3D video coding)也成了近年来的研究热点，3D-HEVC能够实现立体和多视点的成像，它采用纹理视频加深度格式来合成虚拟视点，从而降低了大量的编码码率。而深度图的保存对合成高质量的虚拟视点纹理视频至关重要，因此，一些新的深度图编码工具被引入3D-HEVC，例如深度建模模式(DMM)决策。然而，众多的DMM候选模式导致了巨大的计算量，这也阻碍了3D-HEVC在现实中的应用。
目前，针对3D-HEVC中深度图编码已经有许多成熟的技术，如：Ding H等人提出了一种有效的深度图编码算法，利用了基于可察觉深度差异建模理论中人们对深度的感知灵敏度特点来跳过一些不必要的深度块。Zhang H B等人提出了一种基于内容的参考像素空间分类方法的快速深度图帧内模式决策算法。但是，这些技术虽然减少了DMM决策的计算复杂度，但编码效率依然较低，所以其深度图预测的编码性能并未提高。因此，如何在深度图编码中有效地加快DMM决策方法过程，实现出色的编码效率是目前视频编码技术面临的难题之一。
深度图编码中的深度建模模式(DMM)决策，就其实质来说是为了在压缩深度图像平坦区域的同时更好的保护边缘部分。无论是传统视频编解码框架—HEVC，还是3D视频编解码框架—3D-HEVC编码框架，它们的预测过程均涉及块划分(block partitioning)技术，即将一个图像块划分成多于一个的区域(partition)，然后再以所述区域为单位进行预测。而HEVC中传统的块划分方式是将一个方形图像块沿水平或垂直方向划分成两个或四个矩形区域(rectangular partition)。而DMM模式引入了一种新型的块划分方式，即根据特定的信息将一个深度图像块划分成两个非矩形的区域(non-rectangular partition)，同一区域内的像素用相同的常数值来表示，不同的区域值分开编码，进而较好的保留深度图像的边缘部分。但DMM决策的模式选择需要遍历所有的候选模式，这导致了巨大的计算量，计算时间较长，这就必须要消耗大量的编码时间，不利于进行实时编码。所以该方法计算复杂度偏高，难以进行实时应用。
发明内容
鉴于以上现有技术存在的问题和不足，本发明的目的在于提供一种针对3D-HEVC深度图编码的深度建模模式判决方法，与原始编码器和最新的SRPS编码方式相比，不仅保持了几乎相同的编码效率，还能有效降低编码时间。
为了达到上述目的，本发明的技术方案是：一种针对3D-HEVC深度图编码的深度建模模式判决方法，首先对深度块进行分类跳过判定，然后根据预测单元尺寸判定轮廓模式是否提前终止，最后进行深度建模模式的率失真优化得到最优的深度建模模式，其具体步骤是：
(1)、开始深度图宏块的深度建模模式判决过程；
(2)、根据确定的近区域和远区域的阈值，把当前深度块分类为近区域、中区域和远区域；
(3)、进行不必要深度块跳过：如果深度块属于近区域或中区域，进入步骤(4)；否则，在远区域中深度块深度建模模式跳过率失真最优化过程，进入步骤(6)；
(4)、根据当前预测单元的尺寸进行轮廓模式的提前终止：如果当前的预测单元尺寸比32×32小，轮廓模式被提前终止，并且进入步骤(5)；
(5)、进行深度建模模式决策的率失真最优化过程；
(6)、判定深度图的最优深度建模模式，进入步骤(1)继续进行下一个深度块判决。
所述步骤(2)中把当前深度块分类为近区域、中区域和远区域的方法是：
(2-1)、根据以下方程确定近区域的阈值Dn和远区域的阈值Df的值：
D n = 2 3 ( D m a x - D m i n ) D f = 1 3 ( D m a x - D m i n ) ;
其中，Dmax和Dmin分别表示当前图像最大和最小的深度图值；
(2-2)、通过比较深度图值将深度块分成三个区域，表达式为：
其中，Dblock表示当前预测单元PU的深度图值。
所述步骤(3)中进行不必要深度块跳过的方法是：
根据边缘区域深度块blockedge和平坦区域深度块blockhomo在整个深度块数量的占比以及在不同区域的运动活动性情况来跳过一些不必要的深度块。
所述步骤(5)进行深度建模模式决策的率失真最优化过程的方法是：根据率失真代价函数的拉格朗日乘子及拥有最小率失真成本的模式是最佳的预测模式的判定方法，利用率失真成本函数J＝Diff+λ·Bit判定率失真情况；其中，Diff是当前模式和预测模式的平均差异，λ是拉格朗日乘子，Bit是比特率。
与现有技术相比，本发明仅仅减少了可忽略的PSNR值，只增加了少量码率，节省了大量编码时间；由于采用了综合深度块跳过方法和轮廓模式提前终止方法，在得到极好编码性能的同时，节省了大量的编码时间，具有实际操作性，便于进行实时应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的流程图。
图2是本发明与原始3D-HEVC编码器相比的实验数据的RD曲线，其中，(a)为“Dancer”，(b)为“GT_Fly”，(c)为“Shark”，(d)为“Poznan_Street”，(e)为“Poznan_Hall2”，(f)为“Newspaper”，(g)为“Kendo”和(h)为“Balloons”。
具体实施方式
以下结合附图对本发明的实施例作进一步的详细说明。本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。
如图1所示，一种针对深度图快速深度建模模式判决方法，对深度块进行分类跳过判定，然后根据预测单元尺寸判定轮廓模式是否提前终止，最后进行深度建模模式的率失真优化得到最优的深度建模模式。具体是，首先把当前深度块分类为近区域、中区域和远区域，然后对深度块进行判定，若属于近区域或中区域则根据当前预测单元PU尺寸小于32×32时，跳过不必要的深度块，轮廓模式被提前终止，最后进行深度建模模式决策的率失真最优化过程，决定深度图的最优深度建模模式，判决过程结束，其步骤是：
(1)、开始深度图宏块的深度建模模式判决过程。
(2)、把当前深度块分类为近区域、中区域和远区域。
根据人类的视觉***特点，对近处目标运动的敏感度通常要高于远处目标，目标的运动活动性可以根据深度图值被分成三个区域：近区域、中区域和远区域。而3D-HEVC中的深度建模模式决策高度依赖深度图的边缘分布，我们可以建立深度块类型和深度图值的相关性：
且
其中，Dblock表明当前预测单元PU的深度图值，Dn和Df分别表示近区域和远区域的阈值。Dmax和Dmin分别表示当前图像最大和最小的深度图值。根据所确定的阈值Dn和Df将深度块分类为近区域、中区域和远区域。
(3)、进行不必要深度块跳过：如果深度块属于近区域或中区域，进入步骤(4)；否则，在远区域中深度块深度建模模式跳过率失真最优化过程，进入步骤(6)。
跳过不必要深度块：根据blockedge和blockhomo在整个深度块数量的占比以及在不同区域的运动活动性情况来跳过一些不必要的深度块。因在远区域中带边缘信息的深度块的数量很少，DMM决策过程可以在这些深度块中被跳过，所以3D-HEVC深度图编码中运行时间可以被显著降低。blockedge和blockhomo分别表示边缘和平坦区域的深度块。表1为深度块类型在不同区域的分布，blockedge和blockhomo的作用是表明了三种区域中两种类型深度块的占比情况。不同于深度图值，以深度块类型为基础，利用运动活动性由人眼视觉***敏感度决定的特性，人们对远区域运动物体的敏感度较低即物体运动活动性较低，这意味着远区域中blockedge的占比较低。可根据深度块类型占比情况判决是否跳过当前区域中边缘区域深度块blockedge的编码过程。由表1可知,远区域中平均仅仅3％的blockedge深度块，根据实验结果，跳过这些深度块对编码效果影响可忽略，可判决跳过编码。
表1深度块类型在不同区域的分布
(4)、根据当前预测单元的尺寸进行轮廓模式的提前终止：如果当前的预测单元尺寸比32×32小，轮廓模式被提前终止。
因在3D-HEVC中通常都选用楔形模式，而且楔形模式的百分比随着预测单元PU尺寸的减少会增加。如果我们可以提前判定预测单元PU，不管最佳深度建模模式是否是楔形模式，复杂的率失真最优化过程都可以被跳过，可以节约大量的编码时间。当预测单元PU的尺寸比32×32小时，轮廓模式很难被选为最佳的深度建模模式。因此，当预测单元PU的尺寸是8×8和16×16时，率失真最优化过程可以被提前结束。表2为不同预测单元PU尺寸和DMM决策的关系，由表2可知：当PU的尺寸小于32×32时，可以直接确定DMM决策的模式为楔形模式。
表2不同PU尺寸和DMM决策的关系
(5)、进行深度建模模式决策的率失真最优化过程。
根据率失真(RD)代价函数的拉格朗日乘子及拥有最小率失真成本的模式是最佳的预测模式的判定方法，利用方程J＝Diff+λ·Bit判定率失真情况。其中Diff是当前模式和预测模式的平均差异，λ是拉格朗日乘子，Bit是比特率，J为RD成本函数。
(6)、判定深度图的最优深度建模模式，进入步骤(1)继续进行下一个深度块判决。
根据计算结果确定深度建模模式最佳的建模模式。得到RD成本函数J的结果越低说明此种模式最优，即选择此最优模式编码。
为了验证本发明的效果，下面对几个标准测试视频序列进行测试实验，在JCT-VC提供的高效率视频编码***平台上，以HTM分别采用固定量化参数。表3给出测试数据参数，表4给出测试条件，表5给出本发明的结果。
标准测试序列：
表3测试数据参数
实验配置：
表4实验配置
中央处理器 2×Intel Xeon E5-2640 v2 2.0GHz
随机存取存储器 2×16GB DDR3
操作*** Microsoft Windows 10(64-bit)
实验平台 Microsoft Visual C++2010
测试结果：
表5本发明和原始3D-HEVC编码器的对比实验结果
测试序列 ΔPSNR(dB) ΔBR(％) ΔTime(％)
Dancer -0.01 0.47 33.21
GT_Fly 0.00 0.34 34.74
Shark 0.00 0.40 34.17
Poznan_Street -0.03 0.89 25.16
Poznan_Hall2 -0.02 0.78 27.75
Newspaper -0.02 0.55 31.55
Kendo -0.02 0.67 32.41
Balloons -0.01 0.69 31.62
Average -0.01 0.60 31.33
图2中(a)“Dancer”、(b)“GT_Fly”、(c)“Shark”、(d)“Poznan_Street”、(e)“Poznan_Hall2”、(f)“Newspaper”、(g)“Kendo”和(h)“Balloons”在量化参数QP对(25,34),(30,39),(35,42)和(40,45)下的RD曲线。由表5以及图2可知：本发明与原始3D-HEVC编码方式相比，分别节省了平均31.33％左右的编码时间，如图2显示，虽然码率有小幅度上涨，PSNR有小幅度下降，但节省了大量的编码时间。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种针对3D-HEVC深度图编码的深度建模模式判决方法，其特征在于，首先对深度块进行分类跳过判定，然后根据预测单元尺寸判定轮廓模式是否提前终止，最后进行深度建模模式的率失真优化得到最优的深度建模模式；其步骤如下：
(1)、开始深度图宏块的深度建模模式判决过程；
(2)、根据确定的近区域和远区域的阈值，把当前深度块分类为近区域、中区域和远区域；
(3)、进行不必要深度块跳过：如果深度块属于近区域或中区域，进入步骤(4)；否则，在远区域中深度块深度建模模式跳过率失真最优化过程，进入步骤(6)；
(4)、根据当前预测单元的尺寸进行轮廓模式的提前终止：如果当前的预测单元尺寸比32×32小，轮廓模式被提前终止，并且进入步骤(5)；
(5)、进行深度建模模式决策的率失真最优化过程；
(6)、判定深度图的最优深度建模模式，进入步骤(1)继续进行下一个深度块判决。
2.根据权利要求1所述的针对3D-HEVC深度图编码的深度建模模式判决方法，其特征在于，所述步骤(2)中把当前深度块分类为近区域、中区域和远区域的方法是：
(2-1)、根据以下方程确定近区域的阈值Dn和远区域的阈值Df的值：
D n = 2 3 ( D m a x - D m i n ) D f = 1 3 ( D m a x - D m i n ) ;
其中，Dmax和Dmin分别表示当前图像最大和最小的深度图值；
(2-2)、通过比较深度图值将深度块分成三个区域，表达式为：
其中，Dblock表示当前预测单元PU的深度图值。
3.根据权利要求1所述的针对3D-HEVC深度图编码的深度建模模式判决方法，其特征在于，所述步骤(3)中进行不必要深度块跳过的方法是：
根据边缘区域深度块blockedge和平坦区域深度块blockhomo在整个深度块数量的占比以及在不同区域的运动活动性情况来跳过一些不必要的深度块。
4.根据权利要求1所述的针对3D-HEVC深度图编码的深度建模模式判决方法，其特征在于，所述步骤(5)进行深度建模模式决策的率失真最优化过程的方法是：根据率失真代价函数的拉格朗日乘子及拥有最小率失真成本的模式是最佳的预测模式的判定方法，利用率失真成本函数J＝Diff+λ·Bit判定率失真情况；其中，Diff是当前模式和预测模式的平均差异，λ是拉格朗日乘子，Bit是比特率。
CN201610571479.3A 2016-07-20 2016-07-20 针对3d-hevc深度图编码的深度建模模式判决方法 Active CN106101699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610571479.3A CN106101699B (zh) 2016-07-20 2016-07-20 针对3d-hevc深度图编码的深度建模模式判决方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610571479.3A CN106101699B (zh) 2016-07-20 2016-07-20 针对3d-hevc深度图编码的深度建模模式判决方法

Publications (2)

Publication Number Publication Date
CN106101699A true CN106101699A (zh) 2016-11-09
CN106101699B CN106101699B (zh) 2018-12-28

Family

ID=57220751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610571479.3A Active CN106101699B (zh) 2016-07-20 2016-07-20 针对3d-hevc深度图编码的深度建模模式判决方法

Country Status (1)

Country Link
CN (1) CN106101699B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546747A (zh) * 2013-09-29 2014-01-29 北京航空航天大学 一种基于彩***编码模式的深度图序列分形编码方法
CN104378643A (zh) * 2014-12-04 2015-02-25 南京理工大学 一种3d视频深度图像帧内预测模式选择方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546747A (zh) * 2013-09-29 2014-01-29 北京航空航天大学 一种基于彩***编码模式的深度图序列分形编码方法
CN104378643A (zh) * 2014-12-04 2015-02-25 南京理工大学 一种3d视频深度图像帧内预测模式选择方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG-BIN ZHANG ET AL.: "《EFFICIENT DEPTH INTRA MODE DECISION BY REFERENCE PIXELS CLASSIFICATION IN 3D-HEVC》", 《2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
HUI DING ET AL.: "《Depth map pre-processing algorithm for compression based on 3D-HEVC scheme》", 《2015 IEEE 16TH INTERNATIONAL CONFERENCE ON COMMUNICATION TECHNOLOGY (ICCT)》 *

Also Published As

Publication number Publication date
CN106101699B (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN105049850B (zh) 基于感兴趣区域的hevc码率控制方法
CN103380620B (zh) 图像编码装置和图像编码方法
CN104639940B (zh) 一种快速hevc帧内预测模式选择方法
CN104796694B (zh) 基于视频纹理信息的优化帧内视频编码方法
CN103686165B (zh) 深度图像帧内编解码方法及视频编解码器
CN106604031A (zh) 一种基于兴趣区域的h.265视频质量提升方法
CN103067704B (zh) 一种基于编码单元层次提前跳过的视频编码方法和***
CN103297781A (zh) 一种基于纹理方向的hevc帧内编码方法、装置和***
CN105721866B (zh) 一种编码单元划分方法及装置
CN105898332B (zh) 针对3d-hevc编码标准的快速深度图帧内模式判决方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN105120282A (zh) 一种时域依赖的码率控制比特分配方法
CN106358040A (zh) 一种基于显著性的码率控制比特分配方法
Chen et al. A novel fast intra mode decision for versatile video coding
CN106937116A (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
Lee et al. Fast CU size decision algorithm using machine learning for HEVC intra coding
CN106507106A (zh) 基于参考片的视频帧间预测编码方法
CN105120290A (zh) 一种深度视频快速编码方法
CN106162176A (zh) 帧内预测模式选择方法和装置
CN107404653A (zh) 一种hevc码流的停车事件快速检测方法
CN102984524B (zh) 一种基于图层分解的视频编解码方法
CN105791863B (zh) 基于层的3d-hevc深度图帧内预测编码方法
CN110225339A (zh) 一种hevc视频序列编解码加速方法
CN116170594B (zh) 一种基于率失真代价预测的编码方法和装置
CN108737840A (zh) 一种基于深度图纹理特性的3d-hevc帧内快速编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant