CN104125469B - 一种用于hevc的快速编码方法 - Google Patents

Abstract

本发明公开了一种用于HEVC的快速编码方法，根据当前CU的深度与当前编码帧的深度控制上下限的大小关系、帧间预测编码中2Nx2N、2NxN和Nx2N三种预测划分模式的率失真代价与当前CU最佳编码模式之间的相关性，采用了HEVC编码模式的快速判决算法，通过Js＜w.J_T来对当前CU的编码划分模式进行快速判决从而获得当前CU的最佳编码模式，无需遍历每一种编码模式，降低了HEVC编码的计算复杂度，并提高了HEVC标准的编码速度。本发明可广泛应用于视频编码领域。

Description

一种用于HEVC的快速编码方法

技术领域

本发明涉及视频编码领域，尤其是一种用于HEVC的快速编码方法。

背景技术

名词解释：

HEVC：High Efficiency Video Coding，高性能视频编码。

CTU：Coding Tree Unit，编码树单元。

Collocated CTU：相同位置的编码树单元。

CU：Coding Unit,编码单元。

PU：预测单元。

SCU：最小编码单元。

POC：Picture of Count，图像序列号。

CPB：Coded Picture Buffer,编码图像缓存区。

AI：All Intra,全I帧编码配置。

LB：Low Delay B,低延时B帧编码配置。

RA：Random Access,随机访问编码配置。

随着计算机技术、通信技术、互联网技术和多媒体技术的迅猛发展，多媒体应用已经深入人们日常生活的方方面面，并逐渐地改变着人们的生活方式。视频是多媒体应用中最为常见和信息量最大的媒体。目前，多媒体业务已从以音频为主发展成以视频为主，无论是电影、电视、视频监控等传统多媒体应用，还是网络流媒体视频、可视电话和视频会议等新兴多媒体应用，视频都是其中最为核心的组成部分。

视频信息具有广泛性、直观性和高效性等特点。根据科学研究显示，人类通过视觉获取的信息约占外界信息总量的70%。相对于听觉信息，一张风景照片可以瞬间清楚地向人们展示某地的风光。与此相对应，作为视觉信息的主要载体，视频天然地携带着丰富的信息。未经压缩的原始视频的数据量非常巨大，例如，对于高清1080p@60Hz 4:2:0的视频，其1秒钟所包含的数据量约为178MB，1分钟则约为10.4GB，一部2小时的高清视频需要占用2.22TB的存储空间。这对视频的存储、传输都带来了巨大的挑战。因此，在存储和传输视频数据之前，对视频数据进行压缩编码显得非常必要。数字视频压缩编码技术发展迅速，从20世纪90年代以来，一直是国内外的研究热点，其主要目标是在一定的计算资源内，在相同的视频重建质量的基础上追求尽可能高的编码效率。

高性能视频编码(High Efficiency Video Coding,HEVC)标准是最新一代国际视频编码标准。自2010年1月起，VCEG(Video Coding Experts Group)和MPEG(MovingPicture Experts Group)共同组建了视频编码国际标准组织JCT-VC(JointCollaborative Team on Video Coding)来制定新的国际视频编码标准HEVC。HEVC编码标准于2013年1月正式颁布，并已经申请成为国际视频编码标准。HEVC综合采纳了全球众多技术提案方的编码技术，其压缩效率平均比H.264/AVC提高40%左右。然而，在极大提高编码效率的同时，这些新的编码技术也带来了巨大的编码复杂度。其中，灵活的块划分技术在HEVC中引入了众多的编码模式，使HEVC编码器需要遍历每一种编码模式并尝试进行编码以寻找出最佳编码模式。对每一种编码模式进行编码的过程中需要进行一系列的帧内预测、运动估计、运动补偿、熵编码等一系列高复杂度的操作，需要消耗巨大的计算资源，给HEVC标准的实际推广和应用带来了很大的挑战。

同时，伴随着人们对视频质量的要求不断提高及视频捕获技术和移动互联网的迅速发展，视频媒体加速向高清化、立体化和移动化方向发展，使得现有视频压缩编码技术的高计算复杂度问题显得更为严峻：首先，高清视频和立体视频数据导致视频数据量急剧增长，增加了视频编码的计算复杂度；其次，高清视频和立体视频产生的巨大数据量要求具有更高压缩效率的视频编码技术对其进行压缩，而更高压缩效率的视频编码技术往往意味着更高的编码计算复杂度；最后，移动终端由于计算能力和电源容量的限制，要求编码技术具有较低的计算复杂度，以保证移动终端的续航能力和满足某些视频应用的实时性要求，如高清实况直播和手机视频通话等。

因此，针对计算资源有限平台和实时性要求较高的视频应用，目前业内亟需一种在基本保持HEVC视频压缩效率和编码质量的前提下降低HEVC编码时的计算复杂度和提高编码速度的HEVC编码方法。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种计算复杂度低和编码速度快的，用于HEVC的快速编码方法。

本发明解决其技术问题所采用的技术方案是：

一种用于HEVC的快速编码方法，包括：

A、获取当前编码帧的当前CU的深度和当前CU在CTU中的位置索引，并根据当前CU的深度与当前编码帧的深度控制上下限的大小关系判断是否需要跳过当前CU的所有模式编码过程，若是，则执行步骤C，反之，则执行步骤B；

B、对当前编码帧的当前CU进行帧间预测2Nx2N模式、2NxN模式和Nx2N模式编码；

C、根据帧间预测编码中2Nx2N、2NxN和Nx2N三种预测划分模式的率失真代价的大小关系与当前CU最佳编码模式之间的相关性，判断当前CU是否满足Js＜w.J_T判决条件，若是，则结束当前CU的编码并停止对当前CU进行递归划分，并计算当前CU不进行递归划分时的最小率失真代价，反之，则在对当前CU进行编码后对当前CU进行递归划分，并计算当前CU进行递归划分时的最小率失真代价，其中，Js为当前CU在帧间编码2Nx2N模式下的率失真代价，w为加权因子，J_T为当前CU在帧间编码2NxN模式和Nx2N模式下的率失真代价最小值；

D、根据当前CU不进行递归划分时的最小率失真代价和进行递归划分时的最小率失真代价，求出当前CU的最佳编码模式并根据最佳编码模式重新进行编码。

进一步，所述步骤A，其包括：

A1、判断当前编码帧的图像序列号是否为预设刷新周期值的整数倍，若是，执行步骤C，反之，则执行步骤A2；

A2、从CPB中选取最相邻的同类型已编码帧作为当前编码帧的CU深度控制参考帧；

A3、获取当前编码帧的当前CU的深度d和当前CU在CTU中的位置索引i，并根据CU深度控制参考帧中与位置索引i相对应的CTU深度信息DepthRef[i]遍历CTU中的所有SCU，从而生成当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL，所述深度控制下限图DepthBL和深度控制上限图DepthUL应满足：

DepthBL[i]=DepthRef[i]-1,DepthUL[i]=DepthRef[i]+1,其中，i为[0,255]区间内的整数，DepthRef[i]表示深度控制参考帧中Collocated CTU按Z扫描顺序得到的第i个SCU的深度值；

A4、根据当前CU的深度d与DepthBL[i]和DepthUL[i]的大小关系是否满足预设的深度快速判决条件，若是，则执行步骤B，反之，则跳过当前CU的所有模式编码过程并执行步骤C，所述预设的深度快速判决条件为：

DepthBL[i]≤d≤DepthUL[i]。

进一步，所述步骤A2，其具体为：

根据预设的参考帧选取原则，从CPB中选取最相邻的同类型已编码帧作为当前编码帧的CU深度控制参考帧；所述预设的参考帧选取原则为：

优先选取的深度控制参考帧为使得DiffPOC(PicX,PicY)的绝对值最小的已编码帧，其中，PicX为当前帧，PicY为CPB中的任意已编码帧，DiffPOC(PicX,PicY)为PicX与PicY的图像序列号差值；

若存在两帧已编码帧与当前编码帧的距离相同，则优先选取与当前编码帧相同类型的已编码帧作为深度控制参考帧；

若存在两帧已编码帧与当前编码帧的距离相同且类型也相同，则优先选取图像序列号较小的已编码帧作为深度控制参考帧。

进一步，所述当前编码帧的类型为I帧、P帧和B帧中的任一种。

进一步，所述步骤A3在生成当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL时，还采用了裁剪函数对当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL进行裁剪处理，从而使前编码CTU的深度在预设的范围内，所述裁剪函数clip（a,b,x）的表达式为：

，

其中，a、x和b均是预设的范围控制常数。

进一步，所述步骤C，其具体为：

判断当前编码帧的当前CU的率失真代价是否满足Js＜w.J_T判决条件，若是，则直接对当前CU进行帧内预测2Nx2N模式和NxN模式编码，并计算当前CU不进行递归划分时的最小率失真代价，反之，则在对当前CU进行帧间预测NxN模式、AMP模式编码后进行帧内预测2Nx2N模式和NxN模式编码后，对当前CU进行递归划分，并计算当前CU进行递归划分时的最小率失真代价。

本发明的有益效果是：根据当前CU的深度与当前编码帧的深度控制上下限的大小关系、帧间预测编码中2Nx2N、2NxN和Nx2N三种预测划分模式的率失真代价与当前CU最佳编码模式之间的相关性，采用了HEVC编码模式的快速判决算法，通过Js＜w.J_T来对当前CU的编码划分模式进行快速判决从而获得当前CU的最佳编码模式，无需遍历每一种编码模式，降低了HEVC编码的计算复杂度，并提高了HEVC标准的编码速度。进一步，根据CU深度控制参考帧中与位置索引相对应的CTU深度信息生成当前编码CTU的深度控制上限图和深度控制下限图，采用时域已编码帧的CU深度控制当前CU的深度，进一步降低了HEVC编码的计算复杂度。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明一种用于HEVC的快速编码方法的步骤流程图；

图2为本发明步骤A的流程图；

图3为本发明实施例一中对每一帧进行编码时的流程图。

具体实施方式

参照图1，一种用于HEVC的快速编码方法，包括：

A、获取当前编码帧的当前CU的深度和当前CU在CTU中的位置索引，并根据当前CU的深度与当前编码帧的深度控制上下限的大小关系判断是否需要跳过当前CU的所有模式编码过程，若是，则执行步骤C，反之，则执行步骤B；

B、对当前编码帧的当前CU进行帧间预测2Nx2N模式、2NxN模式和Nx2N模式编码；

C、根据帧间预测编码中2Nx2N、2NxN和Nx2N三种预测划分模式的率失真代价的大小关系与当前CU最佳编码模式之间的相关性，判断当前CU是否满足Js＜w.J_T判决条件，若是，则结束当前CU的编码并停止对当前CU进行递归划分，并计算当前CU不进行递归划分时的最小率失真代价，反之，则在对当前CU进行编码后对当前CU进行递归划分，并计算当前CU进行递归划分时的最小率失真代价，其中，Js为当前CU在帧间编码2Nx2N模式下的率失真代价，w为加权因子，J_T为当前CU在帧间编码2NxN模式和Nx2N模式下的率失真代价最小值；

D、根据当前CU不进行递归划分时的最小率失真代价和进行递归划分时的最小率失真代价，求出当前CU的最佳编码模式并根据最佳编码模式重新进行编码。

其中，J_T为当前CU在帧间编码2NxN模式的率失真代价和Nx2N模式下的率这两个失真代价的较小值，当前CU的最佳编码模式为不进行递归划分时的最小率失真代价和进行递归划分时的最小率失真代价这两个最小率失真代价较小值所对应的编码模式，可以通过二者进行比较得出。

参照图2，进一步作为优选的实施方式，所述步骤A，其包括：

A1、判断当前编码帧的图像序列号是否为预设刷新周期值的整数倍，若是，执行步骤C，反之，则执行步骤A2；

A2、从CPB中选取最相邻的同类型已编码帧作为当前编码帧的CU深度控制参考帧；

A3、获取当前编码帧的当前CU的深度d和当前CU在CTU中的位置索引i，并根据CU深度控制参考帧中与位置索引i相对应的CTU深度信息DepthRef[i]遍历CTU中的所有SCU，从而生成当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL，所述深度控制下限图DepthBL和深度控制上限图DepthUL应满足：

DepthBL[i]=DepthRef[i]-1,DepthUL[i]=DepthRef[i]+1,其中，i为[0,255]区间内的整数，DepthRef[i]表示深度控制参考帧中Collocated CTU按Z扫描顺序得到的第i个SCU的深度值；

A4、根据当前CU的深度d与DepthBL[i]和DepthUL[i]的大小关系是否满足预设的深度快速判决条件，若是，则执行步骤B，反之，则跳过当前CU的所有模式编码过程并执行步骤C，所述预设的深度快速判决条件为：

DepthBL[i]≤d≤DepthUL[i]。

进一步作为优选的实施方式，所述步骤A2，其具体为：

根据预设的参考帧选取原则，从CPB中选取最相邻的同类型已编码帧作为当前编码帧的CU深度控制参考帧；所述预设的参考帧选取原则为：

优先选取的深度控制参考帧为使得DiffPOC(PicX,PicY)的绝对值最小的已编码帧，其中，PicX为当前帧，PicY为CPB中的任意已编码帧，DiffPOC(PicX,PicY)为PicX与PicY的图像序列号差值；

若存在两帧已编码帧与当前编码帧的距离相同，则优先选取与当前编码帧相同类型的已编码帧作为深度控制参考帧；

若存在两帧已编码帧与当前编码帧的距离相同且类型也相同，则优先选取图像序列号较小的已编码帧作为深度控制参考帧。

其中，最相邻的同类型已编码帧，是指

进一步作为优选的实施方式，所述当前编码帧的类型为I帧、P帧和B帧中的任一种。

进一步作为优选的实施方式，所述步骤A3在生成当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL时，还采用了裁剪函数对当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL进行裁剪处理，从而使当前编码CTU的深度在预设的范围内，所述裁剪函数clip（a,b,x）的表达式为：

，

其中，a、x和b均是预设的范围控制常数。

进一步作为优选的实施方式，所述步骤C，其具体为：

判断当前编码帧的当前CU的率失真代价是否满足Js＜w.J_T判决条件，若是，则直接对当前CU进行帧内预测2Nx2N模式和NxN模式编码，并计算当前CU不进行递归划分时的最小率失真代价，反之，则在对当前CU进行帧间预测NxN模式、AMP模式编码后进行帧内预测2Nx2N模式和NxN模式编码后，对当前CU进行递归划分，并计算当前CU进行递归划分时的最小率失真代价。

当前CU进行递归划分时的最小率失真代价为递归划分出的所有子CU的率失真代价最小值。

下面结合具体实施例对本发明作进一步详细说明。

实施例一

本实施例对本发明的HEVC编码算法进行介绍。

本发明的HEVC编码算法分为两部分。

（一）算法的第一部分

算法的第一部分的流程包括以下步骤：

（1）若当前帧的POC（图像序列号）满足下表1所示的预设刷新周期值的整数倍，则禁用算法第一部分直接跳至算法的第二部分，否则则进行步骤（2）；

表1 POC与编码配置、帧率的关系

例如，在帧率为24且采用AI编码设置时，若当前帧的POC满足预设刷新周期值的3倍，则直接跳至算法的第二部分。

（2）本发明对当前编码帧进行编码之前，需在CPB中选取最相邻的同类型已编码帧作为当前编码帧的CU深度控制参考帧，此深度控制参考帧的选取遵循以下原则：

a.优先选取时域上与当前编码帧距离最近的已编码帧：若令PicX表示当前帧，PicY表示CPB中的任意已编码帧，则优先选取深度控制参考帧为使得DiffPOC(PicX,PicY)的绝对值最小的已编码帧，其中，DiffPOC(PicX,PicY)= POC(PicX)-POC(PicY)；

b.若存在两帧已编码帧与当前编码帧的距离相同，则优先选取与当前编码帧相同类型的已编码帧，编码帧类型为I帧、P帧和B帧三种类型中的一种；

c.存在两帧已编码帧与当前编码帧的距离相同且类型也相同，则优先选取图像序列号POC较小的已编码帧作为深度控制参考帧。

（3）本发明在对当前编码帧的每个CTU进行编码之前，还需根据深度控制参考帧中与之位置相对应的CTU的深度信息DepthRef生成当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL，此过程需要遍历CTU中的所有SCU：

DepthBL[i]=DepthRef[i]-1,

DepthUL[i]=DepthRef[i]+1。

这里将当前编码CU的深度限制为参考CU深度的正负1范围内，是因为根据先验知识和实际实验结果，最佳编码模式所对应的编码CU的深度大部分位于参考CU深度的正负1范围内，这样做可以进一步降低HEVC编码的计算复杂度。同时，若前编码CU的深度已超过预设的深度范围，则需要采用裁剪函数clip（a,b,x）当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL进行裁剪处理。

（4）本发明在对当前CTU进行递归编码之前，还需根据当前CU的深度d与DepthBL[i]和DepthUL[i]的大小关系，对当前CU的深度进行快速判决，从而得到当前CU的编码划分模式。若条件DepthBL[i]≤d≤DepthUL[i]不成立，则不对当前CU进行编码，即跳过当前CU的所有模式的编码过程。

（二）算法的第二部分

若当前CU是帧间预测CU，且在算法的第一部分中并未跳过当前CU的编码过程，此时如果预设的判决条件Js＜w.J_T也成立，则当前CU不进行帧间预测NxN模式和AMP模式的编码操作，同时停止当前CU的编码并停止继续将CU进一步划分为子CU；若Js＜w.J_T不成立，则继续将CU进一步划分为4个子CU，并计算所有子CU中的最小率失真代价，子CU的最小率失真代价即为当前CU进行递归划分时的最小率失真代价。其中，w为加权因子，w的具体取值如下表2所示。

表2 w的具体取值

例如，在QP（量化参数）为27且CU深度为0时，w=0.892。

本发明HEVC编码算法对每一帧进行编码时的流程图如图3所示。

实际的测试结果表明本发明的编码算法在AI、LB和RA编码配置下，与HEVC官方给出的参考软件HM-13.0相比，编码时间降低比例分别为21.14%、34.41%、39.45%，而BD-Rate（编码质量相同的情况下两个码流的码率差异）分别为0.16%、1.1%、1.8%。

与现有技术相比，本发明根据当前CU的深度与当前编码帧的深度控制上下限的大小关系、帧间预测编码中2Nx2N、2NxN和Nx2N三种预测划分模式的率失真代价与当前CU最佳编码模式之间的相关性，采用了HEVC编码模式的快速判决算法，通过Js＜w.J_T来对当前CU的编码划分模式进行快速判决从而获得当前CU的最佳编码模式，无需遍历每一种编码模式，降低了HEVC编码的计算复杂度，并提高了HEVC标准的编码速度；根据CU深度控制参考帧中与位置索引相对应的CTU深度信息生成当前编码CTU的深度控制上限图和深度控制下限图，采用时域已编码帧的CU深度控制当前CU的深度，进一步降低了HEVC编码的计算复杂度。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (5)

1.一种用于HEVC的快速编码方法，其特征在于：包括：

A、获取当前编码帧的当前CU的深度和当前CU在CTU中的位置索引，并根据当前CU的深度与当前编码帧的深度控制上下限的大小关系判断是否需要跳过当前CU的所有模式编码过程，若是，则执行步骤C，反之，则执行步骤B；

B、对当前编码帧的当前CU进行帧间预测2Nx2N模式、2NxN模式和Nx2N模式编码；

C、根据帧间预测编码中2Nx2N、2NxN和Nx2N三种预测划分模式的率失真代价的大小关系与当前CU最佳编码模式之间的相关性，判断当前CU是否满足Js＜w.J_T判决条件，若是，则结束当前CU的编码并停止对当前CU进行递归划分，并计算当前CU不进行递归划分时的最小率失真代价，反之，则在对当前CU进行编码后对当前CU进行递归划分，并计算当前CU进行递归划分时的最小率失真代价，其中，Js为当前CU在帧间编码2Nx2N模式下的率失真代价，w为加权因子，J_T为当前CU在帧间编码2NxN模式和Nx2N模式下的率失真代价最小值；

D、根据当前CU不进行递归划分时的最小率失真代价和进行递归划分时的最小率失真代价，求出当前CU的最佳编码模式并根据最佳编码模式重新进行编码；

所述步骤A，其包括：

A1、判断当前编码帧的图像序列号是否为预设刷新周期值的整数倍，若是，执行步骤C，反之，则执行步骤A2；

A2、从CPB中选取最相邻的同类型已编码帧作为当前编码帧的CU深度控制参考帧；

A3、获取当前编码帧的当前CU的深度d和当前CU在CTU中的位置索引i，并根据CU深度控制参考帧中与位置索引i相对应的CTU深度信息DepthRef[i]遍历CTU中的所有SCU，从而生成当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL，所述深度控制下限图DepthBL和深度控制上限图DepthUL应满足：

DepthBL[i]＝DepthRef[i]-1,DepthUL[i]＝DepthRef[i]+1,其中，i为[0,255]区间内的整数，DepthRef[i]表示深度控制参考帧中Collocated CTU按Z扫描顺序得到的第i个SCU的深度值；

A4、根据当前CU的深度d与DepthBL[i]和DepthUL[i]的大小关系是否满足预设的深度快速判决条件，若是，则执行步骤B，反之，则跳过当前CU的所有模式编码过程并执行步骤C，所述预设的深度快速判决条件为：

DepthBL[i]≤d≤DepthUL[i]。

2.根据权利要求1所述的一种用于HEVC的快速编码方法，其特征在于：所述步骤A2，其具体为：

根据预设的参考帧选取原则，从CPB中选取最相邻的同类型已编码帧作为当前编码帧的CU深度控制参考帧；所述预设的参考帧选取原则为：

优先选取的深度控制参考帧为使得DiffPOC(PicX,PicY)的绝对值最小的已编码帧，其中，PicX为当前帧，PicY为CPB中的任意已编码帧，DiffPOC(PicX,PicY)为PicX与PicY的图像序列号差值；

若存在两帧已编码帧与当前编码帧的距离相同，则优先选取与当前编码帧相同类型的已编码帧作为深度控制参考帧；

若存在两帧已编码帧与当前编码帧的距离相同且类型也相同，则优先选取图像序列号较小的已编码帧作为深度控制参考帧。

3.根据权利要求2所述的一种用于HEVC的快速编码方法，其特征在于：所述当前编码帧的类型为I帧、P帧和B帧中的任一种。

4.根据权利要求1所述的一种用于HEVC的快速编码方法，其特征在于：所述步骤A3在生成当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL时，还采用了裁剪函数对当前编码CTU的深度控制下限图DepthBL和深度控制上限图DepthUL进行裁剪处理，从而使当前编码CTU的深度在预设的范围内，所述裁剪函数clip(a,b,x)的表达式为：

$Clip(a,b,x)=\left\{\begin{array}{cc}a& ifx\&le;a\\ x& ifa<x<b\\ b& ifx\&GreaterEqual;b\end{array}\right.,$

其中，a、x和b均是预设的范围控制常数。

5.根据权利要求1所述的一种用于HEVC的快速编码方法，其特征在于：所述步骤C，其具体为：

判断当前编码帧的当前CU的率失真代价是否满足Js＜w.J_T判决条件，若是，则直接对当前CU进行帧内预测2Nx2N模式和NxN模式编码，并计算当前CU不进行递归划分时的最小率失真代价，反之，则在对当前CU进行帧间预测NxN模式、AMP模式编码后进行帧内预测2Nx2N模式和NxN模式编码后，对当前CU进行递归划分，并计算当前CU进行递归划分时的最小率失真代价。