CN103237223B - 基于熵的lcu快速划分 - Google Patents

Abstract

一种基于高效视频编码(HEVC)的最大编码单元(LCU)划分方法，包括：对LCU执行二次量化，以减少像素级；计算所述LCU中所有可能划分出的CU的熵值；根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分。

Description

基于熵的LCU快速划分

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，***新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像处理领域，更具体而言，涉及在高效视频编码HEVC中基于熵对LCU进行快速分割。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(JointcollaborativeTeamonVideoCoding)，一同开发高效视频编码HEVC(Highefficiencyvideocoding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http://wftp3.itu.int获得。

在HEVC中，提供了更大的编码单元(CU)和更加灵活的四叉树结构。HEVC中的CU的尺寸有64x64(LCU)，32x32，16x16，and8x8。这其中的64x64的CU被定义成最大编码单元(LCU)，每个LCU能够递归的***成4个大小相等的CU，直到最小的CU(8x8)。为了找到最优化的CU划分方案，编码器必须要考虑所有的划分情况。图2作为一个例子展示了一个LCU如何被划分成CU。这个遍历的过程叫做率失真优化RDO(RateDistortionOptimization)，RDO过程会扫描所有可能的CU去选择带来最小率失真代价的CU组合。采用这种更大的CU是对于提高编码段的有效性是一个很好的方案。图3A和3B分别示出了一张图片被H.264和HEVC划分的结果，从图3B我们可以看出更大的CU使得编码器能够有重点的编码：信息量很小的区域会被划分成相对大的CU；信息量大的区域会被划分成相对小的CU。然而更大的CU会带来一个负面效应，因为HEVC的编码端需要遍历所有可能的CU，这个遍历过程的计算量太大了，这样大的计算负担对于很多需要实时编码的应用是不合适的。

本申请参考了以下各个文献，这些文献由此引入本文，以作为本文公开内容的一部分。

[1]Woo-JinHan.ImprovedVideoCompressionEfficiencyThroughFlexibleUnitRepresentationandCorrespondingExtensionofCodingTools.CircuitsandSystemsforVideoTechnology.Dec.2010，20，1709-1720.

[2]Il-KooKim.HM7：HighEfficiencyVideoCoding(HEVC)TestModel7EncoderDescription.JCT-VC9thMeeting，Geneva，CN，27April-7May，2012.

[3]BenjaminBross.Highefficiencyvideocoding(HEVC)textspecificationdraft7，JCT-VC5thMeeting，Geneva，March，2011

[4]Bossen，F.VideoCodingUsingaSimplifiedBlockStructureandAdvancedCodingTechniques，CircuitsandSystemsforVideoTechnology.Dec.2010，20，1667-1675.

[5]Cassa，M.B.FastratedistortionoptimizationfortheemergingHEVCstandard.PictureCodingSymposium(PCS)，2012.7-9May2012，493-496.

[6]Woo-JinHan.ImprovedVideoCompressionEfficiencyThroughFlexibleUnitRepresentationandCorrespondingExtensionofCodingTools.CircuitsandSystemsforVideoTechnology.Dec.2010.20，12，1709-1720.

[7]G.J.Sullivan，T.Wiegand，“Rate-distortionoptimizationforvideocompression”，IEEESignalProcessingMagazine，vol.15，6，pp.74-90，Nov.1998.

[8]Ihara，Shunsuke.Informationtheoryforcontinuoussystems.1993WorldScientific.p.2.

[9]FrankBossen，2011，Commontestconditionsandsoftwarereferenceconfigurations，JCT-VC-F900，JCT-VC6thMeeting，Torino，July，2011，14-22.

发明内容

在对HEVC进行研究时，申请人注意到目前针对LCU分割的所有研究都被局限于基于RDO，而没有考虑到是否能够采用其他技术来替代RDO算法来实现较佳的LCU分割和较低的计算量，从而达成LCU分割质量与计算负荷之间的折中。

在本发明的研究过程中，申请人注意到由RDO过程划分出的CU和这些CU本身的信息量有很大关系。图2作为一个例子展示了分割LCU与信息量的相关性。因为香农熵定义了随机变量平均的不可预测性，这相当于其信息量。

所以申请人提出基于香农熵的技术来代替分割LCU中的RDO过程。

根据一个方面，提供了一种基于高效视频编码(HEVC)的最大编码单元(LCU)划分方法，包括：

对LCU执行二次量化，以减少像素级；

计算所述LCU中所有可能划分出的CU的熵值；

根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分，其中：

如果其中一个CU的熵值很小，则该CU不需要再划分，或者

如果该CU的熵值很大，则该CU需要继续被划分，或者

如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分。

根据另一方面，提供了一种计算机程序产品，包括具有存储在其上的计算机指令的计算机可读介质，所述计算机指令使得处理器执行以下操作：

对LCU执行二次量化，以减少像素级；

计算所述LCU中所有可能划分出的CU的熵值；

根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分，其中：

如果其中一个CU的熵值很小，则该CU不需要再划分，或者

如果该CU的熵值很大，则该CU需要继续被划分，或者

如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分。

根据另一方面，提供了一种装置，包括：

用于对LCU执行二次量化，以减少像素级的模块；

用于计算所述LCU中所有可能划分出的CU的熵值的模块；

用于根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分的模块，其中：

如果其中一个CU的熵值很小，则该CU不需要再划分，或者

如果该CU的熵值很大，则该CU需要继续被划分，或者

如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分。

根据另一方面，提供了一种基于HEVC的编码器，其包括：

CU分割器，其被配置为：

对LCU执行二次量化，以减少像素级；

计算所述LCU中所有可能划分出的CU的熵值；

根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分，其中：

如果其中一个CU的熵值很小，则该CU不需要再划分，或者

如果该CU的熵值很大，则该CU需要继续被划分，或者

如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出了HEVC中利用四叉树对LCU进行逐步分割的原理图。

图3A和3B分别示出了一张图片被H.264和HEVC划分的结果。

图4示出了体现了本发明的原理的高级流程图。

图5A示出了根据本发明的一个实施例，用于基于熵对LCU进行分割的方法流程图。

图5B示出了根据本发明的一个实施例，用于基于熵对LCU进行分割的装置框图。

图6是基于RDO算法的LCU分割与本发明的基于熵值的LCU分割的结果图比较。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“***”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地***、分布式***中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他***交互的一个组件的数据。

图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述，而仅关注于基于HEVC标准的LCU分割。

如上所述地，在对HEVC进行研究时，申请人注意到目前针对LCU分割的所有研究都被局限于基于RDO，而没有考虑到是否能够采用其他技术来替代RDO算法来实现较佳的LCU分割和较低的计算量，从而达成LCU分割质量与计算负荷之间的折中。

因此，申请人提出了基于香农熵的技术来代替分割LCU中的RDO过程。本发明的关键在于：找到被选取的CU和这些CU的熵值之间的关系。基于这一点，本发明的目标是使由本发明所划分出的CU与最优化的CU有最大的相似度。

图4示出了体现了本发明的原理的一个高级流程图。

首先，熵的公式如下：

$H\left(x\right)=-\underset{i=0}{\overset{i=1}{\mathrm{\Σ}}}{p}_1{\log }_2{p}_1$ ①

在这个公式中，H(x)为熵值，p_i代表像素级i出现的概率，j是像素级数。

为了得到所有CU的信息量，我们将会计算LCU中所有可能的CU的熵值。

然而在计算之前，优选地进行一个二次量化的过程，以便将像素级的总数变得尽可能小。由上述公式可知，在像素级总数j变小的情况下，可以减少计算量。

通常，对于每个像素值的计算机数字表示通常是1-2个字节，例如8位视频或10位视频。因此，可以设想采用SIMD指令同时对表示多个像素的像素值进行向右移位(例如，N位)来实施该二次量化。这种二次量化的一个假设是：在进行二次量化时，图像LCU中的信息量的减少与总像素技术的减少大致成比例，或者是其单调函数。因此，即使是对LCU进行二次量化后丢失了大量的信息，但是这种信息的丢失不会对LCU的最优分割的确定造成显著影响。因此，对二次量化后的总像素级数量的确定可以主要基于LCU分割质量与计算负荷的折中以及原始视频中每像素的位数。例如，在每像素256个像素级的情况下，可以将其二次量化为每像素32个像素级，即以上N＝3。

在另一实现方式中，无论原始视频中每像素有多少位，都将其二次量化为每像素32个像素级。

另外，该二次量化的另一个目的是移除背景噪声，即充当一个去背景噪声滤波器。

下一步，将会计算一个LCU中所有可能会出现的CU的熵值。LCU中一共有85个可能被划分出来的CU，包括：1个64x64、4个32x32、16个16x16、32个8x8大小的CU。接下来，统计在一个CU中每种像素值出现的概率。这些概率会被用在熵的计算中。计算概率的公式如下：

$p_i=\frac{n_i}{N}(i=\mathrm{0,1},......31)$ ②

其中，N是该CU中像素的个数，n_i表示像素值为i的像素的个数。

得出概率之后我们将会使用公式③来计算每个CU的像素值。得出85个熵值将会作为CU划分的依据。

$H\left(x\right)=-\underset{i=0}{\overset{i=1}{\mathrm{\Σ}}}{p}_i{\log }_2{p}_i,(i=31)$ ③

基于第二部分的理论以及A部分中得到的熵值，发明人做了大量工作来寻找CU熵值与CU划分之间的联系。

通过这些研究，发明人发现了这些分割LCU的准则：

a.CU的熵值很小，那么这个CU很可能不会继续划分下去。

b.CU的熵值很大，那么这个CU很可能要继续被划分下去。

c.CU的熵值接近于所有85个熵值的平均值，那么这个CU很可能会出现在最优的划分结果中。

在这些规则的基础上，发明人尝试了很多阀值，发现了最优的阀值：

a.如果CU的熵值小于1.2，那么此CU不需要再划分。

b.如果CU的熵值大于3.5，那么此CU将会继续划分下去。

c.如果CU的熵值在平均熵值的±0.15的范围之内，那么此CU将不会再划分。

经过实验，相比于HM8.0，申请人提出的算法在编码时间上有40.9％的降低，BD-rate损失了3.82％，PSNR降低了0.117％。

在该实验中，发明人使用公式④来计算编码时间的减少多少。

$\mathrm{\ΔT}=\frac{T_{\mathrm{HBVC}}-T_{\mathrm{Proposed}}}{T_{\mathrm{HBVC}}}$ ④

其中，T_HBVC是HM8.0的编码时间，T_Proposed表示将本算法加入到HM8.0后的编码时间。ΔT代表减少编码时间的结果。

其实验结果如表1所示：

表1.实验结果

图6是基于RDO算法的LCU分割与本发明的基于熵值的LCU分割的结果图比较。从图中可知，本文提出的算法与基于RDO算法的最优化的划分有80％左右的匹配度。

图5A示出了根据本发明的一个实施例，用于基于熵对LCU进行分割的方法流程图。

在步骤501中，对LCU执行二次量化，以减少像素级。

在步骤503中，计算所述LCU中所有可能划分出的CU的熵值。例如，如上所述地，在32个像素级的情况下，总共计算85个CU的熵值。

在步骤505中，根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分。如果其中一个CU的熵值很小，则该CU不需要再划分，或者如果该CU的熵值很大，则该CU需要继续被划分，或者如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分。

在一个优选实施例中，如果一个CU的熵值小于1.2，则认为该CU的熵值很小且不需要再划分，如果一个CU的熵值大于3.5，则认为该CU的熵值很大且需要继续被划分，如果一个CU的熵值在所述所有可能划分出的CU的熵值的平均值的±0.15的范围之内，则该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值并且将不会再划分。

图5B示出了根据本发明的一个实施例，用于基于熵对LCU进行分割的装置框图。其各个模块所实现的功能与图5A中的方法步骤一致，因此在此不再赘述。

本发明的上述实施例皆可实现为基于HEVC的编码器，特别是其中的帧内预测编码器。该基于HEVC的编码器的内部结构可以如图1所示，并且其中的帧内预测选择框和帧内预测框构成了所述帧内预测编码器。本领域技术人员应该理解，该解码器可以实现为软件、硬件和/或固件。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个***上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (6)

1.一种基于高效视频编码(HEVC)的最大编码单元LCU划分方法，包括：

对LCU执行二次量化，以减少像素级；

计算所述LCU中所有可能划分出的编码单元CU的熵值；

根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分，其中：

如果其中一个CU的熵值很小，则该CU不需要再划分，或者

如果该CU的熵值很大，则该CU需要继续被划分，或者

如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分，

其中，如果该CU的熵值小于1.2，则认为该CU的熵值很小，如果该CU的熵值大于3.5，则认为该CU的熵值很大，如果该CU的熵值在所述所有可能划分出的CU的熵值的平均值的±0.15的范围之内，则该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值。

2.如权利要求1所述的方法，其中，所述对LCU执行二次量化是通过对表示每一个像素值的计算机数字表示向右移位N位实现的。

3.如权利要求2所述的方法，其中，N为3。

4.如权利要求1所述的方法，其中，减少后的像素级为每像素32像素级。

5.一种基于高效视频编码(HEVC)的最大编码单元LCU划分装置，包括：

用于对LCU执行二次量化，以减少像素级的模块；

用于计算所述LCU中所有可能划分出的编码单元CU的熵值的模块；

用于根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分的模块，其中：

如果其中一个CU的熵值很小，则该CU不需要再划分，或者

如果该CU的熵值很大，则该CU需要继续被划分，或者

如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分，

其中，如果该CU的熵值小于1.2，则认为该CU的熵值很小，如果该CU的熵值大于3.5，则认为该CU的熵值很大，如果该CU的熵值在所述所有可能划分出的CU的熵值的平均值的±0.15的范围之内，则该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值。

6.一种基于高效视频编码(HEVC)的编码器，其包括：

编码单元CU分割器，其被配置为：

对最大编码单元LCU执行二次量化，以减少像素级；

计算所述LCU中所有可能划分出的CU的熵值；

根据所计算的CU的熵值，划分规则和阈值决定所述CU是否应该被继续划分，其中：

如果其中一个CU的熵值很小，则该CU不需要再划分，或者

如果该CU的熵值很大，则该CU需要继续被划分，或者

如果该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值，则该CU将不会再划分，

其中，如果该CU的熵值小于1.2，则认为该CU的熵值很小，如果该CU的熵值大于3.5，则认为该CU的熵值很大，如果该CU的熵值在所述所有可能划分出的CU的熵值的平均值的±0.15的范围之内，则该CU的熵值接近于所述所有可能划分出的CU的熵值的平均值。