CN105791867B - 基于边界自适应变换的优化视频数据编码方法 - Google Patents

Abstract

本发明提供了一种基于边界自适应变换的优化视频数据编码方法。该方法主要包括：根据视频编码的现有DCT变换矩阵生成新型变换矩阵，将新型变换矩阵和现有DST/DCT变换矩阵组成新型变换矩阵集合；根据预测模式、变换单元大小以及变换单元的边界信息与预测单元的边界信息关系，从新型变换矩阵集合中选择一组变换矩阵；利用所述一组新型变换矩阵对输入的视频数据进行变换，生成编码码流。本发明充分利用了帧间预测后残差矩阵的分布特性，基于预测单元和变换单元的边界信息，对不同的边界特性采用不同的变换矩阵对其进行变换。该优化方法可以根据帧间预测后残差的特性，针对性地选择更为有效的变换矩阵进行变换，从而提高编码效率。

Description

基于边界自适应变换的优化视频数据编码方法

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种基于边界自适应变换的优化视频数据编码方法。

背景技术

自H.261视频编码标准以来，主流的视频编码标准均采用“基于块的预测和变换”的混合编码框架，图1为现有技术中的一种视频编解码器总体框架图，输入的视频信号经过编码器中多种编码技术的处理之后，最后输出比特流，以备解码器进行解码。因而，在混合编码框架下，一个完整的视频编解码***包括编码器和解码器两个部分。

图2为现有技术中的一种视频编码基本流程图，包括如下的处理过程；在编码端，输入的视频信号首先会经过预测模块，编码器依照率失真准则从若干种预测模式中选择最优的一种预测模式进行预测，得到预测信号，将预测信号与原始信号作差，得到残差信号；残差信号经过变换、量化后由熵编码器编码，最终输出码流。

在解码端，首先从码流中解析出预测模式信息，生成与编码端完全一致的预测信号；并利用熵解码器从码流中解析出已经量化后的系数值，通过反量化与反变换之后，生成重构的残差信号；最后将预测信号与残差信号合成出重构视频信号。

在混合编码框架中，编码流程中有一项非常关键的编码技术：变换。变换的作用是将经过预测之后的残差信号，从空域变换到频域，再通过某种线性运算，将残差信号中的能量集中在少数几个低频的变换系数上，而其余大部分的系数的能量很低或者系数值为零，这有利于后续的标量量化和熵编码。

在视频编码中，对于某个残差块X而言，如果将X看作二维矩阵，那么二维变换就是对矩阵X进行两次矩阵相乘的操作，即Y＝C·X·R，其中C、R表示变换矩阵又称变换核，且C、R为方形矩阵，其尺寸与X的尺寸有关，Y是变换后得到的系数矩阵也称变换系数块或变换系数矩阵。由于离散余弦变换(Discrete Cosine Transform,DCT)，尤其是DCT-II，相对于其它变换而言，实现更为简单，且能获得更好的编码性能，因此被广泛地使用。

在新一代视频编码标准HEVC(High Efficiency Video Coding)G.J.Sullivan,J.–R.Ohm,W.J.Han and T.Wiegand,“Overview of the High Efficiency Video Coding(HEVC)Standard,”IEEE Transactions on Circuits and Systems for VideoTechnology,vol.22,pp.1649-1668,Dec.2012中，编码器先将视频序列划分成均匀等大小的编码树单元(Coding Tree Unit,CTU)，一般采用64×64大小的编码树单元。编码时，将CTU四叉递归划分为不同大小的编码单元(Coding Unit,CU)，该编码单元CU为编码的基本单元。CU一般呈2N×2N的方块，且大小不超过CTU的大小。当CTU为64×64时，CU大小可以为8×8、16×16、32×32、64×64，对应的划分深度分别为3,2,1,0，此外，用户也可自定义CTU大小及CU的划分深度。图3为一种CTU划分成CU的方式。CU可以划分成不同大小、不同形状的预测单元(Prediction Unit,PU)，且预测单元PU是预测的基本单元，大小不能超过所在CU的大小。对于帧内预测，PU的大小呈方形；对于帧间预测，HEVC还支持CU划分成非方形的PU，如图4所示。CU还可以四叉递归划分成不同大小的变换单元(Transform Unit,TU)用于对预测后得到的残差块进行变换。同样地，TU的大小也不能超过CU的大小，一般地，其大小选择从4×4、8×8、16×16、32×32不等。图5是一个32×32大小的CU的划分情况，其中，实线表示PU和TU的划分，而虚线仅表示TU的划分。然而，同一CU内，TU的大小不受PU大小的限制，如图6所示，实线为PU的划分方式，虚线则为TU的划分方式。编码单元、预测单元、变换单元的多样性，虽然在一定程度上增加了编解码器的复杂度，但是也显著地提高了H.265/HEVC的编码性能。

相同地，由我国音视频编解码工作组筹备制定的我国自主知识产权的新一代视频编码标准AVS2也支持灵活的块划分结构。一帧图像首先划分成若干个最大编码单元。最大编码单元按照四叉树递归划分的方式划分成更小的CU，编码单元大小取值与HEVC类似，且预测单元PU的划分方式也与HEVC相似，但较于HEVC在帧内预测时增加了非对称预测划分，如图7所示。对于变换块(Transform Block,TB)，为了适应非对称的PU，AVS2中提出了一种非方形的变换方式，如图7所示。对于帧间预测亮度块变换时，增加了双层变换，如图8所示，第一层变换即不对编码块划分，第二层变换即根据不同的预测方式选择不同的变换块划分方式，再根据率失真准则选择最优预测变换组合方式进行编码。

和H.264/AVC一样，HEVC和AVS2均使用DCT-II进行变换，并针对不同的TU或TB大小设计了不同的DCT-II变换矩阵(B.Bross,W.–J.Han,J.–R.Ohm,G.J.Sullivan,Y.–K.Wangand T.Wiegand,“High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Consent),”JCTVC-L1003,Geneva,CH,Jan.2013.W.Gao,S.W.Ma,“AdvancedVideo Coding Systems”,Springer,2014.)。由于帧内预测后残差分布具有方向特性，而离散正弦变换(Discrete Sine Transform，DST)被证明是与DCT相比，对该特性的残差块具有更好的能量集中功能，因此，HEVC采纳了离散正弦变换，这也是DST第一次被采纳进视频编解码标准。但由于DST的计算复杂度较高，且不易实现并行，因此，DST的使用也受到了限制。为了降低DST的计算复杂度，HEVC还采用了DST-VII型的变换矩阵(B.Bross,W.–J.Han,J.–R.Ohm,G.J.Sullivan,Y.–K.Wang and T.Wiegand,“High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Consent),”JCTVC-L1003,Geneva,CH,Jan.2013.)，且DST-VII仅作为大小为4×4、帧内预测的亮度块变换时的候选模式，并使用了经过优化的快速DST变换。这些变换优化算法的使用，使得全I(All Intra)帧编码的性能有0.8％的BD-Rate提升，且编码复杂度的增加是可以忽略不计的(A.Sexena andF.C.A.Fernandes,“CE7:Mode-dependent DCT/DST without 4×4full matrixmultiplication for intra prediction,”JCTVC-E125,Geneva,CH,16-23Mar.2011.)。而在AVS2中，采纳了二次变换技术来进一步优化，当帧内预测满足一定预测角度时，将对4×4的变换矩阵采用二次变换的联合矩阵进行变换，即对4×4变换矩阵增加了候选项(W.Gao,S.W.Ma,“Advanced Video Coding Systems”,Springer,2014.)。

虽然HEVC和AVS2中现有技术能够针对帧内编码，采用不同的变换矩阵，却并未考虑到帧间编码残差分布的统计特性，且HEVC较大的DST变换矩阵以及AVS2中的二次变换实现的计算代价很大，一旦使用将大大增加编解码器的复杂度。因此，已有的变换技术对低延时(Low Delay)和随机访问(Random Access)配置下的编码性能提升还是有限的。因此，开发一种高效率的视频编解码方法是一个亟待解决的问题。

发明内容

本发明的实施例提供了一种基于边界自适应变换的优化视频数据编码方法，以提高视频数据的编解码效率。

本发明提供了如下方案：

一种基于边界自适应变换的优化视频数据编码方法，包括：

根据视频编码现有的DCT变换矩阵生成新型变换矩阵，将所述新型变换矩阵和现有DST/DCT变换矩阵组成新型变换矩阵集合；

根据输入的视频数据选择预测模式、预测单元和变换单元，根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵集合中选择一组变换矩阵；

利用所述一组新型变换矩阵对所述视频数据进行编码，生成编码码流。

进一步地，所述的根据视频编码的现有DCT变换矩阵生成新型变换矩阵，将所述新型变换矩阵和现有DST/DCT变换矩阵组成新型变换矩阵组合，包括：

对现有的视频编码的残差矩阵先进行翻转，再利用DST-VII变换矩阵进行变换的变换过程，定义为使用新型F-DST-VII变换矩阵进行变换，所述新型F-DST-VII变换矩阵包括：新型F-DST-VII水平变换矩阵和新型F-DST-VII垂直变换矩阵，所述新型F-DST-VII变换矩阵适用于帧间预测模式下方形的4×4变换单元以及非方形的4×16、16×4变换单元；

根据现有的视频编码的DCT-II变换矩阵导出新型变换矩阵DCT-IV，所述新型DCT-IV变换矩阵包括：新型DCT-IV水平变换矩阵和新型DCT-IV垂直变换矩阵，所述新型DCT-IV变换矩阵适用于帧间预测模式下方形的8×8和16×16变换单元以及非方形的4×16、16×4、8×32、32×8变换单元；

对现有的视频编码的残差矩阵先进行翻转，再利用DCT-IV变换矩阵进行变换的变换过程，定义为使用新型F-DCT-IV变换矩阵进行变换，所述新型F-DCT-IV变换矩阵包括：新型F-DCT-IV水平变换矩阵和新型F-DCT-IV垂直变换矩阵，所述新型F-DCT-IV变换矩阵适用于帧间预测模式下方形的8×8和16×16变换单元以及非方形的4×16、16×4、8×32、32×8变换单元；

将所述新型DCT-IV水平变换矩阵、新型DCT-IV垂直变换矩阵、新型F-DST-VII水平变换矩阵、新型F-DST-VII垂直变换矩阵、新型F-DCT-IV水平变换矩阵和新型F-DCT-IV垂直变换矩阵，以及现有DST/DCT变换矩阵组成新型变换矩阵集合。

进一步地，所述的根据现有的视频编码的DCT-II变换矩阵导出新型变换矩阵DCT-IV，包括：

将N点信号量为f[n]的DCT-II一维变换定义为式(1)，

对式(1)分别按偶数索引项和奇数索引项重新进行组合，推导出式(2)、(3)：

将N点信号量为f[n]的DCT-IV一维变换定义为式(4)：

由式(1)、(2)得到，N点信号量为f[n]的DCT-II变换的索引号为偶数的变换系数等于N/2点信号量为f[n]，f[N-1-n]的DCT-II变换系数之和，由式(3)、(4)得到，N点信号为f[n]的DCT-II变换的索引号为奇数的变换系数等于N/2点信号量为f[n]，f[N-1-n]的DCT-IV变换系数之差。

进一步地，所述的根据所述预测模式、变换单元大小，以及变换单元的边界信息与预测单元的边界信息关系，从所述新型变换矩阵集合中选择一组变换矩阵，包括：

所述一组变换矩阵包括一个水平变换矩阵和一个垂直变换矩阵，所述水平变换矩阵用于行变换，所述垂直变换矩阵用于列变换；根据变换单元上、下边界是否为预测单元的边界，来确定所述垂直变换矩阵的选择方案；根据变换单元左、右边界是否为预测单元的边界，来确定所述水平变换矩阵的选择方案。

进一步地，所述的根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵组合中选择一组变换矩阵，包括：

对于帧间预测模式下的方形变换矩阵，所述一组变换矩阵的选择方案如表1、2所示：

表1：8×8和16×16变换单元与预测单元边界情况与相应变换类型

表2：4×4变换单元与预测单元边界情况与相应变换类型

其中NP表示变换单元的边界不是预测单元的边界，P表示变换单元的边界也是预测单元的边界。

进一步地，所述的根据所述预测模式、变换单元大小，以及变换单元的边界信息与预测单元的边界信息关系，从所述新型变换矩阵组合中选择一组变换矩阵，包括：

对于帧间预测模式下的非方形变换矩阵，所述一组变换矩阵的选择方案如表3、4和5所示：

表3：4×16变换单元与预测单元边界情况与相应变换类型

表4：16×4变换单元与预测单元边界情况与相应变换类型

表5：8×32和32×8变换单元与预测单元边界情况与相应变换类型

其中NP表示变换单元的边界不是预测单元的边界，P表示变换单元的边界也是预测单元的边界。

进一步地，所述的方法还包括：

在解码端，对视频编码码流进行解析，得到相应的预测模式、变换单元和预测单元的信息；根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵组合中选择一组变换矩阵；

利用所述一组变换矩阵中的垂直变换矩阵对所述解码信息进行垂直反变换，再利用所述一组变换矩阵中的水平变换矩阵对所述解码信息进行水平反变换。

由上述本发明的实施例提供的技术方案可以看出，本发明充分利用了帧间预测后残差矩阵分布的特性，从预测单元和变换单元的边界信息入手，根据不同的边界特性采用不同的变换矩阵对其进行变换。可以根据帧间预测后残差的特性，针对性地选择更为有效的变换矩阵进行变换，从而提高编码效率。并且，本发明不提供额外的变换矩阵，所增加的变换矩阵都可由已有变换矩阵产生，因此，不会造成存储上的负担。并且，提出的优化算法可以使用蝶形结构实现，便于并行编解码。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的一种视频编解码器总体框架图；

图2为现有技术中的一种视频编码基本流程图；

图3为本发明实施例提供的一种CTU划分CU的示例图；

图4为本发明实施例提供的PU划分模式的结构框图；

图5为本发明实施例提供的一种CU划分为PU和TU的示例图；

图6为本发明实施例提供的一种同一CU内PU与TU划分的示例图；

图7为本发明实施例提供的一种AVS2中CU划分为PU的示例图以及一种AVS2中PU划分成对应TU的示例图；

图8为本发明实施例提供的一种AVS2中帧间预测亮度块的双层变换技术的示例图；

图9为本发明实施例提供的一种基于边界自适应变换优化的视频数据编码方法的处理流程图；

图10(a)为本发明实施例提供的一种F-DST-VII正向变换的流程图；

图10(b)为本发明实施例提供的一种F-DST-VII反向变换的流程图；

图11为本发明实施例提供的一种N点信号为f[n]的DCT-II一维变换的示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明的目的在于提供一种变换优化算法以提高编码器的压缩性能，同时不增加编码复杂度且不影响并行优化。本发明仅对帧间预测后的残差数据实施变换优化。在编码端，首先在编码前产生新的变换矩阵，该变换矩阵由原有的变换矩阵导出，因此不涉及增加存储的问题；接着，针对不同大小的变换单元，根据变换单元和预测单元的边界信息设计不同的变换矩阵选择方案，即对不同的变换单元与预测单元边界信息的关系采用不同的变换矩阵，而对每一个变换单元而言，只要边界信息确定、变换单元的大小确定，则其变换矩阵也是确定的；然后根据选择的变换矩阵对残差数据进行编码，直至产生编码码流。

在解码端，首先解析码流信息，从码流中解析得到预测模式，如果为帧间预测，则需要获取其变换单元大小、变换单元位置等信息；接着，解析变换单元与所在位置对应的预测单元的边界信息，并且根据编码端设计的变换矩阵选择方案，从候选的变换矩阵中选择反变换矩阵；最后，将变换系数矩阵进行反变换，得到残差数据，最终将残差数据和预测数据加和得到视频重构数据。

本发明实施例提供的一种基于边界自适应变换的优化视频数据编码方法的处理流程如图9所示，包括如下的处理步骤：

步骤S910、根据视频编码的现有DCT变换矩阵生成新型变换矩阵，将所述新型变换矩阵和现有DST/DCT变换矩阵组成新型变换矩阵集合。

对现有的视频编码的残差数据先进行翻转，再利用DST-VII变换矩阵进行变换的变换过程，定义为使用新型F-DST-VII变换矩阵进行变换(其实质是利用DST-VII变换矩阵进行变换)，所述新型F-DST-VII变换矩阵包括：新型F-DST-VII水平变换矩阵和新型F-DST-VII垂直变换矩阵，所述新型F-DST-VII变换矩阵适用于帧间预测模式下方形的4×4变换单元以及非方形的4×16、16×4变换单元；

根据现有的视频编码的DCT-II变换矩阵导出新型变换矩阵DCT-IV，所述新型DCT-IV变换矩阵包括：新型DCT-IV水平变换矩阵和新型DCT-IV垂直变换矩阵，所述新型DCT-IV变换矩阵适用于帧间预测模式下方形的8×8和16×16变换单元以及非方形的4×16、16×4、8×32、32×8变换单元；

对现有的视频编码的残差矩阵先进行翻转，再利用DCT-IV变换矩阵进行变换的变换过程，定义为使用新型F-DCT-IV变换矩阵进行变换(其实质是利用DCT-IV变换矩阵进行变换)，所述新型F-DCT-IV变换矩阵包括：新型F-DCT-IV水平变换矩阵和新型F-DCT-IV垂直变换矩阵，所述新型F-DCT-IV变换矩阵适用于帧间预测模式下方形的8×8和16×16变换单元以及非方形的4×16、16×4、8×32、32×8变换单元；

将所述新型DCT-IV水平变换矩阵、新型DCT-IV垂直变换矩阵、新型F-DST-VII水平变换矩阵、新型F-DST-VII垂直变换矩阵、新型F-DCT-IV水平变换矩阵和新型F-DCT-IV垂直变换矩阵，以及现有DST/DCT变换矩阵组成新型变换矩阵集合。

由于编码器已有DCT-II(4×4、8×8、16×16、32×32)的变换矩阵，且HEVC(HighEfficiency Video Coding，高效率视频编码)中还包括DST-VII(4×4)的变换矩阵，本发明根据这些已有的变换矩阵产生三种不同类型的变换矩阵，分别是DCT-IV，F-DCT-IV，F-DST-VII。下面将分别阐述三种新型矩阵的产生方式：

1、F-DST-VII。

F-DST-VII，其实质是残差矩阵的翻转。如图10所示，(a)表示在编码端，需要先将输入的残差数据进行翻转，再经过DST-VII变换，得到输出的变换系数矩阵；而(b)表示在解码端，经过DST-VII反变换矩阵反变换之后得到的数据，还需要经过翻转，得到的才是真正的残差数据。

由于HEVC基准档次中的DST-VII只作用于帧内预测的4×4变换单元，因此F-DST-VII也只用于帧间预测后的4×4变换单元，但若编码器支持非方形变换单元，则也用于帧间预测后的4×16、16x4的非方形变换单元。且该变换矩阵使用时，可直接利用DST-VII实现，因此，不会产生额外的存储空间，且[3]也证明了4×4DST-VII不会带来计算复杂度的提升。

2、DCT-IV。

DCT-IV，与DCT-II之间有着较为紧密的联系，因此，可根据DCT-II来导出DCT-IV。具体如下：

我们知道，N点信号量为f[n]的DCT-II一维变换可以被定义为式(1)，

对(1)，分别按偶数索引项和奇数索引项重新进行组合，可以推导出(2)、(3)：

而N点信号量为f[n]的DCT-IV一维变换可以被定义为式(4)：

由式(1)、(2)可以发现，N点信号量为f[n]的DCT-II变换的索引号为偶数的变换系数等于N/2点信号量为f[n]，f[N-1-n]的DCT-II变换系数之和。而由(3)、(4)可得，N点信号为f[n]的DCT-II变换的索引号为奇数的变换系数等于N/2点信号量为f[n]，f[N-1-n]的DCT-IV变换系数之差，如图11所示.

因此，1/2N点DCT-IV可以由N点DCT-II导出。而一般情况下，DCT-II有4×4、8×8、16×16和32×32几种类型，因而，对于帧间预测后得到的残差可以使用8×8和16×16的DCT-IV变换(4×4仍采用DST-VII)，但若编码器支持更大的DCT-II变换矩阵，如64×64DCT-II变换矩阵,也可导出相应的32×32DCT-IV变换矩阵用于变换。且若编码器支持非方形变换单元，则将DCT-IV变换矩阵也用于帧间预测后的4×16、16x4、8×32、32x8的非方形变换。此外，DCT-IV也继承了DCT-II的蝶形计算结构，便于硬件实现时的并行化处理，因此，也不会增加额外的编码复杂度。

3、F-DCT-IV。

F-DCT-IV，和DST-VII一样，其实质是对残差矩阵的翻转。在编码端，需要先将输入的残差数据进行翻转，再经过DCT-IV变换，得到输出的变换系数矩阵；而在解码端，经过DCT-IV反变换矩阵反变换之后得到的数据，还需要经过翻转，得到的才是真正的残差数据。

与DCT-IV相应，F-DCT-IV大小可以为8×8和16×16以及非方形的4×16、16x4、8×32、32x8。

步骤S920、根据输入的视频数据选择预测模式、预测单元和变换单元。

预测模式包括帧间预测和帧内预测，在本发明实施例中，选择采用帧间预测模式。

根据输入的视频数据的大小选择相应的编码树单元，将编码树单元划分为不同大小的编码单元，该编码单元为编码的基本单元。然后，根据实际需要将编码单元划分为预测单元。预测单元是预测的基本单元，大小不能超过所在编码单元的大小。编码单元和预测单元的大小可以为8×8、16×16、32×32、64×64等，而预测单元也支持4×16、16×4、8×32、32×8等非方形的大小。

在实际应用中，还需要将根据实际需要将编码单元划分为变换单元。变换单元用于对预测后得到的残差块进行变换。同样地，变换单元的大小也不能超过编码单元的大小，一般地，变换单元的大小选择从4×4、8×8、16×16、32×32不等，且变换单元也支持4×16、16×4、8×32、32×8等非方形的大小。

步骤S930、根据输入的视频数据选择预测模式、预测单元和变换单元，根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵集合中选择一组变换矩阵。

所述一组变换矩阵包括一个水平变换矩阵和一个垂直变换矩阵，所述水平变换矩阵用于行变换，所述垂直变换矩阵用于列变换；根据变换单元上、下边界是否为预测单元的边界，来确定所述垂直变换矩阵的选择方案；根据变换单元左、右边界是否为预测单元的边界，来确定所述水平变换矩阵的选择方案。

本发明针对不同大小的变换单元，根据变换单元和预测单元的边界关系设计不同的变换矩阵选择方案。对于方形变换矩阵，从所述一组变换矩阵的选择方案如表1、2所示，其中NP表示变换单元的边界不是预测单元的边界，P表示变换单元的边界也是预测单元的边界；

表1：8×8和16×16变换单元与预测单元边界情况与相应变换类型

表2：4×4变换单元与预测单元边界情况与相应变换类型

对于非方形的变换矩阵，从所述一组变换矩阵的选择方案如表3、4和5所示，

表3：4×16变换单元与预测单元边界情况与相应变换类型

表4：16×4变换单元与预测单元边界情况与相应变换类型

表5：8×32和32×8变换单元与预测单元边界情况与相应变换类型

根据表1可知，编码时如果8×8或16×16变换单元的左边界不是预测单元的边界，且其右边界是预测单元的边界，那么它的水平变换选择F-DCT-IV变换矩阵；如果该变换单元的左边界是预测单元的边界，而其右边界不是预测单元的边界，则该水平变换应选择DCT-IV；如果变换单元的左边界和右边界都是，或者都不是边界预测单元的边界，那么仍选择原有的DCT-II变换矩阵。同理，垂直变换的变换矩阵选择方式也是一样的。

根据表2～5，也可以选择4×4、4×16、16×4、8×32、32×8变换单元水平变换和垂直变换的变换矩阵。

4×4变换单元已提供DST-VII变换矩阵，且性能增益明显而复杂度几乎不增加，因此，帧间预测的4×4变换单元将DST-VII、F-DST-VII作为候选项；而8×8及以上的变换单元仅已提供DCT-II变换矩阵，且DST对大块的变换复杂度较大，其性能不明显，因此，帧间预测添加DCT-IV、F-DCT-IV作为候选项。如果变换时存在非对称变换块，例如4×16、16×4、8×32、32×8等，则在其变换矩阵的候选项中也需要增加相应的变换矩阵，此时水平变换和垂直变换采用的变换矩阵不一致，只需根据变换矩阵的大小增加相应的选项即可。

步骤S940、利用所述一组新型变换矩阵对所述视频数据进行编码，生成编码码流。

利用所述一组变换矩阵中的水平变换矩阵对所述视频编码码流进行水平变换，再利用所述一组变换矩阵中的垂直变换矩阵对所述视频编码码流进行垂直变换，得到视频编码码流。

步骤S950、在解码端，利用所述一组新型变换矩阵对解码信息进行反变换。

在解码端，对视频编码码流进行解析，得到相应的预测模式、变换单元和预测单元的信息；根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵集合中选择一组变换矩阵；

利用所述一组变换矩阵中的垂直变换矩阵对所述视频解码信息进行垂直反变换，再利用所述一组变换矩阵中的水平变换矩阵对所述视频解码信息进行水平反变换。

本发明实施例在解码端的实现与编码端保持一致，即新型变换矩阵的产生办法、不同变换单元的变换矩阵选择办法都是一致的。本发明实施例已在HM16.2上集成论证，并对使用该变换优化算法的编解码参考软件与未使用该算法的HM16.2原型进行了实验对比。实验表明，在通测条件下，低延时和随机访问配置下的编码性能有所提升，且编码时间也有所节省，如表6、表7所示，在低延时下，平均有0.5％的BD-Rate提升和0.4％的时间节省；在随机访问配置下，平均有0.2％的BD-Rate提升和0.4％的时间节省。其中时间节省的计算采用公式(5)的计算方式，即

其中，表示未使用该算法的HM16.2原型的编码运行时间，表示使用优化算法之后编码时所耗费的时间。

表6：HM16.2通测条件下使用基于边界自适应的变换优化算法和不使用该算法的编码性能对比

表7：HM16.2通测条件下使用基于边界信息的变换优化算法和不使用该算法的时间节省对比

综上所述，本发明实施例提供的视频编解码方法及设备，可以根据预测模式，预测单元和变换单元的边界关系，从多个候选的变换矩阵中选择唯一的变换矩阵进行变换，且码流中不会产生变换矩阵的选择标识。通过这种方式进行编码，可以根据帧间预测后残差的特性，针对性地选择更为有效的变换矩阵进行变换，从而提高编码效率。同样地，通过对码流的解析，根据预测模式、变换单元的大小、变换单元和预测单元的边界关系可以确定反变换矩阵，从而进行反变换，得到残差数据，重建视频数据。

本发明实施例新增加的变换矩阵，即大于4×4时采用DCT-IV/F-DCT-IV和4×4时采用DST-VII/F-DST-VII，是适用于具有一定边界特性的残差数据的变换矩阵。为了编解码器编运行时计算的简便性和新型变换矩阵生成时的方便性，不排除使用其它具有类似功能的变换矩阵的可能，如使用其它已现有的具有类似能量聚集功能的变换矩阵，或使用者自主生成的变换矩阵。

本发明充分利用了帧间预测后残差矩阵分布的特性，从预测单元和变换单元的边界信息入手，根据不同的边界特性采用不同的变换矩阵对其进行变换。并且，本发明不提供额外的变换矩阵，所增加的变换矩阵都可由已有变换矩阵产生，因此，不会造成存储上的负担。并且，提出的优化算法可以使用蝶形结构实现，便于并行编解码。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件单元的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于边界自适应变换的优化视频数据编码方法，其特征在于，包括：

根据视频编码现有的DCT变换矩阵生成新型变换矩阵，将所述新型变换矩阵和现有DST变换矩阵和DCT变换矩阵组成新型变换矩阵集合；

根据输入的视频数据选择预测模式、预测单元和变换单元，根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵集合中选择一组变换矩阵；

利用所述一组新型变换矩阵对所述视频数据进行编码，生成编码码流；

所述的根据视频编码的现有DCT变换矩阵生成新型变换矩阵，将所述新型变换矩阵和现有DST变换矩阵和DCT变换矩阵组成新型变换矩阵组合，包括：

对现有的视频编码的残差矩阵先进行翻转，再利用DST-VII变换矩阵进行变换的变换过程，定义为使用新型F-DST-VII变换矩阵进行变换，所述新型F-DST-VII变换矩阵包括：新型F-DST-VII水平变换矩阵和新型F-DST-VII垂直变换矩阵，所述新型F-DST-VII变换矩阵适用于帧间预测模式下方形的4×4变换单元以及非方形的4×16、16×4变换单元；

根据现有的视频编码的DCT-II变换矩阵导出新型变换矩阵DCT-IV，所述新型DCT-IV变换矩阵包括：新型DCT-IV水平变换矩阵和新型DCT-IV垂直变换矩阵，所述新型DCT-IV变换矩阵适用于帧间预测模式下方形的8×8和16×16变换单元以及非方形的4×16、16×4、8×32、32×8变换单元；

对现有的视频编码的残差矩阵先进行翻转，再利用DCT-IV变换矩阵进行变换的变换过程，定义为使用新型F-DCT-IV变换矩阵进行变换，所述新型F-DCT-IV变换矩阵包括：新型F-DCT-IV水平变换矩阵和新型F-DCT-IV垂直变换矩阵，所述新型F-DCT-IV变换矩阵适用于帧间预测模式下方形的8×8和16×16变换单元以及非方形的4×16、16×4、8×32、32×8变换单元；

将所述新型DCT-IV水平变换矩阵、新型DCT-IV垂直变换矩阵、新型F-DST-VII水平变换矩阵、新型F-DST-VII垂直变换矩阵、新型F-DCT-IV水平变换矩阵和新型F-DCT-IV垂直变换矩阵，以及现有DST变换矩阵和DCT变换矩阵组成新型变换矩阵集合；

所述的根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵集合中选择一组变换矩阵，包括：

所述一组变换矩阵包括一个水平变换矩阵和一个垂直变换矩阵，所述水平变换矩阵用于行变换，所述垂直变换矩阵用于列变换；根据变换单元上、下边界是否为预测单元的边界，来确定所述垂直变换矩阵的选择方案；根据变换单元左、右边界是否为预测单元的边界，来确定所述水平变换矩阵的选择方案。

2.根据权利要求1所述的基于边界自适应变换的优化视频数据编码方法，其特征在于，所述的根据现有的视频编码的DCT-II变换矩阵导出新型变换矩阵DCT-IV，包括：

将N点信号量为f[n]的DCT-II一维变换定义为式(1)，

对式(1)分别按偶数索引项和奇数索引项重新进行组合，推导出式(2)、(3)：

将N点信号量为f[n]的DCT-IV一维变换定义为式(4)：

由式(1)、(2)得到，N点信号量为f[n]的DCT-II变换的索引号为偶数的变换系数等于N/2点信号量为f[n]，f[N-1-n]的DCT-II变换系数之和，由式(3)、(4)得到，N点信号为f[n]的DCT-II变换的索引号为奇数的变换系数等于N/2点信号量为f[n]，f[N-1-n]的DCT-IV变换系数之差。

3.根据权利要求1所述的基于边界自适应变换的优化视频数据编码方法，其特征在于，所述的根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵组合中选择一组变换矩阵，包括：

对于帧间预测模式下的方形变换矩阵，所述一组变换矩阵的选择方案如表1、2所示：

表1：8×8和16×16变换单元与预测单元边界情况与相应变换类型

表2：4×4变换单元与预测单元边界情况与相应变换类型

其中NP表示变换单元的边界不是预测单元的边界，P表示变换单元的边界也是预测单元的边界。

4.根据权利要求1所述的基于边界自适应变换的优化视频数据编码方法，其特征在于，所述的根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵组合中选择一组变换矩阵，包括：

对于帧间预测模式下的非方形变换矩阵，所述一组变换矩阵的选择方案如表3、4和5所示：

表3：4×16变换单元与预测单元边界情况与相应变换类型

表4：16×4变换单元与预测单元边界情况与相应变换类型

表5：8×32和32×8变换单元与预测单元边界情况与相应变换类型

其中NP表示变换单元的边界不是预测单元的边界，P表示变换单元的边界也是预测单元的边界。

5.根据权利要求4所述的基于边界自适应变换的优化视频数据编码方法，其特征在于，所述的方法还包括：

在解码端，对视频编码码流进行解析，得到相应的预测模式、变换单元和预测单元的信息；根据所述预测模式、变换单元大小，以及变换单元边界信息与预测单元边界信息的关系，从所述新型变换矩阵组合中选择一组变换矩阵；

利用所述一组变换矩阵中的垂直变换矩阵对所述解码信息进行垂直反变换，再利用所述一组变换矩阵中的水平变换矩阵对所述解码信息进行水平反变换。