CN102984523A - 一种多方向的帧内预测编解码方法及装置 - Google Patents

Abstract

本发明公开了一种帧内预测编解码方法及装置，该方法包括以下步骤：编码端，对于输入的一个帧内预测单元，根据设定的帧内预测方向，选择为执行该方向的帧内预测所需的参考像素；使用所述参考像素对所述的预测单元，按设定的预测方向进行预测，得到预测单元的像素预测值，所述的像素预测值由所选取的参考像素进行滤波得到；遍历所有的预测方向，对最优的预测方向进行熵编码。解码端，解析帧内预测模式，采用和编码端相同的帧内预测方法得到帧内预测值。

Description

一种多方向的帧内预测编解码方法及装置

技术领域

本发明涉及多媒体视频编解码技术领域，尤其涉及一种多方向的帧内预测编解码方法及装置。

背景技术

在视频序列中存在四种冗余：时域冗余，空域冗余，视觉冗余，编码冗余。对于前两种冗余，我们一般采用预测技术来减少这种冗余。按预测方式的不同，预测单元的预测模式可以分为帧内预测和帧间预测。其中，帧内预测是指只利用当前帧的空域信息进行预测编码；而帧间预测则指，利用相邻帧的时域信息进行预测编码。一般来说，帧间预测的准确性要远高于帧内预测，但是对于还没有时域信息或者在时域找不到匹配块的编码块而言，帧内预测就显得尤其重要。例如，对于一个序列的第一帧，或者编码过程中的随机访问点，他们不能参考时域上的信息，而只能采用当前帧的信息进行帧内预测。而且，序列第一帧或者随机访问点的帧的编码性能对整个序列的编码性能尤其重要。因为他们作为后续帧间预测的参考对象，可影响后续帧对的编码。故准确地帧内预测技术在视频编码中有着十分重要的地位。

在现有已发布的视频编码标准中，如H.264、AVS 1.0，其帧内模式最多只有9种（8中方向预测加1种DC模式，如图2所示），帧内预测块的大小最大为16x16。然而在高效视频编码标准和下一代AVS标准AVS2.0中，编码单元（Coding Unit，CU）是视频编码的基本单元。编码单元的采用四叉递归划分模式，编码单元最大可达64x64（如图1（a）所示），而不再是16x16。在每个编码单元中，做预测、变换量化、熵编码、后处理以编码。其中编码单元在做预测的时候，编码单元可以被划分成不同大小的预测单元（Prediction Unit，PU），预测单元是预测的基本单元。编码单元中帧内预测单元的划分如图1（b）所示。帧内预测块的尺寸最大可达64x64，最小为8x8，亦不再是以往标准中的16x16。如果在64x64的帧内预测块中依然采用9种预测模式，预测的准确性将无法得到保证。

发明内容

为了克服现有技术结构的不足,本发明提供一种多方向的帧内预测编解码方法及装置。

本发明实施例公开了一种帧内预测编解码方法，包括以下步骤：编码端：

对于输入的一个帧内预测单元，根据设定的帧内预测方向，选择为执行该方向的帧内预测所需的参考像素；

使用所述参考像素对所述的预测单元，按设定的预测方向进行预测，得到预测单元的像素预测值，所述的像素预测值由所选取的参考像素进行滤波得到；

遍历所有的预测方向，对最优的预测方向进行熵编码；

解码端：

采用所述编码端熵编码的逆过程解析帧内预测模式；

对于输入的一个帧内预测单元，根据设定的帧内预测方向，选择为执行该方向的帧内预测所需的参考像素；

使用所述参考像素对所述的预测单元，按设定的预测方向进行预测，得到预测单元的像素预测值，所述的像素预测值由所选取的参考像素进行滤波得到。

进一步，作为优选，将所设定的帧内预测方向通过预测单元的各个像素延长与已编码像素的相交，延长线周围所涉及的像素即选为参考像素。

进一步，作为优选，对一个预测单元使用33个方向预测和一个DC预测。

进一步，作为优选，所述的33个方向预测具体为将偏离水平或者垂直方向的角度划分为8份，偏离水平或垂直方向的角度alpha=[3,7,12,18,24,31,38,45]/180*pi。

进一步，作为优选，采用1/32的方向精度，所述角度偏离水平或垂直方向的像素距离l＝[2,4,7,10,14,19,25,32]。

进一步，作为优选，采用该方向通过待预测像素位置的直线与参考像素所在直线交点周围的3~4个像素进行滤波得到。

进一步，作为优选，所述滤波具体为：4tap插值滤波，该4tap插值滤波器系数值分别为[32-k,64-k,32+k,k]/128，其中k为待预测像素位置的直线与参考像素所在直线交点左边或上边的参考像素点离待预测像素位置的直线与参考像素所在直线交点的距离，k的取值范围为[0,32]。

进一步，作为优选，当待预测像素位置的直线与参考像素所在直线交点为一个整像素的点的时候，即k为0或32，4tap的滤波器退化成一个3tap的滤波器，滤波器系数为[1,2,1]。

进一步，作为优选，所述熵编码具体为：对所述帧内预测方向进行二值化，然后熵编码，对帧内预测方向按出现的概率从高到低的顺序排序，对概率高的方向分配较短的码字，对出现概率低的方向分配相对较长的码字。

另一方面，本发明实施例还提供了一种多方向帧内预测编解码装置，该装置包括：

编码端参考像素选择单元，根据预测模式选择执行预测过程所需要的参考像素；

编码端预测单元预测值获取单元，根据预测方向和当前预测像素所在的位置，选择预测当前像素值所需要的参考像素并执行插值滤波过程得到预测值；

编码端代价函数计算单元，计算各个预测模式的编码代价，选择编码代价最小的预测模式作为最终的编码模式；

编码端帧内预测模式熵编码单元，将编码端得到的最优编码模式进行熵编码，输出码流；

解码端帧内预测模式熵解码单元，采用所述编码端熵编码的逆过程解析帧内预测模式从码流中解析得到帧内预测模式；

解码端代价函数计算单元，计算各个预测模式的解码代价，选择解码代价最小的预测模式作为最终的解码模式；

解码端参考像素选择单元，根据预测模式选择执行预测过程所需要的参考像素；

解码端预测单元预测值获取单元，根据预测方向和当前预测像素所在的位置，选择预测当前像素值所需要的参考像素并执行插值滤波过程得到预测值。

优选的，所述参考像素选择单元根据当前预测模式的需要进行选择。当前预测方向通过预测单元的各个像素延长与已编码像素的相交，延长线周围所涉及的像素即选为参考像素。

优选的，所述预测单元预测值获取单元，采用该方向通过待预测像素位置的直线与参考像素所在直线交点A周围的3~4个像素进行滤波得到。所述滤波器为一个4tap的插值滤波器，滤波器的系数与参考像素点与A点距离有关。所述4tap滤波器系数值分别为[32-k,64-k,32+k,k]/128，其中k为A点左边/上边的参考像素点离A点的距离，k的取值范围为[0,32]。当A点为一个整像素的点的时候，即k为0或32，4tap的滤波器退化成一个3tap的滤波器，滤波器系数为[1,2,1]。

优选的，所述预测模式熵编码单元对帧内预测方向按出现的概率从高到低的顺序排序，对概率高的方向分配较短的码字，对出现概率低的方向分配相对较长的码字。

优选的，在本发明以实施例中，所述解码端预测模式解析单元解析码流中的比特，得到帧内预测模式的二元码，根据该二元码得到对应的帧内预测模式。

再一方面，本发明实施例还提供了一种多方向帧内预测编码的实现***，该***包括：

编码器，用于在编码过程中，对一个预测单元，得到其所有预测模式下的预测值，并计算各个预测模式的编码代价，选择最优的编码模式进行熵编码，输出码流；

解码器，用于在解码过程中，首先进行熵解码，得到其帧内预测模式，用该帧内预测模式对当前预测单元进行预测得到预测值。

本发明通过将预测方向增加到34种（33种方向预测和1个DC模式），并设计了多方向预测中参考像素选择、插值滤波器和方向编码的方法，解决了大尺寸的预测预测精度达不到要求的问题。本发明可以得到更准确的预测值，从而减小了预测的残差，能够提高5.1%的编码效率。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1（a）为AVS2现有技术编码单元划分示意图。

图1（b）为AVS2另一现有技术预测单元划分示意图。

图2为现有技术帧内方向预测示意图。

图3（a）为本发明实施例多方向的帧内预测编码方法流程图。

图3（b）为本发明实施例多方向的帧内预测解码方法流程图。

图4为本发明实施例多方向的帧内预测解码方法中参考像素获取示意图。

图5为本发明实施例多方向的帧内预测编码方法中方向预测示意图。

图6为本发明实施例多方向的帧内预测编码方法中插值滤波示意图。

图7为本发明实施例二值化示意图。

图8（a）为本发明实施例多方向帧内预测编码装置结构示意图。

图8（b）为本发明实施例多方向帧内预测解码装置结构示意图。

具体实施方式

参照图1-8对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图3（a）所示，一种帧内预测编码方法，包括以下步骤：

S31、对于编码端的一预测单元，初始化当前预测模式为-1，将当前预测模式的序号加1；

S32、为所述的帧内预测模式选择预测所需要的参考像素；

S33、用所述的参考像素预测得到预测单元的预测值；

S34、计算所述帧内预测模式的编码代价，选择当前最优的编码模式；

S35、如果所述帧内预测模式的序号大于等于设定值，则执行S36，否则跳到S31；

S36、编码所述最优帧内预测模式，将其输出到码流。

如图3（b）所示，一种帧内预测解码方法，包括以下步骤：

S37、对于解码端的一帧内预测单元，解析得到当前预测单元的帧内预测模式；

S38、为所述的帧内预测模式选择预测所需要的参考像素；

S39、用所述的参考像素预测得到预测单元的预测值。

对于编码端，所述帧内预测模式的设定值为34，其方向如图5所示。如图4所示为参考像素获取示意图。如图6所示为中插值滤波示意图。如图7和表1为二值化示意图和方案。

表1.帧内编码模式的编码

IntraLumaPredMode	Index
		0	0
1	3
		2	33
3	29
		4	25
5	21
		6	17
7	13
		8	9
9	2
		10	8
11	12
		12	16
13	20
		14	24
15	28
		16	32
17	5
		18	30
19	26
		20	22
21	18

22	14
		23	10
24	6
		25	1
26	7
		27	11
28	15
		29	19
30	23
		31	27
32	31
		33	4

优选的，参考像素的采用当前预测方向通过预测单元的各个像素延长与已编码像素的相交，延长线周围所涉及的像素。

优选的，帧内预测块的一个方向上的像素预测值，采用该方向通过待预测像素位置的直线与参考像素所在直线交点A周围的3-4个像素进行滤波得到。所述滤波器为一个4tap的插值滤波器，滤波器的系数与参考像素点与A点距离有关。所述4tap滤波器系数值分别为[32-k,64-k,32+k,k]/128，其中k为A点左边/上边的参考像素点离A点的距离，k的取值范围为[0,32]。当A点为一个整像素的点的时候，即k为0或32，4tap的滤波器退化成一个3tap的滤波器，滤波器系数为[1,2,1]。

如图8（a）所示，为本发明实施例多方向帧内预测编码装置结构示意图,该装置包括：

编码端参考像素选择单元81，用于对于编码端的预测单元的一种帧内预测模式选择预测所需要的参考像素；

编码端预测单元预测值获取单元82，用于采用所述帧内预测模式对所述预测单元中的每一个像素获取预测值；

编码端代价函数计算单元83，用于计算采用所述帧内预测模式编码的编码代价，以选择编码代价最小的帧内预测模式作为最优预测模式；

编码端帧内预测模式熵编码单元84，用于对所述最优预测模式进行二值化和熵编码,并输出到码流。

如图8（b）所示，为本发明实施例多方向帧内预测解码装置结构示意图,该装置包括：

解码端帧内预测模式解析单元85，用于解析码流中的比特，得到帧内预测模式；

解码端参考像素选择单元86，用于对于编码端的预测单元的一种帧内预测模式选择预测所需要的参考像素；

解码端预测单元预测值获取单元87，用于采用所述帧内预测模式对所述预测单元中的每一个像素获取预测值。

优选的，所述参考像素选择单元根据当前预测模式的需要进行选择。当前预测方向通过预测单元的各个像素延长与已编码像素的相交，延长线周围所涉及的像素即选为参考像素。

优选的，所述预测单元预测值获取单元，采用该方向通过待预测像素位置的直线与参考像素所在直线交点A周围的3~4个像素进行滤波得到。所述滤波器为一个4tap的插值滤波器，滤波器的系数与参考像素点与A点距离有关。所述4tap滤波器系数值分别为[32-k,64-k,32+k,k]/128，其中k为A点左边/上边的参考像素点离A点的距离，k的取值范围为[0,32]。当A点为一个整像素的点的时候，即k为0或32，4tap的滤波器退化成一个3tap的滤波器，滤波器系数为[1,2,1]。

优选的，所述预测模式熵编码单元对帧内预测方向按出现的概率从高到低的顺序排序，对概率高的方向分配较短的码字，对出现概率低的方向分配相对较长的码字。其码字的分配方案如图1和表1所示。

优选的，所述解码端预测模式解析单元解析码流中的比特，得到帧内预测模式的二元码，根据该二元码得到对应的帧内预测模式。

再一方面，本发明实施例还提供了一种多方向帧内预测编码的实现***，所述多方向帧内预测编码***包括：编码器，用于在编码过程中，对一个预测单元，得到其所有预测模式下的预测值，并计算各个预测模式的编码代价，选择最优的编码模式进行熵编码，输出码流；解码器，用于在解码过程中，首先进行熵解码，得到其帧内预测模式，用该帧内预测模式对当前预测单元进行预测得到预测值。

优选的，所述编码器尝试的帧内预测模式的种类为34种；预测过程中根据预测模式的需要选择参考像素；预测值的获取采用4tap的滤波器，滤波器系数为[32-k,64-k,32+k,k]/128；对最优预测模式的二元码进行熵编码，二元码采用截断变长码，码长依据该编码模式为最优编码模式的概率来确定。

优选的，所述解码器解析码流中帧内预测模式；用该帧内预测模式，采用和编码端相同的方法得到预测值。

实验结果：

本发明实施例在RD1.0（AVS2标准的参考软件）上完成技术实现。在实验中，采用AVS2的通用测试条件，测试长度为2s序列，全I帧配置。实验平台是Intel(R)Xeon(R)CPU X56602.80GHZ 2.79GHZ23.9G内存。表2表示采用本发明中的多方向帧内预测编码方法的编码性能。1080p、WVGA、WQVGA、720p分别表示分辨率为1920x1080、832x480、416x240、1280x720的测试序。编码性能的度量采用BD-rate，即在相同编码质量的情况下的码率节省。从实验结果来看，采用本发明实施例上述方案，相对于原编码器，在相同编码质量时，平均节省5.1%的码率。

表2.性能比较

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块（illustrative logicalblock）、单元和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性（interchangeability），上述的各种说明性部件（illustrative components），单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路（ASIC），现场可编程门阵列（FPGA）或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电脑、双绞线、数字用户线（DSL）或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片（disk）和磁盘（disc）包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和***的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (10)

1.一种帧内预测编解码方法，其特征在于，包括以下步骤：

编码端：

对于输入的一个帧内预测单元，根据设定的帧内预测方向，选择为执行该方向的帧内预测所需的参考像素；

使用所述参考像素对所述的预测单元，按设定的预测方向进行预测，得到预测单元的像素预测值，所述的像素预测值由所选取的参考像素进行滤波得到；

遍历所有的预测方向，对最优的预测方向进行熵编码；

解码端：

采用所述编码端熵编码的逆过程解析帧内预测模式；

对于输入的一个帧内预测单元，根据设定的帧内预测方向，选择为执行该方向的帧内预测所需的参考像素；

使用所述参考像素对所述的预测单元，按设定的预测方向进行预测，得到预测单元的像素预测值，所述的像素预测值由所选取的参考像素进行滤波得到。

2.根据权利要求1所述帧内预测编解码方法，其特征在于，将所设定的帧内预测方向通过预测单元的各个像素延长与已编码像素的相交，延长线周围所涉及的像素即选为参考像素。

3.根根据权利要求1所述帧内预测编解码方法，其特征在于，对一个预测单元使用33个方向预测和一个DC预测。

4.根根据权利要求3所述帧内预测编解码方法，其特征在于，所述的33个方向预测具体为将偏离水平或者垂直方向的角度划分为8份，偏离水平或垂直方向的角度alpha=[3,7,12,18,24,31,38,45]/180*pi。

5.根根据权利要求4所述帧内预测编解码方法，其特征在于，采用1/32的方向精度，所述角度偏离水平或垂直方向的像素距离l＝[2,4,7,10,14,19,25,32]。

6.根根据权利要求1所述帧内预测编解码方法，其特征在于，采用该方向通过待预测像素位置的直线与参考像素所在直线交点周围的3~4个像素进行滤波得到。

7.根根据权利要求6所述帧内预测编解码方法，其特征在于，所述滤波具体为：4tap插值滤波，该滤波器系数值分别为[32-k,64-k,32+k,k]/128，其中k为待预测像素位置的直线与参考像素所在直线交点左边或上边的参考像素点离待预测像素位置的直线与参考像素所在直线交点的距离，k的取值范围为[0,32]。

8.根根据权利要求6或7所述帧内预测编解码方法，其特征在于，当待预测像素位置的直线与参考像素所在直线交点为一个整像素的点的时候，即k为0或32，4tap的滤波器退化成一个3tap的滤波器，滤波器系数为[1,2,1]。

9.根根据权利要求1至7任意一项所述帧内预测编解码方法，其特征在于，所述熵编码具体为：对所述帧内预测方向进行二值化，然后熵编码，对帧内预测方向按出现的概率从高到低的顺序排序，对概率高的方向分配较短的码字，对出现概率低的方向分配相对较长的码字。

10.一种多方向帧内预测编解码装置，该装置包括：

编码端参考像素选择单元，根据预测模式选择执行预测过程所需要的参考像素；

编码端预测单元预测值获取单元，根据预测方向和当前预测像素所在的位置，选择预测当前像素值所需要的参考像素并执行插值滤波过程得到预测值；

编码端代价函数计算单元，计算各个预测模式的编码代价，选择编码代价最小的预测模式作为最终的编码模式；

编码端帧内预测模式熵编码单元，将编码端得到的最优编码模式进行熵编码，输出码流；

解码端帧内预测模式熵解码单元，采用所述编码端熵编码的逆过程解析帧内预测模式从码流中解析得到帧内预测模式；

解码端代价函数计算单元，计算各个预测模式的解码代价，选择解码代价最小的预测模式作为最终的解码模式；

解码端参考像素选择单元，根据预测模式选择执行预测过程所需要的参考像素；

解码端预测单元预测值获取单元，根据预测方向和当前预测像素所在的位置，选择预测当前像素值所需要的参考像素并执行插值滤波过程得到预测值。

Images