CN109302615B

CN109302615B - 视频压缩的自适应模板预测方法

Info

Publication number: CN109302615B
Application number: CN201811260567.7A
Authority: CN
Inventors: 朱江; 李晟; 罗瑜; 张莹; 冉文方
Original assignee: Haohuo Kunshan Network Technology Co ltd
Current assignee: HAOHUO (KUNSHAN) NETWORK TECHNOLOGY Co.,Ltd.
Priority date: 2018-10-26
Filing date: 2018-10-26
Publication date: 2021-08-31
Anticipated expiration: 2038-10-26
Also published as: CN109302615A

Abstract

本发明涉及一种视频压缩的自适应模板预测方法，包括：步骤1、创建模板列表；步骤2、在所述模板列表中填充MB的重建值；步骤3、在所述模板列表中选取参考像素；步骤4、根据所述参考像素的像素值计算当前MB的预测残差。本发明通过创建自适应模板，计算当前预测宏块的预测像素值，与现有方法相比，能够提高对复杂纹理区域求预测残差值的精度，进一步降低理论极限熵，提高视频压缩率。

Description

视频压缩的自适应模板预测方法

技术领域

本发明涉及一种压缩技术领域，特别涉及一种视频压缩的自适应模板预测方法。

背景技术

在通信技术飞速发展的今天，多媒体已经融入到了人们的生活工作当中。随着视频从模拟到数字化的转变，同时人们也对视频质量的清晰度、流畅度、实时度的要求越来越高；随着人们对视频质量需求的逐渐增加，视频的图像分辨率作为视频质量的重要特性之一，已经从720p和1080p过渡到目前市场主流的4K视频分辨率，对应的视频压缩标准也从H.264过渡到H.265。对于视频处理芯片，分辨率的成倍数增加，不但会造成芯片面积成本的大幅度增加，而且也会对总线带宽和功耗带来很大的冲击。

为了克服这一问题，应用于芯片内的视频压缩技术被提出。与端口类压缩(如H.265)不同，芯片内视频压缩的目标是用较小的逻辑面积成本，尽可能的提高压缩倍数，减少DDR占用。芯片内压缩分为有损压缩和无损压缩两种，有损压缩技术被商业级视频处理芯片广泛采用，如监控，电视等领域；而无损压缩更多的应用于对图像质量有严格要求的军工级和航天级视频处理芯片。

目前，视频压缩技术主要由预测模块、量化模块、码控模块和熵编码模块四部分组成。其中，预测模块作为一个重要的模块，是利用相邻像素间存在的空间冗余度，通过寻找邻近像素信息的相关性对当前像素值进行预测，减少图像空间冗余度，最终降低理论极限熵。

因此如何提高预测模块的质量，进一步降低理论极限熵，以增大视频压缩率成为亟需解决的问题。

发明内容

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种视频压缩的自适应模板预测方法。

具体地，本发明一个实施例提出的一种视频压缩的自适应模板预测方法，包括：

步骤1、创建模板列表；

步骤2、在模板列表中填充MB的重建值；

步骤3、在模板列表中选取参考像素；

步骤4、根据参考像素的像素值计算当前MB的预测残差。

本发明的一个实施例中，步骤1包括：定义模板列表中自适应模板的数量，每个自适应模板设置唯一的序号；其中，所述自适应模板的优先级别与所述序号值的大小成反比。

本发明的一个实施例中，自适应模板的数量为16个，所述自适应模板的序号从0到15依次排列，序号从0到15的自适应模板的优先级依次降低。

本发明的一个实施例中，步骤2包括：将N个MB的重建值按顺序填充至模板列表中；其中，N为模板列表中自适应模板的数量，填充顺序为按照自适应模板的优先级倒序填充。

本发明的一个实施例中，步骤3之前还包括：

步骤X1、检测当前MB的相邻方向的MB的重建值；

步骤X2、判断相邻方向的MB的重建值与模板列表中的填充重建值是否一致，以确定模板列表的更新方式。

本发明的一个实施例中，步骤X2包括：

若相邻方向MB的重建值与模板列表中的填充重建值不一致，则将与相邻方向对应的自适应模板及其之后的自适应模板重建值顺序向后移动一个自适应模板，并将相邻方向的MB的重建值更新到模板列表的对应自适应模板中；若相邻方向MB的重建值与模板列表中的填充重建值一致，则模板列表不变。

本发明的一个实施例中，相邻方向包括上相邻方向、左相邻方向、左上相邻方向及右上相邻方向；其中，上相邻方向、左相邻方向、左上相邻方向及右上相邻方向依次对应的自适应模板的优先级别由最高级别依次降低。

本发明的一个实施例中，步骤3包括：将当前MB与模板列表中的每个MB的重建值进行匹配，选取至少一个MB的重建值作为参考像素值；选取参考像素值的公式为：

其中，Cur为当前MB的原始像素，Pred为模板列表中任一自适应模板的重建值，MBnum为当前MB中像素数量，i为Pred在模板列表中对应的自适应模板序号，c₁和c₂为权重系数；选取rdo值最小的自适应模板的重建值为参考像素值。

本发明的一个实施例中，步骤4包括：

步骤41、用当前MB中的每个像素值减去参考像素值以获取预测残差；

步骤42、判断是否获取完成所有的MB预测残差，若是，则预测结束；否则，跳转到步骤2

基于此，本发明具备如下优点：

本发明的有益效果主要表现在：本发明通过定义模板列表的数量和MB的像素分量的方式，计算当前MB的预测残差，与现有的方法相比，当待压缩图像的纹理较为复杂时，定义不同的模板列表对应不同的纹理区域，更容易提高当前MB中的像素与模板列表中选定的像素匹配的概率，能够提高对复杂纹理区域求预测残差值的精度，进一步降低理论极限熵，增大视频压缩率。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种自适应模板预测方法流程图；

图2为本发明实施例提供的一种模板列表的示意图；

图3为本发明实施例提供的另一种模板列表的预测方法流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种自适应模板预测方法流程图，该方法包括如下步骤：

步骤1、创建模板列表；

步骤2、在模板列表中填充MB的重建值；

步骤3、在模板列表中选取参考像素值；

步骤4、根据参考像素值计算当前MB的预测残差。

具体地，步骤1包括：定义模板列表中自适应模板的数量，每个自适应模板设置唯一的序号；其中，序号值越小其对应的自适应模板优先级别越高。

优选地，自适应模板的数量为16个，自适应模板的序号从0到15依次排列，序号越小，优先级越高。

进一步地，步骤2包括：将N个MB的重建值按顺序填充至模板列表中；其中，N为模板列表中自适应模板的数量，填充顺序为按照自适应模板的优先级倒序填充。

优选地，步骤3之前还包括：

步骤X1、检测当前MB的相邻方向的MB的重建值；

其中，步骤X2包括：

优选地，相邻方向包括上相邻方向、左相邻方向、左上相邻方向及右上相邻方向；其中，上相邻方向、左相邻方向、左上相邻方向及右上相邻方向依次对应的自适应模板的优先级别由最高级别依次降低。

具体地，步骤3包括：将当前MB与模板列表中的每个MB的重建值进行匹配，选取至少一个MB的重建值作为参考像素值；选取参考像素值的公式为：

其中，Cur为当前MB的原始像素，Pred为模板列表中任一自适应模板的重建值，MBnum为当前MB中像素数量，i为Pred在模板列表中对应的自适应模板序号，c₁和c₂为权重系数；求得rdo值越小，则对应的自适应模板的重建值越优，选取rdo值最小的自适应模板的重建值为参考像素值。

优选地，步骤4包括：

步骤42、判断是否获取完成所有的MB预测残差，若是，则预测结束；否则，跳转到步骤2。

本实施例提供的自适应模板预测方法，通过创建模板，自适应的从原始图像中提取模板，并根据该模板为当前像素选取参考像素，然后计算预测残差，解决了待压缩图像的纹理复杂多变时，如何提高预测模块的质量的问题；采用本实施例提供的自适应模板预测方法对于复杂纹理序列，可以进一步降低理论极限熵。

实施例二

请参见图2，图2为本发明实施例提供的一种模板列表的示意图。本实施例在上述实施例的基础上对自适应模板进行详细描述，该自适应模板的建立包括如下步骤：

步骤1、定义模板列表中自适应模板的数量

优选地，模板列表中自适应模板的数量可以为4个、8个、16个或32个；本实施例以自适应模板的数量为16个为例说明，其它自适应模板数量的列表同理。自适应模板的数量为16的列表，自适应模板的序号从0到15依次排列，序号越小，优先级越高，每个序号记录一组MB的重建值。MB大小可设定，本实施例以16*1为例，即每个MB的大小为16*1个像素，即每个MB有16个重建值。

步骤2、初始化填充模板列表

在模板列表中填充MB的重建值包括：将N个MB的重建值按顺序填充至模板列表中；其中，N为模板列表中自适应模板的数量，填充顺序为按照自适应模板的优先级倒序填充。

优选地，N个MB可以为图像的前N个MB。

具体地，模板列表的初始状态为空，将某一MB的重建值填充到序号为0的自适应模板；继续填充模板列表，将序号为0的自适应模板中的重建值顺序移位到序号为1的自适应模板中，将下一个MB的重建值填充到序号为0的自适应模板；以此类推，每次填充模板列表时，将已填充的N个自适应模板位置顺序向后移位，移一个自适应模板位置，将待填充的MB的重建值填充到序号为0的自适应模板，直到模板列表中的16个自适应模板填充完毕。

具体为：每次进行MB的重建值填充前，按序号从小到大，检测当前MB的重建值与列表中所有已填充的重建值的一致性；若不具备一致性，那么列表从序号0到序号N-1，共N个有效位置顺序向后移位，新的待填充MB的重建值放在列表0位置。若具备一致性，列表中自适应模板位置不变，可选择将一致的模板中的已填充重建值更新为待填充MB的重建值或者不更新。判断一致性的公式如下所示：

其中，Cur为当前MB的原始像素值，CurRec为当前MB的重建值，ABS为求绝对值，Pred为模板列表中任一模板填充的重建值，MBnum为当前MB中像素数量，i为Pred在模板列表中对应的自适应模板序号，a₁和a₂为权重系数，Thr₀为阈值；其中，当Thr₀大于

的值时，k为1，当Thr₀小于

的值时，k为0；当k为1时则可以判断为具备一致性，反之则判断为不具备一致性。

优选地，a1和a2的取值可以是预先设定的固定值；

进一步地，a1+a2＝1；优选地，a1可以选取为0.5，a2可以选取为0.5，a1和a2也可以灵活调整大小。

步骤3、更新模板列表

步骤31、检测当前MB的相邻方向的MB的重建值；

步骤32、判断所述相邻方向的MB的重建值与所述模板列表中的填充重建值是否一致，以确定所述模板列表的更新方式；若所述相邻方向MB的重建值与所述模板列表中的填充重建值不一致，则将所述相邻方向的MB的重建值更新到所述模板列表设定的自适应模板中，且将所述设定的自适应模板及其优先级别之后的自适应模板重建值向后顺序移位，优先级别最小的自适应模板重建值移除模板列表。

所述相邻参考方向相邻方向包括上相邻参考方向相邻方向、左相邻参考方向相邻方向、左上相邻参考方向相邻方向或右上相邻参考方向相邻方向；其中，所述上相邻方向、左相邻方向、左上相邻方向或右上相邻方向上相邻参考方向相邻方向、左相邻参考方向相邻方向、左上相邻参考方向相邻方向及右上相邻参考方向相邻方向的对应的设定自适应模板的优先级别由最高级别依次降低。

具体地，自适应模板初始化填充后，检测图像中的其余MB，更新自适应模板，更新方法如下：

若当前MB存在上相邻方向的MB，检测上相邻方向的MB的重建值与模板列表已填充的重建值的一致性，若不具备一致性，先将模板列表中所有自适应模板的重建值顺序向后移位，优先级别最低的自适应模板的重建值移除列表，再将上相邻方向的MB的重建值更新到模板列表自适应模板的序号为0的位置；若具备一致性，将一致的自适应模板中已填充重建值与自适应模板的序号为0的位置的重建值列表序号对换，并可以更新模板列表中所有重建值。

同理，若当前MB存在左相邻方向的MB，检测左相邻方向的MB的重建值与模板列表中已填充的重建值的一致性，若不具备一致性，先将模板列表中以自适应模板的序号为1开始的自适应模板的重建值顺序向后移位，优先级别最低的自适应模板的重建值移除列表，再将左相邻方向的MB的重建值更新到模板列表自适应模板的序号为1的位置；若具备一致性，将一致的自适应模板中已填充重建值与自适应模板的序号为1的位置的重建值对换，并可以更新模板中所有重建值。

若当前MB存在左上相邻方向的MB，检测左上相邻方向的MB的重建值与模板列表中已填充的重建值的一致性，若不具备一致性，先将模板列表中以自适应模板的序号为2开始的自适应模板的重建值顺序向后移位，优先级别最低的自适应模板的重建值移除列表，再将左上相邻方向的MB的重建值更新到模板列表自适应模板的序号为2的位置；若具备一致性，将一致的自适应模板中已填充重建值与自适应模板的序号为2的位置的重建值对换，并可以更新模板中所有重建值。

若当前MB存在右上相邻方向的MB，检测右上相邻方向的MB的重建值与模板列表中已填充的重建值的一致性，若不具备一致性，先将模板列表中以自适应模板的序号为3开始的自适应模板的重建值顺序向后移位，优先级别最低的自适应模板的重建值移除列表，再将右上相邻方向的MB的重建值更新到模板列表自适应模板的序号为3的位置；若具备一致性，将一致的自适应模板中已填充重建值与自适应模板的序号为3的位置的重建值对换，并可以更新模板中所有重建值。

其中，一致性检测方法参考步骤2中判断一致性的公式。

实施例三

请参见图3，图3为本发明实施例提供的另一种模板列表的预测方法流程图。本实施例在上述实施例的基础上对本发明提出的另一种模板列表的预测方法详细介绍，该预测方法包括如下步骤：

步骤1、模板列表的更新

默认自适应模板已进行初始化填充，模板列表的更新参照实施例二中步骤3。

步骤2、获取模板最优重建值

模板列表更新完成之后，将当前MB与模板列表中每个自适应模板的重建值进行匹配，根据公式，选取最优的M个自适应模板。公式如下：

其中，Cur为当前MB的原始像素，Pred为模板列表中每个自适应模板填充的重建值；MBnum为当前MB中像素数量，c1和c2为权重系数，最终rdo越小，则该自适应模板中的重建值越优。

在一种实施方式中，c1和c2的取值可以是预先设定的固定值，进一步地，为了便于计算，可以直接将c1设定为1，将c2设定为0。

步骤3、确定重建值和加权预测像素值

分别对M个自适应模板中的重建值中任一重建值加权处理得到预测像素值。如下公式：

predw_i＝(w1*Pred_i-1+w2*Pred_i+w3*Pred_i+1+w4)/4

其中，w1、w2、w3、w4为一组预测参数，predw_i为预测值，Pred为模板列表中任一模板填充的重建值，i为Pred在模板列表中的序号。

预设T种w1、w2、w3、w4的不同组合，针对一个模板可以生成T种预测像素，最终在M*T种可能性中，根据rdo公式，选出最优的自适应模板和对应的w1、w2、w3、w4。根据w1、w2、w3、w4计算对应的最优的自适应模板中的重建值的预测值，作为当前MB的预测值；其中，最优的自适应模板即为rdo中的最小值对应的自适应模板。

具体地，W1、W2、W3、W4的取值可以是预先设定的固定值，W1+W2+W3＝3；

优选地，W1、W2、W3可以分别选取为1；W1、W2、W3也可以分别选取为0.5，2，0.5；W1、W2、W3可以根据实际情况，灵活调整大小。进一步地，W4可以选取为当前表位中所有填充的重建值的平均值，也可以选取为表位中与当前预测像素值排序对应的重建值。

进一步地，将M*T种预测像素值带入rdo公式：

其中，Cur为当前MB的原始像素，Pred为M*T种预测像素值的任意一种，MBnum为当前MB中像素数量，i为Pred对应的自适应模板序号，c₁和c₂为权重系数；求得rdo值越小，则对应的预测像素值越优，最终在M*T种可能性中，选出最优的预测像素值为当前MB的参考像素值；并将最优的预测像素值对应的自适应模板序号和对应的w1、w2、w3、w4的值发送到解码端。

步骤4、求预测残差

将当前MB中的每个像素值对应减去参考像素值求得预测残差，并将预测残差值发送到解码端。

步骤5、判断MB是否处理完毕

当前MB完成预测后，继续判断是否图像中的所有MB均完成预测操作，若是，则预测结束，否则，跳转到步骤1，继续进行后续MB的预测操作。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种用于视频压缩的自适应模板预测方法，其特征在于，包括：

步骤1、创建模板列表；所述步骤1包括：1)定义所述模板列表中自适应模板的数量N为16：自适应模板的序号从0到15依次排列，序号越小，优先级越高，每个序号记录一组MB的重建值；每个MB的大小为16*1个像素分量；每个MB有16个重建值；2)初始化填充模板列表：在模板列表中填充MB的重建值包括将N个MB的重建值按顺序填充至模板列表中；其中，N为模板列表中自适应模板的数量，填充顺序为按照自适应模板的优先级倒序填充；每次进行MB的重建值填充前，按序号从小到大，检测当前MB的重建值与列表中所有已填充的重建值的一致性；若不具备一致性，那么列表从序号0到序号N-1，共N个有效位置顺序向后移位，新的待填充MB的重建值放在列表0位置；若具备一致性，列表中自适应模板位置不变，选择将一致的模板中的已填充重建值更新为待填充MB的重建值或者不更新；判断一致性的公式如下所示：

时，k为1，当Thr₀小于

时，k为0；当k为1时则判断为具备一致性，反之则判断为不具备一致性；

3)更新模板列表：检测当前MB的相邻方向的MB的重建值；判断所述相邻方向的MB的重建值与所述模板列表中的填充重建值是否一致，以确定所述模板列表的更新方式；若所述相邻方向MB的重建值与所述模板列表中的填充重建值不一致，则将所述相邻方向的MB的重建值更新到所述模板列表设定的自适应模板中，且将所述设定的自适应模板及其优先级别之后的自适应模板重建值向后顺序移位，优先级别最小的自适应模板重建值移除模板列表；

步骤2、在所述模板列表中填充MB的重建值；所述步骤2包括：检测当前MB的相邻方向的MB的重建值；判断所述相邻方向的MB的重建值与所述模板列表中的填充重建值是否一致，若所述相邻方向MB的重建值与所述模板列表中的填充重建值不一致，则将与所述相邻方向对应的自适应模板及其之后的自适应模板重建值顺序向后移动一个自适应模板，并将所述相邻方向的MB的重建值更新到所述模板列表的对应自适应模板中；若所述相邻方向MB的重建值与所述模板列表中的填充重建值一致，则所述模板列表不变；将N个MB的重建值按顺序填充至模板列表中；其中，N为模板列表中自适应模板的数量，填充顺序为按照自适应模板的优先级倒序填充；所述相邻方向包括上相邻方向、左相邻方向、左上相邻方向及右上相邻方向；

步骤3、在所述模板列表中选取参考像素；所述步骤3包括：将当前MB与模板列表中的每个MB的重建值进行匹配，选取至少一个MB的重建值作为参考像素值；选取参考像素值的公式为：

其中，Cur为当前MB的原始像素，Pred为模板列表中任一自适应模板的重建值，MBnum为当前MB中像素数量，i为Pred在模板列表中对应的自适应模板序号，c₁和c₂为权重系数；求得rdo值越小，则对应的自适应模板的重建值越优，选取rdo值最小的自适应模板的重建值为参考像素值；

步骤4、根据所述参考像素的像素值计算当前MB的预测残差，所述步骤4包括：步骤41、用所述当前MB中的每个像素值减去所述参考像素值以获取所述预测残差；步骤42、判断是否获取完成所有的MB预测残差，若是，则预测结束；否则，跳转到步骤2。

2.根据权利要求1所述的方法，其特征在于，所述上相邻方向、左相邻方向、左上相邻方向及右上相邻方向依次对应的所述自适应模板的优先级别由最高级别依次降低。