CN104902271A

CN104902271A - 预测模式选择方法及装置

Info

Publication number: CN104902271A
Application number: CN201510249916.5A
Authority: CN
Inventors: 周俊明; 简伟华; 侯慧慧
Original assignee: Tencent Technology Beijing Co Ltd
Current assignee: Tencent Technology Beijing Co Ltd
Priority date: 2015-05-15
Filing date: 2015-05-15
Publication date: 2015-09-09
Anticipated expiration: 2035-05-15
Also published as: CN104902271B

Abstract

本发明公开了一种预测模式选择方法及装置，属于视频编码领域。该方法包括：分别计算当前预测单元在采用帧间skip模式、帧间merge模式和帧间2N*2N模式下的率失真代价J_skip、J_merge和J_2N*2N；检测J_skip是否小于J_merge和J_2N*2N；若J_skip小于J_merge和J_2N*2N，则将J_skip设置为候选率失真代价J_mode；计算当前预测单元在采用至少一种帧内预测模式时的率失真代价J_intra；从J_mode和至少一个J_intra中选择出率失真代价最小的预测模式。本发明在帧间skip模式较优时，跳过其它7种帧间预测模式的率失真代价计算过程，能够有效降低预测模式选择的耗时。

Description

预测模式选择方法及装置

技术领域

本发明涉及视频编码领域，特别涉及一种预测模式选择方法及装置。

背景技术

在HEVC(High Efficient Video Coding，高效率视频编码)标准中，提出了预测单元(Prediction Unit，简称：PU)的概念。预测单元是进行帧间预测和帧内预测的基本单元。

在HEVC标准中，提供了若干种帧间预测模式和若干种帧内预测模式可供选择。为了查找到最优的预测模式，现有技术需要计算当前预测单元在每一种预测模式下的率失真代价，并且从中挑选出率失真代价最小的预测模式作为最终采用的预测模式。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：由于需要计算每一种预测模式下的率失真代价，且率失真代价的计算量较大，导致预测模式的选择过程需要花费较多的耗时，占整个编码过程耗时的60％～70％。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种预测模式选择方法及装置。所述技术方案如下：

根据本公开的第一方面，提供了一种预测模式选择方法，所述方法包括：

分别计算当前预测单元在采用帧间skip模式时的率失真代价J_skip、采用帧间merge模式时的率失真代价J_merge和采用帧间2N*2N模式下的率失真代价J_2N*2N；

检测所述J_skip是否小于所述J_merge和所述J_2N*2N；

若所述J_skip小于所述J_merge和所述J_2N*2N，则将所述J_skip设置为候选率失真代价J_mode；

计算所述当前预测单元在采用至少一种帧内预测模式时的率失真代价J_intra；

从所述J_mode和至少一个所述J_intra中选择出率失真代价最小的预测模式作为所述当前预测单元的最终预测模式。

根据本公开的第二方面，提供了一种预测模式选择装置，所述装置包括：

第一计算模块，用于分别计算当前预测单元在采用帧间skip模式时的率失真代价J_skip、采用帧间merge模式时的率失真代价J_merge和采用帧间2N*2N模式下的率失真代价J_2N*2N；

跳过检测模块，用于检测所述J_skip是否小于所述J_merge和所述J_2N*2N；

跳过设置模块，用于若所述J_skip小于所述J_merge和所述J_2N*2N，则将所述J_skip设置为候选率失真代价J_mode；

第二计算模块，还用于计算所述当前预测单元在采用至少一种帧内预测模式时的率失真代价J_intra；

最终决策模块，用于从所述J_mode和至少一个所述J_intra中选择出率失真代价最小的预测模式作为所述当前预测单元的最终预测模式。

本发明实施例提供的技术方案带来的有益效果是：

通过在帧间skip模式较优时，跳过除帧间skip模式、帧间merge模式和帧间2N*2N模式之外的其它7种帧间预测模式的率失真代价计算过程，减少了预测模式选择过程所需要的计算量，能够有效降低预测模式选择的耗时，满足一些实时性要求较高的场景的需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例涉及的预测单元的8种帧间预测模式的划分示意图；

图2是本发明一个实施例提供的预测模式选择方法的方法流程图；

图3是本发明另一个实施例提供的预测模式选择方法的方法流程图；

图4是本发明一个实施例提供的预测模式选择装置的结构示意图；

图5是本发明另一个实施例提供的预测模式选择装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先对本实施例所涉及的几个名词进行简介：

图像帧：一段视频由若干帧图像帧构成。视频压缩编码一般采取基于块的编码方式，即把视频中的一帧图像帧分成多个互不重叠的块，之后对这些块进行编码。每个图像帧在视频编码时可以采用帧间预测编码方式或帧内预测编码方式。

在HEVC标准中，提出了编码单元、预测单元和变换单元的概念。

编码单元：是一个图像帧中进行编码的基本单元。编码单元可以是64*64的像素块。

预测单元：是一个图像帧中进行预测的基本单元。预测单元可以是64*64、32*32、16*16、8*8等像素尺寸的块。

变换单元：是一个图像帧中呈现残差(Residual)或变换系数(TransformCoefficients)的基本单元。变换单元也可以是32*32、16*16、8*8、4*4等像素尺寸的块。本文中不涉及编码单元和变换单元的讨论。

对于一个预测单元，HEVC标准中提供了10种帧间预测模式和3种帧内预测模式。

10种帧间预测模式包括：帧间skip模式、帧间merge模式、帧间2N*2N模式、帧间N*N模式、帧间2N*N模式、帧间N*2N模式、帧间2N*UD模式、帧间2N*nD模式、帧间nL*2N模式、帧间nR*2N模式，如图1所示。

其中，帧间2N*2N模式、帧间N*N模式、帧间2N*N模式、帧间N*2N模式属于四种对称预测方式；帧间2N*UD模式和帧间2N*nD模式属于水平方向的不对称预测方式；帧间nL*2N模式、帧间nR*2N模式属于垂直方向的不对称预测方式。

3种帧内预测模式包括：帧内2N*2N模式、帧内N*N模式和帧内PCM模式。

在HEVC标准中，当决策当前预测单元的最优预测模式时，需要计算当前预测单元采用上述13种预测模式时分别对应的率失真代价，计算量非常大，导致预测模式的选择过程需要花费较多的耗时，占整个编码过程耗时的60％～70％。

请参考图2，其示出了本发明一个实施例提供的预测模式选择方法的方法流程图。本实施例以该预测模式选择方法应用于视频编码器中来举例说明。该方法包括：

步骤201，分别计算当前预测单元在采用帧间skip模式时的率失真代价J_skip、采用帧间merge模式时的率失真代价J_merge和采用帧间2N*2N模式下的率失真代价J_2N*2N；

率失真代价，是率失真优化(Rate–distortion optimization,简称RDO)代价的简称。率失真代价的计算过程为已有技术，本文不再赘述。

步骤202，检测J_skip是否小于J_merge和J_2N*2N；

步骤203，若J_skip小于J_merge和J_2N*2N，则将J_skip设置为候选率失真代价J_mode；

步骤204，计算当前预测单元在采用至少一种帧内预测模式时的率失真代价J_intra；

步骤205，从J_mode和至少一个J_intra中选择出率失真代价最小的预测模式作为当前预测单元的最终预测模式。

综上所述，本实施例提供的预测模式选择方法，在帧间skip模式较优时，跳过除帧间skip模式、帧间merge模式和帧间2N*2N模式之外的其它7种帧间预测模式的率失真代价计算过程，减少了预测模式选择过程所需要的计算量，能够有效降低预测模式选择的耗时，满足一些实时性要求较高的场景的需求。

请参考图3，其示出了本发明另一个实施例提供的预测模式选择方法的方法流程图。本实施例以该预测模式选择方法应用于视频编码器中来举例说明。该方法包括：

步骤301，分别计算当前预测单元在采用帧间skip模式时的率失真代价J_skip、采用帧间merge模式时的率失真代价J_merge和采用帧间2N*2N模式下的率失真代价J_2N*2N；

步骤302，检测J_skip是否小于J_merge和J_2N*2N；

若J_skip小于J_merge和J_2N*2N，则进入步骤303；

若J_skip不小于J_merge和J_2N*2N，则进入步骤304。

步骤303，将J_skip设置为候选率失真代价J_mode；

步骤304，分别计算当前预测单元在采用帧间N*N模式时的率失真代价J_N*N、采用帧间2N*N模式时的率失真代价J_2N*N和采用帧间N*2N模式下的率失真代价J_N*2N。

步骤305，从J_merge、J_2N*2N、J_N*N、J_2N*N和J_N*2N中查找出第一最小值；

若第一最小值是J_merge，则进入步骤306。

若第一最小值不是J_merge，则进入步骤307。

步骤306，将第一最小值设置为候选率失真代价J_mode；

步骤307，检测是否开启了水平方向和/或垂直方向的非对称预测模式；

视频编码设备中是否开启了水平方向和/或垂直方向的非对称预测模式，由外部编码参数预先设定。

若既没有开启水平方向的非对称预测模式，也没有开启垂直方向的非对称预测模式，则进入步骤306。

若仅开启了水平方向的非对称预测模式，则进入步骤308；

若仅开启了垂直方向的非对称预测模式，则进入步骤310；

若同时开启了水平方向和垂直方向的非对称预测模式，则进入步骤316。

步骤308，分别计算当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD；

步骤309，从第一最小值、J_2N*nU和J_2N*nD中查找出第二最小值；

步骤310，分别计算当前预测单元在采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；

步骤311，从第一最小值、J_nL*2N和J_nR*2N中查找出第二最小值；

步骤312，将第二最小值设置为候选率失真代价J_mode；

步骤313，分别计算当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD、采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；

步骤314，从第一最小值、J_2N*nU、J_2N*nD、J_nL*2N和J_nR*2N中查找出第三最小值；

步骤315，将第三最小值设置为候选率失真代价J_mode；

步骤316，分别计算当前预测单元在采用帧内2N*2N模式时的率失真代价J_{intra_2N*2N}、采用帧内N*N模式时的率失真代价J_{intra_N*N}、采用帧内PCM模式时的率失真代价J_{intra_PCM}；

帧内预测模式包括帧内2N*2N模式、帧内N*N模式和帧内PCM模式中的至少一种。

步骤317，在J_mode、J_{intra_2N*2N}、J_{intra_N*N}、J_{intra_PCM}中选择出第四最小值，将第四最小值对应的预测模式作为预测单元的最终预测模式。

在帧间merge模式较优时，即便开启了水平方向和/或垂直方向的非对称预测模式，也跳过4种有关水平方向和/或垂直方向的非对称预测模式的率失真代价计算过程，减少了预测模式选择过程所需要的计算量，能够有效降低预测模式选择的耗时，满足一些实时性要求较高的场景的需求。

本实施例提供的预测模式选择方法已在HEVC编码标准对应的参考软件上做了大量实验，在保证图像编码质量的前提下，可使编码速度平均提高42％左右，编码效率损失控制在0.5％以内。

需要说明的是，步骤306中同时对是否启用了水平方向和垂直方向的非对称预测模式进行了检测。在其它实施例中，也可以先对是否启用了水平方向的非对称预测模式进行检测，然后再对是否启用了垂直方向的非对称预测模式进行检测；或者，也可以先对是否启用了垂直方向的非对称预测模式进行检测，然后再对是否启用了水平方向的非对称预测模式进行检测。本实施例对此不做具体限定。

以下为本发明的装置实施例，装置实施例中未详细描述的细节，可以参考上述对应的方法实施例。

请参考图4，其示出了本发明一个实施例提供的预测模式选择装置的结构方框图。该预测模式选择装置可以通过软件、硬件或者两者的结合实现成为视频编码设备的全部或一部分。该预测模式选择装置，包括：

第一计算模块410，用于分别计算当前预测单元在采用帧间skip模式时的率失真代价J_skip、采用帧间merge模式时的率失真代价J_merge和采用帧间2N*2N模式下的率失真代价J_2N*2N；

跳过检测模块420，用于检测所述J_skip是否小于所述J_merge和所述J_2N*2N；

跳过设置模块430，用于若所述J_skip小于所述J_merge和所述J_2N*2N，则将所述J_skip设置为候选率失真代价J_mode；

第二计算模块440，还用于计算所述当前预测单元在至少一种帧内预测模式时的率失真代价J_intra；

最终决策模块450，用于从所述J_mode和至少一个所述J_intra中选择出率失真代价最小的预测模式作为所述当前预测单元的最终预测模式。

综上所述，本实施例提供的预测模式选择装置，在帧间skip模式较优时，跳过除帧间skip模式、帧间merge模式和帧间2N*2N模式之外的其它7种帧间预测模式的率失真代价计算过程，减少了预测模式选择过程所需要的计算量，能够有效降低预测模式选择的耗时，满足一些实时性要求较高的场景的需求。

请参考图5，其示出了本发明一个实施例提供的预测模式选择装置的结构方框图。该预测模式选择装置可以通过软件、硬件或者两者的结合实现成为视频编码设备的全部或一部分。该预测模式选择装置，包括：

可选地，所述装置，还包括：

第三计算模块462，还用于若所述J_skip不小于所述J_merge和所述J_2N*2N，则分别计算所述当前预测单元在采用帧间N*N模式时的率失真代价J_N*N、采用帧间2N*N模式时的率失真代价J_2N*N和采用帧间N*2N模式下的率失真代价J_N*2N；

第一查找模块464，用于从所述J_merge、所述J_2N*2N、所述J_N*N、所述J_2N*N和所述J_N*2N中查找出第一最小值；

第一设置模块466，用于若所述第一最小值是所述J_merge，则将所述J_merge设置为所述候选率失真代价J_mode。

可选地，所述装置，还包括：

启用检测模块471，用于若所述第一最小值不是所述J_merge，则检测是否开启了水平方向和/或垂直方向的非对称预测模式；

第四计算模块473，用于若仅开启了水平方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD；

第二查找模块475，用于从所述第一最小值、所述J_2N*nU和所述J_2N*nD中查找出第二最小值；

第五计算模块477，用于若仅开启了垂直方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；

所述第二查找模块475，还用于从所述第一最小值、所述J_nL*2N和所述J_nR*2N中查找出所述第二最小值；

第二设置模块479，用于将所述第二最小值设置为所述候选率失真代价J_mode。

可选地，所述装置，还包括：

启用检测模块471，用于若所述第一最小值不是所述J_merge，则检测所述当前预测单元是否开启了水平方向和/或垂直方向的非对称预测模式；

第六计算模块472，用于若同时开启了水平方向和垂直方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD、采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；

所述第三查找模块474，用于从所述第一最小值、所述J_2N*nU、所述J_2N*nD、所述J_nL*2N和所述J_nR*2N中查找出第三最小值；

第三设置模块476，用于将所述第三最小值设置为所述候选率失真代价J_mode。

可选地，所述第二计算模块440，具体用于分别计算所述当前预测单元在采用帧内2N*2N模式时的率失真代价J_{intra_2N*2N}、采用帧内N*N模式时的率失真代价J_{intra_N*N}、采用帧内PCM模式时的率失真代价J_intra__PCM。

本实施例提供的预测模式选择装置，还在帧间merge模式较优时，即便开启了水平方向和/或垂直方向的非对称预测模式，也跳过4种有关水平方向和/或垂直方向的非对称预测模式的率失真代价计算过程，减少了预测模式选择过程所需要的计算量，能够有效降低预测模式选择的耗时，满足一些实时性要求较高的场景的需求。

需要说明的是：上述实施例提供的预测模式选择装置在触发智能网业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的预测模式选择装置与预测模式选择方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种预测模式选择方法，其特征在于，所述方法包括：

检测所述J_skip是否小于所述J_merge和所述J_2N*2N；

2.根据权利要求1所述的方法，其特征在于，所述检测所述J_skip是否小于所述J_merge和所述J_2N*2N之后，还包括：

若所述J_skip不小于所述J_merge和所述J_2N*2N，则分别计算所述当前预测单元在采用帧间N*N模式时的率失真代价J_N*N、采用帧间2N*N模式时的率失真代价J_2N*N和采用帧间N*2N模式下的率失真代价J_N*2N；

从所述J_merge、所述J_2N*2N、所述J_N*N、所述J_2N*N和所述J_N*2N中查找出第一最小值；

若所述第一最小值是所述J_merge，则将所述J_merge设置为所述候选率失真代价J_mode。

3.根据权利要求2所述的方法，其特征在于，所述从所述J_merge、所述J_2N*2N、所述J_N*N、所述J_2N*N和所述J_N*2N中查找出第一最小值之后，还包括：

若所述第一最小值不是所述J_merge，则检测是否开启了水平方向和/或垂直方向的非对称预测模式；

若仅开启了水平方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD；从所述第一最小值、所述J_2N*nU和所述J_2N*nD中查找出第二最小值；

若仅开启了垂直方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；从所述第一最小值、所述J_nL*2N和所述J_nR*2N中查找出所述第二最小值；

将所述第二最小值设置为所述候选率失真代价J_mode。

4.根据权利要求2所述的方法，其特征在于，所述从所述J_merge、所述J_2N*2N、所述J_N*N、所述J_2N*N和所述J_N*2N中查找出第一最小值之后，还包括：

若所述第一最小值不是所述J_merge，则检测所述当前预测单元是否开启了水平方向和/或垂直方向的非对称预测模式；

若同时开启了水平方向和垂直方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD、采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；

从所述第一最小值、所述J_2N*nU、所述J_2N*nD、所述J_nL*2N和所述J_nR*2N中查找出第三最小值；

将所述第三最小值设置为所述候选率失真代价J_mode。

5.根据权利要求1至4任一所述的方法，其特征在于，所述计算所述当前预测单元在至少一种帧内预测模式时的率失真代价J_intra，包括：

分别计算所述当前预测单元在采用帧内2N*2N模式时的率失真代价J_{intra_2N*2N}、采用帧内N*N模式时的率失真代价J_{intra_N*N}、采用帧内PCM模式时的率失真代价J_intra__PCM。

6.一种预测模式选择装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述装置，还包括：

第三计算模块，还用于若所述J_skip不小于所述J_merge和所述J_2N*2N，则分别计算所述当前预测单元在采用帧间N*N模式时的率失真代价J_N*N、采用帧间2N*N模式时的率失真代价J_2N*N和采用帧间N*2N模式下的率失真代价J_N*2N；

第一查找模块，用于从所述J_merge、所述J_2N*2N、所述J_N*N、所述J_2N*N和所述J_N*2N中查找出第一最小值；

第一设置模块，用于若所述第一最小值是所述J_merge，则将所述J_merge设置为所述候选率失真代价J_mode。

8.根据权利要求7所述的装置，其特征在于，所述装置，还包括：

启用检测模块，用于若所述第一最小值不是所述J_merge，则检测是否开启了水平方向和/或垂直方向的非对称预测模式；

第四计算模块，用于若仅开启了水平方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD；

第二查找模块，用于从所述第一最小值、所述J_2N*nU和所述J_2N*nD中查找出第二最小值；

第五计算模块，用于若仅开启了垂直方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；

所述第二查找模块，还用于从所述第一最小值、所述J_nL*2N和所述J_nR*2N中查找出所述第二最小值；

第二设置模块，用于将所述第二最小值设置为所述候选率失真代价J_mode。

9.根据权利要求7所述的装置，其特征在于，所述装置，还包括：

启用检测模块，用于若所述第一最小值不是所述J_merge，则检测所述当前预测单元是否开启了水平方向和/或垂直方向的非对称预测模式；

第六计算模块，用于若同时开启了水平方向和垂直方向的非对称预测模式，则分别计算所述当前预测单元在采用帧间2N*nU模式时的率失真代价J_2N*nU、采用帧间2N*nD模式时的率失真代价J_2N*nD、采用帧间nL*2N模式时的率失真代价J_nL*2N、采用帧间nR*2N模式时的率失真代价J_nR*2N；

所述第三查找模块，用于从所述第一最小值、所述J_2N*nU、所述J_2N*nD、所述J_nL*2N和所述J_nR*2N中查找出第三最小值；

第三设置模块，用于将所述第三最小值设置为所述候选率失真代价J_mode。

10.根据权利要求6至9任一所述的装置，其特征在于，所述第二计算模块，具体用于分别计算所述当前预测单元在采用帧内2N*2N模式时的率失真代价J_{intra_2N*2N}、采用帧内N*N模式时的率失真代价J_{intra_N*N}、采用帧内PCM模式时的率失真代价J_intra__PCM。