CN106572352B

CN106572352B - 一种关键帧大小控制方法及装置

Info

Publication number: CN106572352B
Application number: CN201610917915.8A
Authority: CN
Inventors: 林聚财
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2016-10-21
Filing date: 2016-10-21
Publication date: 2019-09-17
Anticipated expiration: 2036-10-21
Also published as: CN106572352A

Abstract

本发明公开了一种关键帧大小控制方法及装置。该方法中，根据已编码帧的复杂度，对待进行编码的关键帧的复杂度进行估计，并获取用于编码的第一量化参数，根据复杂度和第一量化参数，估计该关键帧编码后的大小是否超过预设阈值，若估计结果为超过预设阈值，则确定第二量化参数，根据第二量化参数进行编码，以使得编码后的关键帧大小小于等于预设阈值，以避免关键帧过大而导致的异常问题，进而影响视频质量。

Description

一种关键帧大小控制方法及装置

技术领域

本发明涉及视频编码领域，尤其涉及一种关键帧大小控制方法及装置。

背景技术

视频图像的数据量比较大，通常需要对其进行编码，编码后的数据称为视频码流，视频码流通过有线或者无线网络传输至用户端，再进行解码观看。上述步骤主要包括编码、传输、解码等，在这些步骤中由于受到硬件或其他条件的限制，通常会对压缩后的视频码流的大小有一定要求，比如网络传输存在上限值。

视频编码中的关键帧又称为I帧，是编码过程中不依赖于其他已编码视频帧的编码帧，可以对I帧码流进行独立解码，实际应用中通常将I帧作为随机接入帧。为实现独立解码的目的，I帧编码只能采用帧内预测，而不能进行帧间预测(通常帧间预测比帧内预测更能消除数据冗余)，导致编码I帧的大小比较大。然而，在许多应用***中都会对编码后I帧的大小有限制。

编码器中码率控制算法的目的是在精确达到目标码率的同时视频编码失真尽量小。而码率是指一段时间内码流的总大小，码率控制算法只是使码流在一定时间内达到了目标值，通常无法对编码过程中某一帧的编码大小进行精确的限制。因此，该方法无法满足对I帧大小进行精确限制的需求。

一种基于边缘强度的I帧大小的估计方法，使用I帧的整体边缘强度与I帧压缩后帧大小之间的数学相关性来选择量化参数。具体为，基于在特定帧的预处理期间确定整体边缘强度值并根据参考解码缓冲区提供的目标帧大小来选择用于该特定帧的量化参数。选择出的量化参数允许在由参考解码器提供的可用码率内工作的同时保持I帧的最佳压缩质量。该方法理论的依据是I帧整体边缘强度与I帧编码后的大小具有很好的数学相关性，但是从其提供的边缘强度和帧大小的关系图来看，相关性并不是很好。其次，该方法需要计算整体边缘强度，而边缘强度计算通常不是编码器编码过程需要计算的量，因此，该方法增加了编码器的额外开销。再次，该方法根据解码缓冲区剩余可用空间的大小再结合边缘强度得到的量化参数，I帧编码后的大小只是不会超过通过解码缓冲区剩余空间分配给I帧的大小，但不能限制I帧的大小满足预设的范围。

因此，目前还没有针对I帧大小进行控制的方法。

发明内容

本发明提供了一种I帧大小控制方法及装置，用以实现对I帧的大小进行限制。

本发明实施例提供的I帧大小控制方法，包括：

根据已编码帧的复杂度，对待编码的关键帧的复杂度进行估计；

获取用于编码的第一量化参数；

根据所述关键帧的复杂度以及所述第一量化参数，估计所述关键帧编码后的大小是否超过预设阈值；

若估计所述关键帧编码后的大小超过预设阈值，则确定第二量化参数；根据所述第二量化参数编码得到的关键帧的大小，小于等于预设阈值；

根据所述第二量化参数编码所述关键帧。

可选地，所述根据已编码帧的复杂度，对待编码的关键帧的复杂度进行估计，包括：

根据待编码的关键帧的前一帧或前多帧的复杂度，对待编码的关键帧的复杂度进行估计。

根据已编码帧的绝对误差和，对待编码的关键帧的绝对误差和进行估计；

所述根据所述关键帧的复杂度以及所述第一量化参数，估计所述关键帧编码后的大小是否超过预设阈值，包括：

根据所述关键帧的绝对误差和以及所述第一量化参数，估计所述关键帧编码后的大小是否超过预设阈值。

可选地，该方法，还包括：

若估计所述关键帧的大小未超过预设阈值，则根据所述第一量化参数编码所述关键帧。

可选地，所述关键帧大小的预设阈值，根据网络传输速度和网络传输等待时间的最大值确定。

本发明实施例提供的I帧大小控制装置，包括：

第一估计模块，用于根据已编码帧的复杂度，对待编码的关键帧的复杂度进行估计；

获取模块，用于获取用于编码的第一量化参数；

第二估计模块，用于根据所述关键帧的复杂度以及所述第一量化参数，估计所述关键帧编码后的大小是否超过预设阈值；

确定模块，用于若估计所述关键帧编码后的大小超过预设阈值，则确定第二量化参数；根据所述第二量化参数编码得到的关键帧的大小，小于等于预设阈值；

编码模块，用于根据所述第二量化参数编码所述关键帧。

可选地，所述第一估计模块，具体用于：

所述第二估计模块，具体用于：

可选地，所述编码模块还用于：

在本发明上述实施例中，根据已编码帧的复杂度，对待编码的I帧的复杂度进行估计，并获取用于编码的第一量化参数，根据复杂度和第一量化参数，估计该I帧编码后的大小是否超过预设阈值，若估计结果为超过预设阈值，则确定第二量化参数，根据第二量化参数进行编码，以使得编码后的I帧大小小于等于预设阈值，以避免I帧过大而导致的异常问题，进而影响视频质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的I帧大小控制方法的流程示意图；

图2为本发明实施例提供的具体实施例的流程示意图；

图3为本发明实施例提供的I帧大小控制装置的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

I帧是帧间压缩编码里的重要参考帧，是一个全帧内压缩的编码帧，解码时仅用I帧的数据就可以重构当前以及后面完整图像。例如，终端发送给微控制单元(Microcontroller Unit，简称MCU)，并不是每次都把完整的一幅图片发送到远端，而是只发送后一幅画面在前一幅画面基础上发生变化的部分，若网络状况不佳，终端发送给远程的画面就会存在因丢包而出现图像花屏、图像卡顿的现象，在这种情况下如果没有I帧机制让终端重新发送一幅新的完整的图像到远端，远端输出图像的花屏、卡顿现象会越来越严重。

为了解决由于I帧过大而导致的异常问题，例如，由于网络传输速度的限制，导致在预设时间内没有完成I帧的传输，本发明实施例提供了一种I帧大小控制方法，以解决上述问题。

参见图1，为本发明实施例提供的I帧大小控制方法的流程示意图，如图所示，该方法包括以下步骤：

步骤101、根据已编码帧的复杂度，对待编码的I帧的复杂度进行估计。

在上述步骤101中，可选地，可以根据待编码的I帧的前一帧，或者前多帧的复杂度，对待编码的I帧的复杂度进行估计。

可选地，复杂度可以用绝对误差和(SAD)表征，即根据已编码帧的SAD对待编码的I帧的SAD进行估计。

例如，可以根据如公式(1)所示的数学关系，根据前一帧的SAD估计出待编码的I帧的SAD。

SAD_cur＝a*SAD_pre+b (1)

其中，SAD_cur表示待编码的I帧的复杂度，SAD_pre表示前一帧的复杂度，a和b分别表示经验系数，该经验系数可以通过预先对一定数量的视频帧的SAD进行统计，拟合出a、b的取值。

可选地，还可以根据一定数据的I帧的SAD进行统计，确定I帧与前一I帧的SAD的映射关系；在对待进行编码的I帧的SAD进行估计时，根据前一I帧的SAD以及统计出的映射关系，确定待编码的I帧的SAD。

步骤102、获取用于编码的第一量化参数。

视频帧编码后的大小与编码器在编码过程中选择的参数有关，这些参数包括模式、运动信息、量化参数(Quantization Parameter，简称QP)等。选择不同的参数会对最终视频的编码比特率产生影响。在这些参数中，量化参数控制的是有损量化处理过程中损失数据量的大小，对编码后帧的大小有直接的影响。较小的量化参数保证了有更多的比特用于图像编码，可以在视频重建时提供尽可能多的空间细节；较大的量化参数保证了输出码率不会超过缓冲区的限制，但增加了视频重建后的失真。当其他编码参数都确定的情况下，量化参数值直接决定了编码后视频帧的视频质量及帧的大小。

在实际应用时，通常采用码率控制模块获得当前编码帧的量化参数。码率控制模块根据输入的目标比特率，以及参考解码缓冲区的大小(有时也可以没有参考解码缓冲区的限制)，输出当前待编码帧的量化参数。

步骤103、根据上述I帧的复杂度以及第一量化参数，估计该I帧编码后的大小是否超过预设阈值。

具体地，当采用SAD表征复杂度时，在上述步骤中，则根据I帧的SAD以及第一量化参数，估计I帧编码后的大小是否超过预设阈值。

优选地，可以预先采用支持向量机的方法对一定数量的样本进行训练，确定用于判断I帧大小是否超过预设阈值的核函数。例如，采集大量的I帧编码数据，包括：I帧的大小、I帧的复杂度、量化参数，然后采用支持向量机的方法对采集的数据进行训练，其中，核函数采用的是线性核函数，如公式(2)所示：

Svm_res＝qp_w*qp_scale*(qp+qp_shift)+sr_w*sr_scale*(sad+sr_shift)+bias (2)

其中，sad表示绝对误差和，qp表示量化参数，qp_w、qp_scale、qp_shift、sr_w、sr_scale、sr_shift、bias表示经验系数。

通过训练，可以确定如公式(2)所示的核函数的经验系数值。在确定出如公式(2)所示的核函数后，即得到了编码后的I帧大小是否大于预设阈值的分类器。

具体地，在上述步骤103中，将上述I帧的SAD及第一量化参数代入公式(2)，若Svm_res>0，则认为编码后的I帧大小会超过预设阈值，否则，认为编码后的I帧大小不会超过预设阈值。

可选地，预设阈值可以根据网络传输速度和网络传输等待时间的最大值确定。在监控***中，通常前端摄像机(包含编码器)产生的码流需要通过网络传输至后端即接收端(例如网络存储设备)，由于采用网络传输，接收端需要考虑网络延时的因素。假定接收端设置的每帧视频码流网络传输等待时间的上限值为k秒(即超过这个时间还没有收到完整的一帧视频码流，则当成异常处理，如数据丢失等)，因为这个时间上限值需要考虑延时，通常不能设置太大。若视频帧数据较大，网络传输耗时超过网络产生等待时间的上限k秒，则认为该视频帧数据网络传输异常。假设视频帧的大小为M bits，网络传输速度为vbits/s，则该视频帧网络传输需要耗时M/v秒。若k<M/v，需要的网络传输时间超过网络传输等待时间的上限值，此时会出现将正确的数据当成网络传输异常来处理。由于本发明实施例通过控制I帧大小的方法解决上述问题，因此，需要令M<＝v*k。可选地，可以将I帧大小的预设阈值设置为网络传输速度乘以网络传输等待时间(v*k)bits。

由于I帧的数据远大于其他帧的数据，因此，可以仅对I帧的数据大小进行估计、控制，当然本发明实施例并不限于此，也可以基于与本发明实施例类似的技术构思，对其他视频帧进行估计、控制。

步骤104、若估计上述I帧编码后的大小超过预设阈值，则确定第二量化参数。

在上述步骤中，确定出的第二量化参数，能够使得根据该量化参数进行编码后的I帧大小小于等于预设阈值。

仍以上述确定出的线性核函数为例，当估计上述I帧编码后的大小超过预设阈值，即Svm_res>0时，可以令公式(2)中的Svm_res＝0，可以得到：

qp＝-((sr_w*sr_scale*(sad+sr_shift))+bias)/(qp_w*qp_scale)-qp_shift(3)

令fixed_x1＝-((sr_w*sr_scale*sr_shift)+bias)/(qp_w*qp_scale)、x2＝-(sr_w*sr_scale)/(qp_w*qp_scale)，则可以得到：

qp＝x2*sad+fixed_x1-qp_shift (4)

根据公式(4)确定出的量化参数，即可作为第二量化参数，用于后续的编码过程，以使后续编码的I帧的大小小于等于预设阈值。但第二量化参数并不局限于根据公式(4)计算出的数值，也可以是其他能够满足Svm_res≤0的取值；或者，若上述步骤103中采用其他算法对I帧大小进行估计，那么在步骤104中确定第二量化参数时也可相应的采用其他算法。

步骤105、根据第二量化参数编码上述I帧。

其中，根据第二量化参数编码上述I帧，能够使得编码后的I帧的大小，小于等于预设阈值。

可选地，若对I帧大小的估计结果为未超过预设阈值，则仍根据第一量化参数编码该I帧。

为了更清楚地理解本发明的上述实施例，下面以一个具体实施例，对本发明上述实施例的具体实现过程进行描述，具体过程如图2所示。

假设I帧的SAD与前一帧的SAD之间存在线性关系，该线性关系如前述公式(1)所述。根据采集到的大量的I样本，进行线性拟合，确定出经验系数a和b。在一个具体实施例中，确定出的经验系数为a＝1，b＝1，即可得到公式(5)：

SAD_cur＝SAD_pre (5)

上述公式表示当前I帧的SAD与前一帧的SAD相等。

根据网络传输速度以及网络传输等待时间确定的I帧大小的预设阈值为300kbits。然后根据该预设阈值，采用支持向量机对采集的大量I帧样本进行训练，其中，采集I帧编码数据包括：I帧的大小、I帧的SAD、量化参数。将大小大于300kbits的I帧作为正样本，即公式(2)中的Svm_res＝1，将小于等于300kbits的I帧作为负样本，即公式(2)中的Svm_res＝0，以确定出公式(2)中的经验系数。在一个具体的实施例中，确定出的经验系数为sr_w＝-5.5082，sr_shift＝-0.0804，sr_scale＝19.6308，bias＝9.5505，qp_w＝8.6304，qp_shift＝-0.2903，qp_scale＝14.5165，即可得到公式公式(6)：

Svm_res＝125.2832016*(qp-0.2903)+108.13037256*(sad-0.0804)+9.5505(6)

在对当前待编码的I帧SAD进行估计时，将该I帧的前一帧的SAD_pre代入公式(5)，得到该I帧的SAD_cur。然后将该I帧的SAD_cur和当前用于编码的第一量化参数qp_1代入公式(6)，计算得到Svm_res。若Svm_res＝0，则认为该I帧经过编码后大小不会超过300kbits，因此，根据第一量化参数qp_1进行编码；若Svm_res＝1，则认为该I帧经过编码后大小会超过300kbits，此时，可以令公式等号右边的部分等于0，然后将该I帧的SAD_cur代入，反解出qp，即为第二量化参数qp_2，然后根据第二量化参数qp_2进行编码。

在本发明上述实施例中，对待编码的I帧的复杂度进行估计，并获取用于编码的第一量化参数，根据复杂度和第一量化参数，估计该I帧编码后的大小是否超过预设阈值，若估计结果为超过预设阈值，则确定第二量化参数，根据第二量化参数进行编码，以使得编码后的I帧大小小于等于预设阈值，以避免I帧过大而导致的异常问题，进而影响视频质量。

基于相同的技术构思，本发明实施例提供了一种I帧大小控制装置，用于实现上述方法实施例，如图3所述，该装置包括：

第一估计模块301，用于根据已编码帧的复杂度，对待编码的I帧的复杂度进行估计；

获取模块302，用于获取用于编码的第一量化参数；

第二估计模块303，用于根据所述I帧的复杂度以及所述第一量化参数，估计所述I帧编码后的大小是否超过预设阈值；

确定模块304，用于若估计所述I帧编码后的大小超过预设阈值，则确定第二量化参数；根据所述第二量化参数编码得到的I帧的大小，小于等于预设阈值；

编码模块305，用于根据所述第二量化参数编码所述I帧。

可选地，第一估计模块301，具体用于：

根据待编码的I帧的前一帧或前多帧的复杂度，对待编码的I帧的复杂度进行估计。

可选地，第一估计模块301，具体用于：

根据已编码帧的绝对误差和，对待编码的I帧的绝对误差和进行估计；

所述第二估计模块，具体用于：

根据所述I帧的绝对误差和以及所述第一量化参数，估计所述I帧编码后的大小是否超过预设阈值。

可选地，编码模块305还用于：

若估计所述I帧的大小未超过预设阈值，则根据所述第一量化参数编码所述I帧。

可选地，I帧大小的预设阈值，根据网络传输速度和网络传输等待时间的最大值确定。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种关键帧大小控制方法，其特征在于，包括：

获取用于编码的第一量化参数；

根据所述第二量化参数编码所述关键帧；

所述根据已编码帧的复杂度，对待编码的关键帧的复杂度进行估计，包括：

根据待编码的关键帧的前一帧或前多帧的复杂度，对待编码的关键帧的复杂度进行估计；或者根据已编码帧的绝对误差和，对待编码的关键帧的绝对误差和进行估计。

2.如权利要求1所述的方法，其特征在于，

3.如权利要求1所述的方法，其特征在于，还包括：

4.如权利要求1所述的方法，其特征在于，所述关键帧大小的预设阈值，根据网络传输速度和网络传输等待时间的最大值确定。

5.一种关键帧大小控制装置，其特征在于，包括：

获取模块，用于获取用于编码的第一量化参数；

编码模块，用于根据所述第二量化参数编码所述关键帧；

所述第一估计模块，具体用于：

6.如权利要求5所述的装置，其特征在于，

所述第二估计模块，具体用于：

7.如权利要求5所述的装置，其特征在于，所述编码模块还用于：

8.如权利要求5所述的装置，其特征在于，所述关键帧大小的预设阈值，根据网络传输速度和网络传输等待时间的最大值确定。