CN104798363A - 检测视频比特流中渐变画面的方法和装置 - Google Patents

Abstract

本发明提出了一种用于检测视频比特流中渐变画面的方法和装置。所述方法包括：访问包括编码画面的比特流；利用来自所述比特流中的信息确定所述比特流中的渐变画面，不将所述比特流解码以获取像素信息。

Description

检测视频比特流中渐变画面的方法和装置

技术领域

本发明总体上涉及视频质量评价。具体而言，本发明涉及用于检测视频比特流(video bitstream)中渐变画面(gradual transition picture)的方法和装置。

背景技术

在视频质量评估中，在某些情况下需要检测视频比特流中的帧是否为渐变画面，所述渐变画面例如可以包括淡入(fade-in)和淡出(fade-out)画面以及跨域(cross-field)画面。

检测渐变画面的传统方法工作在像素域。

但是，在某些应用场合下，无法获得像素信息来检测渐变画面。例如，在ITU-T的P.NBAMS(用于视频流性能评价的非侵入性比特流模式)中，将在机顶盒处对视频比特流的质量进行评价，不将视频比特流解码为像素层级。在这种情况下，必须在压缩视频比特流的层级来检测视频比特流中的渐变画面。

发明内容

考虑到传统技术中的上述问题，本发明提出在比特流层级上检测视频比特流中的渐变画面，不将所述比特流解码为像素。

本发明的发明人发现，比特流中与其相邻帧相比具有较大帧内宏块(intra macro block)比例的一组连续帧是渐变画面的可能性很高。基于此发现提出在比特流层级检测渐变画面的方案。

根据本发明的一个方面，提出了一种用于检测视频比特流中渐变画面的方法。所述方法包括：访问包括编码画面的比特流；利用来自所述比特流中的信息确定所述比特流中的渐变画面，不将所述比特流解码以获取像素信息。

根据本发明的另一个方面，提出了一种用于检测视频比特流中渐变画面的装置。所述装置包括：解码器，用于访问包括编码画面的比特流；渐变画面检测器，用于利用来自所述比特流中的信息确定所述比特流中的渐变画面，不将所述比特流解码以获取像素信息。

可以理解，下述对本发明的详细说明将介绍本发明的更多方面和优势。

附图说明

附图与用于解释本发明原理的文字说明一起使本发明实施方式得到进一步的理解，本发明不局限于所述实施方式。

其中：

图1是渐变画面及其帧内宏块(MB)比例的示意图；

图2是根据本发明实施方式的用于检测比特流中渐变画面的方法的流程图；

图3是根据本发明实施方式的用于检测渐变画面的示例过程的流程图；和

图4是采用根据本发明实施方式的用于检测比特流中渐变画面的方法的视频质量监视器的框图。

具体实施方式

下面将结合附图对本发明的实施方式进行详细说明。在下述说明中，出于简洁之目的，对已知功能和结构不再进行详细说明。

图1是渐变画面及其帧内宏块(MB)比例的示意图。

如图1所示，纵轴显示帧的帧内宏块比例。上述的帧内宏块比例可以定义为某帧内的帧内宏块的数量与宏块总数量的比例。帧内宏块比例也可以定义为某帧内的帧内宏块的数量与接收到和解码的宏块总数量的比例。图1中标号为29－33的帧是渐变画面。可以看出，这些连续帧的帧内宏块比例比周围帧(surrounding frames)的该参数高很多。但需要指出，只是在多个连续帧具有较高帧内宏块比例时才是这种情况。如果只有一个帧具有较高帧内宏块比例，实际上如果有场景变化(scene change)的话，该帧为场景切换帧(scene cut frame)。上述周围帧可以理解为在所述帧或连续帧之前或之后的相邻帧。

图2是根据本发明实施方式的用于检测比特流中渐变画面的方法的流程图。

在图2所示的方法200中，在步骤210输入视频比特流，将检测所述比特流中的渐变画面。

在步骤220，判断被检测画面的帧内宏块比例是否大于第一预定阈值。如果步骤220的判断结果是“否”，控制前进至步骤230，其中将该画面检测为非渐变画面。

如果步骤220的判断结果是“是”，控制前进至步骤240，其中判断在被检测画面的周围画面中帧内宏块比例大于所述第一预定阈值的一组连续画面的数量是否大于第二预定阈值。如果步骤240的判断结果是“否”，控制前进至步骤230，其中将该画面检测为非渐变画面。

如果步骤240的判断结果是“是”，控制前进至步骤250，其中判断上述一组连续画面的平均帧内宏块比例与所述一组连续画面的周围画面中的另一组连续画面的平均宏块比例之间的比例是否大于第三预定阈值。如果步骤250的判断结果是“否”，控制前进至步骤230，其中将该画面检测为非渐变画面。

如果步骤250的判断结果是“是”，在步骤260，将该画面检测为渐变画面。

上述方法的一个应用实例是用于在场景切换伪像(artifacts)检测的情况下检测渐变画面。可以理解，当视频比特流中的两个相邻帧之间具有很大的场景切换并且第二画面发生丢包时，隐藏的第二画面将具有很严重的可视伪像。这些伪像被称为场景切换伪像。通常比特流的视频质量评价需要进行场景切换伪像检测。但是，研究发现，如果丢包是发生在渐变画面中，则隐藏错误的画面中的伪像不易见，这与场景切换伪像截然不同。因此，如果能够事先判断场景切换候选帧是渐变画面，则没有必要进一步检测此候选画面的场景切换伪像。

图3是根据本发明实施方式的用于检测渐变画面的示例过程的流程图。

如图3所示，输入视频比特流，将检测所述比特流中的渐变画面。

在步骤3001，对于具有较大帧内宏块比例的一组连续帧初始化计数器cnt_short，即cnt_short＝0。

在步骤3002，判断被检测帧(下文中称为当前帧)的帧内宏块比例是否大于第一阈值INTRA_THRDLOW。例如，第一阈值INTRA_THRDLOW可以设置为0.3或0.4。如果当前帧的帧内宏块比例不大于第一阈值INTRA_THRDLOW，确定当前帧不是渐变画面。控制前进至步骤3010，判断视频比特流的全部帧位置是否都已处理。

如果当前帧的帧内宏块比例大于第一阈值INTRA_THRDLOW，控制前进至步骤3003，其中将计数器cnt_short增加1，并将帧内比例数值记录在由fadeintra表示的变量中。

在下一步骤3004，计算在2*win_short*frame_rate帧的长度的短窗口内当前帧的周围帧中有多少连续帧的帧内宏块比例大于INTRA_THRDLOW，并相应地增加计数器cnt_short。例如，上述的win_short可以设置为0.5秒。可以将所述一组连续帧选为候选渐变帧。

在步骤3005，判断计数器cnt_short是否小于第二阈值THD_FADEPICS。可以根据比特流的帧速率设置所述第二阈值THD_FADEPICS，例如，frame_rate*t。例如，t＝0.1秒。可以理解，第二阈值不应小于2。这是因为，否则该帧实际上可能是场景切换帧。

如果cnt_short小于第二阈值THD_FADEPICS，确定当前帧不是渐变画面。这是因为渐变内容通常需要一定时间，在观看时才会称为渐变画面。随后控制前进至步骤3010，判断视频比特流的全部帧位置是否都已处理。

如果计数器cnt_short大于第二阈值THD_FADEPICS，控制前进至步骤3006，计算候选渐变帧的平均帧内宏块比例，即fadeintra/＝cnt。

在下一步骤3007，计算在2*win_long帧的长度的较长窗口内周围帧中另外一组帧(不包含候选渐变帧)的平均帧内宏块比例fadeavg。在一个实例中，上述win_long设置为1.5秒。需要指出，由于预先设定在GOP(图像组)的开始使用I帧，而不是根据视频特征由编码器进行选择，在步骤3007中优选计算周围帧中的P帧的平均帧内宏块比例。

在下一步骤3008，判断候选渐变帧的平均帧内宏块比例与另外一组帧的平均帧内宏块比例之间的比例fadeintra/fadeavg是否大于第三阈值THD_FADERATIO。例如，所述第三阈值THD_FADERATIO可以设置为3。

如果所述比例fadeintra/fadeavg不大于第三阈值THD_FADERATIO，控制前进至步骤3010，判断视频比特流的全部帧位置是否都已处理。

如果所述比例fadeintra/fadeavg大于第三阈值THD_FADERATIO，控制前进至步骤3009，将当前帧确定并标记为渐变画面。如图3所示，渐变画面标记/表示为b_fade_pic＝true。

步骤3010，判断视频比特流的全部帧位置是否都已处理。如果该步骤的判断结果是“否”，控制前进至步骤3001。如果结果是“是”，控制前进至步骤3099。

上述过程的伪码如下：

图4是采用根据本发明实施方式的用于检测比特流中渐变画面的方法的视频质量监视器400的框图。

视频质量监视器400的输入可能包括含有所述比特流的传输流。所述输入也可以是含有所述比特流的其他形式。

解复用器401从所述比特流中获得分组层(packet layer)信息，例如分组数、字节数、帧大小。

解码器402解析输入流以获得更多信息，例如帧类型、预测残差和移动矢量。解码器402可以重构所述画面，也可以不重构所述画面。在其他实施方式中，所述解码器可以执行所述解复用器的功能。

渐变画面检测器403检测所述传输流中的帧是否为渐变画面。渐变画面检测器403可以使用参照图2说明的方法200和参照图3说明的具体过程。

渐变画面检测器403的检测结果可以提供至视频质量监视器400的场景切换伪像检测器404。如上所述，传输流中的帧如果被确定为渐变画面，则其将不被选为候选帧进行场景切换伪像检测。

在宏块层级检测到场景切换伪像之后，质量预测器405将所述伪像映射至质量分数。质量预测器405可以考虑其他类型的伪像，并且其还可以考虑由误差传播导致的伪像。

视频质量监视器400可以由内容创造者、内容分销者或用户设备所使用。在任何上述应用中，视频质量监视器400提供的质量度量可以用于调节各种视频参数和差错掩盖技术以改善视频质量。

可以理解，可以以硬件、软件、固件、专用处理器或它们的组合的形式来实现本发明。

可以理解，由于附图中描述的某些***构成部件和方法的步骤优选用软件来实现，***部件(或方法步骤)之间的实际连接根据实现本发明方式的不同而可能变化。根据本发明的教导，本领域普通技术人员可以设想出本发明的类似实施方式和结构。

Claims (13)

1.一种方法，包括：

访问包括编码画面的比特流；和

利用来自所述比特流中的信息确定所述比特流中的渐变画面，不将所述比特流解码以获取像素信息。

2.根据权利要求1所述方法，其中所述确定步骤包括：

根据被检测画面和所述被检测画面的周围画面中的一组连续画面的帧内宏块比例确定所述比特流中的渐变画面。

3.根据权利要求1所述方法，其中所述确定步骤包括：

满足以下条件时确定比特流中的渐变画面：

所述被检测画面的帧内宏块比例大于第一阈值；

所述被检测画面的周围帧中的一组连续画面中帧内宏块比例大于所述第一阈值的连续画面的数量大于第二阈值；和

所述一组连续画面的平均帧内宏块比例与所述一组连续画面周围帧中另一组连续画面的平均帧内宏块比例之间的比例大于第三阈值。

4.根据权利要求2或3所述的方法，其中帧的所述帧内宏块比例是所述帧中帧内宏块的数量与宏块的总数量之间的比例。

5.根据权利要求2或3所述的方法，其中帧的所述帧内宏块比例是所述帧中帧内宏块的数量与接收到和解码的宏块的总数量之间的比例。

6.根据权利要求3所述的方法，其中根据所述视频比特流的帧速率设置所述第二阈值。

7.一种装置，包括：

解码器，用于访问包括编码画面的比特流；和

渐变画面检测器，用于利用来自所述比特流中的信息确定所述比特流中的渐变画面，不将所述比特流解码以获取像素信息。

8.根据权利要求7所述的装置，其中所述渐变画面检测器根据被检测画面和所述被检测画面的周围画面中的一组连续画面的帧内宏块比例确定所述比特流中的渐变画面。

9.根据权利要求7所述的装置，其中所述渐变画面检测器在满足以下条件时确定比特流中的渐变画面：

所述被检测画面的帧内宏块比例大于第一阈值；

所述被检测画面的周围帧中的一组连续画面中帧内宏块比例大于所述第一阈值的连续画面的数量大于第二阈值；和

所述一组连续画面的平均帧内宏块比例与所述一组连续画面周围帧中另一组连续画面的平均帧内宏块比例之间的比例大于第三阈值。

10.根据权利要求8或9所述的装置，其中帧的所述帧内宏块比例是所述帧中帧内宏块的数量与宏块的总数量之间的比例。

11.根据权利要求8或9所述的装置，其中帧的所述帧内宏块比例是所述帧中帧内宏块的数量与接收到和解码的宏块的总数量之间的比例。

12.根据权利要求9所述的装置，其中根据所述视频比特流的帧速率设置所述第二阈值。

13.根据权利要求7所述的装置，还包括：

场景切换伪像检测器，用于根据来自所述渐变画面检测器的画面确定结果对所述画面进行场景切换伪像检测。