CN1608295A

CN1608295A - 基于景物变化距离的视听内容中的商业检测

Info

Publication number: CN1608295A
Application number: CNA028261844A
Authority: CN
Inventors: S·让南
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-12-27
Filing date: 2002-12-10
Publication date: 2005-04-20
Anticipated expiration: 2022-12-10
Also published as: WO2003061280A2; KR20040069345A; CN100544416C; EP1464054A2; AU2002353333A1; JP2005515722A; AU2002353333A8; WO2003061280A3; US20030123841A1

Abstract

提供了用于利用压缩视频流的编码参数来检测商业内容的方法和设备。视频编码器接收未压缩视频数据并生成压缩的视频数据。检测多个分隔符，每个分隔符利用一系列压缩视频数据中至少两个连续景物变化来限定。随后，通过将这些分隔符之间的间隙与一个预定门限值进行比较来推导出商业中断的起始和结束。

Description

基于景物变化距离的视听内客中的商业检测

本发明涉及视频数据信号流中特定内容的检测，并且更具体涉及精确检测商业内容的边界。

ReplayTV(Palo Alto，California的REPLAY NETWORKS，INC.的商标)和TiVo(Sunnyvale，California的TIVO，Inc.的商标)是新式“VCR”的代表作，给予电视观众全新的能力来捕捉和操纵来自其电缆和卫星***的电视节目流。这些个人电视设备通过改变观看者的频道、记录使观众感兴趣的节目并且在观众需要时协助观众观看没有商业内容的记录节目来用作个人辅助设备。

对于检测商业内容(commercials)，具有多种公知的方法。一种方法是检测伴随着静默的黑色帧(或单色帧)，这可以表示一个商业中断(break)的起始。如果信号是数字格式，就根据连续块的DC系数的绝对差之和来检测黑色帧，但是仅在I-帧上检测。这样做的缺点在于，如果视频数据是利用具有长组图像(GOP)的视频序列来代表的，黑色帧不是内部编码的并因而来检测到的概率较高。另外，最好是在某些内容上执行黑色帧检测，但是在内客被复制和编辑之后执行检测就非常差。这是由于复制-粘贴处理引入的噪声造成的。因而在差的传输(接收不良，差的天气等等)的情况下很有可能黑色帧检测的效果很差。而且，依赖于黑色帧的商业检测存在的问题还在于，想避免商业越过的广播者能够容易地利用其他的东西来替代黑帧分隔符。至少在法国和荷兰，有些频道已经用篮色帧或白色帧替代了黑色帧。另一种公知的商业内容指示符是看上去高活动性的填塞物(stemming)或假设物体在商业内容期间比在广播的特征期间移动更快并且更频繁变化。

然而，上述现有技术方法在识别商业内容的开始和结束的精确点上面临许多问题。黑色帧生成虚假的肯定，因为其后面跟随着高动作序列的黑色帧的任何序列能被错误地判断并作为商业内客而被跳过。因此，需要提供一种改进的方法和***来检测商业内客的起始和结束。

本发明涉及用于检测商业中断的方法和设备，以便在重放模式期间能够跳过检测到的商业内容。

按照本发明的一方面，用于在压缩视频流中检测商业内客的方法包括以下步骤：压缩视频数据并生成压缩的视频数据；根据生成的压缩数据检测多个分隔符，每个分隔符利用至少两个连续的景物变化来限定；通过比较多个分隔符之间的间隙确定在多个分隔符之间的商业中断的起始和结束。该方法进一步包括以下步骤：在一个分隔符与前一分隔符之间的间隙小于预定门限值时，识别这一个分隔符为商业中断的可能结束。确定商业中断的起始和结束的步骤进一步包括以下步骤：在一个分隔符与前一分隔符之间的间隙大于预定门限值时，识别这一个分隔符为商业中断的起始。在压缩视频数据中检测多个分隔符的步骤进一步包括在生成的压缩数据中识别平均的中间绝对差(MeanAbsolute Difference)(MAD)值的突然增大。

按照本发明的另一方面，用于在压缩视频流中检测商业内容的方法包括以下步骤：对从发射源接收的输入视频数据执行编码，以生成压缩视频数据；在压缩视频数据中检测多个分隔符，多个分隔符各自包括至少两个按照压缩视频数据的连续景物变化；通过将多个分隔符之间的间隙与预定门限值进行比较来确定一个商业中断的起始和结束；在一个分隔符与前一分隔符之间的间隙大于预定门限值，识别这一个分隔符为商业中断的起始；和在一个分隔符与前一分隔符之间的间隙小于预定门限值，识别这一个分隔符为商业中断的结束，其中在发射源上在视频数据中选择地***多个分隔符。

按照本发明的再一方面，用于在压缩视频流中检测商业内客的设备包括：视频编码器，用于接收未压缩视频数据和生成压缩视频数据；检测器，用于检测压缩视频数据中的多个分隔符；处理器，被配置成通过识别压缩视频数据中商业中断的起始和结束来编辑压缩视频数据；重放选择器，用于编辑压缩的视频数据，以便为了后续观看而跳过商业中断；存储器，用于存储具有商业中断的起始和结束的标识的压缩视频数据；和解码器，用于生成解压缩的视频数据，其中检测器被编程为识别未压缩视频数据中至少两个景物剪辑(cut)的指示符和生成在与至少两个景物剪辑的指示符相符的一系列压缩视频数据中位置的标识符。压缩视频数据包括：存在一系列单色帧的标识符；电视节目和商业中断之间过渡的标识符；连续商业内容节目之间过渡的标识符；以及至少两个连续景物剪辑的标识符。压缩视频数据进一步至少包括以下之一：量化器标度；运动矢量数据；比特率数据；一帧内亮度的变化量；一帧内彩色的变化量；一帧的总亮度；一帧的总彩色；帧与帧之间亮度的变化；中间绝时差；和量化器标度。

本领域技术人员结合附图阅读以下的详细说明就能理解这些及其它优点。

图1表示可以采用本发明实施例的一种硬件***的方框图；

图2表示按照本发明实施例的***的一个简化方框图；

图3表示按照本发明在编码处理期间的一系列视频帧的格式；和

图4是表示按照本发明实施例的操作处理的流程图。

在以下的说明中，为了解释而并非限制目的，提出了具体细节描述，诸如特定结构、接口、技术等等，以便于透彻理解本发明的原理。为了简明和清楚目的而省略了对公知设备、电路和方法的详细说明，以免因不必要的细节混淆对本发明的说明。

为了便于理解本发明，将描述有关活动图像专家组(MPEG2)编码的背景信息。接照MPEG2，利用视频序列代表视频数据，每个序列包括图像组(GOP)，每个GOP包括描述构成视频的图像或“帧”的数据片。每个图像被分成多个片段(Slice)，而每个片段由从左到右和从上到下的成行设置的多个宏块组成。每个宏块由六个分量组成：四个亮度分量Y1到Y4，代表构成16×16像素的宏块的四个8×8像素块的亮度；和用于同一宏块的8×8像素块的两个色(U，V)构成差分量Cb和Cr。最后，一个8×8像素的块是视频编码中的最小单位。

通过将图像划分成16×16像素的宏块，对图像执行MPEG2编码，每个宏块各自带有一个与之有关的独立的量化器标度值。这些宏块被进一步划分成8×8像素的独立块。使这些宏块的每个8×8像素块经历离散余弦变换(DCT)，以便为其中的64个频带各自生成DCT系数。然后，将8×8像素块中的DCT系数除以对应的编码参数，即，量化权重。用于一个给定8×8像素块的量化权重是根据一个8×8量化矩阵的形式来表示的。此后，对DCT系数实施附加计算，以考虑即量化器标度等各种因素，并从而完成MPEG2编码。应该注意到，在本发明中也可以采用其它的编码技术，例如，JPEG等等。

在MPEG编码中，码被划分成三种类型：(1)帧内编码的码，限定内编码的图像为I图像；(2)仅仅根据前一帧预测的帧间编码的码，以构成作为P图像的预测编码图像；以及(3)根据前帧和后帧预测的帧间编码的码，以构成作为B图像的双向预测编码图像。I帧或实际的视频参考帧按周期性编码，即，对于每十五帧之中的每个帧有一个参考帧。预测是由位于下一参考帧的正向之前的特定数量帧中的一个视频帧即P帧的合成构成的。预测B帧在I帧和P帧之间，或通过利用未来参考帧内的一个宏块内插(平均)在过去参考帧中的一个宏块。运动矢量也被编码，这规定了一个宏块在一个参考帧内相对于在当前帧内宏块的相对位置。

如上所述，符合国际标准MPEG编码的任何视频数据都能从MPEG编码中恢复出图像。在编码处理期间，本发明提供了一种用于从视频信息流中检测商业中断的机制。

现在，将参照附图对本发明加以详细说明。

图1表示可以应用本发明实施例的一种硬件***的方框图。如图1所示，本发明的检测***10适合于从包括电缆服务提供者、数字高清晰度电视(HDTV)和/或数字标准清晰度电视(SDTV)信号、碟形卫星天线、常规RF广播、Internet连接或其它存储设备例如VHS播放机或DVD播放机的各种源接收视频信号流。随同数据信号一起编程的音频/视频节目可以按模拟、数字或数字压缩格式通过任何传输手段进行传送，包括卫星、电缆、线路、电视广播或通过Web发送。Internet连接可以通过高速线路、RF、常规调制解调器或利用传输电视节目的双向电缆。应该注意到本发明能够被连接到其它可能的网络，例如直接的专用网络和无线网络。

图2更具体表示按照本发明实施例的一示例检测***10。检测***10包括输入接口(即，IR传感器)12、MPEG-2编码器14、硬盘驱动器16、MPEG-2解码器18、控制器20、商业检测器22、视频处理器24、存储器26和重放部分28。应该注意到，MPEG编码器/解码器可以符合其它MPEG标准，即，MPEG-1、MPEG-2、MPEG-4和MPEG-7。控制器20监督控制检测***10的总体操作，包括检测模式、记录模式、播放模式和录像机/播放机中常用的其它模式。

在正常观看模式期间，控制器20使输入电视信号由视频处理器24进行解调和处理并且发送到电视机2。视频处理器24将输入TV信号变换成适于在电视机2上显示的相应的基带电视信号。此处，输入TV信号不在硬盘驱动器16中存储或从中进行检索。

在正常记录模式期间，控制器20使MPEG-2编码器14接收从卫星、电缆、线路和电视广播或网络传送的输入电视信号，并将接收的TV信号变换成用于在硬盘驱动器16上存储的MPEG格式。此后，控制器20使硬盘驱动器16将存储的电视信号流动提供(stream)给MPEG-2解码器，而后者在正常播放模式期间通过重放部分28将待发送的解码的TV信号发送给电视机2。同时，商业检测器22使用编码参数(在下文中进行解释)检测商业中断的起始和结束。然后，视频处理器24处理包括多个商业内容的视频信号流，并将它们存储在存储器26中而无商业内容，以供后续检索。可选择地，视频处理器24可以标记商业中断的起始和结束，以便在以后阶段可以跳过这些标记的商业内容分段。最后，在接收到重放没有商业内容的记录节目的请求时，存储在存储器26中的节目内容被传送给电视机2，以便通过重放部分28播放。

以下要详细解释从视频信息流中检测商业内容的起始和结束的方式。

参见图3，在广播一端，由黑色帧(BF)或其它单色帧限定的一个分隔符通常被用于分隔节目(Pr)与相邻商业内客或分隔连续的商业内容(Ci)。因此，本发明依赖于这样的事实，即这些帧当中仅有极少数帧始终被用于分隔商业内容与其周围的内容，并且特别地用于分隔：(1)一个商业中断内连续的商业内容，(2)一个节目的结束(或中断)与商业中断的起始，以及(3)一个商业中断的结束与一个节目的起始(或继续)。因而，本发明利用编码参数而不是商业内容的本质特征来检测商业中断。除了根据用于在广播端上在连续内容之间“填充编辑间隙”的帧检测商业中断之外，本发明还采用分隔符Sn，其可以以彼此非常靠近的两个景物剪辑(以下称为“背对背景物剪辑”，“S_x，n和S_y，n”)为特征，如图3所示。按照本发明的景物变化检测对每个I，P和B帧进行，而现有技术的黑色帧检测方法不是这样。现有技术仅仅对I-帧执行黑色帧的检测。因此，按照本发明的“背对背景物剪辑”的检测应足够少(即，3-4帧)，以致于能够检测出可能没有包含任何I-帧的小分隔符。

对于MPEG-2编码，在本发明最佳实施例的各种实施方案中可以使用任意数量的商用或公众可获得的集成电路(IC)。在这些IC上，专用编码固件块生成和实时传送MPEG-2编码过程的内部计算参数(以下称为“低级特征”)。“低级特征”的例子有每帧(I，P，B)的编码模式、量化器标度、运动矢量数据、比特率数据、一帧内亮度的变化量、一帧内彩色的变化量、一帧的总亮度、一帧的总彩色、帧与帧之间亮度的变化、中间绝对差和量化器标度。然后，处理这些“低级特征”以获得按照本发明可以用于商业检测的“中级特征”。为此，商业检测器22根据某些“中级特征”生成商业中断的位置，以便存储这些位置，从而在观看时跳过商业内容。

因此，本发明在各帧上采用“低级特征”来如下提取相应的“中级特征”：

(1)Pict_Cod_Type(图像编码类型，帧内或帧间)；

(2)Lum_DC_diff(用于相邻块的DC系数的绝对差之和)；以及

(3)MAD_total_UP(中间绝对差(MAD)之和)，这代表原始帧的各块之间中间绝对差之和，以编码及其相应的运动预测块(仅仅在图像顶上求和，以避免因小标题变化或经常出现在屏幕底部出现的其它书写/图形信息引起的预测误差)。

因此，本发明首先检测非常接近的景物变化或商业中断内连续商业内容之间以及在节目与商业中断之间过渡上的“背对背景物剪辑”。为此，按照本发明的技术可以采用现有技术中公知的任何景物变化检测方法。例如，因平均MAD值的突然改变而引起的景物内客突然改变可以被用作一个指示来检测“背对背景物剪辑”。如上所述，MAD代表运动预测误差。注意：MAD对应着运动预测误差：如果此误差大，则表示不能使用来自前一帧的运动预测来预测编码的图像，并且出现景物剪辑。

也就是说，MPEG编码处理的一部分是从一帧到另一帧的亮度场的运动估算。这一处理的结果是用于预测编码的实际帧的位移矢量。用MAD值来代表预测和实际帧之间的误差。在尖锐的景物变化处，几乎很难找到良好匹配的宏块。因此，在尖锐景物变化处的MAD值要远远大于平均MAD值。

如果如上所述检测到两个这样的连续景物变化，则可以将其视为(1)一个商业中断内连续商业内容之间的、或(2)节目与相邻商业中断之间的分隔符。此后，可以采用用于检测商业中断的起始和结束的一种算法来如下所述获得商业中断的确切边界。

图4是表示图3中所示的采用分隔符结构检测商业中断的操作步骤的流程图。本领域的技术人员可以理解，除非另有说明，所述的具体步骤顺序仅是为了说明，并且无需脱离本发明的原理还可以有所改变。另外，这些流程图表示本领域技术人员要求的制作电路或编制计算机软件来执行具体设备所需的处理的功能性信息。

在步骤110，分析编码的每个视频帧，以检测商业中断的起始和结束。在步骤102，确定是否检测到分隔符或“背对背景物剪辑”。如果未检测到分隔符，就对于分隔符而分析下一帧。如果检测到分隔符，则验证检测到的分隔符前面没有另一分隔符，并且检测到的分隔符是一系列“连续分隔符”中的第一个。如果一个分隔符与前一个的距离小于特定帧数(对于6的GOP，通常小于50秒)，就认为它们是相连的分隔符。因此，为了确保检测到的分隔符不是同一商业中断内的中间分隔符，在步骤104中确定检测到的分隔符与前一检测到的分隔符之间的帧间隙是否大于第一门限值。由于利用宏块或其它单色帧限定的分隔符仅会出现在商业中断之间，这比特定节目分段的长度要短得多，所以该门限值被用于区别一系列“连续分隔符”中的第一分隔符。如果是这样的话，在步骤106将检测到的分隔符标记为商业中断的起始。然后，再次分析下一帧。

同样地，如果检测到的分隔符与前一检测到的分隔符之间的帧间隙在步骤104中小于第一预定门限，则在步骤108中确定检测到的分隔符是否是商业中断的结束。应该注意到，在检测到商业内客的起始之后，每个新的分隔符将被标记为可能的商业中断的结束，只应保持其中的最后一个。为了确定商业中断的结束，在步骤108确定检测到的分隔符与前一检测到的分隔符之间的帧间隙是否大于第二门限值。如果是的话，在步骤110将前一检测到的分隔符标记为商业中断的结束。

尽管以上描述了本发明的最佳实施例，但是本领域的技术人员都能理解，无需脱离本发明的实质范围还能做出各种各样的变更和修改以及等效的替换。另外，为了适应具体场合和本发明的指导，无需脱离其核心范围还能做出许多修改。因此，本发明不打算被局限于所公开的具体实施例和用于实现本发明的最佳模式，并且本发明包括落入权利要求书范围内的所有实施例。

Claims

1.用于在压缩视频流中检测商业内容的一种方法，包括以下步骤：

压缩视频数据并生成压缩视频数据；

根据所述生成的压缩数据检测多个分隔符，每个所述分隔符利用至少两个连续的景物变化来限定；

通过比较所述多个分隔符之间的间隙来确定在所述多个分隔符之间一个商业中断的起始和结束。

2.按照权利要求1的方法，其中确定一个商业中断的起始和结束的步骤进一步包括以下步骤：

在所述分隔符之一与前一分隔符之间的间隙大于预定门限值时，识别所述一个分隔符为商业中断的起始。

3.按照权利要求1的方法，进一步包括以下步骤：在所述分隔符之一与下一分隔符之间的间隙大于所述预定门限值时，识别所述一个分隔符为商业中断的结束(否：在该分隔符与下一分隔符之间的间隙大于预定门限时)。

4.按照权利要求1的方法，其中在发射源上将所述多个分隔符***所述视频数据中。

5.按照权利要求1的方法，其中在所述压缩视频数据中检测所述多个分隔符的步骤包括识别所述生成的压缩数据的平均的中间绝对差(MAD)值的突然增大。

6.按照权利要求1的方法，其中在所述压缩视频数据中检测所述多个分隔符的步骤是根据所述生成的压缩数据的平均的中间绝对差(MAD)值的增大来执行的。

7.用于在压缩视频流中检测商业内容的一种方法，包括以下步骤：

对从发射源接收的输入视频数据进行编码，以生成压缩视频数据；

在所述压缩视频数据中检测多个分隔符，所述多个分隔符之中的每个分隔符包括按照所述压缩视频数据的至少两个连续景物变化；

通过将所述多个分隔符之间的间隙与一个预定门限值进行比较来确定一个商业中断的起始和结束；

在所述分隔符之一与前一分隔符之间的间隙大于所述预定门限值时，将所述一个分隔符识别为商业中断的起始；和

在所述分隔符之一与下一分隔符之间的间隙大于所述预定门限值时，将所述一个分隔符识别为商业中断的结束。

8.用于在压缩视频流中检测商业内容的一种设备，包括：

视频编码器(14)，用于接收未压缩视频数据和生成压缩视频数据；

检测器(22)，用于在所述压缩视频数据中检测多个分隔符；

处理器(24)，被配置为通过识别所述压缩视频数据中商业中断的起始和结束来编辑所述压缩视频数据；和

重放选择器(28)，用于编辑所述压缩视频数据，以便为了后续观看而跳过所述商业中断。

9.按照权利要求8的设备，还包括存储器(26)，用于存储具有所述商业中断的起始和结束的标识的所述压缩视频数据。

10.按照权利要求8的设备，还包括解码器(18)，用于生成解压缩的视频数据。

11.按照权利要求8的设备，其中所述压缩视频数据包括存在一系列单色帧的一个标识符。

12.按照权利要求8的设备，其中所述压缩视频数据包括电视节目和所述商业中断之间过渡的一个标识符。

13.按照权利要求8的设备，其中所述压缩视频数据包括连续商业节目之间过渡的一个标识符。

14.按照权利要求8的设备，其中所述压缩视频数据包括至少两个连续景物剪辑的一个标识符。

15.按照权利要求8的设备，其中所述压缩视频数据包括至少以下之一：量化器标度；运动矢量数据；比特率数据；一帧内的亮度变化量；一帧内彩色的变化量；一帧的总亮度；一帧的总彩色；帧与帧之间的亮度变化；中间绝对差；和量化器标度。

16.按照权利要求8的设备，其中将所述处理器编程为识别所述未压缩视频数据中至少两个景物剪辑的指示符，并生成在与至少两个所述景物剪辑的所述指示符相符的所述压缩视频数据的序列中位置的标识符。