CN103997620B - 用于检测压缩视频中的运动的***和方法 - Google Patents

Abstract

本发明涉及用于检测压缩视频中的运动的***和方法。一种方法和装置，其中所述方法包括以下步骤：解析压缩视频的流，从被解析的流中获得宏块大小信息，对从宏块大小得出的因子进行计算，其中所述因子包括归一化的比特大小、比特大小比值和邻域分数，对从压缩视频的相对帧特性得出的对应的自适应门限值进行计算，将从宏块大小信息得出的因子与对应的自适应门限值进行比较，以及当所述因子超过所述门限值时，基于所述比较的组合来检测运动。

Description

用于检测压缩视频中的运动的***和方法

技术领域

本领域涉及视频摄像机，更具体而言涉及检测视频摄像机的视场中的运动。

背景技术

通过一个或多个安全摄像机来检测入侵者的安全***是众所周知的。这样的***可以基于使用保安人员，其对监视针对入侵者的摄像机，并且当他/她注意到入侵者时发出警报。

在其他安全***中，对入侵者的检测是自动的。在这样的***中，入侵者的检测可以基于对摄像机视场内运动的检测。在这样的***中，针对连续帧之间的改变，计算机一般被用于对视频的连续帧进行比较。当足够大小的改变被检测到并且被识别为关注的对象（例如人）时，计算机向保安人员或中心监视站报警。

为了降低成本，大多数安全***仅具有监视和检测入侵者的单一的中心位置。在安全区域遍布广阔地理区域（例如，机场）的情况下，为进行运动检测将所有视频信号传回到监视位置的带宽过大。为了降低带宽，可以使用适当的压缩算法（例如，H.264）来对视频信号进行压缩以用于传输。

但是，在监视站处对压缩视频信号进行处理在解译方面(例如，入侵者的检测)也是有问题的。现有技术的入侵者检测***在未压缩像素域中起作用。因此，在可应用入侵者检测算法之前，压缩视频信号必须被解压缩。解压缩是一个耗时的过程；其经常妨碍实时操作，例如被用于入侵者检测的运动检测，除非使用多个昂贵的处理器。因此，存在对于一种在监视站处对压缩视频信号进行处理的更好方法的需求。

发明内容

本发明涉及一种方法，包括：解析压缩视频的流；从被解析的流中获得宏块大小信息；对从宏块大小得出的因子进行计算，其中所述因子包括归一化的比特大小、比特大小比值以及邻域分数；对从所述压缩视频的相对帧特性得出的对应的自适应门限值进行计算；将从所述宏块大小信息得出的因子与对应的自适应门限值进行比较；以及当所述因子超过所述门限值时，基于所述比较的组合来检测运动。

本发明还涉及一种装置，包括：解析处理器，其解析压缩视频的流；宏块大小处理器，其从被解析的流中获得宏块大小信息；计算处理器，其对从宏块大小得出的一组因子进行计算，其中所述因子包括归一化的比特大小、比特大小比值以及邻域分数；门限处理器，其对从压缩视频的相对帧特性得出的对应的自适应门限值进行计算；比较处理器，其将从宏块大小信息得出的因子与对应的自适应门限值进行比较；以及检测处理器，其当所述因子超过所述门限值时，基于所述比较的组合来检测运动。

附图说明

图1是根据所图示实施例的安全***的框图。

具体实施方式

虽然实施例可以采用许多不同的形式，但在理解本公开于此应被认为是原理的范例，以及实践该原理的最佳模式的情况下，其特定实施例在附图中被示出，并将在本文中被详细描述。不意在对所图示的具体实施例进行限制。

图1是根据图示实施例一般所示的安全***10的框图。安全***10内所示的是被用于检测安全区域16内事件的多个传感器12、...、14。传感器可以是被耦合到安全区域的门户（例如，门、窗等）的开关。替代地，传感器可以是环境检测器（例如，烟雾检测器、气体检测器等）。

传感器的状态可以由安全***控制站18监视。在事件中传感器中的一个或多个被激活，控制面板18可以将报警消息发送到中心监视站20。

安全***还可以包括一个或多个摄像机22、...、24，其通过有线或无线链路46、...、48传送视频图像。来自摄像机的视频可以由控制站18接收，并被保存在位于非瞬时性计算机可读介质（存储器）30内的一个或多个视频文件26、...、28中。

安全***还可以包括一个或多个处理装置（处理器）32、...、34。处理器在从非瞬时性计算机可读介质（存储器）30所加载的一个或多个计算机程序36、...、38的控制下进行操作。如本文所使用的，对由计算机程序所执行的步骤的引用也是对执行该步骤的处理器的引用。

在正常操作期间，人类操作者可以通过用户界面40上的显示器42来查看来自摄像机的视频。通过经由键盘或触摸屏44输入摄像机的标识符，并通过摄像机控制处理器的操作，操作者可以选择摄像机用于查看。

为了降低从摄像机22、24传送图像帧所必需的带宽，每个摄像机内的被编程的处理器可以通过使用适当的编解码器（例如，H.264/MPEG-4）来压缩视频。为了查看来自摄像机的图像，解码处理器可以解码压缩视频图像以用于在显示器42上呈现。压缩视频可以仅被保存到视频文件中。

根据图示的实施例，压缩数据以压缩状态连续被处理，以便检测至少一些摄像机的所选视场中的运动。在现有***中，为了检测运动，在可以检测运动之前，压缩视频数据需要被部分或完全解码。然而，压缩数据的解压缩需要大量的计算机处理，并因此是昂贵的。

在压缩数据中检测运动的问题的一个解决方案已经将是处理在压缩数据中已被计算的运动矢量。被计算的运动矢量是为了有效压缩而非为了运动检测而开发的。然而，运动矢量的处理仍然是耗时且昂贵的。

相比之下，***10使用宏块大小信息，用于检测运动。可以很容易地从来自每个摄像机的压缩流中提取宏块大小信息，而不对***10施加显著的计算成本。然而，对于运动检测而言，仅宏块大小可能不是可靠的因子，因为许多其他因子都可能影响用于编码宏块的比特数。为了准确地检测运动，下面所描述的***使用多种机制来归一化宏块比特信息。

同样地，在不对流完全解码的情况下，下面所描述的运动检测***可以在直接来自输入视频流（例如，H.264/MPEG-4）的压缩域中检测运动。由于视频未被完全解码，因此计算成本要少得多，而利用相同的处理能力可以针对运动分析更多的视频流。运动检测***还可以被用于所存储的压缩视频中运动的检测，从而更加快速地产生分析结果。

一般而言，压缩视频域中的运动检测是通过使用宏块的大小（比特数）作为主要特征来完成的。使用宏块的大小可以实现三种不同的运动检测方法。下面详细解释这些方法。

根据一个图示的实施例，由一个或多个被编程的运动检测处理器使用三种运动检测方法的各种组合来检测运动。所使用的方法可以根据视频流的帧特性来确定，其中帧特性可以根据平均宏块（MB）大小、帧中的中值MB大小、最常出现的MB大小、帧中MB大小的直方图等等中的一个或多个来确定。可以根据帧特性计算一个或多个自适应门限。

这三种方法可以通过使用以下步骤的各种组合来实现，包括：第一，解析视频以获得帧级和MB级信息。第二，使用量化归一化来获得归一化的MB大小信息，以及，第三，确定每个MB中运动的存在。可以在两种不同的方法下使用MB大小信息来完成此第三步骤。在第一方法下，每个MB中运动的存在可以借助通过在两个相邻的i-帧（过去和未来）中使用相同的MB来计算与当前MB大小相关联的比值而确定。如果该比值大于比值门限（RT）值，则MB被标记为具有运动。替代地，在第二方法下，运动的存在可以通过将MB大小直接与比特门限（BT）进行比较来确定。如果MB大于BT，则MB被标记为具有运动。

该第三步骤还可能需要第四步骤。第四步骤可以包括对所识别的运动MB执行时空滤波。可能需要此步骤以去除移动对象中的孔洞和缺失区域。

接下来将讨论应用量化归一化的第二步骤。在这方面，基于所选压缩水平或所选比特率水平，量化被用于降低MB的大小（比特数）残差。提取自未压缩流的MB大小是量化MB比特流的MB大小，其可能不会给出MB残差的全部程度。为了恢复MB残差的原始比特大小，处理器以相反的格式应用量化过程，包括，对于每个非零元素，找到量化之前的原始元素大小。由归一化处理器所执行的步骤可以由以下方程来表征。

，

其中

。

接下来将更详细地讨论使用比值门限的第一运动检测方法。在这方面，i帧的MB是帧内编码的，即从来自其右侧的邻近部分预测MB，而用DCT来编码误差。由于MB是从其邻域所预测的，因此存在匹配将不会非常好的可能性，并且因此的误差将是更大的，以及被编码的MB的大小（进而）将是更大的。然而在正常的p帧中，MB是帧间编码的，即从相邻帧（过去或未来）所预测的，在这种情况下得到良好匹配的可能性更大，以及被编码的MB将因此在大小方面更小。这里的想法是，MB的i帧内编码在找到非最优匹配时被认为是最坏的情况。这只能发生在当MB中存在新的对象或运动时p帧间编码的情况下。

使用RT方法的运动检测中的步骤包括：第一，将每个MB的大小信息存储在两个连续的i帧中，其中对于所有存在于这些i帧之间的p帧，所存储的信息将被用于运动检测。第二，在针对每个MB的p帧中，计算当前p帧 MB大小与两个i帧（过去，未来）中相同MB的所存储的大小信息之间的比值。第三，如果两个比特大小比值中的至少一个大于比值门限（RT），则MB很可能受到运动的影响，以及，第四，将所识别MB的大小与比特门限（BT）进行比较。如果MB大于BT，则MB包含运动。

最后，如果帧内预测的i帧中的一些MB不具有AC分量（否则表明与周围左上方MB的良好匹配），这样的MB将具有明显更小的大小。同样地，对于使用RT方法的比较而言，使用这样的MB将是不正确的。在这种情况下，只有BT被用于运动检测。

接下来将讨论使用比特门限的MB运动检测的方法。该方法中的计算与上文所描述的类似，除了只有比特门限被用于找出MB中运动的存在和不存在。使用BT方法的运动检测中的步骤包括，在针对每个MB的p帧中将当前的p帧 MB大小与比特门限（BT）进行比较。如果MB大于BT，则MB包含运动。

接下来将讨论使用时空滤波和另一自适应门限的MB检测的方法。在这方面，由于存在非常小的改变或由于例如（在帧内预测中）得到近乎完美的匹配从而降低了i帧中的MB大小等等的原因，存在着一些MB未被检测为运动MB的可能性。大多数这样的情况被观察到发生在移动对象的内部部分（中间部分），如同边缘MB大多被识别为运动那样。这样的MB被称为孔洞，其可以使用沿空间和时间轴的形态学操作来恢复，这被称为时空滤波。时空滤波中的步骤包括，第一，在针对每个非运动MB的给定帧中，计算存在于其8连通邻域中的运动MB的数目，其将被称为邻域分数。第二步骤识别所有其邻域分数大于或等于4的非运动MB。然后这些MB被标记为运动MB。第三，识别其邻域分数为3的所有非运动MB。将MB的此集合称为{MB 3}。对于{MB 3}中的所有MB，在先前（过去）两帧中检索其邻域分数。最后，当其两个先前邻域分数至少为5时，标记{MB 3}中的MB为运动MB。这将是时空滤波方法。

一旦流被处理，运动MB的数目就可以与门限值进行比较。如果数目超过门限值，则运动被检测到。

在由一个或多个运动检测处理器进行运动的检测时，检测处理器可以将报警发送到报警处理器。报警处理器进而可以向人类操作者报警或者将报警消息发送到中心监视站。

根据前述内容，将观察到的是许多变型和修改可以在不脱离本文中精神和范围的情况下被实现。将理解的是，不意在或不应推断出相对于本文中所说明的特定装置的限制。当然，意在由所附权利要求覆盖落入权利要求的范围内的所有这种修改。

Claims (12)

1.一种用于检测压缩视频中的运动的方法，包括：

解析压缩视频流；

从被解析的压缩视频流中获得宏块大小信息，其中所述宏块大小信息包括被解析的压缩视频流的多个宏块中的每一个中的相应比特数；

对从宏块大小信息得出的因子进行计算，其中所述因子包括归一化的比特大小以及比特大小比值；

对从所述被解析的压缩视频流的帧特性得出的对应的自适应门限值进行计算；

将从所述宏块大小信息得出的因子与从被解析的压缩视频流的帧特性得出的对应的自适应门限值进行比较；

基于所述比较的结果来检测被解析的压缩视频流的多个宏块中的第一运动宏块；

在移动对象的边缘包括所述多个宏块中的第一运动宏块的情况下，对移动对象的内部部分的多个宏块中的非运动宏块进行时空滤波；

为多个宏块中的每个非运动宏块计算由存在于多个宏块中的非运动宏块中的相应一个的相应8连通邻域中的多个宏块中的第一运动宏块的相应数目所定义的相应邻域分数；

将相应邻域分数大于或等于四的多个宏块中的每个非运动宏块标记为多个宏块中的第二运动宏块；

识别相应邻域分数为三的多个宏块中的每个非运动宏块；

针对相应邻域分数为三的多个宏块中的每个非运动宏块，检索被解析的压缩视频流的相应先前两帧中的多个宏块中的相应的对应宏块的相应邻域分数；

将相应邻域分数为三以及被解析的压缩视频流的相应先前两帧中的多个宏块中的相应的对应宏块的相应邻域分数至少为五的多个宏块中的每个非运动宏块标记为多个宏块中的第三运动宏块；以及

当多个宏块中的第一运动宏块、多个宏块中的第二运动宏块和多个宏块中的第三运动宏块的总数超过预定门限值时检测运动。

2.如权利要求1中的方法，其中计算比特大小比值进一步包括为被解析的压缩视频流的两个连续i帧中的多个i帧宏块中的每个提供第一相应大小值，以及提供与两个连续i帧中的多个i帧宏块中的每个相对应的多个p帧宏块中的每个的第二相应大小值。

3.如权利要求2中的方法，其中计算比特大小比值进一步包括确定多个i帧宏块中的每个与多个p帧宏块中的对应一个之间的相应比值。

4.如权利要求3中的方法，其中将从宏块大小信息得出的因子与从被解析的压缩视频流的帧特性得出的对应的自适应门限值进行比较进一步包括将多个i帧宏块中的每个和多个p帧宏块中的对应一个之间的相应比值与比值门限值进行比较。

5.如权利要求4中的方法，其中检测多个宏块中的第一运动宏块进一步包括识别多个i帧宏块中的每个和多个p帧宏块中的对应一个之间的相应比值超过比值门限值的多个宏块。

6.如权利要求1中的方法，进一步包括当被解析的压缩视频流的帧内预测的i帧宏块基本上没有AC分量时，只使用归一化的比特大小用于检测多个宏块中的第一运动宏块。

7.如权利要求1中的方法，其中检测多个宏块中的第一运动宏块包括识别相应的p帧宏块比特大小超过比特门限值的多个宏块。

8.一种用于检测压缩视频中的运动的装置，包括：

解析处理器，其解析压缩视频流；

宏块大小处理器，其从被解析的压缩视频流中获得宏块大小信息，其中所述宏块大小信息包括被解析的压缩视频流的多个宏块中的每一个中的相应比特数；

计算处理器，其对从宏块大小信息得出的一组因子进行计算，其中所述一组因子包括归一化的比特大小和比特大小比值；

门限处理器，其对从被解析的压缩视频流的帧特性得出的对应的自适应门限值进行计算；

比较处理器，其将从宏块大小信息得出的所述一组因子与从被解析的压缩视频流的帧特性得出的对应的自适应门限值进行比较；

检测处理器，其基于来自所述比较处理器的结果来检测被解析的压缩视频流的多个宏块中的第一运动宏块；以及

时空滤波处理器，其在移动对象的边缘包括多个运动宏块中的第一运动宏块的情况下，对移动对象的内部部分的非运动宏块进行时空滤波，

其中，所述时空滤波处理器为多个宏块中的每个非运动宏块计算相应邻域分数，

其中，针对多个宏块中的每个非运动宏块的相应邻域分数由存在于相应8连通邻域中的多个宏块中的第一运动宏块的相应数目所定义，

其中，所述时空滤波处理器将相应邻域分数大于或等于四的多个宏块中的每个非运动宏块标记为多个宏块中的第二运动宏块，

其中，所述时空滤波处理器识别相应邻域分数为三的多个宏块中的每个非运动宏块，

其中，针对相应邻域分数为三的多个宏块中的每个非运动宏块，所述时空滤波处理器检索被解析的压缩视频流的相应先前两帧中的多个宏块中的相应的对应宏块的相应邻域分数，

其中，所述时空滤波处理器将相应邻域分数为三以及被解析的压缩视频流的相应先前两帧中的多个宏块中的相应的对应宏块的相应邻域分数至少为五的多个宏块中的每个非运动宏块标记为多个宏块中的第三运动宏块，以及

其中，所述检测处理器在多个宏块中的第一运动宏块、多个宏块中的第二运动宏块和多个宏块中的第三运动宏块的总数超过预定门限值时检测运动。

9.如权利要求8中的装置，其中所述计算处理器包括帧处理器，其为被解析的压缩视频流的两个连续i帧中的多个i帧宏块中的每个提供第一相应大小值，以及提供与两个连续i帧中的多个i帧宏块中的每个相对应的多个p帧宏块中的每个的第二相应大小值。

10.如权利要求9中的装置，其中所述计算处理器包括比值处理器，其确定多个i帧宏块中的每个与多个p帧宏块中的对应一个之间的相应比值。

11.如权利要求10中的装置，其中所述比较处理器将多个i帧宏块中的每个和多个p帧宏块中的对应一个之间的相应比值与比值门限值进行比较。

12.如权利要求11中的装置，其中所述检测处理器在多个i帧宏块中的每个和多个p帧宏块中的对应一个之间的相应比值超过所述比值门限值时检测多个宏块中的第一运动宏块。