CN112598677B - 用于图像分析的方法和设备 - Google Patents

Abstract

本发明涉及用于图像分析的方法和设备。用于视频序列中的图像帧的图像分析的方法包括：通过将第一算法应用于多个图像帧而定义视频序列的背景模型，所述背景模型针对图像帧中的多个空间区域的每一个空间区域定义空间区域属于视频序列中的背景还是前景，其中，相对于先前图像帧中的所述空间区域中的图像数据，检测到的图像帧中的空间区域中的图像数据的明显变化指示所述空间区域属于前景；指示所定义的前景区域的空闲区域要从前景转换为背景；以及通过将第二算法应用于视频序列的图像帧的图像数据而确定空闲区域是否要被转换或不被转换，图像数据至少部分地对应于空闲区域；其中，在确定空闲区域不被转换时，将空闲区域保持为背景模型中的前景区域。

Description

用于图像分析的方法和设备

技术领域

本发明涉及视频处理。更具体地，本发明涉及一种用于图像分析的方法以及一种包括被配置成执行用于图像分析的方法的控制单元的摄像机。

背景技术

视频处理在当今是常见的，然而许多实现方式需要预处理步骤或从预处理步骤中受益。一种常见的这种步骤是定义背景模型并且将其应用于视频序列。背景模型定义了视频序列的图像帧的哪些部分在图像帧之间变化。基于该定义，图像帧可被划分成空闲的背景和变化的前景。背景模型的结果允许视频处理聚焦于图像帧中相关的部分，例如，仅在变化的前景中的部分。

例如，视频监控变得越来越普遍，然而当被记录时，提供对人员和其他敏感对象的屏蔽以保护人员隐私的可能性变得越来越重要。使用非复杂算法分析图像帧中的前景/背景部分及其变化以实时屏蔽人员和其他敏感对象是众所周知的。这些算法可能是快的并且需要低的处理量，但可能被认为是简单的且不精确的。

在已知的隐私屏蔽方法中，移动对象典型地被检测为前景，并且因此被屏蔽。背景不用隐私屏蔽处理。然而，当对象静止很长时间时，就会产生问题。对象将首先成为前景的一部分，并且因此被屏蔽，然而过了一段时间之后，非移动对象将被视为背景并且因此变为不被屏蔽，即使对象仍然存在并且仍应当被屏蔽。

因此，在这种环境下需要改进。

发明内容

鉴于以上所述，本发明构思的目的在于消除或至少减轻本领域的一个或多个上述缺陷或问题，诸如前景对象变为背景的一部分的问题。具体地，本公开的目的在于提供一种用于图像分析的方法，其区分空闲的背景对象和作为空闲的前景对象。本发明构思的进一步和/或可替代的目的对本公开的读者将是清楚的。

根据本发明的第一方面，提供了一种用于视频序列中的图像帧的图像分析的方法。该方法包括：通过将第一算法应用于多个图像帧而定义视频序列的背景模型，该背景模型针对视频序列中的多个空间区域中的每一个空间区域定义空间区域属于视频序列中的背景还是前景，其中，相对于先前图像帧中的空间区域中的图像数据，检测到的图像帧中的空间区域中的图像数据的明显变化指示空间区域属于前景；指示所定义的前景区域的空闲区域要被从前景转换为背景；以及通过将第二算法应用于视频序列的图像帧的图像数据而确定空闲区域是否要被转换还是不被转换，图像数据至少部分地对应于空闲区域；其中，在确定空闲区域不被转换时，将空闲区域保持为背景模型中的前景区域。

发明人已经认识到，正确定义的前景可以节省相当多的时间和计算能力，因为它允许以相对适中的硬件应用相对高计算需求的视频处理方法。这是因为通过高需求的视频处理方法所处理的图像帧的区域可被减少到只有前景或背景。对于多个应用，前景或背景中只有一个是相关的，因此如果背景模型是可靠的，则另一者可被视频处理方法安全地忽略。

在本申请的上下文中，词语“背景模型”应被解释为数据模型，其针对视频序列中的多个空间区域中的每一个空间区域确定该空间区域属于视频序列中的背景还是前景。数据模型可进一步存储该信息，或以任意多种方式处理该信息。

在本申请的上下文中，词语“背景”应被解释为包括图像帧中与先前图像帧中的对应区域的图像数据足够相似的任何区域。典型地，背景意在与监控场景中从监控环境的图像分析角度来说不是特别相关的区域相对应。在实际和简化的环境中，背景应当对应于被监控的场景。

在本申请的上下文中，词语“前景”应被解释为包括图像帧中与先前图像帧中的相应区域的图像数据足够不相似的任何区域。前景对象通常处于运动中，或在监控持续时间内具有运动历史。在实际和简化的上下文中，前景应当对应于被监控的对象，例如人、车辆、货物等。

在本申请的上下文中，词语“空间区域”应被解释为图像帧中的任意数量的像素或子像素，其可根据例如形状来进一步分组，或属于单个对象。注意，形状不需要具有锐化边缘，形状可具有柔化边缘或基于阿尔法蒙版(alpha mask)的所谓透明边缘，在阿尔法蒙版中，边缘通过几个像素从完全可见逐渐地淡化到低可见度，以避免对象周围看起来锐利的假象。

在本申请的上下文中，词语“算法”应被解释为特别适于可预测地执行数据分析的方法或电路。

在某些实施例中，第二算法仅应用于在指示空闲区域要被从前景转换为背景之后的图像帧的图像数据。

在存在指示的条件下应用第二算法是有益的，因为第二算法仅在需要时被应用。如果与第一算法相比，第二算法例如在计算上需求更高和/或更不可靠，则主要依赖第一算法是有益的。

在一些实施例中，空间区域从背景模型中的前景转换为背景仅在第二算法已确定图像帧的空闲区域要被转换之后执行。

在第二算法已确定空闲区域要被转换的情况下执行转换是有益的，因为除非由第二算法验证，否则对象不被移动到背景，这减少了来自第一算法的假阳性影响。这允许简单的第一算法(其可被设计为在适中的硬件上实时执行)，因为第二算法验证是否要执行空闲区域从背景到前景的转换。

在一些实施例中，第一算法包括多个定时器，每个定时器与多个空间区域中的空间区域相关联；其中，如果在预定时限之前，相对于先前图像帧的空间区域的图像数据，图像帧的空间区域的图像数据未发生明显变化，则将所述空间区域定义为背景模型中的空闲区域。

定时器的优点是简单且计算效率高。与类似算法相比，易于实现阈值和/或操作结果。

在一些实施例中，其中，在由第二算法确定空闲区域不被转换时，重置或暂停与该空闲区域相关联的定时器被，或增加与该空闲区域相关联的定时器的时限。

作为对确定步骤的响应而操作定时器是有益的，因为它是在背景模型中将空闲区域保持为前景区域的简单而有效的方式。它还允许对先前已由第二算法确定为不转换的空间区域进行特殊处理，例如，通过将定时器重置为不同于其开始时的数字。这是有益的，例如，如果特定的空间区域更倾向于空闲(诸如与前景中人可以休息的座位或床相对应)，则更长的定时器可减少假阳性。

在一些实施例中，在第一算法的与空闲区域相关联的定时器达到低于预定时限的指示阈值时，指示空闲区域要被从前景转换为背景的步骤被执行。

指示阈值是有益的，第二算法可能花费某些时间量，所以通过使用指示阈值，确定步骤可在第一算法的定时器达到预定时限之前完成。

在一些实施例中，在应用第二算法的步骤期间确定图像帧中的空闲区域中的图像数据相对于先前图像帧中的所述空闲区域中的图像数据的明显变化时，中止应用第二算法的步骤，并且空闲区域被保持为背景模型中的前景区域。

中止应用第二算法的步骤是有益的，因为可节省时间和计算能力。

在一些实施例中，第二算法比第一算法的计算需求更高。

第二算法的计算需求更高是有益的，因为它比第一算法更少使用，因此可节省相当大的计算能力。计算需求更高的算法可进一步特别适用于减少来自复杂度较低的第一算法的假阳性，因此更适合第二水平的实现方式，即在第一算法之后应用。

在一些实施例中，第二算法在更多计算资源可用的后续时间被应用。

当更多的计算资源在后续时间可用时，应用第二算法是有益的，因为该检查可被调度以在稍后完成，并允许使用较低级的硬件来应用第二算法。例如，当实现该方法的设备中可用计算资源大于总计算资源的阈值百分比时，或当可用计算资源超过阈值量时，可应用第二算法。

在一些实施例中，应用第二算法的步骤包括：应用图像分割算法以用于定位图像数据中的对象，所述对象至少部分地延伸到空闲区域中，其中，与所定位的对象相对应的图像数据定义第二算法被应用的图像数据。

图像分割算法是有益的，因为其可增加第二算法的可靠性并且更正确地确定前景。

在一些实施例中，第二算法适用于执行以下中的至少一个：面部识别、头部检测、身体检测、车辆检测、牌照检测、运动分析、对象跟踪以及其他预先登记的重要对象的检测。

这些类型的图像分析是有益的，因为它们是常用的并且在某种程度上都受益于第二水平实现方式。在一些实施例中，图像分析适用于识别形成人员识别符的对象部分，即可用于识别人员。人员识别符的非限制性示例是面部、眼睛、指纹、员工制服、身份证和支付卡。

在一些实施例中，方法进一步包括：屏蔽是前景的部分的空间区域。

屏蔽是有益的，因为它允许隐私和/或减少所显示的信息，用于简化进一步的分析。屏蔽还可添加示出例如对象类型的通用图形或信息，以在不公开对象身份的情况下简化场景理解。不同的对象类型可具有不同图标和/或颜色的屏蔽。

在一些实施例中，该方法进一步包括：通过跟踪空间区域中的对应图像数据而跟踪视频序列中描述的对象，该空间区域是视频序列中前景的部分。

跟踪是有益的，因为当前景被正确区分时，对象跟踪被简化。对象跟踪可进一步用于改进第二算法，以保证前景是正确的。

根据本发明的第二方面，提供了一种非瞬态计算机可读记录介质，该非瞬态计算机可读记录介质上记录有程序，该程序当在具有处理能力的设备上执行时，用于实现根据第一方面的方法。

根据本发明的第三方面，提供了一种捕获视频序列中的图像帧的摄像机。该摄像机包括控制单元，该控制单元被配置为：通过将第一算法应用于多个图像帧而定义视频序列的背景模型，该背景模型帧对多个图像帧中的多个空间区域中的每一个空间区域定义空间区域属于视频序列中的背景还是前景，其中，相对于先前图像帧中的所述空间区域中的图像数据，检测到的图像帧中的空间区域中的图像数据的明显变化指示空间区域属于前景；指示所定义的前景区域的空闲区域要被从前景转换为背景；以及通过将第二算法应用于视频序列的图像帧的图像数据而确定空闲区域是否要被转换或不被转换，图像数据至少部分地对应于空闲区域；其中，在确定空闲区域不被转换时，将空闲区域保持为背景模型中的前景区域。

在一些实施例中，控制单元进一步被配置为：将第一算法和第二算法实时地应用于视频序列中的多个图像帧。

算法的实时应用是有益的，因为其允许实时隐私屏蔽和/或对象跟踪。算法以如下方式被应用，即总的图像分析非常有效，并且因此可由多数摄像机实时应用，而没有任何变化和/或折中。

上述第一方面的特征在可用时也适用于第三方面，反之亦然。为避免不必要的重复，可参考上述内容。

本发明的可用性的进一步范围将从下面给出的详细描述中变得显而易见。然而，应当理解的是，虽然详细描述和特定示例指示本发明的优选实施例，但仅以说明的方式给出，因为根据该详细描述，本发明范围内的各种变化和修改对于本领域技术人员来说将是显而易见的。

因此，要理解，本发明不限于所描述的设备的特定组成部分，或所描述的方法的步骤，因为这种设备和方法可进行改变。还要理解，本文使用的术语仅是为了描述特定的实施例的目的，而不意在限制。必须注意的是，如在说明书和所附权利要求中所使用的，冠词“一”、“该”和“所述”意在意味着存在一个或多个元素，除非上下文中另有明确规定。因此，例如，对“一单元”或“该单元”的引用可包括若干设备等。此外，词语“包括”、“包含”、“含有”和类似措辞不排除其他元素或步骤。

附图说明

现将参考示出本发明的实施例的附图更详细地描述本发明的以上和其他方面。附图不应被视为将本发明限制到特定实施例；相反，它们用于解释和理解本发明。

如图中所图示，为了说明性的目的，层和区域的尺寸被放大，并且因此被提供以图示本发明的实施例的总体结构。贯穿全文，相同的附图标记指代相同的元素。

图1是用于视频序列中的图像帧的图像分析的方法的框图。

图2是用于视频序列中的图像帧的图像分析的方法的框图，进一步包括第一算法和第二算法、前景的屏蔽和/或跟踪部分以及循环。

图3a是具有定义图像帧中的空间区域属于背景还是前景的背景模型的视频序列中的图像帧的示意性图示。

图3b是图3a的图像帧的示意性图示，进一步具有包括多个定时器的第一算法。

图4a是转换为背景的前景对象的视频序列中的图像帧的示意性图示。

图4b是图4a的其中空间区域变为空闲区域的图像帧的示意性图示。

具体实施方式

现在，将在下文中参考附图更充分地描述本发明，其中示出了本发明的当前优选实施例。然而，本发明可以以许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例；相反，这些实施例出于全面性和完整性而被提供，并向技术人员充分地传达本发明的范围。

现在，将结合图3至图4描述图1的方法100。图1是用于视频序列中的图像帧30a至30c的图像分析的方法100的框图。图4a至图4b的图像帧30a至30c示出了时间从左到右的推移。方法100包括可以以特定顺序执行的多个步骤，例如，图1中所示的顺序或其他任何合适的顺序。在以下示例中，假设图像帧30c是当前正在处理/分析的图像帧，除非另外规定。

定义步骤110包括定义视频序列的背景模型。针对图像帧30a至30c中的多个空间区域10中的每一个空间区域10，背景模型定义空间区域10属于视频序列中的背景22还是前景24。相对于先前图像帧30a至30b中的空间区域10中的图像数据，检测到的当前处理的图像帧30c中的所述空间区域10中的图像数据的明显变化指示所述空间区域10属于前景24。

背景模型是用于不同视频处理装置的工具，以区分在一段时间期间不明显变化从而属于背景22的空间区域10与在一段时间期间明显变化从而属于前景24的空间区域10。

在其最简单的形式下，背景模型可包括图像帧30a至30c的空间区域10中的每个像素位置的像素值。如果当前图像帧30c(即，当前被分析的图像帧30c)中的对应位置处的像素值与先前图像帧30a至30b(即，当前图像帧30c之前的图像帧30a至30b)中对应位置处的像素值相差大于阈值(即，明显不同)，则当前图像帧30c中的像素位置要被认为属于前景24。否则，要被认为属于背景22。然后，背景模型基于当前图像帧30c中的像素值而被更新。

将要注意的是，空间区域10可包括若干像素。例如，如果一个像素中的噪声太大，则多个像素共同被比较，因为多个像素的平均值将具有更低的噪声。这避免了来自图像传感器的均匀分布的噪声导致帧中的所有内容转换为前景的情况。分组在一起的像素数量例如可取决于光照水平或由于不同的噪声水平而不同。

在空间区域10可包括若干像素的实施例中，它们可包括属于背景22的像素以及属于前景24的像素。在该情况下，如果空间区域10包括属于两个组的像素，则两个组中的一个(即，背景22或前景24)可作为默认值。在另一实施例中，两个组中最常见的一个可确定空间区域10属于背景22还是前景24。在进一步的实施例中，包括属于两个组的像素的空间区域10被划分成若干空间区域10，其每个仅包括属于一个组的像素。

在另一实施例中，背景模型包括每个像素位置的多个像素值，例如，定义在该像素位置处的图像帧30a至30c的最后X个像素值。如果当前图像帧30的该像素位置处的像素值明显不同于背景模型中的对应像素位置的像素值(由表示性像素值所表示，例如，基于像素值方差、阈值或任何其他统计测量值)，则当前图像帧30c中的像素位置被认为属于前景22，并且否则属于背景24。然后，背景模型基于当前图像帧中的像素值而被更新。应注意的是，除本文举例说明的方式外，存在许多不同的方式来实现背景模型。

如果视频序列例如由固定监控摄像机捕获，则视频序列的图像帧30a至30c的背景22与被监控场景的静态背景相对应。监控可取决于例如是否人或股票被监控而仅对背景22或前景24感兴趣。

在一些实施例中，前景24可包括静态区域。例如，如果被监控场景包括停车场，则柏油和墙壁可被定义为背景22，而停放的空闲车辆可被定义为前景24。为了实现这一点，如本文所述，第二算法特别适用于防止空闲车辆转换为背景22。这种第二算法的示例包括牌照检测和/或图像分割。

因此，背景模型可用于过滤出不相关信息，并改进可对视频序列执行的任何视频处理。

指示步骤120包括接收所定义的前景24的空闲区域12要被从前景24转换150为背景22的指示。

该指示例如可在发现空闲区域12之后在定义步骤110中被提供。基于定义步骤110中使用的任何条件，空间区域10可被定义为空闲区域12以在背景22与前景24之间进行区分。例如，如果未检测到当前图像帧30c的空间区域10中的图像数据相对于先前图像帧30a至30b中的空间区域10中的图像数据的明显变化，则空间区域10可被识别为空闲12。

指示可包括使用例如元数据或独立的查找表将空间区域10标记为空闲区域12。

指示可由分析背景模型并在必要时提供指示的单元/过程/算法发送。在其它实施例中，背景模型本身包括用于提供指示的装置。

通过在所定义的前景区域24的空间区域10之中仅指示120空闲区域12，可节省计算能力。这是因为属于背景22的空间区域10被假设为空闲，并已经是背景22的一部分。

确定步骤130包括确定空闲区域12是否要被转换150。

确定步骤130可包括分析视频序列的任何图像帧30a至30c，而不仅仅是与空闲区域12相对应的空间区域10的图像帧。这是有益的，因为信息量最多的图像帧30a至30c不一定是最新的图像帧或与当前分析的图像帧30c最相似的图像帧。作为示例，通过分析不与空闲区域12相对应的空间区域10的图像帧30a至30c，更易于发现已处于运动中并且当前空闲的前景对象。

保持步骤140包括将空闲区域12保持为背景模型中的前景区域24。保持步骤140优选地在确定130空闲区域12不被转换150时发生。

保持的步骤140可通过不做任何动作或通过与包括背景模型的电路或任何其他合适的处理装置通信来实现，以防止可能已经被启动的转换150。

保持的步骤140可进一步包括操作定义步骤110，以保证将保持的空闲区域12保留在前景24中。

转换步骤150包括将空闲区域12转换为背景模型中的背景22，即，在确定130空闲区域12要被转换150之后。

转换步骤150可包括使用例如元数据或独立的查找表将空闲区域12标记为背景22。应用转换的电路可与包括背景模型的电路和/或独立的处理器(例如，执行方法100的另一步骤或捕获视频序列)通信。在一个实施例中，包括背景模型的电路与应用转换的电路相同，由此不需要通信。

转换步骤150可进一步受来自背景模型和/或独立处理器(例如，执行方法100的另一步骤或捕获视频序列)的通信的影响。

在优选的实施例中，保持步骤140和转换步骤150中只有一个被执行。

图2是用于视频序列中的图像帧30a至30c的图像分析的方法200的框图，进一步包括应用215，235第一算法和第二算法、屏蔽260和/或跟踪270前景24的部分以及循环。现在将结合图3至图4描述图2的方法200。

定义步骤110包括将第一算法应用215于多个图像帧30a至30c。第一算法用于确定每个图像帧30a至30c的空间区域10属于背景模型中的背景22还是前景24。第一算法可进一步检测空间区域10何时变为空闲区域12。

第一算法可被配置为：检测当前分析的图像帧30c中的空间区域10中的图像数据相对于先前图像帧30a至30b中的空间区域10中的图像数据的明显变化，例如用于定义属于背景24的任何空间区域10是否要被转换为前景22。

第一算法可附加地被配置为：特别地检测到当前图像帧30c中的空间区域10中的图像数据相对于先前图像帧30a至30b中的空间区域10中的图像数据未发生明显变化，例如，用于定义属于前景22的任何空间区域10是否要被转换为背景24。

第一算法例如可包括：分析当前图像帧30c中的空间区域10中的图像数据，以及将它与一个或多个先前图像帧30a至30b中的对应空间区域10进行比较。如果所述图像数据在空间区域10之间明显不同，则空间区域10根据第一算法被认为属于前景24。

确定步骤130包括：将第二算法应用235于视频序列的图像帧30a至30c的图像数据，该图像数据至少部分地对应于空闲区域12。

第二算法可被配置为：确定空闲区域12(如在指示步骤120中所指示)是否要被转换150。

第二算法可应用于视频序列的图像帧30a至30c中的任一个或几个，而不仅仅是具有空闲区域12的图像帧。

例如，如果前景24对象已经移动，则与空闲区域12相对应的图像数据可包括在先前图像帧30a至30b中的不同空间区域10中。因此，第二算法可应用于不同图像帧30a至30c中的不同空间区域10的图像数据。

在空闲区域12要从前景24转换为背景22的指示存在的情况下，第二算法可适用于应用235于图像帧30a至30c的图像数据。

在指示步骤120之后仅应用235第二算法是有益的，因为第二算法仅在需要时使用。如果与第一算法相比，第二算法例如计算需求更高和/或更不可靠，则主要依赖第一算法是有益的。

方法200进一步允许使用比第一算法相对更耗时的第二算法，使得与第一算法那样频繁应用235第二算法的方法200是无效或不合理的。

当有足够的计算资源可用时，可以在稍后的时间应用第二算法235。

因为是关于因低活跃度而导致的对象从前景24到背景22的潜在转换，所以检查可被调度以在稍后完成。第二算法不需要立即完成，第二算法例如可跟踪被标记为要检查的潜在转换的所有区域，以及被标记为正在进行检查的区域。然后，第二算法可在有足够的(例如，超过阈值的)计算资源可用时被应用。

空间区域10从背景模型中的前景24到背景22的转换150可在第二算法已确定130图像帧30c的空闲区域12要被转换150的情况下执行。

仅在确定步骤130之后执行转换150是有益的，因为除非由第二算法验证，否则对象不被移动至背景22，这减少了来自第一算法的假阳性影响。

在确定步骤130包括在后续时间应用235第二算法的实施例中，由于调度以节省计算能力或由于第二算法因其复杂度而耗时较长，转换步骤150仅在第二算法被应用235之后执行。

假阳性可能是不利的，例如，如关于图3a所讨论的具有隐私屏蔽260的实施例中。

作为可替代的方案，如果通过使用第二算法确定130图像帧30c的空闲区域12不被转换150，则如果转换150已被执行或启动，那么确定步骤130可导致转换150被反转。

第二算法可比第一算法计算需求更高。

第二算法的计算需求更高是有益的，因为它比第一算法更少使用，因此可节省相当大的计算能力。

第二算法可进一步生成比第一算法更少的假阴性结果，因此适合验证第一算法的结果。

应用235第二算法的步骤可包括应用用于定位图像数据中的对象的图像分割算法，所述对象至少部分地延伸到空闲区域12中，其中与被定位的对象相对应的图像数据定义了第二算法被应用235的图像数据。

图像分割算法是有益的，因为它可提高第二算法的可靠性，并且更准确地确定前景24。

图像分割包括在一个或多个图像帧30a至30c的图像数据中定位对象和边界。

如果前景对象例如包括大的单色正方形，则该正方形可被放置使得即使对象和正方形移动，空间区域10的图像数据也不会明显变化(例如，图像数据中少于阈值数量的像素明显变化、或空间区域10的图像数据的像素和背景模型之间的总差值低于阈值差值等)。因此，图像分割可定位整个对象，以发现：即使所述空间区域10是空闲的，该对象也不是空闲的。通过应用于整个对象，第二算法可以更易于确定130空闲区域12应被保持140，因为它是前景对象的一部分。

第二算法可适用于执行以下中的至少一个：面部识别、头部检测、身体检测、车辆检测、牌照检测、运动分析、对象跟踪270、以及其他预先登记的重要对象的检测。

第二算法可适用于执行面部识别。面部识别用于发现前景24的空间区域10是否包括面部。如果包括，则假设他们是活着的并且因此是前景24的一部分。包括面部的任何空闲区域12由此被确定130为保持140为前景24。

面部识别优选地与图像分割和/或身体检测相结合，以发现面部所属的人或动物，使得人或动物的整个图像区域被确定为保持140为前景24。

第二算法可适用于执行头部检测或身体检测。头部检测或身体检测用于发现前景24的空间区域10是否包括人类或动物的头部或身体。如果包括，则假设他们是活着的并且因此是前景24的一部分。包括头部或身体的任何空闲区域12由此被确定130为保持140为前景24。

头部检测或身体检测可彼此组合和/或与面部识别组合，以改进头部检测或身体检测的精确度。

第二算法可适用于执行车辆检测或牌照检测。车辆检测或牌照检测用于发现前景24的空间区域10是否包括车辆或牌照。如果包括，则假设它们是车辆并且因此是前景24的一部分。包括车辆或牌照的任何空闲区域12由此被确定130为保持140为前景24。

第二算法可适用于执行运动分析。运动分析用于发现前景24的空间区域10是否包括任何移动对象。如果包括，则假设它们是前景24的一部分。包括运动的任何空闲区域12由此被确定130为保持140为前景24。

运动分析优选地结合图像分割使用，以发现包括可能处于运动中的相同对象的其他空间区域10，即使在一个空间区域10空闲时。这可通过第二算法检查与包括相同对象的空间区域10中的运动检测相关的第一算法的结果来实现。在该实施例中，第二算法适用于通过实现第一算法的运动检测来执行运动分析。

因此，运动分析可实现为仅由图像分割和检查第一算法结果的指令所组成的第二算法。

运动分析可能更复杂，例如，结合图像分割和/或对象跟踪270使用，以发现在视频序列的先前图像帧30中相同空闲对象是否处于运动中。这可再次使用第一算法的结果和/或分析某些图像帧30，以一些其他方式发现运动。

第二算法可适用于执行对象跟踪270。对象跟踪270用于检测和追踪被监控的对象。这可用于发现前景24的空闲区域12中的对象先前所处的位置。如果对象在位于不同的空间区域10时已被确定为保持140为前景24，则再次将其保持140为前景24可能是有益的，反之亦然。

例如，如果被监控的区域包括火车轨道或传送带，则对象跟踪270可得到与运动分析不同的确定130。对象跟踪270可包括确定被跟踪对象是否与先前被跟踪对象具有规律性或相似性。第二算法可适用于确定130规律地经过的火车和连续移动的传送带是背景22的一部分和/或之前见过的一只猫是前景24的一部分。

在保持步骤140和/或转换步骤150被执行之后，方法200可循环回到方法200的开始。

通过使用于视频序列中的图像帧30a至30c的图像分析的方法200连续循环，新的图像帧30可被分析和/或与先前分析的图像帧30进行比较，以例如继续更新背景模型和/或从先前分析中学习。

屏蔽步骤260包括屏蔽是前景24的一部分的空间区域10。

屏蔽260是有益的，因为它允许隐私和/或减少所显示的信息，以用于简化的进一步分析。屏蔽260可包括将图像帧30的空间区域10模糊和/或替换为非描述性的或单色的。

屏蔽260可包括隐私屏蔽，例如，使用面部识别和/或牌照检测来屏蔽面部和/或牌照。这可进一步包括屏蔽260面部和/或牌照所属的整个人和/或车辆。这可使用例如图像分割和/或对象跟踪实现。

隐私屏蔽是有益的，因为它允许人员出于安全和/或保护原因而被监控，而不损害其隐私。

前景24可被屏蔽以监控背景22，而没有来自前景24的干扰和/或同时保护前景24中人的隐私。

例如，如果前景24的非屏蔽部分更值得监控，则背景22的部分可进一步被屏蔽260。

跟踪步骤270包括：通过跟踪空间区域中是视频序列中的前景24的一部分的对应图像数据10来跟踪视频序列中描述的对象。

跟踪270是有益的，因为当前景24被正确区分时，对象跟踪被简化。这是因为，例如当在新的图像帧30中发现对象时，只有是前景24的一部分的空间区域10可被考虑。

对象跟踪270可进一步用于改进第二算法，以保证前景24是正确的。这是因为，在一些实施例中被跟踪对象应始终是前景24的一部分。

一种非瞬态计算机可读记录介质，该非瞬态计算机可读记录介质上记录有程序，该程序当在具有处理能力的设备上执行时，用于实现根据图1至图2中的任一个的方法100、200。

一种这样的设备可以是摄像机。摄像机本身可被配置为执行根据图1至图2中的任一个的方法100、200。

捕获视频序列中的图像帧30a至30c的摄像机可包括控制单元，该控制单元被配置为：通过将第一算法应用215于多个图像帧30a至30c而定义110视频序列的背景模型，该背景模型帧对图像帧30a至30c中的多个空间区域10中的每个空间区域10定义空间区域10属于视频序列中的背景22还是前景24，其中，相对于先前图像帧30a至30b中的空间区域10中的图像数据，检测到的在图像帧30c中的空间区域10中的图像数据的明显变化指示所述空间区域10属于前景24；指示120所定义的前景区域24的空闲区域12要被从前景24转换150为背景22；以及通过将第二算法应用235于视频序列的图像帧30c的图像数据而确定130空闲区域12是否要被转换150或不被转换140，图像数据至少部分地对应于空闲区域12；其中，在确定空闲区域(12)不被转换150时，将空闲区域12保持140为背景模型中的前景区域24。

控制单元可进一步被配置为：实时地将第一算法和第二算法应用215，235于视频序列中的多个图像帧30a至30c。

实时应用算法是有益的，因为其允许实时隐私屏蔽260和/或对象跟踪270。算法以如下方式被应用215，235，即总的图像分析非常有效，并且因此可由多数摄像机实时应用而没有任何改变和/或折中。

第一算法可能是相对有效的，并可实时应用215于即使相对适中的硬件。第二算法仅在需要时应用235，因此即使计算需求相对较高，其也可被实时应用。

实时视频处理是高度安全的，例如因为只要视频序列是可访问的，则隐私屏蔽260就是活动的，因此没有恶意间谍软件可访问视频序列的非隐私屏蔽260版本。

图3a图示视频序列中的图像帧30。视频序列包括背景模型，其定义图像帧30中的空间区域10属于背景22还是前景24。

在该实施例中，背景22中的任何明显变化将对应空间区域10转换为前景24。包括足够长时间基本不变的图像数据的空间区域10(即，空闲区域12)可被转换150为背景22，如图4b中所示。然而，首先要确定130是否空闲区域12应被保持140。

对于从背景22到前景24的对应转换而言，在将空闲区域12转换150为背景22之前，这种额外水平的确定130可不存在。

这是有益的，例如，出于隐私考虑。如果前景24被隐私屏蔽260和/或对象跟踪270，则例如由于第一算法的假阳性结果而将其不正确地移动到背景22可能是不利的，即使在空间区域10不再空闲之前的较短时间内。对于隐私屏蔽260的情况，隐私可能被丢失，对于对象跟踪270的情况，对象可能被丢失。

例如在确定步骤130的实现方式中，允许足够的宽松度是更为重要的，从而允许背景22中的细微变化，而不将这种空间区域10转换为前景24和/或将这种空间区域10保持在前景24中，而不是将其转换150为背景22。

例如，自然光将随时间变化，导致背景22的变化，而对于应被认为是背景22的内容没有明显影响。在这种情况下，受光的变化影响的空间区域10应保持在背景22中，或相对快速地转换150为背景22。

在可替代的实施例中，不检查背景22是否有可以转换为前景24的任何非空闲空间区域10，一旦背景22中有东西，它就停留在那里。

在具有例如由不同的摄像机捕获的若干视频序列的实施例中，方法100、200可串联地应用于视频序列。如果两个或更多个视频序列包括具有与相同物理位置相对应的空间区域10的图像帧30，则方法100、200可分析所有空间区域10并确定130其是否应作为一组来保持140或转换150。这允许例如要用于更可靠的确定130的角度的变化。

图3b图示图3a的图像帧30，其与第一算法的包括多个定时器14的示意性图示重叠。每个定时器14与图像帧30中的多个空间区域10中的空间区域10相关联。

如果在预定时限之前，相对于先前图像帧30的所述空间区域10的图像数据，图像帧30的空间区域10的图像数据未发生明显变化，则所述空间区域10被定义为背景模型中的空闲区域12。

如果检测到图像帧30的空间区域10的图像数据相对于先前图像帧30的空间区域10的图像数据的明显变化，则背景22的空间区域10可转换为前景24。

定时器14是有益的，因为它们是简单的且是计算效率高的。与类似算法相比，易于实现阈值和/或操纵结果。

这部分地是因为定时器14是数字，而数字是简单的。例如，通过简单地给定时器14增加秒数，定时器14将更快地达到其阈值，而不需要改变阈值。作为另一示例，通过以可预测的周期重置定时器14，可防止其达到其阈值。

定时器14可进一步递增和/或递减，而没有明显的计算复杂度。

在由第二算法确定130空闲区域12不被转换150时，与该空闲区域12相关联的定时器14可被复位或暂停，或与该空闲区域12相关联的定时器14的时限可被增加。

作为对确定步骤130的响应而操作定时器14是有益的，因为它是在背景模型中将空闲区域12保持为前景区域24的简单而有效的方式。它还允许对先前已由第二算法确定为不被转换150的空间区域10进行特殊处理，例如，通过将定时器14重置为不同于其开始时的数字。这是有益的，例如，如果特定空间区域10更倾向于空闲(诸如与前景24中人可以休息的座位或床相对应)，则更长的计时器14可减少假阳性结果。

当第一算法的与空闲区域12相关联的定时器14达到低于预定时限的指示阈值时，空闲区域12可被指示120为从前景24转换150为背景22。

指示阈值是有益的，因为应用235第二算法可花费一些时间量，因此，通过使用指示阈值，确定步骤130可在第一算法的定时器14达到预定时限之前完成，由此节省时间。

在其中若干确定步骤130针对不同的图像帧30和/或相同图像帧30的不同空间区域10同时发生的实施例中，取决于图像帧30被分析的频率，这可节省相当多的时间量。

在应用235第二算法的步骤期间，在确定130图像帧30中的空闲区域12的图像数据相对于先前图像帧30中的空闲区域12中的图像数据的明显变化时，应用235第二算法的步骤可被中止，并且空闲区域12可被保持140为背景模型中的前景区域24。

中止应用235第二算法的步骤是有益的，因为可节省时间和计算能力。在第二算法被应用235时，空闲区域12可能不再被认为是空闲的，这可意味着继续应用235第二算法的步骤是没有意义的。

如果应用235第二算法的步骤早已开始，例如通过第一算法的与空闲区域12相关联的定时器14达到低于预定时限的指示阈值，则空闲区域12可能不会保持空闲，直到达到预定时限。因此，通过允许应用235第二算法的步骤被中止，可实现进一步协同。

图4a是视频序列中两个前景对象24a，24b被转换为背景22的图像帧30a至30c的示意性图示。图像帧30a至30c示出了从左到右的时间推移。

在最左侧图像帧30a中，前景对象24a，24b两者均处于运动中。在中间图像帧30b中，下部前景对象24a是空闲的，而上部前景对象24b保持在运动中。在最右侧图像帧30c中，下部对象22a在空闲之后被转换150为背景22，而上部前景对象24b保持在运动中。

图4b是图4a的图像帧30a至30c的示意性图示，其与图像帧30a至30c的空间区域10变为空闲区域12的示意性图示重叠。

下部前景对象24a在中间图像帧30b中变为空闲。因此，包括对象24a的空间区域10变为空闲区域12，而当对象24a处于运动中时，空闲区域12不在最左侧图像帧30a中。

中间图像帧30b的空闲区域12被指示120以从前景24转换150为背景22。在第二算法已确定130空闲区域12要被转换150之后，它们被转换150。在最右侧图像帧30c中，对象22a因此已被转换150为背景22。

如果第二算法将确定130空闲区域12不被转换150，则对象24a将保持140在前景24中。

空间区域10在图中被描述为每个图像帧30a至30c有9个区域。可基本存在比所描述的更多或更少的区域。作为示例，图像帧30a至30b的4个像素中的每个像素或每个正方形可以是空间区域10。在另一实施例中，每个宏块、编码单元或编码树单元可被视为空间区域10。

本领域的技术人员意识到，本发明决不限于上述优选的实施例。相反，在所附权利要求的范围内许多修改和变型是可能的。

例如，指示步骤120可被跳过，并且与图相比，空间区域10可以更小。前景24可与定义步骤110同时使用第二算法的任何实施例来定义。在背景22和前景24之外，还可存在由第二算法的不同实施例定义的第三水平，而不是定义前景24的水平。

此外，通过学习附图、本公开和所附权利要求，本领域技术人员在实践要求保护的发明时可理解和实现对公开实施例的变型。

Claims (17)

1.一种用于视频序列中的图像帧的图像分析的方法，所述方法包括：

通过将第一算法应用于多个所述图像帧而定义所述视频序列的背景模型，所述背景模型针对所述图像帧中的多个空间区域中的每一个空间区域定义所述空间区域属于所述视频序列中的背景还是前景，其中，所述第一算法包括多个定时器，每个定时器与所述多个空间区域中的空间区域相关联；

指示所定义的前景区域的空闲区域要被从所述前景转换为所述背景，其中，如果在预定时限之前，相对于先前图像帧的所述空间区域的图像数据，图像帧的空间区域的图像数据未发生明显变化，则将空间区域定义为所述背景模型中的空闲区域；以及

通过将第二算法应用于所述视频序列的图像帧的图像数据而确定所述空闲区域是否要被转换或不被转换，所述图像数据至少部分地对应于所述空闲区域；

其中，在确定所述空闲区域不被转换时，将所述空闲区域保持为所述背景模型中的前景区域。

2.根据权利要求1所述的方法，其中，所述第二算法仅在表示空闲区域要被从前景转换为背景的所述指示之后应用于图像帧的图像数据。

3.根据权利要求1所述的方法，其中，空间区域从所述背景模型中的前景到背景的所述转换仅在所述第二算法已确定所述图像帧的所述空闲区域要被转换之后执行。

4.根据权利要求1所述的方法，其中，在由所述第二算法确定所述空闲区域不被转换时，重置或暂停与所述空闲区域相关联的定时器，或增加与所述空闲区域相关联的所述定时器的时限。

5.根据权利要求1所述的方法，其中，在所述第一算法的与所述空闲区域相关联的定时器达到低于所述预定时限的指示阈值时，指示空闲区域要被从前景转换为背景被执行。

6.根据权利要求5所述的方法，其中，在应用所述第二算法期间确定图像帧中的所述空闲区域中的图像数据相对于先前图像帧中的所述空闲区域中的图像数据的明显变化时，中止应用所述第二算法，并且将所述空闲区域保持为所述背景模型中的前景区域。

7.根据权利要求1所述的方法，其中，所述第二算法在更多计算资源可用的后续时间被应用。

8.根据权利要求1所述的方法，其中，应用所述第二算法包括：应用图像分割算法以用于定位所述图像数据中的对象，所述对象至少部分地延伸到所述空闲区域中，其中，与所定位的对象相对应的图像数据定义所述第二算法被应用的所述图像数据。

9.根据权利要求1所述的方法，其中，所述第二算法适用于执行以下中的至少一个：面部识别、头部检测、身体检测、车辆检测、牌照检测、运动分析、对象跟踪以及其他预先登记的重要对象的检测。

10.根据权利要求1所述的方法，进一步包括：屏蔽是所述前景的部分的空间区域。

11.根据权利要求1所述的方法，进一步包括：通过跟踪空间区域中的对应图像数据而跟踪所述视频序列中描述的对象，所述空间区域是所述视频序列中的所述前景的部分。

12.一种非瞬态计算机可读记录介质，所述非瞬态计算机可读记录介质上记录有程序，所述程序当在具有处理能力的设备上执行时，用于实现根据权利要求1所述的方法。

13.一种捕获视频序列中的图像帧的摄像机，所述摄像机包括具有电路的控制单元，所述电路被配置为：

通过将第一算法应用于多个所述图像帧而定义所述视频序列的背景模型，所述背景模型针对所述图像帧中的多个空间区域中的每一个空间区域定义所述空间区域属于所述视频序列中的背景还是前景，其中，所述第一算法包括多个定时器，每个定时器与所述多个空间区域中的空间区域相关联；

指示所定义的前景区域的空闲区域要被从所述前景转换为所述背景；以及

通过将第二算法应用于所述视频序列的图像帧的图像数据而确定所述空闲区域是否要被转换或不被转换，所述图像数据至少部分地对应于所述空闲区域，其中，如果在预定时限之前，相对于先前图像帧的所述空间区域的图像数据，图像帧的空间区域的图像数据未发生明显变化，则将空间区域定义为所述背景模型中的空闲区域；

其中，在确定所述空闲区域不被转换时，将所述空闲区域保持为所述背景模型中的前景区域。

14.根据权利要求13所述的摄像机，其中，所述控制单元中的所述电路进一步被配置为：将第一算法和第二算法实时地应用于所述视频序列中的多个所述图像帧。

15.根据权利要求13所述的摄像机，其中，所述电路进一步被配置为：在所述第一算法的与所述空闲区域相关联的定时器达到低于所述预定时限的指示阈值时，指示空闲区域要被从前景转换为背景的所述步骤被执行。

16.根据权利要求15所述的摄像机，其中，当所述电路在应用所述第二算法期间确定图像帧中的所述空闲区域中的图像数据相对于先前图像帧中的所述空闲区域中的图像数据的明显变化时，中止应用所述第二算法，并且将所述空闲区域保持为所述背景模型中的前景区域。

17.根据权利要求13所述的摄像机，其中，应用所述第二算法包括：应用图像分割算法以用于定位所述图像数据中的对象，所述对象至少部分地延伸到所述空闲区域中，其中，与所定位的对象相对应的图像数据定义所述第二算法被应用的所述图像数据。

Images