CN101426128B

CN101426128B - 偷盗和遗失包裹检测***和检测方法

Info

Publication number: CN101426128B
Application number: CN200710165489A
Authority: CN
Inventors: 马赓宇; 朴泰绪
Original assignee: Beijing Samsung Telecommunications Technology Research Co Ltd; Samsung Electronics Co Ltd
Current assignee: Beijing Samsung Telecommunications Technology Research Co Ltd; Samsung Electronics Co Ltd
Priority date: 2007-10-30
Filing date: 2007-10-30
Publication date: 2012-10-03
Anticipated expiration: 2027-10-30
Also published as: KR20090044957A; CN101426128A

Abstract

本发明提供了一种用于监视***中的偷盗和遗失包裹检测***及其检测方法，其中，所述偷盗和遗失包裹检测***包括：图像捕获装置，用于监视关注的场景并为***捕获新图像；场景模块，使用场景模型记录场景的历史；场景对比和模型更新模块，按照像素级别将新图像和场景模型进行比较，根据对比结果来更新场景模型，并利用被记载在像素模型中的时间信息来判断每个像素的状态，从而获得关注像素以构造标记图像，其中，每个像素的状态为背景、前景或关注；关注区域提取模块，利用时空信息提取指示发生了偷盗或遗失包裹事件的关注区域并输出该关注区域；显示单元，显示指示发生了偷盗事件或遗失包裹事件的关注区域。

Description

偷盗和遗失包裹检测***和检测方法

技术领域

本发明涉及一种监视***，更具体地讲，涉及一种在监视***中使用的偷盗和遗失包裹检测***以及一种基于改进的变化检测方法的检测方法。

背景技术

为了保证安全，监视摄像机被广泛地安装在公共场所。然而，需要一些额外的劳动力来检查是否有敏感的事件发生。目前，监视***领域中的热门课题是研究一种能够检测、追踪和分析人和其它物体的动作的智能摄像机。

在早期的技术方案中，所有改变的或移动的物体都会被保存下来并报告给用户以进行进一步的查看。但是这种方案仍然需要大量的人力资源，并且其缺点在公共场所，如购物中心或娱乐中心尤为明显，因为在公共场所几乎一直都有走动的人们。

因此，一些研究人员正在研究如何自动检测相对重要的事件，如偷盗和遗失包裹。偷盗和遗失包裹是两种最为敏感的安全事件。偷盗当然是严重的问题，而当我们面对恐怖炸弹袭击时，遗失包裹也变得非常重要。

但是，偷盗和遗失包裹的检测是非常难的问题，尤其是在很多人来来往往的拥挤场景中。此外，人们和物体会在监视场景中互相重叠、遮挡和重复出现。追踪每个人和物体的运动几乎是不可能的。在实时监视***中，处理速度必须非常快才能在线工作。

在现有技术中，通常的做法是分析场景中的每个物体或人的运动轨迹。第5,969,755号美国专利、第6,424,370号美国专利以及第6,628,835号美国专利公布了上述方法的实施例。在上述专利中公开的方法通过追踪场景中的每个物体或人的运动，并指示偷盗事件或遗失包裹事件来实现。偷盗事件由三个顺序发生的事件指示，这三个事件包括：人接近物体；人和物体一起运动；人和物体一起离开场景。遗失包裹事件由两个顺序发生的事件指示，包括：人和物体进入场景；人离开而物体留下。此外，第6,628,835号美国专利还限定了例如人在徘徊和两个人发生冲突等这样的事件。但是总的来说，上述专利属于同一类型。

以运动轨迹检测为基础的事件分析方法过分地依赖于对物体的分割和追踪的结果，这种方法在监视***中不是经常十分可靠的。有时，一个人可被认为是几个孤立的部分，有时不能判断两个人一起移动的情况。在这些复杂的情况下，长时间对每个人和物体进行可靠的追踪是完全不可能的。

此外，第6,819,353号美国专利公开了一种依靠基于传统的混合高斯分布的变化检测的偷盗检测方法。在变化检测中，每个像素的历史颜色和权值被存储在背景模型中。权值也意味着颜色在该像素的位置出现的可能性。对于背景颜色，其权值较高；对于前景颜色，其权值较低。

显然，这种纯粹依赖于变化检测的偷盗检测方法不适于对拥挤的地方，如购物中心或娱乐中心进行监视，因为在场景中存在太多的移动物体。

发明内容

因此，提出了本发明的内容以解决在现有技术中出现的上述和/或其它问题。本发明的一方面提供了一种通过去除一些假警报来提高偷盗和遗失包裹检测的准确性的偷盗和遗失包裹检测***及其检测方法。

本发明的一方面在于提供一种能够对偷盗事件和遗失包裹事件进行区分的偷盗和遗失包裹检测***及其一种偷盗和遗失包裹检测方法。

本发明的上述和/或其它方面和效用可通过提供一种偷盗和遗失包裹检测***来实现，该***包括：图像捕获装置，用于监视关注的场景并为***捕获新图像；场景模块，使用由像素模型构成的场景模型记录场景的历史，其中，每个像素模型是背景模型、关注模型或前景模型；场景对比和模型更新模块，按照像素级别将新图像和场景模型进行比较，根据对比结果来更新场景模型，并利用被记载在像素模型中的时间信息来判断每个像素的状态，从而获得关注像素以构造标记图像，其中，每个像素的状态为背景、前景或关注；关注区域提取模块，利用时空信息提取指示发生了偷盗或遗失包裹事件的关注区域并输出该关注区域；显示单元，显示指示发生了偷盗事件或遗失包裹事件的关注区域。

本发明的上述和/或其它方面和效用可通过提供一种偷盗和遗失包裹检测方法来实现，该方法包括以下步骤：捕获新图像；按照像素级别将新图像和场景模型进行比较，并根据对比结果来更新场景模型的每个像素模型，其中，每个像素模型是背景模型、关注模型或背景模型；利用被记载在像素模型中的时间信息来判断每个像素的状态，从而获得关注像素以构造标记图像，其中，每个像素的状态为背景、前景或关注；根据标记图像提取指示发生了偷盗事件或遗失包裹事件的关注区域，并输出该关注区域；显示指示发生了偷盗时间或遗失包裹事件的关注区域。

附图说明

从下面结合附图对示例性实施例的描述中，本发明的上述和其它方面及优点将会变得清楚并更容易理解，其中：

图1是示出根据本发明的偷盗和遗失包裹检测***的结构的方框图；

图2是示出一个像素的像素模型的结构的视图；

图3是示出场景对比和模型更新模块执行场景对比和模型更新并输出关注区域的过程的流程图；

图4是示出计算差分图像的方法的视图；

图5是示出颜色状态之间的转换的示意图；

图6是示出关注区域提取模块提取关注区域的方法的流程图；

图7A和图8B是示出根据本发明的两个实施例的识别偷盗事件和遗失包裹事件的方法的流程图；

图8是示出由本发明的偷盗和遗失包裹检测***及方法对遗失包裹事件和偷包两个事件进行的实验的结果的图片；

图9是示出由本发明的偷盗和遗失包裹检测***及方法对偷书进行的实验的结果的图片；

图10是示出由本发明的偷盗和遗失包裹检测***及方法对偷包进行的实验的结果的图片。

具体实施方式

现在将详细说明本发明的实施例，其例子在附图中示出，其中，相同的标号始终指示相同的元件。以下参照附图描述实施例以解释本发明。

图1是示出根据本发明的偷盗和遗失包裹检测***的结构的方框图。

如图1所示，根据本发明的偷盗和遗失包裹检测***包括：图像捕捉装置10，该装置是固定的，用于监视关注的场景并为检测***捕捉用于检测的新图像100；场景记录模块20，使用场景模型200记录场景的历史；场景对比和模型更新模块30，该模块将由图像捕捉装置10捕捉的新图像100与记录在场景模型200中的历史信息进行比较，并根据比较的结果更新场景模型200；关注区域提取模块40，利用时空信息提取和核实发生偷盗事件或遗失包裹事件的区域，并输出关注区域；事件分类模块50，对偷盗和遗失包裹这两种事件进行识别；显示单元(未显示)，用于显示检测的结果。

图2是示出场景模型200中的一个像素的像素模型的结构的视图。

下面将参照图2解释场景模型200的结构。场景模型200由各个像素的若干个像素模型210构成。在场景模型200中，使用混合高斯分布(MoG)表示每个像素的近来的颜色历史。

∑w_i·N(u_i，σ_i)

其中，w_i213是每个单高斯的权值，u_i211为每个单高斯的中心，表示平均颜色，σ_i212是每个单高斯的方差。

如果某种颜色经常出现，那么这个颜色具有较大的权值。对于在像素上仅出现很短的时间的移动的物体，那么该物体的颜色将具有很小的权值。

每个像素的颜色可以是几个值。例如，在静态背景下，像素可以具有背景颜色或一些前景物体的颜色。而在动态背景下，像素可以具有几个背景颜色或物体颜色。每个颜色被保存在场景模型中的不同的可能的像素模型210中。因此，每个像素可具有一个或多个像素模型210。

根据本发明的像素模型210保存颜色的平均颜色211、方差212、权值213和持续时间214。

对于一个像素，在偷盗发生之前，该像素的颜色是背景颜色，在偷盗发生之后，该像素的颜色突然改变，因此认为该像素也发生了改变。在短时间之后，新颜色的权值将增加，直到其大到超过阈值，然后该颜色变成背景颜色。因此，在本发明中，持续时间(即，d)214记录一个像素模型变成背景模型之后在背景模型状态的持续时间。如果一个像素模型是普通的前景模型，则该模型的持续时间被设为0，该模型的持续时间被设为0。如果在每次更新之后，一个模型仍然是背景模型，则该模型的持续时间的增加1。在本发明中，根据持续时间的值以及每个像素模型的权值，将像素模型分为背景模型、前景模型和关注模型。如何确定像素模型的类型将在下文进行描述。

图3是示出图场景对比和模型更新模块执行场景对比和模型更新并输出关注区域的过程的流程图。

下面将参照图3详细解释场景对比和更新模块执行场景对比和模型更新并输出关注区域的过程。

首先，在步骤310中，在给定的新图像中为像素找到匹配模型。

将输入的像素与场景模型中的每个高斯中心μ_i211对比，找到最接近的高斯。如果距离小于σ_i×Thr_var，则该像素与这个模型匹配(在本发明中，Thr_var＝3)

例如，如图5所示，210是背景模型或关注模型的高斯。220是前景的高斯。101是输入像素，其不在任何背景高斯的范围内。102是输入像素，其与模型210匹配。

然后，在步骤320中，基于下列规则执行模型更新。

如果新像素属于一个高斯，则更新其中心211和方差212。将其权值213增加一点，将另一高斯权值213减少一点。如果新像素不属于任何高斯，则删除具有最低的权值W_i的旧高斯，并增加以这一新像素的颜色为中心的新高斯。对于背景模型和关注模型，将其持续时间增加1，对于其它模型，将它们的持续时间214重置为0。

接着，在步骤330中，将像素的状态确定为前景、背景或关注。

首先，为前景模型和背景模型的确定计算可能的阈值：假定每个像素应该是背景的时间占整个时间的百分比至少为Thr_bg(例如，在本发明中，Thr_bg＝85％)。然后，利用每个像素的若干个像素模型的权值将这些模型分类。将具有较高权值的前几个模型的权值相加，直到其超过Thr_bg，则这些模型被称为背景模型(包括关注模型)，其它的模型为前景模型。若模型的持续时间d满足下面的条件，则该模型为关注模型，该像素为关注像素。

0＜d＜Thr_dur(在本发明中，Thr_dur＝100)

上述条件的意义为：在偷盗或遗失包裹事件发生之后，发生上述事件的区域的像素将逐渐从前景变为背景。因此，在背景的开始阶段，像素的匹配模型应当被认为是偷盗事件背景或遗失包裹前景。简单地说，在下面的描述中，“偷盗背景”或“遗失包裹前景”模型将被称为“关注模型”。

在步骤340中，将所有像素的状态组合以形成标记图像。在该图像中，每个像素的值可以是前景、背景或关注。

在场景模型中，像素的颜色可对应于上述三种状态，前景、背景或关注。图5中显示了3种模型的转换。对于一个新模型，因为其权值很小，所以该模型为前景模型。当该新模型的权值增加时，该模型将在一段时间内处于关注状态，然后变成背景模型；如果背景模型在图像中很长时间未出现，其权值将减小，该模型将变成前景模型。

图6是示出关注区域提取模块提取关注区域的方法的流程图；

关注区域提取模块40包括关注像素核查模块、区域提取模块和关注区域核查模块。在关注区域核查模块40中，提取关注区域并按照像素级别和区域级别进行核查。

如图6所示，关注区域提取的方法包括关注像素核查步骤410、区域提取步骤420和关注区域核查步骤430。在关注像素核查步骤410中，对于真正的偷盗和遗失包裹区域，在事件发生之后，在这一区域中的像素的颜色应当恒定。即使在该过程中，该区域被其它的前景物体遮挡，其颜色在可见的时间段内也应当恒定。因此，基于颜色恒定进行关注像素识别，如果在先前的几帧内像素的颜色不恒定，则将其从关注像素中去除。

在区域提取步骤420中，通过使用连接部分对标记图像进行分析，可提取连接的一组偷盗像素。将独立的小区域作为假警报丢弃。

在关注区域核查步骤430中，如果该区域在一段时间内不发生变化，则将其报告为偷盗区域。反之，这是一个假警报。这种核查在下列情况有用：如果一个物体仅有很小的运动，则该物体的内部将被认为发生了偷盗因为真正的偷盗随着物体的运动而保持变化。通过这种核查方法，可成功地去除这种假警报。

事件分类模型50通过图像边界信息区分偷盗区域和遗失包裹区域。

根据本发明的事件分类模块50对偷盗和遗失包裹进行分类的方法有两种实施方式。

对于偷盗和遗失包裹事件，图像特征是不同的。在偷盗之后，被改变的区域应当是背景，因此其类似于也被假定为背景的附近区域。在遗失包裹之后，被改变的区域是包裹，因此其与周围的背景相比具有不同的图像特征。根据上述原理，在此介绍对偷盗区域和遗失包裹区域进行区分的两种实施方式。

图7A示出了一种基于图像特征匹配法的对偷盗和遗失包裹区域进行识别的实施方式。如图7A所示，该方法包括：在步骤510中，对关注的区域的特征，如平均颜色、颜色直方图，进行评估；在步骤520中，对周围的背景像素的相同特征进行评估；在步骤530中，对这些图像特征进行比较；根据计算的结果将关注区域确定为偷盗(步骤540)或遗失包裹(步骤550)。

在偷盗事件中，由物体遮挡的区域的颜色很可能与周围的区域相似，因此在物体的轮廓上没有明显的灰度。相反地，对于遗失包裹事件，在物体的轮廓周围有明显的边界。因此，通过计算边界像素的长度和数量，可识别偷盗事件和遗失包裹事件。

图7B示出了一种基于图像灰度法的对偷盗和遗失包裹区域进行识别的实施方式。如图7B所示，该方法包括：在步骤560中，计算区域的边界上的平均梯度；在步骤570中，将计算的平均梯度与阈值进行比较；如果平均梯度超过阈值，则将关注区域识别为遗失包裹区域(步骤550)，否则将关注区域识别为偷盗区域(步骤540)。

图8是示出由根据本发明的偷盗和遗失包裹检测***及方法对遗失包裹和偷包两个事件进行的实验的结果图片。如图8所示，根据图像顺序可确定，在一个物体上先发生了“遗失包裹”事件，接着，在另一个物体上又发生了“偷盗”事件，且偷盗区域和遗失包裹区域可被不同颜色的线框指示。

图9是示出由根据本发明的偷盗和遗失包裹检测***对偷书进行的实验的结果的图片。如图9所示，根据图像顺序，可看出一个人偷了一本书。

图10是示出由根据本发明的偷盗和遗失包裹检测***及方法对偷包进行的实验的结果的图片。根据图像顺序，可看出一个人偷了一个包。在这个实验中，虽然被偷的物体非常小，并且在此过程中被几个前景物体阻挡，但是该事件仍被成功地检测到。

因此，根据本发明的偷盗和遗失包裹检测***及偷盗和遗失包裹检测方法能够通过去除一些假警报来提高偷盗和遗失包裹检测的可靠性和准确性，并且能够对偷盗事件和遗失包裹事件进行区分。

尽管已经显示并描述了本发明的示例性实施例，但是，本领域的技术人员应该理解，在不脱离由权利要求所限定的本发明的原理和精神的情况下，可对这些示例性实施例进行各种修改。

Claims

1.一种偷盗和遗失包裹检测***，包括：

图像捕获装置，用于监视关注的场景并为***捕获新图像；

场景模块，使用由像素模型构成的场景模型记录场景的历史，其中，每个像素模型是背景模型、关注模型或前景模型；

场景对比和模型更新模块，按照像素级别将新图像和场景模型进行比较，根据对比结果来更新场景模型，并利用被记载在像素模型中的时间信息来判断每个像素的状态，从而获得关注像素以构造标记图像，其中，每个像素的状态为背景、前景或关注；

关注区域提取模块，利用时空信息提取指示发生了偷盗或遗失包裹事件的关注区域并输出该关注区域；

显示单元，显示指示发生了偷盗事件或遗失包裹事件的关注区域。

2.如权利要求1所述的***，还包括事件分类模块，用于区分偷盗事件和遗失包裹事件。

3.如权利要求2所述的***，其中，事件分类模块对关注区域的图像特征进行评估，对周围的背景像素的相同的图像特征进行评估，计算这两部分图像特征之间的差值，并根据计算的差值将关注区域确定为偷盗区域或遗失包裹区域。

4.如权利要求3所述的***，其中，图像特征是平均颜色或颜色直方图。

5.如权利要求2所述的***，其中，事件分类模块计算关注区域的边界的平均梯度，将计算的平均梯度与阈值进行比较，根据比较的结果将关注区域确定为偷盗区域或遗失包裹区域，如果平均梯度大于阈值，则将关注区域确定为遗失包裹区域，反之为偷盗区域。

6.如权利要求1所述的***，其中，关注区域提取模块还包括像素核查模块，该像素核查模块对关注像素进行核查，如果关注像素的颜色在先前的几帧内不恒定，则将该像素从关注像素中去除。

7.如权利要求1所述的***，其中，关注区域提取模块还包括关注区域核查模块，该关注区域核查模块对提取的关注区域进行核查，如果一个关注区域为独立的小区域，则将该关注区域作为假警报去除，如果一个关注区域在一段时间内没有改变，则将该关注区域报告为偷盗区域，反之，将该关注区域作为假警报去除。

8.如权利要求1所述的***，其中，场景模型是像素模型的集合，并且以混合高斯分布来描述每个像素的颜色分布：

∑w_i·N(u_i，σ_i)

其中，w_i表示每个可能的颜色的权值，N(u_i，σ_i)表示可能的颜色的函数，u_i是每个单高斯的中心，表示每个可能的颜色的平均颜色，σ_i为方差。

9.如权利要求8所述的***，其中，场景对比和模型更新模块根据新图像确定新图像中的每个像素的颜色是否属于混合高斯分布中的一个高斯，如果所述像素的颜色属于混合高斯分布中的一个高斯，则更新该一个高斯的中心和方差，增加该一个高斯的权值并减小其它高斯的权值，如果所述像素的颜色不属于任何高斯，则删除具有最小权值的高斯，并增加以所述像素的颜色为中心的新高斯，从而实现对场景模型的更新。

10.如权利要求9所述的***，其中，时间信息是像素模型变成背景模型之后的持续时间。

11.如权利要求10所述的***，其中，场景对比和模型更新模块根据像素模型的权值和预先确定的第一阈值将像素模型分成前景模型或背景模型，如果图像更新后像素模型是前景模型，则将该像素模型的持续时间设为0，如果图像更新后像素模型为背景模型，则将该像素模型的持续时间增加一个时间单位，如果像素模型的持续时间大于0且小于预先确定的第二阈值，则将像素确定为关注像素，同时，与像素的颜色对应的像素模型从背景模型变成关注模型。

12.如权利要求11所述的***，其中，场景对比和模型更新模块将像素模型中的较高的几个权值加在一起直到其结果超过第一阈值，将具有较高权值的像素模型确定为背景模型，将其它像素模型确定为前景模型。

13.一种偷盗和遗失包裹检测方法，所述方法包括以下步骤：

捕获新图像；

按照像素级别将新图像和场景模型进行比较，并根据对比结果来更新场景模型的每个像素模型，其中，每个像素模型是背景模型、关注模型或背景模型；

利用被记载在像素模型中的时间信息来判断每个像素的状态，从而获得关注像素以构造标记图像，其中，每个像素的状态为背景、前景或关注；

根据标记图像提取指示发生了偷盗事件或遗失包裹事件的关注区域，并输出该关注区域；

显示指示发生了偷盗时间或遗失包裹事件的关注区域。

14.如权利要求13所述的方法，还包括对偷盗事件和遗失包裹事件进行识别的步骤。

15.如权利要求14所述的方法，其中，识别偷盗事件和遗失包裹事件的步骤包括：

对关注区域的图像特征进行评估；

对周围的背景像素的相同特征进行评估；

计算这两部分图像特征之间的差值；

根据计算的差值将关注区域确定为偷盗区域或遗失包裹区域。

16.如权利要求15所述的方法，其中，图像特征是平均颜色或颜色直方图。

17.如权利要求14所述的方法，其中，对偷盗事件和遗失包裹事件进行识别的步骤包括：

计算关注区域的边界的平均梯度；

将计算的平均梯度与阈值进行比较；

根据比较的结果将关注区域确定为偷盗区域或遗失包裹区域，如果差别大于阈值，则关注区域被确定为遗失包裹区域，反之为偷盗区域。

18.如权利要求13所述的方法，其中，提取步骤还包括：

按照像素级别对关注像素进行核查，如果关注像素的颜色在先前的几帧内不恒定，则将该像素其从关注像素中去除。

19.如权利要求13所述的方法，其中，提取步骤还包括：

对提取的关注区域进行核查，如果一个关注区域为独立的小区域，则将该关注区域去除。

20.如权利要求13所述的方法，其中，对提取的关注区域进行核查的步骤还包括：

判断被提取的关注区域在一段时间内是否发生了变化，如果该关注区域没有发生变化，则将该关注区域报告为偷盗的区域，反之，将该关注区域作为假警报去除。

21.如权利要求13所述的方法，其中，场景模型是像素模型的集合，并且以混合高斯分布来描述每个像素的颜色分布：

∑w_i·N(u_i，σ_i)，

其中，w_i表示每个可能的颜色的权值，N(u_i，σ_i)表示可能的颜色的函数，u_i是每个单高斯的中心，表示每个可能的颜色的平均颜色σ_i为方差。

22.如权利要求21所述的方法，其中，根据新图像更新场景模型的步骤包括：

确定新图像中的每个像素的颜色是否属于混合高斯分布中的一个高斯；

如果所述像素的颜色属于混合高斯分布中的一个高斯，则更新该一个高斯的中心和方差，增加该一个高斯的权值并减小其它高斯的权值；

如果所述像素的颜色不属于任何高斯，则删除具有最小权值的高斯，并增加以所述像素的颜色为中心的新高斯，从而实现对场景模型的更新。

23.如权利要求22所述的方法，其中，时间信息是像素模型变成背景模型之后的持续时间。

24.如权利要求23所述的方法，其中，判断每个像素的状态的方法包括：

根据像素模型的权值和预先确定的第一阈值将像素模型分成前景模型或背景模型；

如果图像更新后像素模型是前景模型，则将该像素模型的持续时间设为0；

如果图像更新后像素模型仍为背景模型，则该像素模型持续时间增加一个时间单位；

如果像素模型的持续时间大于0且小于预先确定的第二阈值，则将像素确定为关注像素，同时，与像素的颜色对应的像素模型从背景模型变成关注模型。

25.如权利要求24所述的方法，其中，区分前景模型和背景模型的方法包括：

将像素模型中的较高的几个权值加在一起，直到其结果超过第一阈值，则具有较高权值的像素模型为背景模型，其它像素模型为前景模型。