CN105554462B - 一种遗留物检测方法 - Google Patents

Abstract

本发明涉及一种遗留物检测方法，其特征是：包括以下步骤：（1）、根据摄像机拍摄的图像，获取前端采集的图像；（2）、对获取的图像进行前景目标的提取；（3）、根据前景目标特征提取可疑的遗留目标；（4）、对提取的可疑目标进行特征分析，筛除非遗留目标；（5）、对筛选后目标进行进一步特征分析，确定遗留目标。本发明的有益效果是：避免了使用双背景模型造成的检测速度慢、复杂度高等问题，可应对一定程度的目标遮挡从而减少遗留物的漏检，减少了由于阴影、光照等问题造成的误检，去除了场景中的物体被搬移造成的误检，解决了遗留物检测存在的误报漏报高的问题，提高了遗留物检测的准确性。

Description

一种遗留物检测方法

（一） 技术领域

本发明属于视频监控、视频图像处理与分析及机器视觉技术领域，特别涉及一种遗留物检测方法。

（二） 背景技术

当今世界反恐形势严峻，为了保障社会公共安全，阻止银行、机场、地铁、展览馆、体育馆、火车站、商场等公共场所恐怖袭击的发生已经是迫在眉睫的任务，而这些场所的恐怖袭击又主要以包裹炸弹的方式出现较多，所以对这些场所的遗留包裹检测是智能视频监控***不可或缺的功能。

现有的遗留物检测方法主要有两种：基于目标跟踪的方法和基于目标检测的方法。

基于目标跟踪的方法：首先检测前景目标，对进入视频场景中的每个目标进行实时跟踪，根据目标的运动轨迹和时空特性等信息，采用相应的算法对遗留物进行检测。这种方法需要解决进入、跟踪、分割、离开、遮挡等问题，不适用于机场、车站候车厅等人流拥挤、场景复杂的场合；当目标交叉遮挡时无法准确标记跟踪；此外，该类方法耗时长，处理速率低，不适合实时的遗留物检测。

基于目标检测的方法：根据检测到的运动目标，利用目标运动属性和时空特性等统计信息，设定相应的时间和空间阈值进行判别。该类方法相比基于跟踪的方法，无需对场景中的所有目标进行跟踪，耗时少，复杂度低，如果在检测到目标后运用较合适的统计信息进行处理应该会达到比较好的效果，在实时处理过程中占有优势。针对遗留物检测的实现，目前已有不同的方法。方法一：基于双背景建模的方法，该方法建立两个不同更新速率的背景模型，通过背景差法得到两类前景，包括快速运动的目标和慢速或暂时静止的目标，进而筛选出遗留目标；该方法的缺点是双背景模型的建立计算复杂度较高，检测速度慢，不适于实时进行遗留检测。方法二：进行背景建模确定目标区域，并根据目标区域的前景像素存在时间生成可疑的遗留目标，根据可疑的遗留目标的二值图像提取物体掩膜，再对当前场景的图像进行特性分析，利用当前场景图像与提取的掩膜图像的特性相关程度确定是否为遗留物；该方法存在的问题是没有进一步区分最后报警的目标是物体被遗留还是本来在场景中的物体被搬移的情况。方法三：将基于局部更新的背景建模方法和改进的三帧差分法得到的前景目标进行比较，分割得到场景内的暂时静止物团块，采用质心判距法统计每个团块的静止时间，对达到时间阈值的静止团块进一步判断筛选出遗留物；该方法的缺点是在统计团块静止时间时，易受行人遮挡的影响，使得统计的静止时间达不到设定的时间阈值，一定时间后遗留物融入背景模型，便不再被检出从而造成漏检。

（三）发明内容

本发明为了弥补现有技术的不足，提供了一种遗留物检测方法，避免了使用双背景模型造成的检测速度慢、复杂度高等问题，可应对一定程度的目标遮挡从而减少遗留物的漏检，减少了由于阴影、光照等问题造成的误检，去除了场景中的物体被搬移造成的误检，解决了遗留物检测存在的误报漏报高的问题，提高了遗留物检测的准确性。

本发明是通过如下技术方案实现的：

一种遗留物检测方法，其特征是：包括以下步骤：

（1）、根据摄像机拍摄的图像，获取前端采集的图像；

（2）、对获取的图像进行前景目标的提取；

（3）、根据前景目标特征提取可疑的遗留目标；

（4）、对提取的可疑的遗留目标进行特征分析，初步筛除非遗留目标；

（5）、对筛选后目标进行进一步特征分析，确定遗留目标。

优选的，在步骤（2）中，将获取的图像进行灰度化处理，得到其灰度图像；对获取的灰度图像提取运动前景。

优选的，在步骤（2）中，对提取的运动前景进行连通域检测；提取每个连通域的外接矩形，将其作为运动目标；保存每个运动目标的质心，并为每个运动目标设置相应的计时器。

优选的，在步骤（3）中，提取长时间静止的目标，将其保存为可疑的遗留目标，同时保存该目标对应于当前帧灰度图和背景中相同区域的图像信息，为可疑的遗留目标设置目标相关度和遗留置信度，并进行初始化。

优选的，在步骤（4）中，分别提取保存的灰度图像与当前帧相同区域灰度图像的纹理特征，计算纹理特征的特征相似度，将获取的相似度与设定的相似度阈值进行比较，依据比较结果更新目标相关度，根据目标相关度的值决定是否保留该目标。

优选的，在步骤（4）中，分别提取保存的背景图像与当前帧相同区域灰度图像的梯度特征，计算其梯度差异，将获取的梯度差异与设定的梯度阈值进行比较，依据比较结果更新遗留置信度，然后输出遗留置信度。

优选的，在步骤（5）中，根据目标筛选结果，得出目标的遗留置信度，通过设定的置信度阈值判定最终的遗留物目标。

本发明的有益效果是：利用背景减除方法，建立一个背景模型提取出运动前景，避免了使用双背景模型造成的检测速度慢、复杂度高等问题；在检测到运动前景后，利用质心判距法进行可疑的遗留目标的提取，并为每个可疑的遗留目标设置相应的计时器，用质心代表检测到的前景物体，用当前帧质心和保存的质心进行比较，并依据比较结果调整计时器的值，该过程可应对一定程度的目标遮挡从而减少遗留物的漏检；将检测到的可疑遗留区域与未发生遗留时场景中该区域进行相似度判断进一步进行目标筛选，减少了由于阴影、光照等问题造成的误检；经目标筛选后，提取发生遗留后该区域的边缘特征，与未发生遗留时场景的相同区域边缘特征进行对比判断，去除了场景中的物体被搬移造成的误检，从而提高了遗留物检测的准确性。

（四）附图说明

下面结合附图对本发明作进一步的说明。

附图1为本发明的工作流程图；

附图2为本发明的提取前景目标的工作流程图；

附图3为本发明的提取可疑的遗留目标的工作流程图；

附图4为本发明的筛除非遗留目标的工作流程图；

附图5为本发明的确定遗留目标的工作流程图；

（五）具体实施方式

附图为本发明的一种具体实施例。该实施例包括以下步骤：（1）、根据摄像机拍摄的图像，获取前端采集的图像；（2）、对获取的图像进行前景目标的提取；（3）、根据前景目标特征提取可疑的遗留目标；（4）、对提取的可疑的遗留目标进行特征分析，初步筛除非遗留目标；（5）、对筛选后目标进行进一步特征分析，确定遗留目标。在步骤（2）中，将获取的图像进行灰度化处理，得到其灰度图像；对获取的灰度图像提取运动前景。在步骤（2）中，对提取的运动前景进行连通域检测；提取每个连通域的外接矩形，将其作为运动目标；保存每个运动目标的质心，并为每个运动目标设置相应的计时器。在步骤（3）中，提取长时间静止的目标，将其保存为可疑的遗留目标，同时保存该目标对应于当前帧灰度图和背景中相同区域的图像信息，为可疑的遗留目标设置目标相关度和遗留置信度，并进行初始化。在步骤（4）中，分别提取保存的灰度图像与当前帧相同区域灰度图像的纹理特征，计算纹理特征的特征相似度，将获取的相似度与设定的相似度阈值进行比较，依据比较结果更新目标相关度，根据目标相关度的值决定是否保留该目标。在步骤（4）中，分别提取保存的背景图像与当前帧相同区域灰度图像的梯度特征，计算其梯度差异，将获取的梯度差异与设定的梯度阈值进行比较，依据比较结果更新遗留置信度，然后输出遗留置信度。在步骤（5）中，根据目标筛选结果，得出目标的遗留置信度，通过设定的置信度阈值判定最终的遗留物目标。

采用本发明的一种遗留物检测方法，其具体步骤如下：

步骤101，根据摄像机拍摄的图像，获取前端采集的图像。

步骤102，对获取的视频图像进行前景目标的提取。

步骤103，根据前景目标特征提取可疑的遗留目标。

步骤104，对提取的可疑的遗留目标进行特征分析，初步筛除非遗留目标。

步骤105，对筛选后目标进一步特征分析，从而确定遗留目标。

步骤102中，将获取的视频图像进行灰度化处理，得到其灰度图像；对获取的灰度图像采用背景减除法检测运动前景；对提取的运动前景进行连通域检测；提取每个连通域的外接矩形，将其作为运动目标；保存每个运动目标的质心，并为每个运动目标设置相应的计时器。

步骤201，对前端采集的视频图像进行灰度化处理，得到其灰度图像。若获取的YUV格式的待处理视频，只取出其Y分量即可。

步骤202，对上述处理得到的灰度图像采用背景减除法检测运动前景，即通过建立背景模型，分析每一帧与这个模型偏差来检测运动目标，生成包含运动目标的二值图像。

步骤203，应用连通域提取算法，对前景进行连通域标记。

步骤204，采用获取图像区域最小外接矩形的算法，提取每个连通域的外接矩形，将所得外接矩形作为运动目标进行后续处理。

步骤205，保存每个运动目标的质心，即上述获取的连通域的外接矩形的质心，并为每个运动目标设置相应的计时器。

步骤103中，对当前帧获取的运动目标与保存的运动目标进行以下处理：

判断当前帧获取的运动目标与保存的运动目标的匹配情况。若匹配，则目标计时器增加一个固定值。若当前帧获取的运动目标与保存的运动目标都不匹配，则将该目标保存为新的运动目标。

对保存的运动目标进行处理。若目标计时器小于0，则删除保存的该目标；若目标计时器大于设定的时间阈值，则将该目标保存为可疑的遗留目标，同时保存该目标对应于当前帧灰度图和背景中相同区域的图像信息，并为可疑的遗留目标设置目标相关度和遗留置信度，并进行初始化。

步骤301，获取步骤102中保存的每个运动目标的质心及其计时器信息。

步骤302，判断当前帧获取的运动目标与保存的运动目标的匹配情况。采用质心判距法计算当前帧运动目标的质心与保存的运动目标的质心之间的距离。

步骤303，若上述计算的质心间的距离小于设定的距离阈值，则判定为目标匹配；若质心间的距离不小于该设定的距离阈值，则判定为不匹配。

步骤304，在上述判定为目标匹配时，相应的目标计时器加上一个固定值a。

步骤305，对目标计时器进行判断。

步骤306，若目标计时器的值小于0，则删除该目标。

步骤307，若目标计时器的值不小于0，进一步判断目标计时器是否大于设定的时间阈值。

步骤308，若目标计时器大于设定的时间阈值，则将其保存为可疑的遗留目标，并保存该目标对应于当前帧灰度图和背景中相同区域的图像信息。

步骤309，若目标计时器大于设定的时间阈值，在将其保存可疑的遗留目标时，设置目标相关度和遗留置信度，并为其初始化。

步骤310，若目标计时器不大于设定的时间阈值，将其减去一个固定值b。

步骤104中，对保存的可疑的遗留目标进行以下处理：

分别提取保存的灰度图像与当前帧相同区域灰度图像的纹理特征，计算纹理特征的特征相似度，将获取的相似度与设定的相似度阈值进行比较，依据比较结果更新目标相关度，根据目标相关度的值决定是否保留该目标。

同时，分别提取保存的背景图像与当前帧相同区域灰度图像的梯度特征，计算其梯度差异，将获取的梯度差异与设定的梯度阈值进行比较，依据比较结果更新遗留置信度，最终输出遗留置信度做后续处理。

步骤401，获取步骤103中保存的可疑的遗留目标及其相应的图像信息、目标相关度和遗留置信度。

步骤402，判断该帧中对应于可疑的遗留目标位置是否有运动前景。若有运动前景，则不处理；否则进行以下步骤。

步骤403，分别提取保存的灰度图像与当前帧相同区域灰度图像的纹理特征。以LBP纹理特征为例：计算保存的灰度图像与当前帧相同区域灰度图像的LBP纹理特征，统计LBP特征直方图。

步骤404，将上述获取的纹理特征进行相似度计算，获取图像的相似度。计算两个直方图的相似度，计算公式如下：

其中，i表示直方图灰度值。

步骤405，将上述计算的相似度与设定的相似度阈值进行比较。

步骤406，若计算所得相似度大于设定的相似度阈值，则将目标相关度加一个固定值c。

步骤407，若计算所得相似度不大于设定的相似度阈值，则将目标相关度减一个固定值d。

步骤408，将上述所得目标相关度与设定的相关度阈值进行比较。

步骤409，若所得目标相关度不大于设定的相关度阈值，则将该可疑的遗留目标删除。

步骤410，若所得目标相关度大于设定的相关度阈值，则保留该目标做后续处理。

步骤411，分别提取保存的背景图像与当前帧相同区域灰度图像的梯度特征。以Sobel特征为例，提取保存的背景图像与当前帧图像相同区域灰度图像的Sobel特征，并将其二值化处理。

步骤412，计算保存背景图像与当前帧灰度图像的梯度差异。统计二值化后的特征图中非零像素个数，求其非零像素个数之差。

步骤413，将上述所得梯度差异与设定的梯度阈值进行比较。

步骤414，若所得梯度差异大于设定的梯度阈值，则将该目标的遗留置信度加1。

步骤415，若所得梯度差异不大于设定的梯度阈值，则将该目标的遗留置信度减1。

步骤416，输出目标的遗留置信度做后续处理。

步骤105中，根据步骤104所得的目标筛选结果，以及目标的遗留置信度，通过设定的置信度阈值判定最终的遗留物目标。

步骤501，获取步骤104目标筛选后的结果。

步骤502，获取步骤104输出的目标置信度。

步骤503，将获取的目标置信度与设定的置信度阈值进行比较。

步骤504，若目标置信度不大于设定的置信度阈值，则将该目标删除。

步骤505，若目标置信度大于设定的置信度阈值，则将该目标判定为遗留目标。

本发明所列出的一系列的详细说明，仅仅是对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，在不背离本发明精神或基本特征的情况下，以其他的具体形式、等效方式、变更方式实现本发明，均应包含在本发明的保护范围之内。

本发明按照实施例的方式描述，但并不是每个实施方式仅包含一个独立的技术方案，还应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

此外，本发明实施例是用流程图和/或方框图来描述的，计算机程序指令实现流程图和/或方框图，除了可提供方法、***（装置）或计算机程序产品外，还可提供计算机程序指令到计算机嵌入式处理机或者其他可编程数据处理设备中，使其产生流程图和/或方框图中的功能。

Claims (4)

1.一种遗留物检测方法，其特征是：包括以下步骤：

（1）、根据摄像机拍摄的图像，获取前端采集的图像；

（2）、对获取的图像进行前景目标的提取：将获取的图像进行灰度化处理，得到其灰度图像；对获取的灰度图像提取运动前景：对上述处理得到的灰度图像采用背景减除法检测运动前景，即通过建立背景模型，分析每一帧与这个模型的偏差来检测运动目标，生成包含运动目标的二值图像；应用连通域提取算法，对前景进行连通域标记；采用获取图像区域最小外接矩形的算法，提取每个连通域的外接矩形，将所得外接矩形作为运动目标进行后续处理；保存每个运动目标的质心，即上述获取的连通域的外接矩形的质心，并为每个运动目标设置相应的计时器；

（3）、根据前景目标特征提取可疑的遗留目标：获取保存的每个运动目标的质心及其计时器信息；判断当前帧获取的运动目标与保存的运动目标的匹配情况，采用质心判距法计算当前帧运动目标的质心与保存的运动目标的质心之间的距离；若上述计算的质心间的距离小于设定的距离阈值，则判定为目标匹配；若质心间的距离不小于该设定的距离阈值，则判定为不匹配；在上述判定为目标匹配时，相应的目标计时器加上一个固定值a；对目标计时器进行判断，若目标计时器的值小于0，则删除该目标；若目标计时器的值不小于0，进一步判断目标计时器是否大于设定的时间阈值，若目标计时器大于设定的时间阈值，则将其保存为可疑的遗留目标，并保存该目标对应于当前帧灰度图和背景中相同区域的图像信息；若目标计时器大于设定的时间阈值，在将其保存为可疑的遗留目标时，设置目标相关度和遗留置信度，并将其初始化；若目标计时器不大于设定的时间阈值，将其减去一个固定值b；

（4）、对提取的可疑的遗留目标进行特征分析，筛除非遗留目标：分别提取保存的灰度图像与当前帧相同区域灰度图像的纹理特征，计算保存背景图像与当前帧灰度图像的梯度差异，将上述所得梯度差异与设定的梯度阈值进行比较，若所得梯度差异大于设定的梯度阈值，则将该目标的遗留置信度加1；若所得梯度差异不大于设定的梯度阈值，则将该目标的遗留置信度减1，输出目标的遗留置信度；计算纹理特征的特征相似度，将获取的相似度与设定的相似度阈值进行比较，依据比较结果更新目标相关度，根据目标相关度的值决定是否保留该目标；

（5）、对筛选后目标进行进一步特征分析，将获取的目标的遗留置信度与设定的遗留置信度阈值进行比较，确定遗留目标。

2.根据权利要求1所述的一种遗留物检测方法，其特征是：在步骤（3）中，提取长时间静止的目标，将其保存为可疑的遗留目标，同时保存该目标对应于当前帧灰度图和背景中相同区域的图像信息，为可疑的遗留目标设置目标相关度和遗留置信度，并进行初始化。

3.根据权利要求1所述的一种遗留物检测方法，其特征是：在步骤（4）中，分别提取保存的背景图像与当前帧相同区域灰度图像的梯度特征，计算其梯度差异，将获取的梯度差异与设定的梯度阈值进行比较，依据比较结果更新遗留置信度，然后输出遗留置信度。

4.根据权利要求1所述的一种遗留物检测方法，其特征是：在步骤（5）中，根据目标筛选结果，得出目标的遗留置信度，通过设定的置信度阈值判定最终的遗留物目标。