CN111582166A - 基于高斯建模和YoLo V3目标检测的遗留物检测方法 - Google Patents

Abstract

本发明公开了一种基于高斯建模和YoLo V3检测的遗留物检测方法，涵盖计算机视觉、人工智能、物体检测、智能监控等领域。该检测方法包括以下内容：根据监控视频得到的视频图像数据进行抽帧处理，然后裁剪操作，进行灰度化预处理；对预处理过后的视频图像进行混合高斯建模操作，分离背景视频图像得到前景视频图像；对得到的前景视频图像做混合高斯建模操作，分离前景视频图像得到新的背景视频图像；获取背景视频图像中的遗留物体进行是否是行人判定；获取质心后进行轨迹跟踪并计时；输出到原始视频图像上报警；对环境的适应性高，抗干扰性强，鲁棒性高。

Description

基于高斯建模和YoLo V3目标检测的遗留物检测方法

技术领域

本发明涉及计算机视觉技术在智能监控领域的应用，尤其涉及一种基于高斯建模和YoLo V3目标检测的遗留物检测方法。

背景技术

现如今，随着视频监控设备的普及，无论是飞机场、地铁、火车等公共场合，还是商家店铺等地，都已经安装上了密密麻麻的监控摄像头。但是由于以往的视频监控，只能够对监控场景进行存储及查看，一些紧要的地方还需要工作人员日夜守候，极大地浪费了人力、物力，并且也不能做到有事情发生的时候立马发出警告，因此对传统的视频监控进行改造升级是迫在眉睫的事情。

有一个比较好的方法便是，为传统视频监控装上“脑子”，能够自动识别出监控场景下的异常，比如遗留物检测，并实现实时报警。

现有的遗留物检测方法有几种：

(1)方法一：采用双背景建模，然后进行取差操作，得到滞留目标，但该方法涉及的计算量庞大，图像越大越清晰，此方法便越耗时，降低清晰度会造成准确率的下降，不适用于需要实时检测的监控场景。

(2)方法二：先对监控视频图像进行建模操作，并且设定一个阈值，对于存在时间过长的前景目标进行标记，对该处目标筛选出物体掩膜，然后对该目标图像进行特征化分析，利用源图像标记好的前景目标与该处筛选好的目标进行相关程度评定，如果大于一个阈值则判定为遗留物。但此方法存在一个弊端，受噪音的影响比较大，如果对一处噪声进行标记，将不影响后续的操作，误识别率会上升。

(3)方法三：采取双背景建模的双掩膜背景更新方法：首先建立一长一短双背景高斯模型，然后将短背景模型与长背景模型得到的前景进行相减操作，得到的二值化图像便是遗留物体，缺点是短背景模型更新时间极快，短背景高斯模型的前景图像会很快的融入背景中，造成遗留物检测准确率较低。

因此，现有技术存在问题，需要进一步改进。

发明内容

本发明为了弥补现有技术的不足，提供了一种基于高斯建模和YoLo V3目标检测的遗留物检测方法，避免了使用双背景模型造成的检测速度慢、复杂度高等问题，可应对一定程度的目标遮挡从而减少遗留物的漏检，减少了由于阴影、光照等问题造成的误检，去除了场景中的物体被搬移造成的误检，解决了遗留物检测存在的误报漏报高的问题，提高了遗留物检测的准确性。

为实现上述目的，本发明的具体技术方案如下：

一种基于高斯建模和YoLo V3目标检测的遗留物检测方法，包括如下步骤：

F1、采集原始图像；

F2、混合高斯建模得到前景视频图像；

F3、二次建模得到背景视频图像；

F4、得到滞留物体坐标点及外接矩形框；

F5、排除行人避免造成误检；

F6、跟踪外接矩形框，设定时间阈值并实时报警。

所述步骤F1采集原始图像，使用以下步骤实现：

(1)、将原始监控视频图像进行抽帧处理，10帧取1帧，然后将重新合成得到的监控视频图像Resize(调整)到100*100～1280*720之间，一般来说352*288能够同时满足实时与准确率的要求；

(2)、再将图像进行灰度化处理，得到灰度图像，能够大幅度减少高斯建模运算量，缓解内存压力；

所述步骤F2混合高斯建模得到前景视频图像，使用以下步骤实现：

(1)、对于帧率大于500帧的视频图像，采取正常建模灵敏度的方法；对于帧率小于500帧的视频图像，采取快速建模的方法，目的是为了保证帧率少的图像不受建模灵敏度限制；

(2)、将分离出来的前景视频图像进行阈值化处理；

所述步骤F3二次建模得到背景视频图像，使用以下步骤实现：

(1)、对于F1中步骤(2)获得的前景视频图像再次建模，能够减少树叶、风扇等微动物体带来的噪音，得到更加清晰的滞留物体视频图像；

(2)、将分离出来的背景视频图像进行阈值化处理；

所述步骤F4得到滞留物体坐标点及外接矩形框，使用以下步骤实现：

(1)、获取F3中步骤(2)背景视频图像中物体的坐标点以及外接矩形框；

(2)、将坐标点及外接矩形框反馈到F1中步骤(1)原图像中；

根据步骤F5排除行人避免造成误检，使用以下步骤实现：

(1)、通过YoLo v3目标检测算法，将原图像中的所有行人框选出来，并输出矩形框坐标值，假定下标从1开始；

(2)、所有行人框与步骤F4得到的物体外接矩形框进行重合面积计算，设定比例阈值0.85，如果大于此阈值，则将此外接矩形框中的物体视为行人抛弃；

所述步骤F6跟踪外接矩形框，设定时间阈值并实时报警，使用以下步骤实现：

(1)、通过质心对目标轨迹进行跟踪；

(2)、对该矩形框设定一个时间阈值，如果存在时间超过20s，则将此外接矩形框标记输出到原始视频图像上。

本发明相对于以往的遗留物检测方法，有以下几个优点：

(1)、本发明采用二次建模的方式，对像素要求不高，最低能够对100*100的分辨率进行检测，运算量极少，能够满足实时检测的要求，提高算法的实时效率；

(2)、本发明对噪音的敏感程度低，再加上行人检测过滤的方式，筛选掉一批造成误检的行人，减少物体滞留检测的误检率；

(3)、本发明采用设定时间存在阈值的方式，能够防止物体滞留一段时间后突然被带走，造成误检，提高检测的准确率；

附图说明

图1为本发明的整体实现工作流程图；

图2为本发明中避免行人造成误检的工作流程图。

具体实施方式

为了便于本领域的普通技术人员能够理解并实施本发明，下面将结合附图对本发明实施例作进一步说明。

为了降低双背景建模带来的运算量庞大的缺点，能够实时对监控视频图像进行检测，并且为了提供遗留物检测的准确率，因此本发明提供了一种基于高斯建模以及YoLo V3目标检测的滞留物检测方法，具体步骤参见附图1，本发明对附图1中内容作如下阐述：

F1采集原始图像

通过视频流传输获取视频监控图像，由于帧间的图像运动差别变化不大，且为了降低建模的运算量，因此每间隔10帧抽取一张图像，并将图像resize(调整)到一定的范围区间，根据经验值计算，352x288的分辨率可以同时满足高准确率与实时性的要求。并且将此RGB图像转化为灰度图像，减少下一步建模工作的计算量。

F2混合高斯建模得到前景视频图像；

在上一步中我们得到了制作好的视频图像，并且做了一定的前处理工作。在这一步中，将对此视频图像进行第一次建模，通过混合高斯建模分离前景与背景图像。

F3二次建模得到背景视频图像；

对于上一步得到的前景图像来说，由于存在许多微动物体，比如云朵、风吹树叶、风扇灯带来的噪音现象，不利于以后的分析，因此对前景图像再一次建模，去除噪音对滞留物分析的干扰。

F4得到滞留物体坐标点及外接矩形框；

通过二次建模后的背景图像，由于噪音处于不断的变动，因此再建模过程中始终保持为前景，而静止不动的物体却转化成为了背景视频图像；

通过8连通区域算法，遍历视频图像，设定连通区域初始面积为5，排除掉部分噪音，得到所有的连通区域，根据连通区域再图像中的位置得到4个坐标点以及外接矩形框以及质心。

F5排除行人避免造成误检；

通过背景视频图像得到疑似遗留物体的外接矩形框，将矩形框通过步骤F4输出到原图像上，对此部分图像进行裁剪，裁剪后的图像resize(调整)到212x212大小。

将裁剪后的图像输入到YoLo V3网络模型中检测是否存在行人目标，参见附图2，对具体实现过程作如下阐述：

1)如果不存在行人，则将该疑似遗留物体外接矩形框送入步骤F6中；

2)如果存在行人，则输出行人矩形框面积A，对该行人框与裁剪后的图像作交集计算，计算公式为：C＝A/(212x212)；

3)如果C>0.85，则该遗留物体判定为行人，该矩形框丢弃处理；

4)如果C<0.85，则该遗留物体判定为遗留物体，送入步骤F6中进行下一步处理；

F6跟踪外接矩形框，设定时间阈值并实时报警；

通过F5步骤对所有的外接矩形框进行判定，得到非行人的外接矩形框，并通过F4步骤得到的外接矩形框质心进行目标跟踪，如果此外接矩形框存在时间大于20s，则将此外接矩形框送入原始图像中标记并将矩形框在原始视频图像上显示，并报警。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于高斯建模和YoLo_V3目标检测的遗留物检测方法，其特征在于，包括以下步骤：

(1)采集原始图像；

(2)混合高斯建模得到前景视频图像；

(3)二次建模得到背景视频图像；

(4)得到滞留物体坐标点及外接矩形框及质心；

(5)排除行人避免造成误检；

(6)跟踪外接矩形框，设定时间阈值并实时报警。

2.根据权利要求1所述的基于高斯建模和YoLo V3目标检测的遗留物检测方法，其特征在于，所述步骤(1)中采集原始图像的方法为：

根据监控视频得到的视频图像数据进行抽帧处理，然后裁剪操作，进行灰度化预处理。

3.根据权利要求2所述的基于高斯建模和YoLo V3目标检测的遗留物检测方法，其特征在于，所述步骤(2)具体为：

对预处理过后的视频图像进行混合高斯建模操作，分离背景视频图像得到前景视频图像。

4.根据权利要求3所述的基于高斯建模和YoLo V3目标检测的遗留物检测方法，其特征在于，所述步骤(3)具体为：

对获取的前景视频图像进行混合高斯建模操作，分离前景视频图像得到新的背景视频图像。

5.根据权利要求4所述的基于高斯建模和YoLo V3目标检测的遗留物检测方法，其特征在于，所述步骤(4)具体为：

对所有的背景目标进行连通区域检测，得到物体的坐标点及外接矩形框及质心的位置。

6.根据权利要求5所述的基于高斯建模和YoLo V3目标检测的遗留物检测方法，其特征在于，所述步骤(5)包括如下几个步骤：

a)通过所述步骤(4)得到物体的坐标点及外接矩形框，将矩形框的位置再原视频图像上抠图，并裁剪为212x212分辨率大小；

b)将该图像送入YoLo V3模型中，识别是否存在行人；

c)若不存在，则该图像对应的外接矩形框送入所述步骤(6)中进行跟踪；

d)若行人存在，则将行人矩形框与该图像进行求交集操作，得到面积阈值D；

e)如果面积阈值D>0.85，则判定该图像对应的外接矩形框中为行人，放弃所述步骤(6)操作；

f)如果面积阈值D<0.85，则判定该图像对应的外接矩形框中为物体，送入所述步骤(6)中进行跟踪。

7.根据权利要求6所述的基于高斯建模和YoLo V3目标检测的遗留物检测方法，其特征在于，所述步骤(6)对所有的外接矩形框通过外接矩形框质心进行目标跟踪，如果存在任一外接矩形框存在时间大于20s，则将该外接矩形框送入原始图像中标记并将矩形框在原始视频图像上显示，并报警。

Images