CN103455997A - 一种遗弃物检测方法及*** - Google Patents

Abstract

本发明适用于安防监控技术领域，提供了一种遗弃物检测方法及***。本检测方法从视频序列中提取运动目标并追踪，检测过程分为疑似遗弃物阶段、初步判定遗弃物阶段和确认遗弃物阶段三个阶段，可避免误报警，使检测精度得到提高。在如动态背景、多运动目标等复杂的场景中都可以准确的检测出遗弃物，且易于实现和应用。

Description

一种遗弃物检测方法及***

技术领域

本发明属于安防监控技术领域，尤其涉及一种遗弃物检测方法及***。

背景技术

当今世界反恐形势严峻，为保证社会安全，对可疑遗弃物的检测已成为机场、地铁、交通关口和展览馆等公众场合安防***不可缺少的内容。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但目前的监控***一般只能录像用于事后取证，而不能实时的分析视频数据并实时报警。因此，开发出具有实际意义的自动性、智能型的视频监控***日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或监控任务。

遗弃物的检测主要利用图像处理和分析的方法，在现实场景中自动检测静态物体，提取物体信息（颜色、轨迹、轮廓），实时和准确的识别物体遗留事件的发生和报警，使计算机具有某种理解和分析视频能力，从而对危险事件具有主动监测、防范和报警的功能。这里所说的遗弃物是指被运动主体携带从运动到静止，然后与运动主体分离，静止超过一定时间并且没有所属主体的物体。遗弃物检测是智能视频监控***的主要功能之一，对于遗弃物检测算法研究的时间并不长，但实际应用中的问题却很多，因此，至今仍未得到很好的解决，特别是如何提高算法的抗干扰能力，降低算法实现的复杂度以及提高检测的精度。

发明内容

本发明所要解决的第一个技术问题在于提供一种遗弃物检测方法，旨在提高算法的抗干扰能力，降低算法实现的复杂度以及提高检测的精度。

本发明所以解决的第二技术问题在于提供一种遗弃物检测***，旨在提高算法的抗干扰能力，降低算法实现的复杂度以及提高检测的精度。

本发明是这样实现的，一种遗弃物检测方法，包括下述步骤：

步骤A，在摄像头拍摄的视频序列中提取运动目标并追踪；

步骤B，对于步骤A中追踪的运动目标，若有在预定时间段内的位移小于预设的位移阈值，且其生存周期达到预设的第一生存周期阈值、面积大于预设的面积阈值的运动目标，则将此运动目标判断为静止的疑似遗弃物，并记录此运动目标的位置以及颜色信息；

步骤C，对于步骤A中追踪的运动目标，若有运动目标在当前视频消失且此运动目标属于步骤B判断的疑似遗弃物，则将步骤B记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则初步确认此运动目标为遗弃物；

步骤D，若步骤C初步确认的遗弃物在视频序列中停留的时间超过预设的停留时间阈值，则进行报警。

进一步地，所述步骤C还包括下述步骤：

步骤C1，对于步骤A中追踪的运动目标，若有运动目标在当前视频消失且此运动目标不属于步骤B判断的疑似遗弃物，则放弃追踪此运动目标；或

步骤C2，对于步骤A中追踪的运动目标，若有运动目标在当前视频消失且此运动目标属于步骤B判断的疑似遗弃物，则将步骤B记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，则放弃追踪此运动目标同时删除此疑似遗弃物。

进一步地，所述步骤D具体包括下述步骤：

步骤D1，对于步骤C初步确认的遗弃物，通过将此遗弃物在步骤B中记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则确认此遗弃物仍存在于当前视频中；

步骤D2，统计步骤D1确认的仍存在于当前视频中的遗弃物在视频序列中停留的时间是否超过预设的停留时间阈值，若超过则进行报警。

进一步地，所述步骤D具体包括下述步骤：

步骤D3，对于步骤C初步确认的遗弃物，通过将此遗弃物在步骤B中记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，则放弃追踪此遗弃物。

进一步地，所述步骤A通过下述步骤对提取的欲追踪运动目标进行追踪：

步骤A1，将生存周期未达到预设的第二生存周期阈值的运动目标定义为可疑追踪对象；

步骤A2，将生存周期达到预设的第二生存周期阈值的运动目标定义为追踪对象；

步骤A3，对于视频序列每一帧中提取的欲追踪运动目标，首先判断已经定义过的追踪对象中是否存在与其相匹配的追踪对象，若已经定义过的追踪对象中存在与其相匹配的追踪对象，则将此运动目标与相匹配的追踪对象相关联；

步骤A4，若步骤A3判断结果为已经定义过的追踪对象中不存在与提取的欲追踪运动目标相匹配的追踪对象，则进一步判断已经定义过的可疑追踪对象中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象，若存在，则将此运动目标与相匹配的可疑追踪对象相关联，若不存在，则将此运动目标定义为新的可疑追踪对象；

步骤A5，首先遍历定义过的每个追踪对象，若存在与其向关联的运动目标，则更新此追踪对象的生存周期，并将此追踪对象的属性参数更新为相关联的运动目标的属性参数；对于不存在相关联的运动目标的追踪对象，触发执行步骤B；

步骤A6，执行步骤A5之后，再遍历定义过的每个可疑追踪对象，若存在与其向关联的运动目标，则更新此可疑追踪对象的生存周期，并判断此可疑追踪对象的生存周期是否达到预设的第二生存周期阈值，若达到则将此可疑追踪对象定义为追踪对象，同时将此可疑追踪对象的属性参数更新为相关联的运动目标的属性参数，对于不存在相关联的运动目标的可疑追踪对象则进行删除。

进一步地，所述步骤A3中判断已经定义过的追踪对象中是否存在与提取的欲追踪运动目标相匹配的追踪对象、所述步骤A4中判断已经定义过的可疑追踪对象中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象时，均通过以下步骤进行判断：

步骤A7，判断运动目标与追踪对象，或运动目标与可疑追踪对象的外接矩形是否相交；

步骤A8，若步骤A7判断结果为相交，则进一步判断相交面积是否达到预设的相交面积阈值、运动目标与追踪对象的外接矩形的面积变化率或运动目标与可疑追踪对象的外接矩形的面积变化率是否在预设的变化率范围内；

步骤A9，若步骤A8判断结果为相交面积达到预设的相交面积阈值、外接矩形的面积变化率在预设的变化率范围内，则判断运动目标与追踪对象的相匹配，或运动目标与可疑追踪对象的相匹配。

进一步地，所述步骤A通过下述步骤提取运动目标：

步骤A10，通过三帧差分和混合高斯模型相结合的方式在摄像头拍摄的视频序列中提取运动目标；和/或，

步骤A11，对提取的欲追踪运动目标图像进行形态学处理，以使提取不完整造成的断开区域联通起来。本发明提供的遗弃物检测***包括：

运动目标检测单元，用于在摄像头拍摄的视频序列中提取运动目标并追踪；

疑似遗弃物判断单元，用于对于所述运动目标检测单元追踪的运动目标，判断是否有在预定时间段内的位移小于预设的位移阈值，且其生存周期达到预设的第一生存周期阈值、面积大于预设的面积阈值的运动目标，若有则将此运动目标判断为静止的疑似遗弃物，并记录此运动目标的位置以及颜色信息；

遗弃物初步判定单元，用于对于所述运动目标检测单元追踪的运动目标，判断是否有运动目标在当前视频消失且此运动目标属于所述疑似遗弃物判断单元判断的疑似遗弃物，若有则将所述疑似遗弃物判断单元记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则初步确认此运动目标为遗弃物；

遗弃物确定单元，用于在所述遗弃物初步判定单元初步确认的遗弃物在视频序列中停留的时间超过预设的停留时间阈值时，进行报警。

进一步地，所述遗弃物初步判定单元还用于在判断结果为所述运动目标检测单元追踪的运动目标在当前视频消失，且此运动目标不属于所述疑似遗弃物判断单元判断的疑似遗弃物时，控制所述运动目标检测单元放弃追踪此运动目标。

进一步地，所述遗弃物初步判定单元还用于在判断结果为所述运动目标检测单元追踪的运动目标在当前视频消失，且此运动目标属于所述疑似遗弃物判断单元判断的疑似遗弃物时，将所述疑似遗弃物判断单元记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，控制所述运动目标检测单元放弃追踪此运动目标，且同时删除此疑似遗弃物。

进一步地，所述遗弃物确定单元包括：

第一匹配模块，用于将所述遗弃物初步判定单元初步确认的遗弃物的被所述疑似遗弃物判断单元记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则确认此遗弃物仍存在于当前视频中；

报警模块，用于统计所述第一匹配模块确认的仍存在于当前视频中的遗弃物在视频序列中停留的时间是否超过预设的停留时间阈值，若超过则进行报警。

进一步地，当所述第一匹配模块匹配后的结果为匹配度未达到预设的匹配度阈值时，所述第一匹配模块还用于控制所述运动目标检测单元放弃追踪此运动目标，且同时删除此疑似遗弃物。

进一步地，所述运动目标检测单元包括：

可疑追踪对象存储模块，用于存储生存周期未达到预设的第二生存周期阈值的运动目标；

追踪对象存储模块，用于存储生存周期达到预设的第二生存周期阈值的运动目标；

第一关联模块，用于对视频序列每一帧中提取的欲追踪运动目标，首先判断追踪对象存储模块中的追踪对象中是否存在与其相匹配的追踪对象，若存在与其相匹配的追踪对象，则将此运动目标与相匹配的追踪对象相关联；

第二关联模块，用于在所述第一关联模块判断结果为所述追踪对象存储模块中不存在与提取的欲追踪运动目标相匹配的追踪对象，则进一步判断所述可疑追踪对象存储模块中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象，若存在，则将此运动目标与相匹配的可疑追踪对象相关联，若不存在，则将此运动目标存储至所述可疑追踪对象存储模块；

追踪对象更新模块，用于首先遍历所述追踪对象存储模块中的每个追踪对象，若存在与其向关联的运动目标，则更新此追踪对象的生存周期，并将此追踪对象的属性参数更新为相关联的运动目标的属性参数；对于不存在相关联的运动目标的追踪对象，触发所述疑似遗弃物判断单元进行判断；

可疑追踪对象更新模块，用于在所述追踪对象更新模块更新完毕后，再遍历所述可疑追踪对象存储模块中的每个可疑追踪对象，若存在与其向关联的运动目标，则更新此可疑追踪对象的生存周期，并判断此可疑追踪对象的生存周期是否达到预设的第二生存周期阈值，若达到则将此可疑追踪对象定义为追踪对象，同时将此可疑追踪对象的属性参数更新为相关联的运动目标的属性参数，对于不存在相关联的运动目标的可疑追踪对象则进行删除。

进一步地，所述第一关联模块和第二关联模块均首先判断运动目标与追踪对象，或运动目标与可疑追踪对象的外接矩形是否相交，当判断结果为相交，则进一步判断相交面积是否达到预设的相交面积阈值、运动目标与追踪对象的外接矩形的面积变化率或运动目标与可疑追踪对象的外接矩形的面积变化率是否在预设的变化率范围内；若判断结果为相交面积达到预设的相交面积阈值、外接矩形的面积变化率在预设的变化率范围内，则判断运动目标与追踪对象的相匹配，或运动目标与可疑追踪对象的相匹配。

进一步地，所述运动目标检测单元包括：

运动目标提取模块，用于通过三帧差分和混合高斯模型相结合的方式在摄像头拍摄的视频序列中提取运动目标；和/或，

运动目标处理模块，用于对提取的欲追踪运动目标图像进行形态学处理，以使提取不完整造成的断开区域联通起来。

本发明利用遗弃物的特性，首先将遗弃物检测分为疑似遗弃物阶段、初步判定遗弃物阶段和确认遗弃物阶段三个阶段，可避免误报警，使检测精度得到提高，另外，整个检测过程以时间指标和距离指标为判断依据，算法简单易实现，同时还可选择仅对完全进入场景中的运动目标进行追踪检测，而忽略从视频边缘经过的运动物体的干扰，有助于提供整个追踪检测运算的抗干扰能力。

附图说明

图1是本发明实施例提供的遗弃物检测方法的实现流程图；

图2是本发明实施例提供的对运动目标进行追踪的流程图；

图3是本发明实施例提供的遗弃物检测***的结构原理图；

图4是图3中遗弃物确定单元的结构原理图；

图5是图3中运动目标检测单元的结构原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明从视频序列中提取运动目标并追踪后，将检测过程分为疑似遗弃物阶段、初步判定遗弃物阶段和确认遗弃物阶段三个阶段，最终确认为遗弃物时才进行报警。

图1示出了本发明实施例提供的遗弃物检测方法的实现流程，详述如下。

在步骤A中，在摄像头拍摄的视频序列中提取运动目标并追踪。

在进行遗弃物检测之前，首先需进行运动目标的检测，又分为将运动目标从背景中提取的过程和追踪过程两方面。

在步骤B中，对于步骤A中追踪的运动目标，若有在预定时间段内的位移小于预设的位移阈值，且其生存周期达到预设的第一生存周期阈值、面积大于预设的面积阈值的运动目标，则将此运动目标判断为静止的疑似遗弃物，并记录此运动目标的位置以及颜色信息。

遗弃物检测的目的是发现静止不动的追踪对象，这个目的可以通过查询追踪对象的历史位置信息实现。本发明实施例中，对于遗弃物的检测分为三个阶段，此步骤为第一阶段：疑似遗弃物检测阶段。在步骤A中追踪的运动目标开始静止了一定时间，但未进入或完全进入视频背景模型中，此时称为疑似遗弃物阶段，该阶段发现的目标称为疑似遗弃物。所谓疑似遗弃物即指可能成为遗弃物的运动目标，该阶段的疑似遗弃物具有完全静止且没有形变的特性。

当追踪对象信息更新时，对于每个追踪对象，做如下判断：

a)最近一定时间内位移是否小于预设的位移阈值：

其中，

为追踪对象p_X在第k帧视频中的位置相对于在第k-T_k帧视频中的位置的位移，经过的时间极为T_k，

为预设的位移阈值。

b)生存周期n是否达到一定阈值

c)面积S_X是否大于预设的面积阈值

若追踪对象满足以上条件，且未被定义为疑似遗弃物，则可以判断该追踪对象满足遗弃物检测第一阶段的条件，即疑似遗弃物，要记录该疑似遗弃物静止时的位置以及颜色信息，用于第二和第三阶段的遗弃物检测，具体可采用直方图的形式记录颜色信息。具体实施时，可为疑似遗弃物设置一个疑似遗弃物列表，将所有的疑似遗弃物都存储在此疑似遗弃物列表中。

在步骤C中，对于步骤A中追踪的运动目标，若有运动目标在当前视频消失且此运动目标属于步骤B判断的疑似遗弃物，则将步骤B记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则初步确认此运动目标为遗弃物。

当追踪对象消失时，有两种可能：一种是由于长时间静止而被学入背景，此时由于失去前景图像而导致追踪失败；另一种可能是由于追踪对象确实在视频中消失了，比如被其他物体遮挡或被移出场景。针对这两种可能，在对象消失时，查找疑似遗弃物列表。

若该对象存在疑似遗弃物列表中，则将疑似遗弃物的直方图信息和当前视频帧上相同位置处的颜色信息进行匹配，匹配度达到预设的匹配度阈值则可以确定疑似遗弃物对象被学习入背景，具体地，当两者的颜色信息的各项参数的差值在允许的范围内，即可认为达到预设的匹配度阈值，两者相匹配。这时该疑似遗弃物满足遗弃物检测的第二阶段判定规则，可以初步判定为遗弃物。于是，将疑似遗弃物从疑似遗弃物列表中删除，可加入一个遗弃物列表。匹配度低于预设的匹配度阈值则认为疑似遗弃物已不在该位置，即疑似遗弃物被遮挡或移除，此时应将疑似遗弃物从疑似遗弃物列表中删去，放弃追踪此运动目标。

若该对象不存在疑似遗弃物列表中，则说明该对象已在视频中消失，此时应直接删除该对象，放弃追踪此运动目标。

在步骤D中，若步骤C初步确认的遗弃物在视频序列中停留的时间超过预设的停留时间阈值，则进行报警。

当视频帧信息更新时，对于每个经过遗弃物判定的第二阶段，存在于遗弃物列表中的遗弃物，由于停留时间尚未达到遗弃物报警时间阈值，此时应继续对该遗弃物追踪，直到其静止时间超过遗弃物报警阈值。在此阶段，具体通过时间指标和距离指标作为判断依据，其中，时间指标用于计算暂时静止物体停留的时间，当该物体停留时间累积达到一定阈值（本发明设为6s），则发出遗弃物警报；距离指标用于判断暂时静止的物体有无运动，由于该静止物体会被混合高斯背景模型慢慢学入到背景中，其质心会发生较小的偏移，本发明中静止的判定规则，根据经验为60帧内位移少于10个像素。

但由于该遗弃物已被学入背景中，前景图像中已没有该遗弃物，本发明通过还需首先判断遗弃物是否仍然存在在当前视频中，具体的，此步骤D包括：

骤D1，对于步骤C初步确认的遗弃物，通过将此遗弃物在步骤B中记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则确认此遗弃物仍存在于当前视频中；

步骤D2，统计步骤D1确认的仍存在于当前视频中的遗弃物在视频序列中停留的时间是否超过预设的停留时间阈值，若超过则进行报警。

进一步地，还可包括步骤D3，对于步骤C初步确认的遗弃物，通过将此遗弃物在步骤B中记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，则放弃追踪此遗弃物，且同时删除此初步确认的遗弃物。

由于遗弃物检测关心的仅是运动进入视频后静止不动的物体，而运动目标是否转变为静止状态则需要追踪检测，就是在一段图像序列的每一帧图像中找到感兴趣的目标所处的位置，只有目标被跟踪到才能知道目标在整个视频中的运动状态，才能进一步分析获知目标的行为，为遗弃物检测做准备，其中，不同的运动目标具有不同参数，例如人和汽车的宽、高比例就不同，“感兴趣”的运动目标可以由用户自行定义，例如定义运动目标的宽、高比例，只对宽、高比例满足设定条件的运动对象就行追踪。目前，目标追踪领域较为成熟的是Camshift算法，但该算法在运动目标有遮挡或形变的情况下，或者运动目标与背景颜色相近的情况下容易导致跟踪失败。在本发明中，由于遗弃物检测关心的仅是运动进入视频后静止不动的物体，故采用基于矩形相交面积判定的追踪算法，该算法实现较为简单，对于遗弃物检测的效果以及实时性较好。该目标跟踪算法即为对跟踪对象的分类处理算法，主要分为新对象生成和视频帧更新两部分。因此进一步地，对于步骤A对提取的欲追踪运动目标进行追踪时，可采用如下方式进行，具体参见图2：

本发明中，基于运动目标X定义追踪对象

其中n为对象的生存期，是从对象被创建开始到当前帧为止所经历的时间，也即对象存在的帧数；为对象的当前参数，与运动目标在当前帧中的参数保持一致。为避免由于噪声和背景扰动等因素导致的临时运动目标对遗弃物检测的影响，将所有的追踪对象根据其生存期n与阈值T_e的关系分为两类：临时追踪对象与追踪对象，分别保存于对应的列表中。临时追踪对象列表定义为

追踪对象列表定义为

在临时追踪对象列表中存储所有的可疑追踪对象，而只对追踪对象列表中的追踪对象执行遗弃物检测算法。具体体现在下述步骤A1和A2中。

步骤A1，将生存周期未达到预设的第二生存周期阈值的运动目标定义为可疑追踪对象。

步骤A2，将生存周期达到预设的第二生存周期阈值的运动目标定义为追踪对象。

本发明的目标追踪算法即为对追踪对象的分类处理算法，主要分为新对象生成和视频帧更新两个部分。对于第一部分进行新对象生成，为了避免一些从视频边缘经过的运动物体的干扰，只对完全进入场景的运动目标进行处理。对于第k帧中的运动目标，根据式(3)定义的匹配函数考察其与V_trace和V_temp中的所有追踪对象是否存在匹配关系。若运动目标X与某个追踪对象

相匹配，则记录二者的关联若不存在与运动目标X匹配的追踪对象，则基于该运动目标生成新的追踪对象

并将该对象加入V_temp。对应于下述步骤A3和A4。

步骤A3，对于视频序列每一帧中提取的欲追踪运动目标，首先判断已经定义过的追踪对象中是否存在与其相匹配的追踪对象，若已经定义过的追踪对象中存在与其相匹配的追踪对象，则将此运动目标与相匹配的追踪对象相关联。

步骤A4，若步骤A3判断结果为已经定义过的追踪对象中不存在与提取的欲追踪运动目标相匹配的追踪对象，则进一步判断已经定义过的可疑追踪对象中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象，若存在，则将此运动目标与相匹配的可疑追踪对象相关联，若不存在，则将此运动目标定义为可疑追踪对象。

第二部分进行视频帧更新时，首先遍历V_trace中的每个追踪对象，若存在与之相关联的运动目标X满足

则更新该追踪对象的信息

否则，认为该追踪对象消失，触发遗弃物检测事件。然后遍历V_temp中的每个追踪对象，若存在与之相关联的运动目标X，则更新该追踪对象的信息，并进一步判断其生存期n+1是否满足阈值（本文中T_e＝10）要求，以决定是否将该对象移至V_race中；否则，认为该追踪对象消失，直接从V_temp中删除该对象。对应于下述步骤A5和A6。

步骤A5，首先遍历定义过的每个追踪对象，若存在与其向关联的运动目标，则更新此追踪对象的生存周期，并将此追踪对象的属性参数更新为相关联的运动目标的属性参数；对于不存在相关联的运动目标的追踪对象，触发执行步骤B。

步骤A6，执行步骤A5之后，再遍历定义过的每个可疑追踪对象，若存在与其向关联的运动目标，则更新此可疑追踪对象的生存周期，并判断此可疑追踪对象的生存周期是否达到预设的第二生存周期阈值，若达到则将此可疑追踪对象定义为追踪对象，同时将此可疑追踪对象的属性参数更新为相关联的运动目标的属性参数，对于不存在相关联的运动目标的可疑追踪对象则进行删除。

进一步地，上述步骤A3和步骤A4进行匹配的原理如下：

步骤A7，判断运动目标与追踪对象，或运动目标与可疑追踪对象的外接矩形是否相交；

步骤A8，若步骤A7判断结果为相交，则进一步判断相交面积是否达到预设的相交面积阈值、运动目标与追踪对象的外接矩形的面积变化率或运动目标与可疑追踪对象的外接矩形的面积变化率是否在预设的变化率范围内；

步骤A9，若步骤A8判断结果为相交面积达到预设的相交面积阈值、外接矩形的面积变化率在预设的变化率范围内，则判断运动目标与追踪对象的相匹配，或运动目标与可疑追踪对象的相匹配。

举例说明，对于目标检测阶段提取出的每个运动目标，我们可认为每一个连通区域都是一个运动目标，并计算运动目标的外接矩形，则矩形区域的中心位置代表该目标在视频场景中的位置。此时，对于第k帧图像中的某一运动目标A，可以得到其外接矩形的以下几个参数：

$p_A^k\{w_A,h_A,x_A,y_A,s_A\}---\left(1\right)$

分别为A的外接矩形的宽、高、中心x坐标、中心y坐标、面积。显然有s_A=w_A×h_A。对于分别在第k帧、l帧图像中的两个运动目标A和B，判断其外接矩形是否相交的判别函数为

对于相交的目标，可以根据相交面积和面积的变化率进一步判断是否匹配

追踪阶段可以采用抽帧检测的方法，由于时间间隔很小，相邻两帧之间满足匹配函数的运动目标即为同一个目标。

如上文所述，遗弃物检测首先需要解决的是视频序列中运动目标的提取，背景建模采用了混合高斯背景模型，它通过建立背景模型来提取运动目标图像，但传统的混合高斯模型存在着一些问题：如光线突变会对前景图像产生较大的影响，与背景颜色相近的运动目标不能完整的检测出来等。为了解决上述问题，我们通过三帧差分和混合高斯背景模型相结合方式在摄像头拍摄的视频序列中提取运动目标，可以起到消除干扰和精确前景图像的作用，使得提取的运动目标更加准确，其中，三帧差分法是帧差法的一种，采用连续三帧图像进行差分运算，先分别计算出前两帧图像和后两帧图像之间的差分结果，再将两个差分结果二值化，最后将两个结果相与，可以获取运动目标的轮廓，此算法现在已经非常成熟，此处不再赘述。混合高斯背景模型中的每个像素用K个高斯模型加权表示，此算法亦非常成熟，不再赘述。本发明中，首先分别用三帧差分法和混合高斯背景模型来提取运动目标，然后将两个提取结果相“或”，作为最终提取的运动目标。最后，对提取的欲追踪运动目标图像进行形态学处理，以使提取不完整造成的断开区域联通起来。

本领域普通技术人员可以理解实现上述各实施例提供的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该存储介质可以为ROM/RAM、磁盘、光盘等。

图3示出了本发明实施例提供的遗弃物检测***的结构原理，为了便于描述，仅示出了与本实施例相关的部分。

参照图3，本发明实施例提供的遗弃物检测***包括运动目标检测单元1、疑似遗弃物判断单元2、遗弃物初步判定单元3、遗弃物确定单元4，其中，运动目标检测单元1在摄像头拍摄的视频序列中提取运动目标并追踪，疑似遗弃物判断单元2对于运动目标检测单元1追踪的运动目标，判断是否有在预定时间段内的位移小于预设的位移阈值，且其生存周期达到预设的第一生存周期阈值、面积大于预设的面积阈值的运动目标，若有则将此运动目标判断为静止的疑似遗弃物，并记录此运动目标的位置以及颜色信息。遗弃物初步判定单元3对于运动目标检测单元1追踪的运动目标，判断是否有运动目标在当前视频消失且此运动目标属于疑似遗弃物判断单元2判断的疑似遗弃物，若有则将疑似遗弃物判断单元2记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则初步确认此运动目标为遗弃物。最后，遗弃物确定单元4在遗弃物初步判定单元3初步确认的遗弃物在视频序列中停留的时间超过预设的停留时间阈值时，进行报警。上述各单元进行判断、匹配的原理如上文所述，此处不再赘述。

进一步地，上述遗弃物初步判定单元3还用于在判断结果为运动目标检测单元1追踪的运动目标在当前视频消失，且此运动目标不属于疑似遗弃物判断单元2判断的疑似遗弃物时，控制运动目标检测单元1放弃追踪此运动目标。

进一步地，上述遗弃物初步判定单元3还用于在判断结果为运动目标检测单元1追踪的运动目标在当前视频消失，且此运动目标属于疑似遗弃物判断单元2判断的疑似遗弃物时，将疑似遗弃物判断单元2记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，控制运动目标检测单元1放弃追踪此运动目标，且同时删除此疑似遗弃物。

进一步地，如图4所示，所述遗弃物确定单元4包括：第一匹配模块41和报警模块42，第一匹配模块41将遗弃物初步判定单元3初步确认的遗弃物的被疑似遗弃物判断单元2记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则确认此遗弃物仍存在于当前视频中；报警模块42用于统计第一匹配模块41确认的仍存在于当前视频中的遗弃物在视频序列中停留的时间是否超过预设的停留时间阈值，若超过则进行报警。

进一步地，当第一匹配模块41匹配后的结果为匹配度未达到预设的匹配度阈值时，第一匹配模块41还用于控制所述运动目标检测单元放弃追踪此运动目标。

进一步地，如图5所示，运动目标检测单元1包括：可疑追踪对象存储模块11、追踪对象存储模块12、第一关联模块13、第二关联模块14、追踪对象更新模块15、可疑追踪对象更新模块16。其中，可疑追踪对象存储模块11用于存储生存周期未达到预设的第二生存周期阈值的运动目标，追踪对象存储模块12存储生存周期达到预设的第二生存周期阈值的运动目标。

第一关联模块13对视频序列每一帧中提取的欲追踪运动目标，首先判断追踪对象存储模块12中的追踪对象中是否存在与其相匹配的追踪对象，若存在与其相匹配的追踪对象，则将此运动目标与相匹配的追踪对象相关联。第二关联模块14在第一关联模块13判断结果为追踪对象存储模块12中不存在与提取的欲追踪运动目标相匹配的追踪对象，则进一步判断所述可疑追踪对象存储模块11中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象，若存在，则将此运动目标与相匹配的可疑追踪对象相关联，若不存在，则将此运动目标存储至所述可疑追踪对象存储模块。

追踪对象更新模块15首先遍历追踪对象存储模块12中的每个追踪对象，若存在与其向关联的运动目标，则更新此追踪对象的生存周期，并将此追踪对象的属性参数更新为相关联的运动目标的属性参数；对于不存在相关联的运动目标的追踪对象，触发所述疑似遗弃物判断单元进行判断；可疑追踪对象更新模块16在追踪对象更新模块15更新完毕后，再遍历所述可疑追踪对象存储模块中的每个可疑追踪对象，若存在与其向关联的运动目标，则更新此可疑追踪对象的生存周期，并判断此可疑追踪对象的生存周期是否达到预设的第二生存周期阈值，若达到则将此可疑追踪对象定义为追踪对象，同时将此可疑追踪对象的属性参数更新为相关联的运动目标的属性参数，对于不存在相关联的运动目标的可疑追踪对象则进行删除。

进一步地，第一关联模块13和第二关联模块14均首先判断运动目标与追踪对象，或运动目标与可疑追踪对象的外接矩形是否相交，当判断结果为相交，则进一步判断相交面积是否达到预设的相交面积阈值、运动目标与追踪对象的外接矩形的面积变化率或运动目标与可疑追踪对象的外接矩形的面积变化率是否在预设的变化率范围内；若判断结果为相交面积达到预设的相交面积阈值、外接矩形的面积变化率在预设的变化率范围内，则判断运动目标与追踪对象的相匹配，或运动目标与可疑追踪对象的相匹配。

进一步地，运动目标检测单元1还包括一运动目标提取模块和/或运动目标处理模块，所述运动目标提取模块过三帧差分和混合高斯模型相结合的方式在摄像头拍摄的视频序列中提取运动目标；所述运动目标处理模块对提取的欲追踪运动目标图像进行形态学处理，以使提取不完整造成的断开区域联通起来。

综上所述，本发明利用遗弃物的特性，首先将遗弃物检测分为疑似遗弃物阶段、初步判定遗弃物阶段和确认遗弃物阶段三个阶段，可避免误报警，使检测精度得到提高，另外，整个检测过程以时间指标和距离指标为判断依据，算法简单易实现，同时还可选择仅对完全进入场景中的运动目标进行追踪检测，而忽略从视频边缘经过的运动物体的干扰，有助于提供整个追踪检测运算的抗干扰能力。上述遗弃物检测方法易于实现，性能稳定，对于提高监控***对监控场景的理解能力，提升公共场所的安全性具有很重要的作用。具体可应用在如下场景中：

（1）应用于智能视频监控领域，例如，当一个物体（如箱子、包裹、车辆等）在敏感区域停留的时间过长，或超过了预定义的时间长度就产生报警。典型应用场景包括机场、火车站、地铁站等，从而可以避免因可能的***事件造成的巨大损失。

（2）应用于视觉导航领域，有效识别短暂出现目标和长期出现目标，从而可以及时分析目标对环境和行进线路的影响，实现在复杂变化环境中的自适应导航。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种遗弃物检测方法，其特征在于，包括下述步骤：

步骤A，在摄像头拍摄的视频序列中提取运动目标并追踪；

步骤B，对于步骤A中追踪的运动目标，若有在预定时间段内的位移小于预设的位移阈值，且其生存周期达到预设的第一生存周期阈值、面积大于预设的面积阈值的运动目标，则将此运动目标判断为静止的疑似遗弃物，并记录此运动目标的位置以及颜色信息；

步骤C，对于步骤A中追踪的运动目标，若有运动目标在当前视频消失且此运动目标属于步骤B判断的疑似遗弃物，则将步骤B记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则初步确认此运动目标为遗弃物；

步骤D，若步骤C初步确认的遗弃物在视频序列中停留的时间超过预设的停留时间阈值，则进行报警。

2.如权利要求1所述的遗弃物检测方法，其特征在于，所述步骤C还包括下述步骤：

步骤C1，对于步骤A中追踪的运动目标，若有运动目标在当前视频消失且此运动目标不属于步骤B判断的疑似遗弃物，则放弃追踪此运动目标；或

步骤C2，对于步骤A中追踪的运动目标，若有运动目标在当前视频消失且此运动目标属于步骤B判断的疑似遗弃物，则将步骤B记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，则放弃追踪此运动目标。

3.如权利要求1所述的遗弃物检测方法，其特征在于，所述步骤D具体包括下述步骤：

步骤D1，对于步骤C初步确认的遗弃物，通过将此遗弃物在步骤B中记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则确认此遗弃物仍存在于当前视频中；

步骤D2，统计步骤D1确认的仍存在于当前视频中的遗弃物在视频序列中停留的时间是否超过预设的停留时间阈值，若超过则进行报警。

4.如权利要求3所述的遗弃物检测方法，其特征在于，所述步骤D具体包括下述步骤：

步骤D3，对于步骤C初步确认的遗弃物，通过将此遗弃物在步骤B中记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，则放弃追踪此遗弃物。

5.如权利要求1所述的遗弃物检测方法，其特征在于，所述步骤A通过下述步骤对提取的欲追踪运动目标进行追踪：

步骤A1，将生存周期未达到预设的第二生存周期阈值的运动目标定义为可疑追踪对象；

步骤A2，将生存周期达到预设的第二生存周期阈值的运动目标定义为追踪对象；

步骤A3，对于视频序列每一帧中提取的欲追踪运动目标，首先判断已经定义过的追踪对象中是否存在与其相匹配的追踪对象，若已经定义过的追踪对象中存在与其相匹配的追踪对象，则将此运动目标与相匹配的追踪对象相关联；

步骤A4，若步骤A3判断结果为已经定义过的追踪对象中不存在与提取的欲追踪运动目标相匹配的追踪对象，则进一步判断已经定义过的可疑追踪对象中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象，若存在，则将此运动目标与相匹配的可疑追踪对象相关联，若不存在，则将此运动目标定义为新的可疑追踪对象；

步骤A5，首先遍历定义过的每个追踪对象，若存在与其向关联的运动目标，则更新此追踪对象的生存周期，并将相关联的运动目标的属性参数更新为此追踪对象的属性参数；对于不存在相关联的运动目标的追踪对象，触发执行步骤B；

步骤A6，执行步骤A5之后，再遍历定义过的每个可疑追踪对象，若存在与其向关联的运动目标，则更新此可疑追踪对象的生存周期，并判断此可疑追踪对象的生存周期是否达到预设的第二生存周期阈值，若达到则将此可以追踪对象定义为追踪对象，同时将此可疑追踪对象的属性参数更新为相关联的运动目标的属性参数，对于不存在相关联的运动目标的可疑追踪对象则进行删除。

6.如权利要求5所述的遗弃物检测方法，其特征在于，所述步骤A3中判断已经定义过的追踪对象中是否存在与提取的欲追踪运动目标相匹配的追踪对象、所述步骤A4中判断已经定义过的可疑追踪对象中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象时，均通过以下步骤进行判断：

步骤A7，判断运动目标与追踪对象，或运动目标与可疑追踪对象的外接矩形是否相交；

步骤A8，若步骤A7判断结果为相交，则进一步判断相交面积是否达到预设的相交面积阈值，即运动目标与追踪对象的外接矩形的面积变化率或运动目标与可疑追踪对象的外接矩形的面积变化率是否在预设的变化率范围内；

步骤A9，若步骤A8判断结果为相交面积达到预设的相交面积阈值、外接矩形的面积变化率在预设的变化率范围内，则判断运动目标与追踪对象相匹配，或运动目标与可疑追踪对象相匹配。

7.如权利要求1所述的遗弃物检测方法，其特征在于，所述步骤A通过下述步骤提取运动目标：

步骤A10，通过三帧差分和混合高斯模型相结合的方式在摄像头拍摄的视频序列中提取运动目标；

和/或，

步骤A11，对提取的欲追踪运动目标图像进行形态学处理，以使提取不完整造成的断开区域联通起来。

8.一种遗弃物检测***，其特征在于，包括：

运动目标检测单元，用于在摄像头拍摄的视频序列中提取运动目标并追踪；

疑似遗弃物判断单元，用于对于所述运动目标检测单元追踪的运动目标，判断是否有在预定时间段内的位移小于预设的位移阈值，且其生存周期达到预设的第一生存周期阈值、面积大于预设的面积阈值的运动目标，若有则将此运动目标判断为静止的疑似遗弃物，并记录此运动目标的位置以及颜色信息；

遗弃物初步判定单元，用于对于所述运动目标检测单元追踪的运动目标，判断是否有运动目标在当前视频消失且此运动目标属于所述疑似遗弃物判断单元判断的疑似遗弃物，若有则将所述疑似遗弃物判断单元记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则初步确认此运动目标为遗弃物；

遗弃物确定单元，用于在所述遗弃物初步判定单元初步确认的遗弃物在视频序列中停留的时间超过预设的停留时间阈值时，进行报警。

9.如权利要求8所述的遗弃物检测***，其特征在于，所述遗弃物初步判定单元还用于在判断结果为所述运动目标检测单元追踪的运动目标在当前视频消失，且此运动目标不属于所述疑似遗弃物判断单元判断的疑似遗弃物时，控制所述运动目标检测单元放弃追踪此运动目标。

10.如权利要求8所述的遗弃物检测***，其特征在于，所述遗弃物初步判定单元还用于在判断结果为所述运动目标检测单元追踪的运动目标在当前视频消失，且此运动目标属于所述疑似遗弃物判断单元判断的疑似遗弃物时，将所述疑似遗弃物判断单元记录的此运动目标的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度未达到预设的匹配度阈值，控制所述运动目标检测单元放弃追踪此运动目标，且同时删除此疑似遗弃物。

11.如权利要求8所述的遗弃物检测***，其特征在于，所述遗弃物确定单元包括：

第一匹配模块，用于将所述遗弃物初步判定单元初步确认的遗弃物的被所述疑似遗弃物判断单元记录的颜色信息和当前视频中相同位置处的颜色信息进行匹配，若匹配度达到预设的匹配度阈值，则确认此遗弃物仍存在于当前视频中；

报警模块，用于统计所述第一匹配模块确认的仍存在于当前视频中的遗弃物在视频序列中停留的时间是否超过预设的停留时间阈值，若超过则进行报警。

12.如权利要求11所述的遗弃物检测***，其特征在于，当所述第一匹配模块匹配后的结果为匹配度未达到预设的匹配度阈值时，所述第一匹配模块还用于控制所述运动目标检测单元放弃追踪此运动目标，同时删除此疑似遗弃物。

13.如权利要求8所述的遗弃物检测***，其特征在于，所述运动目标检测单元包括：

可疑追踪对象存储模块，用于存储生存周期未达到预设的第二生存周期阈值的运动目标；

追踪对象存储模块，用于存储生存周期达到预设的第二生存周期阈值的运动目标；

第一关联模块，用于对视频序列每一帧中提取的欲追踪运动目标，首先判断追踪对象存储模块中的追踪对象中是否存在与其相匹配的追踪对象，若存在与其相匹配的追踪对象，则将此运动目标与相匹配的追踪对象相关联；

第二关联模块，用于在所述第一关联模块判断结果为所述追踪对象存储模块中不存在与提取的欲追踪运动目标相匹配的追踪对象，则进一步判断所述可疑追踪对象存储模块中是否存在与提取的欲追踪运动目标相匹配的可疑追踪对象，若存在，则将此运动目标与相匹配的可疑追踪对象相关联，若不存在，则将此运动目标存储至所述可疑追踪对象存储模块；

追踪对象更新模块，用于首先遍历所述追踪对象存储模块中的每个追踪对象，若存在与其向关联的运动目标，则更新此追踪对象的生存周期，并将相关联的运动目标的属性参数更新为此追踪对象的属性参数；对于不存在相关联的运动目标的追踪对象，触发所述疑似遗弃物判断单元进行判断；

可疑追踪对象更新模块，用于在所述追踪对象更新模块更新完毕后，再遍历所述可疑追踪对象存储模块中的每个可疑追踪对象，若存在与其向关联的运动目标，则更新此可疑追踪对象的生存周期，并判断此可疑追踪对象的生存周期是否达到预设的第二生存周期阈值，若达到则将此可疑追踪对象定义为追踪对象，同时将此可疑追踪对象的属性参数更新为相关联的运动目标的属性参数，对于不存在相关联的运动目标的可疑追踪对象则进行删除。

14.如权利要求13所述的遗弃物检测***，其特征在于，所述第一关联模块和第二关联模块均首先判断运动目标与追踪对象，或运动目标与可疑追踪对象的外接矩形是否相交，当判断结果为相交，则进一步判断相交面积是否达到预设的相交面积阈值、运动目标与追踪对象的外接矩形的面积变化率或运动目标与可疑追踪对象的外接矩形的面积变化率是否在预设的变化率范围内；若判断结果为相交面积达到预设的相交面积阈值、外接矩形的面积变化率在预设的变化率范围内，则判断运动目标与追踪对象的相匹配，或运动目标与可疑追踪对象的相匹配。

15.如权利要求8所述的遗弃物检测***，其特征在于，所述运动目标检测单元包括：

运动目标提取模块，用于通过三帧差分和混合高斯模型相结合的方式在摄像头拍摄的视频序列中提取运动目标；

和/或，

运动目标处理模块，用于对提取的欲追踪运动目标图像进行形态学处理，以使提取不完整造成的断开区域联通起来。

Images