CN111160187A - 一种遗留物体检测的方法、装置及*** - Google Patents

Abstract

本发明公开了一种遗留物体检测的方法、装置及***，用于有效解决遗留物体的检测问题。所述方法包括：将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体；若为指定类型物体，则对第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，第一IOU为第一物体的目标检测框与检测到的人的目标检测框之间的IOU；若等于或大于，则确定第一物体的第一图像稳定时间以及第一背景差异时间；根据第一物体遗留时间、第一图像稳定时间以及第一背景差异时间，确定第一物体是否为遗留物体。

Description

一种遗留物体检测的方法、装置及***

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种遗留物体检测的方法、装置及***。

背景技术

在有人来往的电梯、会议室等场合，有时会出现遗留物体，例如没有主人的手机、包等，为了能够及时发现这些遗留物体，对电梯、会议室等场合进行实时监控就变得非常重要。而传统的视频监控只是对视频进行采集和存储，不能智能的自动判断其中信息，遗留物体的发现全靠视频监控者的肉眼，效率低下。在这种情况下，智能监控应运而生。智能监控是指借助计算机技术，通过对图像视频进行处理来代替人工对实时的录像信息进行分析和理解，协助监控人员以此为基础对视频信息进行进一步的响应和处理，从而达到减少甚至代替监控人员工作的目的。

然而，遗留物体的检测是一个特别复杂的问题，因为需要进行检测的环境可能会存在很多遮挡，目前针对遗留物体检测已存在一些方案，例如：可以使用融合多相机信息来解决智能视频监控场景中容易存在的遮挡问题，但是精确的相机模型往往难以获得，在实际应用中效果并不理想；可以利用混合高斯对图像视频进行背景建模，然而混合高斯背景建模需要较大的训练量和计算量，难以满足监控***在实时性上的需要。

现有技术中的这些解决方案或是获取的相机模型不够精确，无法进行实际应用，或是背景建模的训练量和计算量较大，无法进行实时应用，都存在较多问题，均不完善，可见在现有技术中所提供的方案都不能有效解决遗留物体的检测问题。

发明内容

本申请实施例提供一种遗留物体检测的方法、装置及***，用于有效解决遗留物体的检测问题。

第一方面，为解决上述技术问题，本申请实施例提供一种遗留物体检测的方法，该方法的技术方案如下：

将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体；

若为指定类型物体，则对所述第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，所述第一IOU为所述第一物体的目标检测框与检测到的人的目标检测框之间的IOU；

若等于或大于，则确定所述第一物体的第一图像稳定时间以及第一背景差异时间，其中，任意相邻两帧图像中所述第一物体的目标检测框的位置以及所述目标检测框中的物体相比较，所述第一图像稳定时间为所述比较未发生变化的持续时间，每一帧图像中的所述第一物体的目标检测框与背景帧图像中的所述第一物体的目标检测框相比较，所述第一背景差异时间为所述比较有发生变化的持续时间；

若所述第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定所述第一物体为遗留物体；

若所述第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且所述第一背景差异时间为零，则确定所述第一物体为非遗留物体。

在本申请实施例中，可以将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体，若为指定类型物体，则对第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，第一IOU为第一物体的目标检测框与检测到的人的目标检测框之间的IOU，若等于或大于，则确定第一物体的第一图像稳定时间以及第一背景差异时间，其中，任意相邻两帧图像中第一物体的目标检测框的位置以及目标检测框中的物体相比较，第一图像稳定时间为比较未发生变化的持续时间，每一帧图像中的第一物体的目标检测框与背景帧图像中的第一物体的目标检测框相比较，第一背景差异时间为比较有发生变化的持续时间，若第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定第一物体为遗留物体；若第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且第一背景差异时间为零，则确定第一物体为非遗留物体。通过判断检测到的第一物体是否为指定类型物体，明确第一物体是否为需要监控的物体，能最大程度去除不需要监控的物体的误报，进行有针对性地训练与调试，可以实现较低的误检率，同时采用物体遗留时间、图像稳定时间与背景差异时间辅助进行判断，降低背景建模的训练量和计算量，可以实现遗留物体检测的实时应用，从而有效解决遗留物体的检测问题。

结合第一方面，在第一方面的第一种可选实施方式中，对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体，包括：

通过已训练的目标检测模型对第一视频序列中的每一帧图像进行检测，确定检测到的第一物体是否为指定类型物体；

若是，则通过已训练的目标跟踪模型对所述第一物体进行跟踪，记录所述第一物体持续在目标检测框中的跟踪时间，判断所述跟踪时间是否大于第三预设阈值；

若大于，则通过已训练的目标分类模型对所述第一物体进行分类，根据分类结果确定所述第一物体是否为指定类型物体。

在本申请实施例中，可以通过已训练的目标检测模型对第一视频序列中的每一帧图像进行检测，确定检测到的第一物体是否为指定类型物体，若是，则通过已训练的目标跟踪模型对第一物体进行跟踪，记录第一物体持续在目标检测框中的跟踪时间，判断跟踪时间是否大于第三预设阈值，若大于，则通过已训练的目标分类模型对第一物体进行分类，根据分类结果确定第一物体是否为指定类型物体。通过采用目标检测，目标跟踪，目标分类相结合的技术对判断检测到的第一物体是否为指定类型物体，明确第一物体是否为需要监控的物体，能最大程度去除不需要监控的物体以及光照，树叶等造成扰动产生的误报，同时目标分类及目标跟踪对目标检测结果进行进一步的过滤，目标分类补充目标检测的漏检，可以实现较高的召回率与较低的误检率。

结合第一方面的第一种可选实施方式，在第一方面的第二种可选实施方式中，通过已训练的目标跟踪模型对所述第一物体进行跟踪，记录所述第一物体持续在目标检测框中的跟踪时间，包括：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的第二IOU，判断所述第二IOU是否大于或者等于第四预设阈值；

若大于或者等于，则确定跟踪到所述第一物体，对所述第一物体的跟踪时间进行累加。

结合第一方面，在第一方面的第三种可选实施方式中，确定所述第一物体的第一图像稳定时间，包括：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的均值是否小于第五预设阈值；

若小于，则对所述第一物体的第一图像稳定时间进行累加。

结合第一方面，在第一方面的第四种可选实施方式中，确定所述第一物体的第一背景差异时间，包括：

获取所述第一视频序列的每一帧图像与所述背景帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的标准差是否大于第六预设阈值；

若大于，则对所述第一物体的第一背景差异时间进行累加。

结合第一方面，在第一方面的第五种可选实施方式中，确定所述第一物体为遗留物体或者非遗留物体之后，还包括：

对第二视频序列中的每一帧图像进行检测与判断，确定所述第一物体的第二图像稳定时间以及第二背景差异时间，其中，所述第二视频序列的第一帧图像为确定所述第一图像稳定时间以及第一背景差异时间时的帧图像的下一帧图像；

判断所述第二图像稳定时间以及第二背景差异时间是否大于各自的所对应的第七预设阈值；

若是，则确定所述第一物体已发生搬移。

结合第一方面的第五种可选实施方式，在第一方面的第六种可选实施方式中，确定所述第一物体的第二图像稳定时间以及第二背景差异时间之后，还包括：

若所述第二背景差异时间为零且所述背景更新时间大于第八预设阈值，则将确定所述第二图像稳定时间以及第二背景差异时间时的帧图像更新为背景帧图像，其中，所述背景更新时间为上一次背景更新的时间节点与当前的时间节点之间的时间间隔。

第二方面，本申请实施例提供一种遗留物体检测的装置，包括：

第一确定模块，用于将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体；

第二确定模块，用于若为指定类型物体，则对所述第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，所述第一IOU为所述第一物体的目标检测框与检测到的人的目标检测框之间的IOU；

第三确定模块，用于若等于或大于，则确定所述第一物体的第一图像稳定时间以及第一背景差异时间，其中，任意相邻两帧图像中所述第一物体的目标检测框的位置以及所述目标检测框中的物体相比较，所述第一图像稳定时间为所述比较未发生变化的持续时间，每一帧图像中的所述第一物体的目标检测框与背景帧图像中的所述第一物体的目标检测框相比较，所述第一背景差异时间为所述比较有发生变化的持续时间；

第四确定模块，用于若所述第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定所述第一物体为遗留物体；若所述第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且所述第一背景差异时间为零，则确定所述第一物体为非遗留物体。

结合第二方面，在第二方面的第一种可选实施方式中，所述第一确定模块，具体用于：

通过已训练的目标检测模型对第一视频序列中的每一帧图像进行检测，确定检测到的第一物体是否为指定类型物体；

若是，则通过已训练的目标跟踪模型对所述第一物体进行跟踪，记录所述第一物体持续在目标检测框中的跟踪时间，判断所述跟踪时间是否大于第三预设阈值；

若大于，则通过已训练的目标分类模型对所述第一物体进行分类，根据分类结果确定所述第一物体是否为指定类型物体。

结合第一方面的第一种可选实施方式，在第一方面的第二种可选实施方式中，所述第一确定模块，具体用于：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的第二IOU，判断所述第二IOU是否大于或者等于第四预设阈值；

若大于或者等于，则确定跟踪到所述第一物体，对所述第一物体的跟踪时间进行累加。

结合第一方面，在第一方面的第三种可选实施方式中，所述第三确定模块，具体用于：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的均值是否小于第五预设阈值；

若小于，则对所述第一物体的第一图像稳定时间进行累加。

结合第一方面，在第一方面的第四种可选实施方式中，所述第三确定模块，具体用于：

获取所述第一视频序列的每一帧图像与所述背景帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的标准差是否大于第六预设阈值；

若大于，则对所述第一物体的第一背景差异时间进行累加。

结合第一方面，在第一方面的第五种可选实施方式中，所述装置还包括第五确定模块，用于：

对第二视频序列中的每一帧图像进行检测与判断，确定所述第一物体的第二图像稳定时间以及第二背景差异时间，其中，所述第二视频序列的第一帧图像为确定所述第一图像稳定时间以及第一背景差异时间时的帧图像的下一帧图像；

判断所述第二图像稳定时间以及第二背景差异时间是否大于各自的所对应的第七预设阈值；

若是，则确定所述第一物体已发生搬移。

结合第一方面的第五种可选实施方式，在第一方面的第六种可选实施方式中，所述装置还包括更新模块，用于：

若所述第二背景差异时间为零且所述背景更新时间大于第八预设阈值，则将确定所述第二图像稳定时间以及第二背景差异时间时的帧图像更新为背景帧图像，其中，所述背景更新时间为上一次背景更新的时间节点与当前的时间节点之间的时间间隔。

第三方面，一种遗留物体检测的***，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中的任一种实施方式包括的步骤。

第四方面，本申请实施例提供一种存储介质，该存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面中的任一种实施方式包括的步骤。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1为本申请实施例中的一种遗留物体检测的***的结构示意图；

图2为本申请实施例中的遗留物体检测的方法的流程图；

图3为本申请实施例中的遗留物体检测的装置的结构示意图；

图4为本申请实施例中的遗留物体检测的***的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，能够以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中，“至少一个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

为了便于理解，下面先对本申请实施例的技术背景进行介绍。

如前文所述，遗留物体的检测是一个特别复杂的问题，因为需要进行检测的环境可能会存在很多遮挡，目前针对遗留物体检测已存在一些方案，例如：可以使用融合多相机信息来解决智能视频监控场景中容易存在的遮挡问题，但是精确的相机模型往往难以获得，在实际应用中效果并不理想；可以利用混合高斯对图像视频进行背景建模，然而混合高斯背景建模需要较大的训练量和计算量，难以满足监控***在实时性上的需要。现有技术中的这些解决方案或是获取的相机模型不够精确，无法进行实际应用，或是背景建模的训练量和计算量较大，无法进行实时应用，都存在较多问题，均不完善，可见在现有技术中所提供的方案都不能有效解决遗留物体的检测问题。

鉴于此，本申请实施例提供一种遗留物体检测的方法，该方法可以将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体，若为指定类型物体，则对第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，第一IOU为第一物体的目标检测框与检测到的人的目标检测框之间的IOU，若等于或大于，则确定第一物体的第一图像稳定时间以及第一背景差异时间，其中，任意相邻两帧图像中第一物体的目标检测框的位置以及目标检测框中的物体相比较，第一图像稳定时间为比较未发生变化的持续时间，每一帧图像中的第一物体的目标检测框与背景帧图像中的第一物体的目标检测框相比较，第一背景差异时间为比较有发生变化的持续时间，若第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定第一物体为遗留物体；若第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且第一背景差异时间为零，则确定第一物体为非遗留物体。通过判断检测到的第一物体是否为指定类型物体，明确第一物体是否为需要监控的物体，能最大程度去除不需要监控的物体的误报，进行有针对性地训练与调试，可以实现较低的误检率，同时采用物体遗留时间、图像稳定时间与背景差异时间辅助进行判断，降低背景建模的训练量和计算量，可以实现遗留物体检测的实时应用，从而有效解决遗留物体的检测问题。

本申请实施例所提供的方法通过判断检测到的第一物体是否为指定类型物体，明确第一物体是否为需要监控的物体，能最大程度去除不需要监控的物体的误报，进行有针对性地训练与调试，可以实现较低的误检率，同时采用物体遗留时间、图像稳定时间与背景差异时间辅助进行判断，降低背景建模的训练量和计算量，可以实现遗留物体检测的实时应用，从而有效解决遗留物体的检测问题。

为了更好的理解上述技术方案，下面通过说明书附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

图1为本申请实施例所提供方法可适用的一种遗留物体检测的***的结构，当然本申请实施例所提供的方法可以适用到多种遗留物体检测的***上，应当理解图1所示的遗留物体检测的***是对可适用本申请实施例所提供方法的遗留物体检测的***的详细的说明，而不是对可适用本申请实施例所提供方法的遗留物体检测的***的限定。

图1所示的遗留物体检测的***包括存储器101、处理器102、总线接口103。存储器101以及处理器102通过总线接口103连接。存储器101用于存储程序指令。处理器102用于调用存储器101中存储的程序指令，按照获得的程序指令执行遗留物体检测的方法中包括的所有步骤。

请参见图2，为本申请实施例提供的一种遗留物体检测的方法，该方法可以由前述图1所示的遗留物体检测的***或者***中的处理器102执行。该方法的具体流程描述如下。

步骤201：将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体。

在本申请实施例中，将第一视频序列的第一帧图像更新为背景帧图像，然后通过已训练的目标检测模型对第一视频序列中的每一帧图像进行检测，确定检测到的第一物体是否为指定类型物体，其中，已训练的目标检测模型可以为YOLO(You Only Look Once)，单发多盒探测器SSD(Single Shot MultiBox Detector)，快速区域卷积神经网络Faster R-CNN(Faster Region-Convolutional Neural Networks)等目标检测模型中的任一种。

若确定检测到的第一物体为指定类型物体，则通过已训练的目标跟踪模型对第一物体进行跟踪，记录第一物体持续在目标检测框中的跟踪时间，判断跟踪时间是否大于第三预设阈值，具体的，获取第一视频序列的任意相邻两帧图像中第一物体的目标检测框的第二交并比IOU，判断第二IOU是否大于或者等于第四预设阈值，若大于或者等于，则认为相邻两帧都检测到了同一个物体，即确定跟踪到第一物体，对第一物体的跟踪时间进行累加，为了便于理解，下面以举例的形式进行说明：

例如，若第一视频序列的第二帧图像中的第一物体的目标检测框与第三帧图像中的第一物体的目标检测框的IOU为0.6，第四预设阈值为0.5，则认为第二帧图像与第三帧图像都检测到了同一个物体，即确定跟踪到第一物体，对第一物体的跟踪时间加1。

若第一物体持续在目标检测框中的跟踪时间大于第三预设阈值，则通过已训练的目标分类模型对第一物体进行分类，根据分类结果确定第一物体是否为指定类型物体，其中，已训练的目标分类模型可以为深度卷积神经网络VGGNet(Visual Geometry GroupNetwork)，残差网络ResNet(Residual Network)，密集连接卷积网络DenseNet(DenselyConnected Convolutional Network)等目标分类模型中的任一种。

通过采用目标检测，目标跟踪，目标分类相结合的技术对判断检测到的第一物体是否为指定类型物体，明确第一物体是否为需要监控的物体，最大程度去除不需要监控的物体以及光照，树叶等造成扰动产生的误报，同时目标分类及目标跟踪对目标检测结果进行进一步的过滤，目标分类补充目标检测的漏检，从而实现较高的召回率与较低的误检率。

步骤202：若为指定类型物体，则对所述第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，第一IOU为第一物体的目标检测框与检测到的人的目标检测框之间的IOU。

在本申请实施例中，若确定检测到的第一物体为指定类型物体，则对第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，第一IOU为第一物体的目标检测框与检测到的人的目标检测框之间的IOU，若小于，则确定第一物体附近有人且物体与人之间的距离较小，第一物体不可能是被人遗留下来的物体；若等于或者大于，则确定第一物体附近未有人或者物体与人之间的距离较大，第一物体可能是被人遗留下来的物体。

具体的，根据目标跟踪以及目标分类的结果确定第一物体的第一物体遗留时间，只有当目标跟踪输出第一物体，且目标分类确定第一物体为指定类型物体时，才对第一物体的第一物体遗留时间进行累加，最大程度去除不需要监控的物体以及光照，树叶等造成扰动产生的误报，实现较低的误检率。

步骤203：若等于或大于，则确定所述第一物体的第一图像稳定时间以及第一背景差异时间。

在本申请实施例中，若确定第一物体与检测到的人的目标检测框的第一IOU等于或大于第一预设阈值，则表明第一物体附近未有人或者物体与人之间的距离较大，第一物体可能是被人遗留下来的物体，确定第一物体的第一图像稳定时间以及第一背景差异时间，其中，第一图像稳定时间为所有相邻帧图像中第一物体的目标检测框的位置以及目标检测框中的物体未发生变化的持续时间，第一背景差异时间为每一帧图像中的第一物体的目标检测框与背景帧图像中的第一物体的目标检测框相比较有发生变化的持续时间。

具体的，确定第一物体与检测到的人的目标检测框的第一IOU等于或大于第一预设阈值之后，确定第一物体的第一图像稳定时间可以通过获取第一视频序列的任意相邻两帧图像中第一物体的目标检测框的像素值的变化幅度，判断变化幅度的均值是否小于第五预设阈值，若小于，则表明该帧图像中第一物体的目标检测的位置以及目标检测框中的物体未发生变化，即未出现物体搬移或者树叶大幅度摆动的情况，可对第一物体的第一图像稳定时间进行累加，从而确定第一物体的第一图像稳定时间，为了便于理解，下面以举例的形式进行说明：

例如，若第一视频序列的第二帧图像中第一物体的目标检测框的像素值为200，第一视频序列的第三帧图像中第一物体的目标检测框的像素值为203，第五预设阈值为4，则确定第三帧图像与第二帧图像的像素值的变化幅度为3，小于第五预设阈值，第三帧图像为稳定图像，对第一物体的第一图像稳定时间进行累加。

而确定第一物体的第一背景差异时间则可以通过获取第一视频序列的每一帧图像与背景帧图像中第一物体的目标检测框的像素值的变化幅度，判断变化幅度的标准差是否大于第六预设阈值，若大于，则表明该帧图像中的第一物体的目标检测框与背景帧图像中的第一物体的目标检测框相比较有发生变化，即出现了物体搬移的情况，可对第一物体的第一背景差异时间进行累加，从而确定第一物体的第一背景差异时间，为了便于理解，下面以举例的形式进行说明：

例如，若第一视频序列的第二帧图像中第一物体的目标检测框的像素值为230，第一视频序列的背景帧图像中第一物体的目标检测框的像素值为243，第六预设阈值为12，则确定第二帧图像与背景帧图像的像素值的变化幅度为13，大于第六预设阈值，第二帧图像与背景帧图像有差异，对第一物体的第一背景差异时间进行累加。

步骤204：根据所述第一物体遗留时间、第一图像稳定时间以及第一背景差异时间，确定所述第一物体是否为遗留物体。

在本申请实施例中，若第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定第一物体为遗留物体；若第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且第一背景差异时间为零，则确定第一物体为非遗留物体。

具体的，第一物体遗留时间、第一图像稳定时间以及第一背景差异时间各自所对应的第二预设阈值由用户设定的时间所决定，若用户设定的时间为6秒，第一视频序列的帧率为25帧，则第一物体遗留时间所对应的第二预设阈值为150秒，第一图像稳定时间以及第一背景差异时间所对应的第二预设阈值可以略低于第一物体遗留时间所对应的第二预设阈值，如140秒。

在确定第一物体是否为遗留物体之后，判断第一物体在后续时间是否发生搬移以及是否需要更新背景帧图像，具体的，对第二视频序列中的每一帧图像进行检测与判断，确定第一物体的第二图像稳定时间以及第二背景差异时间，其中，第二视频序列的第一帧图像为确定第一图像稳定时间以及第一背景差异时间时的帧图像的下一帧图像，例如，在视频序列的第五帧图像获取了第一物体的第一图像稳定时间以及第一背景差异时间，并确定第一物体为遗留物体，则视频序列的前五帧图像组成了第一视频序列，视频序列第五帧图像之后的帧图像组成了第二视频序列。

若第二图像稳定时间以及第二背景差异时间均大于各自的所对应的第七预设阈值，则表明该帧图像中的第一物体与背景帧图像或者之前帧图像中的第一物体相比较位置已发生变化，确定第一物体已发生搬移；

若第二背景差异时间为零且背景更新时间大于第八预设阈值，则表明该帧图像中的第一物体与背景帧图像中的第一物体相比较位置未发生变化，且距离上次背景更新已有一段时间，可将确定第二图像稳定时间以及第二背景差异时间时的帧图像更新为背景帧图像，其中，背景更新时间为上一次背景更新的时间节点与当前的时间节点之间的时间间隔。

基于同一发明构思，本申请实施例提供一种遗留物体检测的装置，该遗留物体检测的装置能够实现前述的遗留物体检测的方法对应的功能。该遗留物体检测的装置可以是硬件结构、软件模块、或硬件结构加软件模块。该遗留物体检测的装置可以由芯片***实现，芯片***可以由芯片构成，也可以包含芯片和其他分立器件。请参见图3所示，该遗留物体检测的装置包括第一确定模块301、第二确定模块302、第三确定模块303、第四确定模块304、其中：

第一确定模块301，用于将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体；

第二确定模块302，用于若为指定类型物体，则对所述第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，所述第一IOU为所述第一物体的目标检测框与检测到的人的目标检测框之间的IOU；

第三确定模块303，用于若等于或大于，则确定所述第一物体的第一图像稳定时间以及第一背景差异时间，其中，任意相邻两帧图像中所述第一物体的目标检测框的位置以及所述目标检测框中的物体相比较，所述第一图像稳定时间为所述比较未发生变化的持续时间，每一帧图像中的所述第一物体的目标检测框与背景帧图像中的所述第一物体的目标检测框相比较，所述第一背景差异时间为所述比较有发生变化的持续时间；

第四确定模块304，用于若所述第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定所述第一物体为遗留物体；若所述第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且所述第一背景差异时间为零，则确定所述第一物体为非遗留物体。

一种可选实施方式中，所述第一确定模块301，具体用于：

通过已训练的目标检测模型对第一视频序列中的每一帧图像进行检测，确定检测到的第一物体是否为指定类型物体；

若是，则通过已训练的目标跟踪模型对所述第一物体进行跟踪，记录所述第一物体持续在目标检测框中的跟踪时间，判断所述跟踪时间是否大于第三预设阈值；

若大于，则通过已训练的目标分类模型对所述第一物体进行分类，根据分类结果确定所述第一物体是否为指定类型物体。

一种可选实施方式中，所述第一确定模块301，具体用于：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的第二IOU，判断所述第二IOU是否大于或者等于第四预设阈值；

若大于或者等于，则确定跟踪到所述第一物体，对所述第一物体的跟踪时间进行累加。

一种可选实施方式中，所述第三确定模块303，具体用于：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的均值是否小于第五预设阈值；

若小于，则对所述第一物体的第一图像稳定时间进行累加。

一种可选实施方式中，所述第三确定模块303，具体用于：

获取所述第一视频序列的每一帧图像与所述背景帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的标准差是否大于第六预设阈值；

若大于，则对所述第一物体的第一背景差异时间进行累加。

一种可选实施方式中，所述装置还包括第五确定模块，用于：

对第二视频序列中的每一帧图像进行检测与判断，确定所述第一物体的第二图像稳定时间以及第二背景差异时间，其中，所述第二视频序列的第一帧图像为确定所述第一图像稳定时间以及第一背景差异时间时的帧图像的下一帧图像；

判断所述第二图像稳定时间以及第二背景差异时间是否大于各自的所对应的第七预设阈值；

若是，则确定所述第一物体已发生搬移。

一种可选实施方式中，所述装置还包括更新模块，用于：

若所述第二背景差异时间为零且所述背景更新时间大于第八预设阈值，则将确定所述第二图像稳定时间以及第二背景差异时间时的帧图像更新为背景帧图像，其中，所述背景更新时间为上一次背景更新的时间节点与当前的时间节点之间的时间间隔。

基于同一发明构思，本申请实施例提供一种遗留物体检测的***，请参见图4所述，该遗留物体检测的***包括至少一个处理器402，以及与至少一个处理器连接的存储器401，本申请实施例中不限定处理器402与存储器401之间的具体连接介质，图4是以处理器402和存储器401之间通过总线400连接为例，总线400在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不以此为限。总线400可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，存储器401存储有可被至少一个处理器402执行的指令，至少一个处理器402通过调用存储器401存储的指令，可以执行前述的遗留物体检测的方法中所包括的步骤。

其中，处理器402是遗留物体检测的***的控制中心，可以利用各种接口和线路连接整个遗留物体检测的***的各个部分，通过执行存储在存储器401内的指令，从而实现遗留物体检测的***的各种功能。可选的，处理器402可包括一个或多个处理单元，处理器402可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器402中。在一些实施例中，处理器402和存储器401可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

存储器401作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器401可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器401是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器401还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

处理器402可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的遗留物体检测的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

通过对处理器402进行设计编程，可以将前述实施例中介绍的遗留物体检测的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的遗留物体检测的方法的步骤，如何对处理器402进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的遗留物体检测的方法的步骤。

在一些可能的实施方式中，本申请提供的遗留物体检测的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在遗留物体检测的***上运行时，程序代码用于使该遗留物体检测的***执行本说明书上述描述的根据本申请各种示例性实施方式的遗留物体检测的方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种遗留物体检测的方法，其特征在于，包括：

将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体；

若为指定类型物体，则对所述第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，所述第一IOU为所述第一物体的目标检测框与检测到的人的目标检测框之间的IOU；

若等于或大于，则确定所述第一物体的第一图像稳定时间以及第一背景差异时间，其中，任意相邻两帧图像中所述第一物体的目标检测框的位置以及所述目标检测框中的物体相比较，所述第一图像稳定时间为所述比较未发生变化的持续时间，每一帧图像中的所述第一物体的目标检测框与背景帧图像中的所述第一物体的目标检测框相比较，所述第一背景差异时间为所述比较有发生变化的持续时间；

若所述第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定所述第一物体为遗留物体；

若所述第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且所述第一背景差异时间为零，则确定所述第一物体为非遗留物体。

2.如权利要求1所述的方法，其特征在于，对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体，包括：

通过已训练的目标检测模型对第一视频序列中的每一帧图像进行检测，确定检测到的第一物体是否为指定类型物体；

若是，则通过已训练的目标跟踪模型对所述第一物体进行跟踪，记录所述第一物体持续在目标检测框中的跟踪时间，判断所述跟踪时间是否大于第三预设阈值；

若大于，则通过已训练的目标分类模型对所述第一物体进行分类，根据分类结果确定所述第一物体是否为指定类型物体。

3.如权利要求2所述的方法，其特征在于，通过已训练的目标跟踪模型对所述第一物体进行跟踪，记录所述第一物体持续在目标检测框中的跟踪时间，包括：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的第二IOU，判断所述第二IOU是否大于或者等于第四预设阈值；

若大于或者等于，则确定跟踪到所述第一物体，对所述第一物体的跟踪时间进行累加。

4.如权利要求1所述的方法，其特征在于，确定所述第一物体的第一图像稳定时间，包括：

获取所述第一视频序列的任意相邻两帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的均值是否小于第五预设阈值；

若小于，则对所述第一物体的第一图像稳定时间进行累加。

5.如权利要求1所述的方法，其特征在于，确定所述第一物体的第一背景差异时间，包括：

获取所述第一视频序列的每一帧图像与所述背景帧图像中所述第一物体的目标检测框的像素值的变化幅度，判断所述变化幅度的标准差是否大于第六预设阈值；

若大于，则对所述第一物体的第一背景差异时间进行累加。

6.如权利要求1所述的方法，其特征在于，确定所述第一物体为遗留物体或者非遗留物体之后，还包括：

对第二视频序列中的每一帧图像进行检测与判断，确定所述第一物体的第二图像稳定时间以及第二背景差异时间，其中，所述第二视频序列的第一帧图像为确定所述第一图像稳定时间以及第一背景差异时间时的帧图像的下一帧图像；

判断所述第二图像稳定时间以及第二背景差异时间是否大于各自的所对应的第七预设阈值；

若是，则确定所述第一物体已发生搬移。

7.如权利要求6所述的方法，其特征在于，确定所述第一物体的第二图像稳定时间以及第二背景差异时间之后，还包括：

若所述第二背景差异时间为零且所述背景更新时间大于第八预设阈值，则将确定所述第二图像稳定时间以及第二背景差异时间时的帧图像更新为背景帧图像，其中，所述背景更新时间为上一次背景更新的时间节点与当前的时间节点之间的时间间隔。

8.一种遗留物体检测的装置，其特征在于，包括：

第一确定模块，用于将第一视频序列的第一帧图像更新为背景帧图像，并对第一视频序列中的每一帧图像进行检测与判断，确定检测到的第一物体是否为指定类型物体；

第二确定模块，用于若为指定类型物体，则对所述第一物体的第一物体遗留时间进行累加，并确定第一交并比IOU是否等于或大于第一预设阈值，其中，所述第一IOU为所述第一物体的目标检测框与检测到的人的目标检测框之间的IOU；

第三确定模块，用于若等于或大于，则确定所述第一物体的第一图像稳定时间以及第一背景差异时间，其中，任意相邻两帧图像中所述第一物体的目标检测框的位置以及所述目标检测框中的物体相比较，所述第一图像稳定时间为所述比较未发生变化的持续时间，每一帧图像中的所述第一物体的目标检测框与背景帧图像中的所述第一物体的目标检测框相比较，所述第一背景差异时间为所述比较有发生变化的持续时间；

第四确定模块，用于若所述第一物体遗留时间、第一图像稳定时间以及第一背景差异时间均大于各自所对应的第二预设阈值，则确定所述第一物体为遗留物体；若所述第一物体遗留时间、第一图像稳定时间均大于各自所对应的第二预设阈值且所述第一背景差异时间为零，则确定所述第一物体为非遗留物体。

9.一种遗留物体检测的***，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-7任一项所述的方法包括的步骤。

10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-7任一项所述的方法包括的步骤。

Images