CN111832470B - 一种融合多种模型的遗留物检测方法 - Google Patents

一种融合多种模型的遗留物检测方法 Download PDF

Info

Publication number
CN111832470B
CN111832470B CN202010661364.XA CN202010661364A CN111832470B CN 111832470 B CN111832470 B CN 111832470B CN 202010661364 A CN202010661364 A CN 202010661364A CN 111832470 B CN111832470 B CN 111832470B
Authority
CN
China
Prior art keywords
module
detection
target
legacy
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010661364.XA
Other languages
English (en)
Other versions
CN111832470A (zh
Inventor
蒯亚敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Tai Fei Liu Information Technology LLC
Original Assignee
Yi Tai Fei Liu Information Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Tai Fei Liu Information Technology LLC filed Critical Yi Tai Fei Liu Information Technology LLC
Priority to CN202010661364.XA priority Critical patent/CN111832470B/zh
Publication of CN111832470A publication Critical patent/CN111832470A/zh
Application granted granted Critical
Publication of CN111832470B publication Critical patent/CN111832470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合多种模型的遗留物检测方法，本发明涉及遗留物检测技术领域。该融合多种模型的遗留物检测方法，利用跟踪技术对疑似遗留物目标进行跟踪，可以根据实际情况调整相关参数，当因为场景中人流遮挡造成相关目标的丢失时可以有效的保证目标的连续跟踪，并将背景建模结果与目标检测结果进行有效合并、并通过多重过滤条件筛选极大的减少了误检目标，本发明逻辑巧妙的融合了前背景分离模型和目标检测模型，将两者优势结合，从而更好地抑制缺点，在保证***性能的情况下，面对较为复杂的光影环境与各类遮挡依旧能够保持较强地鲁棒性，保证较高的准确率。

Description

一种融合多种模型的遗留物检测方法
技术领域
本发明涉及遗留物检测技术领域，具体为一种融合多种模型的遗留物检测方法。
背景技术
随着国民经济的高速发展，传统的基于人工的视频监控已无法满足人们对安全保障的需要，智能视频监控作为一种更高效便捷的手段得到越来越多的重视与应用。而在地铁站、高铁站、机场、商场等人流密集的公共区域，被刻意包裹着的不明遗留物品的出现(例如易燃易爆物品、有毒的化工物等危险品)，是当前最值得密切关注的会威胁公共安全的一大隐患。因此，对于不明遗留物的实时检测成为智能视频监控中的一项重要应用。
现有的遗留物识别方法大多依赖于各类分布模型(例如混合高斯模型等)，通过前背景分离技术捕捉前景，然后设置相关参数(时间阈值等)来判断是否产生遗留物。但是这样基于像素变化的模型在复杂场景(例如光线，阴影等的影响)中很容易出现类像素变化的检测对象，会不可避免地在实际工程应用中产生大量错误检测。解决当前传统遗留物检测方法存在的准确率低，无法应对复杂场景，易受各类遮挡、光线、阴影变化等因素影响等问题，设计出一种对于光线、遮挡阴影变化等鲁棒性较强，准确率更高的实时遗留物检测方法，是迫切需要的，因此本发明实现了一种融合多种模型的遗留物检测方法。
考虑到深度学习目标检测模型对指定类别目标的识别受光线引用的影响较小，而传统前背景分离模型则能够较大程度的捕捉前景，因此本发明的方法主要融合的是前背景分离模型与目标检测模型。相比现有的遗留物检测方法，本发明能够更好地结合两种模型的优势、互补短板，从而能够面对较为复杂的光影环境与各类遮挡依旧保持较强地鲁棒性，保证较高的准确率。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种融合多种模型的遗留物检测方法，解决了当前传统遗留物检测方法存在的准确率低，无法应对复杂场景，易受各类遮挡、光线、阴影变化等因素影响的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种融合多种模型的遗留物检测方法，具体包括以下步骤：
S1、视频流读入模块读入视频流，进行解码操作，将解码图片发送到图像预处理模块；
S2、图像预处理模块按照***预先设置的参数对图片进行预处理，预处理完成后将图片发送到前背景分离模块和目标检测模块；
S3、前背景分离模块处理图片后获得疑似前景目标，并将其送至合并过滤模块；
S4、目标检测模块处理图片后获得符合遗留物标准的检测目标与相关运动检测目标，送至合并过滤模块；
S5、合并过滤模块按照预设的筛选条件将上述两个模块的结果进行合并与过滤，从而获得需要追踪的疑似遗留物目标；
S6、将疑似遗留物目标送入跟踪模块，模块输出的跟踪结果送入判断模块；
S7、判断模块根据跟踪结果判断疑似遗留物目标是否满足遗留物判断条件，若满足，则将结果发送至结果报警模块。
优选的，所述步骤S1中，视频流读入模块从摄像头采集***读入视频流，然后进行解码操作，将解码图片发送到图像预处理模块，其中摄像头包括模拟摄像机数字摄像机。
优选的，所述步骤S2中，对图片进行预处理包括进行尺度变换、光补偿、过滤阴影信息进行处理。
优选的，所述步骤S6中，跟踪模块对疑似遗留物目标进行持续跟踪，并使用丢帧设计，记录目标连续静止帧数，当出现合理范围内的目标丢失情况会忽略丢失、认为相关目标一直存在。
优选的，所述步骤S7中报警模块接收到目标检测框，判断检测框若不是最近已报警过的检测框，则发出事件警报。
优选的，所述步骤S4中目标检测模块根据前背景分离模块两个模块输出的检测框进行逐一对比、分情况过滤，并进行汇总。
优选的，所述步骤S5中遗留物为由运动主体携带进相关场地内，与运动主体分离，并在场地内滞留超过一定时间阈值的物体。
优选的，所述步骤S6中，判断模块用于保证新增的疑似遗留物目标检测框为全新的符合初始条件的遗留物。
有益效果
本发明提供了一种融合多种模型的遗留物检测方法。与现有技术相比具备以下有益效果：该融合多种模型的遗留物检测方法，通过S1、视频流读入模块读入视频流，进行解码操作，将解码图片发送到图像预处理模块；S2、图像预处理模块按照***预先设置的参数对图片进行预处理，预处理完成后将图片发送到前背景分离模块和目标检测模块；S3、前背景分离模块处理图片后获得疑似前景目标，并将其送至合并过滤模块；S4、目标检测模块处理图片后获得符合遗留物标准的检测目标与相关运动检测目标，送至合并过滤模块；S5、合并过滤模块按照预设的筛选条件将上述两个模块的结果进行合并与过滤，从而获得需要追踪的疑似遗留物目标；S6、将疑似遗留物目标送入跟踪模块，模块输出的跟踪结果送入判断模块；S7、判断模块根据跟踪结果判断疑似遗留物目标是否满足遗留物判断条件，若满足，则将结果发送至结果报警模块，利用跟踪技术对疑似遗留物目标进行跟踪，可以根据实际情况调整相关参数，当因为场景中人流遮挡造成相关目标的丢失时可以有效的保证目标的连续跟踪，并将背景建模结果与目标检测结果进行有效合并、并通过多重过滤条件筛选极大的减少了误检目标，本发明逻辑设计巧妙的融合了前背景分离模型和目标检测模型，将两者优势结合，从而更好地抑制缺点，在保证***性能的情况下，面对较为复杂的光影环境与各类遮挡依旧能够保持较强地鲁棒性，保证较高的准确率。
附图说明
图1为本发明遗留物检测的流程图；
图2为本发明遗留物检测合并过滤模块的处理流程图；
图3为本发明遗留物检测跟踪与判断模块的处理流程图。
图中、101-视频流读入模块、102-图像预处理模块、103-目标检测模块、104-分离模块、105-合并过滤模块、106-跟踪模块、107-判断模块、108-结果报警模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明实施例提供一种技术方案：一种融合多种模型的遗留物检测方法，具体包括以下步骤：
S1、视频流读入模块101读入视频流，进行解码操作，将解码图片发送到图像预处理模块102；
S2、图像预处理模块102按照***预先设置的参数对图片进行预处理，预处理完成后将图片发送到前背景分离模块104和目标检测模块103；
S3、前背景分离模块104处理图片后获得疑似前景目标，并将其送至合并过滤模块105；
S4、目标检测模块103处理图片后获得符合遗留物标准的检测目标与相关运动检测目标，送至合并过滤模块105；
S5、合并过滤模块105按照预设的筛选条件将上述两个模块的结果进行合并与过滤，从而获得需要追踪的疑似遗留物目标；
S6、将疑似遗留物目标送入跟踪模块106，模块输出的跟踪结果送入判断模块107；
S7、判断模块107根据跟踪结果判断疑似遗留物目标是否满足遗留物判断条件，若满足，则将结果发送至结果报警模块108。
本发明中，步骤S1中，视频流读入模块101从摄像头采集***读入视频流，然后进行解码操作，将解码图片发送到图像预处理模块102，其中摄像头包括模拟摄像机数字摄像机等设备。
本发明中，步骤S2中，对图片进行预处理包括进行尺度变换、光补偿、过滤阴影等信息进行处理。
本发明中，步骤S6中，跟踪模块106对疑似遗留物目标进行持续跟踪，并使用丢帧设计，记录目标连续静止帧数，当出现合理范围内的目标丢失情况会忽略丢失、认为相关目标一直存在，其中“合理范围”可由工作人员设定，其中跟踪模块和判断模块是相互耦合的。
本发明中，步骤S7中报警模块接收到目标检测框，判断检测框若不是最近已报警过的检测框，则发出事件警报，通过疑似目标检测框中的进行跟踪并判断开始阶段是否有人并根据检测框是否相交并配合跟踪模块106判断检测框是否相交判断素材是否有用，再通过判断物体是否静止一段时间，若判断为否则在通过跟踪模块106进行继续跟踪，若判断为没有静止一段时间，则再次进入判断框，判断附近是否有人，若附近有人则丢弃该素材，若附近判断附近无人，则进行遗留物检测框。
本发明中，步骤S4中目标检测模块103根据前背景分离模块104两个模块输出的检测框进行逐一对比、分情况过滤，并进行汇总，其中判断检测框是否相交用来对前背景分离和目标检测两个模块输出的检测框进行逐一比对、分情况过滤，然后再汇总，随后再次判读检测框是否相交，再对汇总的目标检测框与运动目标检测框进行逐一比对和过滤，最后得出满足筛选条件的目标检测框，并且作用在于排除行人一直携带箱包等场景，整个模块流程没有单纯地粗暴合并两个模型的检测框，而是根据实际情况设置了合并过滤条件，保证两类结果能够合理地相互补充与抑制。
本发明中，步骤S5中遗留物为由运动主体携带进相关场地内，与运动主体分离，并在场地内滞留超过一定时间阈值的物体，并且合并过滤模块105通过读入图片获取前背景分离模块获得疑似前景目标、目标检测模块获得遗留物检测目标和目标检测模块获得运动目标人，通过前背景分离模块获得疑似前景目标和目标检测模块获得遗留物检测目标进行判断检测框是否相交进行判断，是只保留目标检测模块输出的检测框还是只保留检测模块输出的检测框，并汇总目标检测框，再通过目标检测模块获得目标人判断检测框是否相交，若相交则丢弃素材，若不相交则输出检测框。
本发明中，步骤S6中，判断模块107用于保证新增的疑似遗留物目标检测框为全新的符合初始条件的遗留物，这样可以送至跟踪队列保持长时间跟踪。
综上所述，为解决像素变化的模型在复杂场景(例如光线，阴影等的影响)中很容易出现类像素变化的检测对象，会不可避免地在实际工程应用中产生大量错误检测，导致当前传统遗留物检测方法存在的准确率低，无法应对复杂场景，易受各类遮挡、光线、阴影变化等因素影响等问题，本发明实现了一种融合多种模型的遗留物检测方法，考虑到深度学习目标检测模型对指定类别目标的识别受光线引用的影响较小，而传统前背景分离模型则能够较大程度的捕捉前景，因此本发明主要融合的是前背景分离模型与目标检测模型，相比现有的遗留物检测方法，本发明能够更好地结合两种模型的优势、互补短板，从而能够面对较为复杂的光影环境与各类遮挡依旧保持较强地鲁棒性，保证较高的准确率，利用跟踪技术对疑似遗留物目标进行跟踪，可以根据实际情况调整相关参数，当因为场景中人流遮挡造成相关目标的丢失时可以有效的保证目标的连续跟踪，并将背景建模结果与目标检测结果进行有效合并、并通过多重过滤条件筛选极大的减少了误检目标，本发明逻辑设计巧妙的融合了前背景分离模型和目标检测模型，解决了当前传统遗留物检测方法存在的准确率低，无法应对复杂场景，易受各类遮挡、光线、阴影变化等因素影响等问题，将两者优势结合，从而更好地抑制缺点，在保证***性能的情况下，面对较为复杂的光影环境与各类遮挡依旧能够保持较强地鲁棒性，保证较高的准确率。
同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种融合多种模型的遗留物检测方法，其特征在于：具体包括以下步骤：
S1、视频流读入模块(101)读入视频流，进行解码操作，将解码图片发送到图像预处理模块(102)；所述步骤S1中，视频流读入模块(101)从摄像头采集***读入视频流，然后进行解码操作，将解码图片发送到图像预处理模块(102)，其中摄像头包括模拟摄像机数字摄像机；
S2、图像预处理模块(102)按照***预先设置的参数对图片进行预处理，预处理完成后将图片发送到前背景分离模块(104)和目标检测模块(103)；步骤S2中，对图片进行预处理包括进行尺度变换、光补偿、过滤阴影信息进行处理；
S3、目标检测模块(103)处理图片后获得符合遗留物标准的检测目标与相关运动检测目标，送至合并过滤模块(105)；
S4、前背景分离模块(104)处理图片后获得疑似前景目标，并将其送至合并过滤模块(105)；所述步骤S4中目标检测模块(103)根据前背景分离模块(104)两个模块输出的检测框进行逐一对比、分情况过滤，并进行汇总；
S5、合并过滤模块(105)按照预设的筛选条件将上述两个模块的结果进行合并与过滤，从而获得需要追踪的疑似遗留物目标；
S6、将疑似遗留物目标送入跟踪模块(106)，然后将模块输出的跟踪结果送入判断模块(107)；所述步骤S6中，跟踪模块(106)对疑似遗留物目标进行持续跟踪，并使用丢帧设计，记录目标连续静止帧数，当出现合理范围内的目标丢失情况会忽略丢失、认为相关目标一直存在；
S7、判断模块(107)根据跟踪结果判断疑似遗留物目标是否满足遗留物判断条件，若满足，则将结果发送至结果报警模块(108)，所述步骤S7中报警模块接收到目标检测框，判断检测框若不是最近已报警过的检测框，则发出事件警报。
2.根据权利要求1所述的一种融合多种模型的遗留物检测方法，其特征在于：所述步骤S5中遗留物为由运动主体携带进相关场地内，与运动主体分离，并在场地内滞留超过一定时间阈值的物体。
3.根据权利要求1所述的一种融合多种模型的遗留物检测方法，其特征在于：所述步骤S6中，判断模块(107)用于保证新增的疑似遗留物目标检测框为全新的符合初始条件的遗留物。
CN202010661364.XA 2020-07-15 2020-07-15 一种融合多种模型的遗留物检测方法 Active CN111832470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010661364.XA CN111832470B (zh) 2020-07-15 2020-07-15 一种融合多种模型的遗留物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010661364.XA CN111832470B (zh) 2020-07-15 2020-07-15 一种融合多种模型的遗留物检测方法

Publications (2)

Publication Number Publication Date
CN111832470A CN111832470A (zh) 2020-10-27
CN111832470B true CN111832470B (zh) 2024-05-07

Family

ID=72901358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010661364.XA Active CN111832470B (zh) 2020-07-15 2020-07-15 一种融合多种模型的遗留物检测方法

Country Status (1)

Country Link
CN (1) CN111832470B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402935B (zh) * 2023-03-28 2024-01-19 北京拙河科技有限公司 一种基于光线追踪算法的图像合成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1978470A1 (en) * 2007-04-05 2008-10-08 Mitsubishi Electric Corporation Method for detecting objects left-behind in a scene
CN101751670A (zh) * 2009-12-17 2010-06-23 北京中星微电子有限公司 一种前景目标检测方法和装置
CN104881643A (zh) * 2015-05-22 2015-09-02 深圳市赛为智能股份有限公司 一种快速的遗留物检测方法及***
CN105447863A (zh) * 2015-11-19 2016-03-30 中国科学院自动化研究所 一种基于改进vibe的遗留物检测方法
CN110782425A (zh) * 2018-07-13 2020-02-11 富士通株式会社 图像处理方法、图像处理装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1978470A1 (en) * 2007-04-05 2008-10-08 Mitsubishi Electric Corporation Method for detecting objects left-behind in a scene
CN101751670A (zh) * 2009-12-17 2010-06-23 北京中星微电子有限公司 一种前景目标检测方法和装置
CN104881643A (zh) * 2015-05-22 2015-09-02 深圳市赛为智能股份有限公司 一种快速的遗留物检测方法及***
CN105447863A (zh) * 2015-11-19 2016-03-30 中国科学院自动化研究所 一种基于改进vibe的遗留物检测方法
CN110782425A (zh) * 2018-07-13 2020-02-11 富士通株式会社 图像处理方法、图像处理装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Traditional and recent approaches in background modeling for foreground detection: An overview;Thierry Bouwmans;Computer Science Review;31-66 *
张晗.基于视频分析的监所异常行为监测***软件研发.2021,(第2期),I138-1466. *

Also Published As

Publication number Publication date
CN111832470A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
Bayona et al. Comparative evaluation of stationary foreground object detection algorithms based on background subtraction techniques
Kumar et al. An efficient approach for detection and speed estimation of moving vehicles
CN109101944B (zh) 一种识别向河道内抛投垃圾的实时视频监控方法
Shyam et al. Abandoned object detection using pixel-based finite state machine and single shot multibox detector
CN104881643A (zh) 一种快速的遗留物检测方法及***
Sharma Human detection and tracking using background subtraction in visual surveillance
Hou et al. A background reconstruction algorithm based on pixel intensity classification in remote video surveillance system
CN111832470B (zh) 一种融合多种模型的遗留物检测方法
Cai et al. Intrusion detection and tracking at railway crossing
Tao et al. Real-time detection and tracking of moving object
CN113947744A (zh) 基于视频的火灾图像检测方法、***、设备及存储介质
Patel et al. Human tracking in video surveillance
Ortego et al. Stationary foreground detection for video-surveillance based on foreground and motion history images
Sridevi et al. Automatic generation of traffic signal based on traffic volume
Preetha A fuzzy rule-based abandoned object detection using image fusion for intelligent video surveillance systems
Low et al. Frame Based Object Detection--An Application for Traffic Monitoring
Bangare et al. An approach for detecting abandoned object from real time video
Vujović et al. Traffic video surveillance in different weather conditions
Pandey et al. Video Background Subtraction Algorithms for Object Tracking
Ran et al. Multi moving people detection from binocular sequences
Suzan et al. Detection And Tracking of Moving Objects Using Hybrid Model (GMM & Horn-Schunck)
Joshi et al. Suspicious object detection
Bhuvaneshwar et al. Real-time detection of crossing pedestrians for traffic-adaptive signal control
Fadhel et al. Real-Time detection and tracking moving vehicles for video surveillance systems using FPGA
Bhat et al. DALES: Automated tool for detection, annotation, labelling and segmentation of multiple objects in multi-camera video streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant