CN111242944A - 扶梯大件滞留物检测*** - Google Patents
扶梯大件滞留物检测*** Download PDFInfo
- Publication number
- CN111242944A CN111242944A CN202010084199.6A CN202010084199A CN111242944A CN 111242944 A CN111242944 A CN 111242944A CN 202010084199 A CN202010084199 A CN 202010084199A CN 111242944 A CN111242944 A CN 111242944A
- Authority
- CN
- China
- Prior art keywords
- retentate
- pedestrian
- region
- escalator
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012465 retentate Substances 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 230000010339 dilation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及电梯安全技术领域，具体涉及扶梯大件滞留物检测***。包括：物体检测单元，判断当前帧的目标区域是否有物体；背景差分单元，去除当前帧中的背景区域；行人分割单元，减除已去除背景区域的当前帧中的行人区域；大件滞留物判断单元，基于去除背景区域和行人区域的当前帧判断是否有大件滞留物。上述技术方案通过行人分割、运动检测、背景差分等算法来检测是否存在大件滞留物，具有很好的鲁棒性。
Description
技术领域
本发明涉及电梯安全技术领域，具体涉及扶梯大件滞留物检测***。
背景技术
随着扶梯在地铁站、火车站、商场等公共场所的普及，关于扶梯的安全稳定和通畅运行等问题受到越来越广泛的重视。扶梯口的大件滞留物会引起扶梯出入口的拥挤，具有很严重的安全隐患。大件滞留物即一定体积大小的物体在扶梯内停留一定的时间。进行大件滞留物检测并提醒相关人员进行处理可以避免造成出入口拥挤，保障扶梯顺畅运行乘客，同时也避免了乘梯人员遗失随身的行李。
目前的滞留物检测往往对背景进行建模，然后使用背景减除法。例如，申请公布号CN106683077A，申请公布日2017年5月17日的发明专利申请所公开的一种扶梯口楼层板上大件物滞留检测方法。采用快、慢背景差分策略对“进入视野后滞留下来”的大件物进行检测。然而在实际场景中动态的物品，比如乘梯人员，背景的环境可能还会发生强烈的变化，比如室内场景关灯和开灯，使得***容易产生误判。目前的方法很难对应用场景下的所有静态和动态环境有很好的适应性。
发明内容
本发明为了解决上述问题，提出一种针对复杂环境下的扶梯大件滞留物检测***，其特征在于，包括：
物体检测单元，判断当前帧的目标区域是否有物体；
背景差分单元，去除当前帧中的背景区域；
行人分割单元，减除已去除背景区域的当前帧中的行人区域；
大件滞留物判断单元，基于去除背景区域和行人区域的当前帧判断是否有大件滞留物。
上述技术方案通过行人分割、运动检测、背景差分等算法来检测是否存在大件滞留物，具有很好的鲁棒性。
作为优选，所述物体检测单元采用二分类器判断当前帧的目标区域是否物体；所述二分类器的训练数据包括当前应用场景下不同光照环境的视频帧；当所述当前应用场景在密闭环境中时，所述不同光照环境包括开灯环境和关灯环境；当所述当前应用场景在开放环境中时，所述不同光照环境包括早晨环境、白天环境、傍晚环境和晚上环境。
训练数据涵盖来所有光照环境的数据，可以帮助二分类器作出准确的判断，不易收到环境变化的影响。
作为优选，所述背景差分单元采用背景差分法得到差分图像并且对所述差分图像进行二值化以得到二值差分图。
作为优选，所述行人分割单元采用所述行人分割模型分割当前帧的目标区域中的行人区域，将所述行人区域对应到所述二值差分图中，去除所述二值差分图中的行人区域。
作为优选，所述行人分割模型的训练样本包括所述应用场景的现场数据和公开数据集中的行人数据。应用场景的现场数据能够对行人分割模型进行一定的微调，使得行人分割单元的分割更加准确。
作为优选，所述大件滞留物判断单元基于去除行人区域后的二值差分图像中白色连通区域的最小外接矩形的长和宽，判断是否有大件滞留物。省去复杂的计算环节，提高了判断速度。
作为优选，所述大件滞留物判断单元对去除行人区域后的二值差分图像进行膨胀操作后，基于白色连通区域的最小外接矩形的长和宽判断是否有大件滞留物。通过膨胀操作进行形态学处理，使得图片中的高亮区域逐渐增长。
作为优选，还包括背景更新模块，当所述物体检测单元在大于阈值时间内都判断没有人或者物体时，将当前帧作为新的背景帧。更新背景帧的操作可以使得检测不会受到环境剧烈变化的影响。
作为优选，还包括通讯模块，用于发送异常警告至安保***和扶梯控制柜。可以实现不同终端的语音提示功能。
作为优选，所述通讯模块，在所述大件滞留物判断单元在连续的预设次数内判断存在大件滞留物时才发送异常警告。采用与的逻辑可以提高检测的稳定性。
本发明具有下述有益效果：
本发明专利通过对网络摄像头获取的实时数据流进行分析，采用行人分割、运动检测、背景差分等算法，同时对不同环境及时更新背景，可以有效应对各种复杂环境下的大件滞留物的检测，并在有异常时向相关人员发出警示。
附图说明
图1本发明实施例的摄像头的安装位置示意图。
图2本发明实施例的算法流程图。
具体实施例
以下是对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
一种扶梯大件滞留物检测***，针对复杂环境下的大件滞留物的检测。该***通过对网络摄像头获取的实时数据流进行分析，采用行人分割、运动检测、背景差分等算法，可以有效应对各种复杂环境下的大件滞留物的检测，并在有异常时向相关人员发出警示。如图1所示，网络摄像头1安装在扶梯2上、下两个出入口所在位置处，摄像头视角倾斜朝下，以保证能完整且清晰覆盖扶梯出入口。扶梯大件滞留物检测***由背景初始化模块、数据预处理模块、大件滞留检测模块、背景更新模块以及通讯模块组成。
背景初始化模块能够加载通过安装在扶梯处的摄像头采集到的、当前应用场景在没有物体时的视频帧作为背景帧提供给大件滞留检测模块使用。本文中的“应用场景”是指应该本实施例的***来判断是否存在大件滞留物的对象所处的环境，也可以理解为处于扶梯摄像头视野内的环境。
数据预处理模块能够与加载通过安装在扶梯处的摄像头采集到的、当前应用场景的实时视频帧作为当前帧提供给大件滞留物判断单元进行判断。本实施例中，数据预处理模块还对当前帧进行预处理，裁剪出当前帧中需要判断是否存在大件滞留物的目标区域，同时进行归一化等常见的预处理操作提供给大件滞留物检测模块。数据预处理模块中的目标区域可以根据不同的扶梯场景任意修改，是一个可变传参。
大件滞留检测模块是本***最关键的功能模块，其包括物体检测单元、背景差分单元、行人分割单元、大件滞留物判断单元这四个子功能单元。物体检测单元判断当前帧的目标区域是否有人或者物体，若没有则不进行后续操作，若有物体则背景差分单元去除当前帧中的背景区域。随后，行人分割单元减除已去除背景区域的当前帧中的行人区域，最后，大件滞留物判断单元基于去除背景区域和行人区域的当前帧判断是否有大件滞留物。具体地，物体检测单元采用二分类器判断当前帧的目标区域是否物体。该而分类器的训练数据包括当前应用场景下不同光照环境的视频帧，例如，可以采集安装在扶梯处摄像头处于不同光照环境下的视频流数据并且裁剪出目标区域，将有无物体（包括人）作为二分类问题，训练一个轻量化的二分类网络（例如采用MobileNet V2作为网络骨架的二分类器），训练保存最优模型后作为供物体检测单元调用的二分类器，以得到有无人或物体的二分类结果。“不同光照环境”对处于不同环境的当前应用场景是不同的：对于当前应用场景在密闭环境（也即室内环境）中时，“不同光照环境”包括开灯环境和关灯环境，对于当前应用场景在开放环境中（也即室外环境）时，“不同光照环境”包括早晨环境、白天环境、傍晚环境和晚上环境。背景差分单元，采用背景差分法得到差分图像并且对所述差分图像进行二值化以得到二值差分图。背景减除采用传统的背景差分方法，即当前帧减去背景帧得到差分图像，计算简单，可以快速得到运算结果。行人分割单元采用行人分割模型分割当前帧的目标区域中的行人区域，并且将行人区域对应到二值差分图中，去除二值差分图中的行人区域。本实施例中，行人分割模型的训练样本包括所述应用场景的现场数据和公开数据集中的行人数据。具体地，可以在pytorch框架下搭建行人分割的训练网络（例如采用MobileNet V2作为网络骨架的DeepLab V3+轻量网络），保存训练出的最优模型作为行人分割模型使用。大件滞留物判断单元基于去除行人区域后的二值差分图像中白色连通区域的最小外接矩形的长和宽，判断是否有大件滞留物。例如，如果白色连通区域的最小外接矩形的长和宽中有一项大于事先设定的参数，则认为有大件滞留物，否则认为不存在大件滞留物。作为优选，大件滞留物判断单元对去除行人区域后的二值差分图像进行膨胀操作后，再基于白色连通区域的最小外接矩形的长和宽判断是否有大件滞留物。
背景更新模块主要用于对环境的变化作出迅速的调整，及时更新背景可以防止误报。调整的依据是物体检测单元的检测结果：当物体检测单元在大于阈值时间内都判断没有人或者物体时，将当前帧作为新的背景帧。连续的阈值时间内都没有人或者物体时才更新背景，可以提高检测稳定性。
通讯模块用于发送异常警告至安保***和扶梯控制柜。将异常信号发送给安保***可以提醒安保人员作出相应的措施，异常信号发送给扶梯控制柜可以控制其内的语音播放部件播放相应的提示音，提醒附近的乘梯人员。通讯模块的通讯方式可以采用中间件写入的模式，大件滞留物检测模块在检测到存在大件滞留物时将异常结果写入中间件，通讯模块接收到异常消息后从中间件读取异常信号，分发给安保***和扶梯控制柜，实现不同终端的语音提示功能。作为优选，通讯模块在大件滞留物判断单元在连续的预设次数内判断存在大件滞留物时才发送异常警告，以提高检测稳定性。
本实施例的检测***的工作流程如图2所示：
背景初始化模块进行初始化，加载当前环境下没有物体时的背景帧进行背景更新。视频流输入流入后，数据预处理模块加载对当前帧进行单帧图片预处理，裁剪出目标区域并将目标区域归一化成指定大小。随后，大件滞留物检测模块首先判断该区域有没有物体（包括人），若没有则不进行后续操作，若有物体则进入下一步背景减除：将当前帧与背景帧进行差分，进一步将其中的乘梯人员的区域去掉，若此时仍然存在大于某一阈值的区域，则认为此时存在大件物品滞留。而背景更新模块主要负责对背景进行更新，若目标区域一直没有物体，持续时间大于某一阈值时，则对背景进行更新。通讯模块的主要功能就是发出异常信号来出发警报。
虽然描述了本发明的实施方式，但是本领域普通技术人员可以在所附权利要求的范围内做出各种变形或修改。
Claims (10)
1.扶梯大件滞留物检测***，其特征在于，包括：
物体检测单元，判断当前帧的目标区域是否有物体；
背景差分单元，去除当前帧中的背景区域；
行人分割单元，减除已去除背景区域的当前帧中的行人区域；
大件滞留物判断单元，基于去除背景区域和行人区域的当前帧判断是否有大件滞留物。
2.根据权利要求1所述的扶梯大件滞留物检测***，其特征在于：
所述物体检测单元采用二分类器判断当前帧的目标区域是否有物体；
所述二分类器的训练数据包括当前应用场景下不同光照环境的视频帧；
当所述当前应用场景在密闭环境中时，所述不同光照环境包括开灯环境和关灯环境；当所述当前应用场景在开放环境中时，所述不同光照环境包括早晨环境、白天环境、傍晚环境和晚上环境。
3.根据权利要求1所述的扶梯大件滞留物检测***，其特征在于：
所述背景差分单元，采用背景差分法得到差分图像并且对所述差分图像进行二值化以得到二值差分图。
4.根据权利要求3所述的扶梯大件滞留物检测***，其特征在于：
所述行人分割单元，采用所述行人分割模型分割当前帧的目标区域中的行人区域，将所述行人区域对应到所述二值差分图中，去除所述二值差分图中的行人区域。
5.根据权利要求4所述的扶梯大件滞留物检测***，其特征在于：
所述行人分割模型的训练样本包括所述应用场景的现场数据和公开数据集中的行人数据。
6.根据权利要求4所述的扶梯大件滞留物检测***，其特征在于：
所述大件滞留物判断单元基于去除行人区域后的二值差分图像中白色连通区域的最小外接矩形的长和宽，判断是否有大件滞留物。
7.根据权利要求4所述的扶梯大件滞留物检测***，其特征在于：
所述大件滞留物判断单元对去除行人区域后的二值差分图像进行膨胀操作后，基于白色连通区域的最小外接矩形的长和宽判断是否有大件滞留物。
8.根据权利要求6或7所述的扶梯大件滞留物检测***，其特征在于：
还包括背景更新模块，当所述物体检测单元在大于阈值时间内都判断没有人或者物体时，将当前帧作为新的背景帧。
9.根据权利要求6或7所述的扶梯大件滞留物检测***，其特征在于：
还包括通讯模块，用于发送异常警告至安保***和扶梯控制柜。
10.根据权利要求9所述的扶梯大件滞留物检测***，其特征在于：
所述通讯模块，在所述大件滞留物判断单元在连续的预设次数内判断存在大件滞留物时才发送异常警告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084199.6A CN111242944A (zh) | 2020-02-10 | 2020-02-10 | 扶梯大件滞留物检测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084199.6A CN111242944A (zh) | 2020-02-10 | 2020-02-10 | 扶梯大件滞留物检测*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111242944A true CN111242944A (zh) | 2020-06-05 |
Family
ID=70871964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010084199.6A Pending CN111242944A (zh) | 2020-02-10 | 2020-02-10 | 扶梯大件滞留物检测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242944A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994609A (zh) * | 2024-03-14 | 2024-05-07 | 广州邦讯信息***有限公司 | 多目标行人安全隐患行为综合识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683077A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 一种扶梯口楼层板上大件物滞留检测方法 |
| CN109250616A (zh) * | 2018-09-28 | 2019-01-22 | 绍兴市特种设备检测院 | 一种扶梯出入口拥堵检测***与方法 |
-
2020
- 2020-02-10 CN CN202010084199.6A patent/CN111242944A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683077A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 一种扶梯口楼层板上大件物滞留检测方法 |
| CN109250616A (zh) * | 2018-09-28 | 2019-01-22 | 绍兴市特种设备检测院 | 一种扶梯出入口拥堵检测***与方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黎浩正: "手扶电梯智能视频监控算法研究及Jetson_TK1实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994609A (zh) * | 2024-03-14 | 2024-05-07 | 广州邦讯信息***有限公司 | 多目标行人安全隐患行为综合识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101869442B1 (ko) | 화재 감지 장치 및 방법 | |
| US8798327B2 (en) | Method and system for people flow statistics | |
| US20080144961A1 (en) | Method and Image Evaluation Unit for Scene Analysis | |
| US6985172B1 (en) | Model-based incident detection system with motion classification | |
| CN103366571B (zh) | 智能的夜晚交通事件检测方法 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN111275910B (zh) | 一种基于高斯混合模型的扶梯越界行为检测方法及*** | |
| CN107911663A (zh) | 一种基于计算机视觉检测的电梯乘客危险行为智能识别预警*** | |
| KR102107334B1 (ko) | 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템 | |
| CN111259718B (zh) | 一种基于高斯混合模型的扶梯滞留检测方法及*** | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| KR20060031832A (ko) | 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템 | |
| CN111062238B (zh) | 基于人体骨架信息及多目标跟踪的扶梯流量监测方法及*** | |
| CN113420693A (zh) | 一种门状态检测方法、装置、轿厢乘客流量统计方法及设备 | |
| JP2001005974A (ja) | 物体認識方法及び物体認識装置 | |
| CN111242944A (zh) | 扶梯大件滞留物检测*** | |
| CN111582166A (zh) | 基于高斯建模和YoLo V3目标检测的遗留物检测方法 | |
| CN113344874B (zh) | 一种基于高斯混合建模的行人越界检测方法 | |
| JP2002293484A (ja) | エレベータ制御装置 | |
| CN109250616B (zh) | 一种扶梯出入口拥堵检测***与方法 | |
| CN110809137A (zh) | 一种校园安全防踩踏监控***及方法 | |
| KR20200060868A (ko) | 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템 | |
| CN116665120A (zh) | 一种基于视频的***形成识别与预警***及方法 | |
| Vujović et al. | Traffic video surveillance in different weather conditions | |
| Yu et al. | Vision based vehicle detection and traffic parameter extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |