CN111523386B - 一种基于机器视觉的高速铁路站台门监测防护方法及*** - Google Patents
一种基于机器视觉的高速铁路站台门监测防护方法及*** Download PDFInfo
- Publication number
- CN111523386B CN111523386B CN202010211308.6A CN202010211308A CN111523386B CN 111523386 B CN111523386 B CN 111523386B CN 202010211308 A CN202010211308 A CN 202010211308A CN 111523386 B CN111523386 B CN 111523386B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- image
- target foreground
- new target
- foreground region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000002159 abnormal effect Effects 0.000 claims abstract description 137
- 230000005856 abnormality Effects 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000013145 classification model Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61B—RAILWAY SYSTEMS; EQUIPMENT THEREFOR NOT OTHERWISE PROVIDED FOR
- B61B1/00—General arrangement of stations, platforms, or sidings; Railway networks; Rail vehicle marshalling systems
- B61B1/02—General arrangement of stations and platforms including protection devices for the passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明公开了一种基于机器视觉的高速铁路站台门监测防护方法及***,所述方法包括:图像采集模块采集站台间隙视频图像,并将所述站台间隙视频图像传给预处理单元;所述预处理单元对所述站台间隙视频图像进行过滤处理,并将过滤后的站台间隙视频图像传给异常检测单元;所述异常检测单元对所述过滤后的站台间隙视频图像进行图像异常检测,并将检测后的异常图像传给异常分类单元;所述异常分类单元对所述异常图像进行异常等级划分,并将划分后的异常等级传给报警模块;所述报警模块根据所述异常等级进行报警。本发明有利于对站台门与列车间隙分散的人员或障碍物等不安全状态进行可靠的实时监测和预警。
Description
技术领域
本发明属于轨道交通技术领域,特别涉及一种基于机器视觉的高速铁路站台门监测防护方法及***。
背景技术
近年来,城市轨道交通迅速发展的同时也面临着更加严峻的挑战。轨道站台门是确保乘客安全的一个重要防护设备,如何利用信息技术和控制技术提高站台门安全的自动化监测,进而提高站台门防护产品的综合竞争力,是当前业内面临的重要课题。
目前的轨道交通站台门防护技术主要针对的是地铁站台门防护。专利号为CN201220194815.4的一种地铁站台屏蔽门防夹人监测***,该***分布式安装于列车司机站立区及站台屏蔽门上,主要包括中央处理器、列车屏蔽门EDCU信号采集器、光幕传感器和报警显示模块,所述的中央处理器分别与列车屏蔽门EDCU信号采集器、光幕传感器和报警显示模块通讯连接。专利号为CN201621253626.4的一种轨道交通列车与站台门间隙防夹人***,该***提出在站台门内侧安装机械式微动开关触碰条,用于接收站台门触碰信息;无线发射模块,安装在站台门门框内,在感应到站台门触碰信息后,发送编码无线信号;无线接收模块,安装于站台门头盖板内的固定背板上,接收对应无线发射模块发出的编码信号后,发出报警信号;声光报警器,安装在车头司机立岗位置,受报警信号驱动,开始警报,直到列车司机确认复位后停止。由于地铁站台门与列车间的缝隙较小,可通过触碰条或红外激光来检测障碍物并发出预警。但对于高速铁路来说,其站台门与列车之间的间隙要远大于地铁,在此间隙中出现人或其他障碍物的概率也要远大于地铁。
因此,如何对高速铁路站台门进行监测防护成为亟需解决的问题。
发明内容
针对上述问题,本发明提供了一种基于机器视觉的高速铁路站台门监测防护方法,所述方法包括:
图像采集模块采集站台间隙视频图像,并将所述站台间隙视频图像传给预处理单元;
所述预处理单元对所述站台间隙视频图像进行过滤处理,并将过滤后的站台间隙视频图像传给异常检测单元;
所述异常检测单元对所述过滤后的站台间隙视频图像进行图像异常检测,并将检测后的异常图像传给异常分类单元;
所述异常分类单元对所述异常图像进行异常等级划分,并将划分后的异常等级传给报警模块;
所述报警模块根据所述异常等级进行报警。
进一步地,所述预处理单元对所述站台间隙视频图像进行过滤处理,具体为:
所述预处理单元对所述站台间隙视频图像的冗余帧和冗余背景图像进行过滤。
进一步地,所述预处理单元对所述站台间隙视频图像进行过滤处理包括以下步骤:
提取关键帧;
根据所述关键帧确定新的目标前景区域。
进一步地,所述提取关键帧,具体为:
确定所述站台间隙视频图像中的初始背景图像;
依次将非初始背景图像与初始背景图像做差分处理,得到差分值;
对所述差分值进行判断,根据判断结果执行处理步骤,所述处理步骤包括:
若所述差分值小于设定的差分阈值,则所述非初始背景图像为无异常背景图像,不进入下一步判断;
否则,所述非初始背景图像为关键帧。
进一步地,所述根据所述关键帧确定新的目标前景区域,具体为:
计算所述关键帧大于所述差分阈值的异常部分;
判断所述异常部分的大小,根据判断结果执行处理步骤,所述处理步骤包括:
若所述异常部分小于目标前景区域中的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并对所述异常部分进行等比缩放,若缩放后的异常部分仍小于所述设定大小,则用原始图像对应位置像素点补充至设定大小,作为新的目标前景区域;
若所述异常部分大于目标前景区域的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并分别以目标前景区域的四个角顶点为中心取所述设定大小区域作为新的目标前景区域。
进一步地,所述异常检测单元对所述过滤后的站台间隙视频图像进行图像异常检测包括:
所述异常检测单元对所述新的目标前景区域进行图像异常检测。
进一步地,所述异常检测单元对所述新的目标前景区域进行图像异常检测,具体为:
通过异常检测模型将所述新的目标前景区域生成一个无异常图像;
计算所述新的目标前景区域与所述无异常图像之间的差异;
对所述差异进行归一化处理,得到异常得分;
通过所述异常得分判断所述新的目标前景区域是否存在异常,包括:
若所述异常得分大于设定值,则所述新的目标前景区域异常;
若所述异常得分小于设定值,则所述新的目标前景区域正常。
本发明还提供了一种基于机器视觉的高速铁路站台门监测防护***,所述***包括:
图像采集模块,用于采集站台间隙视频图像,并将所述站台间隙视频图像传给预处理单元;
预处理单元,用于对所述站台间隙视频图像进行过滤处理,并将过滤后的站台间隙视频图像传给异常检测单元;
异常检测单元,用于对所述过滤后的站台间隙视频图像进行图像异常检测,并将检测后的异常图像传给异常分类单元;
异常分类单元,用于对所述异常图像进行异常等级划分,并将划分后的异常等级传给报警模块;
报警模块,用于根据所述异常等级进行报警。
进一步地,所述对所述站台间隙视频图像进行过滤处理,具体为:
对所述站台间隙视频图像的冗余帧和冗余背景图像进行过滤。
进一步地,所述对所述站台间隙视频图像进行过滤处理,包括以下步骤:
提取关键帧;
根据所述关键帧确定新的目标前景区域。
进一步地,所述提取关键帧,具体为:
确定所述站台间隙视频图像中的初始背景图像;
依次将非初始背景图像与初始背景图像做差分处理,得到差分值;
对所述差分值进行判断,根据判断结果执行处理步骤,所述处理步骤包括:
若所述差分值小于设定的差分阈值,则所述非初始背景图像为无异常背景图像,不进入下一步判断;
否则,所述非初始背景图像为关键帧。
进一步地,所述根据所述关键帧确定新的目标前景区域,具体为:
计算所述关键帧大于所述差分阈值的异常部分;
判断所述异常部分的大小,根据判断结果执行处理步骤,所述处理步骤包括:
若所述异常部分小于目标前景区域中的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并对所述异常部分进行等比缩放,若缩放后的异常部分仍小于所述设定大小,则用原始图像对应位置像素点补充至设定大小,作为新的目标前景区域;
若所述异常部分大于目标前景区域的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并分别以目标前景区域的四个角顶点为中心取所述设定大小区域作为新的目标前景区域。
进一步地,所述对所述过滤后的站台间隙视频图像进行图像异常检测包括:
对所述新的目标前景区域进行图像异常检测。
进一步地,所述对所述新的目标前景区域进行图像异常检测,具体为:
通过异常检测模型将所述新的目标前景区域生成一个无异常图像;
计算所述新的目标前景区域与所述无异常图像之间的差异;
对所述差异进行归一化处理,得到异常得分;
通过所述异常得分判断所述新的目标前景区域是否存在异常,包括:
若所述异常得分大于设定值,则所述新的目标前景区域异常;
若所述异常得分小于设定值,则所述新的目标前景区域正常。
本发明利用图像传感器采集站台门与列车间隙图像信息,并通过较高性能的运算单元对采集到的图像信号进行实时的处理与分析,高精度和鲁棒性的图像异常检测算法,有利于对站台门与列车间隙分散的人员或障碍物等不安全状态进行可靠的实时监测和预警。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的监测防护方法的整体流程示意图;
图2示出了根据本发明实施例的图像采集模块的结构示意图;
图3示出了根据本发明实施例的异常区域小于设定的目标前景区域大小的情况示意图;
图4示出了根据本发明实施例的异常区域大于设定的目标前景区域大小的情况示意图;
图5示出了根据本发明实施例的监测防护***示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种基于机器视觉的高速铁路站台门监测防护方法,示例性的,图1示出了根据本发明实施例的监测防护方法的整体流程示意图,如图1所示,所述方法包括:
图像采集模块采集站台间隙视频图像,并将所述站台间隙视频图像传给预处理单元;
所述预处理单元对所述站台间隙视频图像进行过滤处理,并将过滤后的站台间隙视频图像传给异常检测单元;
所述异常检测单元对所述过滤后的站台间隙视频图像进行图像异常检测,并将检测后的异常图像传给异常分类单元;
所述异常分类单元对所述异常图像进行异常等级划分,并将划分后的异常等级传给报警模块;
所述报警模块根据所述异常等级进行报警。
本发明方法中的图像采集模块主要由摄像头和红外自动补光灯构成,示例性的,如图2所示,其中摄像头包括镜头、图像传感器、图像信号采集电路,所述图像采集模块安装在各站台门内侧,摄像头用来采集站台门与列车间隙的视频图像信息。在夜晚或低照度条件下,自动开启红外自动补光灯,使摄像头具备昼夜全天候工作能力。具体地,镜头、图像传感器和图像信号采集电路组成的摄像头,与红外自动补光灯组件一同连接电源电路,并通过图像信号采集电路输出采集到的站台间隙视频图像信号,即图像输出信号。
运算单元接收站台间隙视频图像信号并对站台间隙视频图像进行实时检测。该运算单元由ARM芯片搭载嵌入式Linux***并与网络监管后台相结合,在视频输入的同时可实现基于机器视觉与人工智能的站台人员或障碍物检测,包括预处理单元、异常检测单元、异常分类单元。
本发明方法中的异常检测算法主要分为三个部分:
一、通过预处理单元对所述站台间隙视频图像的冗余帧和冗余背景图像进行过滤。
具体的,先提取关键帧:
确定所述站台间隙视频图像中的初始背景图像;
依次将非初始背景图像与初始背景图像做差分处理,得到差分值;
对所述差分值进行判断,根据判断结果执行处理步骤,所述处理步骤包括:
若所述差分值小于设定的差分阈值,则所述非初始背景图像为无异常背景图像,不进入下一步判断;
否则,所述非初始背景图像为关键帧。
根据所述关键帧确定新的目标前景区域:
计算所述关键帧大于所述差分阈值的异常部分;
判断所述异常部分的大小,根据判断结果执行处理步骤,所述处理步骤包括:
若所述异常部分小于目标前景区域中的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并对所述异常部分进行等比缩放,若缩放后的异常部分仍小于所述设定大小,则用原始图像对应位置像素点补充至设定大小,作为新的目标前景区域;
若所述异常部分大于目标前景区域的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并分别以目标前景区域的四个角顶点为中心取所述设定大小区域作为新的目标前景区域。
示例性的,对于视频图像帧:,将I0作为初始背景图像,将
接下来的一帧图像I1,与初始背景图像I0作差分处理,若I0和I1的差分值小于所设定的差分
阈值,则I1为无异常背景图像,不进入下一步判断,否则将I1作为关键帧,Ik。其中差分阈值
可由初始的若干无异常背景图像差分取均值获得。
计算Ik大于差分阈值的异常部分I’ k,若该异常部分I’ k小于目标前景区域的设定大小,本实施例中设定大小以64*64像素点为例,则以该异常部分I’ k中心点为中心取64*64像素点区域作为新的目标前景区域Xk,并对I’ k进行等比缩放得到不同比例的新的目标前景区域Xk;若该异常部分I’ k大于目标前景区域,则除以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域外,还分别以目标前景区域的四个角顶点为中心取新的目标前景区域,对新的目标前景区域进行进一步判断该区域是否存在异常。
示例性的,图3示出了根据本发明实施例的异常区域小于设定的目标前景区域大
小的情况示意图,如图3所示,其中内部实线框为Ik大于差分阈值的异常部分I’ k,外部实线
框为目标前景区域,虚线框为I’ k的等比缩放。即,宽和高分别为w和h的Ik,按和,缩放得到I’ k,虚线框外区域用原始像素点补全。
示例性的,图4示出了根据本发明实施例的异常区域大于设定的目标前景区域大小的情况示意图,如图4所示,其中虚线框为目标前景区域,实线框为I’ k,图4-2为图4-1的异常部分中心点为中心取设定大小区域作为新的目标前景区域示意图,图4-3为图4-1的异常部分右下角顶点为中心取设定大小区域作为新的目标前景区域示意图,图4-4为图4-1的异常部分左下角顶点为中心取设定大小区域作为新的目标前景区域示意图,图4-5为图4-1的异常部分左上角顶点为中心取设定大小区域作为新的目标前景区域示意图,图4-6为图4-1的异常部分右上角顶点为中心取设定大小区域作为新的目标前景区域示意图。本方法对于背景帧的过滤减少了冗余帧参与复杂检测过程,相较于用完整的一帧图像Ik参与检测,进一步截取多个目标区域I’ k的卷积计算量要更小,此外,还能有效扩大目标较小异常的显著性。
二、异常检测单元对所述新的目标前景区域进行图像异常检测。
具体的,通过异常检测模型将所述新的目标前景区域生成一个无异常图像;
计算所述新的目标前景区域与所述无异常图像之间的差异;
对所述差异进行归一化处理,得到异常得分;
通过所述异常得分判断所述新的目标前景区域是否存在异常,包括:
若所述异常得分大于设定值,则所述新的目标前景区域异常;
若所述异常得分小于设定值,则所述新的目标前景区域正常。
示例性的,对获取到的关键帧图像的目标前景区域Xk,将通过异常检测模型生成一个不包含异常的图像X’ k,然后计算Xk和X’ k之间的差异。该异常检测模型是离线训练得到的,具体如下,
1)预先采集正常帧图像,并以滑动窗的方式获取到64*64的
目标区域作为训练的输入数据;
2)本实施例的异常检测模型是在DCGan(Deep Convolution GenerativeAdversarial Networks,深度卷积生成对抗网络)的基础上进行改进的,包括两个由输入、卷积(Conv)、池化、非线性修正单元(ReLU)、小批量归一化(BatchNorm)组成的D网络和一个由反卷积组成的G网络。DCGan仅能保证原始输入图像和生成图像像素点级别的差异尽可能的小,但本实施例在G网络后再加入一个D网络,用于得到生成图像x’ ij的特征向量z’,目的是使原始输入图像和生成图像的特征差异尽可能小。
3)对于第t帧的目标区域,输入异常检测模型,计算Xk和X’ k之间
的差异为:,其中W1和W2为两种差异之间的权重,并对差
异进行归一化:,作为异常得分。若,则视为异常;反之,为正常。
需要说明的是,0<σ<1,σ越大,检测的颗粒度越细,而实际中需根据测试结果确定σ值的大
小。
三、通过异常分类单元对所述异常图像进行异常等级划分。
对于参与异常检测模型的连续若干帧图像,若异常检测模型均判断为无异常,则说明用于差分获取关键帧的初始背景图像已发生偏差,需更新背景图像,可将这些连续帧的均值图像作为新的背景图像。若图像通过异常检测模型判为异常图像,将进一步通过异常分类模型确定异常的类型,异常分类模型与异常检测模型训练方法类似,均需先确定网络结构,然后离线训练模型。其中,异常分类模型仅有D网络,无G网络。对于异常图像,经过异常分类模型将确定异常类型和重要程度。当检测到行人异常时,站台门附近报警装置响应,用于提醒行人远离危险区;当检测到不同重要程度的异常物,异常等级低时,仅需通知车站后勤人员,尽快处理异常物;当异常过高必须停车时,则向司机发出告警响应,提醒司机立即停车。
报警模块根据接收到的异常等级进行报警,包括在线报警和无线报警两部分。其中,在线报警模块同图像采集模块和运算单元安装于站台门内测,当接收到运算单元发出的异常预警信号后及时发出报警信号提醒站台门间隙人员;声光报警器(无线报警),安装在车头司机立岗位置,受报警信号驱动开始警报,用来提醒列车司机,直到列车司机确认复位后停止。
需要说明的是,为了做到信息互联,本方法中可预留辅助模块接口,如GPRS模块,使***配上完善的监控后台,能够将站台间隙视频实时推送到后台,并提供数据分析和报表功能,方便用户进行集中管控。
本发明还提供了一种基于机器视觉的高速铁路站台门监测防护***,示例性的,图5示出了根据本发明实施例的监测防护***示意图,如图5所示,包括图像采集模块、预处理单元、异常检测单元、异常分类单元、报警模块,***首先通过采集图像采集模块采集站台间隙视频图像,并将站台间隙视频图像传给预处理单元,预处理单元对站台间隙视频图像进行预处理,并将预处理后的站台间隙视频图像传给异常检测单元,异常检测单元检测出异常图像传给异常分类单元,异常分类单元对异常图像的异常等级进行判断,并将异常等级信号发给报警模块,报警模块根据异常等级做出相应的报警。本***兼具本地预警与后台远程监控功能于一体,全程为城市轨道交通提供安全保障服务,有效规避危险情况的发生。
本发明利用不受外界环境(如振动、气温、湿度)干扰的图像传感器代替各类光幕、激光传感器,减少误报,使***预警信号更加可靠,并结合红外自动补光灯,使***具有全天候工作能力。此外,相较于地铁站台门防护***中接触式的障碍物预警,图像传感器可采集到更大区域范围的站台门与列车间隙信息,使检测区域更加广泛。由于站台门与列车门间隙出现异常障碍物的概率要远低于正常运行的无障碍物的情况,正常的无人或无障碍物站台门间隙图像要比出现人或障碍物的异常图像更容易获取。这一特性结合半监督生成对抗网络很好地支撑了该***中异常检测算法的实现。大量的可采集到的训练数据和线下更好利用的高性能计算平台对模型的离线训练,较于仅需少量训练数据的传统图像处理算法,进一步提高了本算法模型的精确度和鲁棒性。
尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于机器视觉的高速铁路站台门监测防护方法,其特征在于,所述方法包括:
图像采集模块采集站台间隙视频图像,并将所述站台间隙视频图像传给预处理单元;
所述预处理单元对所述站台间隙视频图像进行过滤处理,其中,所述预处理单元对所述站台间隙视频图像的冗余帧和冗余背景图像进行过滤,包括:提取关键帧,根据所述关键帧确定新的目标前景区域;
所述提取关键帧,具体为:确定所述站台间隙视频图像中的初始背景图像;
依次将非初始背景图像与初始背景图像做差分处理,得到差分值;
对所述差分值进行判断,根据判断结果执行处理步骤,所述处理步骤包括:
若所述差分值小于设定的差分阈值,则所述非初始背景图像为无异常背景图像,不进入下一步判断;
否则,所述非初始背景图像为关键帧;
所述根据所述关键帧确定新的目标前景区域,具体为:
计算所述关键帧大于所述差分阈值的异常部分;
判断所述异常部分的大小,根据判断结果执行处理步骤,所述处理步骤包括:
若所述异常部分小于目标前景区域中的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并对所述异常部分进行等比缩放,若缩放后的异常部分仍小于所述设定大小,则用原始图像对应位置像素点补充至设定大小,作为新的目标前景区域;
若所述异常部分大于目标前景区域的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并分别以目标前景区域的四个角顶点为中心取所述设定大小区域作为新的目标前景区域;
将过滤后的站台间隙视频图像传给异常检测单元;
所述异常检测单元对所述过滤后的站台间隙视频图像进行图像异常检测,并将检测后的异常图像传给异常分类单元;
所述异常分类单元对所述异常图像进行异常等级划分,并将划分后的异常等级传给报警模块;
所述报警模块根据所述异常等级进行报警。
2.根据权利要求1所述的基于机器视觉的高速铁路站台门监测防护方法,其特征在于,所述异常检测单元对所述过滤后的站台间隙视频图像进行图像异常检测包括:
所述异常检测单元对所述新的目标前景区域进行图像异常检测。
3.根据权利要求2所述的基于机器视觉的高速铁路站台门监测防护方法,其特征在于,所述异常检测单元对所述新的目标前景区域进行图像异常检测,具体为:
通过异常检测模型将所述新的目标前景区域生成一个无异常图像;
计算所述新的目标前景区域与所述无异常图像之间的差异;
对所述差异进行归一化处理,得到异常得分;
通过所述异常得分判断所述新的目标前景区域是否存在异常,包括:
若所述异常得分大于设定值,则所述新的目标前景区域异常;
若所述异常得分小于设定值,则所述新的目标前景区域正常。
4.一种基于机器视觉的高速铁路站台门监测防护***,其特征在于,所述***包括:
图像采集模块,用于采集站台间隙视频图像,并将所述站台间隙视频图像传给预处理单元;
预处理单元,用于对所述站台间隙视频图像进行过滤处理,其中,所述预处理单元对所述站台间隙视频图像的冗余帧和冗余背景图像进行过滤,包括:提取关键帧,根据所述关键帧确定新的目标前景区域;
所述提取关键帧,具体为:确定所述站台间隙视频图像中的初始背景图像;
依次将非初始背景图像与初始背景图像做差分处理,得到差分值;
对所述差分值进行判断,根据判断结果执行处理步骤,所述处理步骤包括:
若所述差分值小于设定的差分阈值,则所述非初始背景图像为无异常背景图像,不进入下一步判断;
否则,所述非初始背景图像为关键帧;
所述根据所述关键帧确定新的目标前景区域,具体为:
计算所述关键帧大于所述差分阈值的异常部分;
判断所述异常部分的大小,根据判断结果执行处理步骤,所述处理步骤包括:
若所述异常部分小于目标前景区域中的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并对所述异常部分进行等比缩放,若缩放后的异常部分仍小于所述设定大小,则用原始图像对应位置像素点补充至设定大小,作为新的目标前景区域;
若所述异常部分大于目标前景区域的设定大小,则以所述异常部分中心点为中心取所述设定大小区域作为新的目标前景区域,并分别以目标前景区域的四个角顶点为中心取所述设定大小区域作为新的目标前景区域;
将过滤后的站台间隙视频图像传给异常检测单元;
异常检测单元,用于对所述过滤后的站台间隙视频图像进行图像异常检测,并将检测后的异常图像传给异常分类单元;
异常分类单元,用于对所述异常图像进行异常等级划分,并将划分后的异常等级传给报警模块;
报警模块,用于根据所述异常等级进行报警。
5.根据权利要求4所述的基于机器视觉的高速铁路站台门监测防护***,其特征在于,所述对所述过滤后的站台间隙视频图像进行图像异常检测包括:
对所述新的目标前景区域进行图像异常检测。
6.根据权利要求5所述的基于机器视觉的高速铁路站台门监测防护***,其特征在于,所述对所述新的目标前景区域进行图像异常检测,具体为:
通过异常检测模型将所述新的目标前景区域生成一个无异常图像;
计算所述新的目标前景区域与所述无异常图像之间的差异;
对所述差异进行归一化处理,得到异常得分;
通过所述异常得分判断所述新的目标前景区域是否存在异常,包括:
若所述异常得分大于设定值,则所述新的目标前景区域异常;
若所述异常得分小于设定值,则所述新的目标前景区域正常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010211308.6A CN111523386B (zh) | 2020-03-24 | 2020-03-24 | 一种基于机器视觉的高速铁路站台门监测防护方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010211308.6A CN111523386B (zh) | 2020-03-24 | 2020-03-24 | 一种基于机器视觉的高速铁路站台门监测防护方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111523386A CN111523386A (zh) | 2020-08-11 |
CN111523386B true CN111523386B (zh) | 2023-10-17 |
Family
ID=71900982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010211308.6A Active CN111523386B (zh) | 2020-03-24 | 2020-03-24 | 一种基于机器视觉的高速铁路站台门监测防护方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111523386B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112507998B (zh) * | 2021-02-08 | 2021-04-27 | 南京信息工程大学 | 基于机器视觉的屏蔽门行人等待提醒***及其方法 |
CN113807227B (zh) * | 2021-09-11 | 2023-07-25 | 浙江浙能嘉华发电有限公司 | 基于图像识别的安全监测方法、装置、设备及存储介质 |
CN114332774B (zh) * | 2022-01-14 | 2022-11-08 | 广州邦讯信息***有限公司 | 一种基于物联网的站台监测*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101105097A (zh) * | 2007-08-23 | 2008-01-16 | 上海交通大学 | 站台屏蔽门智能控制方法 |
JP2013063693A (ja) * | 2011-09-16 | 2013-04-11 | Nippon Signal Co Ltd:The | 可動ステップ付きプラットホームドア装置 |
CN104394361A (zh) * | 2014-11-20 | 2015-03-04 | 天津艾思科尔科技有限公司 | 行人越界智能监控装置与检测方法 |
CN105242614A (zh) * | 2015-11-17 | 2016-01-13 | 广州新科佳都科技有限公司 | 屏蔽门安全防护控制方法及*** |
CN109655932A (zh) * | 2019-01-25 | 2019-04-19 | 宁波中车时代传感技术有限公司 | 一种基于图像识别的站台门异物检测与报警的方法及*** |
CN110852177A (zh) * | 2019-10-17 | 2020-02-28 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机的障碍物检测方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180096595A1 (en) * | 2016-10-04 | 2018-04-05 | Street Simplified, LLC | Traffic Control Systems and Methods |
-
2020
- 2020-03-24 CN CN202010211308.6A patent/CN111523386B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101105097A (zh) * | 2007-08-23 | 2008-01-16 | 上海交通大学 | 站台屏蔽门智能控制方法 |
JP2013063693A (ja) * | 2011-09-16 | 2013-04-11 | Nippon Signal Co Ltd:The | 可動ステップ付きプラットホームドア装置 |
CN104394361A (zh) * | 2014-11-20 | 2015-03-04 | 天津艾思科尔科技有限公司 | 行人越界智能监控装置与检测方法 |
CN105242614A (zh) * | 2015-11-17 | 2016-01-13 | 广州新科佳都科技有限公司 | 屏蔽门安全防护控制方法及*** |
CN109655932A (zh) * | 2019-01-25 | 2019-04-19 | 宁波中车时代传感技术有限公司 | 一种基于图像识别的站台门异物检测与报警的方法及*** |
CN110852177A (zh) * | 2019-10-17 | 2020-02-28 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机的障碍物检测方法及*** |
Non-Patent Citations (2)
Title |
---|
基于图像识别技术的站台屏蔽门智能控制***;郭进 等;《微型电脑应用》;第第26卷卷(第第03期期);第26-28、5页 * |
新型地铁站台门与车门之间顶置式防夹人自动探测***的设计;饶美婉;《城市轨道交通研究》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111523386A (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523386B (zh) | 一种基于机器视觉的高速铁路站台门监测防护方法及*** | |
CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
CN101751744B (zh) | 一种烟雾检测和预警方法 | |
CN110263686A (zh) | 一种基于深度学习的施工工地图像安全帽检测方法 | |
KR102369229B1 (ko) | 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법 | |
CN102759347B (zh) | 一种高铁接触网在线巡检装置、巡检方法以及其检测*** | |
CN105744232A (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
CN111626203B (zh) | 一种基于机器学习的铁路异物识别方法及*** | |
CN111275910B (zh) | 一种基于高斯混合模型的扶梯越界行为检测方法及*** | |
CN104994334A (zh) | 基于实时视频的变电站自动监控方法 | |
CN110862033A (zh) | 一种应用于煤矿斜井绞车的智能预警检测方法 | |
CN112669497A (zh) | 基于立体视觉技术的人行通道感知***及方法 | |
CN112623919B (zh) | 一种基于计算机视觉的自动扶梯智能监控管理*** | |
CN109919066B (zh) | 一种检测轨道交通车厢内乘客密度异常的方法和装置 | |
CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
KR101989376B1 (ko) | 궤도 회로 통합 감시 장치 | |
CN104299363A (zh) | 基于多特征融合的疲劳驾驶预警*** | |
CN103456123B (zh) | 一种基于流动和扩散特征的视频烟气探测方法 | |
CN115600124A (zh) | 地铁隧道巡检***及巡检方法 | |
CN110597165B (zh) | 一种堆钢监测***及堆钢监测方法 | |
CN114633774A (zh) | 一种基于人工智能的轨道交通故障检测*** | |
CN112508893B (zh) | 基于机器视觉的铁路双轨间微小异物检测方法及*** | |
KR20180081645A (ko) | 지하철 스크린도어에서 안전 이상을 실시간으로 검출하기 위한 임베디드 비전시스템 및 그 방법 | |
CN112532927A (zh) | 一种施工现场智能安全管控*** | |
CN114314243A (zh) | 基于视频识别技术的升降机超载报警***及超载报警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |