CN112382068B - 基于bim与dnn的车站候车线跨越检测*** - Google Patents
基于bim与dnn的车站候车线跨越检测*** Download PDFInfo
- Publication number
- CN112382068B CN112382068B CN202011205657.3A CN202011205657A CN112382068B CN 112382068 B CN112382068 B CN 112382068B CN 202011205657 A CN202011205657 A CN 202011205657A CN 112382068 B CN112382068 B CN 112382068B
- Authority
- CN
- China
- Prior art keywords
- crossing
- real
- pedestrian
- waiting line
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000003247 decreasing effect Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 231100001261 hazardous Toxicity 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 208000009144 Pure autonomic failure Diseases 0.000 description 3
- 239000013312 porous aromatic framework Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Signal Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于BIM与DNN的车站候车线跨越检测***。***包括:站台建筑信息模型模块,用于构建车站站台建筑信息模型;跨越检测模块,用于检测安全候车线界定的危险区域是否存在行人;数据计算模块,用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量;第一跨越预测模块,用于从数据计算模块获取数据,若所述夹角不属于设定角度范围,则预测行人无跨越倾向,否则进一步判断实时移动速度分量是否为零,若为零则预测行人无跨越倾向,否则进一步判断实时移动速度分量序列是否递减,若是则预测行人无跨越倾向,否则预测行人有跨越倾向。利用本发明,提高了站台安全监测性能。
Description
技术领域
本发明涉及BIM、人工智能技术领域,具体涉及一种基于BIM与DNN的车站候车线跨越检测***。
背景技术
轨道交通逐渐成为人们日常出行的主要交通工具,包括地铁、普通火车、高铁。为防止坠落事故,站台均设置有候车警戒线,并派工作人员进行巡视。由于轨道交通场景下,旅客流量大,人工巡视往往效果不佳。一些方法通过计算乘客与警戒线的距离来判断乘客是否跨越候车线,缺点是仅对已经发生的跨越行为进行检测,不能实现对非危险区域行人的跨越倾向预测,为阻止越线、采取预防措施提供缓冲时间。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种基于BIM与DNN的车站候车线跨越检测***。
一种基于BIM与DNN的车站候车线跨越检测***,该***包括:
站台建筑信息模型模块,用于构建车站站台建筑信息模型;
跨越检测模块,用于检测安全候车线界定的危险区域是否存在行人;
数据计算模块,用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量;
第一跨越预测模块,用于从数据计算模块获取数据,若所述夹角不属于设定角度范围,则预测行人无跨越倾向,否则进一步判断实时移动速度分量是否为零,若为零则预测行人无跨越倾向,否则进一步判断实时移动速度分量序列是否递减,若是则预测行人无跨越倾向,否则预测行人有跨越倾向。
所述设定角度范围满足:
设定角度范围中任一角度对应的行人实时朝向面向安全候车线,且行人实时朝向所在直线与安全候车线的较小夹角大于第一角度。
该***还包括:
第二跨越预测模块,用于计算位于非危险区域行人的实时越线倾向指标,若实时越线倾向指标持续超过设定阈值,则预测行人有跨越倾向,所述实时越线倾向指标为:
其中,,,t表示实时移动速度分量的计算次数,为非危险区域的行人实时朝向与安全候车线之间的夹角,为向安全候车线方向的实时移动速度分量,为行人与安全候车线之间的实时距离,,为权值平衡参数,为底数常数,按如下规则计数:以安全候车线为零度轴线,从安全候车线向轨道侧逆时针旋转为0-180度,从安全候车线向远离轨道侧顺时针旋转为0度至-180度。
该***还包括:
警报模块,用于出现危险情况时,发出警报,所述危险情况包括:危险区域内存在行人。
所述危险情况还包括:
所述第一跨越预测模块的预测结果为有跨越倾向的危险情况、所述第二跨越预测模块的预测结果为有跨越倾向的危险情况。
所述危险情况还包括:
针对第一跨越预测模块的预测结果,设置第一滑动时间窗口,针对第二跨越预测模块的预测结果,设置第二滑动时间窗口,第一滑动时间窗口与第二滑动时间窗口具有相同的起始时刻、尺寸、步长;
第一滑动时间窗口内第一跨越预测模块的预测结果为有跨越倾向的第一次数,第二滑动时间窗口内第二跨越预测模块的预测结果为有跨越倾向的第二次数,若第一次数与第二次数均达到设定条件,则判断为危险情况。
所述行人检测基于行人关键点检测深度神经网络执行,检测的行人关键点包括左右肩部关键点、左右脚关键点。
所述行人实时朝向的获得方法:
将左肩关键点与右肩关键点连接得到第一连线;
为第一连线规定方向为左肩关键点指向右肩关键点,得到第一向量;
在站台建筑信息模型地面坐标系上,将第一向量逆时针旋转90度得到第二向量,第二向量的单位向量即为行人实时朝向。
该***还包括:
实时跟踪模块,用于实时跟踪行人。
该***还包括:
可视化模块,用于结合WebGIS技术对车站站台区域建筑信息模型进行可视化。
本发明与现有技术相比,具有以下有益效果:
1. 本发明对危险区域的越线人员进行检测,同时对非危险区域的行人进行越线倾向检测,为阻止越线、采取预防措施提供缓冲时间,提高了站台的安全监测性能。
2. 连续的速度分量之间是有关联的,速度分量不会瞬间增大到特别大,也不会瞬间降低到特别小,因此,速度分量经过一定程度累积之后,才会降为零,第二跨越预测模块将越线倾向进行量化,有利于提高越线预测的准确率,同时防止瞬时速度带来的误检。
3. 结合BIM技术,提高了站台信息模型的信息集成能力,结合WebGIS技术能够提供更好的可视化效果。
附图说明
图1为本发明的***框架图;
图2为行人实时朝向示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于BIM与DNN的车站候车线跨越检测***。图1为本发明***的框架图。下面通过具体实施例来进行说明。
实施例1:
基于BIM与DNN的车站候车线跨越检测***包括:站台建筑信息模型模块、跨越检测模块、数据计算模块、第一跨越预测模块。
站台建筑信息模型模块,用于构建车站站台建筑信息模型。
先构建站台建筑信息模型(BIM,Building Information Modeling)以及信息交换模块,即以车站站台的建筑信息数据为基础,建立起三维建筑空间模型和建筑信息的有机综合体。站台建筑信息模型中的数据包括轨道位置信息、站台位置信息、安全候车线位置信息等站台地理环境信息以及相机位置信息。通过信息交换模块,站台建筑信息模型可以获取相机实时感知的站台场景信息、行人检测结果以及跨越倾向检测结果。信息交换模块是一种BIM的数据库的访问模块,可以是多种形式,在此举例:可以是RESTful、MQ等多种信息交换形式,实施者可以根据需要决定具体采用何种实现方式。将行人跟踪检测结果、跨越倾向预测结果利用WebGIS进行可视化处理,监管人员可在Web上进行检索、查询和分析,便于监管人员对跨越候车线的乘客发出警告,并采取相应的应对措施。
车站站台部署多个摄像头,摄像头应至少覆盖安全候车线附近区域,能够监控到安全候车线附近的行人移动情况。为了降低***的使用难度,提高用户体验,本实施例中的安全候车线位置信息通过自动检测获得,具体地通过候车线感知模块实现。安全候车线感知模块,用于实现识别和提取候车线,最终结果都投影到BIM地面中,以便通过安全候车线和乘客双脚关键点的位置关系来检测是否跨越安全线。
安全候车线感知模块利用安全候车线检测神经网络来实现。安全候车线检测神经网络的训练方法如下:选择站台区域中包含候车线的图像作为训练数据集,对数据集进行标注,车道标注为0,候车线标注为1,其他类别标注为2。考虑到候车线是相对车道而言的,对车道进行标注是为了降低网络训练所需时间、提高网络的感知精度,更加准确快速的感知候车线。其中随机选择数据集的80%作为训练集,剩余的20%作为验证集。将站台摄像头采集的图像数据以及标注的标签数据输入网络中进行训练,候车线感知编码器Encoder1进行特征提取,输出为第一特征图Featuremap1;然后通过候车线感知解码器Decoder1对Featuremap1进行上采样,输入为Encoder1产生的Featuremap1,网络最终输出为语义分割图。Loss函数使用交叉熵损失函数进行训练。至此,通过安全候车线检测神经网络即可将站台中候车线提取出来,将结果投影到BIM地面平面中,方便后续检测候车乘客的跨线行为。
跨越检测模块,用于检测安全候车线界定的危险区域是否存在行人。其中,行人检测基于行人关键点检测深度神经网络执行,检测的行人关键点包括左右肩部关键点、左右脚关键点。
利用站台普通摄像头对站台环境进行图像采集,作为行人关键点检测神经网络的输入。由于站台等车的乘客较多,进行人体检测时容易出现错检、误检的情况,因此需要对站台等待区域的乘客进行实例区分,以便后续准确识别乘客跨越候车线的行为。
行人关键点检测神经网络基于部分亲和场实现,包括两个分支,第一分支输出关键点热图,即PCM,第二分支输出关节亲和场PAFs。利用站台摄像头采集图像,将人的左肩部、右肩部、左脚、右脚等选为关键点。然后制作图像标签数据。关键点热图标签的制作分为两步,第一步对选定的关键点进行标注,标记关键点的位置,即X、Y坐标;第二步,将标注的人体散点图与高斯核卷积得到双脚关键点。高斯核的尺寸,实施者可以根据摄像头高度自行调整、选取。PAFs采用一系列的2D向量场对图像域中的肢体的位置和方向进行编码。即属于一个躯干上的每一个像素都对应一个2D向量,这个向量表示躯干上一个关键点到另一个关键点的方向。关节亲和场的标签制作如下:根据经验人体肢体宽度编码关节亲和场,例如编码从颈部关键点指向左右髋部中心点的适当宽度的亲和场。在本实施例中,可以编码从左脚关键点指向右脚关键点的方向与从左肩部关键点指向右肩部关键点的方向,也可以编码从左肩部关键点指向左脚关键点的方向与从右肩部关键点指向右脚关键点的方向,并用单位矢量表示,数据标注应当包括关键点位置和亲和矢量。
行人关键点检测神经网络的训练方法如下。第一分支的训练:摄像头采集的图像要经过归一化处理,即将图片矩阵的值域变为[0,1]之间的浮点数,以便模型更好地收敛。标签同样经过归一化处理。通过采集的图像和热力图标签数据,端到端地训练关键点检测编码器Encoder2和关键点检测解码器Decoder2。Encoder2对图像进行特征提取,输入为经过归一化处理的图像数据,输出为第二特征图Featuremap2;Decoder2是对Featuremap2进行上采样并最终生成关键点热力图(heatmap),其输入为Encoder2产生的Featuremap2,输出为关键点热力图。Loss函数采用均方误差损失函数进行训练。需要注意的是,由于热力图本身的特点,网络输出的热力图其像素值符合高斯分布,其值域在[0,1]之间。第二分支的训练:通过采集的图像和标签数据,训练关系矢量谱编码器Encoder3、关系矢量谱解码器Decoder3。Encoder3对图像进行特征提取,输入为经过归一化处理的图像数据,输出为第三特征图Featuremap3;Decoder3是对Featuremap3进行上采样与特征提取,并最终生成关节亲和场图,其输入为Encoder3产生的Featuremap3。Loss函数采用均方误差损失函数。利用PAFs进行多人姿态检测的匹配方法,通过积分的方式获得各个相邻部件之间的连接权重值,应用条件约束的匹配算法,即根据没有两个边共享节点的条件通过最大权重匹配获得最终的匹配关系。至此,通过行人关键点检测神经网络得到站台中属于每个乘客的关键点,将脚部关键点投影到站台BIM模型中。
跨越检测模块,用于检测安全候车线界定的危险区域是否存在行人。结合车站站台BIM模型,将安全候车线以及乘客双脚关键点都投影到BIM模型中,是为了能够更加清晰直观的得到乘客双脚关键点与候车线之间的位置关系。根据BIM中候车线与人脚部关键点的位置关系来判断乘客是否跨越安全候车线。当乘客双脚关键点坐标位于候车线外时,则认为候车乘客跨越安全候车线,会发出预警。
本发明考虑到乘客可能存在跨越安全候车线的风险,因此,对没有跨越候车线的乘客进行进一步检测,分析其是否存在跨线风险。主要通过乘客的朝向以及移动速率来进行分析。对于不存在跨线行为的乘客,根据其左右肩部关键点来判断其朝向,乘客朝向为过乘客左右肩部关键点连线中点作左右肩膀连线的垂线,其方向根据乘客左右肩部来确定,记为朝向向量。
数据计算模块,用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量。
行人实时朝向的获得方法:将左肩关键点与右肩关键点连接得到第一连线;为第一连线规定方向为左肩关键点指向右肩关键点,得到第一向量;在站台建筑信息模型地面坐标系上,将第一向量逆时针旋转90度得到第二向量,第二向量的单位向量即为行人实时朝向。即首先过乘客左右肩关键点的中心点向候车线作垂线,若乘客面向候车线,则指向候车线的垂线单位向量即为行人实时朝向,若乘客背向候车线,则背向候车线的垂线单位向量为行人实时朝向。然后计算乘客(即行人)实时朝向向量与安全候车线之间的夹角。夹角按如下规则计数:以安全候车线为零度轴线,从安全候车线向轨道侧逆时针旋转为0-180度,从安全候车线向远离轨道侧顺时针旋转为0度至-180度。图2为行人实时朝向示意图。
实时移动速度分量的计算方法:分别计算相邻两帧之间同一关键点位置,然后根据帧频,计算瞬时速度与瞬时速度方向。根据关键点在站台建筑模型中的投影以及夹角,获得向安全候车线方向的实时移动速度分量。本发明中,利用跟踪模块对乘客进行实时跟踪,从而确认是否是同一人的关键点。优选地,可以通过相邻帧之间乘客包围框的IOU来判断是否是同一关键点,避免不同帧的同一目标重复检测。乘客包围框可以根据检测的关键点位置获得。IOU方式即求得两个关键点的交并比,当IOU的值大于0.8时,则认为其为同一目标。相邻关键点的IOU对乘客进行跟踪检测为众所周知的,实施者可以自行调整阈值。
第一跨越预测模块,用于从数据计算模块获取数据,若所述夹角不属于设定角度范围,则预测行人无跨越倾向,否则进一步判断实时移动速度分量是否为零,若为零则预测行人无跨越倾向,否则进一步判断实时移动速度分量序列是否递减,若是则预测行人无跨越倾向,否则预测行人有跨越倾向。设定角度范围满足:设定角度范围中任一角度对应的行人实时朝向面向安全候车线,且行人实时朝向所在直线与安全候车线的较小夹角大于第一角度。
在本实施例中,以图2中角度a来规定角度范围。以图2中垂线为对称轴,较小夹角若小于第一角度a,则认为乘客正对候车线,否则认为背对候车线。在此需要说明,乘客朝向向量是指过左右肩部连线中点作乘客左右肩部连线垂线的向量,具体方向前述已经说明。
一般地,认为乘客在背对候车线时不会有跨线风险,因此,当乘客背对候车线时,将认为其不存在跨越安全候车线的风险;当乘客正对候车线时,进一步分析乘客移动速率。获取乘客的移动速率之后,按照时间比较关键点的速率变化,并基于乘客移动速率变化来预测乘客是否存在跨越候车线风险。如果乘客的移动速率为零或者速率是递减的,将认为不存在跨越候车线的风险;如果乘客脚部关键点的移动速率大于零且是近似均匀或递增变化的,则认为有跨越安全候车线的风险,工作人员将及时进行预警,防止乘客出现跨越候车线的行为。
***还包括:警报模块,用于出现危险情况时,发出警报,危险情况包括:危险区域内存在行人。危险情况还包括:所述第一跨越预测模块的预测结果为有跨越倾向的危险情况。
为了获得实时的越线倾向预测量化值,提高越线倾向预测,本发明设置第二跨越预测模块。第二跨越预测模块,用于计算位于非危险区域行人的实时越线倾向指标,若实时越线倾向指标持续超过设定阈值,则预测行人有跨越倾向,所述实时越线倾向指标为:
其中,,,t表示实时移动速度分量的计算次数,为非危险区域的行人实时朝向与安全候车线之间的夹角,为向安全候车线方向的实时移动速度分量,为行人与安全候车线之间的实时距离,,为权值平衡参数,为底数常数,按如下规则计数:以安全候车线为零度轴线,从安全候车线向轨道侧逆时针旋转为0-180度,从安全候车线向远离轨道侧顺时针旋转为0度至-180度。优选地,取0.5,取0.8,取0.8,设定阈值取0.45。
因此,危险情况还包括:所述第二跨越预测模块的预测结果为有跨越倾向的危险情况。
结合第一跨越预测模块、第二跨越预测模块,危险情况还包括:针对第一跨越预测模块的预测结果,设置第一滑动时间窗口,针对第二跨越预测模块的预测结果,设置第二滑动时间窗口,第一滑动时间窗口与第二滑动时间窗口具有相同的起始时刻、尺寸、步长;第一滑动时间窗口内第一跨越预测模块的预测结果为有跨越倾向的第一次数,第二滑动时间窗口内第二跨越预测模块的预测结果为有跨越倾向的第二次数,若第一次数与第二次数均达到设定条件,则判断为危险情况。实施者应当清楚,第一跨越预测模块对速度分量进行分析时,应向前取速度分量序列进行分析,从而得到当前时刻的预测结果。结合两个跨越预测模块,提高了跨越预测精度。
该***还包括:可视化模块,用于结合WebGIS技术对车站站台区域建筑信息模型进行可视化。为了方便管理且更直观的呈现信息,本发明结合站台BIM模型通过WebGIS技术进行可视化,通过调用信息交换模块实时更新站台三维模型和相关信息,并可查看相机感知信息,展示当前候车线跨越检测结果信息。通过WebGIS的可视化,管理人员可以在Web上进行检索、查询和分析,便于管理人员及时了解整个拍摄区域内的行人越线趋势并对其采取进一步的管理。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于BIM与DNN的车站候车线跨越检测***,其特征在于,该***包括:
站台建筑信息模型模块,用于构建车站站台建筑信息模型;
跨越检测模块,用于检测安全候车线界定的危险区域是否存在行人;
数据计算模块,用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量;
第一跨越预测模块,用于从数据计算模块获取数据,若所述夹角不属于设定角度范围,则预测行人无跨越倾向,否则进一步判断实时移动速度分量是否为零,若为零则预测行人无跨越倾向,否则进一步判断实时移动速度分量序列是否递减,若是则预测行人无跨越倾向,否则预测行人有跨越倾向;
第二跨越预测模块,用于计算位于非危险区域行人的实时越线倾向指标,若实时越线倾向指标持续超过设定阈值,则预测行人有跨越倾向,所述实时越线倾向指标为:
2.如权利要求1所述的***,所述设定角度范围满足:
设定角度范围中任一角度对应的行人实时朝向面向安全候车线,且行人实时朝向所在直线与安全候车线的较小夹角大于第一角度。
3.如权利要求1所述的***,其特征在于,该***还包括:
警报模块,用于出现危险情况时,发出警报,所述危险情况包括:危险区域内存在行人。
4.如权利要求3所述的***,其特征在于,所述危险情况还包括:
所述第一跨越预测模块的预测结果为有跨越倾向的危险情况、所述第二跨越预测模块的预测结果为有跨越倾向的危险情况。
5.如权利要求3所述的***,其特征在于,所述危险情况还包括:
针对第一跨越预测模块的预测结果,设置第一滑动时间窗口,针对第二跨越预测模块的预测结果,设置第二滑动时间窗口,第一滑动时间窗口与第二滑动时间窗口具有相同的起始时刻、尺寸、步长;
第一滑动时间窗口内第一跨越预测模块的预测结果为有跨越倾向的第一次数,第二滑动时间窗口内第二跨越预测模块的预测结果为有跨越倾向的第二次数,若第一次数与第二次数均达到设定条件,则判断为危险情况。
6.如权利要求1所述的***,其特征在于,所述行人检测基于行人关键点检测深度神经网络执行,检测的行人关键点包括左右肩部关键点、左右脚关键点。
7.如权利要求1所述的***,其特征在于,所述行人实时朝向的获得方法:
将左肩关键点与右肩关键点连接得到第一连线;
为第一连线规定方向为左肩关键点指向右肩关键点,得到第一向量;
在站台建筑信息模型地面坐标系上,将第一向量逆时针旋转90度得到第二向量,第二向量的单位向量即为行人实时朝向。
8.如权利要求1所述的***,其特征在于,该***还包括:
实时跟踪模块,用于实时跟踪行人。
9.如权利要求1所述的***,其特征在于,该***还包括:
可视化模块,用于结合WebGIS技术对车站站台区域建筑信息模型进行可视化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011205657.3A CN112382068B (zh) | 2020-11-02 | 2020-11-02 | 基于bim与dnn的车站候车线跨越检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011205657.3A CN112382068B (zh) | 2020-11-02 | 2020-11-02 | 基于bim与dnn的车站候车线跨越检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112382068A CN112382068A (zh) | 2021-02-19 |
CN112382068B true CN112382068B (zh) | 2022-09-16 |
Family
ID=74577533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011205657.3A Expired - Fee Related CN112382068B (zh) | 2020-11-02 | 2020-11-02 | 基于bim与dnn的车站候车线跨越检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112382068B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486857B (zh) * | 2021-08-03 | 2023-05-12 | 云南大学 | 一种基于YOLOv4的登高安全检测方法及*** |
CN114326448B (zh) * | 2021-12-30 | 2024-07-02 | 广东威力电器有限公司 | 一种智能马桶盖控制方法及智能马桶盖控制*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006097A (ja) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | 車両の運転支援装置 |
WO2008127465A1 (en) * | 2007-04-11 | 2008-10-23 | Nec Laboratories America, Inc. | Real-time driving danger level prediction |
KR20130050763A (ko) * | 2011-11-08 | 2013-05-16 | 엘지이노텍 주식회사 | 주차 보조 시스템 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4400316B2 (ja) * | 2004-06-02 | 2010-01-20 | 日産自動車株式会社 | 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
CN1858815B (zh) * | 2005-09-27 | 2010-04-14 | 华为技术有限公司 | 一种位置监控方法及*** |
DE602006013523D1 (de) * | 2006-10-09 | 2010-05-20 | Ericsson Telefon Ab L M | Verfahren und system zur bestimmung einer bedrohung für eine grenze |
JP4888275B2 (ja) * | 2007-08-08 | 2012-02-29 | 三菱電機株式会社 | 侵入検知装置 |
CN101894271B (zh) * | 2010-07-28 | 2012-11-07 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
JP5762730B2 (ja) * | 2010-12-09 | 2015-08-12 | パナソニック株式会社 | 人検出装置および人検出方法 |
CN202018710U (zh) * | 2011-02-24 | 2011-10-26 | 中国电信集团***集成有限责任公司内蒙古分公司 | 基于3g智能视频分析的警戒线跨越报警*** |
CN103456024B (zh) * | 2012-06-02 | 2016-03-09 | 浙江西谷数字技术有限公司 | 一种运动目标越线判断方法 |
KR102433791B1 (ko) * | 2015-11-20 | 2022-08-19 | 주식회사 에이치엘클레무브 | 차선 이탈 경고 장치 및 방법 |
CN105930795A (zh) * | 2016-04-20 | 2016-09-07 | 东北大学 | 一种基于人体骨骼关节点间空间向量的行走状态识别方法 |
US20170372580A1 (en) * | 2016-06-23 | 2017-12-28 | OnPoint Systems, LLC | Device and Method For Containing and Tracking A Subject Using Satellite Positioning Data |
CN107762516A (zh) * | 2016-08-19 | 2018-03-06 | 张鹏 | 一种能够实现对露天矿开采境界的确定方法 |
CN106406189A (zh) * | 2016-11-28 | 2017-02-15 | 中国农业大学 | 一种无人机植保作业的电子围栏监控方法 |
KR101840042B1 (ko) * | 2017-03-03 | 2018-03-19 | 주식회사 에스원 | 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템 |
CN107832672B (zh) * | 2017-10-12 | 2020-07-07 | 北京航空航天大学 | 一种利用姿态信息设计多损失函数的行人重识别方法 |
ES1219669Y (es) * | 2018-10-04 | 2019-01-18 | Yuste Cayetano Castellano | Techo antisalto para vallas de seguridad |
CN109686048B (zh) * | 2019-01-02 | 2022-03-18 | 平安科技(深圳)有限公司 | 火车站台越线的预警方法、装置、计算机设备和存储介质 |
CN109886196A (zh) * | 2019-02-21 | 2019-06-14 | 中水北方勘测设计研究有限责任公司 | 基于bim加gis视频监控的人员轨迹追溯***及方法 |
CN110047237B (zh) * | 2019-04-15 | 2021-01-26 | 商洛学院 | 一种智慧金睛识别区域入侵报警方法和装置 |
CN111756859A (zh) * | 2020-07-06 | 2020-10-09 | 中兴飞流信息科技有限公司 | 一种基于视频ai的站台智能地标*** |
-
2020
- 2020-11-02 CN CN202011205657.3A patent/CN112382068B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006097A (ja) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | 車両の運転支援装置 |
WO2008127465A1 (en) * | 2007-04-11 | 2008-10-23 | Nec Laboratories America, Inc. | Real-time driving danger level prediction |
KR20130050763A (ko) * | 2011-11-08 | 2013-05-16 | 엘지이노텍 주식회사 | 주차 보조 시스템 |
Also Published As
Publication number | Publication date |
---|---|
CN112382068A (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106980829B (zh) | 基于视频分析的打架斗殴异常行为自动检测方法 | |
CN105574501B (zh) | 一种人流视频侦测分析*** | |
Foresti | A real-time system for video surveillance of unattended outdoor environments | |
CA3094424A1 (en) | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator | |
CN112382068B (zh) | 基于bim与dnn的车站候车线跨越检测*** | |
CN106128022A (zh) | 一种智慧金睛识别暴力动作报警方法和装置 | |
CN112434566B (zh) | 客流统计方法、装置、电子设备及存储介质 | |
CN112960014B (zh) | 基于人工智能的轨道交通运行安全在线实时监测预警管理云平台 | |
CN112116510A (zh) | 一种基于物联网的智慧园区管理***及方法 | |
CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和*** | |
CN111582069B (zh) | 一种空基监视平台的轨道障碍物零样本分类方法及装置 | |
CN114248819A (zh) | 基于深度学习的铁路侵限异物无人机检测方法、装置及*** | |
CN114529880A (zh) | 一种城市轨道异物侵限检测方法、装置、***及存储介质 | |
CN113569801B (zh) | 一种配电施工现场带电设备及其带电区域识别方法及装置 | |
CN113505704B (zh) | 图像识别的人员安全侦测方法、***、设备及存储介质 | |
Sumalee et al. | Probabilistic fusion of vehicle features for reidentification and travel time estimation using video image data | |
CN106951820A (zh) | 基于环形模板和椭圆拟合的客流统计方法 | |
CN117612109A (zh) | 一种铁路行车轨道范围内非特定异物侵限的分步检测方法 | |
CN113076825A (zh) | 一种变电站工作人员爬高安全监测方法 | |
Raj et al. | Estimating social distance in public places for COVID-19 protocol using region CNN | |
CN114708544A (zh) | 一种基于边缘计算的违规行为智能监测头盔及其监测方法 | |
Wu et al. | Enhanced roadway geometry data collection using an effective video log image-processing algorithm | |
Qin et al. | An improved deep learning algorithm for obstacle detection in complex rail transit environments | |
Klammsteiner et al. | Vision Based Stationary Railway Track Monitoring System | |
Khan et al. | Multiple moving vehicle speed estimation using Blob analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220830 Address after: Room 301, No. 433, Songhu Road, Yangpu District, Shanghai, 200438 Applicant after: Luban Software Co.,Ltd. Address before: 69 Chuangye Avenue, hi tech Zone, Yantai City, Shandong Province Applicant before: Chen Songshan |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220916 |