CN116721093B - 基于神经网络的地铁轨道障碍物检测方法和*** - Google Patents
基于神经网络的地铁轨道障碍物检测方法和*** Download PDFInfo
- Publication number
- CN116721093B CN116721093B CN202310968414.2A CN202310968414A CN116721093B CN 116721093 B CN116721093 B CN 116721093B CN 202310968414 A CN202310968414 A CN 202310968414A CN 116721093 B CN116721093 B CN 116721093B
- Authority
- CN
- China
- Prior art keywords
- detected
- track
- illumination
- segments
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 238000005286 illumination Methods 0.000 claims abstract description 152
- 238000003062 neural network model Methods 0.000 claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 45
- 239000003086 colorant Substances 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 8
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000000576 coating method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种基于神经网络的地铁轨道障碍物检测方法和***，本发明涉及轨道障碍物检测技术领域，该方法包括获取不同颜色光照下的多张轨道图片；基于图神经网络模型对不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段；获取多个待检测轨道段的监控视频和多个待检测轨道段在不同颜色光照下的图片；基于多个待检测轨道段的监控视频和多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率；基于多个待检测轨道段的障碍物存在概率确定多个待检测轨道段中的每个待检测轨道段的检测方式，该方法能够提高对轨道障碍物的检测效率。
Description
技术领域
本发明涉及轨道障碍物检测技术领域，具体涉及一种基于神经网络的地铁轨道障碍物检测方法和***。
背景技术
为了克服轨道交通安全事故的频繁发生，需要对轨道障碍物进行检测，在现有的地铁轨道障碍物检测技术中，通常使用计算机视觉算法对轨道图片进行处理来检测可能存在的障碍物。在传统的轨道障碍物检测中，需要对全部轨道进行扫描和检测，由于轨道较长，检测过程中可能会出现漏检或误检的问题，影响检测结果的准确性，而且较长的轨道的扫描时间和后续的检测时间也较长。而且由于每张轨道图片的处理都需要进行复杂的计算，这会消耗大量的计算资源和时间，而由于轨道中出现障碍物是小概率的事件，所以每次对全部轨道进行障碍物检测会耗费大量人力物力，效率较低下。
因此如何提高对轨道障碍物的检测效率当前亟待解决的问题。
发明内容
本发明主要解决的技术问题是如何提高对轨道障碍物的检测效率。
根据第一方面，本发明提供一种基于神经网络的地铁轨道障碍物检测方法，包括：获取不同颜色光照下的多张轨道图片，其中每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片；基于图神经网络模型对所述不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段，其中所述图神经网络模型的输入包括多个节点和所述多个节点之间的多条边，所述多个节点中的每一个节点表示在每种颜色光照下的轨道，所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，所述图神经网络模型的输出为多个待检测轨道段；获取所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片；基于所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率；基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式。
更进一步地，待检测轨道段的检测方式包括采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测、采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测、采用超声波传感器对待检测轨道段进行检测，所述可见光摄像头的分辨率大于1080P，所述基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式包括：若待检测轨道段的障碍物存在概率大于0.1，则采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测；若待检测轨道段的障碍物存在概率大于0.01且小于0.1，则采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测；若待检测轨道段的障碍物存在概率小于或等于0.01，则采用超声波传感器对待检测轨道段进行检测。
更进一步地，所述不同颜色光照下的多张轨道图片包括白光光照下的多张轨道图片、红光光照下的多张轨道图片、绿光光照下的多张轨道图片、蓝光光照下的多张轨道图片、紫外光光照下的多张轨道图片。
更进一步地，所述概率确定模型为长短期神经网络模型，所述概率确定模型的输入为所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片，所述概率确定模型的输出多个待检测轨道段的障碍物存在概率。
更进一步地，所述方法还包括：获取每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式，基于所述每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式使用时间确定模型确定出总检测时间，所述时间确定模型为深度神经网络模型。
根据第二方面，本发明提供一种基于神经网络的地铁轨道障碍物检测***，包括：第一获取模块，用于获取不同颜色光照下的多张轨道图片，其中每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片；轨道段确定模块，用于基于图神经网络模型对所述不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段，其中所述图神经网络模型的输入包括多个节点和所述多个节点之间的多条边，所述多个节点中的每一个节点表示在每种颜色光照下的轨道，所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，所述图神经网络模型的输出为多个待检测轨道段；第二获取模块，用于获取所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片；概率确定模块，用于基于所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率；检测方式确定模块，用于基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式。
更进一步地，待检测轨道段的检测方式包括采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测、采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测、采用超声波传感器对待检测轨道段进行检测，所述可见光摄像头的分辨率大于1080P，所述检测方式确定模块还用于：
若待检测轨道段的障碍物存在概率大于0.1，则采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测；
若待检测轨道段的障碍物存在概率大于0.01且小于0.1，则采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测；
若待检测轨道段的障碍物存在概率小于或等于0.01，则采用超声波传感器对待检测轨道段进行检测。
更进一步地，所述不同颜色光照下的多张轨道图片包括白光光照下的多张轨道图片、红光光照下的多张轨道图片、绿光光照下的多张轨道图片、蓝光光照下的多张轨道图片、紫外光光照下的多张轨道图片。
更进一步地，所述概率确定模型为长短期神经网络模型，所述概率确定模型的输入为所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片，所述概率确定模型的输出多个待检测轨道段的障碍物存在概率。
更进一步地，所述***还用于：获取每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式，基于所述每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式使用时间确定模型确定出总检测时间，所述时间确定模型为深度神经网络模型。
本发明提供的一种基于神经网络的地铁轨道障碍物检测方法和***，该方法包括获取不同颜色光照下的多张轨道图片，其中每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片；基于图神经网络模型对所述不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段，其中所述图神经网络模型的输入包括多个节点和所述多个节点之间的多条边，所述多个节点中的每一个节点表示在每种颜色光照下的轨道，所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，所述图神经网络模型的输出为多个待检测轨道段；获取所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片；基于所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率；基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式，该方法能够提高对轨道障碍物的检测效率。
附图说明
图1为本发明实施例提供的一种基于神经网络的地铁轨道障碍物检测方法的流程示意图；
图2为本发明实施例提供的一种基于神经网络的地铁轨道障碍物检测***的示意图。
具体实施方式
本发明实施例中，提供了如图1所示的一种基于神经网络的地铁轨道障碍物检测方法，所述基于神经网络的地铁轨道障碍物检测方法包括步骤S1~S5：
步骤S1，获取不同颜色光照下的多张轨道图片，其中每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片。
轨道为地铁行驶的轨道，轨道包括直线部分和弯曲部分。
不同颜色光照下的多张轨道图片中的每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片。
在一些实施例中，可以在地铁轨道旁设置多种颜色的光源，来对轨道进行照射，并得到照射后的多张轨道图片。
在一些实施例中，可以通过监控摄像头对轨道进行拍摄得到多段轨道的图片，并通过图片合成方法合成得到在一种颜色光照下对轨道进行拍摄得到的轨道图片。图片合成方法包括叠加合成、拼贴合成、蒙版合成等。
所述不同颜色光照下的多张轨道图片包括白光光照下的多张轨道图片、红光光照下的多张轨道图片、绿光光照下的多张轨道图片、蓝光光照下的多张轨道图片、紫外光光照下的多张轨道图片。
通过不同颜色的光照对列车轨道进行照射可以提供多种信息和特征，这些信息也可以作为图神经网络模型的输入以确定障碍物。例如，白光是一种综合性的光照条件，它能够提供较为真实和自然的光照环境。因此，在白光光照下的轨道图片可以提供对物体的真实视觉信息，包括物体的表面纹理、颜色以及形状等特征。白光光照下的轨道图片可以作为基准图像，用于对比和参考其他颜色光照下的图片。通过对比分析，可以检测出在其他光照条件下，物体表面反射特性的变化情况，进而进行障碍物的检测。
红光光照下的图片主要突出物体的红色成分，使得红色物体在图像中更加饱和明亮。因此，红光光照下的轨道图片能够突出红色障碍物的特征，方便检测和识别红色障碍物。红光光照下的图片可以用于红色障碍物的检测和识别。
绿光光照下的图片能够增强绿色物体的对比度和明亮度，使得绿色障碍物在图像中更加突出。因此，绿光光照下的轨道图片有助于检测和识别绿色障碍物。绿光光照下的图片可以用于绿色障碍物的检测和识别。
蓝光光照下的图片主要突出蓝色物体的特征，使得蓝色障碍物在图像中更加明亮和饱和。蓝光光照下的轨道图片可用于检测和识别蓝色障碍物。蓝光光照下的图片可以用于蓝色障碍物的检测和识别。
紫外光光照下的图片主要突出物体表面的紫外反射特性，使得某些特定材质或涂层在紫外光下呈现出特殊的反射特征。紫外光光照下的轨道图片可用于检测和识别一些在可见光下不易察觉的障碍物。
步骤S2，基于图神经网络模型对所述不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段，其中所述图神经网络模型的输入包括多个节点和所述多个节点之间的多条边，所述多个节点中的每一个节点表示在每种颜色光照下的轨道，所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，所述图神经网络模型的输出为多个待检测轨道段。
由于监控摄像头拍摄的不同颜色光照下的多张轨道图片的清晰度较低，隐藏不同颜色光照下的多张轨道图片并不能完全用于显示出轨道中的障碍物，例如监控摄像头的分别率为480P，但不同颜色光照下的多张轨道图片的可以作为图神经网络模型的输入来确定多个待检测轨道段。
待检测轨道段指需要进行障碍物检测的特定轨道区域。待检测轨道段整个地铁轨道中的一小段轨道。例如，一段直线轨道上的某个弯道区域可以为待检测轨道段。
图神经网络模型包括图神经网络（Graph Neural Network，GNN）和全连接层，图神经网络是一种直接作用于图结构数据上的神经网络，所述图结构数据是由节点和边两部分组成的一种数据结构。
可以通过获取每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，并根据这些信息构建为一个图结构，图结构包括多个节点和多个节点之间的多条边，其中每个节点表示一种颜色光照下的轨道。在图神经网络中，节点可以表示任何对象或实体，包括图像、文本、用户等。每种颜色光照下的轨道图片可以作为图神经网络模型中节点的节点特征。节点特征是描述节点属性的向量或矩阵。对于每种颜色光照下的轨道图片，可以将每种颜色光照下的轨道图片编码为节点特征，使其成为图神经网络模型的输入，例如可以将每种颜色光照下的轨道图片所对应的数字化的像素阵列输入到图神经网络模型中。
每种颜色光照对应的多个光源的光照强度可以为工作人员在对轨道进行照射时设定的光照强度。
每种颜色光照下的轨道图片的颜色直方图为对每种颜色光照下的轨道图片进行计算得到颜色直方图。在一些实施例中，可以通过统计图片中每个颜色值或颜色通道的像素数量来计算直方图。在一些实施例中，可以使用OpenCV中的calcHist函数可以计算轨道图片的直方图。
颜色直方图可以作为每种颜色光照下轨道节点的特征，颜色直方图可以捕捉到每个待检测轨道段中不同颜色的分布情况。这些颜色特征可以被用来区分不同的物体或障碍物。图神经网络模型可以通过学习这些颜色特征来识别和分类不同的障碍物。颜色直方图可以提供待检测轨道段内各个位置的颜色分布情况。这些颜色分布可以帮助模型理解周围环境并辅助障碍物检测。图神经网络模型可以将颜色直方图与其他节点的属性和关系进行融合，并进行联合学习。可以提高障碍物检测的准确性和鲁棒性。
在一些实施例中，多条边中边的特征可以为每种颜色光照下的轨道图片之间的相似度。在一些实施例中，可以通过余弦相似度、欧氏距离来计算每种颜色光照下的轨道图片之间的相似度。
由于在不同光照下的轨道图片的清晰度不够高，直接用于障碍物检测的话，其结果不太精确，不同光照下的轨道图片只能提供不太精准的障碍物分布信息，需要进一步对该不太精准的障碍物分布信息进行确认和检测。通过不同光照下的轨道图片使用图神经网络模型进行处理确定需要检测的多个轨道段，再进行后续的障碍物检测，可以提高障碍物检测的效率，避免对全部轨道进行检测。
步骤S3，获取所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片。
所述多个待检测轨道段的监控视频指在待检测轨道段范围内采集的连续时间序列的图像数据。所述多个待检测轨道段的监控视频由监控摄像头记录得到。由于监控摄像头的分辨率较低，若直接用于轨道障碍物检测，其精度不够。监控视频可以提供连续的实时信息，由于障碍物不是凭空出现在轨道中，监控视频可以显示障碍物是如何到达轨道，但由于监控视频分辨率不够，并不能通过监控视频完全清楚的判断是否具有障碍物。例如，待检测轨道段的监控视频可以显示出地铁乘客的衣服掉到轨道中了，由于衣服较大，监控视频可以显示出存在地铁乘客的衣服这一障碍物。又例如，若乘客的耳机掉到轨道中，由于耳机较小，待检测轨道段的监控视频难以清晰的显示出耳机这一障碍物。但由于耳机在监控视频中会有相应的较小的运动轨迹，虽然通过监控视频难以清晰确定是否存在这一障碍物，但可以通过对监控视频进行处理来确定存在障碍物的概率。例如，障碍物越大，则监控视频显示的越清晰，则对监控视频进行处理后判断存在障碍物的概率也就越高。
在一些实施例中，在确定多个待检测轨道段后，可以获取到监控摄像头录制的多个待检测轨道段对应的监控视频，其中监控摄像头是覆盖整个轨道的。
多个待检测轨道段在不同颜色光照下的图片表示多个待检测轨道段在不同颜色光照下的图片。在一些实施例中，可以从不同颜色光照下的多张轨道图片中对多个待检测轨道段进行裁剪得到多个待检测轨道段在不同颜色光照下的图片。
步骤S4，基于所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率。
待检测轨道段的障碍物存在概率表示待检测轨道段存在障碍物的概率，待检测轨道段的障碍物存在概率可以为0-1之间的数值，数值越大，则存在障碍物的概率越高。可以理解的是，障碍物越大，通过对所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片进行处理后得到的障碍物的存在概率也就越高，反之也然，而且若障碍物小于一定阈值的话，虽然通过所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片进行处理后得到的障碍物的概率越低，虽然可能不能识别出该障碍物，但是由于如果地铁轨道内的障碍物数量小于设定的阈值，并且这些障碍物对列车和轨道没有造成实质性的干扰或损害，通常情况下地铁在经过这些障碍物后也不会对地铁的运行产生直接的影响。地铁***设计和管理中考虑到了列车的安全和顺畅运行，采取了多重保护措施。如果障碍物小于阈值，并且不会引起紧急情况或破坏轨道结构，地铁轨道的设计通常考虑到了各种情况下的安全性和允许通过的空间。轨道上方的空间和侧面的间隙通常被设计为足够以容纳常见的障碍物，如小型树枝、小型垃圾等。
所述概率确定模型为长短期神经网络模型，所述概率确定模型的输入为所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片，所述概率确定模型的输出多个待检测轨道段的障碍物存在概率。
概率确定模型为长短期神经网络模型。长短期神经网络模型包括长短期神经网络（LSTM，Long Short-Term Memory）。长短期神经网络模型能够处理任意长度的序列数据，捕捉序列的信息，输出基于序列中前后数据关联关系的结果。概率确定模型综合考虑了各个时间点的多个待检测轨道段的监控视频和多个待检测轨道段在不同颜色光照下的图片，最终确定出多个待检测轨道段的障碍物存在概率。概率确定模型可以通过梯度下降法对训练样本进行训练得到。
在一些实施例中，概率确定模型包括监控视频处理模型、图片处理模型、加权求和算法，所述监控视频处理模型和图片处理模型都为长短期神经网络模型。监控视频处理模型的输入为所述多个待检测轨道段的监控视频，监控视频处理模型的输出为多个待检测轨道段的第一障碍物存在概率，所述图片处理模型的输入为所述多个待检测轨道段在不同颜色光照下的图片，所述图片处理模型的输出为多个待检测轨道段的第二障碍物存在概率。所述加权求和算法的输入为第一障碍物存在概率和第二障碍物存在概率，所述加权求和算法的输出为障碍物存在概率。
将概率确定模型划分为监控视频处理模型和图片处理模型可以使得.每个子模型可以专注于自己的任务，提高了模型的精度和效率，在模型训练时训练速度更快，也可以更方便地对单个子模型进行调整和优化，同时也方便将新子模型集成进整个模型中。
步骤S5，基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式。
可以理解的是障碍物存在概率越大，则需要采取更精密的检测方式来对每个待检测轨道段进行检测。
待检测轨道段的检测方式包括采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测、采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测、采用超声波传感器对待检测轨道段进行检测，所述可见光摄像头的分辨率大于1080P。
若待检测轨道段的障碍物存在概率大于0.1，则采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测，作为示例，可以使用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行扫描，并将扫描结果输入到训练好的第一机器学习模型中得到障碍物的识别结果。机器学习模型可以对输入数据进行特征提取和转换后得到输出结果，特征提取和转换可以包括降维、归一化、文本处理、图像处理等技术。所使用的机器学习模型可以是神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）等。
若待检测轨道段的障碍物存在概率大于0.01且小于0.1，则采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测；作为示例，可以使用可见光摄像头、红外摄像头共同对待检测轨道段进行扫描，并将扫描结果输入到训练好的第二机器学习模型中得到障碍物的识别结果。
若待检测轨道段的障碍物存在概率小于或等于0.01，则采用超声波传感器对待检测轨道段进行检测。作为示例，可以使用超声波传感器对待检测轨道段进行扫描，并将扫描结果输入到训练好的第三机器学习模型中得到障碍物的识别结果。
在一些实施例中，还可以获取每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式，基于所述每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式使用时间确定模型确定出总检测时间，所述时间确定模型为深度神经网络模型。深度神经网络模型包括深度神经网络（Deep Neural Networks，DNN）。
所述每个待检测轨道段的位置信息包括每个待检测轨道段的总长度、弯曲路段的长度、直线路段的长度、起始点到终点的多个位置坐标。
轨道段的总长度可以直接影响检测时间，因为检测***需要在整个轨道段上进行数据采集和分析。较长的轨道段可能需要更长的时间来完成检测操作，而较短的轨道段则可能需要较少的时间。
弯曲的路段相对于直线路段来说，通常需要更多的时间来进行检测。这是因为在弯曲处，地铁轨道的形状会发生变化，可能需要更多的视觉信息和数据处理来检测障碍物或异常情况。
直线路段通常比弯曲路段更容易进行检测，因为它们具有更简单和规则的结构。对于直线路段，检测***可以更快地捕捉到轨道上的各种情况，并进行相应的处理。
起始点到终点的多个位置坐标可以用来表示整个待检测轨道段的位置，起始点到终点的多个位置坐标。
总检测时间表示每个待检测轨道段的检测时间之和。
基于同一发明构思，图2为本发明的实施例提供的一种基于神经网络的地铁轨道障碍物检测***示意图，所述基于神经网络的地铁轨道障碍物检测***包括：
第一获取模块21，用于获取不同颜色光照下的多张轨道图片，其中每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片；
轨道段确定模块22，用于基于图神经网络模型对所述不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段，其中所述图神经网络模型的输入包括多个节点和所述多个节点之间的多条边，所述多个节点中的每一个节点表示在每种颜色光照下的轨道，所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，所述图神经网络模型的输出为多个待检测轨道段；
第二获取模块23，用于获取所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片；
概率确定模块24，用于基于所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率；
检测方式确定模块25，用于基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式。
Claims (8)
1.一种基于神经网络的地铁轨道障碍物检测方法，其特征在于，包括：
获取不同颜色光照下的多张轨道图片，其中每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片；
基于图神经网络模型对所述不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段，其中所述图神经网络模型的输入包括多个节点和所述多个节点之间的多条边，所述多个节点中的每一个节点表示在每种颜色光照下的轨道，所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，所述图神经网络模型的输出为多个待检测轨道段；
获取所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片；
基于所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率；
基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式，待检测轨道段的检测方式包括采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测、采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测、采用超声波传感器对待检测轨道段进行检测，所述可见光摄像头的分辨率大于1080P，所述基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式包括：
若待检测轨道段的障碍物存在概率大于0.1，则采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测；
若待检测轨道段的障碍物存在概率大于0.01且小于0.1，则采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测；
若待检测轨道段的障碍物存在概率小于或等于0.01，则采用超声波传感器对待检测轨道段进行检测。
2.如权利要求1所述的基于神经网络的地铁轨道障碍物检测方法，其特征在于，所述不同颜色光照下的多张轨道图片包括白光光照下的多张轨道图片、红光光照下的多张轨道图片、绿光光照下的多张轨道图片、蓝光光照下的多张轨道图片、紫外光光照下的多张轨道图片。
3.如权利要求1所述的基于神经网络的地铁轨道障碍物检测方法，其特征在于，所述概率确定模型为长短期神经网络模型，所述概率确定模型的输入为所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片，所述概率确定模型的输出多个待检测轨道段的障碍物存在概率。
4.如权利要求1所述的基于神经网络的地铁轨道障碍物检测方法，其特征在于，所述方法还包括：获取每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式，基于所述每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式使用时间确定模型确定出总检测时间，所述时间确定模型为深度神经网络模型。
5.一种基于神经网络的地铁轨道障碍物检测***，其特征在于，包括：
第一获取模块，用于获取不同颜色光照下的多张轨道图片，其中每张轨道图片为在一种颜色光照下对轨道进行拍摄得到的图片；
轨道段确定模块，用于基于图神经网络模型对所述不同颜色光照下的多张轨道图片进行处理确定多个待检测轨道段，其中所述图神经网络模型的输入包括多个节点和所述多个节点之间的多条边，所述多个节点中的每一个节点表示在每种颜色光照下的轨道，所述多个节点中的每一个节点包括多个节点特征，所述多个节点特征包括每种颜色光照下的轨道图片、每种颜色光照对应的多个光源的光照强度、每种颜色光照下的轨道图片的颜色直方图，所述图神经网络模型的输出为多个待检测轨道段；
第二获取模块，用于获取所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片；
概率确定模块，用于基于所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片使用概率确定模型确定多个待检测轨道段的障碍物存在概率；
检测方式确定模块，用于基于所述多个待检测轨道段的障碍物存在概率确定所述多个待检测轨道段中的每个待检测轨道段的检测方式，待检测轨道段的检测方式包括采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测、采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测、采用超声波传感器对待检测轨道段进行检测，所述可见光摄像头的分辨率大于1080P，所述检测方式确定模块还用于：
若待检测轨道段的障碍物存在概率大于0.1，则采用可见光摄像头、激光雷达、红外摄像头共同对待检测轨道段进行协同检测；
若待检测轨道段的障碍物存在概率大于0.01且小于0.1，则采用可见光摄像头、红外摄像头共同对待检测轨道段进行协同检测；
若待检测轨道段的障碍物存在概率小于或等于0.01，则采用超声波传感器对待检测轨道段进行检测。
6.如权利要求5所述的基于神经网络的地铁轨道障碍物检测***，其特征在于，所述不同颜色光照下的多张轨道图片包括白光光照下的多张轨道图片、红光光照下的多张轨道图片、绿光光照下的多张轨道图片、蓝光光照下的多张轨道图片、紫外光光照下的多张轨道图片。
7.如权利要求5所述的基于神经网络的地铁轨道障碍物检测***，其特征在于，所述概率确定模型为长短期神经网络模型，所述概率确定模型的输入为所述多个待检测轨道段的监控视频和所述多个待检测轨道段在不同颜色光照下的图片，所述概率确定模型的输出多个待检测轨道段的障碍物存在概率。
8.如权利要求5所述的基于神经网络的地铁轨道障碍物检测***，其特征在于，所述***还用于：获取每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式，基于所述每个待检测轨道段的位置信息和每个待检测轨道段对应的检测方式使用时间确定模型确定出总检测时间，所述时间确定模型为深度神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310968414.2A CN116721093B (zh) | 2023-08-03 | 2023-08-03 | 基于神经网络的地铁轨道障碍物检测方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310968414.2A CN116721093B (zh) | 2023-08-03 | 2023-08-03 | 基于神经网络的地铁轨道障碍物检测方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116721093A CN116721093A (zh) | 2023-09-08 |
| CN116721093B true CN116721093B (zh) | 2023-10-31 |
Family
ID=87868209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310968414.2A Active CN116721093B (zh) | 2023-08-03 | 2023-08-03 | 基于神经网络的地铁轨道障碍物检测方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721093B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9830503B1 (en) * | 2014-12-31 | 2017-11-28 | Morphotrust Usa, Llc | Object detection in videos |
| CN109544990A (zh) * | 2018-12-12 | 2019-03-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于实时电子地图识别可用泊车位的方法及*** |
| CN111126262A (zh) * | 2019-12-24 | 2020-05-08 | 中国科学院自动化研究所 | 基于图神经网络的视频精彩片段检测方法及装置 |
| CN111462192A (zh) * | 2020-02-24 | 2020-07-28 | 江苏大学 | 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法 |
| CN112966609A (zh) * | 2021-03-05 | 2021-06-15 | 北京百度网讯科技有限公司 | 目标检测方法及装置 |
| CN113029154A (zh) * | 2021-04-01 | 2021-06-25 | 北京深睿博联科技有限责任公司 | 一种盲人导航方法及装置 |
| CN113553916A (zh) * | 2021-06-30 | 2021-10-26 | 广西大学 | 一种基于卷积神经网络的轨道危险区域障碍物检测方法 |
| CN113689483A (zh) * | 2021-07-23 | 2021-11-23 | 浙江零跑科技股份有限公司 | 一种基于单目摄像头和激光雷达的测距方法 |
| CN114266993A (zh) * | 2021-12-10 | 2022-04-01 | 广州海格星航信息科技有限公司 | 一种基于图像的道路环境检测方法及装置 |
| CN115729245A (zh) * | 2022-11-25 | 2023-03-03 | 青岛慧拓智能机器有限公司 | 用于矿区坡道的障碍物融合检测方法、芯片和终端 |
| CN116117817A (zh) * | 2023-02-28 | 2023-05-16 | 广东电网有限责任公司 | 清障作业机器人控制方法、装置、机器人和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298298B (zh) * | 2019-06-26 | 2022-03-08 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
-
2023
- 2023-08-03 CN CN202310968414.2A patent/CN116721093B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9830503B1 (en) * | 2014-12-31 | 2017-11-28 | Morphotrust Usa, Llc | Object detection in videos |
| CN109544990A (zh) * | 2018-12-12 | 2019-03-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于实时电子地图识别可用泊车位的方法及*** |
| CN111126262A (zh) * | 2019-12-24 | 2020-05-08 | 中国科学院自动化研究所 | 基于图神经网络的视频精彩片段检测方法及装置 |
| CN111462192A (zh) * | 2020-02-24 | 2020-07-28 | 江苏大学 | 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法 |
| CN112966609A (zh) * | 2021-03-05 | 2021-06-15 | 北京百度网讯科技有限公司 | 目标检测方法及装置 |
| CN113029154A (zh) * | 2021-04-01 | 2021-06-25 | 北京深睿博联科技有限责任公司 | 一种盲人导航方法及装置 |
| CN113553916A (zh) * | 2021-06-30 | 2021-10-26 | 广西大学 | 一种基于卷积神经网络的轨道危险区域障碍物检测方法 |
| CN113689483A (zh) * | 2021-07-23 | 2021-11-23 | 浙江零跑科技股份有限公司 | 一种基于单目摄像头和激光雷达的测距方法 |
| CN114266993A (zh) * | 2021-12-10 | 2022-04-01 | 广州海格星航信息科技有限公司 | 一种基于图像的道路环境检测方法及装置 |
| CN115729245A (zh) * | 2022-11-25 | 2023-03-03 | 青岛慧拓智能机器有限公司 | 用于矿区坡道的障碍物融合检测方法、芯片和终端 |
| CN116117817A (zh) * | 2023-02-28 | 2023-05-16 | 广东电网有限责任公司 | 清障作业机器人控制方法、装置、机器人和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116721093A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271921B (zh) | 一种多光谱成像的智能识别方法及*** | |
| EP1675066A1 (en) | Face image candidate area search method, face image candidate area search system, and face image candidate area search program | |
| WO2012022744A2 (en) | Multi-mode video event indexing | |
| KR101040049B1 (ko) | 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법 | |
| Salehi et al. | An automatic video-based drowning detection system for swimming pools using active contours | |
| CN110490043A (zh) | 一种基于区域划分和特征提取的森林烟火检测方法 | |
| CN110781806A (zh) | 一种基于yolo的行人检测追踪方法 | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
| CN115131880A (zh) | 一种多尺度注意力融合的双重监督人脸活体检测方法 | |
| Liang et al. | Methods of moving target detection and behavior recognition in intelligent vision monitoring. | |
| Tao et al. | Smoky vehicle detection based on range filtering on three orthogonal planes and motion orientation histogram | |
| Gupta et al. | Early wildfire smoke detection in videos | |
| CN101976342B (zh) | 一种基于时空协同判定的“猫眼”效应目标识别方法 | |
| Shafie et al. | Smart video surveillance system for vehicle detection and traffic flow control | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及*** | |
| CN116721093B (zh) | 基于神经网络的地铁轨道障碍物检测方法和*** | |
| CN113221603A (zh) | 一种检测监控设备被异物遮挡的方法及装置 | |
| CN116630890A (zh) | 一种通过对钓鱼区域分析的钓鱼行为检测方法和*** | |
| CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 | |
| CN114926456A (zh) | 一种半自动标注和改进深度学习的铁轨异物检测方法 | |
| CN111583341B (zh) | 云台像机移位检测方法 | |
| Patel et al. | Depthwise convolution for compact object detector in nighttime images | |
| CN113657314A (zh) | 一种工业环境下动静态不安全行为识别方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |