CN114973694A - 一种基于巡检机器人的隧道车流量监测***及其方法 - Google Patents
一种基于巡检机器人的隧道车流量监测***及其方法 Download PDFInfo
- Publication number
- CN114973694A CN114973694A CN202210545940.3A CN202210545940A CN114973694A CN 114973694 A CN114973694 A CN 114973694A CN 202210545940 A CN202210545940 A CN 202210545940A CN 114973694 A CN114973694 A CN 114973694A
- Authority
- CN
- China
- Prior art keywords
- module
- vehicle
- inspection
- track
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 112
- 238000012544 monitoring process Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000009526 moderate injury Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 208000034656 Contusions Diseases 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 208000032544 Cicatrix Diseases 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 230000037387 scars Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于巡检机器人技术领域，公开了一种基于巡检机器人的隧道车流量监测***及其方法，所述的方法包括如下步骤：建立车辆目标识别模型和巡检轨道故障检测模型；使用巡检轨道故障检测模型根据巡检轨道视频数据对巡检轨道进行故障检测；采集隧道内实时的车辆通行视频数据和实时的巡检轨道视频数据；对实时的车辆通行视频数据进行预处理，得到连续帧的预处理后车辆通行图像数据；将连续帧的预处理后车辆通行图像数据依次输入车辆目标识别模型进行车辆目标识别和追踪；根据采样周期的车辆目标数量进行车流量计算。本发明解决了现有技术存在的隧道内车流量监测困难、数据传输效率低下、安全性低、人力成本投入大以及准确性低的问题。
Description
技术领域
本发明属于巡检机器人技术领域，具体涉及一种基于巡检机器人的隧道车流量监测***及其方法。
背景技术
随着交通建设的发展，大量的穿山或穿海隧道设置，提高了市民的生活质量和出行质量，同时也加大了对隧道内车流量的监测和管理难度，并且由于隧道内空间狭窄，信号差，导致数据传输效率低下，通常采用人工监测方式，安全性低，人力成本投入大，车辆通行速度快，仅仅靠肉眼进行现场统计或视频统计的方式，准确性低。
发明内容
为了解决现有技术存在的隧道内车流量监测困难、数据传输效率低下、安全性低、人力成本投入大以及准确性低的问题，本发明目的在于提供一种基于巡检机器人的隧道车流量监测***及其方法。
本发明所采用的技术方案为：
一种基于巡检机器人的隧道车流量监测***，包括巡检机器人、巡检轨道、边缘计算网关以及监控中心，巡检机器人设置于巡检轨道顶端，巡检机器人面向车辆通行的一侧设置有车辆视频采集单元，且巡检机器人与边缘计算网关通信连接，巡检轨道设置于隧道内部一侧，边缘计算网关设置于隧道内部顶端，且边缘计算网关与监控中心通信连接。
进一步地，巡检机器人包括本体、设置于本体底端的移动单元、设置于本体面向车辆通行的一侧的车辆视频采集单元、设置于本体一端的轨道视频采集单元以及设置于本体内部的机器人主控单元和可充电电池，机器人主控单元分别与移动单元、车辆视频采集单元以及轨道视频采集单元电性连接，且机器人主控单元与边缘计算网关通信连接，移动单元设置于巡检轨道顶端，可充电电池分别与机器人主控单元、移动单元、车辆视频采集单元以及轨道视频采集单元电性连接；
机器人主控单元包括机器人主控模块、定位模块、第一存储模块、电机驱动模块以及无线通信模块，机器人主控模块分别与定位模块、第一存储模块、电机驱动模块以及无线通信模块电性连接，电机驱动模块与移动单元电性连接，无线通信模块与边缘计算网关通信连接；
车辆视频采集单元为第一高速红外摄像头，且第一高速红外摄像头面向车辆通行的一侧设置，轨道视频采集单元为设置在本体两端的第二高速红外摄像头，第二高速红外摄像头朝向巡检轨道设置。
进一步地，边缘计算网关包括边缘计算单元和网络单元，边缘计算单元与网络单元电性连接，网络单元分别与巡检机器人的无线通信模块和监控中心通信连接；
边缘计算单元包括边缘计算主控模块、第二存储模块、图像预处理模块以及加密模块，边缘计算主控模块分别与第二存储模块、图像预处理模块、加密模块以及网络单元连接。
进一步地，监控中心设置有数据服务器，数据服务器与边缘计算网关通信连接，数据服务器通信连接有外部的云数据中心；
数据服务器包括数据并行接收模块、解密模块、车辆目标识别模块、车流量计算模块、巡检轨道故障检测模块、缓存数据库模块以及数据并行上传模块，数据并行接收模块分别与边缘计算网关和解密模块连接，解密模块分别与车辆目标识别模块和巡检轨道故障检测模块连接，车辆目标识别模块与车流量计算模块连接，缓存数据库模块分别与数据并行接收模块、解密模块、车辆目标识别模块、车流量计算模块、巡检轨道故障检测模块以及数据并行上传模块连接，数据并行上传模块通信连接有外部的云数据中心；
车辆目标识别模块设置有车辆目标识别模型，巡检轨道故障检测模块设置有巡检轨道故障检测模型。
一种基于巡检机器人的隧道车流量监测方法，基于隧道车流量监测***，包括如下步骤：
建立车辆目标识别模型和巡检轨道故障检测模型；
使用巡检轨道故障检测模型根据上一次的巡检轨道视频数据对巡检轨道进行故障检测，若存在严重故障，则发出警报信号，并停止隧道车流量监测方法，否则进入下一步骤；
采集隧道内实时的车辆通行视频数据和实时的巡检轨道视频数据；
对实时的车辆通行视频数据进行预处理，得到连续帧的预处理后车辆通行图像数据；
将连续帧的预处理后车辆通行图像数据依次输入车辆目标识别模型进行车辆目标识别和追踪，得到车辆目标数量；
根据采样周期的车辆目标数量进行车流量计算，得到隧道车流量结果。
进一步地，建立车辆目标识别模型和巡检轨道故障检测模型，包括如下步骤：
获取历史的车辆通行图像数据集和历史的巡检轨道图像数据集，并对历史的车辆通行图像数据集和历史的巡检轨道图像数据集进行数据集扩充和预处理，得到扩充后的车辆通行训练数据集和扩充后的巡检轨道训练数据集；
基于YOLOv5算法建立初始的车辆目标识别模型，基于PP-YOLO-Tiny算法建立初始的巡检轨道故障检测模型；
将车辆通行训练数据集输入初始的车辆目标识别模型进行优化训练，得到最优的车辆目标识别模型；
将巡检轨道训练数据集输入初始的巡检轨道故障检测模型，得到最优的巡检轨道故障检测模型。
进一步地，车辆目标识别模型的网络结构包括依次连接的第一输入端、Backbone模块、第一DetectionNeck模块和第一Prediction模块；
巡检轨道故障检测模型的网络结构包括依次连接的第二输入端、MobileNetV3模块、第二DetectionNeck模块、DetectionHead模块以及第二Prediction模块。
进一步地，使用巡检轨道故障检测模型根据上一次的巡检轨道视频数据对巡检轨道进行故障检测，包括如下步骤：
对上一次的巡检轨道视频数据进行帧截取和预处理，得到连续帧的预处理后巡检轨道视频数据；
将连续帧的预处理后巡检轨道视频数据依次输入巡检轨道故障检测模型进行目标检测，得到若干巡检轨道故障目标图像；
对若干巡检轨道故障目标图像进行故障检测，得到故障检测结果；
故障检测结果包括严重故障、中度损伤以及轻度擦伤。
进一步地，对实时的车辆通行视频数据进行预处理，包括如下步骤：
对实时的车辆通行视频数据进行帧截取，得到连续帧的初始的车辆通行图像数据；
对连续帧的初始的车辆通行图像数据进行去噪处理、灰度处理以及归一化处理，得到连续帧的预处理后车辆通行图像数据。
进一步地，将连续帧的预处理后车辆通行图像数据依次输入车辆目标识别模型进行车辆目标识别和追踪，包括如下步骤：
对所有帧的预处理后车辆通行图像数据进行网格划分，并获取每个网格的先验框；
根据先验框和预设预测框的偏移量获取每个先验框对应的初始预测框；
根据预设交并比值和预设置信度对初始预测框进行非极大值抑制筛选，得到所有帧的预处理后车辆通行图像数据的最终预测框；
对最终预测框内的图像区域进行车辆目标识别，得到若干车辆目标；
使用多目标追踪算法对同一车辆目标进行追踪和统计，得到车辆目标数量。
本发明的有益效果为：
1)本发明提供的基于巡检机器人的隧道车流量监测***，采用巡检机器人与巡检轨道对隧道内部的车流量进行监测，避免了人工方式，提高了安全性和准确性，降低了隧道车流量监测难度，减少了人力成本投入，同时采用边缘计算网关在没有网络的情况下也能实现数据传输，提高了数据传输效率。
2)本发明提供的基于巡检机器人的隧道车流量监测方法，基于深度学习算法对车辆目标和巡检轨道故障目标进行自动检测和识别，避免了人工识别和统计的方式，提高了监测准确性，并且在每次隧道车流量监测之间，先进行巡检轨道故障检测，保证巡检机器人的正常工作，提高了实用性和安全性。
本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
图1是本发明中基于巡检机器人的隧道车流量监测***的结构框图。
图2是本发明中基于巡检机器人的隧道车流量监测方法的流程图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步阐释。
实施例1：
如图1所示，本实施例提供一种基于巡检机器人的隧道车流量监测***，包括设置不同隧道的巡检机器人、巡检轨道、边缘计算网关以及唯一的监控中心，巡检机器人设置于巡检轨道顶端，巡检机器人面向车辆通行的一侧设置有车辆视频采集单元，且巡检机器人与边缘计算网关通信连接，巡检轨道设置于隧道内部一侧，边缘计算网关设置于隧道内部顶端，且边缘计算网关与监控中心通信连接。
巡检轨道保证巡检机器人的正常行动，车辆视频采集单元用于采集隧道内车辆通行视频数据，边缘计算网关用于数据传输，监控中心根据车辆通行视频数据进行车流量监测，边缘计算网关能够保证隧道内网络差或者网络丢失情况下的数据传输，同时本身具有一定的边缘计算能力。
作为优选，巡检机器人包括本体、设置于本体底端的移动单元、设置于本体面向车辆通行的一侧的车辆视频采集单元、设置于本体一端的轨道视频采集单元以及设置于本体内部的机器人主控单元和可充电电池，机器人主控单元分别与移动单元、车辆视频采集单元以及轨道视频采集单元电性连接，且机器人主控单元与边缘计算网关通信连接，移动单元设置于巡检轨道顶端，可充电电池分别与机器人主控单元、移动单元、车辆视频采集单元以及轨道视频采集单元电性连接；
机器人主控单元包括机器人主控模块、定位模块、第一存储模块、电机驱动模块以及无线通信模块，机器人主控模块分别与定位模块、第一存储模块、电机驱动模块以及无线通信模块电性连接，电机驱动模块与移动单元电性连接，无线通信模块与边缘计算网关通信连接；
车辆视频采集单元为第一高速红外摄像头，且第一高速红外摄像头面向车辆通行的一侧设置，轨道视频采集单元为设置在本体两端的第二高速红外摄像头，第二高速红外摄像头朝向巡检轨道设置。
作为优选，边缘计算网关包括边缘计算单元和网络单元，边缘计算单元与网络单元电性连接，网络单元分别与巡检机器人的无线通信模块和监控中心通信连接；
边缘计算单元包括边缘计算主控模块、第二存储模块、图像预处理模块以及加密模块，边缘计算主控模块分别与第二存储模块、图像预处理模块、加密模块以及网络单元连接；将视频数据的预处理放在边缘计算单元，能够减轻监控中心的数据处理压力，并且能够节省第二存储模块的存储空间，监控中心广播公钥至所有的边缘计算单元，本地保持对应的私钥，加密模块根据公钥对巡检机器人采集的车辆通行图像数据等进行进行加密上传，并在监控中心使用私钥对加密后的数据进行解密，保证了数据传输的安全性。
作为优选，监控中心设置有数据服务器，数据服务器与边缘计算网关通信连接，数据服务器通信连接有外部的云数据中心；
数据服务器包括数据并行接收模块、解密模块、车辆目标识别模块、车流量计算模块、巡检轨道故障检测模块、缓存数据库模块以及数据并行上传模块，数据并行接收模块分别与边缘计算网关和解密模块连接，解密模块分别与车辆目标识别模块和巡检轨道故障检测模块连接，车辆目标识别模块与车流量计算模块连接，缓存数据库模块分别与数据并行接收模块、解密模块、车辆目标识别模块、车流量计算模块、巡检轨道故障检测模块以及数据并行上传模块连接，数据并行上传模块通信连接有外部的云数据中心；
车辆目标识别模块设置有车辆目标识别模型，巡检轨道故障检测模块设置有巡检轨道故障检测模型；由于后续方法中采用轻量化的PP-YOLO-Tiny算法建立巡检轨道故障检测模型，因此可将巡检轨道故障检测模型下放在边缘计算网关，进一步减轻了数据服务器的数据处理压力。
本发明提供的基于巡检机器人的隧道车流量监测***，采用巡检机器人与巡检轨道对隧道内部的车流量进行监测，避免了人工方式，提高了安全性和准确性，降低了隧道车流量监测难度，减少了人力成本投入，同时采用边缘计算网关在没有网络的情况下也能实现数据传输，提高了数据传输效率。
实施例2：
如图2所示，本实施例提供一种基于巡检机器人的隧道车流量监测方法，基于隧道车流量监测***，包括如下步骤：
建立车辆目标识别模型和巡检轨道故障检测模型，包括如下步骤：
获取历史的车辆通行图像数据集和历史的巡检轨道图像数据集，并对历史的车辆通行图像数据集和历史的巡检轨道图像数据集进行数据集扩充和预处理，得到扩充后的车辆通行训练数据集和扩充后的巡检轨道训练数据集；
进行数据集扩充包括对图像数据进行的翻转、裁剪、平移以及加强对比等；
基于YOLOv5算法建立初始的车辆目标识别模型，基于PP-YOLO-Tiny算法建立初始的巡检轨道故障检测模型；
将车辆通行训练数据集输入初始的车辆目标识别模型进行优化训练，得到最优的车辆目标识别模型；
将巡检轨道训练数据集输入初始的巡检轨道故障检测模型，得到最优的巡检轨道故障检测模型；
车辆目标识别模型的网络结构包括依次连接的第一输入端、Backbone模块、第一DetectionNeck模块和第一Prediction模块；
第一输入端使用Mosaic数据增强方法对输入图像进行处理；
Backbone模块包括Focus结构和CSP结构；
第一DetectionNeck模块的结构为FPN+PAN结构；
第一Prediction模块使用GIOU_Loss函数进行损失计算；
巡检轨道故障检测模型的网络结构包括依次连接的第二输入端、MobileNetV3模块、第二DetectionNeck模块、DetectionHead模块以及第二Prediction模块；
MobileNetV3模块是一种轻量化网络结构，结合了深度可分离卷积、InvertedResiduals和Linear Bottleneck以及SE模块，利用NAS神经结构搜索来搜索网络的配置和参数；
第二DetectionNeck模块采用PAN结构来从上至下的聚合特征信息，并且应用mish激活函数；
DetectionHead模块采用了更适用于移动端的深度可分离卷积，相比常规的卷积操作，有更少的参数量和运算成本，更适用于移动端的内存空间和算力；
巡检轨道视频数据为红外线视频数据，使用巡检轨道故障检测模型根据上一次的巡检轨道视频数据对巡检轨道进行故障检测，包括如下步骤：
对上一次的巡检轨道视频数据进行帧截取和预处理，得到连续帧的预处理后巡检轨道视频数据；
将连续帧的预处理后巡检轨道视频数据依次输入巡检轨道故障检测模型进行目标检测，得到若干巡检轨道故障目标图像；
对若干巡检轨道故障目标图像进行故障检测，得到故障检测结果；
故障检测结果包括严重故障、中度损伤以及轻度擦伤，严重故障为巡检轨道由于长期运行或车辆冲撞造成的断裂或严重破损，导致巡检机器人无法正常的运行通过，中度损伤为巡检轨道存在缺损或伤痕，不影响巡检机器人通过，但是需要发出警报信号通知巡检人员进行维修，轻度擦伤为较浅的伤痕，未来可能会发展成较深的伤痕或缺损，但目前不予处理；
若存在严重故障，则发出警报信号，并停止隧道车流量监测方法，否则进入下一步骤；
采集隧道内实时的车辆通行视频数据和实时的巡检轨道视频数据；
车辆通行视频数据设置有时间标签，且车辆通行视频数据为红外线视频数据，对实时的车辆通行视频数据进行预处理，得到连续帧的预处理后车辆通行图像数据，包括如下步骤：
对实时的车辆通行视频数据进行帧截取，得到连续帧的初始的车辆通行图像数据；
对连续帧的初始的车辆通行图像数据进行去噪处理、灰度处理以及归一化处理，得到连续帧的预处理后车辆通行图像数据；
将连续帧的预处理后车辆通行图像数据依次输入车辆目标识别模型进行车辆目标识别和追踪，得到车辆目标数量，包括如下步骤：
对所有帧的预处理后车辆通行图像数据进行网格划分，并获取每个网格的先验框；
根据先验框和预设预测框的偏移量获取每个先验框对应的初始预测框；
根据预设交并比值和预设置信度对初始预测框进行非极大值抑制筛选，得到所有帧的预处理后车辆通行图像数据的最终预测框；
对最终预测框内的图像区域进行车辆目标识别，得到若干车辆目标；
使用多目标追踪算法对同一车辆目标进行追踪和统计，得到车辆目标数量；
根据采样周期的车辆目标数量进行车流量计算，得到隧道车流量结果；
由于车辆通行视频数据设置有时间标签，能够获取采样周期内通过的车辆目标数量，将车辆目标数量除以采样周期即为隧道车流量结果，采样周期通常不超过48小时。
本发明提供的基于巡检机器人的隧道车流量监测方法，基于深度学习算法对车辆目标和巡检轨道故障目标进行自动检测和识别，避免了人工识别和统计的方式，提高了监测准确性，并且在每次隧道车流量监测之间，先进行巡检轨道故障检测，保证巡检机器人的正常工作，提高了实用性和安全性。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
Claims (10)
1.一种基于巡检机器人的隧道车流量监测***，其特征在于：包括巡检机器人、巡检轨道、边缘计算网关以及监控中心，所述的巡检机器人设置于巡检轨道顶端，巡检机器人面向车辆通行的一侧设置有车辆视频采集单元，且巡检机器人与边缘计算网关通信连接，所述的巡检轨道设置于隧道内部一侧，所述的边缘计算网关设置于隧道内部顶端，且边缘计算网关与监控中心通信连接。
2.根据权利要求1所述的基于巡检机器人的隧道车流量监测***，其特征在于：所述的巡检机器人包括本体、设置于本体底端的移动单元、设置于本体面向车辆通行的一侧的车辆视频采集单元、设置于本体一端的轨道视频采集单元以及设置于本体内部的机器人主控单元和可充电电池，所述的机器人主控单元分别与移动单元、车辆视频采集单元以及轨道视频采集单元电性连接，且机器人主控单元与边缘计算网关通信连接，所述的移动单元设置于巡检轨道顶端，所述的可充电电池分别与机器人主控单元、移动单元、车辆视频采集单元以及轨道视频采集单元电性连接；
所述的机器人主控单元包括机器人主控模块、定位模块、第一存储模块、电机驱动模块以及无线通信模块，所述的机器人主控模块分别与定位模块、第一存储模块、电机驱动模块以及无线通信模块电性连接，所述的电机驱动模块与移动单元电性连接，所述的无线通信模块与边缘计算网关通信连接；
所述的车辆视频采集单元为第一高速红外摄像头，且第一高速红外摄像头面向车辆通行的一侧设置，所述的轨道视频采集单元为设置在本体两端的第二高速红外摄像头，所述的第二高速红外摄像头朝向巡检轨道设置。
3.根据权利要求2所述的基于巡检机器人的隧道车流量监测***，其特征在于：所述的边缘计算网关包括边缘计算单元和网络单元，所述的边缘计算单元与网络单元电性连接，所述的网络单元分别与巡检机器人的无线通信模块和监控中心通信连接；
所述的边缘计算单元包括边缘计算主控模块、第二存储模块、图像预处理模块以及加密模块，所述的边缘计算主控模块分别与第二存储模块、图像预处理模块、加密模块以及网络单元连接。
4.根据权利要求3所述的基于巡检机器人的隧道车流量监测***，其特征在于：所述的监控中心设置有数据服务器，所述的数据服务器与边缘计算网关通信连接，数据服务器通信连接有外部的云数据中心；
数据服务器包括数据并行接收模块、解密模块、车辆目标识别模块、车流量计算模块、巡检轨道故障检测模块、缓存数据库模块以及数据并行上传模块，所述的数据并行接收模块分别与边缘计算网关和解密模块连接，所述的解密模块分别与车辆目标识别模块和巡检轨道故障检测模块连接，所述的车辆目标识别模块与车流量计算模块连接，所述的缓存数据库模块分别与数据并行接收模块、解密模块、车辆目标识别模块、车流量计算模块、巡检轨道故障检测模块以及数据并行上传模块连接，所述的数据并行上传模块通信连接有外部的云数据中心；
所述的车辆目标识别模块设置有车辆目标识别模型，所述的巡检轨道故障检测模块设置有巡检轨道故障检测模型。
5.一种基于巡检机器人的隧道车流量监测方法，基于如权利要求4所述的隧道车流量监测***，其特征在于：包括如下步骤：
建立车辆目标识别模型和巡检轨道故障检测模型；
使用巡检轨道故障检测模型根据上一次的巡检轨道视频数据对巡检轨道进行故障检测，若存在严重故障，则发出警报信号，并停止隧道车流量监测方法，否则进入下一步骤；
采集隧道内实时的车辆通行视频数据和实时的巡检轨道视频数据；
对实时的车辆通行视频数据进行预处理，得到连续帧的预处理后车辆通行图像数据；
将连续帧的预处理后车辆通行图像数据依次输入车辆目标识别模型进行车辆目标识别和追踪，得到车辆目标数量；
根据采样周期的车辆目标数量进行车流量计算，得到隧道车流量结果。
6.根据权利要求5所述的基于巡检机器人的隧道车流量监测方法，其特征在于：所述的建立车辆目标识别模型和巡检轨道故障检测模型，包括如下步骤：
获取历史的车辆通行图像数据集和历史的巡检轨道图像数据集，并对历史的车辆通行图像数据集和历史的巡检轨道图像数据集进行数据集扩充和预处理，得到扩充后的车辆通行训练数据集和扩充后的巡检轨道训练数据集；
基于YOLOv5算法建立初始的车辆目标识别模型，基于PP-YOLO-Tiny算法建立初始的巡检轨道故障检测模型；
将车辆通行训练数据集输入初始的车辆目标识别模型进行优化训练，得到最优的车辆目标识别模型；
将巡检轨道训练数据集输入初始的巡检轨道故障检测模型，得到最优的巡检轨道故障检测模型。
7.根据权利要求6所述的基于巡检机器人的隧道车流量监测方法，其特征在于：所述的车辆目标识别模型的网络结构包括依次连接的第一输入端、Backbone模块、第一DetectionNeck模块和第一Prediction模块；
所述的巡检轨道故障检测模型的网络结构包括依次连接的第二输入端、MobileNetV3模块、第二DetectionNeck模块、DetectionHead模块以及第二Prediction模块。
8.根据权利要求6所述的基于巡检机器人的隧道车流量监测方法，其特征在于：使用巡检轨道故障检测模型根据上一次的巡检轨道视频数据对巡检轨道进行故障检测，包括如下步骤：
对上一次的巡检轨道视频数据进行帧截取和预处理，得到连续帧的预处理后巡检轨道视频数据；
将连续帧的预处理后巡检轨道视频数据依次输入巡检轨道故障检测模型进行目标检测，得到若干巡检轨道故障目标图像；
对若干巡检轨道故障目标图像进行故障检测，得到故障检测结果；
所述的故障检测结果包括严重故障、中度损伤以及轻度擦伤。
9.根据权利要求6所述的基于巡检机器人的隧道车流量监测方法，其特征在于：对实时的车辆通行视频数据进行预处理，包括如下步骤：
对实时的车辆通行视频数据进行帧截取，得到连续帧的初始的车辆通行图像数据；
对连续帧的初始的车辆通行图像数据进行去噪处理、灰度处理以及归一化处理，得到连续帧的预处理后车辆通行图像数据。
10.根据权利要求9所述的基于巡检机器人的隧道车流量监测方法，其特征在于：将连续帧的预处理后车辆通行图像数据依次输入车辆目标识别模型进行车辆目标识别和追踪，包括如下步骤：
对所有帧的预处理后车辆通行图像数据进行网格划分，并获取每个网格的先验框；
根据先验框和预设预测框的偏移量获取每个先验框对应的初始预测框；
根据预设交并比值和预设置信度对初始预测框进行非极大值抑制筛选，得到所有帧的预处理后车辆通行图像数据的最终预测框；
对最终预测框内的图像区域进行车辆目标识别，得到若干车辆目标；
使用多目标追踪算法对同一车辆目标进行追踪和统计，得到车辆目标数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210545940.3A CN114973694B (zh) | 2022-05-19 | 2022-05-19 | 一种基于巡检机器人的隧道车流量监测***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210545940.3A CN114973694B (zh) | 2022-05-19 | 2022-05-19 | 一种基于巡检机器人的隧道车流量监测***及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114973694A true CN114973694A (zh) | 2022-08-30 |
| CN114973694B CN114973694B (zh) | 2024-05-24 |
Family
ID=82985284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210545940.3A Active CN114973694B (zh) | 2022-05-19 | 2022-05-19 | 一种基于巡检机器人的隧道车流量监测***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114973694B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491758A (zh) * | 2018-02-08 | 2018-09-04 | 深圳市睿灵创新科技开发有限公司 | 一种轨道检测方法及机器人 |
| CN109688388A (zh) * | 2019-01-31 | 2019-04-26 | 宁波诠航机械科技有限公司 | 一种使用隧道巡检机器人全方位实时监控的方法 |
| CN109935080A (zh) * | 2019-04-10 | 2019-06-25 | 武汉大学 | 一种交通线路上的车流量实时计算的监测***及方法 |
| CN110085029A (zh) * | 2019-05-31 | 2019-08-02 | 重庆交通大学 | 基于轨道式巡检机器人的高速公路巡检***与方法 |
| CN210850282U (zh) * | 2019-08-02 | 2020-06-26 | 武庆珍 | 一种高速公路隧道巡检机器人 |
| CN111815951A (zh) * | 2020-07-17 | 2020-10-23 | 山东科技大学 | 一种基于智能视觉物联网的道路车辆监控***及方法 |
| CN112200483A (zh) * | 2020-10-22 | 2021-01-08 | 卡斯柯信号有限公司 | 一种地铁轨旁设备自动巡检***及自动巡检方法 |
| CN112232237A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技（中国）有限公司 | 车辆流量的监控方法、***、计算机设备和存储介质 |
| CN112348201A (zh) * | 2020-11-11 | 2021-02-09 | 扬州大学 | 一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法 |
| CN112665578A (zh) * | 2021-03-16 | 2021-04-16 | 湖南承希科技有限公司 | 一种基于隧道巡检机器人的巡检定位方法及*** |
| CN112743559A (zh) * | 2020-12-29 | 2021-05-04 | 上海市东方海事工程技术有限公司 | 一种悬挂式隧道巡检机器人、***及方法 |
| CN113139495A (zh) * | 2021-04-29 | 2021-07-20 | 姜冬阳 | 一种基于深度学习的隧道侧装视频交通流检测方法和*** |
| CN113327248A (zh) * | 2021-08-03 | 2021-08-31 | 四川九通智路科技有限公司 | 一种基于视频的隧道车流量统计方法 |
| CN113961222A (zh) * | 2021-11-10 | 2022-01-21 | 交控科技股份有限公司 | 一种轨道交通软件远程维护方法及装置、存储介质 |
| CN114023062A (zh) * | 2021-10-27 | 2022-02-08 | 河海大学 | 一种基于深度学习和边缘计算的交通流信息监测方法 |
| CN114139570A (zh) * | 2021-10-28 | 2022-03-04 | 中国科学院自动化研究所 | 一种基于主动学习的分布式检测*** |
-
2022
- 2022-05-19 CN CN202210545940.3A patent/CN114973694B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491758A (zh) * | 2018-02-08 | 2018-09-04 | 深圳市睿灵创新科技开发有限公司 | 一种轨道检测方法及机器人 |
| CN109688388A (zh) * | 2019-01-31 | 2019-04-26 | 宁波诠航机械科技有限公司 | 一种使用隧道巡检机器人全方位实时监控的方法 |
| CN109935080A (zh) * | 2019-04-10 | 2019-06-25 | 武汉大学 | 一种交通线路上的车流量实时计算的监测***及方法 |
| CN110085029A (zh) * | 2019-05-31 | 2019-08-02 | 重庆交通大学 | 基于轨道式巡检机器人的高速公路巡检***与方法 |
| CN210850282U (zh) * | 2019-08-02 | 2020-06-26 | 武庆珍 | 一种高速公路隧道巡检机器人 |
| CN111815951A (zh) * | 2020-07-17 | 2020-10-23 | 山东科技大学 | 一种基于智能视觉物联网的道路车辆监控***及方法 |
| CN112232237A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技（中国）有限公司 | 车辆流量的监控方法、***、计算机设备和存储介质 |
| CN112200483A (zh) * | 2020-10-22 | 2021-01-08 | 卡斯柯信号有限公司 | 一种地铁轨旁设备自动巡检***及自动巡检方法 |
| CN112348201A (zh) * | 2020-11-11 | 2021-02-09 | 扬州大学 | 一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法 |
| CN112743559A (zh) * | 2020-12-29 | 2021-05-04 | 上海市东方海事工程技术有限公司 | 一种悬挂式隧道巡检机器人、***及方法 |
| CN112665578A (zh) * | 2021-03-16 | 2021-04-16 | 湖南承希科技有限公司 | 一种基于隧道巡检机器人的巡检定位方法及*** |
| CN113139495A (zh) * | 2021-04-29 | 2021-07-20 | 姜冬阳 | 一种基于深度学习的隧道侧装视频交通流检测方法和*** |
| CN113327248A (zh) * | 2021-08-03 | 2021-08-31 | 四川九通智路科技有限公司 | 一种基于视频的隧道车流量统计方法 |
| CN114023062A (zh) * | 2021-10-27 | 2022-02-08 | 河海大学 | 一种基于深度学习和边缘计算的交通流信息监测方法 |
| CN114139570A (zh) * | 2021-10-28 | 2022-03-04 | 中国科学院自动化研究所 | 一种基于主动学习的分布式检测*** |
| CN113961222A (zh) * | 2021-11-10 | 2022-01-21 | 交控科技股份有限公司 | 一种轨道交通软件远程维护方法及装置、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114973694B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101942491B1 (ko) | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 | |
| CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位*** | |
| CN110633612B (zh) | 一种巡检机器人的监控方法及*** | |
| CN110648319B (zh) | 基于双相机的设备图像采集诊断***及方法 | |
| CN113963315A (zh) | 一种复杂场景下实时视频多人行为识别方法及*** | |
| CN111985352B (zh) | 一种ai前端化的变电站巡检视频实时识别方法及*** | |
| CN115527340A (zh) | 一种基于无人机与监控摄像的智慧工地安全监测***及方法 | |
| CN112530144B (zh) | 一种基于神经网络的火力发电厂违规行为警示方法和*** | |
| CN115184726B (zh) | 一种智能电网故障实时监测定位***及方法 | |
| CN112800975A (zh) | 一种基于图像处理的安检通道内行为识别方法 | |
| CN112964180A (zh) | 一种城轨车辆集电靴检测*** | |
| CN112257683A (zh) | 一种面向车辆运行轨迹监测的跨镜追踪方法 | |
| CN112332541A (zh) | 一种用于变电站的监测***和方法 | |
| CN115953719A (zh) | 一种多目标识别的计算机图像处理*** | |
| CN113963373A (zh) | 一种基于视频图像动态检测与跟踪算法***及方法 | |
| CN110662004A (zh) | 一种基于gps的车辆视频监控***及方法 | |
| CN114973694A (zh) | 一种基于巡检机器人的隧道车流量监测***及其方法 | |
| CN114935451A (zh) | 一种基于巡检机器人的输煤带托辊故障检测***及其方法 | |
| CN210442657U (zh) | 一种风力发电机组及部件的运输智能监控*** | |
| CN218332632U (zh) | 铁路异物监测*** | |
| CN112145976A (zh) | 基于红外气云成像的探测***、方法及应用该***的机器人 | |
| CN104581083B (zh) | 一种基于轨道摄像机的智能视频跟踪方法及*** | |
| CN219351841U (zh) | 基于人脸识别技术的双镜头自跟踪智能视频监控*** | |
| CN114973772B (zh) | 一种基于无人机的船舶碰撞预警***及方法 | |
| LU504993B1 (en) | System and method for managing personnel in power plant in production |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |