CN113850123A - 基于视频的公路监控方法及装置、存储介质和监控*** - Google Patents
基于视频的公路监控方法及装置、存储介质和监控*** Download PDFInfo
- Publication number
- CN113850123A CN113850123A CN202110947977.4A CN202110947977A CN113850123A CN 113850123 A CN113850123 A CN 113850123A CN 202110947977 A CN202110947977 A CN 202110947977A CN 113850123 A CN113850123 A CN 113850123A
- Authority
- CN
- China
- Prior art keywords
- video
- road
- pedestrians
- road surface
- vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 230000003068 static effect Effects 0.000 claims abstract description 18
- 239000000779 smoke Substances 0.000 claims abstract description 13
- 238000009825 accumulation Methods 0.000 claims abstract description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 21
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 4
- 239000002352 surface water Substances 0.000 claims description 4
- 240000003173 Drymaria cordata Species 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 235000019580 granularity Nutrition 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- -1 fire Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于视频的公路监控方法及装置、存储介质和监控***，方法包括先获取公路视频，然后对视频帧进行目标检测以识别车辆、行人和烟火，再跟踪车辆和行人，并根据车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据行人移动轨迹判断行人是否违反交通规则，对违规及拥堵情况进行报警；另外对视频中除了车辆、行人之外的其他物体进行检测及跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，对抛洒物进行报警；以及对视频帧进行气象识别和路面异常状态识别，对天气类型和出现的路面积水、积雪或结冰情况进行报警。本发明能够对公路进行实时无间断监控，精准全面地识别复杂多变的道路情况，提高公路管理效率。
Description
技术领域
本发明涉及道路安全技术领域，特别是一种基于视频的公路监控方法及装置、存储介质和监控***。
背景技术
随着公路和机动车辆的快速发展，道路安全问题日益突出，例如公路上出现的车辆拥堵、违停、逆行、抛洒物、行人闯入及烟火等，气象异常导致路面出现积水、积雪或结冰等情况，都会对道路安全产生重大威胁。因此，如何精准及时地识别各类影响道路安全的情况，对于相关部门及出行人员及时掌握到公路状况，确保交通顺畅和出行人员人身安全，具有非常重要的意义。公路监控技术通常是将大量的视频传输到后台进行分析，但现有的监控技术尚难以精准全面地识别复杂多变的道路情况，且识别速度慢。
发明内容
本发明的第一目的在于解决现有技术的不足，提出一种基于视频的公路监控方法，可以精准全面地识别复杂多变的道路情况，提高公路管理效率。
本发明的第二目的在于提出一种基于视频的公路监控装置。
本发明的第三目的在于提出一种计算机可读存储介质。
本发明的第四目的在于提出一种基于视频的公路监控***，可以对公路进行实时无间断监控，对影响道路安全的情况及时做出报警提示。
本发明的第一目的通过下述技术方案实现：
一种基于视频的公路监控方法，包括如下步骤：
获取摄像头所拍摄的公路视频；
对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警；
对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警；
对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰，并对天气类型和出现的路面异常状态进行报警。
优选的，使用yolov5目标检测网络对视频帧进行目标检测，其中，yolov5目标检测网络通过在不同图像细粒度上聚合并形成图像特征，从而基于图像特征来识别出视频帧中的车辆、行人和烟火，并获得所识别对象在视频帧中的位置信息；
随后，使用VT跟踪算法对车辆、行人进行跟踪，通过前后两帧位置信息的变化来得出行人的移动路线、车辆行驶速度及行驶方向；
当行人的移动路线没有按照人行横道或人行过街设施时，即判断为行人闯入；当车辆前后两帧位置信息没有变化及速度为0时，即判断为停车；当车辆行驶方向与当前车道正常行驶车辆的行驶方向相反时，即判断为逆行；当车辆速度低于设定的速度阈值及车道占有率大于设定的车道占有率阈值时，即判断为拥堵。
优选的，抛洒物的检测过程具体为：
1)先将公路视频按比例抽帧，然后将抽取出来的各视频帧进行AGMM背景建模来获取背景图像及前景二值图，同时进行边缘检测来获取边缘二值图，使用yolov5目标检测网络来检测视频帧中的车辆、行人，获得除去车辆、行人的yolov5二值图；
2)对于抽取出来的每帧视频帧，将其对应的前景二值图、边缘二值图、yolov5二值图进行与操作，得到筛选后的前景图；
3)根据筛选后的前景图的颜色偏差和亮度偏差来对筛选后的前景图进行阴影检测，进而去除阴影干扰；
4)根据去除阴影后的前景图，将其中处于静止状态的物体初步判断为疑似抛洒物；
5)然后采用目标跟踪算法对该物体进行跟踪，判断当前静止的物体是否存在于历史帧，若是，则最终判定为非抛洒物，若否，则最终判定为抛洒物，在视频中对该抛洒物进行标注并获取对应的位置信息。
更进一步的，在步骤3)中，如果筛选后的前景图中某个像素的色度偏差大于设定的色度偏差阈值，则判定该某个像素属于前景区域；
如果筛选后的前景图中某个像素的色度偏差小于或等于设定的色度偏差阈值，则判定该某个像素属于背景区域，在这种情况下：
如果该某个像素的亮度大于背景图像对应像素的亮度，或者该某个像素的亮度偏差小于或等于设定的亮度偏差阈值，则进一步判定该某个像素未受到阴影干扰；
如果该某个像素的亮度小于背景图像对应像素的亮度，则进一步判定该某个像素属于阴影区域，即有受到阴影干扰。
优选的，使用深度学习识别网络对视频帧进行气象识别，通过提取路面特征和光照强度特征来得出视频帧中的天气类型为阴天、晴天、雾天、雨天或雪天的概率；
若阴天、晴天的概率在前2位，则使用阴晴二分类模型再次进行分类；
若雨天、雪天的概率在前2位，则对视频帧进行路面分割来得到路面区域，然后根据路面区域特征来判断路面是否积雪、积水或结冰：
当路面区域检测出白色雪状时判定路面积雪；
当路面区域出现反光且车辆行驶溅起水花来初步判断路面积水，当路面区域出现反光且无水花溅起、车辆行驶缓慢来初步判断路面结冰，这时再结合温度传感器检测的当前温度或天气预报的当前温度，若温度低于温度阈值，则最终判定为路面结冰，否则为路面积水。
更进一步的，深度学习识别网络为resnet50网络。
本发明的第二目的通过下述技术方案实现：
一种基于视频的公路监控装置，包括视频获取模块、车辆行人监控模块、抛洒物监控模块和气象及路面监控模块，其中，
视频获取模块，用于获取摄像头所拍摄的公路视频；
车辆行人监控模块，用于对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警；
抛洒物监控模块，用于对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警；
气象及路面监控模块，用于对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰，并对天气类型和出现的路面异常状态进行报警。
本发明的第三目的通过下述技术方案实现：
一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现本发明第一目的所述的基于视频的公路监控方法。
本发明的第四目的通过下述技术方案实现：
一种基于视频的公路监控***，包括摄像头、终端设备和处理器，其中，摄像头连接处理器，并将拍摄的公路视频发送给处理器；
处理器用于对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则；用于对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物；以及用于对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰；
处理器连接终端设备，并通过终端设备将检测到的违规及拥堵情况、抛洒物、天气类型和出现的路面异常状态进行报警。
优选的，摄像头安装在公路两旁和龙门架上，终端设备包括交通诱导屏、车载智能终端、用户电脑和/或智能手机。
本发明相对于现有技术具有如下的优点及效果：
1、本发明能够适应复杂多变的环境，可精准全面地识别多类影响道路安全的情况。利用本发明来实现对公路的实时无间断监控，可有效提高公路管理效率，降低公路运营成本。
2、本发明根据检测目的，采用了相应的人工智能算法，最终能够准确识别烟火、车辆及行人违反交通规则、拥堵、抛洒物、气象类型以及路面异常情况，实现对公路的全面实时监控。
附图说明
图1为本发明基于视频的公路监控方法的流程图。
图2为本发明基于视频的公路监控装置的结构框图。
图3为本发明基于视频的公路监控***的结构框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例提供了一种基于视频的公路监控方法，可用于对高速公路、快速公路、普速公路和其他类型城市公路的监控。如图1所示，方法具体包括如下步骤：
(1)获取摄像头所拍摄的公路视频。
(2)对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪；
根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警。
这里，具体是使用了yolov5目标检测网络对视频帧进行目标检测，yolov5目标检测网络已预先训练好，可以在不同图像细粒度上聚合并形成图像特征，从而基于图像特征来识别出视频帧中的车辆、行人和烟火，并且获得所识别的对象在视频帧中的位置信息。
具体是使用了VT跟踪算法对车辆、行人进行跟踪，通过前后两帧位置信息的变化来得出行人的移动路线、车辆速度及行驶方向，从而实现在未被完全遮挡或遮挡时间较短情况下对行人、车辆的跟踪。
当行人的移动路线没有按照人行横道或人行过街设施时，即判断为行人闯入；当车辆前后两帧位置信息没有变化及速度为0时，即判断为停车；当车辆行驶方向与当前车道正常行驶车辆的行驶方向相反时，即判断为逆行；当车辆速度低于设定的速度阈值，同时车道占有率大于设定的车道占有率阈值时，即判断为拥堵。
(3)对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警。
在本实施例中，抛洒物的检测过程具体如下：
31)先将公路视频按比例抽帧，比如本实施例是按照5帧抽取一帧的比例抽帧读取视频，然后将抽取出来的各视频帧进行AGMM背景建模(即采用自适应的高斯混合模型)获得背景图像及前景二值图，同时，采用Canny边缘检测算法进行边缘检测以获取边缘二值图，使用yolov5目标检测网络来检测视频帧中的车辆、行人，获得除去车辆、行人的yolov5二值图；
32)对于抽取出来的每帧视频帧，将其对应的前景二值图、边缘二值图、yolov5二值图进行与操作，得到筛选后(即已除去车辆、行人)的前景图；
33)考虑到阴影可能因不同于背景而被误认为是前景目标的情况，因此，还需要根据颜色偏差和亮度偏差来对筛选后的前景图进行阴影检测，进而去除阴影干扰。
在本实施例中，颜色偏差和亮度偏差的计算过程如下：
a、在RGB颜色空间下建立颜色模型，O作为颜色模型的原点，R、G、B作为颜色模型的坐标轴；
当前张筛选后的前景图中第i个像素对应的颜色值为Ii＝[IR(i),IG(i),IB(i)]，作为颜色模型中的点，其中，IR(i)、IG(i)、IB(i)分别为第i个像素在当前图像中对应的R、G、B分量值；第i个像素具有对应的数学期望Ei＝[ER(i),EG(i),EB(i)]，其中，ER(i)、EG(i)、EB(i)分别为第i个像素根据N帧筛选后的前景图的亮度计算得到的R、G、B三通道的数学期望；
b、根据如下公式，将Ii和Ei分解成亮度偏差αi和色度偏差CDi：
其中，
代表第i个像素的颜色值到色度线OEi(即原点O与Ei的连线)的距离，当
取值最小，αi即为亮度偏差。
对于图像，前景区域和背景区域在色度上会有所不同，背景区域中被阴影遮挡后的像素亮度会明显减小，但色度相对稳定，因此，基于色度可区分前景区域和背景区域，背景区域中颜色值基本不变但亮度明显变化的像素，可判断该像素受到阴影干扰。
因此，在本实施例中，先为亮度偏差和色度偏差分别设定合适的阈值，如果筛选后的前景图中某个像素的色度偏差大于色度偏差阈值(即说明该某个像素与背景图像中对应像素的色度不相似)，则判定该某个像素属于前景区域；
如果筛选后的前景图中某个像素的色度偏差小于或等于色度偏差阈值(即说明该某个像素与背景图像中对应像素的色度相似)，则判定该某个像素属于背景区域，在这种情况下：
如果该某个像素的亮度大于背景图像对应像素的亮度(即说明该某个像素高亮)，或者该某个像素的亮度偏差小于或等于设定的亮度偏差阈值(即说明该某个像素与背景图像中对应像素的亮度相似)，则进一步判定该某个像素未受到阴影干扰；
如果该某个像素的亮度小于背景图像对应像素的亮度，则进一步判定该某个像素属于阴影区域，即有受到阴影干扰；
通过上述过程检测出每帧筛选后的前景图中的阴影区域，最后将其去除。这一操作可以避免后续目标跟踪时，因为阴影的存在导致跟踪目标面积扩大，无法准确地提取跟踪目标的信息，从而造成错误的检测结果。
34)根据去除阴影后的前景图，将其中处于静止状态的物体初步判断为疑似抛洒物。
35)然后采用目标跟踪算法如RPN小目标跟踪算法(也称SiamRPN跟踪算法)对该物体进行跟踪，判断当前静止的物体是否存在于历史帧，若是，则说明该物体始终为静止状态，不属于抛洒的情况，因此最终判定为非抛洒物；若否，则最终判定为抛洒物，在视频中对该抛洒物进行标注并获取其在视频帧中的位置信息。
(4)使用深度学习识别网络对视频帧进行气象识别，通过提取路面特征和光照强度特征来得出视频帧中的天气类型。本实施例深度学习识别网络采用resnet50网络，resnet50网络可以输出阴天、晴天、雾天、雨天或雪天的概率。这种识别方式在没有拍摄到天空的情况下也能够判断出天气类别。
若阴天、晴天的概率在前2位，则使用阴晴二分类模型再次进行分类，以提高阴晴识别准确率；
若雨天、雪天的概率在前2位，则再进行路面异常状态识别，具体来说，先采用路面分割算法对视频帧进行路面分割来得到路面区域，然后根据路面区域特征来判断路面是否积雪、积水或结冰：
当路面区域检测出白色雪状时，判定路面积雪；
当路面区域出现反光且车辆行驶溅起水花来初步判断路面积水，当路面区域出现反光且无水花溅起、车辆行驶缓慢来初步判断路面结冰；这时再结合设置在公路上或车辆上的温度传感器所检测的当前温度，或者天气预报的当前温度做再次判断，若温度低于温度阈值，则最终判定为路面结冰，否则为路面积水。
最终对识别出的天气类型和路面异常状态进行报警。
上述公路情况的报警方式可以是实时发送到公路上的交通诱导屏来实时显示公路情况，也可以是发送到行驶车辆的车载智能终端，还可以通过微信公众号/视频号等方式来发送到用户电脑和智能手机等。
实施例2
本实施例提供了一种基于视频的公路监控装置，可实现实施例1中的基于视频的公路监控方法。装置如图2所示，包括视频获取模块，分别连接视频获取模块的车辆行人监控模块、抛洒物监控模块和气象及路面监控模块，其中，
视频获取模块，用于获取摄像头所拍摄的公路视频；
车辆行人监控模块，用于对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警；
抛洒物监控模块，用于对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警；
气象及路面监控模块，用于对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰，并对天气类型和出现的路面异常状态进行报警。
在此需要说明的是，本实施例的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3
本实施例提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现实施例1中的基于视频的公路监控方法，具体如下：
获取摄像头所拍摄的公路视频；
对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警；
对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警；
对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰，并对天气类型和出现的路面异常状态进行报警。
本实施例中的计算机可读存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
实施例4
本实施例提供了一种基于视频的公路监控***，如图3所示，包括摄像头、终端设备和处理器，其中，摄像头安装在公路两旁和龙门架上，摄像头连接处理器，并将拍摄的公路视频发送给处理器。
处理器用于对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则；用于对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物；以及用于对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰。详细过程可参见实施例1，此处不再赘述。
处理器连接终端设备，并通过终端设备对检测到的违规及拥堵情况、抛洒物及天气类型和出现的路面异常状态进行显示和/或声音播放，以实现对出行人员及道路监管部门的报警提示。此处终端设备可以是交通诱导屏、车载智能终端、用户电脑和智能手机中的至少一种。
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。
Claims (10)
1.一种基于视频的公路监控方法，其特征在于，包括如下步骤：
获取摄像头所拍摄的公路视频；
对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警；
对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警；
对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰，并对天气类型和出现的路面异常状态进行报警。
2.根据权利要求1所述的基于视频的公路监控方法，其特征在于，使用yolov5目标检测网络对视频帧进行目标检测，其中，yolov5目标检测网络通过在不同图像细粒度上聚合并形成图像特征，从而基于图像特征来识别出视频帧中的车辆、行人和烟火，并获得所识别对象在视频帧中的位置信息；
随后，使用VT跟踪算法对车辆、行人进行跟踪，通过前后两帧位置信息的变化来得出行人的移动路线、车辆行驶速度及行驶方向；
当行人的移动路线没有按照人行横道或人行过街设施时，即判断为行人闯入；当车辆前后两帧位置信息没有变化及速度为0时，即判断为停车；当车辆行驶方向与当前车道正常行驶车辆的行驶方向相反时，即判断为逆行；当车辆速度低于设定的速度阈值及车道占有率大于设定的车道占有率阈值时，即判断为拥堵。
3.根据权利要求1所述的基于视频的公路监控方法，其特征在于，抛洒物的检测过程具体为：
1)先将公路视频按比例抽帧，然后将抽取出来的各视频帧进行AGMM背景建模来获取背景图像及前景二值图，同时进行边缘检测来获取边缘二值图，使用yolov5目标检测网络来检测视频帧中的车辆、行人，获得除去车辆、行人的yolov5二值图；
2)对于抽取出来的每帧视频帧，将其对应的前景二值图、边缘二值图、yolov5二值图进行与操作，得到筛选后的前景图；
3)根据筛选后的前景图的颜色偏差和亮度偏差来对筛选后的前景图进行阴影检测，进而去除阴影干扰；
4)根据去除阴影后的前景图，将其中处于静止状态的物体初步判断为疑似抛洒物；
5)然后采用目标跟踪算法对该物体进行跟踪，判断当前静止的物体是否存在于历史帧，若是，则最终判定为非抛洒物，若否，则最终判定为抛洒物，在视频中对该抛洒物进行标注并获取对应的位置信息。
4.根据权利要求3所述的基于视频的公路监控方法，其特征在于，在步骤3)中，如果筛选后的前景图中某个像素的色度偏差大于设定的色度偏差阈值，则判定该某个像素属于前景区域；
如果筛选后的前景图中某个像素的色度偏差小于或等于设定的色度偏差阈值，则判定该某个像素属于背景区域，在这种情况下：
如果该某个像素的亮度大于背景图像对应像素的亮度，或者该某个像素的亮度偏差小于或等于设定的亮度偏差阈值，则进一步判定该某个像素未受到阴影干扰；
如果该某个像素的亮度小于背景图像对应像素的亮度，则进一步判定该某个像素属于阴影区域，即有受到阴影干扰。
5.根据权利要求1所述的基于视频的公路监控方法，其特征在于，使用深度学习识别网络对视频帧进行气象识别，通过提取路面特征和光照强度特征来得出视频帧中的天气类型为阴天、晴天、雾天、雨天或雪天的概率；
若阴天、晴天的概率在前2位，则使用阴晴二分类模型再次进行分类；
若雨天、雪天的概率在前2位，则对视频帧进行路面分割来得到路面区域，然后根据路面区域特征来判断路面是否积雪、积水或结冰：
当路面区域检测出白色雪状时判定路面积雪；
当路面区域出现反光且车辆行驶溅起水花来初步判断路面积水，当路面区域出现反光且无水花溅起、车辆行驶缓慢来初步判断路面结冰，这时再结合温度传感器检测的当前温度或天气预报的当前温度，若温度低于温度阈值，则最终判定为路面结冰，否则为路面积水。
6.根据权利要求5所述的基于视频的公路监控方法，其特征在于，深度学习识别网络为resnet50网络。
7.一种基于视频的公路监控装置，其特征在于，包括视频获取模块、车辆行人监控模块、抛洒物监控模块和气象及路面监控模块，其中，
视频获取模块，用于获取摄像头所拍摄的公路视频；
车辆行人监控模块，用于对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警；
抛洒物监控模块，用于对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警；
气象及路面监控模块，用于对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰，并对天气类型和出现的路面异常状态进行报警。
8.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1至6中任一项所述的基于视频的公路监控方法。
9.一种基于视频的公路监控***，其特征在于，包括摄像头、终端设备和处理器，其中，摄像头连接处理器，并将拍摄的公路视频发送给处理器；
处理器用于对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则；用于对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物；以及用于对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰；
处理器连接终端设备，并通过终端设备将检测到的违规及拥堵情况、抛洒物、天气类型和出现的路面异常状态进行报警。
10.根据权利要求9所述的基于视频的公路监控***，其特征在于，摄像头安装在公路两旁和龙门架上，终端设备包括交通诱导屏、车载智能终端、用户电脑和/或智能手机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110947977.4A CN113850123A (zh) | 2021-08-18 | 2021-08-18 | 基于视频的公路监控方法及装置、存储介质和监控*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110947977.4A CN113850123A (zh) | 2021-08-18 | 2021-08-18 | 基于视频的公路监控方法及装置、存储介质和监控*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113850123A true CN113850123A (zh) | 2021-12-28 |
Family
ID=78975875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110947977.4A Pending CN113850123A (zh) | 2021-08-18 | 2021-08-18 | 基于视频的公路监控方法及装置、存储介质和监控*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850123A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299726A (zh) * | 2021-12-31 | 2022-04-08 | 象谱信息产业有限公司 | 一种基于人工智能的高速公路恶劣天气识别方法 |
| CN114566052A (zh) * | 2022-04-27 | 2022-05-31 | 华南理工大学 | 一种基于车流方向判别高速公路车流监控设备转动的方法 |
| CN114596315A (zh) * | 2022-05-10 | 2022-06-07 | 中国民航大学 | 一种飞机地面检测积冰方法、装置、***及计算机设备 |
| CN114743376A (zh) * | 2022-04-20 | 2022-07-12 | 深圳市旗扬特种装备技术工程有限公司 | 一种非灯控路口智能交通*** |
| CN114758322A (zh) * | 2022-05-13 | 2022-07-15 | 安徽省路通公路工程检测有限公司 | 基于机器识别的道路质量检测*** |
| CN115171031A (zh) * | 2022-07-19 | 2022-10-11 | 杭州开闳流体科技有限公司 | 一种基于车辆参照物的路面积水检测方法、装置及应用 |
| CN115601711A (zh) * | 2022-12-13 | 2023-01-13 | 成都合能创越软件有限公司（Cn） | 一种基于yolov5+deepsort的渣土车抛洒滴漏检测报警方法及*** |
| CN115641334A (zh) * | 2022-12-09 | 2023-01-24 | 北京闪马智建科技有限公司 | 道路防撞设施损伤识别方法及装置 |
| CN116453065A (zh) * | 2023-06-16 | 2023-07-18 | 云途信息科技(杭州)有限公司 | 路面异物抛洒识别方法、装置、计算机设备及存储介质 |
| CN116884214A (zh) * | 2023-07-10 | 2023-10-13 | 珠海大横琴城市公共资源经营管理有限公司 | 市政车辆的监测预警方法及*** |
| CN117132936A (zh) * | 2023-08-31 | 2023-11-28 | 北京中电拓方科技股份有限公司 | 煤炭板块自建***数据梳理及数据接入*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011140993A1 (zh) * | 2010-05-12 | 2011-11-17 | 北京星河易达科技有限公司 | 基于综合状态检测的智能交通安全***及其决策方法 |
| CN108961790A (zh) * | 2018-07-24 | 2018-12-07 | 河北德冠隆电子科技有限公司 | 基于四维实景交通仿真的恶劣天气预警管理***及方法 |
| CN111507237A (zh) * | 2020-04-13 | 2020-08-07 | 北京巨视科技有限公司 | 一种应用在高速公路上基于视频的异常事件检测方法与装置 |
-
2021
- 2021-08-18 CN CN202110947977.4A patent/CN113850123A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011140993A1 (zh) * | 2010-05-12 | 2011-11-17 | 北京星河易达科技有限公司 | 基于综合状态检测的智能交通安全***及其决策方法 |
| CN108961790A (zh) * | 2018-07-24 | 2018-12-07 | 河北德冠隆电子科技有限公司 | 基于四维实景交通仿真的恶劣天气预警管理***及方法 |
| CN111507237A (zh) * | 2020-04-13 | 2020-08-07 | 北京巨视科技有限公司 | 一种应用在高速公路上基于视频的异常事件检测方法与装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王俊健;王莹;王以好;: "云台场景下高速公路异常事件自动检测***", 中国交通信息化, no. 10 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299726A (zh) * | 2021-12-31 | 2022-04-08 | 象谱信息产业有限公司 | 一种基于人工智能的高速公路恶劣天气识别方法 |
| CN114743376B (zh) * | 2022-04-20 | 2023-09-05 | 深圳市旗扬特种装备技术工程有限公司 | 一种非灯控路口智能交通*** |
| CN114743376A (zh) * | 2022-04-20 | 2022-07-12 | 深圳市旗扬特种装备技术工程有限公司 | 一种非灯控路口智能交通*** |
| CN114566052A (zh) * | 2022-04-27 | 2022-05-31 | 华南理工大学 | 一种基于车流方向判别高速公路车流监控设备转动的方法 |
| CN114566052B (zh) * | 2022-04-27 | 2022-08-12 | 华南理工大学 | 一种基于车流方向判别高速公路车流监控设备转动的方法 |
| CN114596315A (zh) * | 2022-05-10 | 2022-06-07 | 中国民航大学 | 一种飞机地面检测积冰方法、装置、***及计算机设备 |
| CN114758322A (zh) * | 2022-05-13 | 2022-07-15 | 安徽省路通公路工程检测有限公司 | 基于机器识别的道路质量检测*** |
| CN115171031A (zh) * | 2022-07-19 | 2022-10-11 | 杭州开闳流体科技有限公司 | 一种基于车辆参照物的路面积水检测方法、装置及应用 |
| CN115641334A (zh) * | 2022-12-09 | 2023-01-24 | 北京闪马智建科技有限公司 | 道路防撞设施损伤识别方法及装置 |
| CN115601711A (zh) * | 2022-12-13 | 2023-01-13 | 成都合能创越软件有限公司（Cn） | 一种基于yolov5+deepsort的渣土车抛洒滴漏检测报警方法及*** |
| CN116453065A (zh) * | 2023-06-16 | 2023-07-18 | 云途信息科技(杭州)有限公司 | 路面异物抛洒识别方法、装置、计算机设备及存储介质 |
| CN116453065B (zh) * | 2023-06-16 | 2023-09-19 | 云途信息科技(杭州)有限公司 | 路面异物抛洒识别方法、装置、计算机设备及存储介质 |
| CN116884214A (zh) * | 2023-07-10 | 2023-10-13 | 珠海大横琴城市公共资源经营管理有限公司 | 市政车辆的监测预警方法及*** |
| CN116884214B (zh) * | 2023-07-10 | 2024-01-26 | 珠海大横琴城市公共资源经营管理有限公司 | 市政车辆的监测预警方法及*** |
| CN117132936A (zh) * | 2023-08-31 | 2023-11-28 | 北京中电拓方科技股份有限公司 | 煤炭板块自建***数据梳理及数据接入*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850123A (zh) | 基于视频的公路监控方法及装置、存储介质和监控*** | |
| US9704060B2 (en) | Method for detecting traffic violation | |
| US11836985B2 (en) | Identifying suspicious entities using autonomous vehicles | |
| CN105046966A (zh) | 即停即离区域的违章停车行为自动检测***和方法 | |
| CN101727748A (zh) | 一种基于车辆尾灯检测的车辆监控方法、***和设备 | |
| CN111753612B (zh) | 一种抛洒物检测方法、装置及存储介质 | |
| CN111931726B (zh) | 交通灯检测的方法、装置、计算机存储介质和路侧设备 | |
| CN112017445B (zh) | 一种行人违规行为预测和运动轨迹跟踪***和方法 | |
| CN105574502A (zh) | 一种自助发卡机违章行为自动检测方法 | |
| CN105046948A (zh) | 一种黄色网格线区域内交通违章停车监测***和方法 | |
| CN114781479A (zh) | 交通事件检测方法及装置 | |
| CN110691224A (zh) | 一种变电站周界视频智能检测*** | |
| CN204856897U (zh) | 一种机动车即停即离区域的违章检测装置 | |
| CN113674314A (zh) | 抛洒事件检测方法、装置、电子装置和存储介质 | |
| Khan et al. | An intelligent monitoring system of vehicles on highway traffic | |
| CN114694060B (zh) | 一种道路抛洒物检测方法、电子设备及存储介质 | |
| CN113033275A (zh) | 基于深度学习的车辆变道不打转向灯分析*** | |
| CN204884166U (zh) | 一种交通禁停区域违章停车监测装置 | |
| CN115223106A (zh) | 一种融合差分视频序列和卷积神经网络的抛洒物检测方法 | |
| CN113487878A (zh) | 一种机动车违章压线行驶检测方法及*** | |
| Hsieh et al. | A real-time mobile vehicle license plate detection and recognition for vehicle monitoring and management | |
| CN111027365B (zh) | 基于人脸对象位置分析的定位方法 | |
| CN113658275A (zh) | 能见度值的检测方法、装置、设备及存储介质 | |
| TW202125459A (zh) | 號誌辨識系統及其方法 | |
| Liu et al. | Physical characteristics and spillage detection Using multi-feature fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |