CN114399714A - 基于车载相机视频的车辆违停检测方法 - Google Patents
基于车载相机视频的车辆违停检测方法 Download PDFInfo
- Publication number
- CN114399714A CN114399714A CN202210029635.9A CN202210029635A CN114399714A CN 114399714 A CN114399714 A CN 114399714A CN 202210029635 A CN202210029635 A CN 202210029635A CN 114399714 A CN114399714 A CN 114399714A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- camera video
- mounted camera
- centroid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于车载相机视频的车辆违停检测方法，包括以下步骤：步骤S1:获取车载相机视频；步骤S2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；步骤S3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；步骤S4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。本发明通过车辆检测和跟踪，再对车辆的运动轨迹进行分类，提高车载相机视频的违停检测精度。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于车载相机视频的车辆违停检测方法。
背景技术
城市车辆大量增加的同时，也给城市的交通管理带来了巨大的挑战。构建智能交通***有助于保证居民的生命安全和提高居民出行的效率。智能交通***的一个重要功能是能够快速、正确处理城市中的交通违章现象。城市道路有大量的监控摄像头，智能交通***对这些相机采集到的视频数据进行处理，能够成功找出违章的车辆。但监控摄像头并没有遍布每个角落，对于没有监控摄像头的地方所发生的违章行为，也应该得到处理。
发明内容
有鉴于此，本发明的目的在于提供一种基于车载相机视频的车辆违停检测方法，通过车辆检测和跟踪，再对车辆的运动轨迹进行分类，提高车载相机视频的违停检测精度。
为实现上述目的，本发明采用如下技术方案：
一种基于车载相机视频的车辆违停检测方法，包括以下步骤：
步骤S1:获取车载相机视频；
步骤S2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；
步骤S3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；
步骤S4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。
进一步的，所述步骤S2具体为：
采用YOLO v5检测器进行检测视频中的车辆，检测的过程是对每一帧图像进行检测，输出车的位置；
基于DeepSORT方法进行车辆跟踪，车辆跟踪则是将每一帧图中的车辆检测结果关联起来，关联的过程即为找出两帧图像中相似的车辆并建立联系；
根据从每一帧图像检测出来的车的位置计算得到车的质心位置，将该信息写到文本中，一辆车写一个文件，后续跟踪得到的车的质心信息，同一辆车的质心坐标写到同一个文件中，新出现的车的质心位置信息则是写到新的文件中。
进一步的，所述DeepSORT方法以加权平均的方式结合了两种关联方式，一种是运动匹配度，将当前帧检测的车辆质心位置与卡尔曼滤波器预测的车辆质心位置进行计算马氏距离，由马氏距离来表征运动匹配程度；另一种是外观匹配度，根据检测结果裁剪出当前帧每辆车的图像，经过卷积神经网络提取特征，与之前的特征计算相似度，由最小余弦距离表征外观匹配程度。
进一步的，所述步骤S3具体为：根据保留的文件在相同分辨率的空白图像上画点；打开一个文件，根据文件保存的质心坐标在空白图像上画点，所有点绘制完成之后会得到一张新的图像，即为这辆车的运动轨迹图。
进一步的，所述图像二分类网络基于卷积神经网络构建，输入是轨迹图，输出是预测的标签值。
进一步的，所述图像二分类网络训练的数据集，具体为：
采集车的轨迹图，打上标签，违停车辆的轨迹图可以打上“1”的标签，而其他的记为“0”标签
将YOLO v5的检测结果进行标注、关联，绘制轨迹图，作为训练的样本。
本发明与现有技术相比具有以下有益效果：
本发明通过车辆检测和跟踪，再对车辆的运动轨迹进行分类，提高车载相机视频的违停检测精度。
附图说明
图1是本发明方法流程图；
图2是本发明一实施例中违停车辆的轨迹图；
图3是本发明一实施例中正前方正常行驶车辆的轨迹图；
图4是本发明一实施例中左侧车道加速行驶的车辆的轨迹图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于车载相机视频的车辆违停检测方法，包括以下步骤：
步骤S1:获取车载相机视频；
步骤S2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；
步骤S3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；
步骤S4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。
在本实施例中，采用YOLO系列检测器进行检测视频中的车辆，检测的过程是对每一帧图像进行检测，输出车的位置（左上角的坐标和边界框的宽高）和概率。车辆跟踪的过程中使用速度较快的DeepSORT方法，车辆跟踪则是将每一帧图中的车辆检测结果关联起来，关联的过程即为找出两帧图像中相似的车辆并建立联系。
优选的，YOLO系列检测器采用的是YOLO v5，因为YOLO v5在小物体检测方面性能优于其他版本，能够更好地检测出远处的车辆。
优选的，DeepSORT方法中以加权平均的方式结合了两种关联方式,以提高检测结果匹配的精度。其中一个关联方式是运动匹配度，将当前帧检测的车辆质心位置与卡尔曼滤波器预测的车辆质心位置进行计算马氏距离，由马氏距离来表征运动匹配程度；另一个是外观匹配度，根据检测结果裁剪出当前帧每辆车的图像，经过卷积神经网络提取特征，与之前的特征计算相似度，由最小余弦距离表征外观匹配程度。从每一帧图像检测出来的车的位置可以计算得到车的质心位置，将该信息写到文本中，一辆车写一个文件，后续跟踪得到的车的质心信息，同一辆车的质心坐标写到同一个文件中，新出现的车的质心位置信息则是写到新的文件中。
在本实施例中，绘制车辆运动轨迹图，具体如下:据保留的文件在相同分辨率的空白图像上画点，这里的空白图像指的是新建的每个位置灰度值均为0的图像，显示出来整张图为黑色。打开一个文件，根据文件保存的质心坐标在空白图像上画白色的点，点的大小应该适中，实验中点的半径大小设置为8像素。所有点绘制完成之后会得到一张新的图像，即为这辆车的运动轨迹图。视频中的违停车辆停在道路右侧，该车辆在较远处便可被检测器YOLO v5检测到，又因为在车载视频中，违停车辆的质心坐标会往右下角移动，因此得到的轨迹图接近于斜向下的较长的一条曲线，违停车辆的轨迹图像如图2所示。在正前方行驶的车辆的轨迹图如图3所示，正前方行驶的车辆运动速度一般变化不大，因此正前方车辆的质心在接近于圆形的区域内运动，若该车辆的速度变化越小，则这个圆形区域越小，越接近于一个点。左侧车道的加速行驶的车辆的轨迹则是和违停的轨迹类似，但是方向不同，如图4，其质心向着图像右上角的方向运动。
在本实施例中，图像二分类网络构建，具体如下：训练这个网络需要先自己制作数据集，采集车的轨迹图，打上标签，违停车辆的轨迹图可以打上“1”的标签，而其他的记为“0”标签。训练过程要求较高质量的训练数据，在跟踪的过程中可能会出现错误关联和身份切换的情况，即将不同的车认定为是同一辆车或同一辆车被认定为不同的车辆导致轨迹被切分。因此在采集车的轨迹图这一步，选择人工将YOLO v5的检测结果进行标注、关联，从而绘制出更加精确的轨迹图，作为训练的样本。之后基于卷积神经网络设计一个二分类网络，输入是轨迹图，输出是预测的标签值。网络推理时，将车辆跟踪得到的轨迹图送入二分类网络，便会输出网络的预测结果，即可得知该视频中是否存在违停行为。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (6)
1.一种基于车载相机视频的车辆违停检测方法，其特征在于，包括以下步骤：
步骤S1:获取车载相机视频；
步骤S2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；
步骤S3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；
步骤S4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。
2.根据权利要求1所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述步骤S2具体为：
采用YOLO v5检测器进行检测视频中的车辆，检测的过程是对每一帧图像进行检测，输出车的位置；
基于DeepSORT方法进行车辆跟踪，车辆跟踪则是将每一帧图中的车辆检测结果关联起来，关联的过程即为找出两帧图像中相似的车辆并建立联系；
根据从每一帧图像检测出来的车的位置计算得到车的质心位置，将该信息写到文本中，一辆车写一个文件，后续跟踪得到的车的质心信息，同一辆车的质心坐标写到同一个文件中，新出现的车的质心位置信息则是写到新的文件中。
3.根据权利要求2所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述DeepSORT方法以加权平均的方式结合了两种关联方式，一种是运动匹配度，将当前帧检测的车辆质心位置与卡尔曼滤波器预测的车辆质心位置进行计算马氏距离，由马氏距离来表征运动匹配程度；另一种是外观匹配度，根据检测结果裁剪出当前帧每辆车的图像，经过卷积神经网络提取特征，与之前的特征计算相似度，由最小余弦距离表征外观匹配程度。
4.根据权利要求1所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述步骤S3具体为：根据保留的文件在相同分辨率的空白图像上画点；打开一个文件，根据文件保存的质心坐标在空白图像上画点，所有点绘制完成之后会得到一张新的图像，即为这辆车的运动轨迹图。
5.根据权利要求1所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述图像二分类网络基于卷积神经网络构建，输入是轨迹图，输出是预测的标签值。
6.根据权利要求5所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述图像二分类网络训练的数据集，具体为：
采集车的轨迹图，打上标签，违停车辆的轨迹图可以打上“1”的标签，而其他的记为“0”标签
将YOLO v5的检测结果进行标注、关联，绘制轨迹图，作为训练的样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210029635.9A CN114399714A (zh) | 2022-01-12 | 2022-01-12 | 基于车载相机视频的车辆违停检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210029635.9A CN114399714A (zh) | 2022-01-12 | 2022-01-12 | 基于车载相机视频的车辆违停检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114399714A true CN114399714A (zh) | 2022-04-26 |
Family
ID=81231293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210029635.9A Pending CN114399714A (zh) | 2022-01-12 | 2022-01-12 | 基于车载相机视频的车辆违停检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114399714A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
| CN108230667A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种车辆违章行为检测方法 |
| WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| CN112069969A (zh) * | 2020-08-31 | 2020-12-11 | 河北省交通规划设计院 | 一种高速公路监控视频跨镜车辆跟踪方法及*** |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
-
2022
- 2022-01-12 CN CN202210029635.9A patent/CN114399714A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
| CN108230667A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种车辆违章行为检测方法 |
| WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| CN112069969A (zh) * | 2020-08-31 | 2020-12-11 | 河北省交通规划设计院 | 一种高速公路监控视频跨镜车辆跟踪方法及*** |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106652468B (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
| US20210110180A1 (en) | Method and apparatus for traffic sign detection, electronic device and computer storage medium | |
| CN109740420B (zh) | 车辆违法识别方法及相关产品 | |
| CN110119726B (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| CN110738857A (zh) | 一种车辆违章取证方法、装置及设备 | |
| CN110619279A (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
| Riaz et al. | YOLO based recognition method for automatic license plate recognition | |
| CN117593685B (zh) | 真值数据的构建方法和装置、存储介质 | |
| Kiew et al. | Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm | |
| Xu et al. | Tad: A large-scale benchmark for traffic accidents detection from video surveillance | |
| Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
| Matsuda et al. | A Method for Detecting Street Parking Using Dashboard Camera Videos. | |
| Kodwani et al. | Automatic license plate recognition in real time videos using visual surveillance techniques | |
| Wenzel et al. | From corners to rectangles—directional road sign detection using learned corner representations | |
| CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
| CN114399714A (zh) | 基于车载相机视频的车辆违停检测方法 | |
| CN114973169A (zh) | 基于多目标检测和跟踪的车辆分类计数方法及*** | |
| CN114429621A (zh) | 一种基于ufsa算法改进的车道线智能检测方法 | |
| CN113850112A (zh) | 基于孪生神经网络的路况识别方法和*** | |
| CN114445787A (zh) | 非机动车重识别方法及相关设备 | |
| CN113850111A (zh) | 基于语义分割和神经网络技术的路况识别方法和*** | |
| Alshehri et al. | Unmanned aerial vehicle detection and tracking using image segmentation and Bayesian filtering | |
| Kolcheck et al. | Visual counting of traffic flow from a car via vehicle detection and motion analysis | |
| Malik | High-quality vehicle trajectory generation from video data based on vehicle detection and description | |
| CN115223119B (zh) | 一种可行驶区域检测方法与*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |