CN115019262A - 一种电动二轮车闯红灯自动抓拍的方法 - Google Patents
一种电动二轮车闯红灯自动抓拍的方法 Download PDFInfo
- Publication number
- CN115019262A CN115019262A CN202210341635.2A CN202210341635A CN115019262A CN 115019262 A CN115019262 A CN 115019262A CN 202210341635 A CN202210341635 A CN 202210341635A CN 115019262 A CN115019262 A CN 115019262A
- Authority
- CN
- China
- Prior art keywords
- red light
- electric
- wheeled vehicle
- steps
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000006399 behavior Effects 0.000 claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000013138 pruning Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000002156 mixing Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 238000003756 stirring Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能机器视觉分析识别技术领域，且公开了一种电动二轮车闯红灯自动抓拍的方法，采集电动二轮车、人车牌、状态灯标本，采用Darknet深度学习框架训练Yolov4目标检测模型库；对得到的模型库稀疏化和剪枝精简，进行F16精式二次推理转换，获取最终闯红灯目标对象检测模型库，投入使用，抓拍事件产生后对号牌进行识别，记录闯红灯行为抓拍事件记录和视频取证录像。该电动二轮车闯红灯自动抓拍的方法，采用AI人工智能机器视觉“深度学习”技术，训练视频探测红、黄、绿灯状态算法库，不需要连接红绿灯状态机就可以获得红、黄、绿灯状态信号。
Description
技术领域
本发明涉及人工智能机器视觉分析识别技术领域，具体为一种电动二轮车闯红灯自动抓拍的方法。
背景技术
目前在道路交通安全管理领域，机动车闯红灯抓拍***已经得到广泛的应用，闯红灯抓拍方式，通常有三种模式：1）物理连接读取红绿灯状态信号+或者需要采用雷达探测车辆+车牌识别；2）物理连接读取红绿灯信号+或者需要采用地感探测车辆+车牌识别；3）网络连接读取红灯信号+视频划线探测电辆+车牌识别。
近年来由于电动二轮车的技术发展，其高便利性和经济性价比使得人们大量使用，电动二轮车因其速度快、保护措施差、缺少有效的技术手段监管等，闯红灯极易发生交通事故，根据出台的电动二轮车上牌政策，可以用抓拍的方式监管电动二轮车闯红灯行为。
但是传统的闯红灯抓拍模式应用在电动二轮车监管上时，三种模式的闯红灯抓拍方式都存在一些缺陷和不足：第一种模式存在雷达设备昂贵，红绿灯状态机读取状态存在对接问题，施工也比较复杂的问题，且雷达探测电动摩托车需要调校，兼容性较差；第2、3模式，主要存在对接和施工复杂的问题，由于电动二轮车种类多、型号多，形态多样化问题，电动二轮车的探测也不适用于传统的动态目标跟踪算法；由于电动二轮车号牌目标小，大小尺寸不足机动车号牌的50%，且为拍清车牌需采用800W像素的摄像头，为了能监控闯红灯整个过程，需要拍摄的范围较大，传统的号牌自动识别整个处理过程分为预处理、边缘提取、车牌定位、字符分割、字符识别五大模块，大图像全景且号牌目标较小的模式下导致号牌识别慢且识别率下降等问题，为此，提出一种电动二轮车闯红灯自动抓拍的方法。
发明内容
针对现有技术的不足，本发明提供了一种电动二轮车闯红灯自动抓拍的方法，具备采用AI技术实现视频识别路口红灯状态下电动二轮车闯红灯行为，可以连续抓拍3张图片和录制闯红灯行为开始至结束时的视频，并识别电动二轮车的车牌号码，形成有效的电动二轮车闯红灯行为技术监管手段的优点，解决了上述背景技术中提出的问题。
本发明提供如下技术方案：一种电动二轮车闯红灯自动抓拍的方法，包括以下步骤：
步骤一：选用800W及以上像素支持Onvif协议网络摄像头；
步骤二：选用AI 22T（INT8）以上Nvidia JetsonNX GPU算力的设备；
步骤三：选用Darknet 深度学习框架，用来训练Yolov4的路口目标检测模型库，生成目标检测模型库；
步骤四：选用Darknet 深度学习框架，用来训练Tiny Yolov4的交通信号细分目标检测模型库，生成信号灯状态目标检测模型库；
步骤五：选用Darknet 深度学习框架，用来训练Tiny Yolov4的号牌识别字符分类模型库，生成车牌字符目标检测算法模型库；
步骤六：对步骤三、步骤四和步骤五中生成的原始模型进行剪枝；
步骤七：设置连接网络摄像头，从网摄像头采用 rtsp协议拉流并解码，将h264/h265码流解码转换为RGB24图像；
步骤八：在十字路口、丁字路口摄像头视频画面内设置虚拟信号灯检测区，定义规则设置功能，在路口全景图像信号灯位置，绘制一个包含信号灯的局域矩形区域，***剪切此矩形图像，调用信号灯状态目标检测模型库检测出红、黄、灯、未知等种状态；
步骤九：设置抓拍检测区，在图像检测区范围内，划定3条抓拍线，程序设置3个抓拍线管理对象，在程序检测到红灯状态时，拌线的电动二轮车被剪切目标图像存放在对应的抓拍线管理对象内，当电动二轮车3条抓拍线都存在拌线行为时，抓拍判定逻辑如下：
1.3条抓拍线都在红灯状态下触拌时触发抓拍事件；
2.第1条线线红灯状态下触拌时触发抓拍事件；
步骤十：抓拍事件产生后对号牌进行识别；
步骤十一：闯红灯行为抓拍事件记录，将3条抓拍线管理对象内的全景图片、车牌图片、车牌字符串、时间、地点等信息存储到本地数据库，同时可设置上传到管理平台；
步骤十二：电动二轮车闯红灯行为视频取证录像。
优选的，步骤三中目标分类为：0.电动二轮车（摩托车）；1.自行车；2.小汽车；3.大货车；4.巴士；5.其它特种车辆；6.交通信号灯，设定神经网络尺寸为512*512像素参数，训练模式为Iou模式，采集路口全景图片100000以上样本标注训练。
优选的，步骤四中的目标分类为：0无状态；1.绿灯；2.黄灯；3.红灯；设定检测范围为信号灯局部区域，且神经网络大小设定为 320*320，采集路***通信号灯局部图片6000张以上样本标注训练。
优选的，步骤五中目标分类为：0.数字0；1.数字1；2数字2；3.数字3；4.数字4；5.数字5；6.数字6；7.数字7；8.数字8；9.数字9；10.白底号牌；11.黄底号牌；12，蓝底号牌；13.绿底号牌；英文字母14A；15B，16C，17D，18E，19F，20G，21H，22I，23J，24K，25L，26M，27N，28O，29P，30Q，31R，32S，33T，34U，35V，36W，37X，38Y，39Z，设定神经网络尺寸为320*320像素参数，将训练模式设定为giou模式，采集路口电动二轮车牌局部图片20000以上样本标注训练。
优选的，步骤六中对原始模型进行剪枝的方法为：先以全局阈值找出各卷积层的mask，然后对于每组shortcut，它将相连的各卷积层的剪枝mask取并集，用merge后的mask进行剪枝，剪枝后再用Darknet对模型进行微调训练恢复精度，然后采用TensorRT F16模式二次推理加速。
优选的，步骤八中设定***每隔1秒检测一次，且检测结果记录在设备内存内。
优选的，步骤十中号牌识别的方法为：从3条抓拍线管理对象内提取最大和图像质量最好的车牌局部图像，调用车牌字符分模型库检测车牌内的字符，将字符按X坐标从左到右排序，转换为车牌号码字符串。
优选的，步骤十二中，在读取到红灯状态时，当有电动二轮车拌触第一条抓拍线时，开始录像，延时15秒后结束，生成一条录像记录与闯红灯抓拍事件记录关联，作为视频录像证据。
与现有技术对比，本发明具备以下有益效果：
1、该电动二轮车闯红灯自动抓拍的方法，采用AI人工智能机器视觉“深度学习”技术，训练视频探测红、黄、绿灯状态算法库，不需要连接红绿灯状态机就可以获得红、黄、绿灯状态信号；采用AI人工智能机器视觉“深度学习”技术，训练探测电动二轮车算法库，并使其具有区分电动二轮车（含电摩）、自行车、机动车的能力。
2、该电动二轮车闯红灯自动抓拍的方法，采用AI人工智能机器视觉“深度学习”技术，训练并实现电动二轮车号牌识别算法库，提高识别率；采用视频绘制3条抓拍线，记录红灯状态下的电动二轮车闯红灯行为，抓拍3张全景图片，提取一张车牌目标图片，并记录视频取证。
3、该电动二轮车闯红灯自动抓拍的方法，采用AI技术实现视频识别路口红灯状态下电动二轮车闯红灯行为，可以连续抓拍3张图片和录制闯红灯行为开始至结束时的视频，并识别电动二轮车的车牌号码，形成有效的电动二轮车闯红灯行为技术监管手段。
附图说明
图1为本发明电动车闯红灯行为目标对象检测库开发流程示意图；
图2为十字路口***部署示意图；
图3为电动二轮车闯红灯行为抓拍流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和2，一种电动二轮车闯红灯自动抓拍的方法，包括以下步骤：
步骤一：选用800W及以上像素支持Onvif协议网络摄像头，具有rtsp实时流媒体协议，具备人眼可看清车牌号码的能力，采集电动二轮车、人车牌、状态灯样本；
步骤二：选用AI 22T（INT8）以上Nvidia JetsonNX GPU算力的设备，按yolo标准绘制训练标签；
步骤三：选用Darknet 深度学习框架，深度学习算法训练框架darknet是开源的，用来训练Yolov4的路口目标检测模型库，通过训练后，生成算法库可以检测跟踪视频中的对象分类目标， 目标分类为：0.电动二轮车（摩托车）；1.自行车；2.小汽车；3.大货车；4.巴士；5.其它特种车辆；6.交通信号灯，综合检测速度和检测效果考虑设定神经网络尺寸为512*512像素参数，训练模式为Iou模式，采集路口全景图片100000以上样本标注训练，生成目标检测模型库；
步骤四：选用Darknet 深度学习框架，用来训练Tiny Yolov4的交通信号细分目标检测模型库，经过分类训练后，***可以自动识别绿灯，黄灯，红灯三种，且目标分类为：0无状态；1.绿灯；2.黄灯；3.红灯，其中各类包括圆形灯、箭头灯等多种样式；设定检测范围为信号灯局部区域，输入图像像素小，因此采用精简模型，且神经网络大小设定为 320*320，在保证检测效果的同时提升检测速度，采集路***通信号灯局部图片6000张以上样本标注训练，生成信号灯状态目标检测模型库；
步骤五：选用Darknet 深度学习框架，用来训练Tiny Yolov4的号牌识别字符分类模型库，目标分类为：0.数字0；1.数字1；2数字2；3.数字3；4.数字4；5.数字5；6.数字6；7.数字7；8.数字8；9.数字9；10.白底号牌；11.黄底号牌；12，蓝底号牌；13.绿底号牌；英文字母14A；15B，16C，17D，18E，19F，20G，21H，22I，23J，24K，25L，26M，27N，28O，29P，30Q，31R，32S，33T，34U，35V，36W，37X，38Y，39Z，设定神经网络尺寸为320*320像素参数，将训练模式设定为giou模式，采集路口电动二轮车牌局部图片20000以上样本标注训练，生成车牌字符目标检测算法模型库；
步骤六：对步骤三、步骤四和步骤五中生成的原始模型进行剪枝，即对得到的三个模型进行加速处理，否则检测速度比较慢影响性价比；
对原始模型进行剪枝的方法为：先以全局阈值找出各卷积层的mask，然后对于每组shortcut，它将相连的各卷积层的剪枝mask取并集，用merge后的mask进行剪枝，这样对每一个相关层都做了考虑，同时它还对每一个层的保留通道做了限制，实验中它的剪枝效果最好，剪枝后再用Darknet对模型进行微调训练恢复精度，由此得到只有原模型20%大小左右的模型库权重文件，然后采用TensorRT F16模式二次推理加速，在检测精度可以跟原始模型比肩效果的工况下可以提升 3倍左右的检测速度，并且减少了50%的显存占用，获取最终闯红灯目标对象检测模型库；
步骤七：设置连接网络摄像头，从网摄像头采用 rtsp协议拉流并解码，将h264/h265码流解码转换为RGB24图像；
步骤八：在十字路口、丁字路口摄像头视频画面内设置虚拟信号灯检测区，定义规则设置功能，在路口全景图像信号灯位置，绘制一个包含信号灯的局域矩形区域，***剪切此矩形图像，调用信号灯状态目标检测模型库检测出红、黄、灯、未知等种状态，设定***每隔1秒检测一次，结果记录在设备内存，因采用了局部检测和精简的yolo v4模型并经过TensorRT推理加速，检测速度可以在 12豪秒以内；
步骤九：设置抓拍检测区，在图像检测区范围内，划定3条抓拍线，程序设置3个抓拍线管理对象，在程序检测到红灯状态时，拌线的电动二轮车被剪切目标图像存放在对应的抓拍线管理对象内，当电动二轮车3条抓拍线都存在拌线行为时，抓拍判定逻辑如下：
1.3条抓拍线都在红灯状态下触拌时触发抓拍事件；
2.第1条线线红灯状态下触拌时触发抓拍事件；
步骤十：抓拍事件产生后对号牌进行识别，从3条抓拍线管理对象内提取最大和图像质量最好的车牌局部图像，调用车牌字符分模型库检测车牌内的字符，将字符按X坐标从左到右排序，转换为车牌号码字符串；
步骤十一：闯红灯行为抓拍事件记录，将3条抓拍线管理对象内的全景图片、车牌图片、车牌字符串、时间、地点等信息存储到本地数据库，同时可设置上传到管理平台；
步骤十二：电动二轮车闯红灯行为视频取证录像，在读取到红灯状态时，当有电动二轮车拌触第一条抓拍线时，开始录像，延时15秒后结束，生成一条录像记录与闯红灯抓拍事件记录关联，作为视频录像证据。
请参阅图3，电动车闯红灯行为抓拍流程为：FFMPEG组件拉流并视频解码为RGB图像，接着视频检测是否为红灯状态，若是红灯状态，红灯状态下检测电动二轮车，若判断结果为是，继续判断电动二轮车是否伴虚拟线，若判断结果为是，则判断电动二轮车闯红灯，抓拍图片和录像片段并产生闯红灯抓拍事件，若视频检测是否为红灯状态判断结果为否，则结果为绿灯或黄状态，流程结束，若红灯状态下检测电动二轮车判断结果为否，电动车未闯红灯，结束流程，若电动二轮车是否伴虚拟线判断结果为否，该电动车停止线等红灯，继续重复上述步骤。
电动二轮车闯红灯行为检测目标分类算法模型库的开发训练实施如下:（1）准备“深度学习”目标分类训练服务器，具体配置为（CPU:Intel 至强E5 2690 V3，内存:64GB，GPU:RTX 3060 *3，硬盘:1TB SSD），（2）安装Cuda 11.1，下载Darknet框架源码编译生成可运行软件，（3）为提升效率开发标签制作软件，（4）采用标签制软件导入红绿灯现场采集的闯红灯目标分类图像样本（详细见步骤3），按设计的类别框定样本图像中的目标，然后运行Darknet训练工具进行训练，获得目标检测算法原始模型库，参照图示”电动二轮车闯红灯行为目流检测库开发流程图”，获得最终精简模型库，红，技术方案中步骤4、频骤5的模型库生产实施方式与此相同。
编写程序，实现功能目标，具体实施方式如下:
（1） 采用json格式的字符格式文件，存储抓拍事件记录；
（2） 采用xml格式文件存储配置参数信息；
（3） 采用ffmpeg开源组件，实现rtsp方式连接网络摄像头取流到解码全过程；
（4） 采用TensortRT 组件调用算法模型库检测目标对象；
（5） 采用TensortRT 组件调用算法模型库检测红绿灯状态目标对象；
（6） 采用TensortRT 组件调用算法模型库检测电动二轮车检测号牌字符目标对象，并将号牌字符对象连接排列起来形成车牌号码；
（7） 在图像中设置3条虚拟线条，检测红灯状态时，抓拍拌线的电动二轮车，并实识其车牌号码，产生抓拍事件。
本申请涉及到的电器元件均在市场上可以买到，均是现有技术，尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种电动二轮车闯红灯自动抓拍的方法，其特征在于，包括以下步骤：
步骤一：选用800W及以上像素支持Onvif协议网络摄像头；
步骤二：选用AI 22T以上Nvidia JetsonNX GPU算力的设备；
步骤三：选用Darknet 深度学习框架，用来训练Yolov4的路口目标检测模型库，生成目标检测模型库；
步骤四：选用Darknet 深度学习框架，用来训练Tiny Yolov4的交通信号细分目标检测模型库，生成信号灯状态目标检测模型库；
步骤五：选用Darknet 深度学习框架，用来训练Tiny Yolov4的号牌识别字符分类模型库，生成车牌字符目标检测算法模型库；
步骤六：对步骤三、步骤四和步骤五中生成的原始模型进行剪枝；
步骤七：设置连接网络摄像头，从网摄像头采用 rtsp协议拉流并解码，将h264/h265码流解码转换为RGB24图像；
步骤八：在十字路口、丁字路口摄像头视频画面内设置虚拟信号灯检测区，定义规则设置功能，在路口全景图像信号灯位置，绘制一个包含信号灯的局域矩形区域，***剪切此矩形图像，调用信号灯状态目标检测模型库检测出红、黄、灯、未知等种状态；
步骤九：设置抓拍检测区，在图像检测区范围内，划定3条抓拍线，程序设置3个抓拍线管理对象，在程序检测到红灯状态时，拌线的电动二轮车被剪切目标图像存放在对应的抓拍线管理对象内，当电动二轮车3条抓拍线都存在拌线行为时，抓拍判定逻辑如下：
1）、3条抓拍线都在红灯状态下触拌时触发抓拍事件；
2）、第1条线线红灯状态下触拌时触发抓拍事件；
步骤十：抓拍事件产生后对号牌进行识别；
步骤十一：闯红灯行为抓拍事件记录，将3条抓拍线管理对象内的全景图片、车牌图片、车牌字符串、时间、地点等信息存储到本地数据库，同时可设置上传到管理平台；
步骤十二：电动二轮车闯红灯行为视频取证录像。
2.根据权利要求1所述的一种电动二轮车闯红灯自动抓拍的方法，其特征在于：步骤三中目标分类为：0.电动二轮车；1.自行车；2.小汽车；3.大货车；4.巴士；5.其它特种车辆；6.交通信号灯，设定神经网络尺寸为512*512像素参数，训练模式为Iou模式，采集路口全景图片100000以上样本标注训练。
3.根据权利要求1所述的一种电动二轮车闯红灯自动抓拍的方法，其特征在于：步骤四中的目标分类为：0无状态；1.绿灯；2.黄灯；3.红灯；设定检测范围为信号灯局部区域，且神经网络大小设定为 320*320，采集路***通信号灯局部图片6000张以上样本标注训练。
4.根据权利要求1所述的一种电动二轮车闯红灯自动抓拍的方法，其特征在于：步骤五中目标分类为：0.数字0；1.数字1；2数字2；3.数字3；4.数字4；5.数字5；6.数字6；7.数字7；8.数字8；9.数字9；10.白底号牌；11.黄底号牌；12，蓝底号牌；13.绿底号牌；英文字母14A；15B，16C，17D，18E，19F，20G，21H，22I，23J，24K，25L，26M，27N，28O，29P，30Q，31R，32S，33T，34U，35V，36W，37X，38Y，39Z，设定神经网络尺寸为320*320像素参数，将训练模式设定为giou模式，采集路口电动二轮车牌局部图片20000以上样本标注训练。
5.根据权利要求1所述的一种电动二轮车闯红灯自动抓拍的方法，其特征在于：步骤六中对原始模型进行剪枝的方法为：先以全局阈值找出各卷积层的mask，然后对于每组shortcut，它将相连的各卷积层的剪枝mask取并集，用merge后的mask进行剪枝，剪枝后再用Darknet对模型进行微调训练恢复精度，然后采用TensorRT F16模式二次推理加速。
6.根据权利要求1所述的一种电动二轮车闯红灯自动抓拍的方法，其特征在于：步骤八中设定***每隔1秒检测一次，且检测结果记录在设备内存内。
7.根据权利要求1所述的一种电动二轮车闯红灯自动抓拍的方法，其特征在于：步骤十中号牌识别的方法为：从3条抓拍线管理对象内提取最大和图像质量最好的车牌局部图像，调用车牌字符分模型库检测车牌内的字符，将字符按X坐标从左到右排序，转换为车牌号码字符串。
8.根据权利要求1所述的一种电动二轮车闯红灯自动抓拍的方法，其特征在于：步骤十二中，在读取到红灯状态时，当有电动二轮车拌触第一条抓拍线时，开始录像，延时15秒后结束，生成一条录像记录与闯红灯抓拍事件记录关联，作为视频录像证据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210341635.2A CN115019262B (zh) | 2022-04-02 | 2022-04-02 | 一种电动二轮车闯红灯自动抓拍的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210341635.2A CN115019262B (zh) | 2022-04-02 | 2022-04-02 | 一种电动二轮车闯红灯自动抓拍的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115019262A true CN115019262A (zh) | 2022-09-06 |
| CN115019262B CN115019262B (zh) | 2024-05-24 |
Family
ID=83066734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210341635.2A Active CN115019262B (zh) | 2022-04-02 | 2022-04-02 | 一种电动二轮车闯红灯自动抓拍的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115019262B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427615A (zh) * | 2015-12-03 | 2016-03-23 | 杭州中威电子股份有限公司 | 一种低照度下鲁棒的闯红灯抓拍***及方法 |
| CN105788286A (zh) * | 2016-05-19 | 2016-07-20 | 湖南博广信息科技有限公司 | 智能识别闯红灯***以及车辆行为检测抓拍方法 |
| KR101671428B1 (ko) * | 2016-02-25 | 2016-11-03 | 유한회사 비츠 | 지능형 교차로 위법 차량 감시 시스템 |
| CN110136449A (zh) * | 2019-06-17 | 2019-08-16 | 珠海华园信息技术有限公司 | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 |
| CN110288838A (zh) * | 2019-07-19 | 2019-09-27 | 网链科技集团有限公司 | 电动自行车闯红灯识别***及方法 |
| CN113128355A (zh) * | 2021-03-29 | 2021-07-16 | 南京航空航天大学 | 一种基于通道剪枝的无人机图像实时目标检测方法 |
-
2022
- 2022-04-02 CN CN202210341635.2A patent/CN115019262B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427615A (zh) * | 2015-12-03 | 2016-03-23 | 杭州中威电子股份有限公司 | 一种低照度下鲁棒的闯红灯抓拍***及方法 |
| KR101671428B1 (ko) * | 2016-02-25 | 2016-11-03 | 유한회사 비츠 | 지능형 교차로 위법 차량 감시 시스템 |
| CN105788286A (zh) * | 2016-05-19 | 2016-07-20 | 湖南博广信息科技有限公司 | 智能识别闯红灯***以及车辆行为检测抓拍方法 |
| CN110136449A (zh) * | 2019-06-17 | 2019-08-16 | 珠海华园信息技术有限公司 | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 |
| CN110288838A (zh) * | 2019-07-19 | 2019-09-27 | 网链科技集团有限公司 | 电动自行车闯红灯识别***及方法 |
| CN113128355A (zh) * | 2021-03-29 | 2021-07-16 | 南京航空航天大学 | 一种基于通道剪枝的无人机图像实时目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 肖习雨: "交通路口车辆实时监测方法研究及其应用", 《硕士电子期刊》, 29 February 2012 (2012-02-29), pages 1 - 74 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115019262B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Che et al. | D $^ 2$-city: a large-scale dashcam video dataset of diverse traffic scenarios | |
| CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
| CN107004271B (zh) | 显示方法、装置、电子设备、计算机程序产品和存储介质 | |
| Saha et al. | License Plate localization from vehicle images: An edge based multi-stage approach | |
| CN102867417B (zh) | 一种出租车防伪***及方法 | |
| CN111161543A (zh) | 一种基于图像识别的公交前车违章行为自动抓拍方法及*** | |
| CN105023439A (zh) | 一种智能动态车牌识别报警*** | |
| CN102867418A (zh) | 一种判断车牌识别准确性的方法和装置 | |
| CN112509325B (zh) | 一种基于视频深度学习的非现场违法自动甄别方法 | |
| CN111985373A (zh) | 基于交通路口识别的安全预警方法、装置及电子设备 | |
| CN105046948A (zh) | 一种黄色网格线区域内交通违章停车监测***和方法 | |
| CN110245563A (zh) | 改装车识别方法及相关产品 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| JP2013089129A (ja) | 移動体検出装置、コンピュータプログラム及び移動体検出方法 | |
| CN204884166U (zh) | 一种交通禁停区域违章停车监测装置 | |
| CN113486885A (zh) | 一种车牌识别方法、装置、电子设备及存储介质 | |
| CN113111876A (zh) | 一种用于交通违章取证的方法及*** | |
| CN115965926B (zh) | 一种车载式道路标志标线巡检*** | |
| CN115512315B (zh) | 一种非机动车儿童搭乘检测方法、电子设备及存储介质 | |
| CN115019262A (zh) | 一种电动二轮车闯红灯自动抓拍的方法 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN103077614A (zh) | 一种基于计算机视觉的人行横道处车辆的检测***及方法 | |
| CN215186950U (zh) | 一种基于人脸识别技术的行人闯红灯行为证据采集装置 | |
| CN115170989A (zh) | 一种基于强化特征提取的轨道分割方法 | |
| CN114332798A (zh) | 网约车环境信息的处理方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |