CN116343175A - 行人路牌检测方法、装置、设备及存储介质 - Google Patents
行人路牌检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116343175A CN116343175A CN202310587392.5A CN202310587392A CN116343175A CN 116343175 A CN116343175 A CN 116343175A CN 202310587392 A CN202310587392 A CN 202310587392A CN 116343175 A CN116343175 A CN 116343175A
- Authority
- CN
- China
- Prior art keywords
- network model
- detection
- data
- convolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 165
- 238000012360 testing method Methods 0.000 claims abstract description 137
- 238000012549 training Methods 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004140 cleaning Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000011897 real-time detection Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种行人路牌检测方法、装置、设备及存储介质,所述方法通过获取待测地点的数据集,对数据集进行数据清洗,获得待测数据;将待测数据进行划分,获得训练集和测试集,将训练集输入到基于MG‑YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;将训练后的网络模型进行收敛拟合,获得目标网络模型,将测试集输入至目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,能够在保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率。
Description
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种行人路牌检测方法、装置、设备及存储介质。
背景技术
原始YOLOv5网络模型的主干特征提取网络是CSP-DarkNet53,是基于resnet网络演变而来,resnet为了充分利用各个特征层的特征信息设置了很多残差结构,进而造成了网络模型结构越来越复杂,网络模型参数越来越大,对硬件设备的算力与存储空间提出了很高的要求,最终导致该网络模型只能移植部署到高性能设备上;常见的高精度目标检测模型都是双阶段检测网络模型,其检测网络模型复杂度限制了检测速度,很难做到在行泊车过程中对移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测。
发明内容
本发明的主要目的在于提供一种行人路牌检测方法、装置、设备及存储介质,旨在解决现有技术中自动驾驶车辆行车和泊车过程中无法对行人和车辆路牌进行实时检测,检测模型结构复杂,检测速度较慢,检测精度较差的技术问题。
第一方面,本发明提供一种行人路牌检测方法,所述行人路牌检测方法包括以下步骤:
获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;
将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;
将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
可选地,所述获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据,包括:
获取待测地点的网络公开数据集和实时检测数据集;
将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据。
可选地,所述将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型,包括:
获取预设划分比例,根据所述预设划分比例将所述待测数据进行划分,获得训练集和测试集;
获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数;
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型。
可选地,所述将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型,包括:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量;
根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比;
根据所述参数量之比对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型。
可选地,所述将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量,包括:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数通过下式计算获得所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量:
可选地,所述根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比,包括:
根据所述标准卷积计算量通过下式确定标准卷积参数量:
根据所述分组卷积计算量通过下式确定深度可分离卷积的参数量:
通过下式获得标准卷积数量和深度可卷积参数量的参数量之比:
可选地,所述将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,包括:
将所述训练后的网络模型进行收敛拟合,获得目标网络模型;
将所述测试集输入至所述目标网络模型中进行测试,获得测试结果;
在所述测试结果为网络测试精度大于预设精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测。
第二方面,为实现上述目的,本发明还提出一种行人路牌检测装置,所述行人路牌检测装置包括:
数据清洗模块,用于获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;
训练模块,用于将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;
检测模块,用于将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
第三方面,为实现上述目的,本发明还提出一种行人路牌检测设备,所述行人路牌检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行人路牌检测程序,所述行人路牌检测程序配置为实现如上文所述的行人路牌检测方法的步骤。
第四方面,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有行人路牌检测程序,所述行人路牌检测程序被处理器执行时实现如上文所述的行人路牌检测方法的步骤。
本发明提出的行人路牌检测方法,通过获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,能够在保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,进而实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明行人路牌检测方法第一实施例的流程示意图;
图3为本发明行人路牌检测方法第二实施例的流程示意图;
图4为本发明行人路牌检测方法第三实施例的流程示意图;
图5为本发明行人路牌检测方法第四实施例的流程示意图;
图6为本发明行人路牌检测方法第五实施例的流程示意图;
图7为本发明行人路牌检测装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的解决方案主要是:通过获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,能够在保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,进而实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率,解决了自动驾驶车辆行车和泊车过程中无法对行人和车辆路牌进行实时检测,检测模型结构复杂,检测速度较慢,检测精度较差的技术问题。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示,该设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(Non-Volatile Memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对该设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及行人路牌检测程序。
本发明设备通过处理器1001调用存储器1005中存储的行人路牌检测程序,并执行以下操作:
获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;
将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;
将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
本发明设备通过处理器1001调用存储器1005中存储的行人路牌检测程序,还执行以下操作:
获取待测地点的网络公开数据集和实时检测数据集;
将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据。
本发明设备通过处理器1001调用存储器1005中存储的行人路牌检测程序,还执行以下操作:
获取预设划分比例,根据所述预设划分比例将所述待测数据进行划分,获得训练集和测试集;
获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数;
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型。
本发明设备通过处理器1001调用存储器1005中存储的行人路牌检测程序,还执行以下操作:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量;
根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比;
根据所述参数量之比对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型。
本发明设备通过处理器1001调用存储器1005中存储的行人路牌检测程序,还执行以下操作:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数通过下式计算获得所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量:
本发明设备通过处理器1001调用存储器1005中存储的行人路牌检测程序,还执行以下操作:
根据所述标准卷积计算量通过下式确定标准卷积参数量:
根据所述分组卷积计算量通过下式确定深度可分离卷积的参数量:
通过下式获得标准卷积数量和深度可卷积参数量的参数量之比:
本发明设备通过处理器1001调用存储器1005中存储的行人路牌检测程序,还执行以下操作:
将所述训练后的网络模型进行收敛拟合,获得目标网络模型;
将所述测试集输入至所述目标网络模型中进行测试,获得测试结果;
在所述测试结果为网络测试精度大于预设精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测。
本实施例通过上述方案,通过获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,能够在保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,进而实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率。
基于上述硬件结构,提出本发明行人路牌检测方法实施例。
参照图2,图2为本发明行人路牌检测方法第一实施例的流程示意图。
在第一实施例中,所述行人路牌检测方法包括以下步骤:
步骤S10、获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据。
需要说明的是,待测地点为当前自动驾驶车辆行驶或停泊过程中周围环境的待采集位置,待测地点的数据集为当前自动驾驶车辆行驶或停泊过程中行人和路牌检测采集的数据集,获得数据集后可以进行数据清洗操作,进而获得对行人路牌检测的待测数据。
步骤S20、将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型。
可以理解的是,对所述待测数据进行数据划分后,可以获得训练集和测试集,训练集的作用是给目标检测网络模型提供训练素材,测试集的作用是通过反向传播调整目标检测网络中各个网络层的权重参数,以达到提高目标检测网络模型的检测精度的目的,进而将所述训练集输入到基于YOLO网络的多头组卷积目标检测网络模型(MG-YOLO,MultiheadGroup Convolution You Only Look Once)网络结构的检测网络中进行网络模型训练,可以获得训练后网络模型。
步骤S30、将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
应当理解的是,对所述训练后的网络模型进行收敛拟合,可以获得拟合生成的目标网络模型,将所述测试集输入至所述目标网络模型进行测试,从而可以根据测试通过的目标网络模型对行人和路牌进行实时检测。
本实施例通过上述方案,通过获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,能够在保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,进而实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率。
进一步地,图3为本发明行人路牌检测方法第二实施例的流程示意图,如图3所示,基于第一实施例提出本发明行人路牌检测方法第二实施例,在本实施例中,所述步骤S10,具体包括以下步骤:
步骤S11、获取待测地点的网络公开数据集和实时检测数据集。
需要说明的是,待测地点的数据集的采集分两部分,一部分为网络公开数据集的收集,另一部分则是实时检测结果对应的实时检测数据集的并入,将实时检测结果并入数据集的作用是提高数据集的丰富性,进而增加训练网络的鲁棒性。
步骤S12、将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据。
可以理解的是,将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,进而可以将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据,实时检测的行车数据由于是YOLO网络本身识别的,故不需要对数据格式进行修改可直接并入到数据集。
本实施例通过上述方案,通过获取待测地点的网络公开数据集和实时检测数据集;将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据,能够保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,提高了检测精度。
进一步地,图4为本发明行人路牌检测方法第三实施例的流程示意图,如图4所示,基于第一实施例提出本发明行人路牌检测方法第三实施例,在本实施例中,所述步骤S20具体包括以下步骤:
步骤S21、获取预设划分比例,根据所述预设划分比例将所述待测数据进行划分,获得训练集和测试集。
需要说明的是,所述预设划分比例为预先设置的对数据集进行划分的比例,通过所述预设划分比例将所述待测数据进行划分,可以获得划分后生成的训练集和测试集。
在具体实现中,可以将数据集按照80%为训练集,20%为测试集进行数据集划分,当然也可以根据实际情况设置其他数值比例,本实施例对此不加以限制。
步骤S22、获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数。
可以理解的是,检测网络中对应有图像尺寸和通道数,可以获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数。
步骤S23、将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型。
应当理解的是,将所述训练集输入到所述检测网络中,进而可以根据所述图像尺寸和所述通道数进行检测网络模型的训练,获得训练后的网络模型。
本实施例通过上述方案,通过获取预设划分比例,根据所述预设划分比例将所述待测数据进行划分,获得训练集和测试集;获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数;将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型;能够实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率。
进一步地,图5为本发明行人路牌检测方法第四实施例的流程示意图,如图5所示,基于第三实施例提出本发明行人路牌检测方法第四实施例,在本实施例中,所述步骤S23具体包括以下步骤:
步骤S231、将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量。
需要说明的是,将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数通过预先设置的计算公式可以确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量。
进一步的,所述步骤S231具体包括以下步骤:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数通过下式计算获得所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量:
可以理解的是,由上述两个公式可知,标准卷积所需的计算量的是分组卷积所需要计算量的g倍。
步骤S232、根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比。
应当理解的是,通过所述标准卷积计算量和所述分组卷积计算量利用预先设置的计算公式可以确定标准卷积和深度可分离卷积的参数量之比。
进一步的,所述步骤S232具体包括以下步骤:
根据所述标准卷积计算量通过下式确定标准卷积参数量:
根据所述分组卷积计算量通过下式确定深度可分离卷积的参数量:
通过下式获得标准卷积数量和深度可卷积参数量的参数量之比:
应当理解的是,标准卷积的参数量计算公式如下:
其中Parameter表示参数量,K表示卷积核的大小,Cin表示输入特征图的通道数,Cout表示输出特征图的通道数,W表示输出特征图的宽度,H表示输出特征图的高度。
分组卷积的参数量计算公式如下:
其中Parameter表示参数量,K表示卷积核的大小,Cin表示输入特征图的通道数,Cout表示输出特征图的通道数,W表示输出特征图的宽度,H表示输出特征图的高度,g表示分组的个数。
由上述两个公式可知,标准卷积所需的参数量的是分组卷积所需要参数量的g倍。
深度可分离卷积的计算量计算公式如下:
深度可分离卷积与标准卷积的计算量之比为:
深度可分离卷积的参数量计算公式如下:
深度可分离卷积与标准卷积的参数量之比为:
根据上述的参数量计算公式和计算量计算公式可以知道,通道数减半以后对应网络的参数量和计算量均会减半,从而大大降低了网络模型的在资源受限的车载终端处理器上部署的难度。
步骤S233、根据所述参数量之比对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型。
可以理解的是,通过所述参数量之比可以对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型。
本实施例通过上述方案,通过将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量;根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比;根据所述参数量之比对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型,能够实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率。
进一步地,图6为本发明行人路牌检测方法第五实施例的流程示意图,如图6所示,基于第一实施例提出本发明行人路牌检测方法第五实施例,在本实施例中,所述步骤S30具体包括以下步骤:
步骤S31、将所述训练后的网络模型进行收敛拟合,获得目标网络模型。
需要说明的是,通过将训练后的网络模型进行收敛拟合,可以获得训练好的目标网络模型。
步骤S32、将所述测试集输入至所述目标网络模型中进行测试,获得测试结果。
可以理解的是,将所述测试集输入至所述目标网络模型中进行测试,获得测试集中数据的网络测试结果。
步骤S33、在所述测试结果为网络测试精度大于预设精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测。
应当理解的是,在所述测试结果为网络测试精度大于预先设置的精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测。
在具体实现中,在拥有大算力的工作站上,可以将训练集输入到基于YOLO网络的多头组卷积目标检测网络模型(MG-YOLO,Multihead Group Convolution You Only LookOnce)在目标检测网络中进行网络模型的训练;当网络模型训练收敛拟合以后,将测试集输入到训练好的网络模型当中进行测试;如果网络检测精度达到预期要求,则将该模型部署到车载控制***当中;如果网络检测精度无法达到预期要求,则通过神经网络结构搜索算法(NAS,Neural Architecture Search)对训练完成的网络模型的超参进行优化调整,然后将优化后的网络重复网络模型训练操作;为了增强网络模型的泛化性,将实车行驶过程中的检测结果并入到数据集当中。
本实施例通过上述方案,通过将所述训练后的网络模型进行收敛拟合,获得目标网络模型;将所述测试集输入至所述目标网络模型中进行测试,获得测试结果;在所述测试结果为网络测试精度大于预设精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测;能够在保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,进而实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度。
相应地,本发明进一步提供一种行人路牌检测装置。
参照图7,图7为本发明行人路牌检测装置第一实施例的功能模块图。
本发明行人路牌检测装置第一实施例中,该行人路牌检测装置包括:
数据清洗模块10,用于获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据。
训练模块20,用于将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型。
检测模块30,用于将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
所述数据清洗模块10,还用于获取待测地点的网络公开数据集和实时检测数据集;将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据。
所述训练模块20,还用于获取预设划分比例,根据所述预设划分比例将所述待测数据进行划分,获得训练集和测试集;获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数;将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型。
所述训练模块20,还用于将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量;根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比;根据所述参数量之比对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型。
所述训练模块20,还用于将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数通过下式计算获得所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量:
所述训练模块20,还用于根据所述标准卷积计算量通过下式确定标准卷积参数量:
根据所述分组卷积计算量通过下式确定深度可分离卷积的参数量:
通过下式获得标准卷积数量和深度可卷积参数量的参数量之比:
所述检测模块30,还用于将所述训练后的网络模型进行收敛拟合,获得目标网络模型;将所述测试集输入至所述目标网络模型中进行测试,获得测试结果;在所述测试结果为网络测试精度大于预设精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测。
其中,行人路牌检测装置的各个功能模块实现的步骤可参照本发明行人路牌检测方法的各个实施例,此处不再赘述。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有行人路牌检测程序,所述行人路牌检测程序被处理器执行时实现如下操作:
获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;
将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;
将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
进一步地,所述行人路牌检测程序被处理器执行时还实现如下操作:
获取待测地点的网络公开数据集和实时检测数据集;
将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据。
进一步地,所述行人路牌检测程序被处理器执行时还实现如下操作:
获取预设划分比例,根据所述预设划分比例将所述待测数据进行划分,获得训练集和测试集;
获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数;
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型。
进一步地,所述行人路牌检测程序被处理器执行时还实现如下操作:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量;
根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比;
根据所述参数量之比对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型。
进一步地,所述行人路牌检测程序被处理器执行时还实现如下操作:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数通过下式计算获得所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量:
进一步地,所述行人路牌检测程序被处理器执行时还实现如下操作:
根据所述标准卷积计算量通过下式确定标准卷积参数量:
根据所述分组卷积计算量通过下式确定深度可分离卷积的参数量:
通过下式获得标准卷积数量和深度可卷积参数量的参数量之比:
进一步地,所述行人路牌检测程序被处理器执行时还实现如下操作:
将所述训练后的网络模型进行收敛拟合,获得目标网络模型;
将所述测试集输入至所述目标网络模型中进行测试,获得测试结果;
在所述测试结果为网络测试精度大于预设精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测。
本实施例通过上述方案,通过获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,能够在保证网络检测精度的前提下,极大的降低了网络模型的参数量和复杂程度,进而实现在低算力和低存储设备上对行泊车过程中移动的行人和机动车辆、静止的交通指示灯和路牌进行实时检测,提高了检测精度,提高了行人路牌检测速度和效率。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种行人路牌检测方法,其特征在于,所述行人路牌检测方法包括:
获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;
将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;
将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
2.如权利要求1所述的行人路牌检测方法,其特征在于,所述获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据,包括:
获取待测地点的网络公开数据集和实时检测数据集;
将所述网络公开数据集中的标签数据格式转换为YOLO网络所需的数据格式,将数据格式转换后的网络公开数据集中的数据和所述实时检测数据集中的数据作为待测数据。
3.如权利要求1所述的行人路牌检测方法,其特征在于,所述将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型,包括:
获取预设划分比例,根据所述预设划分比例将所述待测数据进行划分,获得训练集和测试集;
获取基于MG-YOLO网络结构的检测网络中的图像尺寸和通道数;
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型。
4.如权利要求3所述的行人路牌检测方法,其特征在于,所述将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数进行网络模型训练,获得训练后的网络模型,包括:
将所述训练集输入到所述检测网络中,根据所述图像尺寸和所述通道数确定所述检测网络的卷积模块中标准卷积计算量和分组卷积计算量;
根据所述标准卷积计算量和所述分组卷积计算量确定标准卷积和深度可分离卷积的参数量之比;
根据所述参数量之比对所述训练集进行网络模型训练,获得训练后符合所述参数量之比的网络模型。
7.如权利要求1所述的行人路牌检测方法,其特征在于,所述将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测,包括:
将所述训练后的网络模型进行收敛拟合,获得目标网络模型;
将所述测试集输入至所述目标网络模型中进行测试,获得测试结果;
在所述测试结果为网络测试精度大于预设精度阈值时,判定测试通过,将测试通过的所述目标网络模型部署至车载控制***中,并通过所述车载控制***对行人和路牌进行实时检测。
8.一种行人路牌检测装置,其特征在于,所述行人路牌检测装置包括:
数据清洗模块,用于获取待测地点的数据集,对所述数据集进行数据清洗,获得待测数据;
训练模块,用于将所述待测数据进行划分,获得训练集和测试集,将所述训练集输入到基于MG-YOLO网络结构的检测网络中进行网络模型训练,获得训练后的网络模型;
检测模块,用于将所述训练后的网络模型进行收敛拟合,获得目标网络模型,将所述测试集输入至所述目标网络模型中进行测试,并根据测试通过的目标网络模型对行人和路牌进行实时检测。
9.一种行人路牌检测设备,其特征在于,所述行人路牌检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行人路牌检测程序,所述行人路牌检测程序配置为实现如权利要求1至7中任一项所述的行人路牌检测方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有行人路牌检测程序,所述行人路牌检测程序被处理器执行时实现如权利要求1至7中任一项所述的行人路牌检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310587392.5A CN116343175A (zh) | 2023-05-24 | 2023-05-24 | 行人路牌检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310587392.5A CN116343175A (zh) | 2023-05-24 | 2023-05-24 | 行人路牌检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116343175A true CN116343175A (zh) | 2023-06-27 |
Family
ID=86882706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310587392.5A Pending CN116343175A (zh) | 2023-05-24 | 2023-05-24 | 行人路牌检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116343175A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111209921A (zh) * | 2020-01-07 | 2020-05-29 | 南京邮电大学 | 基于改进的YOLOv3网络的车牌检测模型及构建方法 |
CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
CN113139615A (zh) * | 2021-05-08 | 2021-07-20 | 北京联合大学 | 一种基于嵌入式设备的无人驾驶环境目标检测方法 |
-
2023
- 2023-05-24 CN CN202310587392.5A patent/CN116343175A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111209921A (zh) * | 2020-01-07 | 2020-05-29 | 南京邮电大学 | 基于改进的YOLOv3网络的车牌检测模型及构建方法 |
CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
CN113139615A (zh) * | 2021-05-08 | 2021-07-20 | 北京联合大学 | 一种基于嵌入式设备的无人驾驶环境目标检测方法 |
Non-Patent Citations (2)
Title |
---|
江金洪等: "基于YOLO v3算法改进的交通标志识别算法", 《计算机应用》, vol. 40, no. 8, pages 2472 - 2478 * |
黄泷: "基于轻量化卷积神经网络的交通标志检测技术研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 1, pages 13 - 15 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shen et al. | Development of a typical driving cycle for an intra-city hybrid electric bus with a fixed route | |
CN111027430B (zh) | 一种面向无人车智能评估的交通场景复杂度计算方法 | |
CN110395245B (zh) | 一种基于固定路线驾驶信息的混动汽车能量管理*** | |
KR101014125B1 (ko) | 지능형 자동차를 위한 교통 표지판 검출 방법 및 상기 방법을 실행하는 시스템 | |
CN112528477A (zh) | 道路场景仿真方法、设备、存储介质及装置 | |
CN105957348A (zh) | 一种基于gis和pems的城市公交线路节点处排放估算方法 | |
CN109242038A (zh) | 一种用于标签不足情况的机器人地形分类器训练方法 | |
CN112629874A (zh) | 一种智能网联汽车交通标志感知能力测试装置 | |
CN112990065A (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN106886757A (zh) | 一种基于先验概率图的多类交通灯检测方法及*** | |
CN110763483A (zh) | 一种安全等级测试场景库的自动生成方法及装置 | |
CN114896325A (zh) | 一种用于预期功能安全的场景测试评价方法与*** | |
CN114572230A (zh) | 车辆节能方法、装置、车辆设备及存储介质 | |
WO2021126170A1 (en) | Providing additional instructions for difficult maneuvers during navigation | |
CN112800549B (zh) | 基于水平车速和垂直车速的汽车路谱合成方法及*** | |
CN116343175A (zh) | 行人路牌检测方法、装置、设备及存储介质 | |
CN113744541A (zh) | 对抗图卷积网络的路网排放缺失时空分布重构方法及*** | |
CN117746385A (zh) | 基于改进YOLOv8n的轻量化车辆行人检测方法 | |
CN109753999B (zh) | 针对任意视角汽车图片的细粒度车型识别方法 | |
CN115062204A (zh) | 一种基于车载导航的内容推送的处理方法及处理装置 | |
CN115512324A (zh) | 一种基于边缘对称填充和大感受野的路面病害检测方法 | |
CN103134515B (zh) | 模拟导航方法与装置 | |
CN113077630B (zh) | 基于深度学习的红绿灯检测方法、装置、设备及存储介质 | |
CN113570870A (zh) | 分布式路口平均延误估计方法、装置、设备及存储介质 | |
CN113947774A (zh) | 一种轻量级的车辆目标检测*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230627 |