CN113963350A - 车辆识别检测方法、***、计算机设备、存储介质及终端 - Google Patents
车辆识别检测方法、***、计算机设备、存储介质及终端 Download PDFInfo
- Publication number
- CN113963350A CN113963350A CN202111316525.2A CN202111316525A CN113963350A CN 113963350 A CN113963350 A CN 113963350A CN 202111316525 A CN202111316525 A CN 202111316525A CN 113963350 A CN113963350 A CN 113963350A
- Authority
- CN
- China
- Prior art keywords
- ghost
- module
- ghostnet
- layer
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000009432 framing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004904 shortening Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于车辆信息检测技术领域，公开了一种车辆识别检测方法、***、计算机设备、存储介质及终端，所述车辆识别检测方法包括：采集实际交通环境下的样本数据；对训练集样本图像进行预处理；构建GhostNet的基本模块，GhostModule；构建GhostNet的基本结构，GhostBottleneck；构建用于车辆识别的GhostNet网络整体架构；训练GhostNet网络结构；将训练好的网络搭载在车载***中；对摄像头输入的车辆进行分类识别。本发明通过尽量少占用车载计算资源，训练时间尽量短的方法，来训练出一种能有效识别车辆目标的神经网络，有效的节省了车载***的计算资源，提高了车辆识别网络的鲁棒性。
Description
技术领域
本发明属于车辆信息检测技术领域，尤其涉及一种车辆识别检测方法、***、计算机设备、存储介质及终端。
背景技术
目前，随着经济、技术的发展，人们的生活质量逐渐提高，私家车的数量越来越多。但是道路上的交通违章、违规等现象越来越多，每年发生的伪造车牌、肇事逃逸、车辆违章、车辆偷盗、等事件也越来越多。为适应我国现代化智能交通建设的需要，对道路上行驶车辆的规范，加强人们安全驾驶的观念，因此对车辆识别技术的研究非常重要。
宁俊等作者在其发表的论文《基于改进的Faster R-CNN的车辆类型识别算法》中提出了一种基于改进Faster R-CNN(region-convolution neural networks)的车辆识别算法，用于处理不同类别车辆的识别问题，该方法使用空洞卷积来提高感受野，结合空洞空间金字塔池化技术来增强多尺度信息的获取，以此来增强网络对外形相似车辆之间差异的敏感性，提升算法的准确率。但是该方法在提升车辆目标识别准确率的同时，并没有将计算复杂度考虑在改进的范围内，反而为了提升车辆识别的准确率，大大增加了Faster R-CNN方法目标识别的计算复杂度，占用了更多的车载计算资源。
欧华杰等作者在其发表的论文《基于卷积神经网络的车辆识别技术研究》一文中提出了一种利用卷积神经网络进行车辆识别的技术，通过设置模型的超参数，构建卷积神经网络的车辆识别模型多层结构，在输入原始图像数据之后，通过对车辆信息数据分类，提取车辆特征信息，完成车辆识别。该方法在设计网络结构时使用了五个卷积层模块，并在卷积层后面跟了若干个全连接层，加深了网络的层数，提高了识别准确率，但是这种方案来训练一个神经网络所消耗的计算资源会非常大，训练所需要的时间也会非常多。因此，亟需一种新的车辆识别检测方法、***，以弥补现有车辆识别技术的缺陷。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有车辆识别技术在提升车辆目标识别准确率的同时，并没有将计算复杂度考虑在改进的范围内，反而为了提升车辆识别的准确率，大大增加了Faster R-CNN方法目标识别的计算复杂度，占用了更多的车载计算资源。
(2)现有车辆识别技术训练一个神经网络所消耗的计算资源会非常大，训练所需要的时间也会非常多。
解决以上问题及缺陷的难度为：车辆识别***中涉及神经网络目标识别的模块基本存在参数数量较多，计算较复杂的问题，而且现有工程实践中采用的YOLO系列算法的高纬度抽象特征均存在特征挖掘困难，且特征使用不充分的问题。很多方法会在提升识别准确度的过程中提高计算复杂度，提高了***的能源消耗。
解决以上问题及缺陷的意义为：针对车辆识别***中的神经网络目标检测提取模块是核心算法。如果能提出一种准确率不下降的快速识别方法，可以将整个***的部署和使用成本大大降低，有助于车辆识别***的进一步推广。
发明内容
针对现有车辆识别技术存在的问题，本发明提供了一种车辆识别检测方法、***、计算机设备、存储介质及终端，尤其涉及一种基于GhostNet的轻量级深度学习网络的车辆识别检测方法、***、计算机设备、存储介质及终端，旨在解决现有车辆识别检测***利用车载计算资源的问题。
本发明是这样实现的，一种车辆识别检测方法，所述车辆识别检测方法包括以下步骤：
步骤一，采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；
本步骤作为***算法的预备步骤，需要采集普适性强，范围广的图片数据集。图片数据集用于神经网络的训练工作，训练集质量的高低决定了所设计神经网络识别率的高低。
步骤二，对训练集样本图像进行预处理，即数据增强，包括对样本图像进行随机放缩、对曝光度和饱和度的调整，使处理后的图像作为训练模型的输入；
本步骤作为步骤一的补充步骤，由于人工采集的图片数据集有限，为了进一步增加网络的识别准确率，保证网络识别过程中的平移、旋转、缩放不变性。
步骤三，构建GhostNet的基本模块GhostModule；
GhostNet作为本发明中车辆识别算分的核心神经网络，其是由GhostModule组成，GhostModule通过线性操作生成特征图Ghost Feature Maps，可以保证该模块的即插即用，无缝衔接到各种主流的神经网络框架中。
步骤四，构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
Ghost Bottleneck是由GhostNet构建的一个最小GhostNet单元，结构与RetNet类似，但是在输出时不需要经过ReLU激活函数。
步骤五，构建用于车辆识别的GhostNet网络整体架构；
本步骤需要设计整体的GhostNet网络架构，可以采用YOLO、mobilenet-V2等框架。
步骤六，训练GhostNet网络结构：利用步骤二得到的数据对步骤五设计好的网络结构进行训练；
神经网络都需要经过充分的训练，需要通过适当周期的训练，保证神经网络不会过拟合也不会欠拟合。
步骤七，将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
进一步，步骤一中，所述采集实际交通环境下的样本数据，包括：
(1)拍摄实时道路交通环境下的车辆信息，将拍摄的视频分帧提取成为图像格式，拍摄的汽车图像的车型包括微型轿车、小型轿车、中型轿车、大型轿车、SUV、MPV、面包车、中巴车、公共汽车、拖挂货车、油罐车、洒水车以及吊车；
(2)同时准备真实交通环境下非车辆的因素图像，包括不同年龄段性别的行人图像、自行车、电动车、三轮车、手推车以及独轮车图片。
进一步，步骤三中，所述构建GhostNet的基本模块GhostModule，包括：
(1)通过常规卷积得到本征特征图Yw'*h'*m'，该部分的运算量等于h*w*c*m*w'*h'，输出为：
Y'＝X*f'；
(2)通过得到的本征特征图Y'每一个通道的特征图y'，用Φi,j操作产生Ghost特征图yij：
其中，Φi,j运算均是Depthwise卷积。
(3)将步骤(1)得到的本征特征图和步骤(2)得到的Ghost特征图拼接得到GhostModule。
进一步，步骤四中，所述构建GhostNet的基本结构GhostBottleneck，包括：
(1)构建stride为1的GhostBottleneck，该结构为两个GhostModule串联组成，且第一个GhostModule用于扩大通道数，第二个GhostModule将通道数降低到与输入通道数一致，同时补充一个从输入到输出的跳跃链接；
(2)构建stride为2的GhostBottleneck，该结构为GhostModule，Deepwise卷积，GhostModule三个模块串联而成，并补充一个从输入到输出的跳跃链接。
进一步，步骤五中，所述GhostNet网络所设置的网络各层参数如下：
(1)第一层为普通的卷积层，输入参数维度为224×224×3，步长为2，输出通道数为16，卷积核大小为3×3；
(2)第二层为stride为1的GhostBottleneck层，输入参数维度为112×112×16，第一个GhostModule的输出通道数为16，第二个GhostModule的输出通道数为16；
(3)第三层为stride为2的Ghost Bottleneck层，输入参数维度为112×112×16，第一个Ghost Module的输出通道数为48，第二个Ghost Module的输出通道数为24；
(4)第四层为stride为1的Ghost Bottleneck层，输入参数维度为56×56×24，第一个Ghost Module的输出通道数为72，第二个Ghost Module的输出通道数为24；
(5)第五层为stride为2的Ghost Bottleneck层，输入参数维度为56×56×24，第一个Ghost Module的输出通道数为72，第二个Ghost Module的输出通道数为40；
(6)第六层为stride为1的Ghost Bottleneck层，输入参数维度为28×28×40，第一个Ghost Module的输出通道数为120，第二个Ghost Module的输出通道数为40；
(7)第七层为stride为2的Ghost Bottleneck层，输入参数维度为28×28×40，第一个Ghost Module的输出通道数为240，第二个Ghost Module的输出通道数为80；
(8)第八层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为200，第二个Ghost Module的输出通道数为80；
(9)第九层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为184，第二个Ghost Module的输出通道数为80；
(10)第十层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为184，第二个Ghost Module的输出通道数为80；
(11)第十一层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为480，第二个Ghost Module的输出通道数为112；
(12)第十二层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×112，第一个Ghost Module的输出通道数为672，第二个Ghost Module的输出通道数为112；
(13)第十三层为stride为2的Ghost Bottleneck层，输入参数维度为14×14×112，第一个Ghost Module的输出通道数为672，第二个Ghost Module的输出通道数为160；
(14)第十四，十五，十六，十七层为stride为1的Ghost Bottleneck层，输入参数维度为7×7×160，第一个Ghost Module的输出通道数为960，第二个Ghost Module的输出通道数为160；
(15)第十八层为普通的卷积神经网络，输出通道数为960；
(16)第十九层为全局平均池化层；
(17)第二十层为逐点卷积层，输出维度为1280。
进一步，步骤六中，所述训练GhostNet网络结构，包括：
将训练集中的每一张图片分别输入到网络中，输出图片的分类，利用交叉熵函数，计算每个预测结果和真实结果的损失值；采用随机梯度下降算法，最小化所有图片集中对应的标签的总损失值，得到训练好的神经网络。
本发明的另一目的在于提供一种应用所述的车辆识别检测方法的车辆识别检测***，所述车辆识别检测***包括：
样本数据采集模块，用于采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；
数据预处理模块，用于对训练集样本图像进行预处理，即数据增强；
基本模块构建模块，用于构建GhostNet的基本模块Ghost Module；
基本结构构建模块，用于构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
GhostNet网络构建模块，用于构建用于车辆识别的GhostNet网络整体架构；
网络训练模块，用于利用数据预处理模块得到的数据对GhostNet网络构建模块设计好的GhostNet网络结构进行训练；
车辆识别模块，用于将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；对训练集样本图像进行预处理，所述预处理为数据增强；构建GhostNet的基本模块Ghost Module；构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
构建用于车辆识别的GhostNet网络整体架构；训练GhostNet网络结构：利用得到的数据对设计好的网络结构进行训练；将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；对训练集样本图像进行预处理，所述预处理为数据增强；构建GhostNet的基本模块Ghost Module；构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
构建用于车辆识别的GhostNet网络整体架构；训练GhostNet网络结构：利用得到的数据对设计好的网络结构进行训练；将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的车辆识别检测***。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的车辆识别检测方法，具体涉及一种车辆分类识别方向中关于行车过程中目标车辆的检测方法，通过尽量少占用车载计算资源，训练时间尽量短的方法，来训练出一种能有效识别车辆目标的神经网络，有效的节省了车载***的计算资源，提高了车辆识别网络的鲁棒性，可用于智能车载***中的智能驾驶***。
与现有的疲劳驾驶检测方法相比，本发明方法还具有以下特点：
(1)本发明在针对车辆识别的网络结构设计中，首先设计了Ghost Module，接着设计了stride为1和stride为2的Ghost Bottleneck结构，最后按照一定的输入和输出通道转换数量，搭建了一个完整的GhostNet结构。相较于普通的卷积神经网络，Ghost Module有效的降低了卷积网络的参数计算量，同时规避了冗余特征图的计算，而且在分类网络中没有采用全连接层，避免了全连接层过多的参数问题，节省了车载***的计算资源。
(2)本发明在针对数据集的采集中，初始化时采集了较多种类的汽车，同时针对在交通实际情况中可能遇到更多的物体，也都进行了采集，然后对各种照片进行了图像增强处理。相较于其他的方法，提高了图片的丰富度，可以在训练分类网络的同时增加网络的鲁棒性，提高在应用本方案设计的网络的普适性。
本发明利用GhostNet可以实现成本较低的特征提取，经过实验证明GhostBottleneck的卷积结果，具有高质量、高效率的特点。该模块可以直接替换目前普遍使用VGG-16的车辆识别***，可以进行更快地检测，准确率更高的车辆识别。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车辆识别检测方法流程图。
图2是本发明实施例提供的车辆识别检测方法原理图。
图3是本发明实施例提供的车辆识别检测***结构框图；
图中：1、样本数据采集模块；2、数据预处理模块；3、基本模块构建模块；4、基本结构构建模块；5、GhostNet网络构建模块；6、网络训练模块；7、车辆识别模块。
图4是本发明实施例提供的Ghost Bottleneck的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种车辆识别检测方法、***、计算机设备、存储介质及终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的车辆识别检测方法包括以下步骤：
S101，采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；
S102，对训练集样本图像进行预处理，包括对样本图像进行随机放缩、对曝光度和饱和度的调整，使处理后的图像作为训练模型的输入；
S103，构建GhostNet的基本模块Ghost Module；
S104，构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
S105，构建用于车辆识别的GhostNet网络整体架构；
S106，训练GhostNet网络结构：利用S102得到的数据对S105设计好的网络结构进行训练；
S107，将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
本发明实施例提供的车辆识别检测方法原理图如图2所示。
如图3所示，本发明实施例提供的车辆识别检测***包括：
样本数据采集模块1，用于采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；
数据预处理模块2，用于对训练集样本图像进行预处理，即数据增强；
基本模块构建模块3，用于构建GhostNet的基本模块Ghost Module；
基本结构构建模块4，用于构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
GhostNet网络构建模块5，用于构建用于车辆识别的GhostNet网络整体架构；
网络训练模块6，用于利用数据预处理模块得到的数据对GhostNet网络构建模块设计好的GhostNet网络结构进行训练；
车辆识别模块7，用于将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
下面结合具体实施例对本发明的技术方案作进一步描述。
参照附图1～4，本发明实施例提供的车辆识别检测方法具体步骤如下：
步骤1，采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；
本实施例中通过在一天的7:00～8:00,11:30～13:00,17:30～19:00,21:00～22:00，这些时间段在不同的露天停车场对各个型号的车进行拍照。
(1a)拍摄实时道路交通环境下的车辆信息，将拍摄的视频分帧提取成为图像格式，拍摄的汽车图像要包括尽量多的车型，比如微型轿车，小型轿车，中型轿车，大型轿车，SUV，MPV，面包车，中巴车，公共汽车，拖挂货车，油罐车，洒水车，吊车等；
(1b)同时准备真实交通环境下非车辆的因素图像，包括不同年龄段性别的行人图像，自行车，电动车，三轮车，手推车，独轮车等图片。
步骤2，对训练集样本图像进行预处理，即数据增强，包括对样本图像进行随机放缩、对曝光度和饱和度的调整，使处理后的图像作为训练模型的输入；
本实施例中利用步骤一采集的数据作为原始数据，利用SMOTE方法，结合imgaug等颜色变换库实现对训练集样本的增强。
步骤3，构建GhostNet的基本模块，GhostModule；
(3a)通过常规卷积得到本征特征图Yw'*h'*m'，这部分的运算量约等于h*w*c*m*w'*h'，输出为：
Y'＝X*f'，
(3b)通过得到的本征特征图Y'每一个通道的特征图y'，用Φi,j操作产生Ghost特征图yij：
其中Φi,j运算均是Depthwise卷积。
(3c)最后将第一步得到的本征特征图和第二步得到的Ghost特征图拼接得到GhostModule。
步骤4，构建GhostNet的基本结构，Ghost Bottleneck，作为车辆识别网络的基本单元；
本实施例中的GhostNet使用了基于Python语言的Pytorch机器学习框架库，参考huawei-hoah/CV-Backbones库进行了网络结构的搭建。
(4a)构建stride为1的Ghost Bottleneck，该结构为两个Ghost Module串联组成，且第一个Ghost Module用于扩大通道数，第二个GhostModule将通道数降低到与输入通道数一致，同时补充一个从输入到输出的跳跃链接。
(4b)构建stride为2的Ghost Bottleneck，该结构为Ghost Module，Deepwise卷积，Ghost Module三个模块串联而成，同时补充一个从输入到输出的跳跃链接。
步骤5，构建用于车辆识别的GhostNet网络整体架构，所设置的网络各层参数如下：
(5a)第一层为普通的卷积层，输入参数维度为224×224×3，步长为2，输出通道数为16，卷积核大小为3×3；
(5b)第二层为stride为1的Ghost Bottleneck层，输入参数维度为112×112×16，第一个GhostModule的输出通道数为16，第二个Ghost Module的输出通道数为16；
(5c)第三层为stride为2的Ghost Bottleneck层，输入参数维度为112×112×16，第一个GhostModule的输出通道数为48，第二个Ghost Module的输出通道数为24；
(5d)第四层为stride为1的GhostBottleneck层，输入参数维度为56×56×24，第一个GhostModule的输出通道数为72，第二个Ghost Module的输出通道数为24；
(5e)第五层为stride为2的Ghost Bottleneck层，输入参数维度为56×56×24，第一个GhostModule的输出通道数为72，第二个Ghost Module的输出通道数为40；
(5f)第六层为stride为1的GhostBottleneck层，输入参数维度为28×28×40，第一个Ghost Module的输出通道数为120，第二个Ghost Module的输出通道数为40；
(5g)第七层为stride为2的GhostBottleneck层，输入参数维度为28×28×40，第一个Ghost Module的输出通道数为240，第二个Ghost Module的输出通道数为80；
(5h)第八层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为200，第二个Ghost Module的输出通道数为80；
(5i)第九层为stride为1的GhostBottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为184，第二个Ghost Module的输出通道数为80；
(5j)第十层为stride为1的GhostBottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为184，第二个Ghost Module的输出通道数为80；
(5k)第十一层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为480，第二个Ghost Module的输出通道数为112；
(5l)第十二层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×112，第一个GhostModule的输出通道数为672，第二个GhostModule的输出通道数为112；
(5m)第十三层为stride为2的Ghost Bottleneck层，输入参数维度为14×14×112，第一个GhostModule的输出通道数为672，第二个GhostModule的输出通道数为160；
(5n)第十四，十五，十六，十七层为stride为1的GhostBottleneck层，输入参数维度为7×7×160，第一个GhostModule的输出通道数为960，第二个Ghost Module的输出通道数为160；
(5o)第十八层为普通的卷积神经网络，输出通道数为960；
(5p)第十九层为全局平均池化层；
(5q)第二十层为逐点卷积层，输出维度为1280。
GhostNet网络整体架构见表1。
表1 GhostNet网络整体架构
步骤6，利用步骤(2)得到的数据对步骤(5)设计好的网络结构进行训练；
将训练集中的每一张图片分别输入到网络中，输出图片的分类，利用交叉熵函数，计算每个预测结果和真实结果的损失值，采用随机梯度下降算法，最小化所有图片集中对应的标签的总损失值，得到训练好的神经网络。
本实施例中设置了训练周期为200，每次训练的数据集为100张图片，利用了Adam梯度下降算法，利用均方误差作为损失函数，训练得到车辆识别算法那所需要的网络。
步骤7，将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到输出的结果为识别出的车辆的分类结果。
下面结合试验对本发明的技术效果作详细的描述。
本算法使用CPU为Intel(R)Xeon(R)[email protected]，内存为金士顿32GB，显卡为NViDIA GeForce RTX 2060进行试验。
将本网络和普通VGG-16、Restnet-56进行对比，得到Restnet-56用到的Weights为0.85M，经过Ghostnet优化后的Weights为0.44M，VGG-16的Weight为14.7M，经过Ghostnet优化后的Weights为7.4M。可以看到经过Ghostnet优化后的网络权重将近只有之前的一半。
经过测试集的计算，可以发现VGG-16、Restnet-56的网络准确率基本保持在93.6％左右，经过Ghost优化后的准确率保持在93％左右。
所以经过实验，可以认为基于GhostNet的车辆识别检测算法的速度、复杂度优于VGG-16、Restnet-56等网络，而且还能保持一个较高的准确率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种车辆识别检测方法，其特征在于，所述车辆识别检测方法包括以下步骤：
步骤一，采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；
步骤二，对训练集样本图像进行预处理，即数据增强，包括对样本图像进行随机放缩、对曝光度和饱和度的调整，使处理后的图像作为训练模型的输入；
步骤三，构建GhostNet的基本模块Ghost Module；
步骤四，构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
步骤五，构建用于车辆识别的GhostNet网络整体架构；
步骤六，训练GhostNet网络结构：利用步骤二得到的数据对步骤五设计好的网络结构进行训练；
步骤七，将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
2.如权利要求1所述的车辆识别检测方法，其特征在于，步骤一中，所述采集实际交通环境下的样本数据，包括：
(1)拍摄实时道路交通环境下的车辆信息，将拍摄的视频分帧提取成为图像格式，拍摄的汽车图像的车型包括微型轿车、小型轿车、中型轿车、大型轿车、SUV、MPV、面包车、中巴车、公共汽车、拖挂货车、油罐车、洒水车以及吊车；
(2)同时准备真实交通环境下非车辆的因素图像，包括不同年龄段性别的行人图像、自行车、电动车、三轮车、手推车以及独轮车图片。
3.如权利要求1所述的车辆识别检测方法，其特征在于，步骤三中，所述构建GhostNet的基本模块Ghost Module，包括：
(1)通过常规卷积得到本征特征图Yw'*h'*m'，该部分的运算量等于h*w*c*m*w'*h'，输出为：
Y'＝X*f'；
(2)通过得到的本征特征图Y'每一个通道的特征图y'，用Φi,j操作产生Ghost特征图yij：
其中，Φi,j运算均是Depthwise卷积；
(3)将步骤(1)得到的本征特征图和步骤(2)得到的Ghost特征图拼接得到GhostModule。
4.如权利要求1所述的车辆识别检测方法，其特征在于，步骤四中，所述构建GhostNet的基本结构Ghost Bottleneck，包括：
(1)构建stride为1的Ghost Bottleneck，该结构为两个Ghost Module串联组成，且第一个Ghost Module用于扩大通道数，第二个Ghost Module将通道数降低到与输入通道数一致，同时补充一个从输入到输出的跳跃链接；
(2)构建stride为2的Ghost Bottleneck，该结构为Ghost Module，Deepwise卷积，Ghost Module三个模块串联而成，并补充一个从输入到输出的跳跃链接。
5.如权利要求1所述的车辆识别检测方法，其特征在于，步骤五中，所述GhostNet网络所设置的网络各层参数如下：
(1)第一层为普通的卷积层，输入参数维度为224×224×3，步长为2，输出通道数为16，卷积核大小为3×3；
(2)第二层为stride为1的Ghost Bottleneck层，输入参数维度为112×112×16，第一个Ghost Module的输出通道数为16，第二个Ghost Module的输出通道数为16；
(3)第三层为stride为2的Ghost Bottleneck层，输入参数维度为112×112×16，第一个Ghost Module的输出通道数为48，第二个Ghost Module的输出通道数为24；
(4)第四层为stride为1的Ghost Bottleneck层，输入参数维度为56×56×24，第一个Ghost Module的输出通道数为72，第二个Ghost Module的输出通道数为24；
(5)第五层为stride为2的Ghost Bottleneck层，输入参数维度为56×56×24，第一个Ghost Module的输出通道数为72，第二个Ghost Module的输出通道数为40；
(6)第六层为stride为1的Ghost Bottleneck层，输入参数维度为28×28×40，第一个Ghost Module的输出通道数为120，第二个Ghost Module的输出通道数为40；
(7)第七层为stride为2的Ghost Bottleneck层，输入参数维度为28×28×40，第一个Ghost Module的输出通道数为240，第二个Ghost Module的输出通道数为80；
(8)第八层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为200，第二个Ghost Module的输出通道数为80；
(9)第九层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为184，第二个Ghost Module的输出通道数为80；
(10)第十层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为184，第二个Ghost Module的输出通道数为80；
(11)第十一层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×80，第一个Ghost Module的输出通道数为480，第二个Ghost Module的输出通道数为112；
(12)第十二层为stride为1的Ghost Bottleneck层，输入参数维度为14×14×112，第一个Ghost Module的输出通道数为672，第二个Ghost Module的输出通道数为112；
(13)第十三层为stride为2的Ghost Bottleneck层，输入参数维度为14×14×112，第一个Ghost Module的输出通道数为672，第二个Ghost Module的输出通道数为160；
(14)第十四，十五，十六，十七层为stride为1的Ghost Bottleneck层，输入参数维度为7×7×160，第一个Ghost Module的输出通道数为960，第二个Ghost Module的输出通道数为160；
(15)第十八层为普通的卷积神经网络，输出通道数为960；
(16)第十九层为全局平均池化层；
(17)第二十层为逐点卷积层，输出维度为1280。
6.如权利要求1所述的车辆识别检测方法，其特征在于，步骤六中，所述训练GhostNet网络结构，包括：将训练集中的每一张图片分别输入到网络中，输出图片的分类，利用交叉熵函数，计算每个预测结果和真实结果的损失值；采用随机梯度下降算法，最小化所有图片集中对应的标签的总损失值，得到训练好的神经网络。
7.一种实施权利要求1～6任意一项所述的车辆识别检测方法的车辆识别检测***，其特征在于，所述车辆识别检测***包括：
样本数据采集模块，用于采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；
数据预处理模块，用于对训练集样本图像进行预处理，即数据增强；
基本模块构建模块，用于构建GhostNet的基本模块Ghost Module；
基本结构构建模块，用于构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
GhostNet网络构建模块，用于构建用于车辆识别的GhostNet网络整体架构；
网络训练模块，用于利用数据预处理模块得到的数据对GhostNet网络构建模块设计好的GhostNet网络结构进行训练；
车辆识别模块，用于将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；对训练集样本图像进行预处理，所述预处理为数据增强；构建GhostNet的基本模块Ghost Module；构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
构建用于车辆识别的GhostNet网络整体架构；训练GhostNet网络结构：利用得到的数据对设计好的网络结构进行训练；将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
采集实际交通环境下的样本数据，将样本数据以7：3的比例分为训练集和测试集的样本图像；对训练集样本图像进行预处理，所述预处理为数据增强；构建GhostNet的基本模块Ghost Module；构建GhostNet的基本结构Ghost Bottleneck，作为车辆识别网络的基本单元；
构建用于车辆识别的GhostNet网络整体架构；训练GhostNet网络结构：利用得到的数据对设计好的网络结构进行训练；将训练好的GhostNet作为车载的识别***的骨干网络，将摄像头捕捉到的图片输入GhostNet中，得到的输出结果为识别出的车辆的分类结果。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述的车辆识别检测***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111316525.2A CN113963350A (zh) | 2021-11-08 | 2021-11-08 | 车辆识别检测方法、***、计算机设备、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111316525.2A CN113963350A (zh) | 2021-11-08 | 2021-11-08 | 车辆识别检测方法、***、计算机设备、存储介质及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113963350A true CN113963350A (zh) | 2022-01-21 |
Family
ID=79469585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111316525.2A Pending CN113963350A (zh) | 2021-11-08 | 2021-11-08 | 车辆识别检测方法、***、计算机设备、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963350A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155495A (zh) * | 2022-02-10 | 2022-03-08 | 西南交通大学 | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738300A (zh) * | 2020-05-27 | 2020-10-02 | 复旦大学 | 一种交通标志及信号灯检测和识别的优化算法 |
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN112818847A (zh) * | 2021-01-29 | 2021-05-18 | 上海眼控科技股份有限公司 | 车辆检测方法、装置、计算机设备和存储介质 |
| CN113011365A (zh) * | 2021-03-31 | 2021-06-22 | 中国科学院光电技术研究所 | 一种结合轻量化网络的目标检测方法 |
-
2021
- 2021-11-08 CN CN202111316525.2A patent/CN113963350A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738300A (zh) * | 2020-05-27 | 2020-10-02 | 复旦大学 | 一种交通标志及信号灯检测和识别的优化算法 |
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN112818847A (zh) * | 2021-01-29 | 2021-05-18 | 上海眼控科技股份有限公司 | 车辆检测方法、装置、计算机设备和存储介质 |
| CN113011365A (zh) * | 2021-03-31 | 2021-06-22 | 中国科学院光电技术研究所 | 一种结合轻量化网络的目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| KAI HAN 等: "GhostNet: More Features from Cheap Operations", 《ARXIV》, 13 March 2020 (2020-03-13), pages 1 - 10 * |
| 杨玉艳: "1.基于改进YOLOv3算法的车辆目标实时检测", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 09, 15 September 2021 (2021-09-15), pages 035 - 101 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155495A (zh) * | 2022-02-10 | 2022-03-08 | 西南交通大学 | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 |
| CN114155495B (zh) * | 2022-02-10 | 2022-05-06 | 西南交通大学 | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| Zhan et al. | An improved Yolov5 real-time detection method for small objects captured by UAV | |
| CN111401148A (zh) | 一种基于改进的多级YOLOv3的道路多目标检测方法 | |
| CN109993138A (zh) | 一种车牌检测与识别方法及装置 | |
| CN104463241A (zh) | 一种智能交通监控***中的车辆类型识别方法 | |
| CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| CN112289037B (zh) | 基于复杂环境下高视角的机动车辆违规停车检测方法及*** | |
| CN109948643A (zh) | 一种基于深层网络融合模型的车辆类型分类方法 | |
| CN110516691A (zh) | 一种车辆尾气检测方法和装置 | |
| CN114782949B (zh) | 一种边界引导上下文聚合的交通场景语义分割方法 | |
| CN113963350A (zh) | 车辆识别检测方法、***、计算机设备、存储介质及终端 | |
| CN116824543A (zh) | 一种基于od-yolo的自动驾驶目标检测方法 | |
| CN114639067A (zh) | 一种基于注意力机制的多尺度全场景监控目标检测方法 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN113505640A (zh) | 一种基于多尺度特征融合的小尺度行人检测方法 | |
| CN114092902A (zh) | 电动自行车违规行为的检测方法及装置 | |
| CN110555425A (zh) | 一种视频流实时行人检测方法 | |
| CN112016534B (zh) | 车辆违停检测的神经网络的训练方法、检测方法和装置 | |
| Tan et al. | UAV image object recognition method based on small sample learning | |
| CN112733934B (zh) | 复杂环境下的多模态特征融合道路场景语义分割方法 | |
| CN115171059A (zh) | 基于改进YOLOv5网络模型的车辆感知方法 | |
| Hamzah et al. | Parking Violation Detection on The Roadside of Toll Roads with Intelligent Transportation System Using Faster R-CNN Algorithm | |
| SP et al. | DETR-SPP: a fine-tuned vehicle detection with transformer | |
| CN114627400A (zh) | 一种车道拥堵检测方法、装置、电子设备和存储介质 | |
| Prawinsankar et al. | Traffic Congession Detection through Modified Resnet50 and Prediction of Traffic using Clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |