CN113537138B - 一种基于轻量化神经网络的交通标志识别方法 - Google Patents

一种基于轻量化神经网络的交通标志识别方法 Download PDF

Info

Publication number
CN113537138B
CN113537138B CN202110881764.6A CN202110881764A CN113537138B CN 113537138 B CN113537138 B CN 113537138B CN 202110881764 A CN202110881764 A CN 202110881764A CN 113537138 B CN113537138 B CN 113537138B
Authority
CN
China
Prior art keywords
convolution
separable
layer
multiplied
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110881764.6A
Other languages
English (en)
Other versions
CN113537138A (zh
Inventor
魏宪
郭杰龙
杨晓迪
李�杰
俞辉
张剑锋
邵东恒
唐晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Publication of CN113537138A publication Critical patent/CN113537138A/zh
Application granted granted Critical
Publication of CN113537138B publication Critical patent/CN113537138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于轻量化神经网络的交通标志识别方法，通过构建轻量化神经网络模型进行训练、剪枝得到轻量化神经网络模型，所述轻量化神经网络模型包括卷积特征提取部分和分类器部分；卷积特征提取部分由1层传统3×3卷积和16层可分离非对称卷积组成，分类器部分由三层可分离全连接模块组成，该识别方法在保证识别准确率的同时降低了网络的参数规模和运算量，从而提升了神经网络模型在车载平台环境下部署的识别速度。

Description

一种基于轻量化神经网络的交通标志识别方法
技术领域
本发明涉及一种交通标志识别方法。
背景技术
图像识别作为计算机视觉领域比较成熟的应用，越来越受到社会各界的广泛关注，在学术领域，各种针对公开数据集的图像识别竞赛层出不穷，而基于此设计的各种卷积神经网络模型不断刷新了更好的性能。在工业领域，图像识别在人脸识别、交通标志识别、食品安全检测等很多方面都有应用。
由于卷积神经网络在图像识别取得的优越性能，目前有很多智能应用需要部署在小型移动或嵌入式终端设备上，而基于卷积神经网络的交通标志识别算法对计算平台的运算能力和存储空间要求较高，阻碍了算法在智能终端设备上的使用。因此，对基于卷积神经网络的交通标志识别算法进行轻量化处理，并对模型进行剪枝，能极大程度减小算法所需要的计算成本和存储要求，使算法能够在车载平台上快速、准确的运行，具有重要的实用价值。
发明内容
本发明的目的是针对现有技术的不足，提供一种在保证识别准确率的同时降低了网络的参数规模和运算量，从而提升了神经网络模型在车载平台环境下部署的识别速度。
本发明的目的通过如下技术方案来实现：
一种基于轻量化神经网络的交通标志识别方法，其特征在于：包括如下步骤：
步骤1，获取原始交通标志图像数据；
步骤2，数据预处理，对原始交通标志图像数据进行预处理，得到具有训练集和测试集的交通标志数据集；
步骤3，设置初始训练超参数，将交通标志数据集的训练集部分输入轻量化神经网络模型进行训练，并利用交通标志数据集的测试集部分对训练好的轻量化神经网络模型进行识别；
步骤4，查看模型在测试集上的识别精度是否达到90％以上理想，若未达到要求，则调整训练超参数，转步骤3，否则，转步骤5；
步骤5，对轻量化神经网络模型进行剪枝，设置初始剪枝率50％，然后在交通标志数据集的训练集上对剪枝后的轻量化神经网络模型进行再训练，并在交通标志数据集的测试集上对训练好的剪枝后的轻量化神经网络模型进行识别；
步骤6，查看训练好的剪枝后的轻量化神经网络模型的识别精度，若识别精度损失在1％以内，保存模型并继续以2％的步长增大剪枝率，转步骤5，若识别精度损失超过1％，则判断是否为第一次剪枝结果，如果为第一次剪枝结果，则以10％的步长减少剪枝率，返回步骤5；如果不为第一次剪枝结果，转步骤7；
步骤7，保存上一次剪枝后的轻量化神经网络模型；
步骤8，将上一次剪枝后的轻量化神经网络模型部署在车载***中，以对道路上的交通标志进行识别。
所述轻量化神经网络模型包括卷积特征提取部分和分类器部分；
所述卷积特征提取部分包括1层传统3×3卷积和16层可分离非对称卷积，所述可分离非对称卷积包括第一可分离非对称卷积和第二可分离非对称卷积；
所述分类器部分包括三层可分离全连接模块。
所述第一可分离非对称卷积首先对输入的每个通道进行特征可分离；其次对每一个通道分别进行一个步长为1，填充为0的1×3的卷积和3×1卷积，卷积之后均通过非线性Relu激活函数得到大小相同的两个单通道特征图；再分别对两个单通道的特征图进行对应元素求和，并依次对求和后的每个通道进行批归一化和经过Relu激活函数；然后对新形成的每个通道进行通道合并、通道混洗，最后对输出通道进行步长为1的1×1卷积，并设置卷积核的个数等于输入通道数；
所述第二可分离非对称卷积首先对输入的每个通道进行特征可分离；其次对每一个通道分别进行一个步长为1，填充为0的1×3的卷积和3×1卷积，卷积之后均通过非线性Relu激活函数得到大小相同的两个单通道特征图；再分别对两个单通道的特征图进行对应元素求和，并依次对求和后的每个通道进行批归一化和经过Relu激活函数；然后对新形成的每个通道进行通道合并、通道混洗，最后对输出通道进行步长为2的1×1卷积，完成特征图的下采样，并设置卷积核的个数等于输入通道数。
所述传统3×3卷积的结构为：输入通道数为3，输出通道数为64，卷积核尺寸为3×3、卷积核个数为64，步长为1，填充为0，通过传统3×3卷积后，得到长宽为64×64，通道为64特征图。
所述卷积特征提取部分第2-5层采用第一可分离非对称卷积，其中残差连接方式实线部分表示采用步长为1的1×1卷积，卷积核个数为64，通过第2-5层第一可分离非对称卷积后，得到长宽为64×64，通道为64特征图；
卷积特征提取部分第6层采用第二可分离非对称卷积，通过第6层第二可分离非对称卷积后，得到长宽为32×32，通道为64特征图；
卷积特征提取部分第7-11层采用第一可分离非对称卷积，其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64，残差连接方式实线部分采用步长为1的1×1卷积，卷积核个数为64，通过第7-11层第一可分离非对称卷积后，得到长宽为32×32，通道为64特征图；
卷积特征提取部分第12层采用第二可分离非对称卷积，通过第12层第二可分离非对称卷积后，得到长宽为16×16，通道为64特征图；
卷积特征提取部分第13-15层采用第一可分离非对称卷积，其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64；残差连接方式实线部分采用步长为1的1×1卷积，卷积核个数为64；通过第13-15层第一可分离非对称卷积后，得到长宽为16×16，通道为64特征图；
卷积特征提取部分第16层采用第二可分离非对称卷积；通过第16层第二可分离非对称卷积后，得到长宽为8×8，通道为64特征图；
卷积特征提取部分第17层采用第一可分离非对称卷积；其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64；通过第17层第一可分离非对称卷积后，得到长宽为8×8，通道为64特征图。
在可分离非对称卷积中的每次卷积操作后加BN层和激活层，激活层使用的激活函数均为Relu函数。
所述分类器部分第一层可分离全连接模块首先将上一层长宽为8×8，通道为64特征图进行维度转换为64×64的形状，之后分别初始化两个大小为A-1(64×64)、B-1(64×64)的权重矩阵，再用矩阵A-1与进行维度转换后的输入进行矩阵乘法，得到的结果再与矩阵B-1进行矩阵乘法，得到下一层大小为64×64的输出矩阵；
第二层可分离全连接模块首先分别初始化两个大小为A-2(64×64)、B-2(64×64)的权重矩阵，最后用矩阵A-2与上一层大小为64×64的输出矩阵进行矩阵乘法，得到的结果再与矩阵B-2进行矩阵乘法，得到下一层大小为64×64的输出矩阵；
第三层可分离全连接模块首先分别初始化两个大小为A-3(1×64)、B-3(64×64)的权重矩阵，然后用矩阵A-3与上一层大小为64×64的输出矩阵进行矩阵乘法，得到的结果再与矩阵B-3进行矩阵乘法，得到下一层大小为1×64的输出矩阵；最后经过Flatten操作后对输出矩阵展平，经过softmax激活函数用于交通标志64种类别的识别任务。
所述数据预处理包括确定交通标志图像数据的尺寸并选择合适的候选框，完成对原始交通标志图像数据的裁剪，统一设置裁剪后分辨率为64×64的彩色图像，对裁剪后的数据进行类别划分，利用数据增强方法对每种类别数据进行扩充，数据增强方法具体包括对图像进行轻微水平或垂直平移、调整图像饱和度和白化处理，使得各交通标志类别数量一致，之后对交通标志图像数据进行标记，再按照8:2的比例划分训练集和测试集，构建出交通标志数据集。
本发明具有如下有益效果：
1、本发明通过设计轻量化神经网络和模型剪枝方法构建轻量化交通标志识别模型，参数量更少、识别速度更快，能够在车载平台上实现高精度交通标志识别；
2、本发明特征提取部分的每一层卷积输出通道数均为64，在多处卷积层中保证了输入通道数等于输出通道数，这样能较大程度降低内存访问成本，从而加快了交通标志识别模型的识别速度。
2、本发明的可分离非对称卷积相比深度可分离卷积所需要的参数更少，整体网络模型还借鉴了残差的思想，通过旁路连接将输入特征图连接到输出上，能有效防止梯度消失和梯度***问题，并能增加网络的稳定性从而提升训练效果；
3、本发明的分类器部分相比传统全连接层所用的参数更少，通过对全连接层权重矩阵的分解，在每一层上通过重训练两个小的权重矩阵，不仅减低了参数量，还能防止因参数量过大造成的过拟合问题；
4、本发明的模型剪枝方法在深度可分离非对称卷积的基础上进行，通过计算逐点卷积部分每一个卷积核的L1范数来判断每个卷积核的重要程度，然后设置一定的剪枝率对逐点卷积部分的卷积核进行剪枝，最终得到剪枝后的模型具有更低的参数量，并在一定程度上起到了正则化的效果。
附图说明
下面结合附图对本发明作进一步详细说明。
图1为本发明的整体流程图；
图2为可分离非对称卷积；
图3为轻量化神经网络模型；
图4为传统全连接层权重矩阵替换为两个可分离权重矩阵过程图；
图5为剪枝流程图。
具体实施方式
参照图1所示，本发明提供的一种基于轻量化网络的交通标志识别方法，包括如下步骤：
步骤1，获取原始交通标志图片数据，利用摄像机对道路街景的交通标志进行大量拍摄，得到不同时间段、不同天气情况、不同角度的交通标志图片或视频，获取原始交通标志数据信息；
步骤2，数据预处理，确定交通标志图像数据的尺寸并选择合适的候选框，完成对原始交通标志图像数据的裁剪，统一设置裁剪后分辨率为64×64的彩色(RGB)图片，对裁剪后的数据进行类别划分，利用数据增强方法对每种类别数据进行扩充，数据增强方法具体包括对图像进行轻微水平或垂直平移、调整图像饱和度、白化处理等，使得各交通标志类别数量一致，之后对交通标志数据图像进行标记，最后按照8:2的比例划分训练集和测试集，构建出交通标志数据集；
步骤3，构建轻量化神经网络模型，并将经过步骤2预处理后的交通标志数据集分批送入网络进行训练，并利用交通标志数据集的测试集部分对训练好的轻量化神经网络模型进行识别；
步骤4，查看模型在测试集上的识别精度是否达到90％以上，若未达到要求，则调整学习率、数据批次，迭代次数等超参数，转步骤3，若结果理想，则转步骤5；
步骤5，对训练好的网络模型进行模型剪枝，设置初始剪枝率50％，并对剪枝后的网络模型进行再训练；
步骤6，模型剪枝完成后，查看训练好的剪枝后的轻量化神经网络模型的识别精度，若最终训练后的模型精度损失在1％以内，保存模型并继续以2％的步长增大剪枝率，转步骤5，若识别精度损失超过1％，则判断是否为第一次剪枝结果，如果是，则以10％的步长减少剪枝率，返回步骤5。否则，转步骤7。
步骤7，保存上一次剪枝后的轻量化神经网络模型；
步骤8，将上一次剪枝后的轻量化神经网络模型部署在车载***中，以对道路上的交通标志进行识别，并对识别结果进行显示和/或语音提示。
参照图3所示，轻量化神经网络模型，包括卷积特征提取部分和分类器部分；卷积特征提取部分由1层传统3×3卷积和16层自主设计的可分离非对称卷积模块组成；其中：
传统3×3卷积结构：输入通道数为3，输出通道数为64，卷积核尺寸为3×3、卷积核个数为64，步长为1，填充为0，通过传统3×3卷积后，得到长宽为64×64，通道为64特征图。
可分离非对称卷积分为第一可分离非对称卷积和第二可分离非对称卷积；
第一可分离非对称卷积首先对输入的每个通道进行特征可分离，其次对每一个通道分别进行一个步长为1，填充为0的1×3的卷积和3×1卷积，卷积之后均通过非线性Relu激活函数得到大小相同的两个单通道特征图，其次分别对两个单通道的特征图进行对应元素求和，并依次对求和后的每个通道进行批归一化和经过Relu激活函数，然后对新形成的每个通道进行通道合并、通道混洗，最后对输出通道进行步长为1的1×1卷积，并设置卷积核的个数等于输入通道数；
第二可分离非对称卷积首先对输入的每个通道进行特征可分离，其次对每一个通道分别进行一个步长为1，填充为0的1×3的卷积和3×1卷积，卷积之后均通过非线性Relu激活函数得到大小相同的两个单通道特征图，其次分别对两个单通道的特征图进行对应元素求和，并依次对求和后的每个通道进行批归一化和经过Relu激活函数，然后对新形成的每个通道进行通道合并、通道混洗，最后对输出通道进行步长为2的1×1卷积，完成特征图的下采样，并设置卷积核的个数等于输入通道数。
卷积特征提取部分第2-5层采用第一可分离非对称卷积，其中残差连接方式实线部分表示采用步长为1的1×1卷积，卷积核个数为64，通过第2-5层第一可分离非对称卷积后，得到长宽为64×64，通道为64特征图。
卷积特征提取部分第6层采用第二可分离非对称卷积。通过第6层第二可分离非对称卷积后，得到长宽为32×32，通道为64特征图。
卷积特征提取部分第7-11层采用第一可分离非对称卷积，其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64。残差连接方式实线部分采用步长为1的1×1卷积，卷积核个数为64。通过第7-11层第一可分离非对称卷积后，得到长宽为32×32，通道为64特征图。
卷积特征提取部分第12层采用第二可分离非对称卷积。通过第12层第二可分离非对称卷积后，得到长宽为16×16，通道为64特征图。
卷积特征提取部分第13-15层采用第一可分离非对称卷积，其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64，残差连接方式实线部分采用步长为1的1×1卷积，卷积核个数为64，通过第13-15层第一可分离非对称卷积后，得到长宽为16×16，通道为64特征图。
卷积特征提取部分第16层采用第二可分离非对称卷积。通过第16层第二可分离非对称卷积后，得到长宽为8×8，通道为64特征图。
卷积特征提取部分第17层采用第一可分离非对称卷积，其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64，通过第17层第一可分离非对称卷积后，得到长宽为8×8，通道为64特征图。
为了提高训练收敛速度，在可分离非对称卷积模块中的每次卷积操作后加BN层和激活层；激活层使用的激活函数均为Relu函数。
为了进一步降低参数量，在特征提取部分之后接入分类器部分，设计三层可分离全连接模块，第一层可分离全连接模块首先将上一层长宽为8×8，通道为64特征图进行维度转换为64×64的形状，之后分别初始化两个大小为A-1(64×64)、B-1(64×64)的权重矩阵，最后用矩阵A-1与进行维度转换后的输入进行矩阵乘法，得到的结果再与矩阵B-1进行矩阵乘法，得到下一层大小为64×64的输出矩阵。
第二层可分离全连接模块首先分别初始化两个大小为A-2(64×64)、B-2(64×64)的权重矩阵，最后用矩阵A-2与上一层大小为64×64的输出矩阵进行矩阵乘法，得到的结果再与矩阵B-2进行矩阵乘法，得到下一层大小为64×64的输出矩阵。
第三层可分离全连接模块首先分别初始化两个大小为A-3(1×64)、B-3(64×64)的权重矩阵，然后用矩阵A-3与上一层大小为64×64的输出矩阵进行矩阵乘法，得到的结果再与矩阵B-3进行矩阵乘法，得到下一层大小为1×64的输出矩阵。最后经过Flatten操作后对输出矩阵展平，经过softmax激活函数用于交通标志64种类别的识别任务。
进一步地，为了整体降低参数量和运算速度，对训练好的轻量化神经网络模型进行模型剪枝。
MobileNetV1网络中的深度可分离卷积由两种卷积方式组成，第一种为逐通道的分组卷积，第二种为逐点卷积。如果不考虑偏置参数的影响，逐通道分组卷积的参数量为：
R1＝DK×DK×1×1×M
式中：DK×DK为卷积核尺寸，实际常用3×3表示。M为输入通道数。逐点卷积的参数量为：
R2＝1×1×M×N
式中：N为卷积核的个数或输出通道数。
如图2所示，为本方法设计的一种可分离非对称卷积模块，同样由两种卷积方式组成，不同于深度可分离卷积的第一种卷积方式，我们的方法首先对输入的每个通道进行特征可分离，其次对每一个通道分别进行一个步长为1的1×3的卷积和3×1卷积，并对不同的卷积采用相对应的填充方式，使得卷积之后通过非线性Relu激活函数的两个单通道特征图尺度上大小相同，其次分别对两个单通道的特征图进行对应元素求和。如果不考虑偏置参数的影响，该过程的参数量可以表示为：
R3＝(1×DK+DK×1)×1×1×M
不同于深度可分离卷积的第二种卷积方式，虽然都用到了逐点卷积，但是后者再进行卷积之前先对合并后的通道进行了混洗操作，有效解决了通道之间信息流通不畅的问题，提高了可分离非对称卷积模块的特征提取能力。所以本方法设计的可分离非对称卷积模块相比MobileNetV1中的参数减少量取决于第一种卷积方式的差异，参数减小量为：
Figure GDA0004059938880000111
当DK＝3，M＝64时，同样条件下，我们的方法相比MobileNetV1网络中的深度可分离卷积，参数减小量为192个。
如图4所示，为本方法设计的轻量化可分离全连接模块，对于全连接层，见图中传统全连接模块，若输入向量
Figure GDA0004059938880000112
输出向量为
Figure GDA0004059938880000113
全连接层可以表示为：
Y＝σ(WX+b)
其中
Figure GDA0004059938880000114
和
Figure GDA0004059938880000115
分别表示可学习的权重矩阵和偏置，σ(·)表示非线性激活函数。可以对权重矩阵
Figure GDA0004059938880000116
分解为两个小的权重矩阵
Figure GDA0004059938880000117
和
Figure GDA0004059938880000118
使得：
Figure GDA0004059938880000119
式中满足n＝hw,m＝ab。通过公式变形可得到下式：
Y＝σ(WX+b)
Figure GDA00040599388800001110
Figure GDA00040599388800001111
其中vec-1(*)为把一个列向量转化为对应的矩阵操作，因此，可以将(1)式全连接层改写为输入矩阵vec-1(X)与两个小参数矩阵
Figure GDA0004059938880000121
和
Figure GDA0004059938880000122
的乘积，我们将改写后的网络结构成为separable层。其中，
Figure GDA0004059938880000123
是separable层的输出，
Figure GDA0004059938880000124
是separable层的输入，
Figure GDA0004059938880000125
是可学习的偏置。因此，一个separable层的参数量为ha+wb+hw，而全连接层的参数量为ab×hw+hw。若两者均不考虑偏置参数带来的影响，参数之比可以表示为：
Figure GDA0004059938880000126
Figure GDA0004059938880000127
因为a,b,h,w＞＞1，可推知：
Figure GDA0004059938880000128
因此，通过将全连接层替换为separable层结构，可以极大程度降低参数数量。
在可分离非对称卷积模块中，如图2所示，大部分的计算量主要集中在逐点卷积上。因此，本方法将剪枝重点放在逐点卷积层。假设图2中经过通道混洗后合并的通道为M个，每个通道表示为(F1,F2,…,FM)，其中通道尺寸为DK×DK,对于一个滤波器(k1,k2,…,kM)的尺寸为1×1×M，则一个1×1×M的滤波器(k1,k2,…,kM)的卷积过程可描述为:
Figure GDA0004059938880000129
该式可以得到一个输出特征图
Figure GDA00040599388800001210
其中Fiki表示权重系数ki和特征图Fi上每个元素相乘。对N个滤波器，将得到N个特征图，可以表示为
Figure GDA00040599388800001211
本剪枝方法对卷积核重要性进行排序，对每个训练好的逐点卷积滤波器计算L1范数，即：
Figure GDA0004059938880000131
通过对L1范数的大小对通道的重要程度进行排序，即L1范数值越大，表示卷积滤波器越重要，如图5所示，为该方法的剪枝过程，若虚线滤波器对应的L1范数很小，则将对应的滤波器删掉。
在具体实施步骤上，主要通过平衡剪枝率λ(设置初始剪枝率为50％)和准确率关系来压缩交通标志深度神经网络模型。具体地,首先定义了模型的准确率下降阈值η(1％)，以保证模型压缩是在模型准确率下降允许范围进行的,该方法首先计算出逐点卷积过程的每个滤波器的L1范数，然后对L1范数按从小到大排序，根据剪枝率λ确定剪枝阈值θ，如式：
np＝(1-λ)nw
其中nw表示逐点卷积过程滤波器的数量，np为剪枝后的滤波器数量，则从大到小遍历每个滤波器W的L1范数并计数，当计数达到np时，此时的L1范数值即为剪枝阈值θ。通过将L1范数值小于剪枝阈值θ的对应滤波器置0，最终得到剪枝后的模型Wp。如式：
Figure GDA0004059938880000132
剪枝之后再对模型进行微调重训练，若剪枝后模型精度损失超过1％，则判断是否为第一次剪枝结果，如果是，则以10％的步长减少剪枝率。若最终训练后的模型精度损失在1％以内，保存模型并继续以2％的步长增大剪枝率，继续进行剪枝，直到模型精度损失超过设定的准确率下降阈值η(1％)为止，至此，保存上一次的剪枝模型即为需要的交通标志识别模型。该模型能保证较大压缩比并维持准确率的性质。
通过以下实验，对本实施例交通标志识别精度及速度进行测试。
使用MPSoC ZCU106开发板作为嵌入式测试平台。对本发明所提出的轻量化交通标志识别模型进行测试。实验方法如下：
1)在GPU平台上使用处理过的交通标志数据集对设计好的轻量化神经网络进行训练；对训练好的轻量化神经网络模型进行模型剪枝，得到剪枝后的模型。
2)再通过格式转换将训练出的网络模型部署在ARM处理器上。
3)使用处理过的交通标志数据集对轻量化交通标志识别网络进行测试。使用ncnn深度学***台下的实用性。
以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。

Claims (6)

1.一种基于轻量化神经网络的交通标志识别方法，其特征在于：包括如下步骤：
步骤1，获取原始交通标志图像数据；
步骤2，数据预处理，对原始交通标志图像数据进行预处理，得到具有训练集和测试集的交通标志数据集；
步骤3，设置初始训练超参数，将交通标志数据集的训练集部分输入轻量化神经网络模型进行训练，并利用交通标志数据集的测试集部分对训练好的轻量化神经网络模型进行识别，所述轻量化神经网络模型包括卷积特征提取部分和分类器部分；所述卷积特征提取部分包括1层传统3×3卷积和16层可分离非对称卷积，所述可分离非对称卷积包括第一可分离非对称卷积和第二可分离非对称卷积，所述第一可分离非对称卷积首先对输入的每个通道进行特征可分离；其次对每一个通道分别进行一个步长为1，填充为0的1×3的卷积和3×1卷积，卷积之后均通过非线性Relu激活函数得到大小相同的两个单通道特征图；再分别对两个单通道的特征图进行对应元素求和，并依次对求和后的每个通道进行批归一化和经过Relu激活函数；然后对新形成的每个通道进行通道合并、通道混洗，最后对输出通道进行步长为1的1×1卷积，并设置卷积核的个数等于输入通道数；
所述第二可分离非对称卷积首先对输入的每个通道进行特征可分离；其次对每一个通道分别进行一个步长为1，填充为0的1×3的卷积和3×1卷积，卷积之后均通过非线性Relu激活函数得到大小相同的两个单通道特征图；再分别对两个单通道的特征图进行对应元素求和，并依次对求和后的每个通道进行批归一化和经过Relu激活函数；然后对新形成的每个通道进行通道合并、通道混洗，最后对输出通道进行步长为2的1×1卷积，完成特征图的下采样，并设置卷积核的个数等于输入通道数；所述分类器部分包括三层可分离全连接模块；
步骤4，查看模型在测试集上的识别精度是否达到90％以上，若未达到要求，则调整训练超参数，转步骤3，否则，转步骤5；
步骤5，对轻量化神经网络模型进行剪枝，设置初始剪枝率50％，然后在交通标志数据集的训练集上对剪枝后的轻量化神经网络模型进行再训练，并在交通标志数据集的测试集上对训练好的剪枝后的轻量化神经网络模型进行识别；
步骤6，查看训练好的剪枝后的轻量化神经网络模型的识别精度，若识别精度损失在1％以内，保存模型并继续以2％的步长增大剪枝率，转步骤5，若识别精度损失超过1％，则判断是否为第一次剪枝结果，如果为第一次剪枝结果，则以10％的步长减少剪枝率，返回步骤5；如果不为第一次剪枝结果，转步骤7；
步骤7，保存上一次剪枝后的轻量化神经网络模型；
步骤8，将上一次剪枝后的轻量化神经网络模型部署在车载***中，以对道路上的交通标志进行识别。
2.根据权利要求1所述的一种基于轻量化神经网络的交通标志识别方法，其特征在于：所述传统3×3卷积的结构为：输入通道数为3，输出通道数为64，卷积核尺寸为3×3、卷积核个数为64，步长为1，填充为0，通过传统3×3卷积后，得到长宽为64×64，通道为64特征图。
3.根据权利要求1所述的一种基于轻量化神经网络的交通标志识别方法，其特征在于：所述卷积特征提取部分第2-5层采用第一可分离非对称卷积，其中残差连接方式实线部分表示采用步长为1的1×1卷积，卷积核个数为64，通过第2-5层第一可分离非对称卷积后，得到长宽为64×64，通道为64特征图；
卷积特征提取部分第6层采用第二可分离非对称卷积，通过第6层第二可分离非对称卷积后，得到长宽为32×32，通道为64特征图；
卷积特征提取部分第7-11层采用第一可分离非对称卷积，其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64，残差连接方式实线部分采用步长为1的1×1卷积，卷积核个数为64，通过第7-11层第一可分离非对称卷积后，得到长宽为32×32，通道为64特征图；
卷积特征提取部分第12层采用第二可分离非对称卷积，通过第12层第二可分离非对称卷积后，得到长宽为16×16，通道为64特征图；
卷积特征提取部分第13-15层采用第一可分离非对称卷积，其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64；残差连接方式实线部分采用步长为1的1×1卷积，卷积核个数为64；通过第13-15层第一可分离非对称卷积后，得到长宽为16×16，通道为64特征图；
卷积特征提取部分第16层采用第二可分离非对称卷积；通过第16层第二可分离非对称卷积后，得到长宽为8×8，通道为64特征图；
卷积特征提取部分第17层采用第一可分离非对称卷积；其中残差连接方式虚线部分表示采用步长为2的1×1卷积，卷积核个数为64；通过第17层第一可分离非对称卷积后，得到长宽为8×8，通道为64特征图。
4.根据权利要求3所述的一种基于轻量化神经网络的交通标志识别方法，其特征在于：在可分离非对称卷积中的每次卷积操作后加BN层和激活层，激活层使用的激活函数均为Relu函数。
5.根据权利要求1或2或3或4所述的一种基于轻量化神经网络的交通标志识别方法，其特征在于：所述分类器部分第一层可分离全连接模块首先将上一层长宽为8×8，通道为64特征图进行维度转换为64×64的形状，之后分别初始化两个大小均为64×64的权重矩阵，分别为A-1、B-1，再用矩阵A-1与进行维度转换后的输入进行矩阵乘法，得到的结果再与矩阵B-1进行矩阵乘法，得到下一层大小为64×64的输出矩阵；
第二层可分离全连接模块首先分别初始化两个大小均为64×64的权重矩阵，分别为A-2、B-2，最后用矩阵A-2与上一层大小为的输出矩阵进行矩阵乘法，得到的结果再与矩阵B-2进行矩阵乘法，得到下一层大小为64×64的输出矩阵；
第三层可分离全连接模块首先分别初始化两个大小分别为1×64、64×64的权重矩阵，分别为A-3、B-3，然后用矩阵A-3与上一层大小为64×64的输出矩阵进行矩阵乘法，得到的结果再与矩阵B-3进行矩阵乘法，得到下一层大小为1×64的输出矩阵；最后经过Flatten操作后对输出矩阵展平，经过softmax激活函数用于交通标志64种类别的识别任务。
6.根据权利要求1或2所述的一种基于轻量化神经网络的交通标志识别方法，其特征在于：所述数据预处理包括确定交通标志图像数据的尺寸并选择合适的候选框，完成对原始交通标志图像数据的裁剪，统一设置裁剪后分辨率为64×64的彩色图像，对裁剪后的数据进行类别划分，利用数据增强方法对每种类别数据进行扩充，数据增强方法具体包括对图像进行轻微水平或垂直平移、调整图像饱和度和白化处理，使得各交通标志类别数量一致，之后对交通标志图像数据进行标记，再按照8:2的比例划分训练集和测试集，构建出交通标志数据集。
CN202110881764.6A 2021-03-29 2021-08-02 一种基于轻量化神经网络的交通标志识别方法 Active CN113537138B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110334426 2021-03-29
CN2021103344260 2021-03-29

Publications (2)

Publication Number Publication Date
CN113537138A CN113537138A (zh) 2021-10-22
CN113537138B true CN113537138B (zh) 2023-04-18

Family

ID=78090099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881764.6A Active CN113537138B (zh) 2021-03-29 2021-08-02 一种基于轻量化神经网络的交通标志识别方法

Country Status (3)

Country Link
US (1) US11875576B2 (zh)
CN (1) CN113537138B (zh)
WO (1) WO2022205685A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205685A1 (zh) 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
CN113723377B (zh) * 2021-11-02 2022-01-11 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法
CN114972952B (zh) * 2022-05-29 2024-03-22 重庆科技学院 一种基于模型轻量化的工业零部件缺陷识别方法
CN116070172B (zh) * 2022-11-16 2023-06-02 北京理工大学 增强时间序列的特征表达性的方法
CN115810183B (zh) * 2022-12-09 2023-10-24 燕山大学 一种基于改进VFNet算法的交通标志检测方法
CN116110022B (zh) * 2022-12-10 2023-09-05 河南工业大学 基于响应知识蒸馏的轻量化交通标志检测方法及***
CN116520990B (zh) * 2023-04-28 2023-11-24 暨南大学 一种基于轻量级神经网络的手语识别方法、***及手套
CN116405127B (zh) * 2023-06-09 2023-09-12 北京理工大学 水声通信前导信号检测模型的压缩方法和装置
CN116704476B (zh) * 2023-06-12 2024-06-04 郑州轻工业大学 一种基于改进Yolov4-tiny算法的交通标志检测方法
CN117336057B (zh) * 2023-10-10 2024-07-05 中国矿业大学(北京) 一种基于深度学习的轻量化恶意流量分类方法
CN117113010B (zh) * 2023-10-24 2024-02-09 北京化工大学 基于卷积网络轻量化的输电通道安全监测方法及***
CN117437519B (zh) * 2023-11-06 2024-04-12 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置
CN117231524B (zh) * 2023-11-14 2024-01-26 浙江嘉源和达水务有限公司 一种泵汽蚀状态监测诊断方法及***
CN117593674B (zh) * 2024-01-18 2024-05-03 南昌大学 一种轻量级无人机航拍目标实时检测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11586417B2 (en) * 2018-09-28 2023-02-21 Qualcomm Incorporated Exploiting activation sparsity in deep neural networks
KR102646695B1 (ko) * 2019-01-15 2024-03-12 포틀랜드 스테이트 유니버시티 비디오 프레임 보간을 위한 특징 피라미드 워핑
US20200293864A1 (en) * 2019-03-12 2020-09-17 Qualcomm Incorporated Data-aware layer decomposition for neural network compression
CN110188705B (zh) * 2019-06-02 2022-05-06 东北石油大学 一种适用于车载***的远距离交通标志检测识别方法
WO2020247545A1 (en) * 2019-06-04 2020-12-10 Northeastern University Lightweight decompositional convolution neural network
US20210089921A1 (en) * 2019-09-25 2021-03-25 Nvidia Corporation Transfer learning for neural networks
US11712224B2 (en) * 2019-10-11 2023-08-01 GE Precision Healthcare LLC Method and systems for context awareness enabled ultrasound scanning
CN110929603B (zh) * 2019-11-09 2023-07-14 北京工业大学 一种基于轻量级卷积神经网络的天气图像识别方法
CN111242180B (zh) * 2020-01-03 2022-07-29 南京邮电大学 一种基于轻量化卷积神经网络的图像识别方法及***
WO2021166058A1 (ja) * 2020-02-18 2021-08-26 日本電気株式会社 画像認識装置、画像認識方法、及び、記録媒体
CN111444760B (zh) * 2020-02-19 2022-09-09 天津大学 一种基于剪枝与知识蒸馏的交通标志检测与识别方法
CN111311629B (zh) * 2020-02-21 2023-12-01 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN111626328B (zh) * 2020-04-16 2023-12-15 湘潭大学 一种基于轻量化深度神经网络的图像识别方法及装置
CN111914797B (zh) * 2020-08-17 2022-08-12 四川大学 基于多尺度轻量级卷积神经网络的交通标志识别方法
CN112001385B (zh) * 2020-08-20 2024-02-06 长安大学 一种目标跨域检测与理解方法、***、设备及存储介质
US11819363B2 (en) * 2020-09-01 2023-11-21 GE Precision Healthcare LLC Systems and methods to improve resolution of ultrasound images with a neural network
US12008695B2 (en) * 2020-09-25 2024-06-11 GE Precision Healthcare LLC Methods and systems for translating magnetic resonance images to pseudo computed tomography images
US11636608B2 (en) * 2020-10-21 2023-04-25 Smart Engines Service, LLC Artificial intelligence using convolutional neural network with Hough transform
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
US20220327189A1 (en) * 2021-04-09 2022-10-13 Qualcomm Incorporated Personalized biometric anti-spoofing protection using machine learning and enrollment data

Also Published As

Publication number Publication date
WO2022205685A1 (zh) 2022-10-06
US20230334872A1 (en) 2023-10-19
CN113537138A (zh) 2021-10-22
US11875576B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
CN113537138B (zh) 一种基于轻量化神经网络的交通标志识别方法
CN110059582B (zh) 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN111476252B (zh) 一种面向计算机视觉应用的轻量化无锚框目标检测方法
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和***
CN113052211B9 (zh) 一种基于特征的秩和通道重要性的剪枝方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN111611924B (zh) 一种基于深度迁移学习模型的蘑菇识别方法
US20230162522A1 (en) Person re-identification method of integrating global features and ladder-shaped local features and device thereof
CN109035260A (zh) 一种天空区域分割方法、装置和卷积神经网络
CN110991511A (zh) 一种基于深度卷积神经网络的向日葵作物种子分拣方法
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN106874879A (zh) 基于多特征融合和深度学习网络提取的手写数字识别方法
CN112364719A (zh) 一种遥感图像目标快速检测方法
CN112215334A (zh) 一种面向事件相机的神经网络模型压缩方法
Zhu et al. A-pixelhop: A green, robust and explainable fake-image detector
CN110852369A (zh) 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
CN114463727A (zh) 一种地铁驾驶员行为识别方法
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测***
CN114972780A (zh) 一种基于改进YOLOv5的轻量化目标检测网络
CN114648667A (zh) 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法
CN112215241B (zh) 一种基于小样本学习的图像特征提取装置
CN111860601A (zh) 预测大型真菌种类的方法及装置
CN116758415A (zh) 一种基于二维离散小波变换的轻量化害虫识别方法
CN115909332A (zh) 一种基于通道特征加强的农业遥感图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant