CN110717553B - 一种基于自衰减权重和多局部约束的交通违禁品识别方法 - Google Patents
一种基于自衰减权重和多局部约束的交通违禁品识别方法 Download PDFInfo
- Publication number
- CN110717553B CN110717553B CN201911086156.5A CN201911086156A CN110717553B CN 110717553 B CN110717553 B CN 110717553B CN 201911086156 A CN201911086156 A CN 201911086156A CN 110717553 B CN110717553 B CN 110717553B
- Authority
- CN
- China
- Prior art keywords
- layer
- traffic
- network
- contraband
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 9
- 238000002360 preparation method Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000033228 biological regulation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003721 gunpowder Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012038 vulnerability analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自衰减权重和多局部约束的交通违禁品识别方法，包括：原始数据准备。数据预处理。数据集制作。使用经典卷积神经网络LeNet‑5网络的结构作为违禁品分类网络的结构；对LeNet‑5网络输出的不同层卷积特征，按由深层到浅层的方向，结合自衰减权重进行横向连接构造融合特征；在模型训练时自适应的调节自衰减权重系数；在对交通违禁品设计局部多约束的策略计算最终的类别。本发明基于深度学习和卷积神经网络实现对交通违禁物品的自动识别和分类，通过提取设计特征学习网络自动学习交通违禁物品的高可分性特征，训练交通违禁物品自动分类模型并完成针对普通RGB图像的交通违禁物品自动识别方法。
Description
技术领域
本发明涉及一种深度卷积神经网络的自动分类领域，更具体的是涉及一种针对普通RGB 图像的交通违禁物品自动识别方法。
背景技术
随着人们对安全防护意识的不断增强，对于易燃易爆等危险物品的管控力度逐年增强。对于人员相对密集且活动空间相对狭小的交通工具(如火车、汽车、飞机等)，相关法律法规明确规定了乘坐时禁止携带的物品类型。对于这些交通违禁物品，目前的主要检查方式是通过X光安检机。对于行李中携带的物品，在通过X光安检机时，行李内的物品会在显示器中显示出大致的形状，并根据不同的形状显示出不同的颜色。在实际的使用中，各种物品无规则的叠加在一起，这给X光安检机的图像判别带来了巨大的挑战。操作人员必须要对常见的交通违禁物品的形状、颜色相当熟悉，操作人员需要时刻注意显示屏中的内容。人力成本的投入相对较高。
随着科技的不断发展，现代人工智能和智能交通正在快速发展，基于计算机视觉和深度学习的交通脆弱性分析、交通安全自动监测等越来越受到人们的关注。交通违禁物品的识别在根本上是一个分类问题，可以使用基于深度学习的相关算法来构建交通违禁物品自动分类模型，降低安检人员的工作强度。
卷积神经网络(Convolutional Neural Networks，CNN)作为当前主流的深度学习架构，是语音分析和图像识别领域的重要研究热点之一。CNN独特的网络结构能够减少需要学习的网络参数数目和复杂度，提高训练效率，进而提高整个网络模型的学习效率。目前，CNNs已经被广泛应用于许多领域，代表性的如农业领域中的果实识别、交通领域中的交通标志识别等，上述的应用典范为交通违禁物品的自动识别提供了新的解决思路。本发明结合交通违禁物品图像自身的特点，在改进经典卷积神经网络框架LeNet-5的基础上构建交通违禁物品自动识别模型，提出了一种基于自衰减权重特征金字塔和多局部约束的交通违禁物品自动识别方法。
发明内容
针对以上问题，本发明基于自衰减权重特征金字塔和多局部约束实现对交通违禁物品的自动识别和分类，通过提取设计特征学习网络自动学习交通违禁物品的高可分性特征，训练交通违禁物品自动分类模型并完成交通违禁物品自动识别方法。
本发明采用了如下技术方案：一种基于自衰减权重和多局部约束的交通违禁品识别方法，能够针对多种类成像终端获取的普通RGB图像实现交通违禁物品自动识别。包括以下步骤： Step1原始数据准备
针对相关法律明令禁止携带的10大类交通违禁物品，选择10类生活中常见的交通违禁品，通过互联网进行图像检索并结合部分来自公安***的交通违禁物品图像，共同组成原始的数据集；
Step2数据预处理
将Step1中搜集的图像统一缩放到128*128大小，将彩色图像转化为灰度图像，对灰度图像进行归一化处理；
Step3数据集制作
针对Step2预处理后的数据进行人工分类，将人工分类信息作为网络训练的类别监督信息；整个数据集包括训练集和测试集两部分，每部分由预处理后的图片和对应的标签信息组成；
Step4违禁物品分类网络构建
使用经典LeNet-5网络结构作为违禁物品分类网络的结构；对LeNet-5网络输出的不同层卷积特征，按照自上而下、由深层向浅层的方向引入自衰减权重融合特征；
Step5违禁物品分类模型训练
使用上述的网络结构和特征学习方法进行特征学习，将学习的特征送入分类器结合原始的人工标记信息对分类器进行训练；模型的训练分为前向传播和后向传播两个部分；前向阶段：首先从交通违禁物品训练集中选择一小批数据输入网络，然后根据网络的数据流传播计算对应所属的实际交通违禁物品种类；后向阶段：网络的实际输出与理想输出存在误差，对误差函数求各个偏置和权值的偏导数，从而使误差沿着降速最快的方向调整各个权值和偏置；
Step6交通违禁物品图像的识别
在模型训练完成的基础上保存网络模型参数，将测试集的交通违禁物品图像经预处理之后，输入到网络模型中进行交通违禁物品图像识别；为了保证识别精度，在识别时基于多局部约束计算最后的分类结果；具体地，将待测试图像切分为若干部分后分别通过Softmax分类器计算其对应于某一种类的概率，叠加所有部分的类别概率向量，选择概率和最大的类别作为最终的类别。
分析待识别违禁物品对象的特点发现，待识别违禁物品对象在尺寸和形态上差异变化巨大且类别间存在不平衡(即部分类别的违禁品常见而部分违禁品罕见)的特点；进一步发现，小尺寸的违禁物品因其隐蔽性高和易于携带的特点，在实际应用中出现的频率更高；针对上述问题，本申请受注意力机制的启发，在构造特征金字塔时引入自衰减权重来融合不同层特征，不同于现有技术中采用自上而下和横向连接的方式融合各层特征并构造特征金字塔，本申请中在融合时为不同层特征设计不同的权重系数来获取自适应的高可分性融合特征，在实现对各尺度违禁交通品有效识别的同时进一步保证对于出现频率更高的小尺寸违禁品的准确识别。所述Step4具体包括以下内容：
Step4-1使用经典LeNet-5网络结构作为违禁物品分类网络的基础结构。LeNet-5是卷积神经网络(Convolutional Neural Networks，CNN)的一种代表性模型，该模型最初针对手写字体识别提出，主要结构包括有卷积层、池化层、连接层和输出层，每层包含多个相互独立的神经单元，典型结构附图1所示。经典的LeNet-5网络共包括7层，卷积层C1、C3、C5均使用5*5的卷积核，池化层S2、S4均使用大小为2*2模板进行平均池化，F6全连接层包括84个神经元节点，计算C5输出向量和权重向量之间的点积，OUTPUT层由一个全连接层构成，包括10个节点，采用径向欧式距离函数(Euclidean Radial Basis Function)的网络连接方式，径向欧式距离函数RBF的计算方法如公式(1)所示。
yi＝∑j(xj-wij)2 (1)
其中，yi表示输出层第i个的输出，xj表示F6层第j个节点的值，wij表示i节点和j节点之间的连接权重。
Step4-2改进LeNet-5网络
为了更好的提取图像的低阶特征和有效的传递误差梯度，本申请对LeNet-5的特征学***均池化(MeanPooling)方法；通过使用最大池化，避免了在平均池化过程中出现模糊化效果；
Step4-3特征金字塔
训练模型时使用的交通违禁物品数据集中，不同种类间的物体尺寸差别巨大，而识别不同大小的物体是计算机视觉中的一个基本挑战。对于卷积神经网络而言，高层卷积特征具有较好的语义性，低层卷积特征保留了较多的目标空间信息和细节信息。目前主流的分类网络都只使用学习到高层的卷积特征进行分类，这种忽略低层特征的方法虽然一方面提高了学习的效率，但是也抑制了不同尺寸特别是小尺寸目标的分类。因此，我们需要在速度和准确率之间进行一个博弈和权衡，获取适用于各尺度目标的鲁棒的特征。利用卷积神经网络本身的特性，即对原始图像进行卷积和池化操作获得不同尺寸的特征图(featuremap)，在图像的特征空间中构造特征金字塔，并将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行融合，使得融合后的特征是丰富的，即一方面具有浅层的空间信息又具有深层的语义信息。
特征融合时对不同卷积层输出的特征图(feature map)按由深层到浅层的方向，结合自衰减权重进行横向连接(lateral connections)；具体而言，对更抽象、语义更强的深层特征图进行上采样，然后为该特征赋予新的权重后横向连接至相邻的浅一层特征；为了利用底层的定位细节信息，横向连接时两层特征在空间尺寸上要相同；因此为了保证深、浅层特征之间的卷积通道数相同，对浅层特征首先经过1*1的卷积；其次使用最邻近上采样法将深层特征做2倍上采样；计算方法是公式(2)所示：
其中，Sk分别表示第k层卷积层输出的特征矩阵，n表示整个网络中卷积层的个数，f()表示使用最邻近插值进行2倍上采样计算，A1*1表示大小为1*1的卷积核，表示自注意力权重衰减系数，Sk′表示使用自衰减权重加权计算后的将传递到相邻的前一层特征进行融合计算的第k 层特征矩阵。
将所有卷积层输出并基于公式(2)使用自衰减权重系数加权计算后的特征矩阵做像素间的加法运算，特征金字塔构造时迭代的重复上述过程，直至生成最精细(即所有卷积层的特征均融合到一个特征图中)的特征图；对于迭代完毕后输出的融合特征，为了消除深层特征在上采样时存在的混叠效应，使用3*3的卷积核对加法运算后特征进行卷积运算，此时得到最后的融合特征；特征融合的计算方法如公式(3)所示：
其中，Sk′分别表示第k层卷积层输出的特征矩阵，n表示整个网络中卷积层的个数，A1*1和A3*3表示大小为1*1和3*3的卷积核，Fn表示由n层卷积特征融合后输出的特征矩阵；特征金字塔构造时迭代的重复上述过程，直至生成最精细(即所有卷积层的特征均融合到一个特征图中) 的特征图；对于迭代完毕后输出的融合特征，为了消除深层特征在上采样时存在的混叠效应，使用3*3的卷积核对加法运算后特征进行卷积运算，此时得到最后的融合特征；基于上述学习到的特征进行分类，训练交通违禁物品自动识别模型。
(为了保证使用自衰减权重构造的特征金字塔能够较为准确的实现对交通违禁品的特征表达，设计自适应的自衰减权重来实现不同层的特征图的融合；具体的表现为将公式(2)中的自衰减系数作为一个额外的参数在模型的训练过程中动态的调整；所述Step5具体包括以下内容：
Step5-1自适应自衰减权重系数确定
分析违禁物品的数据分布特点发现，小尺寸违禁物品因其隐蔽性高和易于携带的特点，在违禁品中出现的频率更高，因此为保证模型对小尺寸违禁品的识别精度，融合后的特征图上应尽可能多的包含浅层信息。当将自衰减权重作为一个固定的超参数确定并训练网络时，模型识别精度变得不可控；具体的，当自衰减权重系数的值过大时，融合特征的语义性上升无法保证模型对小尺寸违禁品的识别精度；当自衰减权重系数/>的值过大时，融合特征上保留较多的浅层信息使得融合特征的语义性下降，无法保证模型对中、大尺寸违禁品的识别精度；针对上述问题，引入自适应自衰减权重系数来量化的为每一层特征图赋予权重，即自衰减权重系数在训练过程中不断变化，通过交通违禁品识别模型的精度反向的调节自衰减权重系数；公式(2)中的自衰减权重系数的自适应计算方法如公式(4)所示。
其中，θ为自适应变化系数，描述的是训练过程中每一次迭代过程中的变化情况。当自衰减权重小于0.2时，θ的值为0.01；当自衰减权重大于等于0.2时，θ的值下降一个数量级变为0.001。
Step5-2前向训练过程
前向传播过程中，交通违禁物品图像经过Step4操作，得到所需特征图，特征图通过全连接层被转换为一维特征向量，最后再通过Softmax分类器进行识别；网络输出层的每一个神经元的输出值对应于输入图像属于各类交通违禁品图像的概率大小，表达式为如公式(5)所示：
其中，表示前一层的输出特征向量；Wij表示输入i到输出j的连接权值；bk表示输出层第k个输出的偏置；Yk表示输出层中第k个输出；f()表示非线性激励函数；
Step5-3反向训练过程
反向传播的思想是将训练网络的实际输出结果与输入理想结果之间所存在的误差进行反向传播；反向传播的目的是使误差达到最小，根据误差函数E来对权值参数w、偏置参数b的梯度进行调整；
对于有M个输出类别和N个训练样本的多分类问题，使用的误差函数计算方法如公式(6) 所示：
其中，表示第n个样本中第k类对应的分类标签；/>为网络输出层实际输出向量；在反向传播过程中，根据随机梯度下降法调整权值和偏置，计算方法如公式(7)-(10)所示：
Wij(k+1)＝Wij(k)+ΔWij(k) (8)
bj(k+1)＝bj(k)+Δbj(k) (10)
其中，ΔWij、Δbj分别表示权值和偏置的变化值；Wij、bj分别表示权值和偏置变化后的值；k表示训练时的迭代次数；β表示学习率；α表示动量因子。
Step6-1基于局部多约束的识别
直接对输入图像进行分类虽然简单快捷，但是实际应用中违禁品存在尺寸跨越大且隐蔽性相对较高的特点，模型很可能小概率的出现漏检部分图像边缘的违禁品；因此设计局部多约束的策略计算最终的类别。具体地，对于输入的一张待识别交通违禁品图像，首先对其按长、宽2等分的尺度切分为4个子图，分别将子图输入分类模型获取一组4张子图的类别概率向量，这保证模型能够充分的感知图像各个局部；累加4张子图的类别概率向量，选择最高概率值对应的类别作为最终的输出类别。
在计算某一张图像中包含的违禁品类别时，其具体分为两个步骤：(1)识别该图像是否包含违禁品；(2)识别该违禁品类别。对于识别该图像是否包含交通违禁品，分别检索四张子图的类别概率向量中关于违禁品的概率值，若某一张子图中存在涉及违禁品的概率值且概率值大于指定阈值，则判定该图像中含有交通违禁物品；进一步地，累加4张子图的类别概率向量，选择涉及违禁物品的最高概率值对应的类别作为最终的输出类别。类别计算方法如公式(11)所示。
类别计算方法如公式(11)所示。
其中，Vl{c1，c2，...，cq}表示第l个子图的类别概率向量，cq表示属于类别q的概率，C表示输入待识别图像最终的类别。
有益效果：(1)本发明在构造特征金字塔时引入自衰减权重来融合不同层特征，不同于现有技术中采用自上而下和横向连接的方式融合各层特征并构造特征金字塔，本申请中在融合时为不同层特征设计不同的权重系数来获取自适应的高可分性融合特征，在实现对各尺度违禁交通品有效识别的同时进一步保证对于出现频率更高的小尺寸违禁品的准确识别；(2)本申请设计自适应的自衰减权重来实现不同层的特征图的融合，将自衰减系数作为一个额外的参数在模型的训练过程中动态的调整，保证使用自衰减权重构造的特征金字塔能够较为准确的实现对交通违禁品的特征表达；(3)本申请设计局部多约束的策略计算最终的类别，保证模型能够充分的感知图像各个局部，降低对部分图像边缘的小尺寸违禁品的漏识别概率。
附图说明
图1为经典LeNet-5的示意图。
具体实施方式
以违禁物品图像自动分类为例，具体的实施方式如下所述：
硬件环境：
处理平台为AMAX的PSC-HB1X深度学习工作站，处理器为Inter(R)E5-2600 v3，主频为 2.1GHZ，内存为128GB，硬盘大小为1TB，显卡型号为GeForce GTX Titan X。
软件环境：
操作***Windows10 64位；深度学习框架Tensorflow 1.1.0；集成开发环境python 3+Pycharm 2018.2.4x64。
一种基于CNN和特征金字塔的交通违禁品识别方法，包括以下步骤：
Step1原始数据准备
针对相关法律明令禁止携带的10大类交通违禁物品，选择常见的烟花爆竹、火药、汽油、强酸、强碱、农药、***、管制刀具、***以及放射性物体等10种生活中常见的交通违禁品，通过互联网(用***和wiki两个主流的搜索引擎)进行图像检索并结合部分来自公安***的交通违禁物品图像，共采集10类共9600张。
Step2数据预处理
(1)将Step1中搜集的图像统一缩放到128*128大小；2)避免图像对比度不足(图像像素亮度分布不平衡)从而对后续处理带来干扰，将彩色图像转化为灰度图像，对灰度图像进行归一化处理，归一化后使图像像素的灰度值分布在0～255之间。
Step3数据集制作
针对Step2预处理后的数据进行人工分类，将人工分类信息作为网络训练的类别监督信息；整个数据集包括训练集和测试集两部分，每部分由预处理后的图片和对应的标签信息组成。随机选取6600张图像作为训练集，剩余的3000张作为测试集。
Step4违禁物品分类网络构建
Step4-1本发明涉及的违禁物品分类网络基于经典LeNet-5网络构建。LeNet-5是卷积神经网络(Convolutional Neural Networks，CNN)的一种代表性模型，该模型最初针对手写字体识别提出，其结构包括有卷积层、池化层、连接层和输出层，每层包含多个相互独立的神经单元，典型结构如图1所示。
经典的LeNet-5网络共包括7层，卷积层C1、C3、C5均使用5*5的卷积核，池化层S2、S4均使用大小为2*2模板进行平均池化，F6全连接层包括84个神经元节点，计算C5输出向量和权重向量之间的点积，OUTPUT层由一个全连接层构成，包括10个节点，采用径向欧式距离函数(Euclidean Radial Basis Function)的网络连接方式，RBF的计算方法如公式(1)所示。
yi＝∑j(xj-wij)2 (1)
其中，yi表示输出层第i个的输出，xj表示F6层第j个节点的值，wij表示i节点和j节点之间的连接权重。
Step4-2改进LeNet-5网络
在本发明针对的交通违禁物品自动识别的应用场景下，考虑到拍照角度、光照条件和拍照高度等不同因素的影响，实际应用中交通违禁物品的图像数据质量难以保障。使用原始的 LeNet-5网络模型，仅能保证可以学***均池化(MeanPooling)方法。通过使用最大池化，避免了在平均池化过程中出现模糊化效果。
Step4-3特征金字塔
本发明训练模型时使用的交通违禁物品数据集中，不同种类间的物体尺寸差别巨大，而识别不同大小的物体是计算机视觉中的一个基本挑战。常用的解决方法是先对原始图像构造图像金字塔，对图像金字塔的每一层学习不同的特征后再进行分类。这种方法的缺点是计算量大，需要大量的内存，通常会成为整个算法的性能瓶颈。针对上述问题，本发明利用卷积神经网络本身的特性，即对原始图像进行卷积和池化操作获得不同尺寸的特征图(feature map)，在图像的特征空间中构造特征金字塔，并将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行融合，使得所有尺度下的特征都有丰富的语义信息。
特征融合时对不同卷积层输出的特征图(feature map)按由深层到浅层的方向，结合自衰减权重进行横向连接(lateral connections)；具体而言，对更抽象、语义更强的深层特征图进行上采样，然后为该特征赋予新的权重后横向连接至相邻的浅一层特征；为了利用底层的定位细节信息，横向连接时两层特征在空间尺寸上要相同；因此为了保证深、浅层特征之间的卷积通道数相同，对浅层特征首先经过1*1的卷积；其次使用最邻近上采样法将深层特征做2倍上采样；计算方法是公式(2)所示：
其中，Sk分别表示第k层卷积层输出的特征矩阵，n表示整个网络中卷积层的个数，f()表示使用最邻近插值进行2倍上采样计算，A1*1表示大小为1*1的卷积核，表示自注意力权重衰减系数，Sk′表示使用自衰减权重加权计算后的将传递到相邻的前一层特征进行融合计算的第k 层特征矩阵。
将所有卷积层输出并基于公式(2)使用自衰减权重系数加权计算后的特征矩阵做像素间的加法运算，特征金字塔构造时迭代的重复上述过程，直至生成最精细(即所有卷积层的特征均融合到一个特征图中)的特征图；对于迭代完毕后输出的融合特征，为了消除深层特征在上采样时存在的混叠效应，使用3*3的卷积核对加法运算后特征进行卷积运算，此时得到最后的融合特征；特征融合的计算方法如公式(3)所示：
其中，Sk′分别表示第k层输出的特征矩阵，n表示整个网络中卷积层的个数，A1*1和A3*3表示大小为1*1和3*3的卷积核，Fn表示由n层卷积特征融合后输出的特征矩阵；特征金字塔构造时迭代的重复上述过程，直至生成最精细(即所有卷积层的特征均融合到一个特征图中)的特征图；对于迭代完毕后输出的融合特征，为了消除深层特征在上采样时存在的混叠效应，使用3*3的卷积核对加法运算后特征进行卷积运算，此时得到最后的融合特征；基于上述学习到的特征进行分类，训练交通违禁物品自动识别模型。
(Step5违禁物品分类模型训练
网络在开始训练之前，使用正态随机分数函数将网络的权值初始化为服从正态分布的随机数，偏置b初始化为0。设定网络的学习率为0.001，隐层数为512，迭代epochs为15，每批次 batch_size为64。
将预处理过后的交通标违禁物品图像以128*128的形式输入到初始化的卷积神经网络进行训练，在网络训练的过程中，使用公式(2)和公式(3)自适应的调整特征金字塔融合时的自衰减权重系数；通过监督学习的方式，将预处理后的图像信息前向传播，之后将前向传播的输出与标签输出对比，将两者之间的误差反向传播。训练过程中采用的误差计算方法如公式 (6)-(10)所示。使用梯度下降法使误差达到最小时训练结束，同时保存训练好的网络模型参数。
Step6交通违禁物品图像的识别
直接对输入图像进行分类虽然简单快捷，但是实际应用中违禁品存在尺寸跨越大且隐蔽性相对较高的特点，模型很可能小概率的出现漏检部分图像边缘的违禁品；因此设计局部多约束的策略计算最终的类别。具体地，对于输入的一张待识别交通违禁品图像，首先对其按长、宽2等分的尺度切分为4个子图，分别将子图输入分类模型获取一组4张子图的类别概率向量，这保证模型能够充分的感知图像各个局部；
在计算某一张图像中包含的违禁品类别时，其具体分为两个步骤：(1)识别该图像是否包含违禁品；(2)识别该违禁品类别。对于识别该图像是否包含交通违禁品，分别检索四张子图的类别概率向量中关于违禁品的概率值，若某一张子图中存在涉及违禁品的概率值且概率值大于指定阈值，则判定该图像中含有交通违禁物品；进一步地，累加4张子图的类别概率向量，选择涉及违禁物品的最高概率值对应的类别作为最终的输出类别。类别计算方法如公式(11)所示。
其中，Vl{c1，c2，...，cq}表示第1个子图的类别概率向量，cq表示属于类别q的概率，C表示输入待识别图像最终的类别。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (2)
1.一种基于自衰减权重和多局部约束的交通违禁品识别方法，其特征在于，包括以下步骤：
Step1原始数据准备
针对相关法律明令禁止携带的10大类交通违禁物品，选择10类生活中常见的交通违禁品，通过互联网进行图像检索并结合部分来自公安***的交通违禁物品图像，共同组成原始的数据集；
Step2数据预处理
将Step1中搜集的图像统一缩放到128*128大小，将彩色图像转化为灰度图像，对灰度图像进行归一化处理；
Step3数据集制作
针对Step2预处理后的数据进行人工分类，将人工分类信息作为网络训练的类别监督信息；整个数据集包括训练集和测试集两部分，每部分由预处理后的图片和对应的标签信息组成；
Step4违禁物品分类网络构建
使用经典LeNet-5网络结构作为违禁物品分类网络的结构；对LeNet-5网络输出的不同层卷积特征，按照自上而下、由深层向浅层的方向引入自衰减权重融合特征；
Step5违禁物品分类模型训练
使用网络结构和特征学习方法进行特征学习，将学习的特征送入分类器结合原始的人工标记信息对分类器进行训练；模型的训练分为前向传播和后向传播两个部分；前向阶段：首先从交通违禁物品训练集中选择一小批数据输入网络，然后根据网络的数据流传播计算对应所属的实际交通违禁物品种类；后向阶段：网络的实际输出与理想输出存在误差，对误差函数求各个偏置和权值的偏导数，从而使误差沿着降速最快的方向调整各个权值和偏置；
Step6交通违禁物品图像的识别
在模型训练完成的基础上保存网络模型参数，将待识别的交通违禁物品图像经预处理之后，输入到网络模型中进行交通违禁物品图像识别；为了保证识别精度，在识别时基于多局部约束计算最后的分类结果；具体地，将待测试图像切分为若干部分后分别通过Softmax分类器计算其对应于某一种类的概率，叠加所有部分的类别概率向量，选择概率和最大的类别作为最终的类别；
所述Step4具体包括以下内容：
Step4-1使用经典LeNet-5网络结构作为违禁物品分类网络的基础结构；LeNet-5是卷积神经网络；Convolutional Neural Networks,CNN；的一种代表性模型，该模型最初针对手写字体识别提出，包括有卷积层、池化层、连接层和输出层，每层包含多个相互独立的神经单元；经典的LeNet-5网络共包括7层，卷积层C1、C3、C5均使用5*5的卷积核，池化层S2、S4均使用大小为2*2模板进行平均池化，F6全连接层包括84个神经元节点，计算C5输出向量和权重向量之间的点积，OUTPUT层由一个全连接层构成，包括10个节点，采用径向欧式距离函数Euclidean Radial Basis Function的网络连接方式，RBF的计算方法如公式(1)所示；
yi＝∑j(xj-wij)2 (1)
其中，yi表示输出层第i个的输出，xj表示F6层第j个节点的值，wij表示第i节点的输出与F6层第j个节点输入值间的连接权重；
Step4-2改进LeNet-5网络
为了更好的提取图像的低阶特征和有效的传递误差梯度，本申请对LeNet-5的特征学***均池化MeanPooling方法；通过使用最大池化，避免了在平均池化过程中出现模糊化效果；
Step4-3特征金字塔
利用卷积神经网络本身的特性，即对原始图像进行卷积和池化操作获得不同尺寸的特征图featuremap，在图像的特征空间中构造特征金字塔，并将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行融合，使得融合后的特征是丰富的，即一方面具有浅层的空间信息又具有深层的语义信息；
特征融合时对不同卷积层输出的特征图(feature map)按由深层到浅层的方向，结合自衰减权重进行横向连接(lateral connections)；具体而言，对更抽象、语义更强的深层特征图进行上采样，然后为该特征赋予新的权重后横向连接(lateral connections)至相邻的浅一层特征；为了利用底层的定位细节信息，横向连接时两层特征在空间尺寸上要相同；因此为了保证深、低层特征之间的卷积通道数相同，对浅层特征首先经过1*1的卷积；其次使用最邻近上采样法将深层特征做2倍上采样；计算方法是公式(2)所示：
其中，Sk分别表示第k层卷积层输出的特征矩阵，n表示整个网络中卷积层的个数，f()表示使用最邻近插值进行2倍上采样计算，A1*1表示大小为1*1的卷积核，表示自注意力权重衰减系数，Sk'表示使用自衰减权重加权计算后的将传递到相邻的前一层特征进行融合计算的第k层特征矩阵；
将所有卷积层输出并基于公式(2)使用自衰减权重系数加权计算后的特征矩阵做像素间的加法运算，特征金字塔构造时迭代的重复上述过程，直至生成最精细的特征图，即所有卷积层的特征均融合到一个特征图中；对于迭代完毕后输出的融合特征，为了消除深层特征在上采样时存在的混叠效应，使用3*3的卷积核对加法运算后特征进行卷积运算，此时得到最后的融合特征；特征融合的计算方法如公式(3)所示：
其中，Sk'和表示第k层卷积层输出的特征矩阵，n表示整个网络中卷积层的个数，和A3*3表示大小为3*3的卷积核，Fn表示由n层卷积特征融合后输出的特征矩阵；特征金字塔构造时迭代的重复上述过程，直至生成最精细的特征图，即所有卷积层的特征均融合到一个特征图中；对于迭代完毕后输出的融合特征，为了消除深层特征在上采样时存在的混叠效应，使用3*3的卷积核对加法运算后特征进行卷积运算，此时得到最后的融合特征；基于上述学习到的特征进行分类，训练交通违禁物品自动识别模型；
所述Step5的模型训练过程中的自适应的自衰减权重系数的确定具体包括以下内容：
Step5-1自适应自衰减权重系数确定
引入自适应自衰减权重系数来量化的为每一层特征图赋予权重，即自衰减权重系数在训练过程中不断变化，通过交通违禁品识别模型的精度反向的调节自衰减权重系数；公式(2)中的自衰减权重系数的自适应计算方法如公式(4)所示；
其中，θ为自适应变化系数，描述的是训练过程中每一次迭代过程中的变化情况；当自衰减权重小于0.2时，θ的值为0.01；当自衰减权重大于等于0.2时，θ的值下降一个数量级变为0.001；
Step5-2前向训练过程
前向传播过程中，交通违禁物品图像经过Step4操作，得到所需特征图，特征图通过全连接层被转换为一维特征向量，最后再通过Softmax分类器进行识别；网络输出层的每一个神经元的输出值对应于输入图像属于各类交通违禁品图像的概率大小，表达式为如公式(5)所示：
其中，表示前一层的输出特征向量；Wij表示第i节点的输出与F6层第j个节点输入值间的连接权重；bk表示输出层第k个输出的偏置；Yk表示输出层中第k个输出；g()表示非线性激励函数；
Step5-3反向训练过程
反向传播的思想是将训练网络的实际输出结果与输入理想结果之间所存在的误差进行反向传播；反向传播的目的是使误差达到最小，根据误差函数E来对权值参数w、偏置参数b的梯度进行调整；
对于有M个输出类别和N个训练样本的多分类问题，使用的误差函数计算方法如公式(6)所示：
其中，表示第n个样本中第u类对应的分类标签；/>为网络输出层实际输出向量；在反向传播过程中，根据随机梯度下降法调整权值和偏置，计算方法如公式(7)-(10)所示：
Wij(v+1)＝Wij(v)+ΔWij(v) (8)
bj(v+1)＝bj(v)+Δbj(v) (10)
其中，ΔWij、Δbj分别表示权值和偏置的变化值；Wij、bj分别表示权值和偏置变化后的值；v表示训练时的迭代次数；β表示学习率；α表示动量因子。
2.根据权利要求1所述的一种基于自衰减权重和多局部约束的交通违禁品识别方法，其特征在于设计局部多约束的策略计算最终的类别；所述Step6具体包括以下内容：
Step6-1基于局部多约束的识别
直接对输入图像进行分类虽然简单快捷，但是实际应用中违禁品存在尺寸跨越大且隐蔽性相对较高的特点，模型很可能小概率的出现漏检部分图像边缘的违禁品；因此设计局部多约束的策略计算最终的类别；具体地，对于输入的一张待识别交通违禁品图像，首先对其按长、宽2等分的尺度切分为4个子图，分别将子图输入分类模型获取一组4张子图的类别概率向量，这保证模型能够充分的感知图像各个局部；
在计算某一张图像中包含的违禁品类别时，其具体分为两个步骤：(1)识别该图像是否包含违禁品；(2)识别该违禁品类别；对于识别该图像是否包含交通违禁品，分别检索四张子图的类别概率向量中关于违禁品的概率值，若某一张子图中存在涉及违禁品的概率值且概率值大于指定阈值，则判定该图像中含有交通违禁物品；进一步地，累加4张子图的类别概率向量，选择涉及违禁物品的最高概率值对应的类别作为最终的输出类别；类别计算方法如公式(11)所示：
其中，Vl{c1,c2,…,cq}表示第l个子图的类别概率向量，cq表示属于类别q的概率，C表示输入待识别图像最终的类别。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910537282.1A CN110097145A (zh) | 2019-06-20 | 2019-06-20 | 一种基于cnn和特征金字塔的交通违禁品识别方法 |
| CN2019105372821 | 2019-06-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717553A CN110717553A (zh) | 2020-01-21 |
| CN110717553B true CN110717553B (zh) | 2023-08-04 |
Family
ID=67451060
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910537282.1A Pending CN110097145A (zh) | 2019-06-20 | 2019-06-20 | 一种基于cnn和特征金字塔的交通违禁品识别方法 |
| CN201911086156.5A Active CN110717553B (zh) | 2019-06-20 | 2019-11-08 | 一种基于自衰减权重和多局部约束的交通违禁品识别方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910537282.1A Pending CN110097145A (zh) | 2019-06-20 | 2019-06-20 | 一种基于cnn和特征金字塔的交通违禁品识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110097145A (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428875A (zh) * | 2020-03-11 | 2020-07-17 | 北京三快在线科技有限公司 | 图像识别方法、装置及相应模型训练方法、装置 |
| CN111738186B (zh) * | 2020-06-28 | 2024-02-02 | 香港中文大学（深圳） | 目标定位方法、装置、电子设备及可读存储介质 |
| CN111899220A (zh) * | 2020-06-29 | 2020-11-06 | 北京航空航天大学 | 一种违禁物品检测方法 |
| CN112215095A (zh) * | 2020-09-24 | 2021-01-12 | 西北工业大学 | 违禁品检测方法、装置、处理器和安检*** |
| CN112329535B (zh) * | 2020-09-29 | 2023-03-24 | 国网四川省电力公司经济技术研究院 | 基于cnn的电力***低频振荡模态特征的快速辨识方法 |
| CN112465057B (zh) * | 2020-12-08 | 2023-05-12 | 中国人民解放军空军工程大学 | 一种基于深度卷积神经网络的目标检测识别方法 |
| CN112580474B (zh) * | 2020-12-09 | 2021-09-24 | 云从科技集团股份有限公司 | 基于计算机视觉的目标对象检测方法、***、设备及介质 |
| CN112633169B (zh) * | 2020-12-23 | 2023-05-30 | 西安建筑科技大学 | 一种基于改进型LeNet-5网络的行人识别算法 |
| CN112668695A (zh) * | 2020-12-24 | 2021-04-16 | 合肥学院 | 一种用于CNN硬件加速的改进型LeNet-5模型 |
| CN112884755B (zh) * | 2021-03-11 | 2023-07-04 | 北京理工大学 | 违禁品的检测方法及装置 |
| CN112906829B (zh) * | 2021-04-13 | 2022-11-08 | 成都四方伟业软件股份有限公司 | 一种基于Mnist数据集的数字识别模型构建方法及装置 |
| CN113326753B (zh) * | 2021-05-20 | 2022-04-19 | 同济大学 | 一种针对重叠问题的x射线安检违禁品检测方法 |
| CN113239899B (zh) * | 2021-06-17 | 2024-05-28 | 阿波罗智联(北京)科技有限公司 | 用于处理图像和生成卷积核的方法、路侧设备和云控平台 |
| CN117765378B (zh) * | 2024-02-22 | 2024-04-26 | 成都信息工程大学 | 多尺度特征融合的复杂环境下违禁物品检测方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991382A (zh) * | 2017-03-13 | 2017-07-28 | 南京信息工程大学 | 一种遥感场景分类方法 |
| CN108519625A (zh) * | 2018-04-08 | 2018-09-11 | 安徽理工大学 | 基于射线技术与深度学习的可识别违禁物品安检*** |
| CN108550130A (zh) * | 2018-04-23 | 2018-09-18 | 南京邮电大学 | 一种图像金字塔模型的多尺度透射图融合方法 |
| CN109784203A (zh) * | 2018-12-24 | 2019-05-21 | 中国科学院大学 | 基于分层传播和激活的弱监督x光图像违禁品检查方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206192923U (zh) * | 2016-10-27 | 2017-05-24 | 中云智慧（北京）科技有限公司 | 一种基于云计算的x射线违禁品检测*** |
| CN109740588B (zh) * | 2018-12-24 | 2020-06-09 | 中国科学院大学 | 基于弱监督和深度响应重分配的x光图片违禁品定位方法 |
| CN109800764A (zh) * | 2019-01-21 | 2019-05-24 | 中国民航大学 | 一种基于注意力机制的机场x光违禁品图像检测方法 |
-
2019
- 2019-06-20 CN CN201910537282.1A patent/CN110097145A/zh active Pending
- 2019-11-08 CN CN201911086156.5A patent/CN110717553B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991382A (zh) * | 2017-03-13 | 2017-07-28 | 南京信息工程大学 | 一种遥感场景分类方法 |
| CN108519625A (zh) * | 2018-04-08 | 2018-09-11 | 安徽理工大学 | 基于射线技术与深度学习的可识别违禁物品安检*** |
| CN108550130A (zh) * | 2018-04-23 | 2018-09-18 | 南京邮电大学 | 一种图像金字塔模型的多尺度透射图融合方法 |
| CN109784203A (zh) * | 2018-12-24 | 2019-05-21 | 中国科学院大学 | 基于分层传播和激活的弱监督x光图像违禁品检查方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717553A (zh) | 2020-01-21 |
| CN110097145A (zh) | 2019-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717553B (zh) | 一种基于自衰减权重和多局部约束的交通违禁品识别方法 | |
| CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
| CN106295601B (zh) | 一种改进的安全带检测方法 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN108052911A (zh) | 基于深度学习的多模态遥感影像高层特征融合分类方法 | |
| CN108171136A (zh) | 一种多任务卡口车辆以图搜图的***及方法 | |
| CN102915445A (zh) | 一种改进型的神经网络高光谱遥感影像分类方法 | |
| CN111967480A (zh) | 基于权重共享的多尺度自注意力目标检测方法 | |
| Aditya et al. | Batik classification using neural network with gray level co-occurence matrix and statistical color feature extraction | |
| CN114821164A (zh) | 基于孪生网络的高光谱图像分类方法 | |
| CN112766161B (zh) | 基于集成约束多示例学习的高光谱目标检测方法 | |
| US20210097344A1 (en) | Target identification in large image data | |
| CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及*** | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| CN111242046A (zh) | 一种基于图像检索的地面交通标志识别方法 | |
| CN113436174A (zh) | 一种人脸质量评估模型的构建方法及应用 | |
| CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
| CN109558803B (zh) | 基于卷积神经网络与np准则的sar目标鉴别方法 | |
| Kalvankar et al. | Galaxy morphology classification using efficientnet architectures | |
| Jangblad | Object detection in infrared images using deep convolutional neural networks | |
| Zhao et al. | Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network. | |
| Tsoi et al. | Traffic signal classification with cost-sensitive deep learning models | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s | |
| Yaman et al. | Image processing and machine learning‐based classification method for hyperspectral images | |
| Astsatryan et al. | Astronomical objects classification based on the Digitized First Byurakan Survey low-dispersion spectra |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |