CN111540203B - 基于Faster-RCNN调节绿灯通行时间的方法 - Google Patents

基于Faster-RCNN调节绿灯通行时间的方法 Download PDF

Info

Publication number
CN111540203B
CN111540203B CN202010361892.3A CN202010361892A CN111540203B CN 111540203 B CN111540203 B CN 111540203B CN 202010361892 A CN202010361892 A CN 202010361892A CN 111540203 B CN111540203 B CN 111540203B
Authority
CN
China
Prior art keywords
network
rcnn
fast
training
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010361892.3A
Other languages
English (en)
Other versions
CN111540203A (zh
Inventor
周武能
廖凯立
黄建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Nuclear Furstate Software Technology Co ltd
Donghua University
Original Assignee
Shanghai Nuclear Furstate Software Technology Co ltd
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Nuclear Furstate Software Technology Co ltd, Donghua University filed Critical Shanghai Nuclear Furstate Software Technology Co ltd
Priority to CN202010361892.3A priority Critical patent/CN111540203B/zh
Publication of CN111540203A publication Critical patent/CN111540203A/zh
Application granted granted Critical
Publication of CN111540203B publication Critical patent/CN111540203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于Faster‑RCNN调节绿灯通行时间的方法，步骤如下：(1)构建等待车辆识别模型；首先进行特征提取得到特征图，然后提取候选区域得到带有大小不一候选框的特征图，接着映射得到小特征图，最后对小特征图进行全连接操作得到带识别框的车辆情况监控图；(2)训练等待车辆识别模型；首先建立训练集，然后训练特征提取网络，接着共享Fast‑RCNN网络和RPN网络参数，最后进行模型剪枝；(3)采集交通路口视频中红灯倒数20～40s时的车辆情况监控图，并将其输入到等待车辆识别模型中，由其输出带识别框的车辆情况监控图，通过统计识别框的数量统计等待车辆数量，根据等待车辆数量调节绿灯通行时间。本发明的模型结构简单，方法耗时较短，能够实现自适应性配时。

Description

基于Faster-RCNN调节绿灯通行时间的方法
技术领域
本发明属于多目标识别技术领域，涉及一种基于Faster-RCNN调节绿灯通行时间的方法。
背景技术
目前的红绿灯配时都是固定的，这会导致绿灯时间在某种情况下会过短导致放行不完全或者过长使其他方向车辆等待时间过久从而造成拥堵。目前有两种解决方法，一种是对该路口的车流量预测再配时，第二种是根据当前路口等待车辆的数量进行自适应性配时。两种方法相比，根据当前路口等待车辆的自适应性配时虽然对技术和处理设备的要求更高，但更有助于缓解交通拥堵情况。
对于等待红灯的车辆，可以建模为静止状态下的车辆检测，而由于红绿灯配时是一个实时性问题，对每一次红灯状况下的等待车辆数量都需要统计，因此加快算法效率十分必要。当算法处理速度足够快时，可以满足实时检测的要求。
对静止的多目标检测问题可以用深度学习方法处理。卷积神经网络(CNN)一般用于图像处理，通过卷积层学习到图像中的特征从而进行识别。但CNN网络在模型训练的速度上比较缓慢，同时难以表达数据之间的时间相关性，在此基础上，改进的区域卷积神经网络(RCNN)能够弥补时间相关性的问题。
在对铁轨损伤的检测研究中发现，传统的RCNN算法由于对每个region proposals都做一次CNN计算，因此计算量过大；在布匹瑕疵检测中发现，改进的Fast-RCNN用selective search将候选框选择出来，将候选区域在feature map上选出来，这样避免了对每个候选区域重复计算的问题，提高了计算速度，但是也带来了第三方工具selectivesearch用以提取feature map的问题，由于selective search是第三方工具，经测试表明，在cpu上，selective search提取候选区域需要2s，因此增加了识别的时间。
发明内容
本发明的目的是解决现有技术中存在的问题，提供一种耗时较短的基于Faster-RCNN调节绿灯通行时间的方法。针对固定的红绿灯配时会降低交通通行效率，本发明一种基于识别、统计等待车辆的算法进行自适应性配时；针对传统的RCNN网络和Fast-RCNN存在的识别算法耗时长、调用第三方软件耗时长的问题，本发明结合识别等待车辆的特殊应用背景，发明一种基于Faster-RCNN算法并使用模型剪枝优化的红灯等待车辆统计方法。
为达到上述目的，本发明采用的技术方案如下：
基于Faster-RCNN调节绿灯通行时间的方法，步骤如下：
(1)构建等待车辆识别模型；
(1.1)特征提取；
将车辆情况监控图输入到特征提取网络中，由其输出特征图；
(1.2)提取候选区域；
将特征图作为Faster-RCNN网络中RPN网络的输入，由RPN网络生成锚框对特征图进行判断，同时对锚框自身进行修正，输出带有大小不一候选框的特征图，候选框为候选区域内判定“是车辆”的锚框；
(1.3)映射；
由于全连接层需要尺寸一样的候选框，采用感兴趣区域池化层(Region ofinterest pooling,ROI Pooling)将候选框映射到(1.2)获得的特征图上，感兴趣区域池化层通过设定固定尺度计算出每一次采样的网格大小，然后最大值采样，将任何有效的感兴趣区域内的特征转换为具有H×W的固定空间范围的小特征图(小特征图是特征图的子图，只要比原特征图小且确保每个特征图ROI之后的小特征图大小相同即可)；
(1.4)识别车辆；
对感兴趣区域池化层所形成的小特征图进行全连接操作得到带识别框的车辆情况监控图(候选框和识别框不是一个概念，特征图上的候选框可能是一辆车的某个部分，识别框是一辆车对应一个框)，在分类的同时完成对边框的分类操作，从而获得车辆的定位，即形成基于Faster-RCNN的等待车辆识别模型；
(2)训练等待车辆识别模型；
(2.1)建立训练集；
获取用于车辆检测的训练集，采用人工标注标签的方式，将训练集中的训练样本分为2类：“是车辆”和“不是车辆”，标签为“是车辆”的训练样本中含有一辆汽车，标签为“不是车辆”的训练样本中包含除车辆外其他种类的物体；
(2.2)训练特征提取网络；
(2.3)共享Fast-RCNN网络和RPN网络参数；
(2.3.1)利用VGG-16卷积神经网络对Fast-RCNN网络和RPN网络的卷积层参数进行初始化，记包含了权重和偏置在内的初始化参数为W0；
(2.3.2)以W0为参数，以特征图为输入，训练RPN网络，得到候选区域；
(2.3.3)以候选区域作为输入，以带候选框的特征图作为理论输出训练一个Fast-RCNN网络，将此时的Fast-RCNN网络的参数记为W1，至此，两个网络每一层的参数完全不共享；
(2.3.4)使用W1初始化一个新的RPN网络，同时把新的RPN网络、Fast-RCNN网络共享的特征提取网络参数的学习率设为0，即仅学习新的RPN网络所特有的参数，固定特征提取网络，至此，两个网络己经共享了所有公共的卷积层；
(2.3.5)仍然固定共享的卷积层，把Fast-RCNN网络特有的网络层也加入进来，继续训练，微调Fast-RCNN网络特有的网络层，使RPN网络与Fast-RCNN网络完全共享参数；
(2.4)模型剪枝；
模型剪枝是一种模型压缩方法，对深度神经网络的稠密连接引入稀疏性，通过将“不重要”的权值直接置零来减少非零权值数量，模型剪枝分为基于幅值的剪枝和基于通道的剪枝，在本发明中，采用基于幅值的剪枝；
使用Hessian矩阵计算特征提取网络和Faster-RCNN网络中的每个权值的重要性，Hessian矩阵H(f)的表达式如下：
Figure BDA0002475271020000031
式中，x1～xn为第1个至第n个神经元的权值，f为特征提取网络或Faster-RCNN网络中的损失函数，n为特征提取网络或Faster-RCNN网络中神经元的个数；
将重要性最低的权值置零，重新进行步骤(2.2)～(2.3)，即完成基于Faster-RCNN的等待车辆识别模型的训练；
(3)采集交通路口视频中红灯倒数20～40s时的车辆情况监控图(根据路口繁忙程度采集道路繁忙程度就是整体交通流的大小，比如商圈附近的繁忙程度就会比住宅区的要大，繁忙程度越大，就取倒计时越靠后的时间比如倒数20s，繁忙程度低的就取倒数40s)，并将其输入到等待车辆识别模型中，由其输出带识别框的车辆情况监控图，通过统计识别框的数量统计等待车辆数量，根据等待车辆数量调节绿灯通行时间。
作为优选的技术方案：
如上所述的基于Faster-RCNN调节绿灯通行时间的方法，特征提取网络为VGG-16卷积神经网络，VGG-16卷积神经网络中conv1、conv2学习一些基本特征，例如颜色、边缘等低层特征，conv3学习复杂的纹理特征，例如一些网格纹理，conv4学习比较有区别性的特征，例如车身等部位，conv5学习完整的、具有辨别性的关键特征，池化层采用最大值池化，神经网络中的激活函数选用Relu函数。
如上所述的基于Faster-RCNN调节绿灯通行时间的方法，训练特征提取网络的具体过程为：输入带标签的训练样本，通过卷积-池化-全连接操作后，使用Softmax分类器对所有的训练样本进行分类，将分类的结果与建立训练集时的分类结果进行对比，通关反向传播和梯度下降算法调节VGG-16卷积神经网络的权重和偏置，直到损失函数最小或训练达到一定次数，其中，Softmax分类器所做的概率性预测hθ(xi)和损失函数Loss如下：
Figure BDA0002475271020000041
Figure BDA0002475271020000042
式中，xi为输入数据，i为输入数据的索引，C为输入数据分类的类别数，yi为对应输入数据xi的预测类别，θ1、θ2、…、θc为Softmax分类器对应的分类参数，N为训练样本的总数，Yi为xi的类别标注。
如上所述的基于Faster-RCNN调节绿灯通行时间的方法，训练达到一定次数是指训练达到55000～70000次。
如上所述的基于Faster-RCNN调节绿灯通行时间的方法，RPN网络的损失函数如下：
Figure BDA0002475271020000043
Figure BDA0002475271020000044
Figure BDA0002475271020000045
式中，pi表示第i个锚为检测目标的概率，若这个锚是正样本，则
Figure BDA0002475271020000046
否则
Figure BDA0002475271020000047
R(x)表示smooth L1函数，其中x表示自变量；ti表示锚到边界框x的坐标；
Figure BDA0002475271020000048
表示锚的真实坐标；
Figure BDA0002475271020000049
表示目标与非目标的对数损失；
Figure BDA00024752710200000410
表示回归损失；Ncls和Nreg用来标准化两个损失项；λ是权重参数；L为RPN的损失函数。
如上所述的基于Faster-RCNN调节绿灯通行时间的方法，提取候选区域的过程具体如下：
(1.2.1)记原始图片中每个像素点为一个锚点，在特征图上以对应锚点为中心，形成长宽比为1:1、1:2或2:1同时短边长为1、2或4的9种尺寸的锚框；
(1.2.2)使用一个全连接层判断锚框中目标(即锚框框选住的区域)是否为车辆；
(1.2.3)使用另一个全连接层，对锚框进行修正以生成更准确的建议，包括验证锚框内是否为车辆以及调节锚框大小使每个锚框内仅一辆车辆，将调节之后的锚框定为候选框。
如上所述的基于Faster-RCNN调节绿灯通行时间的方法，训练集中训练样本的数量为5000～6000。
如上所述的基于Faster-RCNN调节绿灯通行时间的方法，根据等待车辆数量调节绿灯通行时间即先根据等待车辆数量计算绿灯通行时间，再调节交通灯控制程序，修改绿灯通行时间，计算公式如下：
t＝ts+μ*n；
式中，t为绿灯通行时间，单位为s；ts为车辆启动延迟时间，单位为s；μ为一辆车通过路口的时间，单位为s；n为等待车辆数量。
有益效果：
(1)本发明将RCNN网络中的region proposals改进为使用RPN生成候选框，不仅省去了第三方工具selective search的步骤，而且可以大量减少冗余框的生成；
(2)本发明使用模型剪枝对训练好的模型进行剪枝优化，缩小模型的复杂度，提高了模型的应用性。
附图说明
图1为基于Faster-RCNN调节绿灯通行时间的方法的流程图；
图2为纵向边缘检测示意图；
图3为RPN网络的结构示意图。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
基于Faster-RCNN调节绿灯通行时间的方法，如图1所示，步骤如下：
(1)构建等待车辆识别模型；
(1.1)特征提取；
将车辆情况监控图输入到特征提取网络中，由其输出特征图；
特征提取网络为VGG-16卷积神经网络，VGG-16卷积神经网络中conv1、conv2学习一些基本特征，例如颜色、边缘等低层特征，conv3学习复杂的纹理特征，例如一些网格纹理，conv4学习比较有区别性的特征，例如车身等部位，conv5学习完整的、具有辨别性的关键特征，池化层采用最大值池化，神经网络中的激活函数选用Relu函数；
如图2所示，以简单的纵向边缘为例，当待检测的图像像素值分布如6*6的方格所示，检测纵向边缘的滤波器选用Prewitt算子，经过卷积运算之后会得到一个4*4的像素框，在这个4*4的像素框内，可以看到有很明显的垂直边缘，由于举例所用的6*6图像太小导致输出的垂直边缘比例发生失真，但是当待检测图像增大时，边缘检测的图像效果就非常真实，其他的边缘特征和颜色特征的检测也是类似，只是更改滤波器中的权值，当低层特征检测完之后，通过不同特征之间的组合可以形容具有代表性的复杂纹理特征，即后面几层卷积层的工作；
(1.2)提取候选区域；
将特征图作为Faster-RCNN网络中RPN网络(结构如图3所示)的输入，由RPN网络生成锚框对特征图进行判断，同时对锚框自身进行修正，输出带有大小不一候选框的特征图，候选框为候选区域内判定“是车辆”的锚框；具体如下：
(1.2.1)记原始图片中每个像素点为一个锚点，在特征图上以对应锚点为中心，形成长宽比为1:1、1:2或2:1同时短边长为1、2或4的9种尺寸的锚框；
(1.2.2)使用一个全连接层判断锚框中目标(即锚框框选住的区域)是否为车辆；
(1.2.3)使用另一个全连接层，对锚框进行修正以生成更准确的建议，包括验证锚框内是否为车辆以及调节锚框大小使每个锚框内仅一辆车辆，将调节之后的锚框定为候选框；
RPN网络的损失函数如下：
Figure BDA0002475271020000061
Figure BDA0002475271020000062
Figure BDA0002475271020000063
式中，pi表示第i个锚为检测目标的概率，若这个锚是正样本，则
Figure BDA0002475271020000064
否则
Figure BDA0002475271020000065
R(x)表示smooth L1函数，其中x表示自变量；ti表示锚到边界框x的坐标；
Figure BDA0002475271020000066
表示锚的真实坐标；
Figure BDA0002475271020000067
表示目标与非目标的对数损失；
Figure BDA0002475271020000068
表示回归损失；Ncls和Nreg用来标准化两个损失项；λ是权重参数；L为RPN的损失函数；
(1.3)映射；
由于全连接层需要尺寸一样的候选框，采用感兴趣区域池化层(Region ofinterest pooling,ROI Pooling)将候选框映射到(1.2)获得的特征图上，感兴趣区域池化层通过设定固定尺度计算出每一次采样的网格大小，然后最大值采样，将任何有效的感兴趣区域内的特征转换为具有H×W的固定空间范围的小特征图(小特征图是特征图的子图，只要比原特征图小且确保每个特征图ROI之后的小特征图大小相同即可)；
(1.4)识别车辆；
对感兴趣区域池化层所形成的小特征图进行全连接操作得到带识别框的车辆情况监控图(候选框和识别框不是一个概念，特征图上的候选框可能是一辆车的某个部分，识别框是一辆车对应一个框)，在分类的同时完成对边框的分类操作，从而获得车辆的定位，即形成基于Faster-RCNN的等待车辆识别模型；
(2)训练等待车辆识别模型；
(2.1)建立训练集；
获取用于车辆检测的训练集，采用人工标注标签的方式，将训练集中的训练样本(数量为5000～6000)分为2类：“是车辆”和“不是车辆”，标签为“是车辆”的训练样本中含有一辆汽车，标签为“不是车辆”的训练样本中包含除车辆外其他种类的物体；
(2.2)训练特征提取网络；
输入带标签的训练样本，通过卷积-池化-全连接操作后，使用Softmax分类器对所有的训练样本进行分类，将分类的结果与建立训练集时的分类结果进行对比，通关反向传播和梯度下降算法调节VGG-16卷积神经网络的权重和偏置，直到损失函数最小或训练达到一定次数(训练达到55000～70000次)，其中，Softmax分类器所做的概率性预测hθ(xi)和损失函数Loss如下：
Figure BDA0002475271020000071
Figure BDA0002475271020000072
式中，xi为输入数据，i为输入数据的索引，C为输入数据分类的类别数，yi为对应输入数据xi的预测类别，θ1、θ2、…、θc为Softmax分类器对应的分类参数，N为训练样本的总数，Yi为xi的类别标注；
(2.3)共享Fast-RCNN网络和RPN网络参数；
(2.3.1)利用VGG-16卷积神经网络对Fast-RCNN网络和RPN网络的卷积层参数进行初始化，记包含了权重和偏置在内的初始化参数为W0；
(2.3.2)以W0为参数，以特征图为输入，训练RPN网络，得到候选区域；
(2.3.3)以候选区域作为输入，以带候选框的特征图作为理论输出训练一个Fast-RCNN网络，将此时的Fast-RCNN网络的参数记为W1，至此，两个网络每一层的参数完全不共享；
(2.3.4)使用W1初始化一个新的RPN网络，同时把新的RPN网络、Fast-RCNN网络共享的特征提取网络参数的学习率设为0，即仅学习新的RPN网络所特有的参数，固定特征提取网络，至此，两个网络己经共享了所有公共的卷积层；
(2.3.5)仍然固定共享的卷积层，把Fast-RCNN网络特有的网络层也加入进来，继续训练，微调Fast-RCNN网络特有的网络层，使RPN网络与Fast-RCNN网络完全共享参数；
(2.4)模型剪枝；
模型剪枝是一种模型压缩方法，对深度神经网络的稠密连接引入稀疏性，通过将“不重要”的权值直接置零来减少非零权值数量，模型剪枝分为基于幅值的剪枝和基于通道的剪枝，在本发明中，采用基于幅值的剪枝；
使用Hessian矩阵计算特征提取网络和Faster-RCNN网络中的每个权值的重要性，Hessian矩阵H(f)的表达式如下：
Figure BDA0002475271020000081
式中，x1～xn为第1个至第n个神经元的权值，f为特征提取网络或Faster-RCNN网络中的损失函数，n为特征提取网络或Faster-RCNN网络中神经元的个数；
将重要性最低的权值置零，重新进行步骤(2.2)～(2.3)，即完成基于Faster-RCNN的等待车辆识别模型的训练；
(3)采集交通路口视频中红灯倒数20～40s时的车辆情况监控图(根据路口繁忙程度采集道路繁忙程度就是整体交通流的大小，比如商圈附近的繁忙程度就会比住宅区的要大，繁忙程度越大，就取倒计时越靠后的时间比如倒数20s，繁忙程度低的就取倒数40s)，并将其输入到等待车辆识别模型中，由其输出带识别框的车辆情况监控图，通过统计识别框的数量统计等待车辆数量，根据等待车辆数量调节绿灯通行时间，即先根据等待车辆数量计算绿灯通行时间，再调节交通灯控制程序，修改绿灯通行时间，计算公式如下：
t＝ts+μ*n；
式中，t为绿灯通行时间，单位为s；ts为车辆启动延迟时间，单位为s；μ为一辆车通过路口的时间，单位为s；n为等待车辆数量。
本发明的核心是提供一种基于Faster-RCNN的识别模型，调节绿灯通行时间仅仅为其中一个应用示例，本发明还将基于Faster-RCNN的识别模型与现有技术(基于RCNN的识别模型和基于SPP-NET的识别模型)进行了比较，以自然场景中摄像头捕捉到的人物相关图像作为训练集的目标检测***中，对5000张图像的训练集，基于RCNN的识别模型耗时37.5h，基于SPP-NET的识别模型耗时4.6h，基于Faster-RCNN的识别模型仅耗时1.6h，且基于Faster-RCNN的识别模型的正确率也非常高，在马铃薯芽眼和人脸识别里的实验表明，基于Faster-RCNN的识别模型的识别精度达到96.32％和89.0％，比现有技术提升了4.65％和3.4％左右。

Claims (7)

1.基于Faster-RCNN调节绿灯通行时间的方法，其特征是，步骤如下：
(1)构建等待车辆识别模型；
(1.1)特征提取；
将车辆情况监控图输入到特征提取网络中，由其输出特征图；
(1.2)提取候选区域；
将特征图作为Faster-RCNN网络中RPN网络的输入，由RPN网络生成锚框对特征图进行判断，同时对锚框自身进行修正，输出带有大小不一候选框的特征图，候选框为候选区域内判定“是车辆”的锚框；
(1.3)映射；
采用感兴趣区域池化层(Region of interest pooling,ROI Pooling)将候选框映射到(1.2)获得的特征图上，感兴趣区域池化层通过设定固定尺度计算出每一次采样的网格大小，然后最大值采样，将任何有效的感兴趣区域内的特征转换为具有H×W的固定空间范围的小特征图；
(1.4)识别车辆；
对小特征图进行全连接操作得到带识别框的车辆情况监控图，在分类的同时完成对边框的分类操作，从而获得车辆的定位，即形成基于Faster-RCNN的等待车辆识别模型；
(2)训练等待车辆识别模型；
(2.1)建立训练集；
获取用于车辆检测的训练集，采用人工标注标签的方式，将训练集中的训练样本分为2类：“是车辆”和“不是车辆”，标签为“是车辆”的训练样本中含有一辆汽车，标签为“不是车辆”的训练样本中包含除车辆外其他种类的物体；
(2.2)训练特征提取网络；
(2.3)共享Fast-RCNN网络和RPN网络参数；
(2.3.1)利用VGG-16卷积神经网络对Fast-RCNN网络和RPN网络的卷积层参数进行初始化，记包含了权重和偏置在内的初始化参数为W0；
(2.3.2)以W0为参数，以特征图为输入，训练RPN网络，得到候选区域；
(2.3.3)以候选区域作为输入，以带候选框的特征图作为理论输出训练一个Fast-RCNN网络，将此时的Fast-RCNN网络的参数记为W1，至此，两个网络每一层的参数完全不共享；
(2.3.4)使用W1初始化一个新的RPN网络，同时把新的RPN网络、Fast-RCNN网络共享的特征提取网络参数的学习率设为0，即仅学习新的RPN网络所特有的参数，固定特征提取网络，至此，两个网络己经共享了所有公共的卷积层；
(2.3.5)仍然固定共享的卷积层，把Fast-RCNN网络特有的网络层也加入进来，继续训练，微调Fast-RCNN网络特有的网络层，使RPN网络与Fast-RCNN网络完全共享参数；
(2.4)模型剪枝；
使用Hessian矩阵计算特征提取网络和Faster-RCNN网络中的每个权值的重要性，Hessian矩阵H(f)的表达式如下：
Figure FDA0003053114980000021
式中，x1～xn为第1个至第n个神经元的权值，f为特征提取网络或Faster-RCNN网络中的损失函数，n为特征提取网络或Faster-RCNN网络中神经元的个数；
将重要性最低的权值置零，重新进行步骤(2.2)～(2.3)，即完成基于Faster-RCNN的等待车辆识别模型的训练；
(3)采集交通路口视频中红灯倒数20～40s时的车辆情况监控图，并将其输入到等待车辆识别模型中，由其输出带识别框的车辆情况监控图，通过统计识别框的数量统计等待车辆数量，根据等待车辆数量调节绿灯通行时间；
所述根据等待车辆数量调节绿灯通行时间即先根据等待车辆数量计算绿灯通行时间，再调节交通灯控制程序，修改绿灯通行时间，计算公式如下：
t＝ts+μ*n；
式中，t为绿灯通行时间，单位为s；ts为车辆启动延迟时间，单位为s；μ为一辆车通过路口的时间，单位为s；n为等待车辆数量。
2.根据权利要求1所述的基于Faster-RCNN调节绿灯通行时间的方法，其特征在于，特征提取网络为VGG-16卷积神经网络，VGG-16卷积神经网络中conv1、conv2学习一些基本特征，conv3学习复杂的纹理特征，conv4学习比较有区别性的特征，conv5学习完整的、具有辨别性的关键特征，池化层采用最大值池化，神经网络中的激活函数选用Relu函数。
3.根据权利要求2所述的基于Faster-RCNN调节绿灯通行时间的方法，其特征在于，训练特征提取网络的具体过程为：输入带标签的训练样本，通过卷积-池化-全连接操作后，使用Softmax分类器对所有的训练样本进行分类，将分类的结果与建立训练集时的分类结果进行对比，通关反向传播和梯度下降算法调节VGG-16卷积神经网络的权重和偏置，直到损失函数最小或训练达到一定次数，其中，Softmax分类器所做的概率性预测hθ(xi)和损失函数Loss如下：
Figure FDA0003053114980000031
Figure FDA0003053114980000032
式中，xi为输入数据，i为输入数据的索引，C为输入数据分类的类别数，yi为对应输入数据xi的预测类别，θ1、θ2、…、θC为Softmax分类器对应的分类参数，N为训练样本的总数，Yi为xi的类别标注。
4.根据权利要求3所述的基于Faster-RCNN调节绿灯通行时间的方法，其特征在于，训练达到一定次数是指训练达到55000～70000次。
5.根据权利要求1所述的基于Faster-RCNN调节绿灯通行时间的方法，其特征在于，RPN网络的损失函数如下：
Figure FDA0003053114980000033
Figure FDA0003053114980000034
Figure FDA0003053114980000035
Figure FDA0003053114980000036
式中，pi表示第i个锚为检测目标的概率，若这个锚是正样本，则
Figure FDA0003053114980000041
否则
Figure FDA0003053114980000042
R(x)表示smooth L1函数，其中x表示自变量；ti表示锚到边界框x的坐标；
Figure FDA0003053114980000043
表示锚的真实坐标；
Figure FDA0003053114980000044
表示目标与非目标的对数损失；
Figure FDA0003053114980000045
表示回归损失；Ncls和Nreg用来标准化两个损失项；λ是权重参数；L为RPN的损失函数。
6.根据权利要求1所述的基于Faster-RCNN调节绿灯通行时间的方法，其特征在于，提取候选区域的过程具体如下：
(1.2.1)记原始图片中每个像素点为一个锚点，在特征图上以对应锚点为中心，形成长宽比为1:1、1:2或2:1同时短边长为1、2或4的9种尺寸的锚框；
(1.2.2)使用一个全连接层判断锚框中目标是否为车辆；
(1.2.3)使用另一个全连接层，对锚框进行修正以生成更准确的建议，包括验证锚框内是否为车辆以及调节锚框大小使每个锚框内仅一辆车辆，将调节之后的锚框定为候选框。
7.根据权利要求1所述的基于Faster-RCNN调节绿灯通行时间的方法，其特征在于，训练集中训练样本的数量为5000～6000。
CN202010361892.3A 2020-04-30 2020-04-30 基于Faster-RCNN调节绿灯通行时间的方法 Active CN111540203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010361892.3A CN111540203B (zh) 2020-04-30 2020-04-30 基于Faster-RCNN调节绿灯通行时间的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010361892.3A CN111540203B (zh) 2020-04-30 2020-04-30 基于Faster-RCNN调节绿灯通行时间的方法

Publications (2)

Publication Number Publication Date
CN111540203A CN111540203A (zh) 2020-08-14
CN111540203B true CN111540203B (zh) 2021-09-17

Family

ID=71970250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010361892.3A Active CN111540203B (zh) 2020-04-30 2020-04-30 基于Faster-RCNN调节绿灯通行时间的方法

Country Status (1)

Country Link
CN (1) CN111540203B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738367B (zh) * 2020-08-17 2020-11-13 成都中轨轨道设备有限公司 一种基于图像识别的零件分类方法
CN112183461A (zh) * 2020-10-21 2021-01-05 广州市晶华精密光学股份有限公司 一种车辆内部监控方法、装置、设备及存储介质
CN112819510A (zh) * 2021-01-21 2021-05-18 江阴逐日信息科技有限公司 基于服饰多属性识别的时尚趋势预测方法、***以及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446150A (zh) * 2016-09-21 2017-02-22 北京数字智通科技有限公司 一种车辆精确检索的方法及装置
CN107808126A (zh) * 2017-10-11 2018-03-16 苏州科达科技股份有限公司 车辆检索方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812B (zh) * 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
US10719743B2 (en) * 2018-01-19 2020-07-21 Arcus Holding A/S License plate reader using optical character recognition on plural detected regions
CN110147707B (zh) * 2018-10-25 2021-07-20 初速度（苏州）科技有限公司 一种高精度车辆识别方法及***
CN110490115B (zh) * 2019-08-13 2021-08-13 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN110705544B (zh) * 2019-09-05 2023-04-07 中国民航大学 基于Faster-RCNN的自适应快速目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446150A (zh) * 2016-09-21 2017-02-22 北京数字智通科技有限公司 一种车辆精确检索的方法及装置
CN107808126A (zh) * 2017-10-11 2018-03-16 苏州科达科技股份有限公司 车辆检索方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Preprocessed Faster RCNN for Vehicle Detection";Mduduzi Manana;《 2018 International Conference on Intelligent and Innovative Computing Applications (ICONIC)》;20181231;第1-4页 *
"基于改进卷积神经网络的快速车辆检测";朱锋彬;《传感器与微***》;20190112;第153-160页 *

Also Published As

Publication number Publication date
CN111540203A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111444821B (zh) 一种城市道路标志自动识别方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN110363122B (zh) 一种基于多层特征对齐的跨域目标检测方法
CN107134144B (zh) 一种用于交通监控的车辆检测方法
CN108427912B (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
Rachmadi et al. Vehicle color recognition using convolutional neural network
CN110909666B (zh) 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN112150821B (zh) 轻量化车辆检测模型构建方法、***及装置
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及***
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN107742099A (zh) 一种基于全卷积网络的人群密度估计、人数统计的方法
CN110619327A (zh) 一种复杂场景下基于深度学习的实时车牌识别方法
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN111368660A (zh) 一种单阶段半监督图像人体目标检测方法
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN112084897A (zh) 一种gs-ssd的交通大场景车辆目标快速检测方法
CN107247967A (zh) 一种基于r‑cnn的车窗年检标检测方法
CN112132839B (zh) 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN110136098B (zh) 一种基于深度学习的线缆顺序检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant