CN108256498A - 一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法 - Google Patents

一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法 Download PDF

Info

Publication number
CN108256498A
CN108256498A CN201810103573.5A CN201810103573A CN108256498A CN 108256498 A CN108256498 A CN 108256498A CN 201810103573 A CN201810103573 A CN 201810103573A CN 108256498 A CN108256498 A CN 108256498A
Authority
CN
China
Prior art keywords
training
layer
power driven
driven vehicle
non power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810103573.5A
Other languages
English (en)
Inventor
路雪
刘坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201810103573.5A priority Critical patent/CN108256498A/zh
Publication of CN108256498A publication Critical patent/CN108256498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种可以解决非机动车辆目标检测问题的方法，通过将EdgeBoxes算法融合Fast R‑CNN中的小型网络结构Caffnet得到新的网络结构，结合VOC格式的非机动车辆数据样本，对新的网络结构进行迭代训练得到非机动车辆目标检测模型，把道路交通场景中的目标检测问题实化为自行车bicycle和电动车evbike的分类问题。该方法从目标建议出发，利用深度学习思想有效克服非机动车辆外观多变带来的困难，并且可在训练数据驱动下自适应地构建特征描述，能够高效准确的检测到道路交通场景中的非机动车辆目标，使得非机动车辆目标检测更加快捷便利。

Description

一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法
技术领域
本发明涉及一种目标检测方法，具体是一种基于EdgeBoxes和Fast R-CNN的非机动车辆目标检测方法。
背景技术
道路交通图像的目标检测与识别对于完善交法交规、保障出行安全等有着重要意义。尤其是近年来，共享单车、外卖行业的迅猛发展，道路上自行车等非机动车辆激增，道路交通安全问题也越来越严峻，由于这类非机动车辆目标小、移动灵活，加之当前对该类非机动车辆目标检测的研究相对较少，交通监管面临巨大挑战。因此，基于非机动车辆目标特征信息，在实际交通图像中检测并定位非机动车辆目标，对交通事故定责、交通视频完善等有重要辅助作用。
道路交通图像中的非机动车辆目标会因光照、视角以及驾驶者遮挡等变化而产生变化，如何在种种变化存在的前提下保证良好的检测效果，传统的目标检测方法做了基础性尝试，但仍然存在检测效率低和可靠性差等问题。如HOG、SIFT等传统的机器学习方法通过提取目标特征，并将提取到的特征输入支持向量机SVM、迭代器AdaBoost等分类器进行分类识别：但是整个特征提取过程十分复杂，且本质上这些特征是手工设计的特征，需要针对不同的图像场景选择合适的特征，不利于实际工程应用，泛化能力较差。随着深度学习的兴起，一些深度学习的方法很快被应用于目标检测领域，其中以深度卷积神经网络CNN最为突出。2013年R-CNN作为深度学习目标检测应用领域的先驱，将传统机器学习和深度学习进行了创新性的结合，继而出现了像SPP-NET等目标检测网络的优化，2015年Fast R-CNN整合了R-CNN和SPP-Net的优点，使得在多变的道路交通图像下，快速且准确地检测到非机动车辆目标成为可能。但是，Fast R-CNN的检测效果，很大程度上依赖于样本图像目标建议ObjectProposals的提取数量，大量OP的提取耗时耗力，而且加重模型训练的负担，对网络和硬件要求较高。
发明内容
为了解决上述问题，本发明提出了一种基于EdgeBoxes和Fast R-CNN融合的目标检测方法，并应用于非机动车辆的目标检测中。就目标建议提取阶段而言，EdgeBoxes算法可以保证在提取较少数量时，有相对较高的平均召回率,通过控制OP的提取数量，降低检测过程的计算复杂度。深度学习算法Fast R-CNN中的核心CNN对几何变换、形变、光照等具有一定程度不变性，有效克服非机动车辆外观多变带来的困难，并且可在训练数据驱动下自适应地构建特征描述。
将EdgeBoxes算法融合Fast R-CNN中的小型网络结构Caffnet，结合VOC格式的非机动车辆数据样本，把道路交通场景中的目标检测问题实化为自行车和电动车的分类问题。利用EdgeBoxes算法提取样本的目标建议构建适量的感兴趣区域，和样本一起输入网络进行迭代训练，得到非机动车辆目标检测模型，对模型进行新样本测试并分析测试效果，以备后续的模型泛化过程使用。EdgeBoxes和Fast R-CNN的融合使得非机动车辆的目标检测具有更高的灵活性和泛化能力。具体包括以下步骤：
步骤1、定义网络结构，选定Fast R-CNN算法中的小型网络结构Caffenet网络：
步骤1-1、设置Caffenet网络核心层数为11层，具体包括1个11×11卷积层，1个5×5卷积层，3个3×3卷积层，1个感兴趣区域池化层，2个全连接层，3个池化层；
步骤1-2、Caffenet网络输出层为多任务损失函数，具体有两个输出层，第一个输出层通过softmax算法回归计算得到每个RoI在2类中的概率P，即目标分类结果，第二个输出层负责计算2类目标检测框的坐标值，即检测框坐标结果；
步骤2、定义目标任务，采集目标样本图及数据集制作：
步骤2-1、定义目标任务为非机动车辆，即自行车和电动车；
步骤2-2、数据集制作，准备适量目标任务的样本图像，为保证特征充分性，样本图像数量级设置为103-104，该范围内的任何数值M都可作为样本数量，自行车b和电动车e分配比例为b:e，且b≈e，M＝b+e；
步骤2-3、将步骤2-2得到的样本图像进行VOC格式化，得到VOC数据集；
步骤2-4、将步骤2-3得到的VOC数据集中的样本图进行目标标注，然后使用EdgeBoxes算法对标注后的样本图像进行目标建议OP提取，利用滑动窗口的提取策略，由以下参数来控制：α控制搜索步长，β控制IoU阈值，δ控制搜索准确度，minScore控制最低得分和maxBoxes控制提取OP的最大数量级,以此得到样本OP信息，进行一定计算后得到样本的感兴趣区域RoIs；
步骤2-5、将步骤2-3得到的VOC数据集，按照训练>测试>验证的比例，且各个比例项之和小于等于10的划分原则进行划分，得到训练集、测试集和验证集；
步骤3、模型训练，设定预训练参数：
步骤3-1、对步骤1中定义的Caffnet网络结构进行初始化参数设置，利用Caffenet在ImageNet下的训练参数初始化预训练网络RoI池化层之前的层参数，设置学习率为0.001，训练的batchsize为2，迭代次数为I，其数量级为10^4，进行网络训练；
步骤3-2、目标任务是自行车和电动车，即K＝2，再加一个背景类，则输入数据层类别数num_class＝2+1＝3，同样RoI池化层数据类别数num_class＝3，输出层中分类得分部分数据类别数num_class＝3，边界框回归部分数据类别数num_class＝3×4＝12；步骤4、模型训练，预训练网络：
步骤4-1、将步骤1中定义的Caffnet网络结构在步骤2-5准备的训练数据集上训练，样本包括动自行车和电动车，训练参数按步骤3-1设置；
步骤4-2、训练的输出过程用一种多任务损失函数对每个标记的RoI的类型和检测框坐标进行回归计算，计算方法为：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v) (1)
Lcls(p,u)＝logPu (2)
步骤4-3、对步骤4-2设置公式(1)中超参数λ＝1，并标记自行车类u＝1、电动车类u＝2，Lcls是类型概率Pu的对数损失，其中Pu是用softmax来计算的，令该层的输出向量为ai＝(a1,a2,......,an)，根据softmax计算方法
则
Pu＝maxPi (4)
步骤4-4、输出的另一个任务损失Lloc，是检测框损失，通过真实的u类检测框坐标值v＝(vx,vy,vw,vh)，以及u类的预测坐标值得到,由于背景类没有原标记框，可以忽略背景类的Lloc,对于检测框回归损失，使用损失函数
其中，当回归目标无边界时，传统的损失函数在训练时敏感度很高，需要非常仔细地调整学习率以防止***梯度，而消除了这种敏感性：
步骤5、迭代训练得到目标检测模型：
步骤5-1、迭代训练过程通过RoI池化层进行反向传播，xi(xi∈R)是第i个激活，输入到RoI池化层，令yrj是输出，即第r个RoI的第j层输出，RoI池化层计算yrj＝xi*(r,j)，其中i*(r,j)＝argmaxi'∈R(i,j)xi'，即使得xi'最大的i，R(i,j)是输出单元yrj最大池化所在子窗口中输入的索引集，单个xi可以被分配给几个不同的输出yrj，RoI池化层通过计算相对于每个输入变量xi的损失函数的偏导数进行反向传播：
步骤5-2、迭代训练过程引入微调策略，不断微调步骤3-1设置的训练参数，如此交替进行网络训练，直至网络收敛，此时即得到目标检测模型；
步骤6、模型测试，将步骤2-5得到的测试集图像输入步骤5-2得到的目标检测模型进行测试，主要分为单张测试和整体测试两部分：
步骤6-1、选定测试集中的样本图像进项单张图像检测测试，并在图像样本上显示检测框，为保证检测的实际应用及准确率，测试时设置检测类型概率P范围是0.5≤P≤1的数值；
步骤6-2、将步骤2-5得到全部测试数据集输入步骤5-2得到的目标检测模型整体测试，验证目标检测模型；
优选地，步骤2-2中样本数值M为4096张，自行车b为2262张，电动车e为1834张。
优选地，步骤2-5中按照训练：测试：验证＝5：2：1的比例划分样本M，得到训练集2560张、验证集1024张、测试集512张三部分。优选地，步骤3-1中迭代次数I设置为40000次进行网络迭代训练。优选地，步骤6-1中检测概率P设置为0.7，即只显示目标概率大于等于0.7的目标。
本发明将EdgeBoxes算法和深度学习方法Fast R-CNN进行融合，得到新的网络模型结构，并将其应用于非机动车辆的目标检测过程，得到了基于EdgeBoxes和Fast R-CNN融合的的非机动车辆目标检测方法。与传统目标检测方法相比，本发明既保持了深度学习算法的优势，拥有较高的检测准确率；同时，利用EdgeBoxes算法控制OP的提取数量，降低了网络训练的的复杂度，提高了目标检测的检测效率；而且将融合后的方法应用于非机动车辆领域，填补了交通监管在非机动车辆方面的空白，为道路交通监管视频完善提供了新的方法。
附图说明
图1为本发明Caffenet融合EdgeBoxes算法的网络结构示意图，其中网络核心层数为11层，具体包括1个11×11卷积层，1个5×5卷积层，3个3×3卷积层，1个感兴趣区域池化层，2个全连接层，3个池化层，使用EdgeBoxes算法对标注后的样本图像进行目标建议提取，之后融合到Caffenet网络的感兴趣区域池化层，网络输出层为多任务损失函数，具体有两个输出层，分别负责输出目标分类结果和目标检测框坐标结果；图2为本发明基于EdgeBoxes和Fast R-CNN融合的的非机动车辆目标检测方法流程图，其详细流程步骤由具体实施方式给出。
具体实施方式
为了加深对本发明的理解，下面结合实例对本发明做进一步的详细描述。但是，本发明可以以不同的目标任务来实现，并不限于本文所描述的实例。
本发明是一种目标检测方法，如图2所示基于EdgeBoxes和Fast R-CNN融合的的非机动车辆目标检测方法流程图，主要包括以下步骤：步骤1、定义网络结构，选定Fast R-CNN算法中的小型网络结构Caffenet网络：
步骤1-1、设置Caffenet网络核心层数为11层，具体包括1个11×11卷积层，1个5×5卷积层，3个3×3卷积层，1个感兴趣区域池化层，2个全连接层，3个池化层；
步骤1-2、Caffenet网络输出层为多任务损失函数，具体有两个输出层，第一个输出层通过softmax算法回归计算得到每个RoI在2类中的概率P，即目标分类结果，第二个输出层负责计算2类目标检测框的坐标值，即检测框坐标结果；
步骤2、定义目标任务，采集目标样本图及数据集制作：
步骤2-1、定义目标任务为非机动车辆，即自行车和电动车；
步骤2-2、数据集制作，准备适量目标任务的样本图像，为保证特征充分性，样本图像数量级设置为103-104，该范围内的任何数值M都可作为样本数量，自行车b和电动车e分配比例为b:e，且b≈e，M＝b+e；
步骤2-3、将步骤2-2得到的样本图像进行VOC格式化，得到VOC数据集；
步骤2-4、将步骤2-3得到的VOC数据集中的样本图进行目标标注，然后使用EdgeBoxes算法对标注后的样本图像进行目标建议OP提取，利用滑动窗口的提取策略，由以下参数来控制：α控制搜索步长，β控制IoU阈值，δ控制搜索准确度，minScore控制最低得分和maxBoxes控制提取OP的最大数量级,以此得到样本OP信息，进行一定计算后得到样本的感兴趣区域RoIs；
步骤2-5、将步骤2-3得到的VOC数据集，按照训练>测试>验证的比例，且各个比例项之和小于等于10的划分原则进行划分，得到训练集、测试集和验证集；
步骤3、模型训练，设定预训练参数：
步骤3-1、对步骤1中定义的Caffnet网络结构进行初始化参数设置，利用Caffenet在ImageNet下的训练参数初始化预训练网络RoI池化层之前的层参数，设置学习率为0.001，训练的batchsize为2，迭代次数为I，其数量级为10^4，进行网络训练；
步骤3-2、目标任务是自行车和电动车，即K＝2，再加一个背景类，则输入数据层类别数num_class＝2+1＝3，同样RoI池化层数据类别数num_class＝3，输出层中分类得分部分数据类别数num_class＝3，边界框回归部分数据类别数num_class＝3×4＝12；步骤4、模型训练，预训练网络：
步骤4-1、将步骤1中定义的Caffnet网络结构在步骤2-5准备的训练数据集上训练，样本包括动自行车和电动车，训练参数按步骤3-1设置；
步骤4-2、训练的输出过程用一种多任务损失函数对每个标记的RoI的类型和检测框坐标进行回归计算，计算方法为：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v) (1)
Lcls(p,u)＝logPu (2)
步骤4-3、对步骤4-2设置公式(1)中超参数λ＝1，并标记自行车类u＝1、电动车类u＝2，Lcls是类型概率Pu的对数损失，其中Pu是用softmax来计算的，令该层的输出向量为ai＝(a1,a2,......,an)，根据softmax计算方法
则
Pu＝maxPi (4)
步骤4-4、输出的另一个任务损失Lloc，是检测框损失，通过真实的u类检测框坐标值v＝(vx,vy,vw,vh)，以及u类的预测坐标值得到,由于背景类没有原标记框，可以忽略背景类的Lloc,对于检测框回归损失，使用损失函数
其中，当回归目标无边界时，传统的损失函数在训练时敏感度很高，需要非常仔细地调整学习率以防止***梯度，而消除了这种敏感性：
步骤5、迭代训练得到目标检测模型：
步骤5-1、迭代训练过程通过RoI池化层进行反向传播，xi(xi∈R)是第i个激活，输入到RoI池化层，令yrj是输出，即第r个RoI的第j层输出，RoI池化层计算yrj＝xi*(r,j)，其中i*(r,j)＝argmaxi'∈R(i,j)xi'，即使得xi'最大的i，R(i,j)是输出单元yrj最大池化所在子窗口中输入的索引集，单个xi可以被分配给几个不同的输出yrj，RoI池化层通过计算相对于每个输入变量xi的损失函数的偏导数进行反向传播：
步骤5-2、迭代训练过程引入微调策略，不断微调步骤3-1设置的训练参数，如此交替进行网络训练，直至网络收敛，此时即得到目标检测模型；
步骤6、模型测试，将步骤2-5得到的测试集图像输入步骤5-2得到的目标检测模型进行测试，主要分为单张测试和整体测试两部分：
步骤6-1、选定测试集中的样本图像进项单张图像检测测试，并在图像样本上显示检测框，为保证检测的实际应用及准确率，测试时设置检测类型概率P范围是0.5≤P≤1的数值；
步骤6-2、将步骤2-5得到全部测试数据集输入步骤5-2得到的目标检测模型整体测试，验证目标检测模型；
优选地，步骤2-2中样本数值M为4096张，自行车b为2262张，电动车e为1834张。
优选地，步骤2-5中按照训练：测试：验证＝5：2：1的比例划分样本M，得到训练集2560张、验证集1024张、测试集512张三部分。优选地，步骤3-1中迭代次数I设置为40000次进行网络迭代训练。优选地，步骤6-1中检测概率P设置为0.7，即只显示目标概率大于等于0.7的目标。
本发明将EdgeBoxes算法和深度学习方法Fast R-CNN进行融合，得到新的网络模型结构，并将其应用于非机动车辆的目标检测过程，得到了基于EdgeBoxes和Fast R-CNN融合的的非机动车辆目标检测方法。与传统目标检测方法相比，本发明既保持了深度学习算法的优势，拥有较高的检测准确率；同时，利用EdgeBoxes算法控制OP的提取数量，降低了网络训练的的复杂度，提高了目标检测的检测效率；而且将融合后的方法应用于非机动车辆领域，填补了交通监管在非机动车辆方面的空白，为道路交通监管视频完善提供了新的方法。
步骤2-4中用EdgeBoxes算法提取目标建议，并从计算量方面考虑，适当控制目标建议的数量，数据集制作过程，数据集中的样本图进行EdgeBoxes预处理，得到OP信息，首先使用EdgeBoxes算法对目标标注后的样本图像进行OP提取，利用滑动窗口的提取策略，由以下参数来控制搜索结果，α控制搜索步长，β控制IoU阈值，δ控制搜索准确度，minScore控制最低得分和maxBoxes控制提取OP的最大数量级。
步骤4的训练过程EdgeBoxes算法与Fast R-CNN算法融合，并选用Caffnet得到新的网络结构，将提取到的适量OP，经过一定计算后得到RoIs，然后将样本图像输入网络提取卷积特征图，接着将卷积特征图和RoIs一同输入网络结构的RoI池化层。
整个模型训练与测试过程，将融合后的算法应用于非机动车辆目标检测领域，自行采集目标样本，制作数据集并进行训练、测试，并在训练过程引入微调策略，不断微调训练参数，如此交替进行网络训练，直至网络收敛，得到易于泛化的非机动车辆目标检测模型。
本发明可以解决道路交通场景中的非机动车辆目标检测问题，通过采集非机动车辆样本图像，从控制样本图像目标建议数量出发，利用深度学习的算法对目标图像进行迭代训练，得到非机动车辆目标检测模型，可以解决一般道路交通场景下的非机动车辆目标检测问题。该方法基于目标建议可以更好的控制有效特征数据量，利用深度学习算法有效克服非机动车辆外观多变带来的困难，并且可在训练数据驱动下自适应地构建特征描述，在新样本测试下能够对目标特征进行准确且快速的分类。而且该方法可以通过定义目标任务训练多种目标的检测模型，泛化能力强，更加适合实际工程需要。本发明提出的是一种基于EdgeBoxes和Fast R-CNN的非机动车辆目标检测方法，该方法可以应用到许多需要进行目标检测的领域。

Claims (5)

1.一种基于EdgeBoxes和Fast R-CNN的非机动车辆目标检测方法，其特征在于：包括以下步骤：
步骤1、定义网络结构，选定Fast R-CNN算法中的小型网络结构Caffenet网络：
步骤1-1、设置Caffenet网络核心层数为11层，具体包括1个11×11卷积层，1个5×5卷积层，3个3×3卷积层，1个感兴趣区域池化层，2个全连接层，3个池化层；
步骤1-2、Caffenet网络输出层为多任务损失函数，具体有两个输出层，第一个输出层通过softmax算法回归计算得到每个RoI在2类中的概率P，即目标分类结果，第二个输出层负责计算2类目标检测框的坐标值，即检测框坐标结果；
步骤2、定义目标任务，采集目标样本图及数据集制作：
步骤2-1、定义目标任务为非机动车辆，即自行车和电动车；
步骤2-2、数据集制作，准备适量目标任务的样本图像，为保证特征充分性，样本图像数量级设置为103-104，该范围内的任何数值M都可作为样本数量，自行车b和电动车e分配比例为b:e，且b≈e，M＝b+e；
步骤2-3、将步骤2-2得到的样本图像进行VOC格式化，得到VOC数据集；
步骤2-4、将步骤2-3得到的VOC数据集中的样本图进行目标标注，然后使用EdgeBoxes算法对标注后的样本图像进行目标建议OP提取，利用滑动窗口的提取策略，由以下参数来控制：α控制搜索步长，β控制IoU阈值，δ控制搜索准确度，minScore控制最低得分和maxBoxes控制提取OP的最大数量级,以此得到样本OP信息，进行一定计算后得到样本的感兴趣区域RoIs；
步骤2-5、将步骤2-3得到的VOC数据集，按照训练>测试>验证的比例，且各个比例项之和小于等于10的划分原则进行划分，得到训练集、测试集和验证集；
步骤3、模型训练，设定预训练参数：
步骤3-1、对步骤1中定义的Caffnet网络结构进行初始化参数设置，利用Caffenet在ImageNet下的训练参数初始化预训练网络RoI池化层之前的层参数，设置学习率为0.001，训练的batchsize为2，迭代次数为I，其数量级为10^4，进行网络训练；
步骤3-2、目标任务是自行车和电动车，即K＝2，再加一个背景类，则输入数据层类别数num_class＝2+1＝3，同样RoI池化层数据类别数num_class＝3，输出层中分类得分部分数据类别数num_class＝3，边界框回归部分数据类别数num_class＝3×4＝12；
步骤4、模型训练，预训练网络：
步骤4-1、将步骤1中定义的Caffnet网络结构在步骤2-5准备的训练数据集上训练，样本包括动自行车和电动车，训练参数按步骤3-1设置；
步骤4-2、训练的输出过程用一种多任务损失函数对每个标记的RoI的类型和检测框坐标进行回归计算，计算方法为：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v) (1)
Lcls(p,u)＝logPu (2)
步骤4-3、对步骤4-2设置公式(1)中超参数λ＝1，并标记自行车类u＝1、电动车类u＝2，Lcls是类型概率Pu的对数损失，其中Pu是用softmax来计算的，令该层的输出向量为ai＝(a1,a2,......,an)，根据softmax计算方法
则
Pu＝maxPi (4)
步骤4-4、输出的另一个任务损失Lloc，是检测框损失，通过真实的u类检测框坐标值v＝(vx,vy,vw,vh)，以及u类的预测坐标值得到,由于背景类没有原标记框，可以忽略背景类的Lloc,对于检测框回归损失，使用损失函数
其中，当回归目标无边界时，传统的损失函数在训练时敏感度很高，需要非常仔细地调整学习率以防止***梯度，而消除了这种敏感性：
步骤5、迭代训练得到目标检测模型：
步骤5-1、迭代训练过程通过RoI池化层进行反向传播，xi(xi∈R)是第i个激活，输入到RoI池化层，令yrj是输出，即第r个RoI的第j层输出，RoI池化层计算其中i*(r,j)＝argmaxi'∈R(i,j)xi'，即使得xi'最大的i，R(i,j)是输出单元yrj最大池化所在子窗口中输入的索引集，单个xi可以被分配给几个不同的输出yrj，RoI池化层通过计算相对于每个输入变量xi的损失函数的偏导数进行反向传播：
步骤5-2、迭代训练过程引入微调策略，不断微调步骤3-1设置的训练参数，如此交替进行网络训练，直至网络收敛，此时即得到目标检测模型；
步骤6、模型测试，将步骤2-5得到的测试集图像输入步骤5-2得到的目标检测模型进行测试，主要分为单张测试和整体测试两部分：
步骤6-1、选定测试集中的样本图像进项单张图像检测测试，并在图像样本上显示检测框，为保证检测的实际应用及准确率，测试时设置检测类型概率P范围是0.5≤P≤1的数值；
步骤6-2、将步骤2-5得到全部测试数据集输入步骤5-2得到的目标检测模型整体测试，验证目标检测模型。
2.一种如权利要求1所述的基于EdgeBoxes和Fast R-CNN的非机动车辆目标检测方法，其特征在于：步骤2-2中样本数值M为4096张，自行车b为2262张。
3.一种如权利要求1所述的基于EdgeBoxes和Fast R-CNN的非机动车辆目标检测方法，其特征在于：步骤2-5中按照训练：测试：验证＝5：2：1的比例划分样本数M，得到训练集2560张、验证集1024张、测试集512张三部分。
4.一种如权利要求1所述的基于EdgeBoxes和Fast R-CNN的非机动车辆目标检测方法，其特征在于：步骤3-1中迭代次数I设置为40000。
5.一种如权利要求1所述的基于EdgeBoxes和Fast R-CNN的非机动车辆目标检测方法，其特征在于：步骤6-1中检测概率P设置为0.7。
CN201810103573.5A 2018-02-01 2018-02-01 一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法 Pending CN108256498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810103573.5A CN108256498A (zh) 2018-02-01 2018-02-01 一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810103573.5A CN108256498A (zh) 2018-02-01 2018-02-01 一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法

Publications (1)

Publication Number Publication Date
CN108256498A true CN108256498A (zh) 2018-07-06

Family

ID=62743721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810103573.5A Pending CN108256498A (zh) 2018-02-01 2018-02-01 一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法

Country Status (1)

Country Link
CN (1) CN108256498A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101908A (zh) * 2018-07-27 2018-12-28 北京工业大学 驾驶过程感兴趣区域检测方法及装置
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、***、设备及存储介质
CN111723623A (zh) * 2019-03-22 2020-09-29 杭州海康威视数字技术股份有限公司 一种检测平台的方法及装置
CN111967452A (zh) * 2020-10-21 2020-11-20 杭州雄迈集成电路技术股份有限公司 一种目标检测方法、计算机设备及可读存储介质
CN116189098A (zh) * 2023-04-23 2023-05-30 四川弘和通讯集团有限公司 识别车辆引擎盖是否打开的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718912A (zh) * 2016-01-26 2016-06-29 浙江捷尚视觉科技股份有限公司 一种基于深度学习的车辆特征物检测方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
CN107016390A (zh) * 2017-04-11 2017-08-04 华中科技大学 一种基于相对位置的车辆部件检测方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
CN105718912A (zh) * 2016-01-26 2016-06-29 浙江捷尚视觉科技股份有限公司 一种基于深度学习的车辆特征物检测方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN107016390A (zh) * 2017-04-11 2017-08-04 华中科技大学 一种基于相对位置的车辆部件检测方法和***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C.LAWRENCE ZITNICK 等: "Edge boxes:Locating object proposals from edges", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
ROSS GIRSHICK 等: "Fast R-CNN Object Detection with Caffe", 《TUTORIAL.CAFFE.BERKELEYVISION.ORG》 *
ROSS GIRSHICK 等: "Fast R-CNN", 《2015 IEEE INTERNATIONAL CONFERENCE ON CONFERENCE ON COMPUTER VISION》 *
ZHONG-QIU ZHAO 等: "PEDESTRIAN DETECTION BASED ON FAST R-CNN AND BATCH NORMALIZATION", 《INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTING》 *
曹诗雨 等: "基于Fast R-CNN的车辆目标检测", 《中国图象图形学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101908A (zh) * 2018-07-27 2018-12-28 北京工业大学 驾驶过程感兴趣区域检测方法及装置
CN109101908B (zh) * 2018-07-27 2020-12-25 北京工业大学 驾驶过程感兴趣区域检测方法及装置
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109239102B (zh) * 2018-08-21 2021-04-09 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、***、设备及存储介质
CN111723623A (zh) * 2019-03-22 2020-09-29 杭州海康威视数字技术股份有限公司 一种检测平台的方法及装置
CN111967452A (zh) * 2020-10-21 2020-11-20 杭州雄迈集成电路技术股份有限公司 一种目标检测方法、计算机设备及可读存储介质
CN111967452B (zh) * 2020-10-21 2021-02-02 杭州雄迈集成电路技术股份有限公司 一种目标检测方法、计算机设备及可读存储介质
CN116189098A (zh) * 2023-04-23 2023-05-30 四川弘和通讯集团有限公司 识别车辆引擎盖是否打开的方法及装置

Similar Documents

Publication Publication Date Title
CN108256498A (zh) 一种基于EdgeBoxes和FastR-CNN的非机动车辆目标检测方法
CN106650806B (zh) 一种用于行人检测的协同式深度网络模型方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN107368787A (zh) 一种面向深度智驾应用的交通标志识别算法
CN107451607B (zh) 一种基于深度学习的典型人物的身份识别方法
CN110298262A (zh) 物体识别方法及装置
CN104537393B (zh) 一种基于多分辨率卷积神经网络的交通标志识别方法
CN108509978A (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN106407931A (zh) 一种新型深度卷积神经网络运动车辆检测方法
CN108009509A (zh) 车辆目标检测方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN111079602A (zh) 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN112487862B (zh) 基于改进EfficientDet模型的车库行人检测方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN105512684A (zh) 基于主成分分析卷积神经网络的车标自动识别方法
CN103984948B (zh) 一种基于人脸图像融合特征的软双层年龄估计方法
CN101964063B (zh) 一种改进的AdaBoost分类器构造方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN105335716A (zh) 一种基于改进udn提取联合特征的行人检测方法
CN106919951A (zh) 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN104992165A (zh) 基于极限学习机的交通标志识别方法
CN104598885A (zh) 街景图像中的文字标牌检测与定位方法
CN110009648A (zh) 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
CN107194938A (zh) 基于深度卷积神经网络的图像轮廓检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706