CN106096531B - 一种基于深度学习的交通图像多类型车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的交通图像多类型车辆检测方法，首先将神经网络的特征与区域生成算法结合起来，使用神经网络的卷积层同时实现了区域生成与区域判定两个过程，然后使用背景模型进行针对特定场景的离散序列图像的运动区域判定为区域生成提供了额外的参考依据，并结合车辆检测结果对背景模型进行了分情况的更新修正，此外，还提出了网络模型压缩方案进行模型参数与计算时间的缩减，并提出了新的基于分组误差计算的检测结果优化手段替换常规的非极大值抑制方案，提高总体的检测精度。

Description

一种基于深度学习的交通图像多类型车辆检测方法

技术领域

本发明涉及车辆检测技术领域，具体是一种基于深度学习的交通图像多类型车辆检测方法。

背景技术

随着社会的发展，人们的生活水平在“衣食住行”各个方面都有了较大提高，体现在“行”上就是各地的道路基础设施建设愈加完善与社会的汽车总数量也快速增加。但是道路建设是一个长期的过程，需要长时间的积累才能达到成效，因此往往跟不上各地机动车辆的增长速度，难题的解决方案是采用更加科学的技术手段来管理道路交通，这就是智能交通***。智能交通***可以统计道路上车辆的流量、识别车辆的行驶路线，然后通过调整路线上的红绿灯时间、设置专门的单行道、限制道路的可通行车辆类型等手段来改善道路的通行状况。而在这之中，车辆检测技术是智能交通最重要的组成部分，它是后续相关处理的基础。在检测车辆的同时，将直观反映路线上的人员与货物运输量的车辆类型与车辆检测结合起来，形成一个多类型车辆的检测***，可以完成基本的道路交通的管理任务，为后续处理提供更加丰富的数据信息。

现有的车辆检测技术的处理对象主要有两个，即视频与图像。针对视频，一般通过使用背景建模算法实现实时的运动车辆检测，得到图像中的车辆运动区域，然后利用阴影信息、车灯信息或者车窗信息得到最终的车辆部分图像，完成基于视频的车辆检测过程。相关背景建模算法主要有混合高斯模型、ViBe算法或者直接设定背景图像，这些方案处理对象为连续的视频图像序列，存在的主要问题是模型容易受到光照、天气等各种外部条件的影响而导致准确度降低，并且***的持续执行将带来大量的数据与能耗。

针对图像的车辆检测工作，主要涉及特征设计与分类器选择两个方面。车辆的特征用于描述车辆的外观信息，使用合适特征可以得到车辆区别于其他类型物体的特有外观信息。现在经常使用的特征主要是人工设计的，有Haar-like特征、SIFT特征、HOG特征、LBP特征、Gabor特征以及他们的改进等等。而车辆分类器则实现对于车辆区域与背景区域的判断，后续还可以实现具体车辆类型的判断。现在常用的分类器主要有SVM、AdaBoost、KNN等等。还有一类基于匹配的算法实现车辆的检测，主要利用图像区域与模板之间特征的匹配程度进行判断，而实际上匹配与分类两者是相似度判断的不同实现方式，所以可以看作是相类似的处理方法。近年来深度神经网络的使用促进了计算机视觉领域各种应用的快速发展，其在车辆检测上的应用方式大多与目标检测的算法相同，即通过基于图像底层信息的区域生成加上基于卷积神经网络的类别判断实现基于深度学习的车辆检测。

总之，现有的基于图像的车辆检测技术手段或者需要使用手工设计的复杂特征提供判断依据，或者需要基于图像底层信息的区域生成技术提供数据源，不足以应对大规模图像数据的处理要求，所以需要一种针对多场景的大规模图像数据的准确而又快速的车辆检测方法。

发明内容

本发明要解决的技术问题是提供一种基于深度学习的交通图像多类型车辆检测方法。

本发明的技术方案为：

一种基于深度学习的交通图像多类型车辆检测方法，包括有训练过程和测试过程：

所述的训练过程具有包括有以下步骤：

(1)、车辆信息标注：收集不同图像采集终端得到的所有原始图像进行处理，标注出图像中车辆的位置坐标信息，并添加车辆类型的判断结果与车头的方向信息，并将所有图像和上述所有标注信息存储于数据库中；

(2)、背景模型建立：针对不同的图像采集终端，分别收集训练数据形成相邻帧之间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两种情况，分别使用高斯混合模型建立背景模型；

(3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分割，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LPO算法进行在步骤1中数据库上的调整，得到区域生成初始模型；

(4)、训练车辆判定网络：利用卷积神经网络与区域生成初始模型的结果，以车辆位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联合学习，得到多类型的车辆判定网络；

(5)、训练区域生成网络：利用车辆判定网络的卷积层作为特征，进行基于滑动窗口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络，即区域生成网络，将其与车辆判定网络结合得到多类型的车辆检测网络；

(6)、网络结构压缩：利用矩阵分解手段对多类型的车辆检测网络的区域生成部分与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；

(7)、训练检测结果优化模型：通过将所有的检测结果分组，形成各自对应于真实检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作为检测结果优化模型；

所述的测试过程具有包括有以下步骤：

(8)、背景模型应用：通过图像采集信息和图像明暗度的判断确定图像采集的时间段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的运动检测结果，为区域生成部分提供外部约束信息；

(9)、车辆检测网络区域生成部分测试：利用背景模型应用得到的运动检测结果，在运动区域使用特定的滑动窗口模式生成大量的方框区域，然后使用步骤(5)得到的区域生成网络得到这些方框区域的车辆存在与否判断的二分类得分与位置优化结果，选择其中得分较高的区域作为包含有车辆的候选区域，接着使用非极大值抑制方法降低生成的候选区域的数量；

(10)、车辆检测网络区域判定部分测试：利用步骤(5)得到的区域生成网络输出的卷积层的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域进行处理，确定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息；

(11)、检测结果优化：针对多个检测结果之间出现相互交叉的情况，使用基于神经网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；

(12)、背景模型在线更新：利用判断结果对步骤(2)得到的背景模型的正确性进行判断，然后对其进行选择性的更新，提高模型对背景描述的准确性。

所述的步骤(1)中的车辆类型是根据车辆的车头大小、车辆轴数以及整体结构信息的差异，将车辆划分为轿车、巴士、轻卡、中型卡车、重型卡车、商务车、运动型多用途汽车和工程车八个类别；所述的车头的方向信息包括有左侧、左前、正前、右前和右侧五个方向信息；所述的步骤(3)中的区域生成初始模型，首先使用全卷积网络模型对训练图像进行分割，得到图像中出现的所有物体的轮廓位置信息，作为LPO算法在训练过程中物体的分割标注，且在区域生成初始模型训练完成之后，使用部分训练图像作为验证数据库，进行LPO算法相关参数的调整，降低区域生成过程所需要的资源占用量与时间花费。

所述的步骤(4)中训练车辆判定网络的具体步骤是，利用已有的卷积神经网络架构，在车辆类型与车头方向两个输出中各自添加了一个背景类别，即设置车辆类型的输出数目为车辆类型数八加一即九、车头方向的输出数目设置为车头方向数五加一即六，训练时将与真实车辆区域的IOU小于0.3的区域生成结果当成非车区域，其相应的车辆类型与车头方向都设置为各自的背景类别，在步骤(1)所建立的车辆数据库上进行多任务的联合学习，得到车辆判定网络，使得网络能够在获取车辆位置的同时得出相应的类型信息、角度信息；其中，在具体训练过程中，注意以下几点：将LPO算法得到的对所有训练数据的区域生成结果作为网络的候选区域输入；使用在大规模互联网图像数据库上的分类训练得到的模型进行车辆判定网络模型的初始化；通过降低卷积层之前网络层的学习速率为后接几层的十分之一实现模型的微调学习，着重调整后续网络层的参数，充分利用网络已经学到的初步抽象能力，使得模型的表达能力更加强大。

所述的步骤(5)训练区域生成网络具体包括以下步骤：

a、确定使用的基于卷积层的滑动窗口模型的相关参数，确定滑动窗口具有64、128、256像素三类大小，1:2、1:1、2:1三种长宽比例，在原始图像上的移动步长为16个像素；

b、针对输入的训练图像，将设计的滑动窗口映射到卷积层中，获取最终的卷积特征，同时通过与真实值的IOU判断给与相应的车与背景标签，在这个过程中设计卷积层与全联接层对针对图像的特征图进行处理，模拟这种滑动窗口处理方式的卷积特征提取与优化；

c、设计训练网络：使用与车辆判定网络相同的卷积层结构，添加一个与分类和位置优化类似的分类层与回归层，执行区域生成结果的判断与优化；

d、利用设计的训练网络结构与车辆判定网络的卷积特征进行车与背景的分类与坐标优化的回归训练，得到包含车辆区域位置的区域生成网络；

e、将区域生成网络与车辆判定网络进行合并，得到车辆检测网络，然后利用车辆检测网络的区域生成结果，对后续的车辆判定网络的全连接层、分类层与回归层部分进行调整优化，使其中的区域判定部分适应区域生成网络的输出。

所述的步骤(6)中的网络结构压缩具体包括以下步骤：

a、利用SVD算法压缩减少网络中全联接层的数量；针对全联接层，实际的神经元响为y，具体见公式(1)：

y＝f(W*a) (1)，

其中，f表示激活函数；假定W的大小为u×v，其中u、v分别对应输入与输出节点的数量，对其进行SVD近似分解，得到结果W，具体见公式(2):

W≈U∑_tV^T (2),

其中，U、∑_t、V的大小分别为u×t，t×t，v×t，并且∑_t为对角阵，权重的总数量变化为t×(u+v+1)，其中，t为一个截断参数，用于控制压缩程度，即全联接层拆分之后中间节点的数量，u、v分别对应了一个全联接层输入与输出节点的数量；通过设计t的值小于u与v的最小值，有以下的不等式(3)成立：

t×(u+v+1)＜u×v (3)，

所以，通过SVD分解降低了总体的参数数量，实际上也降低了全联接层的处理时间；对卷积层进行卷积核的低维分解；

b、利用马克斯.耶德贝里的算法对网络的卷积层结构进行压缩：假定当前层的卷积核个数为N，即输出节点有N个，卷积核的大小为d*d，得到的特征图大小为H′×W′，输入通道数为C，那么该卷积层的计算量为O(CNd²H′W′)；将卷积核用{W_i∈R^d×d，i＝[1...N]}表示，考虑将其拆分为两个一维卷积核的合成结果：第一类一维卷积核使用{v_k∈R^d×1×C；k＝[1...K]}来表示，得到的特征图为V，V(u，v)∈R^K，第二类一维卷积核使用{h_n∈R^1×d×K；n＝[1...N]}来表示，那么得到总体的计算量为O(K(C+N)d H′W′)；两个一维卷积核通过计算卷积核的重构误差最小化使用共轭梯度下降法进行求取，具体优化目标；如下最终，当K(C+N)＜NCd时，保证K(C+N)d H′W′＜CNd²H′W′，实际上，实现的卷积层优化倍数近似等于卷积核的大小。

所述的步骤(7)中的训练检测结果优化模型具体包括以下内容：

a、首先进行检测结果的划分，确定哪些检测结果判断的是同一个物体；处理的方法为每次选择最高得分的结果，然后通过计算他与剩余检测方框的IOU进行划分：假定N个检测结果使用B＝{b_i＝(x_ilt，y_ilt，x_irb，y_irb)，i∈[1 2 ... N]}来表示，每次选择具有当前最大得分的方框记为b_k，计算它与剩余方框的IOU值并分类：当IOU大于或等于0.5时表明他们预测同一个物体，将这些方框组成一个一类方框集合B_k1＝{b_i|IOU(b_i，b_k)≥0.5，b_i∈B}，其中的方框不参加再次划分，b_k作为其中的一个元素；当IOU大于0.3而小于0.5时，认为他们共用了部分区域，得到一个二类方框集合B_k2＝{b_i|0.3＜IOU(b_i，b_k)＜0.5，bi∈B}，其中的方框参加再次划分；重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应的一类方框与二类方框记为{(B_k1，B_k2)，k∈[1 2 ... K]}；

b、针对所有的一类方框B_k1，计算均值方框以及所有方框与均值方框地四元误差数组b_k1j∈B_k1}，并记录对应得分，然后计算物体真实方框与均值方框的真实差异值

c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值然后将平均差异值与真实差异值都转化为基于均值方框大小的相对大小表示为与利用神经网络建立一个四元关系实现两者之间隐含关系的建立，作为检测结果优化模型的第一部分；

d、对于二类标签的数据，使用上述同样的坐标均值进行相同的处理，得到相应的然后建立类似的另外一个四元关系作为检测结果优化模型的第二部分。

所述的步骤(8)中的背景模型应用具体包括以下内容：

a、通过数据库中的数据项信息，获取待处理图像的名称、存储位置以及相应的采集信息；

b、根据采集信息，确定对应的图像采集终端的编号，通过整体明暗度确定使用白天还是夜晚，选择合适的高斯混合模型；

c、根据图像总体明暗度与模型平均明暗度的对比，进行图像明暗度的调整，将图像明暗度的变化范围与模型的变化范围形成对应，降低整体光照的差异对于检测结果的影响；

d、使用模型对当前图像进行前景检测，然后进行形态学处理，得到运动区块，并划分为多个连通域；

e、获取运动区域外接矩形的图像坐标，确定其在图像中所占比例，判断算法结果的准确程度，当超过80％的区域或者少于10％的区域都被判断为前景时，说明运动检测的结果不准确，不能作为区域生成网络测试的参考信息。

所述的步骤(9)中车辆检测网络区域生成部分测试，使用区域生成网络结合运动检测结果得到有可能包含车辆的候选区域：首先根据背景模型应用得到的结果，获取可能的运动车辆区域及其外接矩形框的位置，若运动检测结果不准确，即运动区域小于整幅图像的10％或者大于整幅图像的70％，则将整幅图像设置为一个矩形框；然后与训练过程类似，在这些矩形框的内部以16像素为步长，设置拥有64、128、256像素的大小与1:2、1:1、2:1的长宽比例的滑动窗口，将图像区域作为感受野映射到卷积层conv5_3上获取对应的卷积特征，进行后续卷积层PR_conv、全联接层RP_FC的处理获取分类层RP_cls_score、回归层RP_bbox_pred的输出，得到窗口区域车辆出现可能性的判断结果与坐标的优化结果，最后进行非极大值抑制处理进一步减少候选区域的数量，形成检测神经网络的区域生成输入。

所述的步骤(11)检测结果优化具体包括以下内容：

a、与训练过程相似，首先进行检测结果的划分，将不同的检测结果进行组合，获取最终的检测结果数量：假定N个检测结果使用B＝{b_i＝(x_ilt，y_ilt，x_ilb，y_irb)，i∈[1 2 ...N]}来表示所有的检测结果，实际处理的方法为每次选择最高得分的检测结果并计算他与剩余检测方框的IOU，记前最大得分的方框为b_k，取IOU大于0.5的部分组成一个一类方框集合B_k1，bk作为其中的一个元素；取IOU大于0.3而小于0.5的部分到一个二类方框集合Bk2，其中的方框参加再次划分；重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应的一类方框与二类方框记为{(B_k1，B_k2)，k∈[1 2 ... K]}；

b、针对所有的一类方框Bk1，计算均值方框以及所有方框与均值方框地四元误差数组{ΔB_k1j＝(Δx_k1jlt，Δy_k1jlt，Δx_k1jrb，Δy_k1jrb)，b_k1j∈B_k1}，记录对应得分；

c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值然后将平均差异值转化为基于均值方框大小的相对表示为使用检测结果优化网络的第一部分进行处理得到预测的坐标偏差

d、对于二类标签的数据，使用上述同样的坐标均值进行相同的处理，得到类似的另外坐标偏差

e：进行两部分偏差的合并，分别使用0.8与0.2的权值进行差异值的求和然后基于一类方框的均值得到实际的偏差长度，然后进行真实方框位置的输出。

所述的步骤(12)背景模型在线更新具体包括以下内容：

a、根据车辆检测的结果，得到图像中出现车辆的区域，对应到高斯混合模型的检测结果中，通过车辆区域与运动区域的IOU判断运动检测模型的准确度，当所有运动区域都出现车辆并且两种区域的IOU大于0.5时认为模型检测结果较为准确，此时不需要进行背景模型的更新；

b、当检测结果中出现不包含车辆的区域时，认为背景模型中出现了误判，该区域的背景描述与实际差异较大，认为对应区域的背景模型中将本来应该判断为前景的区域判断为了背景，使用模型对原始图像序列进行检测，得到针对当前区域检测结果类似的部分图像形成新的序列作为数据源，对当前对应区域的背景模型进行重新建立；

c、当区域的IOU小于0.5时，说明对于运动区域的判断不太准确，出现的原因主要为阴影的影响，需要用非车运动区域对模型的参数进行更新，降低模型将背景判断为前景的概率；

d、当在背景模型应用部分出现运动区域小于图像大小的10％时，若车辆检测同样没有结果，真不对模型进行更新，否则说明区域模型不准确，需要利用当前图像对检测模型中对应于车辆出现的区域进行更新；

e、当在背景模型应用部分出现运动区域大于图像大小的70％时，说明当前图像与背景模型相差较大，背景模型对于当前图像的作用不大，需要利用当前图像对所有非车区域的背景进行更新。

本发明的优点：

本发明能够同时处理车辆的位置、类型与角度信息，提供更加精细的车辆检测结果，充分利用了神经网络强大的抽象能力实现对于目标的描述，得到了更加准确的判断结果，同时基于这些描述实现了候选区域的生成，提高了神经网络的通用程度，减少了整个处理流程的计算量。同时实现了运动目标检测与静态图像中的车辆检测的结合，在使用运动信息指导车辆检测、提高处理效率的同时，也通过车辆检测的结果对于运动检测模型进行了修正，提高了模型的准确度。此外，还是用基于神经网络的累计偏差预测处理替换常规的非极大值抑制，充分利用了检测网络的所有输出结果。

附图说明

图1是本发明的训练过程的流程图。

图2是本发明测试过程的流程图。

图3是本发明车辆判定网络的结构示意图。其中，使用虚线方框表明为已知的结构，VGG16conv1_1–ReLU5_3为VGG16网络conv1_1到ReLU5_3部分的结构，RoI pooling层、FC6层、FC7层对应了FCN算法中的网络层，而最后的cls_score、ori_score、bbox_pred分别为车辆类型分类层、车头角度分类结果、车辆位置预测结果。

图4是本发明区域生成网络的结构示意图。其中，虚线方框对应了VGG16网络的conv1_1到ReLU5_3部分的结构，RP-conv、RP-FC分别为一个卷积层与全联接层，而RP_cls_score表示对车辆与背景进行判别的分类层、RP_bbox_pred为得到坐标预测结果的回归层。

图5是本发明多类型的车辆检测网络的结构示意图。其中，VGG16conv1_1–ReLU5_3部分、RoI pooling与图3相同，PR-conv、RP-FC、RP_cls_score与RP_bbox_pred对应了图3的结果，RP_data层则对区域生成结果进行筛选处理，剩余的FC6’层、FC7’层、cls_score’层、ori_score’层、bbox_pred’层结构与图3相同，但是为网络中的参数为调整之后的结果。

具体实施方式

一种基于深度学习的交通图像多类型车辆检测方法，包括有训练过程和测试过程：

训练过程具有包括有以下步骤：

(1)、车辆信息标注：收集不同图像采集终端得到的所有原始图像进行处理，标注出图像中车辆的位置坐标信息，并添加车辆类型的判断结果与车头的方向信息，并将所有图像和上述所有标注信息存储于数据库中；其中，车辆类型是根据车辆的车头大小、车辆轴数以及整体结构信息的差异，将车辆划分为轿车、巴士、轻卡、中型卡车、重型卡车、商务车、运动型多用途汽车和工程车八个类别，其中，轻卡主要指皮卡以及具有小型的客货两用面包车，中型卡车区别于重型卡车是由于其车轴数不大于二；车头的大致方向信息包括有左侧、左前、正前、右前和右侧五个方向信息，其大致的角度范围分别有-90°到-60°，-60°到-15°，-15°到15°，15°到60°，60°到90°；

(2)、背景模型建立：针对不同的图像采集终端，分别收集训练数据形成相邻帧之间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两种情况，分别使用高斯混合模型建立背景模型；

(3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分割，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LPO算法进行在步骤1中数据库上的调整，得到区域生成初始模型；具体是首先使用全卷积网络模型对训练图像进行分割，得到图像中出现的所有物体的轮廓位置信息，作为LPO算法在训练过程中物体的分割标注，且在区域生成初始模型训练完成之后，使用部分训练图像作为验证数据库，进行LPO算法相关参数的调整，降低区域生成过程所需要的资源占用量与时间花费；

(4)、训练车辆判定网络：利用卷积神经网络与区域生成初始模型的结果，以车辆位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联合学习，得到多类型的车辆判定网络；具体步骤是：建立结构如图2所示的检测神经网络，其中虚线方框部分表示利用已有的卷积神经网络架构，在车辆类型与车头方向两个输出中各自添加了一个背景类别，即设置车辆类型的输出数目为车辆类型数八加一即九、车头方向的输出数目设置为车头方向数五加一即六，训练时将与真实车辆区域的IOU小于0.3的区域生成结果当成非车区域，其相应的车辆类型与车头方向都设置为各自的背景类别，在步骤(1)所建立的车辆数据库上进行多任务的联合学习，得到车辆判定网络，使得网络能够在获取车辆位置的同时得出相应的类型信息、角度信息；其中，在具体训练过程中，注意以下几点：将将传统区域生成的LPO算法得到的对所有训练数据的区域生成结果作为网络的候选区域输入；使用在大规模互联网图像数据库上的分类训练得到的模型进行车辆判定网络模型的初始化；通过降低卷积层ReLU5_3之前网络层的学习速率为后接几层的十分之一实现模型的微调学习，着重调整后续网络层的参数，充分利用网络已经学到的初步抽象能力，使得模型的表达能力更加强大。

(5)、训练区域生成网络：利用车辆判定网络的卷积层conv1_1-ReLU5_3层作为特征，进行基于滑动窗口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络，即区域生成网络，将其与车辆判定网络结合得到如图4所示的多类型的车辆检测网络；在图4中RP_conv层进行卷积特征的快速处理，直接得到对应于64*64大小感受野的卷积特征表示，而RP_FC层则进行各特征通道的有效组合；

训练区域生成网络具体包括以下步骤：

a、确定使用的基于卷积层的滑动窗口模型的相关参数，确定滑动窗口具有64、128、256像素三类大小，1:2、1:1、2:1三种长宽比例，在原始图像上的移动步长为16个像素；

b、针对输入的训练图像，将设计的滑动窗口映射到卷积层中，获取最终的卷积特征，同时通过与真实值的IOU判断给与相应的车与背景标签，在这个过程中设计卷积层与全联接层对针对图像的特征图进行处理，模拟这种滑动窗口处理方式的卷积特征提取与优化；

c、设计训练网络：使用与车辆判定网络相同的卷积层结构，添加一个与分类和位置优化类似的分类层与回归层，执行区域生成结果的判断与优化；

d、利用设计的训练网络结构与车辆判定网络的卷积特征进行车与背景的分类与坐标优化的回归训练，得到包含车辆区域位置的区域生成网络；

e、将区域生成网络与车辆判定网络进行合并，得到车辆检测网络，然后利用车辆检测网络的区域生成结果，对后续的车辆判定网络的全连接层、分类层与回归层部分进行调整优化，使其中的区域判定部分适应区域生成网络的输出。

(6)、网络结构压缩：利用矩阵分解手段对多类型的车辆检测网络的区域生成部分与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；

网络结构压缩具体包括以下步骤：

a、利用SVD算法压缩减少网络中全联接层的数量；针对全联接层，实际的神经元响为y，具体见公式(1)：

y＝f(W*a) (1)，

其中，f表示激活函数；假定W的大小为u×v，其中u、v分别对应输入与输出节点的数量，对其进行SVD近似分解，得到结果W，具体见公式(2):

W≈U∑_tV^T (2),

其中，U、∑_t、V的大小分别为u×t、t×t、v×t，并且∑_t为对角阵，权重的总数量变化为t×(u+v+1)，其中，t为一个截断参数，用于控制压缩程度，即全联接层拆分之后中间节点的数量，u、v分别对应了一个全联接层输入与输出节点的数量；通过设计t的值小于u与v的最小值，有以下的不等式(3)成立：

t×(u+v+1)＜u×v (3)，

所以，通过SVD分解降低了总体的参数数量，实际上也降低了全联接层的处理时间；对卷积层进行卷积核的低维分解；

b、利用Jaderberg(人名，马克斯.耶德贝里)的算法对网络的卷积层结构进行压缩：假定当前层的卷积核个数为N，即输出节点有N个，卷积核的大小为d*d，得到的特征图大小为H′×W′，输入通道数为C，那么该卷积层的计算量为O(CNd²H′W′)；将卷积核用{W_i∈R^{d ×d}，i＝[1...N]}表示，考虑将其拆分为两个一维卷积核的合成结果：第一类一维卷积核使用{v_k∈R^d×1×C；i＝[1...K]}来表示，得到的特征图为V，V(u，v)∈R^K，第二类一维卷积核使用{h_n∈R^1×d×K；n＝[1...N]}来表示，那么得到总体的计算量为O(K(C+N)d H′W′)；两个一维卷积核通过计算卷积核的重构误差最小化使用共轭梯度下降法进行求取，具体优化目标；如下最终，当K(C+N)＜NCd时，保证K(C+N)d H′W′＜CNd²H′W′，实际上，实现的卷积层优化倍数近似等于卷积核的大小；

(7)、训练检测结果优化模型：通过将所有的检测结果分组，形成各自对应于真实检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作为检测结果优化模型；

训练检测结果优化模型具体包括以下内容：

a、首先进行检测结果的划分，确定哪些检测结果判断的是同一个物体；处理的方法为每次选择最高得分的结果，然后通过计算他与剩余检测方框的IOU进行划分：假定N个检测结果使用B＝{b_i＝(x_ilt，y_ilt，x_irb，y_irb)，i∈[1 2 ... N]}来表示，每次选择具有当前最大得分的方框记为b_k，计算它与剩余方框的IOU值并分类：当IOU大于或等于0.5时表明他们预测同一个物体，将这些方框组成一个一类方框集合B_k1＝{b_i|IOU(b_i，b_k)≥0.5，b_i∈B}，其中的方框不参加再次划分，b_k作为其中的一个元素；当IOU大于0.3而小于0.5时，认为他们共用了部分区域，得到一个二类方框集合B_k2＝{b_i|0.3＜IOU(b_i，b_k)＜0.5，b_i∈B}，其中的方框参加再次划分；重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应的一类方框与二类方框记为{(B_k1，B_k2)，k∈[1 2 ... K]}；

b、针对所有的一类方框B_k1，计算均值方框以及所有方框与均值方框地四元误差数组b_k1j∈B_k1}，并记录对应得分，然后计算物体真实方框与均值方框的真实差异值

c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值然后将平均差异值与真实差异值都转化为基于均值方框大小的相对大小表示为与利用神经网络建立一个四元关系实现两者之间隐含关系的建立，作为检测结果优化模型的第一部分；

d、对于二类标签的数据，使用上述同样的坐标均值进行相同的处理，得到相应的然后建立类似的另外一个四元关系作为检测结果优化模型的第二部分；

测试过程具有包括有以下步骤：

(8)、背景模型应用：通过图像采集信息和图像明暗度的判断确定图像采集的时间段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的检测结果，为区域生成部分提供外部约束信息；

背景模型应用具体包括以下内容：

a、通过数据库中的数据项信息，获取待处理图像的名称、存储位置以及相应的采集信息；

b、根据采集信息，确定对应的图像采集终端的编号，通过整体明暗度确定使用白天还是夜晚，选择合适的高斯混合模型；

c、根据图像总体明暗度与模型平均明暗度的对比，进行图像明暗度的调整，将图像明暗度的变化范围与模型的变化范围形成对应，降低整体光照的差异对于检测结果的影响；

d、使用模型对当前图像进行前景检测，然后进行形态学处理，得到运动区块，并划分为多个连通域；

e、获取运动区域外接矩形的图像坐标，确定其在图像中所占比例，判断算法结果的准确程度，当超过80％的区域或者少于10％的区域都被判断为前景时，说明运动检测的结果不准确，不能作为区域生成网络测试的参考信息；

(9)、车辆检测网络区域生成部分测试：使用区域生成网络结合运动检测结果得到有可能包含车辆的候选区域：首先根据背景模型应用得到的结果，获取可能的运动车辆区域及其外接矩形框的位置，若运动检测结果不准确，即运动区域小于整幅图像的10％或者大于整幅图像的70％，则将整幅图像设置为一个矩形框；然后与训练过程类似，在这些矩形框的内部以16像素为步长，设置拥有64、128、256像素的大小与1:2、1:1、2:1的长宽比例的滑动窗口，将图像区域作为感受野映射到卷积层conv5_3上获取对应的卷积特征，进行后续卷积层PR_conv、全联接层RP_FC的处理获取分类层RP_cls_score、回归层RP_bbox_pred的输出，得到窗口区域车辆出现可能性的判断结果与坐标的优化结果，最后进行非极大值抑制处理进一步减少候选区域的数量，形成检测神经网络的区域生成输入；

(10)、车辆检测网络区域判定部分测试：利用步骤(5)得到的区域生成网络输出的卷积层conv5_3的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域FC6’层、FC7’层、cls_score’、ori_score’与bbox_pred’进行处理，确定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息；

(11)、检测结果优化：针对多个检测结果之间出现相互交叉的情况，使用基于神经网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；

检测结果优化具体包括以下内容：

a、与训练过程相似，首先进行检测结果的划分，将不同的检测结果进行组合，获取最终的检测结果数量：假定N个检测结果使用B＝{b_i＝(x_ilt，y_ilt，x_irb，y_irb)，i∈[1 2 ...N]}来表示所有的检测结果，实际处理的方法为每次选择最高得分的检测结果并计算他与剩余检测方框的IOU，记前最大得分的方框为b_k，取IOU大于0.5的部分组成一个一类方框集合B_k1，b_k作为其中的一个元素；取IOU大于0.3而小于0.5的部分到一个二类方框集合B_k2，其中的方框参加再次划分；重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应的一类方框与二类方框记为{(B_k1，B_k2)，k∈[1 2 ... K]}；

b、针对所有的一类方框B_k1，计算均值方框以及所有方框与均值方框地四元误差数组{ΔB_k1j＝(Δx_k1jlt，Δy_k1jlt，Δx_k1jrb，Δy_k1jrb)，b_k1j∈B_k1}，记录对应得分；

c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值然后将平均差异值转化为基于均值方框大小的相对表示为使用检测结果优化网络的第一部分进行处理得到预测的坐标偏差

d、对于二类标签的数据，使用上述同样的坐标均值进行相同的处理，得到类似的另外坐标偏差

e：进行两部分偏差的合并，分别使用0.8与0.2的权值进行差异值的求和然后基于一类方框的均值得到实际的偏差长度，然后进行真实方框位置的输出；

(12)、背景模型在线更新：利用判断结果对步骤(2)得到的背景模型的正确性进行判断，然后对其进行选择性的更新，提高模型对背景描述的准确性；

背景模型在线更新具体包括以下内容：

a、根据车辆检测的结果，得到图像中出现车辆的区域，对应到高斯混合模型的检测结果中，通过车辆区域与运动区域的IOU判断运动检测模型的准确度，当所有运动区域都出现车辆并且两种区域的IOU大于0.5时认为模型检测结果较为准确，此时不需要进行背景模型的更新；

b、当检测结果中出现不包含车辆的区域时，认为背景模型中出现了误判，该区域的背景描述与实际差异较大，认为对应区域的背景模型中将本来应该判断为前景的区域判断为了背景，使用模型对原始图像序列进行检测，得到针对当前区域检测结果类似的部分图像形成新的序列作为数据源，对当前对应区域的背景模型进行重新建立；

c、当区域的IOU小于0.5时，说明对于运动区域的判断不太准确，出现的原因主要为阴影的影响，需要用非车运动区域对模型的参数进行更新，降低模型将背景判断为前景的概率；

d、当在背景模型应用部分出现运动区域小于图像大小的10％时，若车辆检测同样没有结果，真不对模型进行更新，否则说明区域模型不准确，需要利用当前图像对检测模型中对应于车辆出现的区域进行更新；

e、当在背景模型应用部分出现运动区域大于图像大小的70％时，说明当前图像与背景模型相差较大，背景模型对于当前图像的作用不大，需要利用当前图像对所有非车区域的背景进行更新。

Claims (10)

1.一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：包括有训练过程和测试过程：

所述的训练过程包括有以下步骤：

(1)、车辆信息标注：收集不同图像采集终端得到的所有原始图像进行处理，标注出图像中车辆的位置坐标信息，并添加车辆类型的判断结果与车头的方向信息，并将所有图像和上述所有标注信息存储于数据库中；

(2)、背景模型建立：针对不同的图像采集终端，分别收集训练数据形成相邻帧之间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两种情况，分别使用高斯混合模型建立背景模型；

(3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分割，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LPO算法进行在步骤1中数据库上的调整，得到区域生成初始模型；

(4)、训练车辆判定网络：利用卷积神经网络与区域生成初始模型的结果，以车辆位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联合学习，得到多类型的车辆判定网络；

(5)、训练区域生成网络：利用车辆判定网络的卷积层作为特征，进行基于滑动窗口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络，即区域生成网络，将其与车辆判定网络结合得到多类型的车辆检测网络；

(6)、网络结构压缩：利用矩阵分解手段对多类型的车辆检测网络的区域生成部分与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；

(7)、训练检测结果优化模型：通过将所有的检测结果分组，形成各自对应于真实检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作为检测结果优化模型；

所述的测试过程包括有以下步骤：

(8)、背景模型应用：通过图像采集信息和图像明暗度的判断确定图像采集的时间段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的运动检测结果，为区域生成部分提供外部约束信息；

(9)、车辆检测网络区域生成部分测试：利用背景模型应用得到的运动检测结果，在运动区域使用特定的滑动窗口模式生成大量的方框区域，然后使用步骤(5)得到的区域生成网络得到这些方框区域的车辆存在与否判断的二分类得分与位置优化结果，选择其中得分较高的区域作为包含有车辆的候选区域，接着使用非极大值抑制方法降低生成的候选区域的数量；

(10)、车辆检测网络区域判定部分测试：利用步骤(5)得到的区域生成网络输出的卷积层的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域进行处理，确定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息；

(11)、检测结果优化：针对多个检测结果之间出现相互交叉的情况，使用基于神经网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；

(12)、背景模型在线更新：利用判断结果对步骤(2)得到的背景模型的正确性进行判断，然后对其进行选择性的更新，提高模型对背景描述的准确性。

2.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(1)中的车辆类型是根据车辆的车头大小、车辆轴数以及整体结构信息的差异，将车辆划分为轿车、巴士、轻卡、中型卡车、重型卡车、商务车、运动型多用途汽车和工程车八个类别；所述的车头的方向信息包括有左侧、左前、正前、右前和右侧五个方向信息；所述的步骤(3)中的区域生成初始模型，首先使用全卷积网络模型对训练图像进行分割，得到图像中出现的所有物体的轮廓位置信息，作为LPO算法在训练过程中物体的分割标注，且在区域生成初始模型训练完成之后，使用部分训练图像作为验证数据库，进行LPO算法相关参数的调整，降低区域生成过程所需要的资源占用量与时间花费。

3.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(4)中训练车辆判定网络的具体步骤是，利用已有的卷积神经网络架构，在车辆类型与车头方向两个输出中各自添加了一个背景类别，即设置车辆类型的输出数目为车辆类型数八加一即九、车头方向的输出数目设置为车头方向数五加一即六，训练时将与真实车辆区域的IOU小于0.3的区域生成结果当成非车区域，其相应的车辆类型与车头方向都设置为各自的背景类别，在步骤(1)所建立的车辆数据库上进行多任务的联合学习，得到车辆判定网络，使得网络能够在获取车辆位置的同时得出相应的类型信息、角度信息；其中，在具体训练过程中，注意以下几点：将LPO算法得到的对所有训练数据的区域生成结果作为网络的候选区域输入；使用在大规模互联网图像数据库上的分类训练得到的模型进行车辆判定网络模型的初始化；通过降低卷积层之前网络层的学习速率为后接几层的十分之一实现模型的微调学习，着重调整后续网络层的参数，充分利用网络已经学到的初步抽象能力，使得模型的表达能力更加强大。

4.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(5)训练区域生成网络具体包括以下步骤：

a、确定使用的基于卷积层的滑动窗口模型的相关参数，确定滑动窗口具有64、128、256像素三类大小，1:2、1:1、2:1三种长宽比例，在原始图像上的移动步长为16个像素；

b、针对输入的训练图像，将设计的滑动窗口映射到卷积层中，获取最终的卷积特征，同时通过与真实值的IOU判断给与相应的车与背景标签，在这个过程中设计卷积层与全联接层对针对图像的特征图进行处理，模拟这种滑动窗口处理方式的卷积特征提取与优化；

c、设计训练网络：使用与车辆判定网络相同的卷积层结构，添加一个与分类和位置优化类似的分类层与回归层，执行区域生成结果的判断与优化；

d、利用设计的训练网络结构与车辆判定网络的卷积特征进行车与背景的分类与坐标优化的回归训练，得到包含车辆区域位置的区域生成网络；

e、将区域生成网络与车辆判定网络进行合并，得到车辆检测网络，然后利用车辆检测网络的区域生成结果，对后续的车辆判定网络的全连接层、分类层与回归层部分进行调整优化，使其中的区域判定部分适应区域生成网络的输出。

5.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(6)中的网络结构压缩具体包括以下步骤：

a、利用SVD算法压缩减少网络中全联接层的数量；针对全联接层，实际的神经元响为y，具体见公式(1)：

y＝f(W*a) (1)，

其中，f表示激活函数；假定W的大小为u×v，其中u、v分别对应输入与输出节点的数量，对其进行SVD近似分解，得到结果W，具体见公式(2):

W≈U∑_tV^T (2),

其中，U、∑_t、V的大小分别为u×t、t×t、v×t，并且∑_t为对角阵，权重的总数量变化为t×(u+v+1)，其中，t为一个截断参数，用于控制压缩程度，即全联接层拆分之后中间节点的数量，u、v分别对应了一个全联接层输入与输出节点的数量；通过设计t的值小于u与v的最小值，有以下的不等式(3)成立：

t×(u+v+1)＜u×v (3)，

所以，通过SVD分解降低了总体的参数数量，实际上也降低了全联接层的处理时间；对卷积层进行卷积核的低维分解；

b、利用马克斯.耶德贝里的算法对网络的卷积层结构进行压缩：假定当前层的卷积核个数为N，即输出节点有N个，卷积核的大小为d*d，得到的特征图大小为H′×W′，输入通道数为C，那么该卷积层的计算量为O(CNd²H′W′)；将卷积核用{W_i∈R^d×d，i＝[1...N]}表示，考虑将其拆分为两个一维卷积核的合成结果：第一类一维卷积核使用{v_k∈R^d×1×C；k＝[1...K]}来表示，得到的特征图为V，V(u，v)∈R^K，第二类一维卷积核使用{h_n∈R^1×d×K；n＝[1...N]}来表示，那么得到总体的计算量为O(K(C+N)d H′W′)；两个一维卷积核通过计算卷积核的重构误差最小化使用共轭梯度下降法进行求取，具体优化目标；如下最终，当K(C+N)＜NCd时，保证K(C+N)d H′W′＜CNd² H′W′，实际上，实现的卷积层优化倍数近似等于卷积核的大小。

6.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(7)中的训练检测结果优化模型具体包括以下内容：

a、首先进行检测结果的划分，确定哪些检测结果判断的是同一个物体；处理的方法为每次选择最高得分的结果，然后通过计算他与剩余检测方框的IOU进行划分：假定N个检测结果使用B＝{b_i＝(x_ilt，y_ilt，x_irb，y_irb)，i∈[1 2 ...N]}来表示，每次选择具有当前最大得分的方框记为b_k，计算它与剩余方框的IOU值并分类：当IOU大于或等于0.5时表明他们预测同一个物体，将这些方框组成一个一类方框集合B_k1＝{b_i|IOU(b_i，b_k)≥0.5，b_i∈B}，其中的方框不参加再次划分，b_k作为其中的一个元素；当IOU大于0.3而小于0.5时，认为他们共用了部分区域，得到一个二类方框集合B_k2＝{b_i|0.3＜IOU(b_i，b_k)＜0.5，b_i∈B}，其中的方框参加再次划分；重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应的一类方框与二类方框记为{(B_k1，B_k2)，k∈[1 2 ...K]}；

b、针对所有的一类方框B_k1，计算均值方框以及所有方框与均值方框地四元误差数组并记录对应得分，然后计算物体真实方框与均值方框的真实差异值

c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值然后将平均差异值与真实差异值都转化为基于均值方框大小的相对大小表示为与利用神经网络建立一个四元关系实现两者之间隐含关系的建立，作为检测结果优化模型的第一部分；

d、对于二类标签的数据，使用上述同样的坐标均值进行相同的处理，得到相应的然后建立类似的另外一个四元关系作为检测结果优化模型的第二部分。

7.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(8)中的背景模型应用具体包括以下内容：

a、通过数据库中的数据项信息，获取待处理图像的名称、存储位置以及相应的采集信息；

b、根据采集信息，确定对应的图像采集终端的编号，通过整体明暗度确定使用白天还是夜晚，选择合适的高斯混合模型；

c、根据图像总体明暗度与模型平均明暗度的对比，进行图像明暗度的调整，将图像明暗度的变化范围与模型的变化范围形成对应，降低整体光照的差异对于检测结果的影响；

d、使用模型对当前图像进行前景检测，然后进行形态学处理，得到运动区块，并划分为多个连通域；

e、获取运动区域外接矩形的图像坐标，确定其在图像中所占比例，判断算法结果的准确程度，当超过80％的区域或者少于10％的区域都被判断为前景时，说明运动检测的结果不准确，不能作为区域生成网络测试的参考信息。

8.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(9)中车辆检测网络区域生成部分测试，使用区域生成网络结合运动检测结果得到有可能包含车辆的候选区域：首先根据背景模型应用得到的结果，获取可能的运动车辆区域及其外接矩形框的位置，若运动检测结果不准确，即运动区域小于整幅图像的10％或者大于整幅图像的70％，则将整幅图像设置为一个矩形框；然后与训练过程类似，在这些矩形框的内部以16像素为步长，设置拥有64、128、256像素的大小与1:2、1:1、2:1的长宽比例的滑动窗口，将图像区域作为感受野映射到卷积层conv5_3上获取对应的卷积特征，进行后续卷积层PR_conv、全联接层RP_FC的处理获取分类层RP_cls_score、回归层RP_bbox_pred的输出，得到窗口区域车辆出现可能性的判断结果与坐标的优化结果，最后进行非极大值抑制处理进一步减少候选区域的数量，形成检测神经网络的区域生成输入。

9.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(11)检测结果优化具体包括以下内容：

a、与训练过程相似，首先进行检测结果的划分，将不同的检测结果进行组合，获取最终的检测结果数量：假定N个检测结果使用B＝{b_i＝(x_ilt，y_ilt，x_irb，y_irb)，i∈[1 2 ...N]}来表示所有的检测结果，实际处理的方法为每次选择最高得分的检测结果并计算他与剩余检测方框的IOU，记前最大得分的方框为b_k，取IOU大于0.5的部分组成一个一类方框集合B_k1，b_k作为其中的一个元素；取IOU大于0.3而小于0.5的部分到一个二类方框集合B_k2，其中的方框参加再次划分；重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应的一类方框与二类方框记为{(B_k1，B_k2)，k∈[1 2 ...K]}；

b、针对所有的一类方框Bk1，计算均值方框以及所有方框与均值方框地四元误差数组{ΔB_k1j＝(Δx_k1jlt，Δy_k1jlt，Δx_k1jrb，Δy_k1jrb)，b_k1j∈B_k1}，记录对应得分；

c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值然后将平均差异值转化为基于均值方框大小的相对表示为使用检测结果优化网络的第一部分进行处理得到预测的坐标偏差

d、对于二类标签的数据，使用上述同样的坐标均值进行相同的处理，得到类似的另外坐标偏差

e：进行两部分偏差的合并，分别使用0.8与0.2的权值进行差异值的求和然后基于一类方框的均值得到实际的偏差长度，然后进行真实方框位置的输出。

10.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(12)背景模型在线更新具体包括以下内容：

a、根据车辆检测的结果，得到图像中出现车辆的区域，对应到高斯混合模型的检测结果中，通过车辆区域与运动区域的IOU判断运动检测模型的准确度，当所有运动区域都出现车辆并且两种区域的IOU大于0.5时认为模型检测结果较为准确，此时不需要进行背景模型的更新；

b、当检测结果中出现不包含车辆的区域时，认为背景模型中出现了误判，该区域的背景描述与实际差异较大，认为对应区域的背景模型中将本来应该判断为前景的区域判断为了背景，使用模型对原始图像序列进行检测，得到针对当前区域检测结果类似的部分图像形成新的序列作为数据源，对当前对应区域的背景模型进行重新建立；

c、当区域的IOU小于0.5时，说明对于运动区域的判断不太准确，出现的原因主要为阴影的影响，需要用非车运动区域对模型的参数进行更新，降低模型将背景判断为前景的概率；

d、当在背景模型应用部分出现运动区域小于图像大小的10％时，若车辆检测同样没有结果，真不对模型进行更新，否则说明区域模型不准确，需要利用当前图像对检测模型中对应于车辆出现的区域进行更新；

e、当在背景模型应用部分出现运动区域大于图像大小的70％时，说明当前图像与背景模型相差较大，背景模型对于当前图像的作用不大，需要利用当前图像对所有非车区域的背景进行更新。