CN106599869B - 一种基于多任务卷积神经网络的车辆属性识别方法 - Google Patents

Abstract

本发明提供了一种基于多任务卷积神经网络的车辆属性识别方法，包括训练过程和识别过程两部分，具体过程包括：获取待识别车辆图片、设计多任务卷积神经网络结构并训练车辆属性识别的网络模型、识别车辆类型并回归车辆车窗位置坐标、设计车辆图像掩膜并生成新车辆图像、提取新车辆图像的多任务卷积神经网络特征、训练SVM分类模型，识别车辆颜色。本发明的优点在于：无需用户手动定义特征再分类，多任务卷积神经网络结构能够同时接收并处理多个任务，并在多任务卷积神经网络的基础上，获得车辆图像中车辆的结构信息，以实现有效的车辆颜色识别方法，提高其识别准确度，从而为智能交通提供准确的依据。

Description

一种基于多任务卷积神经网络的车辆属性识别方法

技术领域

本申请涉及智能交通***领域和计算机视觉技术领域，尤其涉及一种基于多任务卷积神经网络的车辆类型和车辆颜色识别方法。

背景技术

目前，在识别图片中的具体内容时，通常包括如下步骤：

第一步，在图片中检测感兴趣物体的位置，比如，若要进行车辆的属性识别则需要先使用一个检测器将这辆车从图片中检测出来，检测器的输出结果为该车在图片中的坐标；

第二步，将该车按照坐标位置从原图中剪切下来，将剪切后的图片放到分类器中，分类器的输出结果为这辆车的识别结果。

在第二步中，通常是将输入的原始图片像素值转化为人工定义的特征(Human-handcrafted Features)，比如：方向梯度直方图(HOG，Histogram of OrientedGradient)、局部二值模式(LBP，Local Binary Pattern)、尺度不变性特征(SIFT，Scale-invariant Feature Transform)等特征，然后将这些变换得到的特征作为分类器的输入，得到相应的分类结果，即物体的识别结果。采用这种方式进行识别，所采用的分类特征比较单一，不足以完整的刻画描述物体，特别是难以区分相似度较高的物体，导致识别准确率下降。

现有技术中，图像识别时，由于提取的特征表达能力不足，导致识别精度下降。

因此，在图像识别领域，技术人员致力于从图片中提取具有足够强的表达能力的特征训练分类器，以提高识别准确率。在智能交通***中，车辆属性信息的重要性愈加明显，诸如车辆类型、车辆颜色等属性信息在视频监控、公安破案、道路场景分析、城市公共安全等诸多应用中作用非凡。因此，本申请实施例致力于获得更精确的车辆属性信息，使其能够在智能交通***中发挥重要作用。

发明内容

本申请实施例提出一种基于多任务卷积神经网络的车辆属性识别方法，以解决现有技术中的图像识别方法识别准确率较低的技术问题。

本发明是通过以下技术方案解决上述技术问题的：一种基于多任务卷积神经网络的车辆属性识别方法，其特征在于，包括如下步骤：

步骤11：获取待识别车辆图像；

步骤12：利用多任务卷积神经网络训练车辆属性识别的多任务网络模型；所述多任务卷积神经网络是在同一个卷积神经网络中同时识别车辆多个属性，所述多任务卷积神经网络的网络结构包括卷积层、池化层和全连接层，所述卷积层的后面连接所述池化层，所述池化层的后面连接所述全连接层，所述全连接层包含三组并行部分，每组并行部分又包含三个首尾连接的全连接层，每组并行部分分别对应所述车辆类型信息、车辆颜色信息和车窗位置信息，每组并行部分的最后一个全连接层的每个输出节点为所述车辆图像的车辆类型概率、车辆颜色概率和车窗位置坐标点预测值；

步骤13：根据所述车辆类型和车窗位置的概率确定所述待识别车辆图像的车辆类型和车窗位置；

步骤14：根据所述多任务卷积神经网络得到的车辆类型结果以及所述车辆车窗位置信息设计不同掩膜，所述掩膜为与车辆图像尺寸相同的二进制矩阵；将所述掩膜和车辆图像点乘得到加入所述掩膜的新车辆图像；利用所述多任务卷积神经网络提取所述新车辆图像在第二个池化层的特征；将提取的所述特征输入至分类器中训练分类模型；

步骤15：根据所述分类器结果确定车辆颜色信息。

作为优化的技术方案，所述步骤14中，所述分类器是SVM分类器。

作为优化的技术方案，所述步骤12中，所述多任务卷积神经网络训练步骤具体包括：

步骤122：获取带有标签的车辆图像样本；所述标签为多个标签，包括车辆的类型信息、颜色信息和车窗位置信息；

步骤123：对获取的所述车辆图像样本准备其训练标签，按多标签的格式生成TXT训练标签；

步骤124：对获取的车辆图像样本进行预处理；

步骤125：设计所述多任务卷积神经网络结构；

步骤126：利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像样本的进行车辆类型识别和车窗回归；

步骤127：根据多任务卷积神经网络每一个属性的输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。

作为优化的技术方案，步骤123中，所述多标签的格式为“车辆图片名车辆类型标签车辆颜色标签车辆车窗位置坐标”，其中除车辆图片名之外的标签顺序可以任意调整，对获取的车辆图像样本进行预处理包括数据增强、中心化以及resize操作。

作为优化的技术方案，所述步骤126具体为：利用预先设置有初始参数的卷积核与所述车辆图像进行卷积计算；经过池化层的池化操作，然后连接至车辆颜色的全连接层的全连接操作，得到所述车辆图像样本车辆颜色属性概率，同时也在所述池化层操作之后继续连接所述卷积层和所述池化层，在所述池化层之后，分别连接至用于车辆类型识别和车辆车窗位置回归的全连接层；所述利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像车窗位置进行回归具体操作是将所述全连接层的输出数目改为车窗位置的坐标点个数；所述根据所述多任务卷积神经网络输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。

作为优化的技术方案，所述训练所述多任务卷积神经网络的参数的过程具体为：当所述车辆属性概率与所述车辆的属性信息之间存在差异或者车辆车窗位置的输出概率与所述车辆车窗位置信息之间存在差异时，调整所述卷积核的参数，直至输出的车辆属性概率与所述车辆的属性信息相符或者输出的车辆车窗位置与所述车辆车窗位置信息相符。

作为优化的技术方案，所述步骤14中根据所述多任务卷积神经网络预测的车辆类型和回归的车辆车窗位置的结果设计掩膜，根据所述图像掩膜和所述带标签的车辆图像样本做点乘运算，得到新车辆图像，具体为：初始化掩膜矩阵为全1矩阵，并使其与所述车辆图像尺寸相同，然后根据所述多任务卷积神经网络预测的车辆类型结果和回归的车辆车窗位置结果，找出车辆图像的边缘部分、车窗部分以及其他与车辆颜色信息无关的部分在掩膜矩阵中的相应位置，并将掩膜矩阵中这些位置的元素置零；然后将此掩膜矩阵和所述车辆图像矩阵点乘，得到新车辆图像样本。

作为优化的技术方案，所述多任务卷积神经网络的网络结构具体为：

所述多任务卷积神经网络的网络结构为能够处理多任务的网络模型，共5层卷积层、3个池化层和9个全连接层；整个多任务卷积神经网络等同于共有三个支路，分别对应车辆车型识别、车辆颜色识别、车窗位置回归三个任务；

三个任务共用第一、二层所述卷积层和所述池化层，对于所述车辆颜色识别任务，直接在第二个所述池化层之后连接三个所述全连接层，最后一个所述全连接层的输出个数为所述车辆颜色类别总数目；对于所述车辆类型识别和所述车辆车窗位置回归任务，则继续共用连接三个所述卷积层，随后连接所述池化层，在所述池化层之后，分别连接三个所述全连接层，相应的最后一个全连接层的输出个数分别对应车辆类型的分类数目和车辆车窗位置的坐标个数；

在卷积层，将所述待识别的车辆图像与预先训练得到的卷积核进行卷积计算，输出一个或多个特征图像；

在池化层，对所述卷积层的输出进行池化操作；

在全连接层，对所述上一层的输出进行全连接操作，所述最后的全连接层的输出节点个数与相应的车辆类型和车辆颜色的分类数目以及车辆车窗位置的坐标点个数相同；

对所述最后的全连接层的输出进行分类和回归，得到车辆类型概率和车辆颜色概率以及车辆车窗坐标位置概率。

作为优化的技术方案，步骤14中，将提取的所述特征输入至SVM分类器中训练分类器具体为：使用预训练的直方图正交核作为SVM的预训练的核，然后将所述预训练的核作为SVM分类器的核，训练有效的SVM模型。

作为优化的技术方案，在所述利用多任务卷积神经网络训练车辆属性识别的多任务网络模型之前，需对所用的训练工具CAFFE源码做修改，具体包括如下步骤：

修改caffe.proto文件，在Datum消息中增加多标签项labels，类型设置为repeated，数据类型为float，赋值为8；

修改io.cpp和io.hpp文件，在io.hpp文件中增加读取多标签的函数，在函数中读取标签个数和标签数值，并在io.cpp中实现这两个函数，使其能够依次读取多个标签，标签数目无需提前指定，而是依据训练标签中的标签数目自动确定；

修改data_layer.cpp文件，使其能够接收处理多个标签；

修改convert_imageset.cpp文件，使其能够将带有多个标签的训练集转换为caffe支持的数据格式。

本发明相比现有技术具有以下优点：

1.与传统的人工定义的特征相比，本申请实施例无需用户手动定义特征再分类，直接利用预先训练好的多任务卷积神经网络回归出车辆的车窗位置等结构化信息，并识别所述待识别车辆图像的车辆类型；

2.本申请实施例利用多任务卷积神经网络的池化层的特征对车辆颜色信息进行识别，特征提取更简洁，且特征表达能力更强；

3.本申请实施例所采用的方案利用多任务卷积神经网络回归车辆车窗位置并识别车辆类型，以及利用多任务卷积神经网络的特征识别车辆颜色，这种方式更足以刻画和区分物体，使得车辆颜色识别精度提升。

附图说明

图1是一种基于多任务卷积神经网络的车辆属性识别方法流程图；

图2是本申请实施例中多任务卷积神经网络的网络结构示意图；

图3是本申请实施例中车辆颜色识别流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

图1示出了本申请实施例中基于多任务卷积神经网络的车辆属性识别方法的流程示意图，如图所示，所述基于多任务卷积神经网络的车辆属性识别方法包括如下步骤：

步骤11、获取待识别车辆图像；

步骤12、利用多任务卷积神经网络训练车辆属性识别的多任务网络模型；所述多任务卷积神经网络是在同一个卷积神经网络中同时识别车辆多个属性，所述车辆属性包含车辆类型和车辆颜色，所述多任务卷积神经网络的网络结构包括卷积层、池化层和全连接层，所述卷积层的后面连接所述池化层，所述池化层的后面连接所述全连接层，所述全连接层包含三组并行部分，每组并行部分又包含三个首尾连接的全连接层，每组并行部分分别对应所述车辆类型信息、车辆颜色信息和车窗位置信息，每组并行部分的最后一个全连接层的每个输出节点为所述车辆图像的车辆类型概率、车辆颜色概率和车窗位置坐标点预测值；

步骤13、根据所述车辆类型和车窗位置的概率确定所述待识别车辆图像的车辆类型和车窗位置；

步骤14、根据所述多任务卷积神经网络得到的车辆类型结果以及所述车辆车窗位置信息设计不同掩膜，所述掩膜为与车辆图像尺寸相同的二进制矩阵；将所述掩膜和车辆图像点乘得到加入所述掩膜的新车辆图像；利用所述多任务卷积神经网络提取所述新车辆图像在第二个池化层的第144-192个卷积核上的特征；将提取的所述特征输入至SVM分类器中训练分类器；

步骤15、根据所述分类器结果确定车辆颜色信息。

具体实施时，可以首先获取待识别的车辆图像，所述图像中可以有多辆具有多个属性的车辆，如车辆车型、车身颜色等，例如，所述待识别车辆图像上可以有白色轿车、黑色客车、红色货车等。

然后利用预先训练得到的多任务卷积神经网络模型先识别所述待识别车辆图像的车辆类型，并回归出车窗位置。其中，

本申请实施例中的多任务卷积神经网络包括卷积层、池化层和全连接层这三种层，其中：

卷积层(Convolutional Layer)，通过卷积运算使得原信号特征增强并降低噪音，具体的卷积运算可以通过现有技术实现；

池化层(Pooling Layer)，利用图像局部性原理通过不同的抽样的方法减少特征维度，可以包括最大池化、均值池化、随机池化等方式，具体实现可以采用现有技术；

全连接层(Fully Connected Layer)，全连接层的每一个结点都与上一层的所有结点相连，用来把上一层提取到的特征综合起来，然后执行正常的识别、回归等任务，可以将其看作一种特殊的卷积层。

将待识别的车辆图像作为多任务卷积神经网络的输入，在输入层与卷积层之间做卷积操作，卷积层的每个神经元可以与输入层中的一定尺寸的局部感受野相连，通过卷积后获取了所述待识别车辆的特征(Features)；从卷积层到池化层的过程称为池化过程，目的在于通过不同的下采样方式降低数据的特征维度，但同时又不损失数据的表达能力；经过卷积层和池化层之后得到的特征会由全连接层进行分类，经过全连接层的处理，最终输出结果。

本申请实施例分为训练过程和识别过程，下面以实施例的方式分别对其进行阐述。

本申请实施例使用较为流行的深度学习训练工具caffe(http://caffe.berkeleyvision.org/)作为训练工具，但由于其在接收训练数据的标签时只能接收单个标签，不能直接处理一张图片有多个训练标签的多任务的情况，故此，在本申请实施例的训练过程开始之前，需先对caffe源码做一定修改，其具体修改过程包括如下步骤：

步骤1、修改caffe.proto文件，在Datum消息中增加多标签项labels，类型为repeated，赋值为不同于已存在项的值；

步骤2、修改io.cpp和io.hpp文件，在io.hpp文件中增加读取多标签的函数，并在io.cpp中实现这两个函数，使其能够依次读取多个标签，标签数目无需提前指定，而是依据训练标签中的标签数目自动确定；

步骤3、修改data_layer.cpp文件，使其能够接收多个标签，并能完成将其转换成caffe所支持的数据格式的任务；

步骤4、修改convert_imageset.cpp文件，使其能够将带有多个标签的训练集转换为caffe支持的数据格式，如闪电内存映射数据库管理(LMDB，Lightning Memory-MappedDatabase Manager)或键/值对嵌入式数据库管理***(LevelDB)。

使用caffe训练本申请实施例的训练过程具体操作包括如下：

步骤一、准备训练数据

收集一批车辆图像数据，大约10万张，将其按12种车辆类型和15种车辆颜色进行标定，标定过程中，用矩形框在原始车辆图像中标定车辆位置和车窗位置，分别获取其位置坐标，并同时标定车辆的车辆类型和车辆颜色。

步骤二、准备训练集标签

将车辆车窗位置坐标改为相对位置，并中心化，然后将准备好的训练数据按某一类别放入不同文件夹，然后按图片名生成TXT文件作为训练标签，文件每行代表一张图片，其中，每行的格式为：“图片名车辆类型标签车辆颜色车窗位置坐标”，每种属性的标签之间加空格区分，其中车辆类型、车辆颜色和车窗位置坐标这三个标签的顺序可以任意调整。

步骤三、预处理

将整理好的图片进行数据增强、中心化以及resize等预处理后转化为caffe支持的数据格式LMDB，然后生成训练数据集的均值文件。

其中，数据增强可以包括旋转、直方图均衡、白平衡、镜像操作、随机裁剪等；中心化使用参数的范围在100-150之间；resize图像大小为256(pixels)。

步骤四、设计多任务卷积神经网络

本申请实施例中的网络结构可以包括三个组成部分，分别为：卷积层(Convolutional Layer)，池化层(Pooling Layer)和全连接层(Fully Connected Layer)。

图2示出了本申请实施例中多任务卷积神经网络的结构示意图，如图所示，本申请实施例采用了5层卷积层，3个池化层和9个全连接层，第1个、第2个和第5个卷积层后面分别连接第1个池化层、第2个池化层、第3个池化层，第2个池化层后面连接三个依次首尾连接的全连接层，三个全连接层的最后一个全连接层的输出个数为车辆颜色的分类数目(15类)，第3个池化层后面连接两组全连接层，每组全连接层包括三个依次首尾连接的全连接层，三个全连接层的最后一个全连接层的输出个数分别为车辆类型的分类数目(12类)和车辆车窗的位置坐标(4个)，其中最后一个全连接层的每个输出节点对应该图片为相应车型、颜色和车辆坐标位置的概率，最后将此输出概率与真实标定的类别和车辆车窗位置坐标进行比较，其中车辆类型和车辆颜色使用SOFTMAXWITHLOSS损失函数、车辆车窗位置使用EUCLIDEANLOSS损失函数分别来衡量输出结果与真实值的差距，该差异可以逐层反向传到网络中，进行模型参数的训练。

步骤五、训练模型

本申请实施例的多任务卷积神经网络的训练过程需先定义solver解析文件，所述solver解析文件给出了最优化模型(训练)的方法，即，参数的反向传播算法。其中，关键参数可以包括基础学习率(Base Learning Rate)、学习动量(Momentum)、权重惩罚系数(Weight_decay)、最大迭代次数(Max_iter)、学习率更新策略(Lr_policy)等，所述基础学习率的范围可以为0.0001-0.01，所述学习动量可以为0.9，权重惩罚系数可以为0.0005，最大迭代次数可以为10000-30000，具体数值因数据集不同可以有所不同，所述学习率更新策略有fixed(保持基础学习率不变)、step(线性调整，需设置步长stepsize)、exp(指数调整)、poly(多项式误差调整)、sigmoid(进行sigmoid衰减调整)等。

步骤六、设计掩膜(MASK)

根据车辆车型和车辆的车窗位置坐标，对不同类型的车辆分别设计不同类型的掩膜，所述掩膜是与车辆图像大小相同的二进制矩阵，将原始车辆图像中与车辆颜色无关的部分置为0，其目的是排除车辆图像中对车辆颜色识别无用的区域对车辆颜色识别的影响，例如车窗、车辆边缘等。

步骤七、重构数据集

根据步骤六中设计的掩膜，将其与步骤一中标定的车辆图像相乘，得到加入掩膜信息的车辆图像。

步骤八、提取池化层特征

对于车辆颜色识别，由于多任务卷积神经网络低层提取图像浅层信息，足以表达颜色信息，所以利用步骤五中训练好的深度学习模型提取准备好的训练数据在第二个池化层的特征。

在加入掩膜的车辆图像在多任务卷积神经网络中第二个池化层的特征图中，能够看出，对于颜色识别实际有效的区域集中在第144至第192个卷积核之间，因此为了降低特征维度，本申请实施例选取所述区域内的特征，作为下一步的训练集。

步骤九、训练SVM模型

将步骤八中提取到的特征作为SVM分类器的输入，训练SVM分类器；所述训练SVM分类器采用预先计算得到的直方图正交核作为所述训练SVM分类器的核，然后由所述直方图正交核得到分类器模型。

根据多任务卷积神经网络的训练文件train_val.prototxt设置网络部署文件deploy.prototxt，所述部署文件中的网络结构和所述多任务卷积神经网络训练文件的网络结构基本一致，只需将输入层和最后的LOSS层做修改，用于识别过程，具体修改方式为：

1.将多任务卷积神经网络的训练文件中的前两层Data层改为一层Input类型的数据层，直接读取caffe加载后的待识别车辆图像数据；

2.将多任务卷积神经网络的训练文件中的Accuracy层和Loss层删除，并添加Softmax类型的预测层，预测待识别车辆图像的分类概率或车辆车窗位置坐标。

本申请实施例在具体的识别过程中，其具体操作过程包括：

步骤一、输入待识别车辆图像；

步骤二、对待识别的车辆图像预处理，将图像resize至256*256像素大小；

步骤三、利用多任务卷积神经网络进行车辆车型识别和车辆车窗位置回归。

用caffe加载待识别的车辆图像作为多任务卷积神经网络的输入，调用部署文件deploy.prototxt，将所述的输入在多任务卷积神经网络中进行一次前向传播(ForwardPropagation)，在最后一层概率层输出所述待识别车辆图像所属各个车辆类型的概率和车辆车窗位置坐标，分别取其中最大值。

步骤四、设计图像掩膜，提取池化层特征

图3示出了车辆颜色识别的流程图，由图3可知，在车辆颜色识别过程中，需先识别出车辆类型并得到车窗位置信息，由此设计掩膜，其具体过程如下：

根据步骤三中得到的车辆车型结果和车辆车窗位置坐标设计相应的掩膜，将该掩膜与车辆图像做点乘运算，得到加入掩膜的车辆图像，利用训练好的模型提取颜色识别这一任务中第二个池化层的特征，然后利用生成的SVM模型，计算用于测试的直方图正交核，然后分类得到所述待识别车辆图像所述各个颜色类别的概率，取概率值最高者作为预测结果。

采用本申请实施例所提供的模型可以区分12类车辆类型和15类车辆颜色，在测试集上的平均精度能够达到96.08％和91.86％。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多任务卷积神经网络的车辆属性识别方法，其特征在于，包括如下步骤：

步骤11：获取待识别车辆图像；

步骤12：利用多任务卷积神经网络训练车辆属性识别的多任务网络模型；所述多任务卷积神经网络是在同一个卷积神经网络中同时识别车辆多个属性，所述多任务卷积神经网络的网络结构包括卷积层、池化层和全连接层，所述卷积层的后面连接所述池化层，所述池化层的后面连接所述全连接层，所述全连接层包含三组并行部分，每组并行部分又包含三个首尾连接的全连接层，每组并行部分分别对应所述车辆类型信息、车辆颜色信息和车窗位置信息，每组并行部分的最后一个全连接层的每个输出节点为所述车辆图像的车辆类型概率、车辆颜色概率和车窗位置坐标点预测值；

步骤13：根据所述车辆类型和车窗位置的概率确定所述待识别车辆图像的车辆类型和车窗位置；

步骤14：根据所述多任务卷积神经网络得到的车辆类型结果以及所述车辆车窗位置信息设计不同掩膜，所述掩膜为与车辆图像尺寸相同的二进制矩阵；将所述掩膜和车辆图像点乘得到加入所述掩膜的新车辆图像；利用所述多任务卷积神经网络提取所述新车辆图像在第二个池化层的特征；将提取的所述特征输入至分类器中训练分类模型；

步骤15：根据所述分类器结果确定车辆颜色信息；

其中，整个多任务卷积神经网络等同于共有三个支路，分别对应车辆车型识别、车辆颜色识别、车窗位置回归三个任务；

三个任务共用第一、二层所述卷积层和所述池化层，对于所述车辆颜色识别任务，直接在第二个所述池化层之后连接三个所述全连接层，最后一个所述全连接层的输出个数为所述车辆颜色类别总数目；对于所述车辆类型识别和所述车辆车窗位置回归任务，则继续共用连接三个所述卷积层，随后连接所述池化层，在所述池化层之后，分别连接三个所述全连接层，相应的最后一个全连接层的输出个数分别对应车辆类型的分类数目和车辆车窗位置的坐标个数；

在卷积层，将所述待识别的车辆图像与预先训练得到的卷积核进行卷积计算，输出一个或多个特征图像；

在池化层，对所述卷积层的输出进行池化操作；

在全连接层，对上一层的输出进行全连接操作，最后的全连接层的输出节点个数与相应的车辆类型和车辆颜色的分类数目以及车辆车窗位置的坐标点个数相同；

对所述最后的全连接层的输出进行分类和回归，得到车辆类型概率和车辆颜色概率以及车辆车窗坐标位置概率。

2.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述步骤14中，所述分类器是SVM分类器。

3.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述步骤12中，所述多任务卷积神经网络训练步骤具体包括：

步骤122：获取带有标签的车辆图像样本；所述标签为多个标签，包括车辆的类型信息、颜色信息和车窗位置信息；

步骤123：对获取的所述车辆图像样本准备其训练标签，按多标签的格式生成TXT训练标签；

步骤124：对获取的车辆图像样本进行预处理；

步骤125：设计所述多任务卷积神经网络结构；

步骤126：利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像样本的进行车辆类型识别和车窗回归；

步骤127：根据多任务卷积神经网络每一个属性的输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。

4.根据权利要求3所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，步骤123中，所述多标签的格式为“车辆图片名 车辆类型标签 车辆颜色标签 车辆车窗位置坐标”，其中除车辆图片名之外的标签顺序可以任意调整，对获取的车辆图像样本进行预处理包括数据增强、中心化以及resize操作。

5.根据权利要求3所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述步骤126具体为：利用预先设置有初始参数的卷积核与所述车辆图像进行卷积计算；经过池化层的池化操作，然后连接至车辆颜色的全连接层的全连接操作，得到所述车辆图像样本车辆颜色属性概率，同时也在所述池化层操作之后继续连接所述卷积层和所述池化层，在所述池化层之后，分别连接至用于车辆类型识别和车辆车窗位置回归的全连接层；所述利用预先设置有初始参数的多任务卷积神经网络对所述车辆图像车窗位置进行回归，具体操作是将所述全连接层的输出数目改为车窗位置的坐标点个数；所述根据所述多任务卷积神经网络输出结果与所述相应的车辆属性信息之间的差异以及车辆位置的输出结果与所述车辆车窗位置的差异逐层反传至所述多任务卷积神经网络，训练所述多任务卷积神经网络的参数。

6.根据权利要求5所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述训练所述多任务卷积神经网络的参数的过程具体为：当所述车辆属性概率与所述车辆的属性信息之间存在差异或者车辆车窗位置的输出概率与所述车辆车窗位置信息之间存在差异时，调整所述卷积核的参数，直至输出的车辆属性概率与所述车辆的属性信息相符或者输出的车辆车窗位置与所述车辆车窗位置信息相符。

7.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述步骤14中根据所述多任务卷积神经网络预测的车辆类型和回归的车辆车窗位置的结果设计掩膜，根据所述图像掩膜和所述带标签的车辆图像样本做点乘运算，得到新车辆图像，具体为：初始化掩膜矩阵为全1 矩阵，并使其与所述车辆图像尺寸相同，然后根据所述多任务卷积神经网络预测的车辆类型结果和回归的车辆车窗位置结果，找出车辆图像的边缘部分、车窗部分以及其他与车辆颜色信息无关的部分在掩膜矩阵中的相应位置，并将掩膜矩阵中这些位置的元素置零；然后将此掩膜矩阵和所述车辆图像矩阵点乘，得到新车辆图像样本。

8.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，所述多任务卷积神经网络的网络结构具体为：

所述多任务卷积神经网络的网络结构为能够处理多任务的网络模型，共5层卷积层、3个池化层和9个全连接层。

9.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，步骤14中，将提取的所述特征输入至SVM分类器中训练分类器具体为：使用预训练的直方图正交核作为SVM的预训练的核，然后将所述预训练的核作为SVM分类器的核，训练有效的SVM模型。

10.根据权利要求1所述的基于多任务卷积神经网络的车辆属性识别方法，其特征在于，在所述利用多任务卷积神经网络训练车辆属性识别的多任务网络模型之前，需对所用的训练工具CAFFE源码做修改，具体包括如下步骤：

修改caffe.proto文件，在Datum消息中增加多标签项labels，类型设置为repeated，数据类型为float，赋值为8；

修改io.cpp和io.hpp文件，在io.hpp文件中增加读取多标签的函数，在函数中读取标签个数和标签数值，并在io.cpp中实现这两个函数，使其能够依次读取多个标签，标签数目无需提前指定，而是依据训练标签中的标签数目自动确定；

修改data_layer.cpp文件，使其能够接收处理多个标签；

修改convert_imageset.cpp文件，使其能够将带有多个标签的训练集转换为caffe支持的数据格式。