CN110378236A - 基于深度学习的车辆身份识别模型构建、识别方法和*** - Google Patents
基于深度学习的车辆身份识别模型构建、识别方法和*** Download PDFInfo
- Publication number
- CN110378236A CN110378236A CN201910537407.0A CN201910537407A CN110378236A CN 110378236 A CN110378236 A CN 110378236A CN 201910537407 A CN201910537407 A CN 201910537407A CN 110378236 A CN110378236 A CN 110378236A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- picture
- network
- face part
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉技术领域，涉及一种基于深度学习的车辆身份识别模型构建、识别方法和***。首先，本发明利用大规模道路监控图片进行车辆检测的模型训练，训练采用多损失函数分阶段联合训练策略。然后，对检测出的车脸图像进行部件提取，并根据车脸部件提取情况利用特征提取与融合网络或普通分类网络进行分类。最后，利用多任务网络提取并过滤车脸的身份特征向量，将待分析图像特征与车辆信息库内图像的特征向量进行相似性度量，得到车辆身份识别结果。本发明提出的深度学习网络框架能够针对需求，提升网络模型的在不同方面的特征提取能力，从而实现最佳的模型表述能力，方便提取具有显著区分度的识别特征向量。
Description
技术领域
本发明属于计算机视觉技术领域，更具体的讲，涉及基于深度学习的车辆身份识别模型构建、识别方法和***。
背景技术
近几年，基于神经网络、机器学习的计算机视觉理论得到了重新定义与质的发展，突破了手工设计作用局限、鲁棒性不够强的传统图像特征提取方案，通过多层卷积池化抽取高维度特征对大量训练数据进行拟合，回归出最适合解决问题的特征方案。由此计算机视觉领域涌现出大批效率高，适用性强，易于适配的应用实例，车牌识别就是其中发展较为成熟应用价值较高的实例，广泛应用于交通卡口视频监控处的违规罚款和企业车库的车辆筛选等。但是车牌作为车辆外观重要特征容易被违法分子涂改、遮挡、拆卸、伪造，因此我们对车辆的识别不能仅仅依赖于对车牌的识别。
目前已经出现了检测车型、车辆颜色的AI服务，对车辆的其他重点外形的特征提取可以作为车辆识别的重要依据。但是对相同颜色和车辆型号的车辆来说，大范围的侦查、筛选和识别，除了车牌之外几乎没有其它区分特征。无法对某些外形改装过的车辆的个体进行身份识别，如海量目标中的相似外形车辆中的车辆筛选与重识别、无牌或***辆的身份识别等。
发明内容
针对现有技术中存在的对车辆特征提取的细粒度不足，对车辆身份识别不准确的问题，本发明提出了一种基于深度学习的车辆身份识别模型构建、识别方法和***，采用如下技术方案实现：
基于深度学习的车辆身份识别模型构建方法，包括如下步骤：
步骤1：采集多张场景图片，对场景图片进行预处理，得到预处理图片集；
步骤2：对预处理图片集进行标注得到标签集，所述标签集的标签包括车辆、车脸、车型和车辆身份信息；
步骤3：利用预处理图片集和标签集训练网络；
所述网络包括车辆检测网络、车脸部件提取网络、车型分类网络和车辆身份识别网络；
所述车辆检测网络用于输出车辆目标图片；
所述车脸部件提取网络用于利用车辆目标图片输出车脸部件图片；
所述车型分类网络用于利用车辆目标图片和车脸部件图片输出车辆分类结果；
所述车辆身份识别网络用于依据车辆分类结果得到同种类车脸部件图片，然后利用同种类车脸部件图片输出车辆身份特征向量；
获得车辆身份识别模型。
进一步的，所述车辆检测网络的获得方法为：
对预处理图片集的每张图片中的车辆进行标注并进行预处理，得到车辆检测数据集，利用车辆检测数据集训练Mobilenet-SSD网络得到车辆检测网络。
进一步的，所述车型分类网络的获得方法包括如下步骤：
步骤a：对车辆目标图片中的车脸进行标注，得到车脸部件检测数据集，利用车脸部件检测数据集训练FPN-SSD网络得到车脸部件提取网络，输出车脸部件图片；
步骤b：对车辆目标图片以及车脸部件图片包含的车型进行标注，得到车辆分类数据集，建立多路卷积神经网络，利用车辆分类数据集训练多路卷积神经网络得到车辆身份识别网络；
其中，所述多路卷积神经网络包括针对车辆目标图片的五层卷积层加两层全连接层与针对四种车脸部件图片的三层卷积和两层全连接网络的五路独立卷积层。
进一步的，所述车辆身份识别网络的获得方法为：
根据车辆分类结果，对同种车型的车脸部件图片中的车辆身份信息进行标注，得到车前挡风玻璃窗图像分割数据集利用车前挡风玻璃窗图像分割数据集训练多任务卷积神经网络Mask R-CNN，得到车辆身份识别网络。
基于深度学习的车辆身份识别方法，包括如下步骤：
步骤1：采集多张场景图片输出的车辆身份特征向量以及对应的车辆标号、车辆图片建立车辆信息库；
步骤2：获取待识别图片，利用基于深度学习的分阶段车辆身份识别模型构建方法中的车辆检测网络得到待识别图片的车辆目标图片；
步骤3：通过基于深度学习的分阶段车辆身份识别模型构建方法中的车脸部件提取网络得到车脸部件图片，将待识别图片的车脸部件图片输入基于深度学习的分阶段车辆身份识别模型构建方法中的车型分类网络得到待识别图片的车辆分类结果；
步骤4：通过基于深度学习的分阶段车辆身份识别模型构建方法中的车辆身份识别网络得到待识别图像的车辆身份特征向量；
步骤5：将待识别图像的车辆身份特征向量与步骤1得到的车辆信息库进行相似度匹配，完成车辆身份识别。
基于深度学习的车辆身份识别模型构建、识别***，包括车脸检测模块，车型分类模块和车辆身份识别模块；
所述车脸检测模块用于利用预处理后的场景图片标注车辆，输出车辆目标图片；
所述车型分类模块包括车脸部件提取子模块和车型分类子模块，所述车脸部件提取子模块用于利用车脸检测模块得到的车辆目标图片标注车脸并输出车脸部件图片；所述车型分类子模块用于利用车辆目标图片以及车脸部件图片标注车型信息并输出车辆分类结果；
所述车辆身份识别模块用于根据车辆分类结果，对同种车型的车脸部件图片中的车辆身份信息进行标注，输出车辆身份特征向量，获取待识别图片，按照基于深度学习的车辆身份识别方法，完成车辆身份识别。
进一步的，所述车脸检测模块通过对预处理后的场景图片的每张图片中的车辆进行标注并进行预处理，得到车辆检测数据集，利用车辆检测数据集训练Mobilenet-SSD网络后得到。
进一步的，所述车脸部件提取子模块通过对车辆目标图片中的车脸进行标注，得到车脸部件检测数据集，然后利用车脸部件检测数据集训练FPN-SSD网络后得到。
进一步的，所述车型分类子模块通过对车辆目标图片以及车脸部件图片包含的车型进行标注，得到车辆分类数据集，建立多路卷积神经网络，利用车辆分类数据集训练多路卷积神经网络后得到，其中，所述多路卷积神经网络包括针对车辆目标图片的五层卷积层加两层全连接层与针对四种车脸部件图片的三层卷积和两层全连接网络的五路独立卷积层。
进一步的，所述车辆身份识别模块中，利用车辆分类结果对同种车型的车脸部件图片中的车辆身份信息进行标注，得到车前挡风玻璃窗图像分割数据集利用车前挡风玻璃窗图像分割数据集训练多任务卷积神经网络Mask R-CNN，获得所有车辆身份特征向量，获取待识别图片，按照基于深度学习的车辆身份识别方法，完成车辆身份识别。
本发明还具有如下有益效果：
(1)本发明实现分阶段的特征提取与融合最大限度的利用了全局以及车辆局部的特征，与现有方法中单纯的利用局部特征或者是全局特征实现车辆识别相比，本发明是一个更为完整的提取流程和识别方法，还可以独立应用不同模块的功能。
(2)本发明提出的深度学习网络框架能够针对需求，提升网络模型的在不同方面的特征提取能力，从而实现最佳的模型表述能力，方便提取具有显著区分度的识别特征向量。例如适合提取多尺度目标的车脸部件，和能将车脸全局和局部特征的提取和融合实现更好的利用的车型分类网络。同时本发明在不同阶段使用的不同深度学习网络框架来匹配精确目标也能更好实现车辆身份的识别。
(3)本发明提出了车辆身份识别，绕开了传统车牌识别确认车辆身份的方法，利用车辆检测加上车型分类能够筛选掉车辆外观不同的车辆，在同一细分类的车型中通过充分利用车辆年检标志、车内饰品提取车辆身份特征，实现了无牌***辆的识别。
附图说明
图1为本发明的应用于监控场景的分阶段车辆身份识别的功能示意图；
图2为本发明的应用于监控场景的分阶段车辆身份识别的功能框架图；
图3为本发明处理车辆分类的分类结果示意图；
图4为本发明提取车辆身份特征向量的结构示意图；
图5为本发明车辆身份识别的流程示意图；
图6为本发明处理被识别车辆图像的识别匹配结果示意图。
具体实施方式
以下给出本发明的具体实施方式，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
以下先对本专利中出现的技术名词进行解释：
标注：针对图像的视觉内容，通过机器学习的方法给图像添加反应其内容的文本特征信息的过程。
预处理：进行直方图均衡化和滤波降噪。
场景图片：包括路面信息、环境信息和车辆信息的摄像头拍摄的公路图片。
车辆目标图片：该图片包含车辆的坐标、长宽及得分信息，所述得分表示检测到的车辆目标的概率。
车脸：从车辆正面角度获取的车辆前脸图像。
车辆身份信息：包括车内吊饰、窗前座饰和车辆年检标识等。
车脸部件图片：包括车辆前档风玻璃窗口、倒车镜、车牌、车灯和车标等目标部件的图片。
所有种类的目标部件：包括车辆前档风玻璃窗口、倒车镜、车牌、车灯和车标。
车辆必要信息：包括唯一车辆标号、车辆图片、车辆对应的特征向量。
实施例1
本实施例公开了一种基于深度学习的车辆身份识别模型构建方法，包括如下步骤：
步骤1：采集多张场景图片，对场景图片进行预处理，得到预处理图片集；
步骤2：对预处理图片集进行标注得到标签集，所述标签集的标签包括车辆、车脸、车型和车辆身份信息；
步骤3：利用预处理图片集和标签集训练网络；
所述网络包括车辆检测网络、车脸部件提取网络、车型分类网络和车辆身份识别网络；
所述车辆检测网络用于输出车辆目标图片；
所述车脸部件提取网络用于利用车辆目标图片输出车脸部件图片；
所述车型分类网络用于利用车辆目标图片和车脸部件图片输出车辆分类结果；
所述车辆身份识别网络用于依据车辆分类结果得到同种类车脸部件图片，然后利用同种类车脸部件图片输出车辆身份特征向量；
获得车辆身份识别模型。
本发明提出了一种基于深度学习的车辆身份识别模型构建方法，现有的车脸识别技术的提出是为了弥补车牌识别、车型识别在车辆识别上的不足，公安侦查过程中常常有对涉嫌违法犯罪的车辆进行治安卡口，道路监控的定位筛选追踪的需求，由于同一车型数量众多且同一车种不同品牌不同类型差距很小，而违法交通法规进行套牌、遮挡车牌等方式伪造或不带车牌的车辆也不在少数。而本发明针对车辆车脸部分的识别，能够将不同品牌不同款式外观差异较为明显，最能体现设计元素的车脸部分提取特征，成为识别车辆外观以及车型识别的一个重要帮助。不仅关注了车辆的属性信息，而且并将之分阶段应用于车辆身份识别分析过程中，独立的实现了车辆检测、车型分类，以及车辆身份特征的提取，而且此基础上三者结合实现由粗到细的车辆身份识别模型的构建。
具体的，所述车辆检测网络的获得方法包括如下子步骤：
步骤1a：对预处理图片集的每张图片标注车辆目标的位置、大小和类别制作车辆检测数据集，并按照8:1:1的比例将车辆检测数据集分为训练集、测试集、验证集；
步骤1b：利用步骤1a得到的车辆检测数据集训练Mobilenet-SSD网络得到车辆检测网络；
步骤1c：将预处理过的图像输入车辆检测网络，输出车辆目标图片。
具体的，车型分类网络的获得方法包括如下子步骤：
步骤2a：对车辆检测网络得到的车辆目标图片进行车脸标注，所述标注为保留包含车脸最全面且包含无关车脸部分最少的车辆目标图片，得到车脸部件检测数据集；
步骤2b：用FPN-SSD网络模型替换SSD网络中的VGG-16网络得到FPN-SSD网络模型，利用车脸部件检测数据集训练FPN-SSD网络得到车脸部件提取网络，输出车脸部件图片；
步骤2c：对车辆目标图片以及车脸部件图片进行车型标注，得到车型分类数据集，按照8:1:1的比例分为训练集、测试集、验证集。
步骤2d：建立多路的卷积神经网络结构并利用步骤2得到的车辆分类数据集训练，实现对输入的车脸图片以及车脸部件图片独立卷积而后融合特征，得到车全脸特征融合的车型分类网络，输出车辆分类结果；
具体的，步骤2d中，若步骤2b输出的车辆部件图片未包含所有种类的目标部件，将车辆分类数据集训练现有的ResNet分类网络得到车辆分类结果。
优选的，所述多路卷积神经网络包括针对车辆目标图片的五层卷积层加两层全连接层与针对四种车脸部件图片的三层卷积和两层全连接网络的五路独立卷积层。
具体的，所述车辆身份识别网络的获得方法为：
根据车辆分类结果，对同种车型的车脸部件图片中的车辆身份信息进行标注，得到车前挡风玻璃窗图像分割数据集利用车前挡风玻璃窗图像分割数据集训练多任务卷积神经网络Mask R-CNN，得到车辆身份识别网络。
其中，通过提取特征图并用掩膜分支得到的掩膜对全图特征图以及ROI特征图进行过滤，正则化白化处理后拼接得到输出车辆身份特征向量。
为了增加车脸中重要部件的权重，将局部特征和整体特征相结合，尽可能的提取车全脸特征，将各个部件裁切之后与完整的车脸图片分别进行卷积，设计了融合了车脸特征的车型识别网络，如图4所示。部件图片与部件图片的卷积之间并不共享参数，部件图片和全脸图片之间也不共享参数，其原因是使用了不同车脸区域共享卷积核会导致信息的丢失。最后将部件所在的局部区域的卷积结果与车辆全脸图片的卷积结果直接拼接，输入两层4096个神经元的全连接层和一层228个神经元的全连接层进行融合，最后通过softmax算法对228维结果进行分类得到输入车脸的类型。
实施例2
本实施例公开了一种基于深度学习的车辆身份识别方法，包括如下步骤：
步骤1：采集多张场景图片输出的车辆身份特征向量建立车辆信息库；
步骤2：获取待识别图片，利用实施例1中任一种基于深度学习的分阶段车辆身份识别模型构建方法中的车辆检测网络得到待识别图片的车辆目标图片；
步骤3：通过基于深度学习的分阶段车辆身份识别模型构建方法中的车脸部件提取网络得到车脸部件图片，将待识别图片的车脸部件图片输入基于深度学习的分阶段车辆身份识别模型构建方法中的车型分类网络得到待识别图片的车辆分类结果；如图3所示，该图片分类结果为KIA kx5。
步骤4：通过基于深度学习的分阶段车辆身份识别模型构建方法中的车辆身份识别网络得到待识别图像的车辆身份特征向量；
步骤5：将待识别图像的车辆身份特征向量与步骤1得到的车辆信息库进行相似度匹配，完成车辆身份识别。
图1为应用于监控场景的分阶段车辆身份识别的功能示意图，分阶段识别的过程符合人类的正常认知过程，充分利用了卷积神经网络的各种结构针对性的实现不同阶段的目标，适合现阶段的车辆识别的实现。
首先检测出输入图片的车辆位置，而后对其中的车脸图片进行车型分类，得到其具体型号实现筛选过滤，最后利用车前档分玻璃窗口区域实现车俩身份识别，匹配到数据库中注册的该车车辆信息。
本发明提出了一种基于深度学习的车辆身份识别方法，在车型识别上设计了车脸全局和局部特征的提取和融合进行分类的方法，设计适合提取多尺度目标的车脸部件提取网络以及能充分利用车脸特征的车型分类网络；在车辆身份识别上提取了含有车辆身份信息的特征，利用多任务网络实现过滤获取到了更精确的车辆身份特征向量，同时该特征的拼接使车辆身份的匹配能递进式的检索，提高车辆身份识别的效率。
具体的，若匹配成功则返回车辆信息库中对应车辆信息，若匹配失败返回该车辆不在车辆信息库中；进行匹配时需要测试一定数量的车脸，使得每个车脸都能得到与信息库中所有车脸的向量距离，选取一个阈值能让sens最大的值【sens＝TP/P】或者acc最大的值【acc＝(TP+TN)/总测试样本数】，如图5所示在本实施实施例中，阈值为0.82。其中，TP(True positive)表示真正例，即将正类正确预测为正类数；TN(True negative)表示真负例，即将负类正确预测为负类数；acc(accuracy)表示正确率，是最常见的机器学习评价指标，通常来说，正确率越高，分类器越好；sens(sensitive)表示灵敏度，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力。
实施例3
本实施例公开了一种基于深度学习的车辆身份识别模型构建、识别***，如图2所示，包括车脸检测模块，车型分类模块和车辆身份识别模块；
所述车脸检测模块用于利用预处理后的场景图片标注车辆，输出车辆目标图片；该模块是本***三大模块之一，是后续模块功能的基础。主要实现了将输入大图中车辆的检测以及车辆的切割存储工作，其中的预启动模块负责图片的读入以及模型加载是每个功能模块中必备的部分。
所述车型分类模块包括车脸部件提取子模块和车型分类子模块，所述车脸部件提取子模块用于利用车脸检测模块得到的车辆目标图片标注车脸并输出车脸部件图片；所述车型分类子模块用于利用车辆目标图片以及车脸部件图片标注车型信息并输出车辆分类结果；车脸部件保存的存在是为了在车型分类中应用，同时也是为了提供车辆前挡风玻璃图片作为车辆身份识别的必要材料。
所述车辆身份识别模块用于根据车辆分类结果，对同种车型的车脸部件图片中的车辆身份信息进行标注，输出车辆身份特征向量，获取待识别图片，按照实施例2中任一种基于深度学***台利用训练好的网络模型得到检测图片的特征向量，与数据库中注册车辆特征进行比对返回相似度以及对应车辆编号。
具体的，所述车脸检测模块通过对预处理后的场景图片的每张图片中的车辆进行标注并进行预处理，得到车辆检测数据集，利用车辆检测数据集训练Mobilenet-SSD网络后得到。
具体的，所述车脸部件提取子模块通过对车辆目标图片中的车脸进行标注，得到车脸部件检测数据集，然后利用车脸部件检测数据集训练FPN-SSD网络后得到。
具体的，所述车型分类子模块通过对车辆目标图片以及车脸部件图片包含的车型进行标注，得到车辆分类数据集，建立多路卷积神经网络，利用车辆分类数据集训练多路卷积神经网络后得到，其中，所述多路卷积神经网络包括针对车辆目标图片的五层卷积层加两层全连接层与针对四种车脸部件图片的三层卷积和两层全连接网络的五路独立卷积层。
具体的，所述车辆身份识别模块中，利用车辆分类结果对同种车型的车脸部件图片中的车辆身份信息进行标注，得到车前挡风玻璃窗图像分割数据集利用车前挡风玻璃窗图像分割数据集训练多任务卷积神经网络Mask R-CNN，获得所有车辆身份特征向量，获取待识别图片，按照基于深度学习的车辆身份识别方法，完成车辆身份识别。
如图6所示，本实施例中处理被识别车辆图像的识别匹配结果示意图，从识别结果来看，车辆身份识别能正确匹配到相应车辆的身份信息。
Claims (10)
1.基于深度学习的车辆身份识别模型构建方法，其特征在于，包括如下步骤：
步骤1：采集多张场景图片，对场景图片进行预处理，得到预处理图片集；
步骤2：对预处理图片集进行标注得到标签集，所述标签集的标签包括车辆、车脸、车型和车辆身份信息；
步骤3：利用预处理图片集和标签集训练网络；
所述网络包括车辆检测网络、车脸部件提取网络、车型分类网络和车辆身份识别网络；
所述车辆检测网络用于输出车辆目标图片；
所述车脸部件提取网络用于利用车辆目标图片输出车脸部件图片；
所述车型分类网络用于利用车辆目标图片和车脸部件图片输出车辆分类结果；
所述车辆身份识别网络用于依据车辆分类结果得到同种类车脸部件图片，然后利用同种类车脸部件图片输出车辆身份特征向量；
获得车辆身份识别模型。
2.如权利要求1所述的基于深度学习的车辆身份识别模型构建方法，其特征在于，所述车辆检测网络的获得方法为：
对预处理图片集的每张图片中的车辆进行标注并进行预处理，得到车辆检测数据集，利用车辆检测数据集训练Mobilenet-SSD网络得到车辆检测网络。
3.如权利要求1所述的基于深度学习的车辆身份识别模型构建方法，其特征在于，所述车型分类网络的获得方法包括如下步骤：
步骤a：对车辆目标图片中的车脸进行标注，得到车脸部件检测数据集，利用车脸部件检测数据集训练FPN-SSD网络得到车脸部件提取网络，输出车脸部件图片；
步骤b：对车辆目标图片以及车脸部件图片包含的车型进行标注，得到车辆分类数据集，建立多路卷积神经网络，利用车辆分类数据集训练多路卷积神经网络得到车辆身份识别网络；
其中，所述多路卷积神经网络包括针对车辆目标图片的五层卷积层加两层全连接层与针对四种车脸部件图片的三层卷积和两层全连接网络的五路独立卷积层。
4.如权利要求1所述的基于深度学习的车辆身份识别模型构建方法，其特征在于，所述车辆身份识别网络的获得方法为：
根据车辆分类结果，对同种车型的车脸部件图片中的车辆身份信息进行标注，得到车前挡风玻璃窗图像分割数据集利用车前挡风玻璃窗图像分割数据集训练多任务卷积神经网络Mask R-CNN，得到车辆身份识别网络。
5.基于深度学习的车辆身份识别方法，其特征在于，包括如下步骤：
步骤1：采集多张场景图片输出的车辆身份特征向量以及对应的车辆标号、车辆图片建立车辆信息库；
步骤2：获取待识别图片，利用权利要求1至4任一种基于深度学习的分阶段车辆身份识别模型构建方法中的车辆检测网络得到待识别图片的车辆目标图片；
步骤3：通过权利要求1至4任一种基于深度学习的分阶段车辆身份识别模型构建方法中的车脸部件提取网络得到车脸部件图片，将待识别图片的车脸部件图片输入权利要求1至4任一种基于深度学习的分阶段车辆身份识别模型构建方法中的车型分类网络得到待识别图片的车辆分类结果；
步骤4：通过权利要求1至4任一种基于深度学习的分阶段车辆身份识别模型构建方法中的车辆身份识别网络得到待识别图像的车辆身份特征向量；
步骤5：将待识别图像的车辆身份特征向量与步骤1得到的车辆信息库进行相似度匹配，完成车辆身份识别。
6.基于深度学习的车辆身份识别模型构建、识别***，其特征在于，包括车脸检测模块，车型分类模块和车辆身份识别模块；
所述车脸检测模块用于利用预处理后的场景图片标注车辆，输出车辆目标图片；
所述车型分类模块包括车脸部件提取子模块和车型分类子模块，所述车脸部件提取子模块用于利用车脸检测模块得到的车辆目标图片标注车脸并输出车脸部件图片；所述车型分类子模块用于利用车辆目标图片以及车脸部件图片标注车型信息并输出车辆分类结果；
所述车辆身份识别模块用于根据车辆分类结果，对同种车型的车脸部件图片中的车辆身份信息进行标注，输出车辆身份特征向量，获取待识别图片，按照如权利要求5所述的基于深度学习的车辆身份识别方法，完成车辆身份识别。
7.如权利要求6所述的基于深度学习的车辆身份识别模型构建、识别***，其特征在于，所述车脸检测模块通过对预处理后的场景图片的每张图片中的车辆进行标注并进行预处理，得到车辆检测数据集，利用车辆检测数据集训练Mobilenet-SSD网络后得到。
8.如权利要求6所述的基于深度学习的车辆身份识别模型构建、识别***，其特征在于，所述车脸部件提取子模块通过对车辆目标图片中的车脸进行标注，得到车脸部件检测数据集，然后利用车脸部件检测数据集训练FPN-SSD网络后得到。
9.如权利要求6所述的基于深度学习的车辆身份识别模型构建、识别***，其特征在于，所述车型分类子模块通过对车辆目标图片以及车脸部件图片包含的车型进行标注，得到车辆分类数据集，建立多路卷积神经网络，利用车辆分类数据集训练多路卷积神经网络后得到，其中，所述多路卷积神经网络包括针对车辆目标图片的五层卷积层加两层全连接层与针对四种车脸部件图片的三层卷积和两层全连接网络的五路独立卷积层。
10.如权利要求6所述的基于深度学习的车辆身份识别模型构建、识别***，其特征在于，所述车辆身份识别模块中，利用车辆分类结果对同种车型的车脸部件图片中的车辆身份信息进行标注，得到车前挡风玻璃窗图像分割数据集利用车前挡风玻璃窗图像分割数据集训练多任务卷积神经网络Mask R-CNN，获得所有车辆身份特征向量，获取待识别图片，按照如权利要求5所述的基于深度学习的车辆身份识别方法，完成车辆身份识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910537407.0A CN110378236B (zh) | 2019-06-20 | 2019-06-20 | 基于深度学习的车辆身份识别模型构建、识别方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910537407.0A CN110378236B (zh) | 2019-06-20 | 2019-06-20 | 基于深度学习的车辆身份识别模型构建、识别方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378236A true CN110378236A (zh) | 2019-10-25 |
| CN110378236B CN110378236B (zh) | 2023-04-07 |
Family
ID=68249055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910537407.0A Active CN110378236B (zh) | 2019-06-20 | 2019-06-20 | 基于深度学习的车辆身份识别模型构建、识别方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378236B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991506A (zh) * | 2019-11-22 | 2020-04-10 | 高新兴科技集团股份有限公司 | 一种车辆品牌识别方法、装置、设备及存储介质 |
| CN111079543A (zh) * | 2019-11-20 | 2020-04-28 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN111126224A (zh) * | 2019-12-17 | 2020-05-08 | 成都通甲优博科技有限责任公司 | 车辆检测方法及分类识别模型训练方法 |
| CN111126393A (zh) * | 2019-12-22 | 2020-05-08 | 上海眼控科技股份有限公司 | 车辆外观改装判断方法、装置、计算机设备及存储介质 |
| CN111144372A (zh) * | 2019-12-31 | 2020-05-12 | 上海眼控科技股份有限公司 | 车辆检测方法、装置、计算机设备和存储介质 |
| CN111310844A (zh) * | 2020-02-26 | 2020-06-19 | 广州华工邦元信息技术有限公司 | 车辆识别模型构建方法及装置、识别方法及装置 |
| CN111339834A (zh) * | 2020-02-04 | 2020-06-26 | 浙江大华技术股份有限公司 | 车辆行驶方向的识别方法、计算机设备及存储介质 |
| CN111340796A (zh) * | 2020-03-10 | 2020-06-26 | 创新奇智(成都)科技有限公司 | 一种缺陷检测方法、装置、电子设备及存储介质 |
| CN112016433A (zh) * | 2020-08-24 | 2020-12-01 | 高新兴科技集团股份有限公司 | 一种基于深度神经网络的车辆颜色识别方法 |
| CN112087420A (zh) * | 2020-07-24 | 2020-12-15 | 西安电子科技大学 | 一种网络杀伤链检测方法、预测方法及*** |
| CN112115800A (zh) * | 2020-08-25 | 2020-12-22 | 南京航空航天大学 | 一种基于深度学习目标检测的车辆组合识别***及方法 |
| CN112257869A (zh) * | 2020-09-29 | 2021-01-22 | 北京北大千方科技有限公司 | 基于随机森林的***分析方法、***及计算机介质 |
| CN112257625A (zh) * | 2020-10-29 | 2021-01-22 | 上海工程技术大学 | 一种基于车正脸特征的车辆重识别方法 |
| CN112528921A (zh) * | 2020-12-21 | 2021-03-19 | 山东雨润环保机械设备有限公司 | 一种基于机器视觉的施工现场灰尘识别***及其方法 |
| CN113298021A (zh) * | 2021-06-11 | 2021-08-24 | 宿州学院 | 基于卷积神经网络的矿区运输车辆头尾识别方法及*** |
| CN113780130A (zh) * | 2021-08-31 | 2021-12-10 | 东南大学 | 一种基于磁场数据的车型识别方法 |
| WO2022241807A1 (zh) * | 2021-05-20 | 2022-11-24 | 广州广电运通金融电子股份有限公司 | 一种车辆车身颜色识别方法、存储介质和终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2993618A1 (en) * | 2014-09-04 | 2016-03-09 | Xerox Corporation | Domain adaptation for image classification with class priors |
| CN107092876A (zh) * | 2017-04-12 | 2017-08-25 | 湖南源信光电科技股份有限公司 | 基于Retinex与S‑SIFT特征结合的低照度车型识别方法 |
| CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
| CN108319952A (zh) * | 2017-01-16 | 2018-07-24 | 浙江宇视科技有限公司 | 一种车辆特征提取方法及装置 |
| CN108460328A (zh) * | 2018-01-15 | 2018-08-28 | 浙江工业大学 | 一种基于多任务卷积神经网络的***检测方法 |
| CN109033175A (zh) * | 2018-06-25 | 2018-12-18 | 高新兴科技集团股份有限公司 | 一种以图搜车的方法及*** |
-
2019
- 2019-06-20 CN CN201910537407.0A patent/CN110378236B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2993618A1 (en) * | 2014-09-04 | 2016-03-09 | Xerox Corporation | Domain adaptation for image classification with class priors |
| CN108319952A (zh) * | 2017-01-16 | 2018-07-24 | 浙江宇视科技有限公司 | 一种车辆特征提取方法及装置 |
| CN107092876A (zh) * | 2017-04-12 | 2017-08-25 | 湖南源信光电科技股份有限公司 | 基于Retinex与S‑SIFT特征结合的低照度车型识别方法 |
| CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
| CN108460328A (zh) * | 2018-01-15 | 2018-08-28 | 浙江工业大学 | 一种基于多任务卷积神经网络的***检测方法 |
| CN109033175A (zh) * | 2018-06-25 | 2018-12-18 | 高新兴科技集团股份有限公司 | 一种以图搜车的方法及*** |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079543B (zh) * | 2019-11-20 | 2022-02-15 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN111079543A (zh) * | 2019-11-20 | 2020-04-28 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN110991506A (zh) * | 2019-11-22 | 2020-04-10 | 高新兴科技集团股份有限公司 | 一种车辆品牌识别方法、装置、设备及存储介质 |
| CN111126224A (zh) * | 2019-12-17 | 2020-05-08 | 成都通甲优博科技有限责任公司 | 车辆检测方法及分类识别模型训练方法 |
| CN111126393A (zh) * | 2019-12-22 | 2020-05-08 | 上海眼控科技股份有限公司 | 车辆外观改装判断方法、装置、计算机设备及存储介质 |
| CN111144372A (zh) * | 2019-12-31 | 2020-05-12 | 上海眼控科技股份有限公司 | 车辆检测方法、装置、计算机设备和存储介质 |
| CN111339834A (zh) * | 2020-02-04 | 2020-06-26 | 浙江大华技术股份有限公司 | 车辆行驶方向的识别方法、计算机设备及存储介质 |
| CN111310844A (zh) * | 2020-02-26 | 2020-06-19 | 广州华工邦元信息技术有限公司 | 车辆识别模型构建方法及装置、识别方法及装置 |
| CN111340796A (zh) * | 2020-03-10 | 2020-06-26 | 创新奇智(成都)科技有限公司 | 一种缺陷检测方法、装置、电子设备及存储介质 |
| CN112087420A (zh) * | 2020-07-24 | 2020-12-15 | 西安电子科技大学 | 一种网络杀伤链检测方法、预测方法及*** |
| CN112087420B (zh) * | 2020-07-24 | 2022-06-14 | 西安电子科技大学 | 一种网络杀伤链检测方法、预测方法及*** |
| CN112016433A (zh) * | 2020-08-24 | 2020-12-01 | 高新兴科技集团股份有限公司 | 一种基于深度神经网络的车辆颜色识别方法 |
| CN112115800A (zh) * | 2020-08-25 | 2020-12-22 | 南京航空航天大学 | 一种基于深度学习目标检测的车辆组合识别***及方法 |
| CN112257869A (zh) * | 2020-09-29 | 2021-01-22 | 北京北大千方科技有限公司 | 基于随机森林的***分析方法、***及计算机介质 |
| CN112257625A (zh) * | 2020-10-29 | 2021-01-22 | 上海工程技术大学 | 一种基于车正脸特征的车辆重识别方法 |
| CN112528921A (zh) * | 2020-12-21 | 2021-03-19 | 山东雨润环保机械设备有限公司 | 一种基于机器视觉的施工现场灰尘识别***及其方法 |
| WO2022241807A1 (zh) * | 2021-05-20 | 2022-11-24 | 广州广电运通金融电子股份有限公司 | 一种车辆车身颜色识别方法、存储介质和终端 |
| CN113298021A (zh) * | 2021-06-11 | 2021-08-24 | 宿州学院 | 基于卷积神经网络的矿区运输车辆头尾识别方法及*** |
| CN113780130A (zh) * | 2021-08-31 | 2021-12-10 | 东南大学 | 一种基于磁场数据的车型识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378236B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378236A (zh) | 基于深度学习的车辆身份识别模型构建、识别方法和*** | |
| CN107729818B (zh) | 一种基于深度学习的多特征融合车辆重识别方法 | |
| Hwang et al. | Multispectral pedestrian detection: Benchmark dataset and baseline | |
| CN105488453B (zh) | 一种基于图像处理的驾驶员未系安全带检测识别方法 | |
| CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
| CN106682586A (zh) | 一种复杂光照条件下基于视觉的实时车道线检测的方法 | |
| US20090309966A1 (en) | Method of detecting moving objects | |
| CN103473571B (zh) | 一种人体检测方法 | |
| CN109948416A (zh) | 一种基于深度学习的违法占用公交车道自动审核方法 | |
| CN107085696A (zh) | 一种基于卡口图像的车辆定位及型号识别方法 | |
| CN109033175A (zh) | 一种以图搜车的方法及*** | |
| CN102915433B (zh) | 基于字符组合的车牌定位和识别方法 | |
| CN111860291A (zh) | 基于行人外观和步态信息的多模态行人身份识别方法和*** | |
| CN110119726A (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| CN102663411A (zh) | 一种目标人体识别方法 | |
| CN105893971A (zh) | 一种基于Gabor和稀疏表示的交通信号灯识别方法 | |
| CN105184301B (zh) | 一种利用四轴飞行器判别车辆方位的方法 | |
| CN106295532A (zh) | 一种视频图像中的人体动作识别方法 | |
| CN110009058A (zh) | 一种停车场车牌识别***及方法 | |
| CN106919939B (zh) | 一种交通标识牌跟踪识别方法及*** | |
| CN111814751A (zh) | 基于深度学习目标检测和图像识别的车辆属性分析方法及*** | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN112085018A (zh) | 基于神经网络的车牌识别*** | |
| CN109684986A (zh) | 一种基于车辆检测跟踪的车辆分析方法及*** | |
| CN111444843A (zh) | 一种多模态驾驶员及车辆违法行为监测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |