CN106919949A - 一种基于卷积神经网络的实时车型匹配方法 - Google Patents

一种基于卷积神经网络的实时车型匹配方法 Download PDF

Info

Publication number
CN106919949A
CN106919949A CN201710050763.0A CN201710050763A CN106919949A CN 106919949 A CN106919949 A CN 106919949A CN 201710050763 A CN201710050763 A CN 201710050763A CN 106919949 A CN106919949 A CN 106919949A
Authority
CN
China
Prior art keywords
vehicle
convolutional neural
neural networks
information
information flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710050763.0A
Other languages
English (en)
Inventor
张卫山
王志超
徐亮
赵德海
李忠伟
卢清华
宫文娟
宫法明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201710050763.0A priority Critical patent/CN106919949A/zh
Publication of CN106919949A publication Critical patent/CN106919949A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的实时车型匹配方法，包括构建车型数据库，并设计卷积神经网络；利用车型数据库进行卷积神经网络训练，得到最优卷积神经网络及车型数据库中每种车型的车型特征；构建Storm的拓扑结构，信息流上层为数据源输入组件，信息流中层为布置了最优卷积神经网络的数据处理组件，信息流底层为布置了SVM分类器的数据处理组件；数据源输入组件将采集的实时视频流发给信息流中层数据处理组件，通过卷积神经网络提取车型特征；信息流底层数据处理组件利用SVM分类器对信息流中层发送的车型特征进行匹配，并返回匹配结果。本发明将卷积神经网络的特征提取技术与SVM分类方法和Storm架构相结合，提高车型匹配的准确率和效率。

Description

一种基于卷积神经网络的实时车型匹配方法
技术领域
本发明涉及车型自动匹配技术，具体涉及一种基于卷积神经网络的实时车型匹配方法。
背景技术
车型自动匹配技术是智能交通***的重要组成部分，通过对车辆进行车型自动匹配，可以为交通管理、收费、调度、统计提供数据，是智能交通领域的研究热点和难点之一；目前，我国的车辆车型自动匹配准确率还难以满足使用要求，对车型匹配率提高算法的研究势在必行。
深度学习是目前机器学习发展的高潮，卷积神经网络作为深度学习中的一种方法，在物体识别、图像处理等领域有着较好的效果,卷积神经网络有着可以自动学习图像特征，减少人工干预，提取的图像特征质量高的优势，因此可以考虑将其应用在车型自动匹配技术中，以提高车型匹配的准确率。但是，卷积神经网络会消耗大量的GPU(GraphicsProcessing Unit，图形处理器)资源，在计算量过大时可能达不到实际应用场景中实时的效果。
发明内容
本发明所要解决的技术问题是如何将卷积神经网络应用于车型自动匹配技术中，并达到车型匹配实时的效果的问题。
为了解决上述技术问题，本发明所采用的技术方案是提供一种基于卷积神经网络的实时车型匹配方法，包括以下步骤：
步骤S10、构建车型数据库，并设计用于车型识别的卷积神经网络；
步骤S20、利用车型数据库对卷积神经网络进行训练，得到最优的卷积神经网络以及车型数据库中每种车型的车型特征；
步骤S30、构建Storm的拓扑结构，其信息流上层为数据源输入组件spout，信息流中层为布置了最优卷积神经网络的数据处理组件bolt，信息流底层为布置了SVM分类器的数据处理组件bolt；
步骤S40、数据源输入组件spout将采集的待匹配车辆实时视频流发给信息流中层数据处理组件bolt，该数据处理组件bolt通过卷积神经网络提取车型特征；
步骤S50、信息流底层数据处理组件bolt利用SVM分类器对信息流中层发送的车型特征进行匹配，并返回匹配结果。
在上述方法中，车型数据库包含多种车型的信息，每种车型的信息有多张图片。
在上述方法中，步骤S20具体包括以下步骤：
将车型数据库中不同种车型的信息作为卷积神经网络的输入数据源，使用卷积神经网络默认参数进行卷积神经网络训练；
根据训练中间结果，对默认参数初始权值、训练速率、迭代次数进行不断调整，直到得到最优的卷积神经网络网络参数；
遍历车型数据库中不同种车型的信息，使用参数最优的卷积神经网络提取每种车型的车型特征，并保存。
在上述方法中，用于车型识别的卷积神经网络包括四层卷积，分别为三层池化层、三层全连接层、一层合并层和softmax回归分类器层。
在上述方法中，信息流中层和信息流底层分别包括两个以上布置了最优卷积神经网络的数据处理组件bolt和布置了SVM分类器的数据处理组件bolt；
信息流上层数据源输入组件依据择优原则，将实时视频流传给信息流中层GUP较强的数据处理组件bolt；信息流中层依据择优原则，将提取的车型特征发送给信息流底层GUP较强的数据处理组件bolt。
在上述方法中，对信息流中层发送的车型特征进行匹配具体包括以下步骤：
信息流底层的数据处理组件bolt接收信息流中层不同数据处理组件bolt发送的车型特征，并对接收的各个车型特征进行组合，判定组合后的特征是否为同一车型，如果是，将组合后的特征与车型数据库中的车型特征进行车型匹配，返回匹配结果；如果不是，将各个车型特征与车型数据库中的车型特征分别进行车型匹配，返回匹配结果。
在上述方法中，在步骤S40中，
每个数据源输入组件spout将采集来自流媒体服务器的实时视频流解码为多个帧图像，再将每一帧图像发给信息流中层的数据处理组件bolt；
信息流中层数据处理组件bolt使用其上训练好的卷积神经网络提取每一帧图像中的车型特征，并进行组合。
本发明将基于卷积神经网络的特征提取技术、SVM分类方法和Storm实时处理平台相结合，实现基于卷积神经网络的实时车型匹配，具有以下有益效果：
(1)通过卷积神经网络进行特征提取，有效地提高了特征提取的准确率和效率；
(2)利用SVM进行特征匹配，有效的提高了车型匹配的准确率；
(3)利用Storm并行化车型匹配，达到实时匹配的目的，有效的提高了匹配的效率。
附图说明
图1为本发明提供的一种基于卷积神经网络的实时车型匹配方法的流程图；
图2为本发明中卷积神经网络的网络结构；
图3为本发明中分布式实时处理框架Storm的拓扑结构图。
具体实施方式
本发明充分利用卷积神经网络学习图像特征的优势以及目前实时云计算技术的特点，将卷积神经网络与实时云计算技术结合，把卷积神经网络应用于车辆的车型特征提取，减少人工干预，提取出高质量的图像特征，提高车型匹配的准确率；并利用实时云计算中进行大数据实时处理的分布式实时处理框架Storm，解决卷积神经网络消耗大量的GPU资源，在计算量过大时可能达不到实际应用场景中实时效果的问题，提高车型匹配的效率，这在智能交通的车型自动匹配技术方面是一种区别于传统车型匹配***的新的尝试。
下面结合说明书附图和具体实施例对本发明做出详细的说明。
如图1所示，本发明提供的一种基于卷积神经网络的实时车型匹配方法，包括以下步骤：
步骤S10、利用存储来自流媒体服务器的视频流历史数据构建车型数据库，并设计用于车型识别的卷积神经网络，在本发明中，车型数据库包含多种车型的信息，每种车型的信息有多张图片。
步骤S20、利用车型数据库中的车型信息作为卷积神经网络的输入，通过卷积神经网络的卷积神经网络离线训练模块进行卷积神经网络的训练，得到最优的卷积神经网络和提取车型数据库中的每种车型的车型特征。
在本发明中，步骤S20具体包括以下步骤：
步骤S21、将车型数据库中的不同种车型的信息输入卷积神经网络，使用卷积神经网络默认参数进行卷积神经网络训练；
步骤S22、根据训练中间结果，对默认参数初始权值、训练速率、迭代次数进行不断调整，直到得到最优的卷积神经网络网络参数，此时卷积神经网络会以最高的效率得到最好的识别效果，训练后的卷积神经网络的识别准确率达到95％；
步骤S23、遍历车型数据库中不同种车型的信息，使用参数最优的卷积神经网络提取每种车型的车型特征，并保存。
步骤S30、构建分布式实时处理框架Storm的拓扑结构，如图3所示，其信息流上层为数据源输入组件spout；信息流中层为布置了最优卷积神经网络的数据处理组件bolt，用于提取待匹配车辆的车型特征的卷积神经网络特征提取模块；信息流底层为布置了SVM(支持向量机)分类器的数据处理组件bolt，用于进行车型匹配的特征匹配模块。
步骤S40、数据源输入组件spout将采集于流媒体服务器的待匹配车辆实时视频流发给信息流中层数据处理组件bolt，该数据处理组件bolt通过卷积神经网络提取车型特征。
在本发明中，信息流中层和信息流底层分别包括两个以上布置了最优卷积神经网络的数据处理组件bolt和布置了SVM分类器的数据处理组件bolt；
由于卷积神经网络会消耗大量的GPU资源，在Storm中设计了基于GPU的资源调度算法，能够通过实时监控Storm各个数据处理组件bolt的GPU使用状况，将GPU消耗过大的进程分配到有较强GPU的数据处理组件bolt上，解决卷积神经网络会消耗大量的GPU资源的问题，即信息流上层数据源输入组件依据择优原则，将实时视频流传给信息流中层GUP较强的数据处理组件bolt；信息流中层依据择优原则，将提取的车型特征发送给信息流底层GUP较强的数据处理组件bolt。从而避免由于计算量过大达不到实际应用场景中实时效果的问题，实现车型匹配的实时效果。
在本发明中，每个数据源输入组件spout将采集来自流媒体服务器的实时视频流解码为多个帧图像，再将每一帧图像发给信息流中层的数据处理组件bolt；
信息流中层的数据处理组件bolt使用其上训练好的卷积神经网络提取每一帧图像中的车型特征，并进行组合。
步骤S50、信息流底层数据处理组件bolt利用SVM分类器对信息流中层发送的车型特征进行匹配，并返回匹配结果。
在步骤S50中，对信息流中层发送的车型特征进行匹配具体包括以下步骤：
信息流底层的数据处理组件bolt接收信息流中层不同数据处理组件bolt发送的车型特征，并对接收的各个车型特征进行组合，判定组合后的特征是否为同一车型，如果是，将组合后的特征与车型数据库中的车型特征进行车型匹配，返回匹配结果；如果不是，将各个车型特征与车型数据库中的车型特征分别进行车型匹配，返回匹配结果。
在本发明中，利用历史数据构建车型数据库，使用设计好的如图2所示的卷积神经网络(包括四层卷积，分别为三层池化层、三层全连接层、一层合并层和最后一层是softmax回归分类器层)，训练卷积神经网络。
本发明的基于卷积神经网络的实时车型匹配方法，将基于卷积神经网络的特征提取技术与SVM分类方法和Storm实时处理平台相结合，提高车型匹配的准确率和效率；在充分利用计算资源的前提下，找到最优的网络，对车型进行匹配。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于卷积神经网络的实时车型匹配方法，其特征在于，包括以下步骤：
步骤S10、构建车型数据库，并设计用于车型识别的卷积神经网络；
步骤S20、利用车型数据库对卷积神经网络进行训练，得到最优的卷积神经网络以及车型数据库中每种车型的车型特征；
步骤S30、构建Storm的拓扑结构，其信息流上层为数据源输入组件spout，信息流中层为布置了最优卷积神经网络的数据处理组件bolt，信息流底层为布置了SVM分类器的数据处理组件bolt；
步骤S40、数据源输入组件spout将采集的待匹配车辆实时视频流发给信息流中层数据处理组件bolt，该数据处理组件bolt通过卷积神经网络提取车型特征；
步骤S50、信息流底层数据处理组件bolt利用SVM分类器对信息流中层发送的车型特征进行匹配，并返回匹配结果。
2.如权利要求1所述的方法，其特征在于，车型数据库包含多种车型的信息，每种车型的信息有多张图片。
3.如权利要求2所述的方法，其特征在于，步骤S20具体包括以下步骤：
将车型数据库中不同种车型的信息作为卷积神经网络的输入数据源，使用卷积神经网络默认参数进行卷积神经网络训练；
根据训练中间结果，对默认参数初始权值、训练速率、迭代次数进行不断调整，直到得到最优的卷积神经网络网络参数；
遍历车型数据库中不同种车型的信息，使用参数最优的卷积神经网络提取每种车型的车型特征，并保存。
4.如权利要求1所述的方法，其特征在于，用于车型识别的卷积神经网络包括四层卷积，分别为三层池化层、三层全连接层、一层合并层和softmax回归分类器层。
5.如权利要求1所述的方法，其特征在于，信息流中层和信息流底层分别包括两个以上布置了最优卷积神经网络的数据处理组件bolt和布置了SVM分类器的数据处理组件bolt；
信息流上层数据源输入组件依据择优原则，将实时视频流传给信息流中层GUP较强的数据处理组件bolt；信息流中层依据择优原则，将提取的车型特征发送给信息流底层GUP较强的数据处理组件bolt。
6.如权利要求5所述的方法，其特征在于，对信息流中层发送的车型特征进行匹配具体包括以下步骤：
信息流底层的数据处理组件bolt接收信息流中层不同数据处理组件bolt发送的车型特征，并对接收的各个车型特征进行组合，判定组合后的特征是否为同一车型，如果是，将组合后的特征与车型数据库中的车型特征进行车型匹配，返回匹配结果；如果不是，将各个车型特征与车型数据库中的车型特征分别进行车型匹配，返回匹配结果。
7.如权利要求5所述的方法，其特征在于，在步骤S40中，
每个数据源输入组件spout将采集来自流媒体服务器的实时视频流解码为多个帧图像，再将每一帧图像发给信息流中层的数据处理组件bolt；
信息流中层数据处理组件bolt使用其上训练好的卷积神经网络提取每一帧图像中的车型特征，并进行组合。
CN201710050763.0A 2017-01-23 2017-01-23 一种基于卷积神经网络的实时车型匹配方法 Pending CN106919949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710050763.0A CN106919949A (zh) 2017-01-23 2017-01-23 一种基于卷积神经网络的实时车型匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710050763.0A CN106919949A (zh) 2017-01-23 2017-01-23 一种基于卷积神经网络的实时车型匹配方法

Publications (1)

Publication Number Publication Date
CN106919949A true CN106919949A (zh) 2017-07-04

Family

ID=59454085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710050763.0A Pending CN106919949A (zh) 2017-01-23 2017-01-23 一种基于卷积神经网络的实时车型匹配方法

Country Status (1)

Country Link
CN (1) CN106919949A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032131A (zh) * 2018-01-12 2019-07-19 中科院微电子研究所昆山分所 基于Storm的电动车状态监控处理***及监控***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657748A (zh) * 2015-02-06 2015-05-27 中国石油大学(华东) 一种基于卷积神经网络的车型识别方法
CN104992147A (zh) * 2015-06-09 2015-10-21 中国石油大学(华东) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN106203330A (zh) * 2016-07-08 2016-12-07 西安理工大学 一种基于卷积神经网络的车辆分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN104657748A (zh) * 2015-02-06 2015-05-27 中国石油大学(华东) 一种基于卷积神经网络的车型识别方法
CN104992147A (zh) * 2015-06-09 2015-10-21 中国石油大学(华东) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN106203330A (zh) * 2016-07-08 2016-12-07 西安理工大学 一种基于卷积神经网络的车辆分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032131A (zh) * 2018-01-12 2019-07-19 中科院微电子研究所昆山分所 基于Storm的电动车状态监控处理***及监控***

Similar Documents

Publication Publication Date Title
CN106845415B (zh) 一种基于深度学习的行人精细化识别方法及装置
CN106874883A (zh) 一种基于深度学习的实时人脸检测方法及***
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN109829443A (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN110390246A (zh) 一种边云环境中的视频分析方法
CN106791927A (zh) 一种基于深度学习的视频增强与传输方法
CN107993238A (zh) 一种基于注意力模型的头肩部分图像分割方法及装置
CN107426542A (zh) 基于边缘计算的实时人工智能视频***的硬件架构
CN112653899A (zh) 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN104063686B (zh) 作物叶部病害图像交互式诊断***与方法
CN110430395A (zh) 视频数据ai处理***及处理方法
CN104092988A (zh) 一种公共场合客流管理方法、装置及***
CN106650795A (zh) 酒店房型图像的排序方法
CN105574896B (zh) 一种面向高分辨率视频的高效背景建模方法
CN104156729B (zh) 一种教室人数统计方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN110245550A (zh) 一种基于总体余弦分布的人脸噪音数据集cnn训练方法
CN103824284A (zh) 一种基于视觉注意力模型的关键帧提取方法和***
CN112749663B (zh) 基于物联网和ccnn模型的农业果实成熟度检测***
CN107992937A (zh) 基于深度学习的非结构化数据判决方法和装置
CN109523558A (zh) 一种人像分割方法及***
CN110264407A (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
CN116665092A (zh) 基于ia-yolov7的污水悬浮物识别方法及***
CN110807369B (zh) 基于深度学习和注意力机制的短视频内容智能分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704