CN109190513A - 结合图像显著性检测和神经网络的车辆重识别方法与*** - Google Patents
结合图像显著性检测和神经网络的车辆重识别方法与*** Download PDFInfo
- Publication number
- CN109190513A CN109190513A CN201810921051.6A CN201810921051A CN109190513A CN 109190513 A CN109190513 A CN 109190513A CN 201810921051 A CN201810921051 A CN 201810921051A CN 109190513 A CN109190513 A CN 109190513A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- neural network
- feature
- external appearance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 230000001174 ascending effect Effects 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合图像显著性检测和神经网络的车辆重识别方法与***，方法包括：采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；根据神经网络的训练结果，提取车辆特征并对车辆进行重识别；***包括显著性检测模块、训练模块和重识别模块；***还包括存储器和处理器。本发明能够根据车辆的显著外观特征图像来对车辆进行重识别，增强了提取特征的鲁棒性；另外，本发明使神经网络能针对性地对车辆图像的显著特征区域进行特征学习，效率较高，可广泛应用于图像识别技术领域。
Description
技术领域
本发明涉及图像识别技术领域，尤其是一种结合图像显著性检测和神经网络的车辆重识别方法与***。
背景技术
治安监控卡口、电子警察等卡口类视频监控设备可以获取高清车辆图像，从中得到车辆各种细节。在道路路网的多点监控卡口图像中实现车辆信息的关联有助于分析车辆在路网中的行驶轨迹、挖掘车辆的出行规律，在安防方面还能帮助快速实现涉事车辆的定位与追踪，因此，多点卡口图像中的车辆重识别问题成为了研究热点之一。目前在车辆重识别研究中存在的主要挑战有：(1)多监控摄像头拍摄的车辆图片存在分辨率不一致、光照变化、车辆角度姿势变化等情况影响识别；(2)车辆的品牌、型号、年款众多，许多不同型号车辆之间的差异并不明显；(3)同一品牌型号的车辆外观几乎一样，难以区分。
车辆重识别研究属于目标重识别范畴，现有目标重识别研究方法可以分为度量学习和特征学习两类研究思路。基于度量学习的方法是利用样本训练一个度量方法，通过学习一个合适的距离度量，在这个距离度量下能够使同类样本数据的相似度增大，非同类样本的相似度减小，即通过度量学习找到一个合理的特征空间映射，使得在新的空间中样本之间的特征分布更为合理，例如基于马氏距离学习的方法和排序支持向量机(RankSVM)的方法等。这类方法通常需要人工设计特征，识别效果在一定程度上依赖于特征的提取，泛化能力较差。基于特征学习的方法是将颜色特征、尺度不变特征等多种特征方法进行结合以获取更好的重识别效果。由于重识别问题对提取特征的鲁棒性要求很高，特别是在没有车牌信息且车辆特征差异不明显的情况下，传统的特征学习方法难以取得很好的识别效果。因此现阶段很多研究方法都结合了卷积神经方法进行特征的训练与提取，如利用三元组损失(Triplet Loss)作损失函数的神经网络方法，通过训练正负样本与中心点样本的距离，达到类间方差最大化和类内方差最小化的目的。
车辆重识别一般可以通过车牌识别来实现。但在车牌出现涂改、伪造、车辆无牌或者车牌识别方法出现错误的情况下，则需要利用车辆的一些独特的外观特征实现正确的车辆重识别。在道路卡口车辆图像中，由于车辆的品牌型号众多，型号、颜色一样的车辆随处可见，同一品牌车型、年款下的车辆之间的外观差异不明显，在不依赖车辆车牌信息的情况下，通过传统的度量学习和特征学习方法根据车辆的颜色、尺度不变特征等对车辆进行重识别具有一定的难度。现阶段结合神经网络的方法中，基于三元组损失函数的网络训练难度大，较难收敛；此外，特征的学习基于神经网络的损失函数优化，而非有针对性地对重要特征进行重点学习，运算量大且效率不高。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种鲁棒性强且效率高的，结合图像显著性检测和神经网络的车辆重识别方法与***。
本发明所采取的第一技术方案是：
结合图像显著性检测和神经网络的车辆重识别方法，包括以下步骤：
采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；
将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；
根据神经网络的训练结果，提取车辆特征并对车辆进行重识别。
进一步，所述采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像这一步骤，包括以下步骤：
分别对原始图像的三个颜色通道作小波变换；
根据三个颜色通道的小波变换结果，采用二值滤波器分别计算每个颜色通道的小波变换结果的中心点活跃系数和邻域区域活跃系数；
根据中心点活跃系数和邻域区域活跃系数，分别计算每个颜色通道的中心点与邻域区域之间的活跃对比度；
通过扩展对比敏感函数对每个颜色通道的中心点与邻域区域之间的活跃对比度进行权重调整；
对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像。
进一步，所述对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像这一步骤，包括以下步骤：
对每个颜色通道的权重调整结果进行逆小波变换，得到每个颜色通道的显著性检测结果；
对每个颜色通道的显著性检测结果进行归一化操作，得到显著性灰度图像；
将显著性灰度图像与车辆的原始图像进行像素相乘计算，得到车辆的显著外观特征图像。
进一步，所述将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练这一步骤，包括以下步骤：
根据车辆的车牌信息，对车辆进行分类，并为每个类别设置一个车辆ID；
获取车辆的显著外观特征图像和原始图像，并根据车辆的显著外观特征图像和原始图像生成张量，所述张量具有六个通道；
采用非线性映射方法，通过卷积层将车辆的显著外观特征图像转换为车辆的语义特征图像；
采用降采样方法，通过最大池化层来对车辆的语义特征图像进行处理，以确保车辆的语义特征图像保持几何以及平移不变性；
通过全连接层来进行特征提取以及特征组合，得到车辆的特征向量。
进一步，所述根据神经网络的训练结果，提取车辆特征并对车辆进行重识别这一步骤，包括以下步骤：
获取神经网络的训练结果并移除Softmax层；
将查询集和候选集中的图像输入神经网络，得到目标车辆的特征向量和待识别车辆的特征向量；其中，所述查询集存储目标车辆的原始图像，所述候选集存储待识别车辆的原始图像；
对目标车辆的特征向量和待识别车辆的特征向量进行查询匹配，实现对车辆的重识别。
进一步，所述特征向量为1024维的向量。
进一步，所述对目标车辆的特征向量和待识别车辆的特征向量进行查询匹配，实现对车辆的重识别这一步骤，包括以下步骤：
计算目标车辆的特征向量与待识别车辆的特征向量之间的欧氏距离；
对计算得到的欧氏距离进行升序排序；
根据升序排序的结果，对相应待识别车辆与目标车辆的车辆ID进行匹配，得到车辆重识别结果。
本发明所采取的第二技术方案是：
结合图像显著性检测和神经网络的车辆重识别***，包括：
显著性检测模块，用于采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；
训练模块，用于将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；
重识别模块，用于根据神经网络的训练结果，提取车辆特征并对车辆进行重识别。
进一步，所述显著性检测模块包括：
小波变换单元，用于分别对原始图像的三个颜色通道作小波变换；
活跃系数计算单元，用于根据三个颜色通道的小波变换结果，采用二值滤波器分别计算每个颜色通道的小波变换结果的中心点活跃系数和邻域区域活跃系数；
活跃对比度计算单元，用于根据中心点活跃系数和邻域区域活跃系数，分别计算每个颜色通道的中心点与邻域区域之间的活跃对比度；
权重调整单元，用于通过扩展对比敏感函数对每个颜色通道的中心点与邻域区域之间的活跃对比度进行权重调整；
逆小波变换单元，用于对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像。
本发明所采取的第三技术方案是：
结合图像显著性检测和神经网络的车辆重识别***，包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行如第一技术方案所述的结合图像显著性检测和神经网络的车辆重识别方法。
本发明的有益效果是：本发明基于SIM算法实现了对车辆的显著性检测，在车辆外观差异较小的情况下，能够根据车辆的显著外观特征图像来对车辆进行重识别，增强了提取特征的鲁棒性；另外，本发明将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练，使神经网络能针对性地对车辆图像的显著特征区域进行特征学习，效率较高。
附图说明
图1为本发明结合图像显著性检测和神经网络的车辆重识别方法的步骤流程图；
图2为本发明实施例中基于SIM算法的显著性检测步骤流程图；
图3为本发明实施例中水平邻域区域二值滤波器的示意图；
图4为本发明实施例中垂直邻域区域二值滤波器的示意图；
图5为本发明实施例中对角邻域区域二值滤波器的示意图；
图6为本发明实施例中水平中心点二值滤波器的示意图；
图7为本发明实施例中垂直中心点二值滤波器的示意图；
图8为本发明实施例中对角中心点二值滤波器的示意图；
图9为本发明实施例中将原始图像与显著性灰度图像进行像素相乘计算的示意图；
图10为本发明实施例中的神经网络结构示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本发明结合图像显著性检测和神经网络的车辆重识别方法，包括以下步骤：
采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；
将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；
根据神经网络的训练结果，提取车辆特征并对车辆进行重识别。
进一步作为优选的实施方式，所述采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像这一步骤，包括以下步骤：
分别对原始图像的三个颜色通道作小波变换；
根据三个颜色通道的小波变换结果，采用二值滤波器分别计算每个颜色通道的小波变换结果的中心点活跃系数和邻域区域活跃系数；
根据中心点活跃系数和邻域区域活跃系数，分别计算每个颜色通道的中心点与邻域区域之间的活跃对比度；
通过扩展对比敏感函数对每个颜色通道的中心点与邻域区域之间的活跃对比度进行权重调整；
对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像。
进一步作为优选的实施方式，所述对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像这一步骤，包括以下步骤：
对每个颜色通道的权重调整结果进行逆小波变换，得到每个颜色通道的显著性检测结果；
对每个颜色通道的显著性检测结果进行归一化操作，得到显著性灰度图像；
将显著性灰度图像与车辆的原始图像进行像素相乘计算，得到车辆的显著外观特征图像。
进一步作为优选的实施方式，所述将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练这一步骤，包括以下步骤：
根据车辆的车牌信息，对车辆进行分类，并为每个类别设置一个车辆ID；
获取车辆的显著外观特征图像和原始图像，并根据车辆的显著外观特征图像和原始图像生成张量，所述张量具有六个通道；
采用非线性映射方法，通过卷积层将车辆的显著外观特征图像转换为车辆的语义特征图像；
采用降采样方法，通过最大池化层来对车辆的语义特征图像进行处理，以确保车辆的语义特征图像保持几何以及平移不变性；
通过全连接层来进行特征提取以及特征组合，得到车辆的特征向量。
进一步作为优选的实施方式，所述根据神经网络的训练结果，提取车辆特征并对车辆进行重识别这一步骤，包括以下步骤：
获取神经网络的训练结果并移除Softmax层；
将查询集和候选集中的图像输入神经网络，得到目标车辆的特征向量和待识别车辆的特征向量；其中，所述查询集存储目标车辆的原始图像，所述候选集存储待识别车辆的原始图像；
对目标车辆的特征向量和待识别车辆的特征向量进行查询匹配，实现对车辆的重识别。
进一步作为优选的实施方式，所述特征向量为1024维的向量。
进一步作为优选的实施方式，所述对目标车辆的特征向量和待识别车辆的特征向量进行查询匹配，实现对车辆的重识别这一步骤，包括以下步骤：
计算目标车辆的特征向量与待识别车辆的特征向量之间的欧氏距离；
对计算得到的欧氏距离进行升序排序；
根据升序排序的结果，对相应待识别车辆与目标车辆的车辆ID进行匹配，得到车辆重识别结果。
与图1的方法相对应，本发明结合图像显著性检测和神经网络的车辆重识别***，包括：
显著性检测模块，用于采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；
训练模块，用于将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；
重识别模块，用于根据神经网络的训练结果，提取车辆特征并对车辆进行重识别。
进一步作为优选的实施方式，所述显著性检测模块包括：
小波变换单元，用于分别对原始图像的三个颜色通道作小波变换；
活跃系数计算单元，用于根据三个颜色通道的小波变换结果，采用二值滤波器分别计算每个颜色通道的小波变换结果的中心点活跃系数和邻域区域活跃系数；
活跃对比度计算单元，用于根据中心点活跃系数和邻域区域活跃系数，分别计算每个颜色通道的中心点与邻域区域之间的活跃对比度；
权重调整单元，用于通过扩展对比敏感函数对每个颜色通道的中心点与邻域区域之间的活跃对比度进行权重调整；
逆小波变换单元，用于对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像。
与图1的方法相对应，本发明结合图像显著性检测和神经网络的车辆重识别***，包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行本发明的结合图像显著性检测和神经网络的车辆重识别方法。
下面以治安卡口的摄像头拍摄得到的车辆图像为例，详细说明本发明一种结合图像显著性检测和神经网络的车辆重识别方法的具体实施步骤：
S1、通过安装在治安卡口的摄像头对过往车辆进行拍摄，得到车辆的原始图像；
S2、采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；
如图2所示，步骤S2具体包括以下步骤：
S21、分别对原始图像的三个颜色通道作小波变换；所述步骤S21具体为：对于每一个输入的彩色车辆图像，其包含有RGB三个颜色通道(Channel)，本实施例记每个通道为ci(i＝1,2,3)，然后分别对每个颜色通道作小波变换，所述小波变换的计算公式为：
{ws,o}＝WT(c),s＝1,2,...,n；o＝h,v,d，
其中，c代表图像的任意一个颜色通道；WT(*)代表小波变化；ws,o代表第s个分解层数下第o方向的小波变换结果；h、v、d分别代表水平、垂直和对角方向；s代表小波变换的层数，也即小波变换的尺度。其中，小波变换的总层数的计算公式为：n＝log2min(W,H)，W×H代表图像的分辨率。
S22、根据三个颜色通道的小波变换结果，采用二值滤波器分别计算每个颜色通道的小波变换结果的中心点活跃系数和邻域区域活跃系数；其中，所述中心点活跃系数和邻域区域活跃系数的计算公式为：其中，和分别为中心点活跃系数和邻域区域活跃系数；和分别为o方向的中心点二值滤波器和邻域区域二值滤波器；本发明的水平邻域区域二值滤波器、垂直邻域区域二值滤波器、对角邻域区域二值滤波器、水平中心点二值滤波器、垂直中心点二值滤波器和对角中心点二值滤波器这6种二值滤波器分别如图3、图4、图5、图6、图7和图8所示；其中，表示卷积运算。
S23、根据中心点活跃系数和邻域区域活跃系数，分别计算每个颜色通道的中心点与邻域区域之间的活跃对比度；所述活跃对比度的计算公式为：
其中，zs,o是尺度s的o方向上的中心-邻域活跃对比度(即中心点与邻域区域之间的活跃对比度)，它所反映的是图像上某个区域与周围的对比关系，如果zs,o的值比较大，则图像的中心区域比周围区域具有更高的活跃度，也就是说，对于该图像，可认为中心区域具有更高的显著性；rs,o代表中心活跃系数和邻域活跃系数的平方比。
S24、通过扩展对比敏感函数对每个颜色通道的中心点与邻域区域之间的活跃对比度进行权重调整；所述步骤S24具体为：在计算得到zs,o后，需进一步通过权重函数调整zs,o，SIM算法利用扩展对比敏感函数(Extended Constrast Sensitivity Function，ECSF)来调整中心-邻域活跃对比度。ECSF是一个简单的一次函数，其系数根据小波变换的层级而变化，所述ECSF的计算公式为：ECSF(zs,o,s)＝zs,o·g(s)+k(s)，
其中，g(s)和k(s)均为ECSF函数的系数，它们是随尺度s的变化而产生衰减的变量，其计算公式分别为：
在本实施例中，权重调整的结果αs,o的计算公式为：αs,o＝ECSF(zs,o,s)。
S25、对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像。本发明根据权重调整得到αs,o，然后对αs,o进行逆小波变换，所述逆小波变换的计算公式为：
Sc＝WT-1{αs,o},s＝1,2,...n,o＝h,v,d，
其中，Sc为通道c的显著性检测结果；WT-1代表逆小波变换。
本发明对所有通道(即RGB三个通道)都进行同样的显著性检测操作，得到最终的显著性灰度图像，所述最终的显著性灰度图像的计算公式为：其中，Smap为最终的显著性灰度图像，normalize(*)表示归一化操作，这样使得所求取的显著性灰度图像是像素数值在区间[0,1]的灰度图。
如图9所示，本发明在得到显著性灰度图之后，将显著性灰度图像与车辆的原始图像进行像素相乘计算，得到车辆的显著外观特征图像，其中，I表示车辆的原始图像；Smap表示图像的显著性灰度图像；表示图像矩阵之间按对应位置进行像素相乘的运算；Isal表示相乘后的结果(即车辆的显著外观特征图像)。本发明通过车辆的显著外观特征图像，能够获取原始图像中具有显著性的区域，即相当于在原始图像的每个像素点乘上一个特定的权重，若像素点属于显著性区域的像素，则乘上一个数值大的权重，否则乘上一个数值小的权重。
如图10所示，S3、将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；本发明利用卷积神经网络来提取图像的特征，本发明的神经网络的基础网络为VGG16，所述VGG16网络的结构如表1所示，表1中展示的卷积神经网络包括卷积层(convolution)、最大池化层(max pooling)和全连接层(fully connected)。
表1VGG16卷积神经网络结构图
本发明的卷积神经网络架构与传统卷积神经网络最大的不同是，本发明所提出的网络模型有两个输入部分，第一个输入部分是车辆的原始图像，第二个输入部分是原始图像对应的显著外观特征图像。本发明将显著外观特征图像作为辅助信息，串联到原始图像中，组成一个具有6通道的张量，然后一起输入后续的网络层中，使得输入部分中同时含有图像的显著性特征信息，而图像的显著性特征信息具有加强特征的作用，使得神经网络能够更大概率以及更有效地提取到鲁棒特征。
此外，本发明将神经网络的全连接层的神经元数目改为1024，来对神经网络进行分类任务的训练，训练完成后得到的网络具有提取特征的能力，因此，全连接层的输出即为神经网络所提取的图像的特征。在原有的VGG16神经网络中，其全连接层的神经元数目为4096，这是一个很高维的向量，这种高维向量不仅会导致提取到的特征异常稀疏，还会降低后续特征匹配的效率，所以，本发明选用1024作为神经网络训练的维度，提高了特征提取的鲁棒性。
具体地，步骤S3包括以下步骤：
S31、根据车辆的车牌信息，对车辆进行分类，并为每个类别设置一个车辆ID；
所述步骤S31具体为：本发明以原始图像和经过显著性检测模块得到的显著外观特征图像组成的6通道的张量作为神经网络的输入进行训练，将每个车牌的车辆分别记为不同ID(Identify)，每个车辆ID视为一类，将车辆重识别问题整合成一个分类任务去训练网络。
S32、获取车辆的显著外观特征图像和原始图像，并根据车辆的显著外观特征图像和原始图像生成张量，所述张量具有六个通道；
S33、采用非线性映射方法，通过卷积层将车辆的显著外观特征图像转换为车辆的语义特征图像；
所述步骤S33具体为：卷积层的作用是利用一个非线性的映射把低层次的图像特征转换为高层次的语义特征。本发明的卷积层的输入是一个三维矩阵X，大小为s1×s2×s3，其中s3是输入的二维特征图的数量，s1×s2是二维特征图xi的大小。卷积层的输出是一个三维矩阵Y,大小为t1×t2×t3，其中t3是输出的二维特征图的数量，t1×t2是输出的二维特征图的yj大小，所述yj的计算公式为：
其中xi是卷积层第i个输入的二维特征图；yj是卷积层第j个输出的二维特征图；代表卷积操作；kij表示的是第j个输出二维特征图对应第i个输入二维特征图的二维卷积核，所述二维卷积核的参数都是由网络训练得到的；f(x)是激活函数，所述激活函数的定义式为：f(x)＝max(0,x)。
S34、采用降采样方法，通过最大池化层来对车辆的语义特征图像进行处理，以确保车辆的语义特征图像保持几何以及平移不变性；
其中，所述步骤S34具体为：最大池化层的作用是通过降采样的方式使得特征具有几何以及平移不变性，所述最大池化层的计算公式如下：
yi,j,k＝max(bi-p,j-q,k,bi-p+1,j-q+1,k,...,bi+p,j+q,k)，
其中yi,j,k表示第k个输出特征图中坐标为(i，j)的像素值，bi+p,j+q,k表示的是第k个输入特征图中坐标为(i+p,j+q)的像素值。
S35、通过全连接层来进行特征提取以及特征组合，得到车辆的特征向量。
所述步骤S35具体为：在经过多个卷积层以及池化层的交替处理后，本发明的神经网络可以根据实际需要设置一个或多个的全连接层来进行特征的组合并输出最终提取到的特征。全连接层中的每一个神经元都与输入层中所有的神经元相连，即每个神经元对输入层中所有的特征进行一个加权统计，所述加权统计的计算公式为：
其中，l层代表全连接层；是第l层的第j个神经元；是第l层第j个神经元与第l-1层的第i个输入特征图中所有神经元连接的参数；是偏置项。
S4、根据神经网络的训练结果，提取车辆特征并对车辆进行重识别。
其中，所述步骤S4包括以下步骤：
S41、获取神经网络的训练结果并移除Softmax层：本发明在完成神经网络的训练之后，将Softmax层移除，并将最后一层全连接层的输出结果作为提取到的特征，该特征是一个1024维的向量。
S42、将查询集和候选集中的图像输入神经网络，得到目标车辆的特征向量和待识别车辆的特征向量；其中，所述查询集存储目标车辆的原始图像，所述候选集存储待识别车辆的原始图像；
S43、对目标车辆的特征向量和待识别车辆的特征向量进行查询匹配，实现对车辆的重识别；
其中，所述步骤S43具体包括以下步骤：
S431、计算目标车辆的特征向量与待识别车辆的特征向量之间的欧氏距离；所述欧氏距离的计算公式为：
dist＝||featurequery-featuregallery||，其中，dist表示特征向量之间的距离；featurequery表示目标车辆的图像的特征向量；featuregallery表示待识别车辆的图像的特征向量；||*||表示向量的模。
S432、对计算得到的欧氏距离进行升序排序；其中，相同车辆ID的目标车辆的特征向量与待识别车辆的特征向量之间的欧氏距离较小。
S433、根据升序排序的结果，对相应待识别车辆与目标车辆的车辆ID进行匹配，得到车辆重识别结果。
本发明在计算得到特征向量之间的欧氏距离后，将其进行升序排序。根据升序排序结果，检查排序靠前(即欧氏距离较小)的待识别车辆是否与对应的目标车辆具有相同的车辆ID，进而统计车辆识别率并得到车辆的重识别结果。
综上所述，本发明结合图像显著性检测和神经网络的车辆重识别方法与***具有以下优点：
1)、本发明基于SIM算法实现了对车辆的显著性检测，在车辆外观差异较小的情况下，能够根据车辆的显著外观特征图像来对车辆进行重识别，增强了提取特征的鲁棒性；
2)、本发明将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练，使神经网络能针对性地对车辆图像的显著特征区域进行特征学习，效率较高；
3)、本发明是采用基于显著性检测与卷积神经网络结合的方法进行车辆重识别，可以准确地对卡口车辆图像进行重识别；
4)、本发明能够不依赖车牌信息在车辆外观差异较小的情况下，根据独特外观特征实现对车辆的重识别；
5)、本发明结合了神经网络方法，无需人工设计，效率较高。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.结合图像显著性检测和神经网络的车辆重识别方法，其特征在于：包括以下步骤：
采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；
将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；
根据神经网络的训练结果，提取车辆特征并对车辆进行重识别。
2.根据权利要求1所述的结合图像显著性检测和神经网络的车辆重识别方法，其特征在于：所述采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像这一步骤，包括以下步骤：
分别对原始图像的三个颜色通道作小波变换；
根据三个颜色通道的小波变换结果，采用二值滤波器分别计算每个颜色通道的小波变换结果的中心点活跃系数和邻域区域活跃系数；
根据中心点活跃系数和邻域区域活跃系数，分别计算每个颜色通道的中心点与邻域区域之间的活跃对比度；
通过扩展对比敏感函数对每个颜色通道的中心点与邻域区域之间的活跃对比度进行权重调整；
对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像。
3.根据权利要求2所述的结合图像显著性检测和神经网络的车辆重识别方法，其特征在于：所述对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像这一步骤，包括以下步骤：
对每个颜色通道的权重调整结果进行逆小波变换，得到每个颜色通道的显著性检测结果；
对每个颜色通道的显著性检测结果进行归一化操作，得到显著性灰度图像；
将显著性灰度图像与车辆的原始图像进行像素相乘计算，得到车辆的显著外观特征图像。
4.根据权利要求1所述的结合图像显著性检测和神经网络的车辆重识别方法，其特征在于：所述将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练这一步骤，包括以下步骤：
根据车辆的车牌信息，对车辆进行分类，并为每个类别设置一个车辆ID；
获取车辆的显著外观特征图像和原始图像，并根据车辆的显著外观特征图像和原始图像生成张量，所述张量具有六个通道；
采用非线性映射方法，通过卷积层将车辆的显著外观特征图像转换为车辆的语义特征图像；
采用降采样方法，通过最大池化层来对车辆的语义特征图像进行处理，以确保车辆的语义特征图像保持几何以及平移不变性；
通过全连接层来进行特征提取以及特征组合，得到车辆的特征向量。
5.根据权利要求4所述的结合图像显著性检测和神经网络的车辆重识别方法，其特征在于：所述根据神经网络的训练结果，提取车辆特征并对车辆进行重识别这一步骤，包括以下步骤：
获取神经网络的训练结果并移除Softmax层；
将查询集和候选集中的图像输入神经网络，得到目标车辆的特征向量和待识别车辆的特征向量；其中，所述查询集存储目标车辆的原始图像，所述候选集存储待识别车辆的原始图像；
对目标车辆的特征向量和待识别车辆的特征向量进行查询匹配，实现对车辆的重识别。
6.根据权利要求5所述的结合图像显著性检测和神经网络的车辆重识别方法，其特征在于：所述特征向量为1024维的向量。
7.根据权利要求5所述的结合图像显著性检测和神经网络的车辆重识别方法，其特征在于：所述对目标车辆的特征向量和待识别车辆的特征向量进行查询匹配，实现对车辆的重识别这一步骤，包括以下步骤：
计算目标车辆的特征向量与待识别车辆的特征向量之间的欧氏距离；
对计算得到的欧氏距离进行升序排序；
根据升序排序的结果，对相应待识别车辆与目标车辆的车辆ID进行匹配，得到车辆重识别结果。
8.结合图像显著性检测和神经网络的车辆重识别***，其特征在于：包括：
显著性检测模块，用于采用SIM算法对车辆的原始图像进行显著性检测，得到车辆的显著外观特征图像；
训练模块，用于将车辆的显著外观特征图像和原始图像一起输入神经网络进行训练；
重识别模块，用于根据神经网络的训练结果，提取车辆特征并对车辆进行重识别。
9.根据权利要求8所述的结合图像显著性检测和神经网络的车辆重识别***，其特征在于：所述显著性检测模块包括：
小波变换单元，用于分别对原始图像的三个颜色通道作小波变换；
活跃系数计算单元，用于根据三个颜色通道的小波变换结果，采用二值滤波器分别计算每个颜色通道的小波变换结果的中心点活跃系数和邻域区域活跃系数；
活跃对比度计算单元，用于根据中心点活跃系数和邻域区域活跃系数，分别计算每个颜色通道的中心点与邻域区域之间的活跃对比度；
权重调整单元，用于通过扩展对比敏感函数对每个颜色通道的中心点与邻域区域之间的活跃对比度进行权重调整；
逆小波变换单元，用于对权重调整的结果进行逆小波变换，得到车辆的显著外观特征图像。
10.结合图像显著性检测和神经网络的车辆重识别***，其特征在于：包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行如权利要求1-7任一项所述的结合图像显著性检测和神经网络的车辆重识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810921051.6A CN109190513A (zh) | 2018-08-14 | 2018-08-14 | 结合图像显著性检测和神经网络的车辆重识别方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810921051.6A CN109190513A (zh) | 2018-08-14 | 2018-08-14 | 结合图像显著性检测和神经网络的车辆重识别方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109190513A true CN109190513A (zh) | 2019-01-11 |
Family
ID=64921408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810921051.6A Pending CN109190513A (zh) | 2018-08-14 | 2018-08-14 | 结合图像显著性检测和神经网络的车辆重识别方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109190513A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321949A (zh) * | 2019-06-29 | 2019-10-11 | 天津大学 | 一种基于观测终端网络的分布式车辆追踪方法与*** |
| CN110619280A (zh) * | 2019-08-23 | 2019-12-27 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
| CN110909785A (zh) * | 2019-11-18 | 2020-03-24 | 西北工业大学 | 基于语义层级的多任务Triplet损失函数学习方法 |
| CN111292530A (zh) * | 2020-02-04 | 2020-06-16 | 浙江大华技术股份有限公司 | 处理违章图片的方法、装置、服务器和存储介质 |
| CN111428688A (zh) * | 2020-04-16 | 2020-07-17 | 成都旸谷信息技术有限公司 | 基于mask矩阵的车辆的行驶车道智能识别方法、*** |
| CN111429484A (zh) * | 2020-03-31 | 2020-07-17 | 电子科技大学 | 一种基于交通监控视频的多目标车辆轨迹实时构建方法 |
| CN111540217A (zh) * | 2020-04-16 | 2020-08-14 | 成都旸谷信息技术有限公司 | 基于mask矩阵的平均车速智能监测方法、*** |
| CN111738362A (zh) * | 2020-08-03 | 2020-10-02 | 成都睿沿科技有限公司 | 对象识别方法及装置、存储介质及电子设备 |
| CN111738048A (zh) * | 2020-03-10 | 2020-10-02 | 重庆大学 | 一种行人再识别的方法 |
| CN111881922A (zh) * | 2020-07-28 | 2020-11-03 | 成都工业学院 | 一种基于显著性特征的绝缘子图像识别方法及*** |
| CN113723232A (zh) * | 2021-08-16 | 2021-11-30 | 绍兴市北大信息技术科创中心 | 一种根据通道协同注意力的车辆重识别方法 |
| CN116503914A (zh) * | 2023-06-27 | 2023-07-28 | 华东交通大学 | 行人重识别方法、***、可读存储介质及计算机设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105023008A (zh) * | 2015-08-10 | 2015-11-04 | 河海大学常州校区 | 基于视觉显著性及多特征的行人再识别方法 |
| CN106529578A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于深度学习的车辆品牌型号精细识别方法与*** |
-
2018
- 2018-08-14 CN CN201810921051.6A patent/CN109190513A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105023008A (zh) * | 2015-08-10 | 2015-11-04 | 河海大学常州校区 | 基于视觉显著性及多特征的行人再识别方法 |
| CN106529578A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于深度学习的车辆品牌型号精细识别方法与*** |
Non-Patent Citations (4)
| Title |
|---|
| NAILA MURRAY ET AL: "Low-Level Spatiochromatic Grouping for Saliency Estimation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| NAILA MURRAY ET AL: "Saliency Estimation Using a Non-Parametric Low-Level Vision Model", 《CVPR 2011》 * |
| NIKI MARTINEL，ET AL: "Kernelized Saliency-Based Person Re-Identification Through Multiple Metric Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| XIYING LI ET AL: "VRID-1: A Basic Vehicle Re-identification Dataset for Similar Vehicles", 《2017 ITSC》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321949A (zh) * | 2019-06-29 | 2019-10-11 | 天津大学 | 一种基于观测终端网络的分布式车辆追踪方法与*** |
| CN110619280A (zh) * | 2019-08-23 | 2019-12-27 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
| CN110619280B (zh) * | 2019-08-23 | 2022-05-24 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
| CN110909785B (zh) * | 2019-11-18 | 2021-09-14 | 西北工业大学 | 基于语义层级的多任务Triplet损失函数学习方法 |
| CN110909785A (zh) * | 2019-11-18 | 2020-03-24 | 西北工业大学 | 基于语义层级的多任务Triplet损失函数学习方法 |
| CN111292530A (zh) * | 2020-02-04 | 2020-06-16 | 浙江大华技术股份有限公司 | 处理违章图片的方法、装置、服务器和存储介质 |
| CN111738048B (zh) * | 2020-03-10 | 2023-08-22 | 重庆大学 | 一种行人再识别的方法 |
| CN111738048A (zh) * | 2020-03-10 | 2020-10-02 | 重庆大学 | 一种行人再识别的方法 |
| CN111429484A (zh) * | 2020-03-31 | 2020-07-17 | 电子科技大学 | 一种基于交通监控视频的多目标车辆轨迹实时构建方法 |
| CN111429484B (zh) * | 2020-03-31 | 2022-03-15 | 电子科技大学 | 一种基于交通监控视频的多目标车辆轨迹实时构建方法 |
| CN111428688B (zh) * | 2020-04-16 | 2022-07-26 | 成都旸谷信息技术有限公司 | 基于mask矩阵的车辆的行驶车道智能识别方法、*** |
| CN111540217A (zh) * | 2020-04-16 | 2020-08-14 | 成都旸谷信息技术有限公司 | 基于mask矩阵的平均车速智能监测方法、*** |
| CN111428688A (zh) * | 2020-04-16 | 2020-07-17 | 成都旸谷信息技术有限公司 | 基于mask矩阵的车辆的行驶车道智能识别方法、*** |
| CN111881922A (zh) * | 2020-07-28 | 2020-11-03 | 成都工业学院 | 一种基于显著性特征的绝缘子图像识别方法及*** |
| CN111881922B (zh) * | 2020-07-28 | 2023-12-15 | 成都工业学院 | 一种基于显著性特征的绝缘子图像识别方法及*** |
| CN111738362B (zh) * | 2020-08-03 | 2020-12-01 | 成都睿沿科技有限公司 | 对象识别方法及装置、存储介质及电子设备 |
| CN111738362A (zh) * | 2020-08-03 | 2020-10-02 | 成都睿沿科技有限公司 | 对象识别方法及装置、存储介质及电子设备 |
| CN113723232A (zh) * | 2021-08-16 | 2021-11-30 | 绍兴市北大信息技术科创中心 | 一种根据通道协同注意力的车辆重识别方法 |
| CN116503914A (zh) * | 2023-06-27 | 2023-07-28 | 华东交通大学 | 行人重识别方法、***、可读存储介质及计算机设备 |
| CN116503914B (zh) * | 2023-06-27 | 2023-09-01 | 华东交通大学 | 行人重识别方法、***、可读存储介质及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190513A (zh) | 结合图像显著性检测和神经网络的车辆重识别方法与*** | |
| Zhang et al. | Deep-IRTarget: An automatic target detector in infrared imagery using dual-domain feature extraction and allocation | |
| CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
| CN111274916B (zh) | 人脸识别方法和人脸识别装置 | |
| US10198689B2 (en) | Method for object detection in digital image and video using spiking neural networks | |
| US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
| Daniel Costea et al. | Word channel based multiscale pedestrian detection without image resizing and using only one classifier | |
| CN107016357A (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN105404886A (zh) | 特征模型生成方法和特征模型生成装置 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN108764096B (zh) | 一种行人重识别***和方法 | |
| CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN107818299A (zh) | 基于融合hog特征和深度信念网络的人脸识别算法 | |
| Yoo et al. | Fast training of convolutional neural network classifiers through extreme learning machines | |
| CN108229434A (zh) | 一种车辆识别与细致重构的方法 | |
| Prasad et al. | Passive copy-move forgery detection using SIFT, HOG and SURF features | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| Li et al. | Multi-view vehicle detection based on fusion part model with active learning | |
| CN110348434A (zh) | 相机来源鉴别方法、***、存储介质和计算设备 | |
| CN112396036A (zh) | 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法 | |
| CN107480599B (zh) | 一种基于深度学习算法的共享单车还车管理方法 | |
| Cai et al. | Vehicle Detection Based on Deep Dual‐Vehicle Deformable Part Models | |
| Mao et al. | Semi-dense stereo matching using dual CNNs | |
| Ye et al. | Robust optical and SAR image matching using attention-enhanced structural features | |
| CN117456325A (zh) | 一种水稻病虫害检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190111 |