CN107527068B - 基于cnn和域自适应学习的车型识别方法 - Google Patents

基于cnn和域自适应学习的车型识别方法 Download PDF

Info

Publication number
CN107527068B
CN107527068B CN201710670157.9A CN201710670157A CN107527068B CN 107527068 B CN107527068 B CN 107527068B CN 201710670157 A CN201710670157 A CN 201710670157A CN 107527068 B CN107527068 B CN 107527068B
Authority
CN
China
Prior art keywords
layer
sample
cnn
vehicle
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710670157.9A
Other languages
English (en)
Other versions
CN107527068A (zh
Inventor
孙伟
赵玉舟
张小瑞
郭强强
杜宏吉
施顺顺
杨翠芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201710670157.9A priority Critical patent/CN107527068B/zh
Publication of CN107527068A publication Critical patent/CN107527068A/zh
Application granted granted Critical
Publication of CN107527068B publication Critical patent/CN107527068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于CNN和域自适应学***均相似度，根据平均相似度聚类每类相似特征图；将与目标领域中样本有相似分布特性的源领域样本拓展为目标领域的新样本，用目标领域的新样本来微调整个CNN网络模型，再通过softmax分类器对目标领域中的测试样本进行车型分类。

Description

基于CNN和域自适应学习的车型识别方法
技术领域
本发明涉及识别技术领域，尤其涉及一种基于CNN和域自适应学习的车型识别方法。
背景技术
交通视频图像中车辆类型的识别,作为交通监测管理的一项关键技术,长期以来受到研究人员的广泛关注。由于车辆外观复杂多样,受到背景、光强、角度等诸多因素影响,在实际应用中稳定性受到很大干扰。近年来深度学***移、比例缩放、倾斜等视觉形变均具有高度的抵抗能力。
现有的图像分类技术主要通过有监督学习的方法训练出目标类别的分类模型,即需要为各个分类模型收集足量的、高质量的有标注数据进行模型训练。这种方式适用于简单的分类任务和类别比较少的场景。但是随着分类任务的复杂化,比如类别数量多、类别专业化、特殊化等,为目标类别收集足量的有标注数据的成本大大上升。
发明内容
本发明目的在于克服车型图像进行特征提取和对目标领域车辆图像数据样本太少、数据的标注成本较高的问题，提供了一种基于CNN和域自适应学习的车型识别方法，具体由以下技术方案实现：
所述基于CNN和域自适应学习的车型识别方法，包括如下步骤：
步骤1)分别采集自然场景下的包含多种车型的车辆图像，形成车型图像数据库，所述图像中一部分为源领域样本，源领域样本包括源领域训练样本和源领域测试样本，剩余部分为目标领域样本，目标领域样本包括目标领域训练样本和目标领域测试样本，采集车辆图像后对所述车型图像数据库中的车辆图片进行预处理操作；
步骤2)构建CNN网络模型，将所述车型图像数据库导入Alexnet网络进行预训练，更新Alexnet网络结构的权重参数Wi和偏置参数Bi，Wi表示第i层网络的权重，Bi表示第i层网络的偏置，i＝1,2…m；
步骤3)在CNN网络中添加旋转不变层FCa，旋转源领域训练样本，获得源领域增强训练样本，根据所述源领域增强训练样本和第一目标函数，训练添加旋转不变层后的网络权重参数WRI＝{W1,W2,…,Wm,Wa,Wb}和偏置BRI＝{B1,B2,…,Bm,Ba,Bb}；
步骤4)在旋转不变层后添加Fisher区分判别层FCc形成改进CNN网络模型，通过输入标签和第二目标函数，训练更新添加了Fisher区分判别层后的CNN网络权重参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}；
步骤5)通过所述改进CNN网络模型分别提取目标领域训练样本与源领域增强训练样本的特征图，将源领域增强训练样本和目标领域训练样本的车辆图像分别输入到经过训练的改进CNN网络模型中，分别提取源领域与目标领域的车辆图像的特征，获得相应的特征图；
步骤6)计算目标领域训练样本特征图与源领域增强训练样本特征图之间的余弦相似度，确定改进的CNN网络卷积层的共享卷积核或非共享卷积核，保留每个卷积层共享卷积核的权重和偏置，基于目标领域训练样本，使用随机梯度下降法更新卷积层非共享卷积核的权重和偏置；
步骤7)卷积目标领域训练样本图像，获得特征图，计算特征图之间的余弦相似度，获得目标领域训练样本的平均相似度矩阵，使用层次分析法聚类，每类保留一个相似特征图；
步骤8)通过所述目标领域训练样本微调整个CNN网络，最终形成车型识别网络；
步骤9)将所述目标领域测试样本中的每一个测试样本代入所述车型识别网络，车型网络根据车型识别网络的输出结果判定车辆的车型。
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤1)中，所述图像中一部分为源领域样本，包括CNN网络训练样本集合X＝{x1,x2,…,xh}和CNN网络模型测试样本集合R＝{γ1,γ2,…,γσ}，xh、γσ分别表示源领域集合中的样本，h、σ分别表示源领域集合中样本的个数；剩余部分为目标领域样本，包括域自适应学习训练样本集合
Figure GDA0002768326530000031
和域自适应学习测试样本集合M＝{δ1,δ2,…,δτ}，tj、δτ分别表示目标领域样本，T、τ分别表示目标领域集合中样本的个数。
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述预处理操作用于统一图片大小，并对图像添加标签，标注该图像所属车型类别。
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤2)中，Alexnet网络结构由按先后次序依次设置的五个卷积层与三个全连接层组成，Alexnet网络输出融合标签的softmax损失函数，根据softmax损失函数对权重参数Wi和偏置参数Bi进行随机梯度下降微调，所述融合标签为Alexnet网络的输出结果与所述融合标签的实际值之间的误差。
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤3)包括如下步骤：
3-1)设定车辆图像的源领域训练样本为X，以角度φ对每个车辆图像进行旋转变换，并添加到源领域训练样本X中，得到源领域增强训练样本χRI，χRI＝{X,TφX}是一组图像旋转变换的数据集，其中
Figure GDA0002768326530000032
K为旋转变换的次数，
Figure GDA0002768326530000033
表示对训练样本进行角度为φk的旋转操作，k＝1，2，3，…，K；
3-2)在CNN网络模型中位于Alexnet网络结构第七层的全连接层后添加全连接旋转不变层FCa，将Om(xu)表示为前一层FCm的输出，Oa(xu)为FCa层输出，Ob(xu)表示为softmax分类层FCb的输出，(Wa,Ba)和(Wb,Bb)分别表示FCa层和FCb层的新参数；
Oa(xu)和Ob(xu)的计算公式分别如式(1)、式(2)：
Oa(xu)＝κ(WaOm(xu)+Ba) (1)
Figure GDA0002768326530000034
其中，κ(WaOm(xu)+Ba)＝max(0,WaOm(xu)+Ba)，
Figure GDA0002768326530000041
分别是ReLU和softmax非线性激活函数；
设定整个CNN网络模型的增强训练样本为χRI＝{X,TφX}，相应的标签为
Figure GDA0002768326530000042
Figure GDA0002768326530000043
表示样本xu对应的标签；新的网络参数WRI和BRI由新的目标函数学习得到，新的目标函数如式(3)：
Figure GDA0002768326530000044
其中，λ1和λ2是权值参数，λ1和λ2均属于[0,1]，M(χRI,γRI)是softmax层的损失函数，表达式如式(4)；R(X,TφX)是一个旋转不变性正规化约束项，表达式如式(5)，旋转前和旋转后的训练样本分别为X和TφX，
Figure GDA0002768326530000045
是权值衰减项，用于防止过拟合；
Figure GDA0002768326530000046
式(4)中，
Figure GDA0002768326530000047
是
Figure GDA0002768326530000048
和logOb(xu)之间的内积，N是X中初始训练样本的总数，K是对于xu∈X旋转变换的总次数，
Figure GDA0002768326530000049
其中，Oa(xu)是FCa层的激活函数的输出，
Figure GDA00027683265300000410
是基于旋转后样本的FCa层激活函数的平均输出，如式(6)；
Figure GDA00027683265300000411
所述第一目标函数如式(7)：
Figure GDA00027683265300000412
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤4)包括如下步骤：
4-1)在旋转不变层FCa后添加Fisher区分判别层FCc，将旋转不变层和Fisher区分判别层组合在一起，CNN网络训练样本为每个对象类的所有真实边界框，定义为
Figure GDA0002768326530000051
Figure GDA0002768326530000052
是第e个对象类真实边界框；训练样本为χFD＝{xv}，对应的输出结果为
Figure GDA0002768326530000053
通过输入结果对(χFD,γFD)训练，
Figure GDA0002768326530000054
表示样本xv对应的标签；
4-2)随机初始化(Wc,Bc)和(Wd,Bd)，计算损失函数、辨别正则化项和第二目标函数JFD(WFD，BFD)，及时更新参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}，使用随机梯度下降法优化结构；对训练样本xv∈χFD，Oa(xv)表示为前一层FCa的输出，Oc(xv)为FCc层输出，Od(xv)表示为softmax分类层FCd的输出，(Wc,Bc)和(Wd,Bd)分别表示FCc层和FCd层的新参数；
Oc(xv)和Od(xv)的计算公式分别如式(8)、式(9)：
Oc(xv)＝κ(WcOa(xv)+Bc) (8)
Figure GDA0002768326530000055
所述第二目标目标函数如式(10)
Figure GDA0002768326530000056
其中，λ3和λ4是权值参数，λ3和λ4均属于[0,1]，M(χFD,γFD)是softmax层的损失函数，M(χFD,γFD)表达式如式(11)；F(χFD)是对CNN特征施加的辨别正则化约束，通过最小化类内间隔SW(χFD)和最大化类间间隔SB(χFD)获得，SW(χFD)、SB(χFD)的表达式分别如式(12)、式(13)；
Figure GDA0002768326530000057
式(11)中，|χFD|是训练样本χFD的数量，
Figure GDA0002768326530000058
Figure GDA0002768326530000059
式(12)、式(13)中，ne表示第e个对象类中样本的数量，其中me和m分别表示
Figure GDA0002768326530000061
和χFD的平均的特征如式(14)、式(15)，t表示转置运算，
Figure GDA0002768326530000062
Figure GDA0002768326530000063
辨别正则化项F(χFD)如式(16)，
F(χFD)＝tr(SW(χFD))-tr(SB(χFD)) (16)
式(16)中，tr(SW(χFD))和tr(SB(χFD))表示矩阵的迹运算，即矩阵主对角线元素的总和；
所述第二目标函数整合为：
Figure GDA0002768326530000064
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤5)中，假设输入特征图的集合为
Figure GDA0002768326530000065
输出特征图集合为
Figure GDA0002768326530000066
其中Rk-1和Rk分别是集合xk和zk元素的个数，k表示卷积的层数；Alexnet网络卷积层包括卷积单元和子采样单元，卷积单元与子采样单元之间的中间特征图集表示为
Figure GDA0002768326530000067
每个特征图
Figure GDA0002768326530000068
在卷积单元中计算为
Figure GDA0002768326530000069
Figure GDA00027683265300000610
表示特征图
Figure GDA00027683265300000611
和卷积核
Figure GDA00027683265300000612
之间的卷积，
Figure GDA00027683265300000613
表示偏置，F(x)＝max(0,x)是激活函数，在卷积单元后子采样层使用固定大小的均值内核扫描每张特征图
Figure GDA00027683265300000614
形成对应的池化特征图
Figure GDA00027683265300000615
Figure GDA00027683265300000616
subsampling()表示下采样函数，卷积核集
Figure GDA00027683265300000617
相应的特征图是
Figure GDA00027683265300000618
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤6)中，将车辆图像增强训练样本χRI表示为
Figure GDA00027683265300000619
sω为源领域增强训练样本，
Figure GDA0002768326530000071
为目标领域训练样本；
将A中具有相同属性的车辆图像通过K均值聚类算法分为η类，即
Figure GDA0002768326530000072
每个类集合Aμ中的车辆图像经过卷积层得到相似的特征图，每一类的平均特征图计算为
Figure GDA0002768326530000073
|Aμ|为数据的个数，在分好的η类图像中找到与目标图像tj相符的特征图μ(j)，μ(j)与目标图像tj具有最大余弦平均相似度，计算方法为
Figure GDA0002768326530000074
cos(·,·)表示两个图像之间的余弦相似度；
设定估计卷积核
Figure GDA0002768326530000075
是否是每个tj的共享卷积核的判定条件式如式(17)；
Figure GDA0002768326530000076
式(17)中，ε是决策阈值，结合式(17)的判定规则为：如果
Figure GDA0002768326530000077
则目标领域训练样本中的大多数样本都认为该层的
Figure GDA0002768326530000078
是共享卷积核，保留
Figure GDA0002768326530000079
的权重和偏置；如果
Figure GDA00027683265300000710
则需要更新
Figure GDA00027683265300000711
的权重和偏置；softmax损失函数表示为
Figure GDA00027683265300000712
使得特征图
Figure GDA00027683265300000713
逼近其对应的特征映射
Figure GDA00027683265300000714
从而更新非共享卷积核集
Figure GDA00027683265300000715
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤8)中，使用源领域概率与目标领域概率的比值λω作为对源领域样本sω可用性判别标准，λω使用条件概率定义如式(18)
Figure GDA00027683265300000716
p(sω|E)和p(sω|A)分别代表sω在源领域和目标领域中的概率，条件概率建模如式(19)、式(20)，
Figure GDA0002768326530000081
Figure GDA0002768326530000082
ot(sω)和os(sω)分别表示在先前迁移的目标领域检测器和源领域检测器的sω的输出值，如果sω被跨领域正确分类，则p(sω|E)∈(0.8,1)且p(sω|A)∈(0.8,1)，λω被重新定义如式(21)，
Figure GDA0002768326530000083
如果λω≥1，sω与目标领域中的车辆具有相似的视图；在源领域中，将条件概率λω≥1时的样本和目标领域样本组成了新的样本数据集，在每次迭代过程中，计算源领域中每辆车辆的可用性并选择新的样本更新训练集，用更新的训练集再训练直到融合标签的softmax损失函数收敛，获得优化特征检测模型每一层权值参数W'和偏置参数B'。
所述基于CNN和域自适应学习的车型识别方法的进一步设计在于，所述步骤9)中，所述车型识别网络的最后一个全连接层为FC8层，FC8层的输出被送至softmax分类层，所述softmax分类层的输出是一个涵盖四类车型的概率分布，输出结果中对应于某一车型的概率最大，则判定待识别车辆的输出结果为该车型，所述四类车型包括大客车、大货车、箱式小货车以及轿车。
本发明的优点如下：
(1)本发明采用基于计算机视觉技术的方法，安装维护方便，不影响路面寿命，不影响交通，而且所用设备少，具有成本低，鲁棒性好，安全性高等优点。
(2)本发明通过优化调整Alexnet网络结构和设置新的目标函数提高模型特征表示能力。
(3)本发明根据不同领域样本特征图的关联性，建立基于特征图相似性度量的域自适应迁移学习方法并对车辆特征提取初始模型进行优化更新。
附图说明
图1是基于CNN和域自适应学习的车型识别方法的流程示意图。
图2是增加旋转不变层的示意图。
图3是添加旋转不变层和Fisher区分判别层的示意图。
图4是域自适应学习流程图。
具体实施方式
下面结合附图对本申请进一步说明。
如图2，本实施例提供的基于CNN(卷积神经网络)和域自适应学习的车型识别方法，在车辆车型识别上取得良好的效果，整个算法实现步骤如下：
步骤1：车辆图像采集与预处理
分别选取自然场景下的大客车、大货车、箱式小货车和轿车四种车型图像，总共采集4000张车辆图像，每种车型各1000张，其中2500张为源领域样本，包括CNN网络训练样本集合X＝{x1,x2,…,xh}和CNN网络模型测试样本集合R＝{γ1,γ2,…,γσ}，xh、γσ分别表示源领域集合中的样本，h、σ分别表示源领域集合中样本的个数；1500张为目标领域样本，包括域自适应学习训练样本集合
Figure GDA0002768326530000091
和域自适应学习测试样本集合M＝{δ1,δ2,…,δτ}，tj、δτ分别表示目标领域样本，T、τ分别表示目标领域集合中样本的个数；首先对源领域测试样本中车辆图片进行预处理，图片大小统一调整为224×224像素，并对图像添加标签，标注该图像所属车型类别，有大客车、大货车、箱式小货车和轿车四种类别；
步骤2：将车型图像数据库导入Alexnet网络进行预训练，更新Alexnet网络结构的参数Wi和Bi，i＝1,2…m；
进一步的，Alexnet网络结构共有8层，由5个卷积层、3个全连接层组成，在每一个卷积层中包含了激励函数ReLu以及局部响应归一化(LRN)处理，然后经过降采样(pooling处理)；全连接层FC6和FC7，分别使用4096个神经元，对大小为6*6特征图，进行一个全连接，也就是将6*6大小的特征图，进行卷积变为一个特征点,再进行一个dropout随机从4096个节点中丢掉一些节点信息(也就是值清0)，然后就得到新的4096个神经元，全连接层FC8的输出被送到一个4-way的softmax层，其产生一个覆盖4类标签的分布。Alexnet网络模型的输入是一幅图像，规格是224*224*3(RGB图像),经过预处理变为227*227*3，使用的96个大小规格为11*11的过滤器filter，或者称为卷积核，进行特征提取，输出则是融合标签的softmax损失函数。融合标签用于表示此时网络的输出结果与标签实际值之间的误差。首先使用从图像数据集获得训练样本，根据输出的softmax损失函数对整个CNN参数进行随机梯度下降微调。在这一步中，为每次随机梯度迭代分别采样32个正样本和96个负样本(共128个样本)，学习率设为0.0005，动量设定为0.9，所有层次的权重都初始设置为0.0005，从而更改Alexnet网络的权重参数Wi(i＝1，2…m)和偏置参数Bi(i＝1，2…m)，m＝8；
步骤3：在CNN网络的第7层后添加全连接旋转不变层FCa，设计新的目标函数；旋转源领域训练样本X并将其添加到源领域训练样本X中，获得增强训练样本χRI，根据增强训练样本χRI和目标函数更新添加旋转不变层后的网络权重参数WRI＝{W1,W2,…,Wm,Wa,Wb}和偏置BRI＝{B1,B2,…,Bm,Ba,Bb}；
(1)假设源领域车辆图像训练样本为X，以角度φ对每个车辆图像进行旋转变换，本专利中φ＝10°，并添加到源领域训练样本X中，得到增强训练样本χRI。χRI＝{X,TφX}是一组图像旋转变换的数据集，其中
Figure GDA0002768326530000101
K为旋转变换的次数，
Figure GDA0002768326530000102
表示对训练样本进行角度为φk的旋转操作，k＝1，2，3，…，K；
(2)在CNN网络的第7层后添加全连接旋转不变层FCa，Om(xu)表示为前一层FCm的输出，Oa(xu)为FCa层输出，Ob(xu)表示为softmax分类层FCb的输出，(Wa,Ba)和(Wb,Bb)分别表示FCa层和FCb层的新参数。
Oa(xu)和Ob(xu)的计算公式分别为：Oa(xu)＝κ(WaOm(xu)+Ba)和
Figure GDA0002768326530000103
其中，κ(WaOm(xu)+Ba)＝max(0,WaOm(xu)+Ba)，
Figure GDA0002768326530000104
分别是ReLU和softmax非线性激活函数。
整个CNN网络的增强训练样本为χRI＝{xu|xu∈X∪TφX}，相应的标签为
Figure GDA0002768326530000105
Figure GDA0002768326530000106
表示样本xu对应的标签。新的网络参数WRI和BRI可由一种新的目标函数学习得到，新的目标函数如下：
Figure GDA0002768326530000111
其中，λ1和λ2是权值参数，λ1和λ2均属于[0,1]，第一项M(χRI,γRI)是softmax层的损失函数。定义为
Figure GDA0002768326530000112
Figure GDA0002768326530000113
是
Figure GDA0002768326530000114
和logOb(xu)之间的內积，N是X中初始训练样本的总数，K是对于xu∈X旋转变换的总次数，本专利中K＝35；
第二项R(X,TφX)是一个旋转不变性正规化约束项，旋转前和旋转后的训练样本分别为X和TφX，让它们具有相似的特征。定义正则化约束项为
Figure GDA0002768326530000115
其中Oa(xu)是FCa层的激活函数的输出，
Figure GDA0002768326530000116
是基于旋转后样本的FCa层激活函数的平均输出。定义为
Figure GDA0002768326530000117
第三项
Figure GDA0002768326530000118
是权值衰减项，用来防止过拟合。目标函数为：
Figure GDA0002768326530000119
步骤4：在上面旋转不变层后添加全连接Fisher区分判别层FCc，通过输入—结果和目标函数更新添加Fisher区分判别层后的CNN网络权重参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}；
(1)在上面的旋转不变层FCa后添加Fisher区分判别层FCc，将旋转不变层和Fisher区分判别层组合在一起，CNN网络训练样本为每个对象类的所有真实边界框，定义为
Figure GDA00027683265300001110
Figure GDA00027683265300001111
是第e个对象类真实边界框。训练样本为χFD＝{xv}，真实标签为
Figure GDA00027683265300001112
Figure GDA00027683265300001113
表示样本xv对应的标签，用成对的输入标签(χFD,γFD)训练添加了Fisher区分判别层的CNN网络模型；
(2)随机初始化(Wc,Bc)和(Wd,Bd)，计算损失函数、辨别正则化项和目标函数JFD(WFD,BFD)，及时更新参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}，使用随机梯度下降法优化结构；对训练样本xv∈χFD，Oa(xv)表示为前一层FCa的输出，Oc(xv)为FCc层输出，Od(xv)表示为softmax分类层FCd的输出，(Wc,Bc)和(Wd,Bd)分别表示FCc层和FCd层的新参数。
Oc(xv)和Od(xv)的计算公式分别为：
Oc(xv)＝κ(WcOa(xv)+Bc)
Figure GDA0002768326530000121
κ(WcOa(xv)+Bc)＝max(0，WcOa(xv)+Bc)，
其中，
Figure GDA0002768326530000122
分别是ReLU和softmax非线性激活函数。
添加Fisher区分判别层的CNN网络模型目标函数
Figure GDA0002768326530000123
其中，λ3和λ4是权值参数，λ3和λ4均属于[0,1]，第一项M(χFD,γFD)是softmax层的损失函数。定义为
Figure GDA0002768326530000124
Figure GDA0002768326530000125
是
Figure GDA0002768326530000126
和logOd(xv)之间的内积，|χFD|是训练样本χFD的数量，第二项F(χFD)是对CNN特征施加的辨别正则化约束，通过最小化类内间隔SW(χFD)和最大化类间间隔SB(χFD)获得。
Figure GDA0002768326530000127
Figure GDA0002768326530000128
C表示对象类的数目，t表示转置运算符，ne表示第e个对象类中样本的数量其中me和m分别表示
Figure GDA0002768326530000131
和χFD的平均的特征表示；
Figure GDA0002768326530000132
辨别正则化项F(χFD)为
F(χFD)＝tr(SW(χFD))-tr(SB(χFD))
tr(·)表示矩阵的迹运算，即矩阵主对角线元素的总和；
该步骤的目标函数整合为
Figure GDA0002768326530000133
步骤5：利用上述改进CNN网络分别提取源领域车辆和目标领域车辆的特征图；将源领域增强样本和目标领域训练样本的车辆图像分别输入到经过改进训练的CNN网络模型中，提取两个领域车辆图像的特征，获得相应的特征图。
假设输入特征图的集合为
Figure GDA0002768326530000134
输出特征图集合为
Figure GDA0002768326530000135
其中Rk-1和Rk分别是集合xk和zk元素的个数，k表示卷积的层数。由于Alexnet网络卷积层包括卷积单元和子采样单元，这两单元之间的中间特征图集表示为
Figure GDA0002768326530000136
每个特征图
Figure GDA0002768326530000137
在卷积单元中计算为
Figure GDA0002768326530000138
Figure GDA0002768326530000139
表示特征图
Figure GDA00027683265300001310
和卷积核
Figure GDA00027683265300001311
之间的卷积，
Figure GDA00027683265300001312
表示偏置。F(x)＝max(0,x)是激活函数。在卷积单元后，子采样单元使用固定大小的均值内核扫描每张特征图
Figure GDA00027683265300001313
形成对应的池化特征图
Figure GDA00027683265300001314
Figure GDA00027683265300001315
卷积核集
Figure GDA00027683265300001316
相应的特征图是
Figure GDA00027683265300001317
步骤6：计算目标领域训练样本与源领域增强训练样本特征图之间的余弦相似度，确定CNN网络的每个卷积层的共享卷积核或非共享卷积核，保留每个卷积层共享卷积核的权重和偏置，基于目标领域样本，使用随机梯度下降法更新卷积层非共享卷积核的权重和偏置。
将车辆图像增强训练样本χRI表示为
Figure GDA00027683265300001318
即源领域增强训练样本，
Figure GDA00027683265300001319
为目标领域训练样本。
将A中具有相同属性的车辆图像通过K均值聚类算法分为η类，即
Figure GDA0002768326530000141
每个类集合Aμ中的车辆图像经过卷积层得到相似的特征图，每一类的平均特征图计算为
Figure GDA0002768326530000142
Figure GDA0002768326530000143
表示Aμ类集合的平均池化特征图，|Aμ|表示数据的个数，
Figure GDA0002768326530000144
表示Aμ类集合中每张特征图Sμ的池化特征图，然后在分好的η类图像中找到与目标图像tj相符的特征图，μ类与目标图像tj具有最大余弦平均相似度，计算方法为
Figure GDA0002768326530000145
cos(·,·)表示两个图像之间的余弦相似度。之后，通过以下规则估计卷积核
Figure GDA0002768326530000146
是否是每个tj的共享卷积核。
Figure GDA0002768326530000147
其中ε是决策阈值。如果
Figure GDA0002768326530000148
则基于目标领域B中的大多数样本都认为该层的
Figure GDA0002768326530000149
是共享卷积核，保留
Figure GDA00027683265300001410
的权重和偏置；如果
Figure GDA00027683265300001411
则需要更新
Figure GDA00027683265300001412
的权重和偏置。损失函数表示为
Figure GDA00027683265300001413
T表示目标领域训练样本的个数，让特征图
Figure GDA00027683265300001414
逼近其对应的特征映射
Figure GDA00027683265300001415
从而更新非共享卷积核集
Figure GDA00027683265300001416
使分类器的参数可在目标域中使用。采用随机梯度下降算法更新非共享卷积核
Figure GDA00027683265300001417
步骤7：将目标领域训练样本中图像进行卷积，计算特征图之间的余弦相似度，从而获得目标领域的平均相似度矩阵，使用层次分析法(AHP)聚类，从而每一类相似特征图只保留一个，简化结构，加快检测速度。优化结构的顺序将从后向前。
将目标领域的车辆图像，代入训练好CNN网络，获得卷积特征图，计算特征图之间的余弦相似度，并将它们组合成相似度矩阵
Figure GDA0002768326530000151
Figure GDA0002768326530000152
p和q是相应特征图的索引。然后目标领域图像的平均相似度矩阵计算为
Figure GDA0002768326530000153
T表示目标领域样本的数量，根据
Figure GDA0002768326530000154
采用层次分析法(AHP)对特征图进行聚类。合并同层中类似的特征映射，将基于目标领域样本的CNN网络每个卷积层中相似的卷积核只保留一个，去掉每个卷积层冗余的卷积核，加快检测速度；
假设特征图
Figure GDA0002768326530000155
和特征图
Figure GDA0002768326530000156
属于相同的类，
Figure GDA0002768326530000157
被
Figure GDA0002768326530000158
代替。根据公式，卷积核集
Figure GDA0002768326530000159
仅用于形成
Figure GDA00027683265300001510
当
Figure GDA00027683265300001511
被
Figure GDA00027683265300001512
代替时，
Figure GDA00027683265300001513
可以删掉。另一方面，在下一阶段与
Figure GDA00027683265300001514
连接的过滤器不能直接删除。
Figure GDA00027683265300001515
让
Figure GDA00027683265300001516
可得
Figure GDA00027683265300001517
设
Figure GDA00027683265300001518
可得
Figure GDA00027683265300001519
在下一阶段与
Figure GDA00027683265300001520
连接的卷积核可以在将其添加到新的卷积核之后被删除。
注意，如果结合最后一个阶段的特征图，则卷积
Figure GDA00027683265300001521
应该被矩阵内积代替，
Figure GDA00027683265300001522
和
Figure GDA00027683265300001523
是分类器权重的一部分。
步骤8：用目标领域更新的训练样本来微调整个CNN网络。
一些在源领域增强训练样本A中的车辆和在目标领域训练样本E中的车辆有着相似的分布特性，可以拓展为目标领域新的训练样本。使用源领域概率与目标领域概率的比值λω作为对源领域样本sω可用性判别标准。λω使用条件概率定义为
Figure GDA00027683265300001524
p(sω|E)和p(sω|A)分别代表sω在源领域和目标领域中的概率，p(A)表示样本属于源领域的概率，p(E)表示样本属于目标领域的概率，条件概率建模如下
Figure GDA0002768326530000161
ot(sω)和os(sω)分别表示在先前迁移的目标领域检测器和源领域检测器的sω的输出值。如果sω可以被跨领域正确分类，则p(sω|E)∈(0.8,1)和p(sω|A)∈(0.8,1)，λω被重新定义为
Figure GDA0002768326530000162
如果λω≥1，sω与目标领域中的车辆具有相似的视图，并且可以帮助微调特征提取模型。在源领域A中，将条件概率λω≥1时的样本和目标领域E样本组成了新的样本数据集D，在每次迭代过程中，计算A中每辆车辆的可用性并选择新的样本更新训练集D。再用更新的训练集D再训练直到收敛之后，获得优化特征检测模型每一层权值参数W'和偏置参数B'。
步骤9：车型识别，将目标领域测试样本集合M中的每一个测试样本代入该车型识别网络，FC8层是最后一个全连接层，全连接层的输出被送到softmax分类层，产生一个涵盖4类标签的分布；当输入车辆图像时，会得到四个概率数值，分别表示该车型为大客车、大货车、箱式小货车、轿车的概率，哪个概率最大，就判为哪类车型；输入一张车辆图像，输出四个数值，若大客车的数值最大，判定该车型为大客车；若大货车的数值最大，判定该车型为大货车；若箱式小货车的数值最大，判定该车型为箱式小货车；若轿车的数值最大，判定该车型为轿车。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于CNN和域自适应学习的车型识别方法，其特征在于包括如下步骤：
步骤1)分别采集自然场景下的包含多种车型的车辆图像，形成车型图像数据库，所述图像中一部分为源领域样本，源领域样本包括源领域训练样本和源领域测试样本，剩余部分为目标领域样本，目标领域样本包括目标领域训练样本和目标领域测试样本，采集车辆图像后对所述车型图像数据库中的车辆图片进行预处理操作；
步骤2)构建CNN网络模型，将所述车型图像数据库导入Alexnet网络进行预训练，更新Alexnet网络结构的权重参数Wi和偏置参数Bi，Wi表示第i层网络的权重，Bi表示第i层网络的偏置，i＝1,2…m；
步骤3)在CNN网络中添加旋转不变层FCa，旋转源领域训练样本，获得源领域增强训练样本，根据所述源领域增强训练样本和第一目标函数，训练添加旋转不变层后的网络权重参数WRI＝{W1,W2,…,Wm,Wa,Wb}和偏置BRI＝{B1,B2,…,Bm,Ba,Bb}；
步骤4)在旋转不变层后添加Fisher区分判别层FCc形成改进CNN网络模型，通过输入标签和第二目标函数，训练更新添加了Fisher区分判别层后的CNN网络权重参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}；
步骤5)通过所述改进CNN网络模型分别提取目标领域训练样本与源领域增强训练样本的特征图，将源领域增强训练样本和目标领域训练样本的车辆图像分别输入到经过训练的改进CNN网络模型中，分别提取源领域与目标领域的车辆图像的特征，获得相应的特征图；
步骤6)计算目标领域训练样本特征图与源领域增强训练样本特征图之间的余弦相似度，确定改进的CNN网络卷积层的共享卷积核或非共享卷积核，保留每个卷积层共享卷积核的权重和偏置，基于目标领域训练样本，使用随机梯度下降法更新卷积层非共享卷积核的权重和偏置；
步骤7)卷积目标领域训练样本图像，获得特征图，计算特征图之间的余弦相似度，获得目标领域训练样本的平均相似度矩阵，使用层次分析法聚类，每类保留一个相似特征图；
步骤8)通过所述目标领域训练样本微调整个CNN网络，最终形成车型识别网络；
步骤9)将所述目标领域测试样本中的每一个测试样本代入所述车型识别网络，车型网络根据车型识别网络的输出结果判定车辆的车型。
2.根据权利要求1所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤1)中，所述图像中一部分为源领域样本，包括CNN网络训练样本集合X＝{x1,x2,…,xh}和CNN网络模型测试样本集合R＝{γ1,γ2,…,γσ}，xh、γσ分别表示源领域集合中的样本，h、σ分别表示源领域集合中样本的个数；剩余部分为目标领域样本，包括域自适应学习训练样本集合
Figure FDA0002768326520000021
和域自适应学习测试样本集合M＝{δ1,δ2,…,δτ}，tj、δτ分别表示目标领域样本，T、τ分别表示目标领域集合中样本的个数。
3.根据权利要求1所述的基于CNN和域自适应学习的车型识别方法，其特征在于步骤1)中，所述预处理操作用于统一图片大小，并对图像添加标签，标注该图像所属车型类别。
4.根据权利要求3所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤2)中，Alexnet网络结构由按先后次序依次设置的五个卷积层与三个全连接层组成，Alexnet网络输出融合标签的softmax损失函数，根据softmax损失函数对权重参数Wi和偏置参数Bi进行随机梯度下降微调，所述融合标签为Alexnet网络的输出结果与所述融合标签的实际值之间的误差。
5.根据权利要求4所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤3)包括如下步骤：
3-1)设定车辆图像的源领域训练样本为X，以角度φ对每个车辆图像进行旋转变换，并添加到源领域训练样本X中，得到源领域增强训练样本χRI，χRI＝{X,TφX}是一组图像旋转变换的数据集，其中
Figure FDA0002768326520000022
K为旋转变换的次数，
Figure FDA0002768326520000023
表示对训练样本进行角度为φk的旋转操作，k＝1，2，3，…，K；
3-2)在CNN网络模型中位于Alexnet网络结构第七层的全连接层后添加全连接旋转不变层FCa，将Om(xu)表示为前一层FCm的输出，Oa(xu)为FCa层输出，Ob(xu)表示为softmax分类层FCb的输出，(Wa,Ba)和(Wb,Bb)分别表示FCa层和FCb层的新参数；
Oa(xu)和Ob(xu)的计算公式分别如式(1)、式(2)：
Oa(xu)＝κ(WaOm(xu)+Ba) (1)
Figure FDA0002768326520000031
其中，κ(WaOm(xu)+Ba)＝max(0,WaOm(xu)+Ba)，
Figure FDA0002768326520000032
分别是ReLU和softmax非线性激活函数；
设定整个CNN网络模型的增强训练样本为χRI＝{X,TφX}，相应的标签为
Figure FDA0002768326520000033
Figure FDA0002768326520000034
表示样本xu对应的标签；新的网络参数WRI和BRI由新的目标函数学习得到，新的目标函数如式(3)：
Figure FDA0002768326520000035
其中，λ1和λ2是权值参数，λ1和λ2均属于[0,1]，M(χRI,γRI)是softmax层的损失函数，表达式如式(4)；R(X,TφX)是一个旋转不变性正规化约束项，表达式如式(5)，旋转前和旋转后的训练样本分别为X和TφX，
Figure FDA0002768326520000036
是权值衰减项，用于防止过拟合；
Figure FDA0002768326520000037
式(4)中，
Figure FDA0002768326520000038
是
Figure FDA0002768326520000039
和logOb(xu)之间的内积，N是X中初始训练样本的总数，K是对于xu∈X旋转变换的总次数，
Figure FDA00027683265200000310
其中，Oa(xu)是FCa层的激活函数的输出，
Figure FDA00027683265200000311
是基于旋转后样本的FCa层激活函数的平均输出，如式(6)；
Figure FDA00027683265200000312
所述第一目标函数如式(7)：
Figure FDA0002768326520000041
6.根据权利要求5所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤4)包括如下步骤：
4-1)在旋转不变层FCa后添加Fisher区分判别层FCc，将旋转不变层和Fisher区分判别层组合在一起，CNN网络训练样本为每个对象类的所有真实边界框，定义为
Figure FDA0002768326520000042
Figure FDA0002768326520000043
是第e个对象类真实边界框；训练样本为χFD＝{xv}，对应的输出结果为
Figure FDA0002768326520000044
通过输入结果对(χFD,γFD)训练，
Figure FDA0002768326520000045
表示样本xv对应的标签；
4-2)随机初始化(Wc,Bc)和(Wd,Bd)，计算损失函数、辨别正则化项和第二目标函数JFD(WFD，BFD)，及时更新参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}，使用随机梯度下降法优化结构；对训练样本xv∈χFD，Oa(xv)表示为前一层FCa的输出，Oc(xv)为FCc层输出，Od(xv)表示为softmax分类层FCd的输出，(Wc,Bc)和(Wd,Bd)分别表示FCc层和FCd层的新参数；
Oc(xv)和Od(xv)的计算公式分别如式(8)、式(9)：
Oc(xv)＝κ(WcOa(xv)+Bc) (8)
Figure FDA0002768326520000046
所述第二目标目标函数如式(10)
Figure FDA0002768326520000047
其中，λ3和λ4是权值参数，λ3和λ4均属于[0,1]，M(χFD,γFD)是softmax层的损失函数，M(χFD,γFD)表达式如式(11)；F(χFD)是对CNN特征施加的辨别正则化约束，通过最小化类内间隔SW(χFD)和最大化类间间隔SB(χFD)获得，SW(χFD)、SB(χFD)的表达式分别如式(12)、式(13)；
Figure FDA0002768326520000051
式(11)中，|χFD|是训练样本χFD的数量，
Figure FDA0002768326520000052
Figure FDA0002768326520000053
式(12)、式(13)中，ne表示第e个对象类中样本的数量，其中me和m分别表示
Figure FDA0002768326520000054
和χFD的平均的特征如式(14)、式(15)，t表示转置运算，
Figure FDA0002768326520000055
Figure FDA0002768326520000056
辨别正则化项F(χFD)如式(16)，
F(χFD)＝tr(SW(χFD))-tr(SB(χFD)) (16)
式(16)中，tr(SW(χFD))和tr(SB(χFD))表示矩阵的迹运算，即矩阵主对角线元素的总和；
所述第二目标函数整合为：
Figure FDA0002768326520000057
7.根据权利要求4所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤5)中，假设输入特征图的集合为
Figure FDA0002768326520000058
输出特征图集合为
Figure FDA0002768326520000059
其中Rk-1和Rk分别是集合xk和zk元素的个数，k表示卷积的层数；Alexnet网络卷积层包括卷积单元和子采样单元，卷积单元与子采样单元之间的中间特征图集表示为
Figure FDA00027683265200000510
每个特征图
Figure FDA00027683265200000511
在卷积单元中计算为
Figure FDA00027683265200000512
Figure FDA00027683265200000513
表示特征图
Figure FDA00027683265200000514
和卷积核
Figure FDA00027683265200000515
之间的卷积，
Figure FDA00027683265200000516
表示偏置，F(x)＝max(0,x)是激活函数，在卷积单元后子采样层使用固定大小的均值内核扫描每张特征图
Figure FDA0002768326520000061
形成对应的池化特征图
Figure FDA0002768326520000062
Figure FDA0002768326520000063
subsampling()表示下采样函数，卷积核集
Figure FDA0002768326520000064
相应的特征图是
Figure FDA0002768326520000065
8.根据权利要求7所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤6)中，将车辆图像增强训练样本χRI表示为
Figure FDA0002768326520000066
sω为源领域增强训练样本，
Figure FDA0002768326520000067
为目标领域训练样本；
将A中具有相同属性的车辆图像通过K均值聚类算法分为η类，即
Figure FDA0002768326520000068
每个类集合Aμ中的车辆图像经过卷积层得到相似的特征图，每一类的平均特征图计算为
Figure FDA0002768326520000069
|Aμ|为数据的个数，在分好的η类图像中找到与目标图像tj相符的特征图μ(j)，μ(j)与目标图像tj具有最大余弦平均相似度，计算方法为
Figure FDA00027683265200000610
cos(·,·)表示两个图像之间的余弦相似度；
设定估计卷积核fl k是否是每个tj的共享卷积核的判定条件式如式(17)；
Figure FDA00027683265200000611
式(17)中，ε是决策阈值，结合式(17)的判定规则为：如果
Figure FDA00027683265200000612
则目标领域训练样本中的大多数样本都认为该层的fl k是共享卷积核，保留fl k的权重和偏置；如果
Figure FDA00027683265200000613
则需要更新fl k的权重和偏置；softmax损失函数表示为
Figure FDA00027683265200000614
使得特征图
Figure FDA00027683265200000615
逼近其对应的特征映射
Figure FDA00027683265200000616
从而更新非共享卷积核集fl k。
9.根据权利要求1所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤8)中，使用源领域概率与目标领域概率的比值λω作为对源领域样本sω可用性判别标准，λω使用条件概率定义如式(18)
Figure FDA0002768326520000071
p(sω|E)和p(sω|A)分别代表sω在源领域和目标领域中的概率，条件概率建模如式(19)、式(20)，
Figure FDA0002768326520000072
Figure FDA0002768326520000073
ot(sω)和os(sω)分别表示在先前迁移的目标领域检测器和源领域检测器的sω的输出值，如果sω被跨领域正确分类，则p(sω|E)∈(0.8,1)且p(sω|A)∈(0.8,1)，λω被重新定义如式(21)，
Figure FDA0002768326520000074
如果λω≥1，sω与目标领域中的车辆具有相似的视图；在源领域中，将条件概率λω≥1时的样本和目标领域样本组成了新的样本数据集，在每次迭代过程中，计算源领域中每辆车辆的可用性并选择新的样本更新训练集，用更新的训练集再训练直到融合标签的softmax损失函数收敛，获得优化特征检测模型每一层权值参数W'和偏置参数B'。
10.根据权利要求4所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤9)中，所述车型识别网络的最后一个全连接层为FC8层，FC8层的输出被送至softmax分类层，所述softmax分类层的输出是一个涵盖四类车型的概率分布，输出结果中对应于某一车型的概率最大，则判定待识别车辆的输出结果为该车型，所述四类车型包括大客车、大货车、箱式小货车以及轿车。
CN201710670157.9A 2017-08-07 2017-08-07 基于cnn和域自适应学习的车型识别方法 Active CN107527068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710670157.9A CN107527068B (zh) 2017-08-07 2017-08-07 基于cnn和域自适应学习的车型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710670157.9A CN107527068B (zh) 2017-08-07 2017-08-07 基于cnn和域自适应学习的车型识别方法

Publications (2)

Publication Number Publication Date
CN107527068A CN107527068A (zh) 2017-12-29
CN107527068B true CN107527068B (zh) 2020-12-25

Family

ID=60680760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710670157.9A Active CN107527068B (zh) 2017-08-07 2017-08-07 基于cnn和域自适应学习的车型识别方法

Country Status (1)

Country Link
CN (1) CN107527068B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229589B (zh) * 2018-02-09 2021-10-15 天津师范大学 一种基于迁移学习的地基云图分类方法
CN108491880B (zh) * 2018-03-23 2021-09-03 西安电子科技大学 基于神经网络的物体分类和位姿估计方法
CN108492575A (zh) * 2018-04-11 2018-09-04 济南浪潮高新科技投资发展有限公司 一种智能车辆型号识别方法
CN108805160B (zh) * 2018-04-17 2020-03-24 平安科技（深圳）有限公司 迁移学习方法、装置、计算机设备和存储介质
CN109063719B (zh) * 2018-04-23 2022-02-01 湖北工业大学 一种联合结构相似性和类信息的图像分类方法
CN108921201B (zh) * 2018-06-12 2019-06-28 河海大学 基于特征组合与cnn的大坝缺陷识别与分类方法
CN109033993A (zh) * 2018-06-29 2018-12-18 南京行者易智能交通科技有限公司 一种图像识别检测开关门的方法及装置
CN109359666B (zh) * 2018-09-07 2021-05-28 佳都科技集团股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN109299676A (zh) * 2018-09-07 2019-02-01 电子科技大学 一种结合分类与域适应的视觉追踪方法
CN110942323A (zh) * 2018-09-25 2020-03-31 优估（上海）信息科技有限公司 一种评估模型构建方法、装置及***
CN109284590B (zh) * 2018-09-29 2021-06-25 武汉极意网络科技有限公司 访问行为安全防护的方法、设备、存储介质及装置
CN109359684B (zh) * 2018-10-17 2021-10-29 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109711529B (zh) * 2018-11-13 2022-11-08 中山大学 一种基于值迭代网络的跨领域联邦学习模型及方法
CN109657552B (zh) * 2018-11-16 2022-11-29 北京邮电大学 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN110147837B (zh) * 2019-05-14 2021-06-01 中国电子科技集团公司第二十八研究所 基于特征聚焦的任意方向密集目标检测方法、***及设备
CN110287847A (zh) * 2019-06-19 2019-09-27 长安大学 基于Alexnet-CLbpSurf多特征融合的车辆分级检索方法
CN110674689B (zh) * 2019-08-19 2022-05-06 杭州未名信科科技有限公司 一种基于特征嵌入空间几何约束的车辆再识别方法及***
CN110569764B (zh) * 2019-08-28 2023-12-22 北京工业大学 一种基于卷积神经网络的手机型号识别方法
CN110825381A (zh) * 2019-09-29 2020-02-21 南京大学 一种结合源代码语义与语法特征的基于CNN的bug定位方法
CN110751869B (zh) * 2019-10-12 2021-11-05 南京星耀智能科技有限公司 一种基于对抗鉴别式迁移法的拟态环境与战场态势策略转移技术
CN111079833B (zh) * 2019-12-16 2022-05-06 腾讯医疗健康(深圳)有限公司 图像识别方法、装置以及计算机可读存储介质
CN111144464B (zh) * 2019-12-17 2023-04-07 金陵科技学院 基于CNN-Kmeans算法水果自动识别方法
US11580405B2 (en) 2019-12-26 2023-02-14 Sap Se Domain adaptation of deep neural networks
CN111488972B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 数据迁移方法、装置、电子设备和存储介质
CN111860582B (zh) * 2020-06-11 2021-05-11 北京市威富安防科技有限公司 图像分类模型构建方法、装置、计算机设备和存储介质
CN111914911B (zh) * 2020-07-16 2022-04-08 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN112990315B (zh) * 2021-03-17 2023-10-20 北京大学 基于偏微分算子的等变3d卷积网络的3d形状图像分类方法
CN114677545B (zh) * 2022-03-29 2023-05-23 电子科技大学 一种基于相似性剪枝和高效模块的轻量化图像分类方法
CN115359541A (zh) * 2022-08-30 2022-11-18 北京龙智数科科技服务有限公司 人脸图像聚类方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063796A1 (en) * 2001-09-28 2003-04-03 Koninklijke Philips Electronics N.V. System and method of face recognition through 1/2 faces
CN103425996A (zh) * 2013-08-01 2013-12-04 华南理工大学 一种并行分布式的大规模图像识别方法
US20160140425A1 (en) * 2014-11-14 2016-05-19 Thomson Licensing Method and apparatus for image classification with joint feature adaptation and classifier learning
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063796A1 (en) * 2001-09-28 2003-04-03 Koninklijke Philips Electronics N.V. System and method of face recognition through 1/2 faces
CN103425996A (zh) * 2013-08-01 2013-12-04 华南理工大学 一种并行分布式的大规模图像识别方法
US20160140425A1 (en) * 2014-11-14 2016-05-19 Thomson Licensing Method and apparatus for image classification with joint feature adaptation and classifier learning
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的语音识别技术现状与展望;戴礼荣等;《数据采集与处理》;20170315;第32卷(第02期);全文 *
计算机视觉技术的车型识别应用研究;茅正冲等;《单片机与嵌入式***应用》;20170601(第06期);全文 *

Also Published As

Publication number Publication date
CN107527068A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN107527068B (zh) 基于cnn和域自适应学习的车型识别方法
US10956817B2 (en) Unsupervised domain adaptation with similarity learning for images
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN111814584B (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
CN106599869B (zh) 一种基于多任务卷积神经网络的车辆属性识别方法
US10528841B2 (en) Method, system, electronic device, and medium for classifying license plates based on deep learning
CN107526785B (zh) 文本分类方法及装置
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN110619369A (zh) 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN109933619B (zh) 一种半监督分类预测方法
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及***
CN111860823A (zh) 神经网络训练、图像处理方法及装置、设备及存储介质
CN112183464A (zh) 基于深度神经网络和图卷积网络的视频行人识别方法
CN113052017A (zh) 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法
CN113947101A (zh) 一种基于软化相似性学习的无监督行人重识别方法和***
Liu et al. Tread pattern image classification using convolutional neural network based on transfer learning
Hu et al. Vehicle color recognition based on smooth modulation neural network with multi-scale feature fusion
CN113344069B (zh) 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法
CA3002100A1 (en) Unsupervised domain adaptation with similarity learning for images
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、***
CN113221814A (zh) 一种道路交通标志识别方法、设备及存储介质
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
Dhingra et al. A competent and novel approach of designing an intelligent image retrieval system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210044 No. 219 Ning six road, Jiangbei new district, Nanjing, Jiangsu

Applicant after: Nanjing University of Information Science and Technology

Address before: No. 69, Jianye District, Jianye District, Nanjing, Jiangsu

Applicant before: Nanjing University of Information Science and Technology

GR01 Patent grant
GR01 Patent grant