CN109902732B - 车辆自动分类方法及相关装置 - Google Patents
车辆自动分类方法及相关装置 Download PDFInfo
- Publication number
- CN109902732B CN109902732B CN201910131839.1A CN201910131839A CN109902732B CN 109902732 B CN109902732 B CN 109902732B CN 201910131839 A CN201910131839 A CN 201910131839A CN 109902732 B CN109902732 B CN 109902732B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- sample
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种车辆自动分类方法及相关装置,根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集,增强了训练样本的多样性和完整性,以进一步提高后续车辆目标检测和分类的准确度,克服现有技术中存在车辆检测方法的准确度低下的技术问题。
Description
技术领域
本发明涉及车辆检测领域,尤其是一种车辆自动分类方法及相关装置。
背景技术
车辆自动检测在实际的生活中有重要应用。通过检测出车辆目标并判别出其型号以及对应的存储数据后,可实现对车辆的快速视频检索;也可以为交通视频生成对应的具有语义信息的视频摘要;还可以实现车辆的分类统计;方便停车场与高速公路的收费与管理;便于自动驾驶中自动检测与判识前方车辆,以便在必要场合下的控制主动避让等操作。
已知的基于机器学习方法的车辆目标检测与分类方法,在实际应用中,无法正确检测、判别车辆的型号,车辆自动检测的准确度低下,导致基于车辆检测的车辆视频检索、车辆分类统计等自动操作的准确率低下。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的是提供一种车辆自动分类方法及相关装置,用于提高车辆检测的准确度。
本发明实施例所采用的技术方案是:
第一方面,本发明提供一种车辆自动分类方法,包括:
车辆样本集获取步骤:根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集;
车辆目标检测模型训练步骤:根据所述车辆样本集训练车辆目标检测模型;
车辆目标特征表示模型训练步骤:根据所述车辆样本集训练车辆目标特征表示模型;
车辆目标检测步骤:根据待分类的车辆图像和所述车辆目标检测模型获取待分类的车辆目标;
车辆分类步骤:根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果。
进一步地,所述车辆样本集获取步骤具体包括:
车辆模型处理子步骤:根据所述车辆模型获取对应的车辆实物模拟图像;
图像外观扩展子步骤:对所述车辆图像样例和/或所述车辆实物模拟图像进行图像尺寸和/或车辆外观颜色和/或车辆角度和/或车辆外观的新旧程度和/或车辆外观的毁损程度变换扩展以获取多个车辆扩展样本;
车辆样本集获取子步骤:将所述车辆图像样例、所述车辆模型、所述车辆实物模拟图像和所述车辆扩展样本构成所述车辆样本集。
进一步地,所述车辆模型处理子步骤具体包括:
对所述车辆模型进行车辆尺寸和/或图像亮度变换扩展以获取所述车辆实物模拟图像。
进一步地,所述车辆目标检测模型包括快速区域卷积神经网络,所述快速区域卷积神经网络的共享子网络中的卷积层为多分支膨胀卷积结构。
进一步地,所述多分支膨胀卷积结构包括输入层、多个膨胀卷积支路、全连接层、与所述全连接层、所述输入层均连接的1×1卷积层、以及与所述1×1卷积层连接的输出层,所述膨胀卷积支路包括膨胀卷积层、与所述膨胀卷积层连接的1×1卷积层,所述膨胀卷积层的膨胀率各不相同,所述输入层与所述膨胀卷积层的输入端连接,所述膨胀卷积支路的1×1卷积层与所述全连接层连接。
进一步地,所述车辆目标检测模型训练步骤具体包括:
多分支膨胀卷积结构训练子步骤:根据所述车辆样本集和图像数据库训练所述多分支膨胀卷积结构;
共享子网络预训练子步骤:对所述共享子网络进行预训练以调整网络参数;
迁移子步骤:将训练好的所述共享子网络迁移至所述快速区域卷积神经网络以完成对所述快速区域卷积神经网络的训练。
进一步地,所述车辆目标特征表示模型包括级联CNN结构,所述级联CNN结构包括多个CNN网络,所述级联CNN结构采用全连接的方式,具体地,先对低层的卷积特征进行均值池化的下采样操作,再与下一层的卷积特征相连接,将上下级的卷积特征两两相结合。
进一步地,所述车辆目标特征表示模型的损失函数为Softmax和Center Loss组成的联合监督损失函数。
进一步地,所述车辆自动分类方法还包括:
类模板特征获取步骤:对所述车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征。
进一步地,所述类模板特征获取步骤具体包括:
特征表示子步骤:根据所述车辆目标特征表示模型获取所述样本图像集合的每一张样本图像的特征表示向量,
聚类子步骤:根据所述特征表示向量和聚类算法获取所述样本图像集合的多个中心特征向量;
权重获取子步骤:根据所述样本图像集合的样本数量、所述中心特征向量的分布特点获取每个中心特征向量的融合权重;
类模板特征获取子步骤:根据多个所述中心特征向量和对应的融合权重获取所述样本图像集合对应的类模板特征。
进一步地,所述车辆分类步骤具体包括:
待分类的车辆目标表示子步骤:根据所述车辆目标特征表示模型获取所述待分类的车辆目标的待分类特征表示向量;
相似度获取子步骤:根据所述待分类特征表示向量和多个所述类模板特征获取多个相似度;
车辆分类子步骤:获取相似度最大的车辆类别作为所述待分类的车辆目标的车辆类别。
第二方面,本发明提供一种车辆自动分类装置,包括:
车辆样本集获取单元,用于根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集;
车辆目标检测模型训练单元,用于根据所述车辆样本集训练车辆目标检测模型;
车辆目标特征表示模型训练单元,用于根据所述车辆样本集训练车辆目标特征表示模型;
车辆目标检测单元,用于根据待分类的车辆图像和所述车辆目标检测模型获取待分类的车辆目标;
车辆分类单元,用于根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果。
第三方面,本发明提供一种车辆自动分类设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的车辆自动分类方法。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行所述的车辆自动分类方法。
本发明的有益效果是:
根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集,增强了训练样本的多样性和完整性,以进一步提高后续车辆目标检测和分类的准确度,克服现有技术中存在车辆检测方法的准确度低下的技术问题。
另外,本发明还对车辆模型进行车辆尺寸和/或图像亮度变换扩展获取其对应的车辆实物模拟图,以适应实际量产后的车辆检测;再对车辆图像样例和/或车辆实物模拟图像进行图像尺寸和/或车辆外观颜色和/或车辆角度和/或车辆外观的新旧程度和/或车辆外观的毁损程度变换扩展以获取多个车辆扩展样本,增强车辆样本图像的多样性和实用性。
利用具有多个膨胀率不同的膨胀卷积支路的多分支膨胀卷积结构替换快速区域卷积神经网络的共享子网络中的卷积层,实现多尺度特征融合,提高了车辆目标检测的效果。
级联CNN结构可以有效的学习车辆的表示特征;对样本图像集合进行聚类后,经过加权计算获取对应的类模板特征,根据类模板特征和待分类特征表示向量的相似度获取待分类的车辆目标的车辆类别。
附图说明
图1是本发明中车辆自动分类方法的一具体实施例方法流程图;
图2是本发明中车辆自动分类方法的多分支膨胀卷积结构的一具体实施例示意图;
图3是本发明中车辆自动分类方法的级联CNN结构的一具体实施例示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例1
参考图1,图1是本发明中车辆自动分类方法的一具体实施例方法流程图,车辆自动分类方法包括:
S1、车辆样本集获取步骤:获取不同车辆类别如不同车辆型号的车辆的图像作为车辆图像样例,根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集;
S2、车辆目标检测模型训练步骤:根据车辆样本集训练车辆目标检测模型;
S3、车辆目标特征表示模型训练步骤:根据车辆样本集训练车辆目标特征表示模型;
S4、车辆目标检测步骤:根据待分类的车辆图像和车辆目标检测模型获取待分类的车辆目标;
S5、车辆分类步骤:根据待分类的车辆目标和车辆目标特征表示模型获取车辆的分类结果。
根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集,增强了训练样本的多样性和完整性,以进一步提高后续车辆目标检测和分类的准确度,克服现有技术中存在车辆检测方法的准确度低下的技术问题。
作为技术方案的进一步改进,车辆样本集获取步骤S1具体包括:
S11、车辆模型处理子步骤:对车辆模型进行车辆尺寸和/或图像亮度变换扩展以获取车辆实物模拟图像;
S12、图像外观扩展子步骤:对车辆图像样例和/或车辆实物模拟图像进行图像尺寸和/或车辆外观颜色和/或车辆角度和/或车辆外观的新旧程度和/或车辆外观的毁损程度变换扩展以获取多个车辆扩展样本,多种不同的扩展组合可以产生大量的图像样本;
S13、车辆样本集获取子步骤:将车辆图像样例、车辆模型、车辆实物模拟图像和车辆扩展样本构成车辆样本集。
针对车辆模型,基于车厂已发布、且未来将上市的车辆模型或概念图生成相应的车辆实物模拟图像,可避免后期实际使用时,由于对没有正式销售的车型,无法获取这些车型的实际车辆图像,根据没有包含此车型的车辆样本集训练得出的模型将无法正确检测与判别该车型。因此,产生该车型的实物模拟图像,并将其添加到车辆样本集中具有重要的意义,可使利用车辆样本集训练后的模型能很好判识该车型正式上市后的实车。具体地,汽车厂商发布的尚未上市的车辆模型图像与上市后的实际车辆图像除了尺寸不同外,颜色与光照等也会有较大差异。因此,对汽车厂商发布的尚未上市的车辆模型图像,进行长与宽按比例的尺寸放大与缩小变换、在长度上进行尺寸的放大与缩小变换、在宽度上进行尺寸的放大与缩小变换、车身图像的亮度提升与亮度减弱变换以得到新的车辆实物模拟图像。另外,针对车辆实物模拟图像的外观颜色替换,可以利用图像分割技术,分割出车身并为车身设置不同的合理颜色。
下面,对车辆图像样例或车辆模型进行车辆外观颜色、图像尺寸、车辆角度、车辆外观的新旧程度、车辆外观的毁损程度变换扩展做具体说明,以车辆图像样例为例进行说明:
根据已有的车辆图像数据库的数据,利用分类器建立大类车型(分为两厢车、三厢车、客货两用车三个类别)的常用外观颜色数据库,库中给出各车辆类型的常用颜色外观,根据车型的不同,车辆外观扩展的方案不同,例如,客货就做一些折旧操作,其他类型的车辆就进行外观颜色更换。针对车辆图像的外观颜色替换,对所获取的车辆图像样例利用颜色模型判断出车辆的外观颜色,再基于图像分割方法生成该车辆的其他外观颜色,其他外观颜色包括具有差异性且与原颜色接近的相关外观颜色,以模拟现实中不同摄像头和成像设备的颜色差异或光照等因素引起的目标的颜色偏差;其次,还包括该车辆的其他外观颜色,例如,已采集到外观颜色为红色的某车辆图像样例,则基于该图像样例生成此车辆的蓝色、黑色与白色等外观颜色。
而对于图像尺寸的变换,可以根据原始的车辆图像样例的图像尺寸产生不同的图像尺寸的样本图像,以模拟实际采集时的图像尺寸变化。同理,在实际应用场景所采集的车辆目标的角度也存在多样性,因此,可以通过旋转车辆图像样例以获取不同车辆角度的样本图像。
另外,车辆外观的新旧程度、车辆外观的毁损程度即为生成车辆图像样例的“陈旧性”外观,以模拟现实中灰尘等异物或老化与腐蚀引起的车身的陈旧效果,外观“陈旧性”扩展包括三个方面,一是外观的纯粹“陈旧性”处理,即新旧程度,二是外观的部分“损毁”和腐蚀,即毁损程度,三是外观的前两个处理效果的混合。
外观的纯粹“陈旧性”处理根据亮度“暗化”与图像模糊化的手段产生。对收集到的车身亮度较高的车辆图像样例(车身亮度较高的情况下,车辆较新),亮度“暗化”即对车身局部区域进行非均匀的亮度降低,同时对车身图像进行局部模糊化处理,由此产生的车辆图像样例可以部分代表车辆外观的纯粹“陈旧性”效果。
外观的部分“损毁”和腐蚀是指对收集到的车身亮度较高的车辆图像样例,对车身四周区域通过图像处理方法产生局部不规则损毁和腐蚀的图像效果,并将具有此效果的图像作为新扩展的车辆图像样例。车身外观出现“损毁”时,一般伴随着不同程度的腐蚀。产生如上新车辆图像样例的具体方法为:收集同一车型外观颜色的新车的图像与具有部分“损毁”和腐蚀的旧车的图像,切割出“损毁”和腐蚀的局部图像以及新车的相应图像区域,并称其为样本对,根据已有的多个样本对建立某个外观的“损毁”和腐蚀的像素回归模型。然后,对收集到的正常车辆图像样例,随意选取车身四周的某个位置,划定不规则区域,利用建立的像素回归模型产生该划定区域的“损毁”和腐蚀图像。由于有多种形式的损毁,所以需要建立多个像素回归模型。
还可以根据车辆图像样例获取同时具有“陈旧性”和外观部分“损毁”与腐蚀的车辆图像样例。基于此方案建立的车辆样本集不仅包含已有的众多车型的图像样例,而且包含了未上市车型的图像样例,因此,训练后的车辆目标检测与分类模型可以很好处理实际场景中会出现的新车型,对实际应用具有很好的适应性。基于有限的车辆图像样例的车辆外观扩展方案,以增强样本的多样性和为获得高准确率的检测结果提供基础。获得车辆样本集后,对集合中的每一张样本图像标注好车辆目标区域、车辆品牌、颜色,以用于后续模型训练。
接着,利用车辆样本集训练车辆目标检测模型,本实施例中,车辆目标检测模型采用快速区域卷积神经网络(faster region-based convolutional neural networks,FRCN),FRCN包括一个基础CNN(也即共享子网络),如ResNet101,一个RPN(区域候选网络),一个position sensitive的预测层,最后的ROI pooling、投票的决策层。共享子网络用于对输入的图像数据实现特征提取,共享子网络使用了多个卷积层叠加的方式抽取图像的表示特征。快速区域卷积神经网络的共享子网络中的每个卷积层用多分支膨胀卷积结构来替换。其中,参考图2,图2是本发明中车辆自动分类方法的多分支膨胀卷积结构的一具体实施例示意图;多分支膨胀卷积结构包括输入层、多个膨胀卷积支路、全连接层(即concat层)、与全连接层、输入层均连接的1×1卷积层、以及与1×1卷积层连接的输出层,膨胀卷积支路包括膨胀卷积层、与膨胀卷积层连接的1×1卷积层,膨胀卷积层的膨胀率各不相同,输入层与膨胀卷积层的输入端连接,膨胀卷积支路的1×1卷积层与全连接层连接。本实施例中,采用膨胀率分别为1、2和3的3个膨胀卷积层,其中,膨胀率等于1就是普通的卷积层,膨胀率等于1的膨胀卷积层必须保留。膨胀卷积层的个数可以变化,膨胀率也可以变化。本实施例中取3个主要是控制网络参数数量和特征提取效果的平衡。
利用RFCN检测框架结合多分支膨胀卷积结构,以实现扩大感受野,提升车辆目标的特征表现能力。采用与Inception结构和相似的并列式网络结构并结合不同膨胀率的膨胀卷积支路对输入的特征实现多尺度的融合操作,在每个膨胀卷积支路后连接一个1×1卷积,最后将所有的分支利用Concat操作进行特征相连并利用1×1卷积实现特征信息整合,多分支膨胀卷积结构中还包含残差结构(即shortcut connections),将提出的多分支膨胀卷积结构运用到每个卷积层中,实现在不改变特征层大小的前提下扩大感受野,提升车辆目标和非车辆目标的特征表现能力,对提升FRCN检测车辆目标与非车辆目标的准确度具有重要意义。
进一步地,车辆目标检测模型属于有监督学习,车辆目标检测模型训练步骤S2具体包括:
S21、多分支膨胀卷积结构训练子步骤:根据车辆样本集和图像数据库训练多分支膨胀卷积结构;其中,图像数据库为部分公开数据库如VOC、COCO数据集,其具有车辆和非车辆目标的标注数据(这种公开的数据库没有详细的品牌型号标注,所以后续分类训练不需要用到)。将准备好的训练数据和用于特征提取的多分支膨胀卷积结构使用Caffe框架进行训练。使用部分公开数据集加上车辆样本集进行训练,可以提高车辆目标检测模型的通用性和泛化能力。
S22、共享子网络预训练子步骤:对共享子网络进行预训练以调整网络参数,具体地,将共享子网络在Imagenet数据集上进行训练以实现网络参数调整。
S23、迁移子步骤:采用迁移学习策略,将训练好的共享子网络迁移至快速区域卷积神经网络以完成对快速区域卷积神经网络的训练。其中,快速区域卷积神经网络采用SmoothL1Loss作为车辆目标位置回归的偏移量修正,以降低由于异常对网络训练的影响。
由于用于车辆目标检测模型的训练样本数量巨大,所以在训练过程中,可以采用Mini-batch梯度下降算法以加快网络参数的更新和收敛。进一步地,向车辆目标检测模型输入车辆图片后,利用非极大值抑制算法(NMS)筛选、检测出车辆图片中的车辆目标。
进一步地,车辆目标特征表示模型训练步骤S3利用车辆样本集训练车辆目标特征表示模型,本实施例中,车辆目标特征表示模型采用级联CNN结构,参考图3,图3是本发明中车辆自动分类方法的级联CNN结构的一具体实施例示意图;级联CNN结构包括多个依次连接的CNN网络(如Res1 Block、Res2 Block、……Res5 Block),CNN网络可采用Resnet网络,级联CNN结构采用全连接的方式,具体地,先对低层的卷积特征进行均值池化的下采样操作,再与下一层的卷积特征相连接,将上下级的卷积特征两两相结合,可以保持信息的丰富性,运用多次采样的方式,避免了一次采样的对各层特征信息的极大损失。采用级联CNN结构可以将低层次滤波器捕捉的低层细节特征,与高层次滤波器捕获的高层次语义特征相融合,提升网络对车辆目标特征学习的表征能力。参考图3,车辆目标特征表示模型的损失函数为Softmax和Center Loss组成的联合监督损失函数,并利用车辆样本集训练车辆目标特征表示模型以使级联CNN结构收敛;级联CNN结构通过第一全连接层(如图3中的1×1×2048)和第二全连接层后输入联合监督损失函数,利用Softmax和Center Loss的多任务学习机制,实现对车辆目标的特征参数学习的联合监督,这种联合监督减小了同类车辆目标特征距离,也增大了不同类车辆目标特征距离,使得级联CNN网络学习得到的特征的区分性和鲁棒性更强。
上式中,当c是对应于真实的车辆目标的车型品牌标签时,yj=1;反之,yj=0。
Center Loss对每一次输入的数据组,计算同类车辆样本的中心,并要求同类车辆目标特征距离尽量小,具体计算公式如下:
L=λ1Lsoftmax+λ2LCenterLoss
在上式中,定义了参数λ1和参数λ2表示为平衡级联CNN结构中Softmax和CenterLoss损失函数对车辆目标的学习程度。
另外,车辆自动分类方法还包括:
类模板特征获取步骤:对车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征。本实施例中,车辆类别指车辆品牌型号,样本图像集合指同一品牌型号车辆的不同颜色、不同角度、不同图像尺寸、不同新旧、腐蚀程度的样本图像集合。以获取一个车辆类别的类模板特征为例,类模板特征获取步骤具体包括:
特征表示子步骤:根据车辆目标特征表示模型获取样本图像集合的每一张样本图像的1×1×2048维特征表示向量;
聚类子步骤:根据特征表示向量和聚类算法获取样本图像集合的多个中心特征向量;具体地,对样本图像集合对应的特征表示向量,利用K-Means聚类算法求取该类别的K个中心特征向量作为该类别的有效模板数据集,获取每个类别的中心特征向量可以提高代表性,提高检测精度;
权重获取子步骤:根据样本图像集合的样本数量、K个中心特征向量的分布特点获取每个中心特征向量的融合权重;
类模板特征获取子步骤:根据多个中心特征向量和对应的融合权重获取样本图像集合对应的类模板特征,实现每个车辆类别的自适应K特征融合,加权计算后可以得到每个车辆类别的1×1×2048维的类模板特征。
进一步地,利用类模板特征获取步骤可以获取车辆样本集的多个类模板特征;车辆目标检测步骤S4利用车辆目标检测模型对待分类的车辆图像获取待分类的车辆目标后,再利用车辆分类步骤S5进行具体的车辆分类,车辆分类步骤S5具体包括:
S51、待分类的车辆目标表示子步骤:根据车辆目标特征表示模型获取待分类的车辆目标的待分类特征表示向量;将待分类的车辆目标输入到已经训练好的级联CNN网络中,提取对应的1×1×2048维特征表示向量ftest=(x1,…,x2048)。
S52、相似度获取子步骤:根据待分类的特征表示向量和多个类模板特征获取多个相似度;将提取的1×1×2048维ftest特征与多个类模板特征fk=(y1,…,y2048),c∈1,…,C计算相似度,相似度计算公式为:
S53、车辆分类子步骤:获取相似度最大的车辆类别作为待分类的车辆目标的车辆类别。将计算得到的相似度结果进行排序,取相似度最大的车辆类别作为待分类的车辆目标的车辆类别,即求P=argmaxcdEuclidean。
本实施例的车辆自动分类方法可以有效地处理实际场景中多角度和多变化的车型分类任务,计算方案简单有效,满足实际车辆目标分类的应用。
实施例2
基于实施例1提供实施例2,实施例2提出一种车辆自动分类装置,包括:
车辆样本集获取单元,用于根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集;
车辆目标检测模型训练单元,用于根据车辆样本集训练车辆目标检测模型;
车辆目标特征表示模型训练单元,用于根据车辆样本集训练车辆目标特征表示模型;
车辆目标检测单元,用于根据待分类的车辆图像和车辆目标检测模型获取待分类的车辆目标;
车辆分类单元,用于根据待分类的车辆目标和车辆目标特征表示模型获取车辆的分类结果。
进一步地,车辆自动分类装置还包括类模板特征获取单元,用于对车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征;具体地,类模板特征获取单元包括:
特征表示模块,用于根据车辆目标特征表示模型获取样本图像集合的每一张样本图像的特征表示向量,
聚类模块,用于根据特征表示向量和聚类算法获取样本图像集合的多个中心特征向量;
权重获取模块,用于根据样本图像集合的样本数量、中心特征向量的分布特点获取每个中心特征向量的融合权重;
类模板特征获取模块,用于根据多个中心特征向量和对应的融合权重获取样本图像集合对应的类模板特征。
进一步地,车辆分类单元具体包括:
待分类的车辆目标表示模块,用于根据车辆目标特征表示模型获取待分类的车辆目标的待分类特征表示向量;
相似度获取模块,用于根据待分类特征表示向量和多个类模板特征获取多个相似度;
车辆分类模块,用于获取相似度最大的车辆类别作为待分类的车辆目标的车辆类别。
车辆自动分类装置的具体工作过程参照实施例1的描述,不再赘述。
实施例3
一种车辆自动分类设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的车辆自动分类方法。车辆自动分类方法参照实施例1的描述,不再赘述。
实施例4
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行所述的车辆自动分类方法。车辆自动分类方法参照实施例1的描述,不再赘述。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (12)
1.一种车辆自动分类方法,其特征在于,包括:
车辆样本集获取步骤:根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集;所述图像外观扩展包括对车辆外观的新旧程度和/或车辆外观的毁损程度进行变换扩展;
车辆目标检测模型训练步骤:根据所述车辆样本集训练车辆目标检测模型;
车辆目标特征表示模型训练步骤:根据所述车辆样本集训练车辆目标特征表示模型;
车辆目标检测步骤:根据待分类的车辆图像和所述车辆目标检测模型获取待分类的车辆目标;
车辆分类步骤:根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果;
类模板特征获取步骤:对所述车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征;
所述类模板特征获取步骤具体包括:
特征表示子步骤:根据所述车辆目标特征表示模型获取所述样本图像集合的每一张样本图像的特征表示向量;
聚类子步骤:根据所述特征表示向量和聚类算法获取所述样本图像集合的多个中心特征向量;
权重获取子步骤:根据所述样本图像集合的样本数量、所述中心特征向量的分布特点获取每个中心特征向量的融合权重;
类模板特征获取子步骤:根据多个所述中心特征向量和对应的融合权重获取所述样本图像集合对应的类模板特征。
2.根据权利要求1所述的车辆自动分类方法,其特征在于,所述车辆样本集获取步骤具体包括:
车辆模型处理子步骤:根据所述车辆模型获取对应的车辆实物模拟图像;
图像外观扩展子步骤:对所述车辆图像样例和/或所述车辆实物模拟图像进行图像尺寸和/或车辆外观颜色和/或车辆角度和/或车辆外观的新旧程度和/或车辆外观的毁损程度变换扩展以获取多个车辆扩展样本;
车辆样本集获取子步骤:将所述车辆图像样例、所述车辆模型、所述车辆实物模拟图像和所述车辆扩展样本构成所述车辆样本集。
3.根据权利要求2所述的车辆自动分类方法,其特征在于,所述车辆模型处理子步骤具体包括:
对所述车辆模型进行车辆尺寸和/或图像亮度变换扩展以获取所述车辆实物模拟图像。
4.根据权利要求1至3任一项所述的车辆自动分类方法,其特征在于,所述车辆目标检测模型包括快速区域卷积神经网络,所述快速区域卷积神经网络的共享子网络中的卷积层为多分支膨胀卷积结构。
5.根据权利要求4所述的车辆自动分类方法,其特征在于,所述多分支膨胀卷积结构包括输入层、多个膨胀卷积支路、全连接层、与所述全连接层、所述输入层均连接的1×1卷积层、以及与所述1×1卷积层连接的输出层,所述膨胀卷积支路包括膨胀卷积层、与所述膨胀卷积层连接的1×1卷积层,所述膨胀卷积层的膨胀率各不相同,所述输入层与所述膨胀卷积层的输入端连接,所述膨胀卷积支路的1×1卷积层与所述全连接层连接。
6.根据权利要求4所述的车辆自动分类方法,其特征在于,所述车辆目标检测模型训练步骤具体包括:
多分支膨胀卷积结构训练子步骤:根据所述车辆样本集和图像数据库训练所述多分支膨胀卷积结构;
共享子网络预训练子步骤:对所述共享子网络进行预训练以调整网络参数;
迁移子步骤:将训练好的所述共享子网络迁移至所述快速区域卷积神经网络以完成对所述快速区域卷积神经网络的训练。
7.根据权利要求1至3任一项所述的车辆自动分类方法,其特征在于,所述车辆目标特征表示模型包括级联CNN结构,所述级联CNN结构包括多个CNN网络,所述级联CNN结构采用全连接的方式,具体地,先对低层的卷积特征进行均值池化的下采样操作,再与下一层的卷积特征相连接,将上下级的卷积特征两两相结合。
8.根据权利要求7所述的车辆自动分类方法,其特征在于,所述车辆目标特征表示模型的损失函数为Softmax和Center Loss组成的联合监督损失函数。
9.根据权利要求1所述的车辆自动分类方法,其特征在于,所述车辆分类步骤具体包括:
待分类的车辆目标表示子步骤:根据所述车辆目标特征表示模型获取所述待分类的车辆目标的待分类特征表示向量;
相似度获取子步骤:根据所述待分类特征表示向量和多个所述类模板特征获取多个相似度;
车辆分类子步骤:获取相似度最大的车辆类别作为所述待分类的车辆目标的车辆类别。
10.一种车辆自动分类装置,其特征在于,包括:
车辆样本集获取单元,用于根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集;所述图像外观扩展包括对车辆外观的新旧程度和/或车辆外观的毁损程度进行变换扩展;
车辆目标检测模型训练单元,用于根据所述车辆样本集训练车辆目标检测模型;
车辆目标特征表示模型训练单元,用于根据所述车辆样本集训练车辆目标特征表示模型;
车辆目标检测单元,用于根据待分类的车辆图像和所述车辆目标检测模型获取待分类的车辆目标;
车辆分类单元,用于根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果;
类模板特征获取单元,用于对所述车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征;
所述类模板特征获取单元具体包括:
特征表示子单元,用于根据所述车辆目标特征表示模型获取所述样本图像集合的每一张样本图像的特征表示向量;
聚类子单元,用于根据所述特征表示向量和聚类算法获取所述样本图像集合的多个中心特征向量;
权重获取子单元,用于根据所述样本图像集合的样本数量、所述中心特征向量的分布特点获取每个中心特征向量的融合权重;
类模板特征获取子单元,用于根据多个所述中心特征向量和对应的融合权重获取所述样本图像集合对应的类模板特征。
11.一种车辆自动分类设备,其特征在于,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至9任一项所述的车辆自动分类方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至9任一项所述的车辆自动分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910131839.1A CN109902732B (zh) | 2019-02-22 | 2019-02-22 | 车辆自动分类方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910131839.1A CN109902732B (zh) | 2019-02-22 | 2019-02-22 | 车辆自动分类方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109902732A CN109902732A (zh) | 2019-06-18 |
CN109902732B true CN109902732B (zh) | 2021-08-27 |
Family
ID=66945207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910131839.1A Active CN109902732B (zh) | 2019-02-22 | 2019-02-22 | 车辆自动分类方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109902732B (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
SG11202103493QA (en) | 2018-10-11 | 2021-05-28 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
CN110555380A (zh) * | 2019-07-30 | 2019-12-10 | 浙江理工大学 | 基于Center Loss损失函数的指静脉识别方法 |
CN110598621A (zh) * | 2019-09-06 | 2019-12-20 | 高新兴科技集团股份有限公司 | 车辆品牌识别方法、装置、设备及计算机可读存储介质 |
CN110826558B (zh) * | 2019-10-28 | 2022-11-11 | 桂林电子科技大学 | 图像分类方法、计算机设备和存储介质 |
CN111080576B (zh) * | 2019-11-26 | 2023-09-26 | 京东科技信息技术有限公司 | 一种关键点检测方法及装置、存储介质 |
CN111144372A (zh) * | 2019-12-31 | 2020-05-12 | 上海眼控科技股份有限公司 | 车辆检测方法、装置、计算机设备和存储介质 |
CN111275107A (zh) * | 2020-01-20 | 2020-06-12 | 西安奥卡云数据科技有限公司 | 一种基于迁移学习的多标签场景图像分类方法及装置 |
CN111401251B (zh) * | 2020-03-17 | 2023-12-26 | 北京百度网讯科技有限公司 | 车道线提取方法、装置、电子设备及计算机可读存储介质 |
CN112488244B (zh) * | 2020-12-22 | 2022-09-09 | 中国科学院合肥物质科学研究院 | 一种利用热力图进行点标注方式的密集分布小目标害虫自动计数方法 |
CN112465821A (zh) * | 2020-12-22 | 2021-03-09 | 中国科学院合肥物质科学研究院 | 一种基于边界关键点感知的多尺度害虫图像检测方法 |
CN113569894B (zh) * | 2021-02-09 | 2023-11-21 | 腾讯科技(深圳)有限公司 | 图像分类模型的训练方法、图像分类方法、装置及设备 |
CN113128353B (zh) * | 2021-03-26 | 2023-10-24 | 安徽大学 | 面向自然人机交互的情绪感知方法及其*** |
CN112906824B (zh) * | 2021-03-29 | 2022-07-05 | 苏州科达科技股份有限公司 | 车辆聚类方法、***、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156750A (zh) * | 2016-07-26 | 2016-11-23 | 浙江捷尚视觉科技股份有限公司 | 一种基于卷积神经网络的以图搜车方法 |
CN107679078A (zh) * | 2017-08-29 | 2018-02-09 | 银江股份有限公司 | 一种基于深度学习的卡口图像车辆快速检索方法及*** |
CN108197326A (zh) * | 2018-02-06 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 一种车辆检索方法及装置、电子设备、存储介质 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
CN109241982A (zh) * | 2018-09-06 | 2019-01-18 | 广西师范大学 | 基于深浅层卷积神经网络的目标检测方法 |
CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
CN109299688A (zh) * | 2018-09-19 | 2019-02-01 | 厦门大学 | 基于可变形快速卷积神经网络的舰船检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11587304B2 (en) * | 2017-03-10 | 2023-02-21 | Tusimple, Inc. | System and method for occluding contour detection |
CN108319907A (zh) * | 2018-01-26 | 2018-07-24 | 腾讯科技(深圳)有限公司 | 一种车辆识别方法、装置和存储介质 |
CN108830254B (zh) * | 2018-06-27 | 2021-10-29 | 福州大学 | 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 |
CN109214441A (zh) * | 2018-08-23 | 2019-01-15 | 桂林电子科技大学 | 一种细粒度车型识别***及方法 |
CN109359666B (zh) * | 2018-09-07 | 2021-05-28 | 佳都科技集团股份有限公司 | 一种基于多特征融合神经网络的车型识别方法及处理终端 |
CN109344883A (zh) * | 2018-09-13 | 2019-02-15 | 西京学院 | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 |
-
2019
- 2019-02-22 CN CN201910131839.1A patent/CN109902732B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156750A (zh) * | 2016-07-26 | 2016-11-23 | 浙江捷尚视觉科技股份有限公司 | 一种基于卷积神经网络的以图搜车方法 |
CN107679078A (zh) * | 2017-08-29 | 2018-02-09 | 银江股份有限公司 | 一种基于深度学习的卡口图像车辆快速检索方法及*** |
CN108197326A (zh) * | 2018-02-06 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 一种车辆检索方法及装置、电子设备、存储介质 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
CN109241982A (zh) * | 2018-09-06 | 2019-01-18 | 广西师范大学 | 基于深浅层卷积神经网络的目标检测方法 |
CN109299688A (zh) * | 2018-09-19 | 2019-02-01 | 厦门大学 | 基于可变形快速卷积神经网络的舰船检测方法 |
Non-Patent Citations (1)
Title |
---|
"基于多任务联合监督学习的行人再识别研究";王俊茜;《中国优秀硕士论文全文数据库 信息科技辑》;20190115(第01期);正文11-12页,22-31页,36-37页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109902732A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109902732B (zh) | 车辆自动分类方法及相关装置 | |
CN110827251B (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
CN107330453B (zh) | 基于分步识别和融合关键部位检测的色情图像识别方法 | |
CN111898523A (zh) | 一种基于迁移学习的遥感图像特种车辆目标检测方法 | |
CN110310241B (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
CN113870263B (zh) | 一种路面缺陷损伤实时监测方法及*** | |
CN104954741A (zh) | 深层次自我学习网络实现矿车空满状态的检测方法和*** | |
CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
CN112434723B (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
CN111461006B (zh) | 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法 | |
CN111882620A (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
CN110826411B (zh) | 一种基于无人机图像的车辆目标快速识别方法 | |
US20220132050A1 (en) | Video processing using a spectral decomposition layer | |
CN113610144A (zh) | 一种基于多分支局部注意力网络的车辆分类方法 | |
Li et al. | Image manipulation localization using attentional cross-domain CNN features | |
CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
CN114331946A (zh) | 一种图像数据处理方法、设备以及介质 | |
CN110363218A (zh) | 一种胚胎无创评估方法及装置 | |
CN117372898A (zh) | 一种基于改进yolov8的无人机航拍图像目标检测方法 | |
CN117011563A (zh) | 基于半监督联邦学习的道路损害巡检跨域检测方法及*** | |
CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测*** | |
CN114549489A (zh) | 一种面向雕花口红质检的实例分割缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |