CN108229468B - 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 - Google Patents

车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 Download PDF

Info

Publication number
CN108229468B
CN108229468B CN201710507778.5A CN201710507778A CN108229468B CN 108229468 B CN108229468 B CN 108229468B CN 201710507778 A CN201710507778 A CN 201710507778A CN 108229468 B CN108229468 B CN 108229468B
Authority
CN
China
Prior art keywords
vehicle
feature
image
target vehicle
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710507778.5A
Other languages
English (en)
Other versions
CN108229468A (zh
Inventor
伊帅
王重道
唐路明
闫俊杰
王晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710507778.5A priority Critical patent/CN108229468B/zh
Priority to PCT/CN2018/093165 priority patent/WO2019001481A1/zh
Priority to JP2019562381A priority patent/JP7058669B2/ja
Publication of CN108229468A publication Critical patent/CN108229468A/zh
Priority to US16/678,870 priority patent/US11232318B2/en
Application granted granted Critical
Publication of CN108229468B publication Critical patent/CN108229468B/zh
Priority to US17/533,469 priority patent/US20220083801A1/en
Priority to US17/533,484 priority patent/US20220083802A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备。其中，所述车辆外观特征的识别方法包括：从待识别图像中，获取目标车辆的多个区域分割结果；基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。通过本发明实施例，能够更加准确地描述车辆的外观。此外，本实施例识别得到的车辆外观特征能够使得不同车辆图像中的车辆外观特征可直接进行比对，解决了不同车辆图像之间的不同区域无法比对的问题。

Description

车辆外观特征识别及车辆检索方法、装置、存储介质、电子 设备
技术领域
本发明实施例涉及人工智能技术，尤其涉及一种车辆外观特征的识别方法、装置、存储介质和电子设备，以及，一种车辆检索方法、装置、存储介质和电子设备。
背景技术
车辆的检索任务指的是给出一张待查询的车辆图片，在大规模的车辆图片数据库中检索车辆图片中车辆的所有图片。在现有技术中，解决这个技术难题主要考虑了两种信息，一种是车牌信息，如果能提取到车辆图片中车辆的车牌号对于车辆检索来说是非常有用的，另一种是车辆外观信息，针对每一张车辆图片提取车辆的外观特征，利用车辆的外观特征将不同的车辆区分开。
其中，车牌信息对于车辆检索是最有价值的，可通过现有的车牌检测与识别技术实现车牌信息的提取。但是在监控场景中，由于拍摄角度的变化和视频分辨率等原因，大部分情况下车辆的车牌信息难以被准确地识别出来。此时，可通过车辆的外观特征来检索车辆。针对车辆外观特征的提取，现有的做法通常是针对整张车辆图片提取车辆的外观特征，并用提取到的外观特征描述整个车辆。然而，由于车辆图片中车辆的姿态变化较大，全图的车辆外观特征往往不够准确，往往更加倾向于认定两个姿态相近的车辆更有可能是同一车辆，而事实上，车辆的外观特征在理想情况下跟车辆的姿态是无关的，也就是说车辆的外观特征在理想情况下跟车辆图片的拍摄角度是无关的。另外，一些细节信息可能会对于车辆检索是至关重要的。例如，很多车型在外观上十分相似，如何找到车辆的细微的不同，从而把不同的车辆区分开，此时，车辆的细节外观特征显得至关重要。然而，从全图直接提取得到的车辆外观特征很难用来描述车辆的细微变化。
此外，由于遮挡的存在，车辆图片中的车辆最多只有三个面是可见的。针对不同的车辆图片，由于拍摄车辆图片的角度的不同，车辆的可见的面不一定是相同的。现有的方法直接将车辆所有面的外观特征进行融合。
发明内容
本发明实施例的目的在于，提供一种车辆外观特征的识别的技术方案和车辆检索的技术方案。
根据本发明实施例的第一方面，提供了一种车辆外观特征的识别方法。所述方法包括：从待识别图像中，获取目标车辆的多个区域分割结果；基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
可选地，所述多个区域分割结果分别对应所述目标车辆的不同方位的区域。
可选地，所述多个区域分割结果包括所述目标车辆的前面、后面、左面和右面的分割结果。
可选地，所述从待识别图像中，获取目标车辆的多个区域分割结果，包括：通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果。
可选地，所述第一神经网络具有第一特征提取层和连接在所述第一特征提取层末端的第一计算层，其中，通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果，包括：通过所述第一特征提取层对所述待识别图像进行特征提取，得到所述目标车辆的多个关键点；通过所述第一计算层对所述多个关键点进行分类，得到多个关键点集群，并且分别针对每个所述关键点集群中所有关键点的特征图进行融合，获得各个所述关键点集群对应的区域分割结果。
可选地，所述基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据，包括：基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据。
可选地，所述第二神经网络具有第一处理子网和分别与所述第一处理子网的输出端连接的多个第二处理子网，其中，所述第一处理子网具有第二特征提取层、第一启动模块和第一池化层，每个所述第二处理子网具有与所述第一处理子网的输出端连接的第二计算层、第二启动模块和第二池化层。
可选地，所述基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据，包括：通过所述第二特征提取层对所述待识别图像进行卷积操作和池化操作，获得所述目标车辆的全局特征图；通过所述第一启动模块对所述全局特征图进行卷积操作和池化操作，获得所述目标车辆的第一特征图集合；通过所述第一池化层对所述第一特征图集合中的所有特征图进行池化操作，获得所述目标车辆的全局特征向量。
可选地，所述基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据，还包括：通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘，获得所述多个区域分割结果分别对应的局部特征图；通过所述第二启动模块对各个所述区域分割结果的局部特征图进行卷积操作和池化操作，获得各个所述区域分割结果对应的第二特征图集合；通过所述第二池化层对各个所述区域分割结果的第二特征图集合进行池化操作，获得各个所述区域分割结果对应的第一区域特征向量。
可选地，所述通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘之前，所述方法还包括：通过所述第二计算层将所述多个区域分割结果分别缩放到与所述全局特征图的尺寸相同的尺寸。
可选地，所述对所述全局特征数据和多个所述区域特征数据进行融合，包括：通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合。
可选地，所述第三神经网络具有与所述第二神经网络的各个输出端连接的第一全连接层、第三计算层和第二全连接层，其中，所述通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合，包括：通过所述第一全连接层获取各个第一区域特征向量的权重值；通过所述第三计算层根据所述权重值，对各个所述第一区域特征向量分别加权，获得相应的各个第二区域特征向量；通过所述第二全连接层对各个所述第二区域特征向量和全局特征向量进行映射操作，获得所述目标车辆的外观特征向量。
可选地，所述通过所述第一全连接层获取各个第一区域特征向量的权重值，包括：对各个所述第一区域特征向量进行拼接操作，获得拼接后的第一区域特征向量；通过所述第一全连接层对所述拼接后的第一区域特征向量进行映射操作，获得各个所述第一区域特征向量对应的标量的集合；对所述集合中的每个标量进行归一化操作，获得各个所述第一区域特征向量的权重值。
可选地，所述第一特征提取层为沙漏型网络结构。
根据本发明实施例的第二方面，提供了一种车辆检索方法。所述方法包括：通过根据本发明实施例的第一方面所述的方法获取待检索图像中目标车辆的外观特征数据；从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
可选地，所述从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像，包括：确定所述目标车辆的外观特征向量分别与所述待选车辆图像库中各个待选车辆图像的车辆的外观特征向量的余弦距离；根据所述余弦距离确定与所述目标车辆匹配的目标待选车辆图像。
可选地，所述方法还包括：获取所述待检索图像的拍摄时间和/或拍摄位置以及所述各个所述待选车辆图像的拍摄时间和/或拍摄位置；根据所述拍摄时间和/或所述拍摄位置确定所述目标车辆与所述各个所述待选车辆图像中的车辆的时空距离；根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像。
可选地，所述根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像，包括：根据所述余弦距离，在所述待选车辆图像库中获取多个所述待选车辆图像；分别基于每个所述待选车辆图像的拍摄时间及拍摄位置，确定所述待选车辆图像与所述目标车辆的时空匹配概率；基于所述余弦距离和所述时空匹配概率，确定与所述目标车辆匹配的目标待选车辆图像。
根据本发明实施例的第三方面，提供了一种车辆外观特征的识别装置。所述装置包括：第一获取模块，用于从待识别图像中，获取目标车辆的多个区域分割结果；提取模块，用于基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；融合模块，用于对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
可选地，所述多个区域分割结果分别对应所述目标车辆的不同方位的区域。
可选地，所述多个区域分割结果包括所述目标车辆的前面、后面、左面和右面的分割结果。
可选地，所述第一获取模块，包括：获取子模块，用于通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果。
可选地，所述第一神经网络具有第一特征提取层和连接在所述第一特征提取层末端的第一计算层，其中，所述获取子模块，具体用于：通过所述第一特征提取层对所述待识别图像进行特征提取，得到所述目标车辆的多个关键点；通过所述第一计算层对所述多个关键点进行分类，得到多个关键点集群，并且分别针对每个所述关键点集群中所有关键点的特征图进行融合，获得各个所述关键点集群对应的区域分割结果。
可选地，所述提取模块，包括：提取子模块，用于基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据。
可选地，所述第二神经网络具有第一处理子网和分别与所述第一处理子网的输出端连接的多个第二处理子网，其中，所述第一处理子网具有第二特征提取层、第一启动模块和第一池化层，每个所述第二处理子网具有与所述第一处理子网的输出端连接的第二计算层、第二启动模块和第二池化层。
可选地，所述提取子模块，包括：第一特征提取单元，用于通过所述第二特征提取层对所述待识别图像进行卷积操作和池化操作，获得所述目标车辆的全局特征图；第二特征提取单元，用于通过所述第一启动模块对所述全局特征图进行卷积操作和池化操作，获得所述目标车辆的第一特征图集合；第一池化单元，用于通过所述第一池化层对所述第一特征图集合中的所有特征图进行池化操作，获得所述目标车辆的全局特征向量。
可选地，所述提取子模块，还包括：第一计算单元，用于通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘，获得所述多个区域分割结果分别对应的局部特征图；第三特征提取单元，用于通过所述第二启动模块对各个所述区域分割结果的局部特征图进行卷积操作和池化操作，获得各个所述区域分割结果对应的第二特征图集合；第二池化单元，用于通过所述第二池化层对各个所述区域分割结果的第二特征图集合进行池化操作，获得各个所述区域分割结果对应的第一区域特征向量。
可选地，所述提取子模块，还包括：第二计算单元，用于通过所述第二计算层将所述多个区域分割结果分别缩放到与所述全局特征图的尺寸相同的尺寸。
可选地，所述融合模块，包括：融合子模块，用于通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合。
可选地，所述第三神经网络具有与所述第二神经网络的各个输出端连接的第一全连接层、第三计算层和第二全连接层，其中，所述融合子模块，包括：第一获取单元，用于通过所述第一全连接层获取各个第一区域特征向量的权重值；第三计算单元，用于通过所述第三计算层根据所述权重值，对各个所述第一区域特征向量分别加权，获得相应的各个第二区域特征向量；映射单元，用于通过所述第二全连接层对各个所述第二区域特征向量和全局特征向量进行映射操作，获得所述目标车辆的外观特征向量。
可选地，所述第一获取单元，具体用于：对各个所述第一区域特征向量进行拼接操作，获得拼接后的第一区域特征向量；通过所述第一全连接层对所述拼接后的第一区域特征向量进行映射操作，获得各个所述第一区域特征向量对应的标量的集合；对所述集合中的每个标量进行归一化操作，获得各个所述第一区域特征向量的权重值。
可选地，所述第一特征提取层为沙漏型网络结构。
根据本发明实施例的第四方面，提供了一种车辆检索装置。所述装置包括：第二获取模块，用于通过根据本发明实施例第三方面所述的装置获取待检索图像中目标车辆的外观特征数据；查找模块，用于从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
可选地，所述查找模块，具体用于：确定所述目标车辆的外观特征向量分别与所述待选车辆图像库中各个待选车辆图像的车辆的外观特征向量的余弦距离；根据所述余弦距离确定与所述目标车辆匹配的目标待选车辆图像。
可选地，所述装置还包括：第三获取模块，用于获取所述待检索图像的拍摄时间和/或拍摄位置以及所述各个所述待选车辆图像的拍摄时间和/或拍摄位置；第一确定模块，用于根据所述拍摄时间和/或所述拍摄位置确定所述目标车辆与所述各个所述待选车辆图像中的车辆的时空距离；第二确定模块，用于根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像。
可选地，所述第二确定模块，具体用于：根据所述余弦距离，在所述待选车辆图像库中获取多个所述待选车辆图像；分别基于每个所述待选车辆图像的拍摄时间及拍摄位置，确定所述待选车辆图像与所述目标车辆的时空匹配概率；基于所述余弦距离和所述时空匹配概率，确定与所述目标车辆匹配的目标待选车辆图像。
根据本发明实施例的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现本发明实施例的第一方面所述的车辆外观特征的识别方法的步骤。
根据本发明实施例的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现本发明实施例的第二方面所述的车辆检索方法的步骤。
根据本发明实施例的第七方面，提供了一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如本发明实施例的第一方面所述的车辆外观特征的识别方法的步骤。
根据本发明实施例的第八方面，提供了一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如本发明实施例的第二方面所述的车辆检索方法的步骤。
根据本发明实施例的车辆外观特征的识别方法，从待识别图像中，获取目标车辆的多个区域分割结果；然后基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；并对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据，本发明实施例的车辆外观特征的识别方法与现有技术中获取车辆外观特征的方法相比，本发明实施例识别得到的车辆外观特征除了全局特征，还包括车辆外观的局部区域的特征，能够通过局部区域特征体现目标车辆的细节信息，从而能够更加准确地描述车辆的外观。此外，本发明实施例识别得到的车辆外观特征能够使得不同车辆图像中的车辆外观特征可直接进行比对，解决了不同车辆图像之间的不同区域无法比对的问题。
附图说明
图1是根据本发明实施例一的车辆外观特征的识别方法的流程图；
图2是根据本发明实施例二的车辆外观特征的识别方法的流程图；
图3是实施图2的方法实施例的车辆关键点的分布的示意图；
图4是实施图2的方法实施例的网络框架的示意图；
图5是实施图2的方法实施例的车辆区域分割结果的示意图；
图6是实施图2的方法实施例的车辆区域的权重值的示意图；
图7是根据本发明实施例三的车辆检索方法的流程图；
图8是根据本发明实施例四的车辆检索方法的流程图；
图9是实施图8的方法实施例的车辆的相似距离的示意图；
图10是根据本发明实施例五的车辆外观特征的识别装置的结构示意图；
图11是根据本发明实施例六的车辆外观特征的识别装置的结构示意图；
图12是根据本发明实施例七的车辆检索装置的结构示意图；
图13是根据本发明实施例八的车辆检索装置的结构示意图；
图14是根据本发明实施例九的电子设备的结构示意图；
图15是根据本发明实施例十的电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
图1是根据本发明实施例一的车辆外观特征的识别方法的流程图。
参照图1，在步骤S101中，从待识别图像中，获取目标车辆的多个区域分割结果。
在本实施例中，从图像包含的内容来讲，所述待识别图像可为包括目标车辆的一部分的图像或包括整个目标车辆的图像等。从图像的类别来讲，所述待识别图像可为拍摄的静态图像，或者为视频帧序列中的视频图像，也可以是合成的图像等。所述多个区域分割结果分别对应所述目标车辆的不同方位的区域。具体地，所述多个区域分割结果包括所述目标车辆的前面、后面、左面和右面的分割结果。当然，在本发明实施例中，所述多个区域分割结果不限制于包括所述目标车辆的前面、后面、左面和右面这四个区域的分割结果。例如，所述多个区域分割结果还可包括所述目标车辆的前面、后面、左面、右面、上面和下面这六个区域的分割结果，所述多个区域分割结果还可包括所述目标车辆的正前、正后、正左、正右、左前、右前、左后和右后这八个区域的分割结果。其中，每个区域分割结果是一张单通道的权重图，区域分割结果中数值的大小表示所述待识别图像中该对应位置的重要程度，即区域分割结果中数值越大表示所述待识别图像中该对应位置的重要程度越高，区域分割结果中数值越小表示所述待识别图像中该对应位置的重要程度越低。
在步骤S102中，基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据。
其中，所述全局特征数据和所述多个区域特征数据为所述目标车辆的全局特征数据和多个区域特征数据，所述全局特征数据可为向量表示的全局特征，所述区域特征数据可为向量表示的区域特征。
在步骤S103中，对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
其中，在全局特征数据和区域特征数据均使用向量表示的情况下，全局特征向量的维数与区域特征向量的维数相同。所述目标车辆的外观特征数据包括所述目标车辆的多个局部区域的特征和所述目标车辆的全局区域的特征。
根据本实施例的车辆外观特征的识别方法，从待识别图像中，获取目标车辆的多个区域分割结果；然后基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；并对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据，本实施例的车辆外观特征的识别方法与现有技术中获取车辆外观特征的方法相比，本实施例识别得到的车辆外观特征除了全局特征，还包括车辆外观的局部区域的特征，能够通过局部区域特征体现目标车辆的细节信息，从而能够更加准确地描述车辆的外观。此外，本实施例识别得到的车辆外观特征能够使得不同车辆图像中的车辆外观特征可直接进行比对，解决了不同车辆图像之间的不同区域无法比对的问题。
本实施例的车辆外观特征的识别方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例二
图2是根据本发明实施例二的车辆外观特征的识别方法的流程图。
参照图2，在步骤S201中，通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果。
其中，所述第一神经网络可以是任意适当的可实现区域提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。本发明实施例中，所述第一神经网络具有第一特征提取层和连接在所述第一特征提取层末端的第一计算层。
具体地，该步骤S201包括：通过所述第一特征提取层对所述待识别图像进行特征提取，得到所述目标车辆的多个关键点；通过所述第一计算层对所述多个关键点进行分类，得到多个关键点集群，并且分别针对每个所述关键点集群中所有关键点的特征图进行融合，获得各个所述关键点集群对应的区域分割结果。
由于车辆是纯色的，并且一些车辆的色谱相当类似，因此，从车辆的颜色上很难将车辆区分开。本实施例基于车辆关键点提取车辆的区域特征。通过这种方式，车辆的很多细节特征便能够更好地从区域特征中体现出来。本实施例中的车辆关键点不是车辆的边界点或拐角点，而是车辆上具有明显区别的位置或者车辆的主要零部件，例如，车轮、灯具、标识、后视镜、车牌等等。图3是实施图2的方法实施例的车辆关键点的分布的示意图。如图3所示，本实施例中的车辆关键点包括车辆的左前轮1、左后轮2、右前轮3、右后轮4、右防雾灯5、左防雾灯6、右前头灯7、左前头灯8、正面汽车标识9、正面牌照10、左后视镜11、右后视镜12、车顶的右前角13、车顶的左前角14、车顶的左后角15、车顶的右后角16、左车尾灯17、右车尾灯18、背面汽车标识19和背面牌照20。籍此，车辆的细节特征能够从区域特征中反映出来，从而能够更加准确地描述车辆的外观。
在具体的实施方式中，第一特征提取层针对输入的车辆图像中所述20个车辆关键点中的每个车辆关键点进行特征提取，得到每个车辆关键点的响应特征图。其中，所述第一特征提取层为沙漏型网络结构。在执行该步骤之前，需要对该第一特征提取层进行训练。所述第一特征提取层的训练过程具体为：将标记的车辆关键点的目标响应特征图设计为在标记的关键点位置周围的高斯内核，然后，将含有所述标记的车辆关键点的车辆图像输入所述第一特征提取层，确定所述第一特征提取层的预测结果是否接近目标高斯内核，如果不接近目标高斯内核，根据预测结果与目标高斯内核的差异调整第一特征提取层的参数，并进行反复迭代训练。其中，第一特征提取层针对标记的车辆关键点的预测结果为标记的车辆关键点的响应特征图对应的高斯内核，预测结果与目标高斯内核的差异可为交叉熵。图4是实施图2的方法实施例的网络框架的示意图。如图4所示，第一神经网络(a)中的标志回归器就是所述第一特征提取层的表现形式。
在本实施例中，特定角度拍摄的车辆图像中的车辆总会存在一些不可见的区域。为了处理存在不可见的车辆关键点的问题，可充分利用车辆关键点之间的几何关系，将20个车辆关键点分配为4个集群，例如，C1＝[5，6，7，8，9，10，13，14]；C2＝[15，16，17，18，19，20]；C3＝[1，2，6，8，11，14，15，17]以及C4＝[3，4，5，7，12，13，16，18]，4个集群中的车辆关键点分别对应于车辆的正面、背面、左面和右面，然后，对每个集群中的所有关键点的特征图进行融合，获得车辆的正面分割结果、背面分割结果、左面分割结果和右面分割结果，如图4的(a)部分所示。
图5是实施图2的方法实施例的车辆区域分割结果的示意图。如图5所示，左侧依次是三张车辆图像，右侧依次是每张车辆图像的正面分割结果、背面分割结果、左面分割结果和右面分割结果，从图中可观察到车辆图像中车辆可见区域的分割结果一般比车辆不可见区域的分割结果具有更高的响应，这可以说明第一特征提取层不仅能够预测车辆关键点，而且还能够把可见的车辆关键点从不可见的车辆关键点中区分开来。
在步骤S202中，基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据。
其中，所述第二神经网络可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在本实施例中，第二神经网络具有第一处理子网和分别与所述第一处理子网的输出端连接的多个第二处理子网，其中，所述第一处理子网具有第二特征提取层、第一启动模块和第一池化层，每个所述第二处理子网具有与所述第一处理子网的输出端连接的第二计算层、第二启动模块和第二池化层。其中，所述第二特征提取层包括3层卷积层和2个启动模块(Inception Module)，所述启动模块可进行卷积操作和池化操作。
具体地，该步骤S202包括：通过所述第二特征提取层对所述待识别图像进行卷积操作和池化操作，获得所述目标车辆的全局特征图；通过所述第一启动模块对所述全局特征图进行卷积操作和池化操作，获得所述目标车辆的第一特征图集合；通过所述第一池化层对所述第一特征图集合中的所有特征图进行池化操作，获得所述目标车辆的全局特征向量。
在具体的实施方式中，首先对待识别图像进行缩放，以使得待识别图像的尺寸大小为192*192，然后，将缩放后的图像输入到由3层卷积层和2个启动模块构成的第二特征提取层，第二特征提取层对缩放后的图像进行卷积操作和池化操作，得到空间大小为12*12的全局特征图。再然后，第一启动模块对全局特征图再进行卷积操作和池化操作，得到空间大小为6*6的特征图的集合。最后，第一池化层对集合中所有特征图进行全局平均池化操作，获得1536维的全局特征向量。
具体地，该步骤S202还包括：通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘，获得所述多个区域分割结果分别对应的局部特征图；通过所述第二启动模块对各个所述区域分割结果的局部特征图进行卷积操作和池化操作，获得各个所述区域分割结果对应的第二特征图集合；通过所述第二池化层对各个所述区域分割结果的第二特征图集合进行池化操作，获得各个所述区域分割结果对应的第一区域特征向量。
可选地，所述通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘之前，所述方法还包括：通过所述第二计算层将所述多个区域分割结果分别缩放到与所述全局特征图的尺寸相同的尺寸。籍此，可确保最终获得的区域特征向量的维度与全局特征向量的维度相同。
在具体的实施方式中，首先将车辆的正面分割结果、背面分割结果、左面分割结果和右面分割结果分别缩放至与全局特征图的尺寸相同的尺寸，也即是12*12的大小。然后，将缩放后的正面分割结果、背面分割结果、左面分割结果和右面分割结果分别与全局特征图进行点乘，获得车辆的正面特征图、背面特征图、左面特征图和右面特征图。再然后，第二启动模块对车辆的正面特征图、背面特征图、左面特征图和右面特征图分别进行卷积操作和池化操作，获得各局部特征图分别对应的特征图集合，该特征图集合中特征图的空间大小为6*6。最后，通过第二池化层对各个局部特征图对应的特征图集合中所有特征图分别进行全局最大池化操作，获得车辆的正面特征向量、背面特征向量、左面特征向量和右面特征向量，并且各局部区域的特征向量的维度均为1536维。之所以对各个局部特征图对应的特征图集合中所有特征图分别进行全局最大池化操作，是因为最大的响应更适合于从一个局部区域提取特征。
如图4的(b)部分所示，可将第二神经网络划分为两个阶段，全局特征和局部特征均以主干和分支形式提取得到的。其中，第一阶段对待识别图像进行卷积操作和池化操作，获得待识别图像的全局特征图。第二阶段包括5个分支，一个全局分支和四个局部区域分支。其中，全局分支对全局特征图进行上述实施例类似的处理，得到全局特征向量，每个局部区域分支结合全局特征图分别针对指定的区域分割结果进行上述实施例类似地处理，获得相应的局部特征向量。
在步骤S203中，通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
其中，所述第三神经网络可以是任意适当的可实现特征融合的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在本实施例中，所述第三神经网络具有与所述第二神经网络的各个输出端连接的第一全连接层、第三计算层和第二全连接层。
具体地，该步骤S203包括：通过所述第一全连接层获取各个第一区域特征向量的权重值；通过所述第三计算层根据所述权重值，对各个所述第一区域特征向量分别加权，获得相应的各个第二区域特征向量；通过所述第二全连接层对各个所述第二区域特征向量和全局特征向量进行映射操作，获得所述目标车辆的外观特征向量。
可选地，所述通过所述第一全连接层获取各个第一区域特征向量的权重值，包括：对各个所述第一区域特征向量进行拼接操作，获得拼接后的第一区域特征向量；通过所述第一全连接层对所述拼接后的第一区域特征向量进行映射操作，获得各个所述第一区域特征向量对应的标量的集合；对所述集合中的每个标量进行归一化操作，获得各个所述第一区域特征向量的权重值。
在具体的实施方式中，首先对车辆的正面特征向量、背面特征向量、左面特征向量和右面特征向量进行拼接操作，然后，将拼接后的正面特征向量、背面特征向量、左面特征向量和右面特征向量输入第一全连接层，第一全连接层对这四个特征向量进行映射操作，获得标量集合。接着，通过Softmax函数对标量集合中的标量进行归一化操作，分别获得正面特征向量、背面特征向量、左面特征向量和右面特征向量的权重值。然后，根据相应的权重值分别对正面特征向量、背面特征向量、左面特征向量和右面特征向量进行加权，获得加权后的正面特征向量、背面特征向量、左面特征向量和右面特征向量。再然后，对加权后的正面特征向量、背面特征向量、左面特征向量和右面特征向量与全局特征向量进行拼接操作。最后，第二全连接层对拼接后的各加权局部特征向量和全局特征向量进行映射操作，获得256维的车辆外观特征向量，如图4的(c)部分所示。
在特征融合的过程中，第三神经网络会学习得到不同车辆区域的特征向量的权重值。不同车辆区域的特征会有不同的重要性，车辆图像中车辆可见区域的特征能够保留或给于更大权重，车辆图像中车辆不可见区域的特征会在竞争过程中被淘汰掉或给予很小权重。例如，车辆图像中的车辆的朝向是左前方，可以看到车辆的左面和前面，这两个面的特征就相对重要，相应的特征向量的权重值相对要大一些，而该车辆的后面和右面是不可见的，虽然也能提取出这两个面的特征，但这两个面的特征向量的权重值相对要小一些。通过这种方式，车辆图像中车辆可见区域的车辆关键点对最终的车辆外观特征向量的贡献要多一些，而车辆图像中车辆不可见区域的车辆关键点对最终的车辆外观特征向量的影响通过相对较小的权重值而被削弱。籍此，能够更加准确地描述车辆的外观。
图6是实施图2的方法实施例的车辆区域的权重值的示意图。如图6所示，(a)部分表示输入的一个车辆的3张不同拍摄角度的图像，以及每种拍摄角度的图像中车辆正面、车辆背面、车辆左面和车辆右面的权重值，(b)部分表示测试集合中选定的车辆图像的车辆外观特征在二维空间中的投射结果，(c)部分表示输入的另一个车辆的3张不同拍摄角度的图像，以及每种拍摄角度的图像中车辆正面、车辆背面、车辆左面和车辆右面的权重值。从图中可观察到，不管车辆图像的拍摄角度是怎样的，相同车辆的外观特征能够聚合在一起。由此得到，本实施例识别得到的车辆外观特征与待识别车辆图像的拍摄角度无关，不同车辆图像中的车辆外观特征可直接进行比对，解决了不同车辆图像之间的不同区域无法比对的问题。此外，图中(a)部分和(c)部分示出了输入的车辆图像和对应的两个集群的学习权重，车辆外观的局部区域特征基于这些学习权重进行融合，从中可观察到车辆图像中车辆可见的面的权重值比车辆不可见的面的权重值要高一些。
另外，可采纳一种可供选择的训练策略对第二神经网络和第三神经网络进行训练，该训练策略包括四个步骤，具体为：(i)第二神经网络的第一阶段的主干网和第二阶段的全局分支可从随机初始化进行训练，并通过整个图像区域的全局特征监督。(ii)第一阶段的主干网训练完成之后，可使用第二阶段的全局分支初始化的参数来训练第二阶段的四个局部分支，因为第二阶段的全局分支与局部分支具有相同的结构。此外，通过给定的分类标签对四个局部分支的训练分别进行监督。(iii)第一阶段的主干网和第二阶段的所有分支训练完成之后，训练第三神经网络。(iv)初始化具有通过上述步骤学习得到的参数的所有神经网络，并且将所有参数结合起来微调。当训练第二神经网络和第三神将网络时可使用现有的车辆数据库和Softmax分类损失。
在具体的应用中，本实施例识别得到的车辆外观特征不仅可用来描述车辆，而且还可用来进行车辆属性分析，例如，粗分车型，细分车型，车辆颜色等等，此外，还可利用本实施例识别得到的车辆外观特征进行车辆的分类、识别和检索。
根据本实施例的车辆外观特征的识别方法，通过用于区域提取的第一神经网络从待识别图像中，获取目标车辆的多个区域分割结果，然后，基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据，再通过用于特征融合的第三神经网络对目标车辆的全局特征数据和多个区域特征数据进行融合，得到目标车辆的外观特征数据，本实施例的车辆外观特征的识别方法与现有技术中获取车辆外观特征的方法相比，本实施例识别得到的车辆外观特征除了全局特征，还包括车辆外观的局部区域的特征，能够通过局部区域特征体现目标车辆的细节信息，从而能够更加准确地描述车辆的外观。此外，本实施例识别得到的车辆外观特征能够使得不同车辆图像中的车辆外观特征可直接进行比对，解决了不同车辆图像之间的不同区域无法比对的问题。
本实施例的车辆外观特征的识别方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例三
图7是根据本发明实施例三的车辆检索方法的流程图。
参照图7，在步骤S301中，通过车辆外观特征的识别方法获取待检索图像中目标车辆的外观特征数据。
在本实施例中，可通过上述实施例一或上述实施例二提供的车辆外观特征的识别方法来获取待检索图像中目标车辆的外观特征数据。其中，所述外观特征数据可为使用向量表示的数据。从图像包含的内容来讲，所述待检索图像可为包括目标车辆的一部分的图像或包括整个目标车辆的图像等。从图像的类别来讲，所述待检索图像可为拍摄的静态图像，或者为视频帧序列中的视频图像，也可以是合成的图像等。
在步骤S302中，从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
在具体的实施方式中，可通过上述实施例一或上述实施例二提供的车辆外观特征的识别方法来获取所述待选车辆图像库中每个待选车辆图像中车辆的外观特征数据，并将所述目标车辆的外观特征数据分别与每个待选车辆图像中车辆的外观特征数据进行比对，获得与所述目标车辆的外观特征数据匹配的目标待选车辆图像。
本发明的示例性实施例旨在提出一种车辆检索方法，通过上述实施一或上述实施例二提供的车辆外观特征的识别方法来获取待检索图像中目标车辆的外观特征数据，并从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像，能够提高车辆检索的准确率。
本实施例的车辆检索方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例四
图8是根据本发明实施例四的车辆检索方法的流程图。
参考图8，在步骤S401中，通过车辆外观特征的识别方法获取待检索图像中目标车辆的外观特征数据。
由于该步骤S401与上述步骤S301相同，在此不再赘述。
在步骤S402中，确定所述目标车辆的外观特征向量分别与所述待选车辆图像库中各个待选车辆图像的车辆的外观特征向量的余弦距离。
在本实施例中，本领域技术人员可根据现有的余弦距离计算公式来计算得到所述目标车辆的外观特征向量分别与各个所述待选车辆图像中车辆的外观特征向量的余弦距离。
在步骤S403中，根据所述余弦距离确定与所述目标车辆匹配的目标待选车辆图像。
在具体的实施方式中，当所述目标车辆的外观特征向量与所述待选车辆图像中车辆的外观特征向量的余弦距离大于或等于第一预设阈值时，便可确定该待选车辆图像为与所述目标车辆匹配的目标待选车辆图像。其中，本领域技术人员可通过测试得到所述第一预设阈值。当然，本发明的实施例不限于此。
可选地，所述方法还包括：获取所述待检索图像的拍摄时间和/或拍摄位置以及所述各个所述待选车辆图像的拍摄时间和/或拍摄位置；根据所述拍摄时间和/或所述拍摄位置确定所述目标车辆与所述各个所述待选车辆图像中的车辆的时空距离；根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像。籍此，可进一步提高车辆检索的准确率。
具体地，所述根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像，包括：根据所述余弦距离，在所述待选车辆图像库中获取多个所述待选车辆图像；分别基于每个所述待选车辆图像的拍摄时间及拍摄位置，确定所述待选车辆图像与所述目标车辆的时空匹配概率；基于所述余弦距离和所述时空匹配概率，确定与所述目标车辆匹配的目标待选车辆图像。
其中，车辆图像的时空信息能大大加强车辆检索的召回率。如果已知要检索的车辆图像的拍摄时间和拍摄地点，可通过统计建模的方式可以得到车辆图像中的车辆在另一时间和另一地点出现的概率。这对检索任务非常有效。其中，所述时空匹配概率是由待选车辆图像与目标车辆图像的拍摄时间和拍摄位置共同决定的。简单来说，所述时空匹配概率指的是目标车辆在待选车辆图像的拍摄时间和拍摄位置出现的概率，它是根据车辆图像的拍摄时间和拍摄地点通过统计建模的方式获得的。具体地，所述时空匹配概率指的是两个摄像头之间的车辆转移时间间隔的条件概率，可通过以下公式一计算得到。
在实际的应用场景中，车辆外观特征可能不足以将一辆车从其它车辆中区分开，特别是在车辆具有相同外型而没有个性化装饰的情况下。但是，在监控应用中，车辆图像的拍摄时间和拍摄位置是容易获取得到的。通过分析两个摄像头之间的车辆转移时间间隔，本申请的发明人发现针对每对摄像头，车辆转移时间间隔可被模拟为一个满足概率分布的随机变量。由于车辆转移时间间隔的类高斯和长尾属性，对数正态分布可被用来模拟这个随机变量。给定l表示车辆离开的摄像头，e表示车辆进入的摄像头，l与e之间车辆转移时间间隔τ的条件概率可通过以下公式一计算得到：
Figure BDA0001335060920000191
其中，μl，e，σl，e分别表示每对摄像头(l，e)的估计参数，车辆转移时间间隔τ为两张车辆图像的拍摄时间的绝对值，所述估计参数可通过最大化以下的对数似然函数计算得到：
Figure BDA0001335060920000192
其中，τn∈τ(n＝1，2，3，...，N)表示从训练集合中采样得到的每对摄像头(l，e)的两个摄像头之间的车辆转移时间间隔，τ包含训练集合中两个摄像头之间所有的车辆转移时间间隔样本。
在得到l与e之间车辆转移时间间隔τ的条件概率之后，可根据以下公式二计算得到两张车辆图像之间的车辆的时空距离：
Figure BDA0001335060920000193
其中，条件概率越高，两张车辆图像之间的车辆的时空距离越小。
最后，可根据以下公式三计算得到两张车辆图像之间的相似距离：
D＝Da+βDs 公式三
其中，Da表示两张车辆图像之间的车辆外观特征向量的余弦距离，Ds表示两张车辆图像之间的车辆的时空距离，D表示两张车辆图像之间的车辆的相似距离，α的大小为2，β的大小为0.1。其中，两张车辆图像之间的车辆的相似距离越小，则两张车辆图像之间的车辆越相似。
当所述目标车辆与所述待选车辆图像中车辆的相似距离小于或等于第二预设阈值时，便可确定该待选车辆图像为与所述目标车辆匹配的目标待选车辆图像。其中，本领域技术人员可通过测试得到所述第二预设阈值。当然，本发明的实施例不限于此。
图9是实施图8的方法实施例的车辆的相似距离的示意图。如图9所示，上面的第一排的方框中的图像是根据余弦距离获得的排序在前五的待选车辆图像，上面的第一排最左边的图像是目标车辆的图像，下面的一排图像是基于待选车辆图像与目标车辆图像的时空距离进行重新排序所得到的结果。具体地，通过公式一根据目标车辆图像和待选车辆图像的拍摄时间数值以及目标车辆图像和待选车辆图像的拍摄摄像头的编号计算得到车辆转移时间间隔的条件概率。然后，通过公式二根据车辆转移时间间隔的条件概率计算得到目标车辆图像与待选车辆图像之间的车辆的时空距离，再通过公式三根据已知的余弦距离和计算得到的时空距离计算得到目标车辆图像与待选车辆图像之间的车辆的相似距离。最后，根据目标车辆图像与待选车辆图像之间的车辆的相似距离对待选车辆图像的排序结果进行重新排序，获得待选车辆图像重新排序的结果。
本发明的示例性实施例旨在提出一种车辆检索方法，通过上述实施一或上述实施例二提供的车辆外观特征的识别方法来获取待检索图像中目标车辆的外观特征数据，并从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像，能够提高车辆检索的准确率。
本实施例的车辆检索方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例五
基于相同的技术构思，图10是示出根据本发明实施例五的车辆外观特征的识别装置的结构示意图。可用以执行如实施例一所述的车辆外观特征的识别方法流程。
参照图10，该车辆外观特征的识别装置包括第一获取模块501、提取模块502和融合模块503。
第一获取模块501，用于从待识别图像中，获取目标车辆的多个区域分割结果；
提取模块502，用于基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；
融合模块503，用于对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
通过本实施例提供的车辆外观特征的识别装置，从包括有目标车辆的待识别图像中，获取所述目标车辆的多个区域分割结果；然后基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；并对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据，本实施例识别得到的车辆外观特征包括车辆外观的局部区域的特征，能够更加准确地描述车辆的外观。此外，本实施例识别得到的车辆外观特征能够使得不同车辆图像中的车辆外观特征可直接进行比对，解决了不同车辆图像之间的不同区域无法比对的问题。
实施例六
基于相同的技术构思，图11是示出根据本发明实施例六的车辆外观特征的识别装置的结构示意图。可用以执行如实施例二所述的车辆外观特征的识别方法流程。
参照图11，该车辆外观特征的识别装置包括第一获取模块601、提取模块602和融合模块603。其中，第一获取模块601，用于从待识别图像中，获取目标车辆的多个区域分割结果；提取模块602，用于基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；融合模块603，用于对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
可选地，所述多个区域分割结果分别对应所述目标车辆的不同方位的区域。
可选地，所述多个区域分割结果包括所述目标车辆的前面、后面、左面和右面的分割结果。
可选地，所述第一获取模块601，包括：获取子模块6011，用于通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果。
可选地，所述第一神经网络具有第一特征提取层和连接在所述第一特征提取层末端的第一计算层，其中，所述获取子模块6011，具体用于：通过所述第一特征提取层对所述待识别图像进行特征提取，得到所述目标车辆的多个关键点；通过所述第一计算层对所述多个关键点进行分类，得到多个关键点集群，并且分别针对每个所述关键点集群中所有关键点的特征图进行融合，获得各个所述关键点集群对应的区域分割结果。
可选地，所述提取模块602，包括：提取子模块6021，用于基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据。
可选地，所述第二神经网络具有第一处理子网和分别与所述第一处理子网的输出端连接的多个第二处理子网，其中，所述第一处理子网具有第二特征提取层、第一启动模块和第一池化层，每个所述第二处理子网具有与所述第一处理子网的输出端连接的第二计算层、第二启动模块和第二池化层。
可选地，所述提取子模块6021，包括：第一特征提取单元6022，用于通过所述第二特征提取层对所述待识别图像进行卷积操作和池化操作，获得所述目标车辆的全局特征图；第二特征提取单元6023，用于通过所述第一启动模块对所述全局特征图进行卷积操作和池化操作，获得所述目标车辆的第一特征图集合；第一池化单元6024，用于通过所述第一池化层对所述第一特征图集合中的所有特征图进行池化操作，获得所述目标车辆的全局特征向量。
可选地，所述提取子模块6021，还包括：第一计算单元6026，用于通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘，获得所述多个区域分割结果分别对应的局部特征图；第三特征提取单元6027，用于通过所述第二启动模块对各个所述区域分割结果的局部特征图进行卷积操作和池化操作，获得各个所述区域分割结果对应的第二特征图集合；第二池化单元6028，用于通过所述第二池化层对各个所述区域分割结果的第二特征图集合进行池化操作，获得各个所述区域分割结果对应的第一区域特征向量。
可选地，所述提取子模块6021，还包括：第二计算单元6025，用于通过所述第二计算层将所述多个区域分割结果分别缩放到与所述全局特征图的尺寸相同的尺寸。
可选地，所述融合模块603，包括：融合子模块6031，用于通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合。
可选地，所述第三神经网络具有与所述第二神经网络的各个输出端连接的第一全连接层、第三计算层和第二全连接层，其中，所述融合子模块6031，包括：第一获取单元6032，用于通过所述第一全连接层获取各个第一区域特征向量的权重值；第三计算单元6033，用于通过所述第三计算层根据所述权重值，对各个所述第一区域特征向量分别加权，获得相应的各个第二区域特征向量；映射单元6034，用于通过所述第二全连接层对各个所述第二区域特征向量和全局特征向量进行映射操作，获得所述目标车辆的外观特征向量。
可选地，所述第一获取单元6032，具体用于：对各个所述第一区域特征向量进行拼接操作，获得拼接后的第一区域特征向量；通过所述第一全连接层对所述拼接后的第一区域特征向量进行映射操作，获得各个所述第一区域特征向量对应的标量的集合；对所述集合中的每个标量进行归一化操作，获得各个所述第一区域特征向量的权重值。
可选地，所述第一特征提取层为沙漏型网络结构。
需要说明的是，对于本发明实施例提供的车辆外观特征的识别装置还涉及的具体细节已在本发明实施例提供的车辆外观特征的识别方法中作了详细的说明，在此不在赘述。
实施例七
基于相同的技术构思，图12是示出根据本发明实施例七的车辆检索装置的结构示意图。可用以执行如实施例三所述的车辆检索方法流程。
参照图12，该车辆检索装置包括第二获取模块701和查找模块702。
第二获取模块701，用于通过根据实施例五或实施例六所述的装置获取待检索图像中目标车辆的外观特征数据；
查找模块702，用于从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
本发明的示例性实施例旨在提出一种车辆检索装置，通过上述实施五或上述实施例六提供的车辆外观特征的识别装置来获取待检索图像中目标车辆的外观特征数据，并从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像，能够提高车辆检索的准确率。
实施例八
基于相同的技术构思，图13是示出根据本发明实施例八的车辆检索装置的结构示意图。可用以执行如实施例四所述的车辆检索方法流程。
参照图13，该车辆检索装置包括第二获取模块804和查找模块805。第二获取模块804，用于通过根据实施例五或实施例六所述的装置获取待检索图像中目标车辆的外观特征数据；查找模块805，用于从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
可选地，所述查找模块805，具体用于：确定所述目标车辆的外观特征向量分别与所述待选车辆图像库中各个待选车辆图像的车辆的外观特征向量的余弦距离；根据所述余弦距离确定与所述目标车辆匹配的目标待选车辆图像。
可选地，所述装置还包括：第三获取模块801，用于获取所述待检索图像的拍摄时间和/或拍摄位置以及所述各个所述待选车辆图像的拍摄时间和/或拍摄位置；第一确定模块802，用于根据所述拍摄时间和/或所述拍摄位置确定所述目标车辆与所述各个所述待选车辆图像中的车辆的时空距离；第二确定模块803，用于根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像。
可选地，所述第二确定模块803，具体用于：根据所述余弦距离，在所述待选车辆图像库中获取多个所述待选车辆图像；分别基于每个所述待选车辆图像的拍摄时间及拍摄位置，确定所述待选车辆图像与所述目标车辆的时空匹配概率；基于所述余弦距离和所述时空匹配概率，确定与所述目标车辆匹配的目标待选车辆图像。
需要说明的是，对于本发明实施例提供的车辆检索装置还涉及的具体细节已在本发明实施例提供的车辆检索方法中作了详细的说明，在此不在赘述。
实施例九
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图14，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备900的结构示意图。如图14所示，电子设备900包括一个或多个第一处理器、第一通信元件等，所述一个或多个第一处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个图像处理器(GPU)913等，第一处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。本实施例中，第一只读存储器902和随机访问存储器903统称为第一存储器。第一通信元件包括通信组件912和/或通信接口909。其中，通信组件912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口909包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口909经由诸如因特网的网络执行通信处理。
第一处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指令，通过第一通信总线904与通信组件912相连、并经通信组件912与其他目标设备通信，从而完成本发明实施例提供的任一项车辆外观特征的识别方法对应的操作，例如，从待识别图像中，获取目标车辆的多个区域分割结果；基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
此外，在RAM 903中，还可存储有装置操作所需的各种程序和数据。CPU901或GPU913、ROM902以及RAM903通过第一通信总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使第一处理器执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至第一通信总线904。通信组件912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口909。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的，如图14所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图14的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，从待识别图像中，获取目标车辆的多个区域分割结果；基于所述多个区域分割结果，从所述待识别图像中提取全局特征数据和多个区域特征数据；对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被第一处理器执行时，执行本发明实施例的方法中限定的上述功能。
实施例十
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图15，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备1000的结构示意图。如图15所示，电子设备1000包括一个或多个第二处理器、第二通信元件等，所述一个或多个第二处理器例如：一个或多个中央处理单元(CPU)1001，和/或一个或多个图像处理器(GPU)1013等，第二处理器可以根据存储在只读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。本实施例中，第二只读存储器1002和随机访问存储器1003统称为第二存储器。第二通信元件包括通信组件1012和/或通信接口1009。其中，通信组件1012可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口1009包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口1009经由诸如因特网的网络执行通信处理。
第二处理器可与只读存储器1002和/或随机访问存储器1003中通信以执行可执行指令，通过第二通信总线1004与通信组件1012相连、并经通信组件1012与其他目标设备通信，从而完成本发明实施例提供的任一项车辆检索方法对应的操作，例如，通过根据上述实施例一或实施例二所述的方法获取待检索图像中目标车辆的外观特征数据；从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
此外，在RAM 1003中，还可存储有装置操作所需的各种程序和数据。CPU1001或GPU1013、ROM1002以及RAM1003通过第二通信总线1004彼此相连。在有RAM1003的情况下，ROM1002为可选模块。RAM1003存储可执行指令，或在运行时向ROM1002中写入可执行指令，可执行指令使第二处理器执行上述通信方法对应的操作。输入/输出(I/O)接口1005也连接至第二通信总线1004。通信组件1012可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口1009。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
需要说明的，如图15所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图15的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，通过根据上述实施例一或实施例二所述的方法获取待检索图像中目标车辆的外观特征数据；从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被第二处理器执行时，执行本发明实施例的方法中限定的上述功能。
需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明实施例的方法的程序的记录介质。
本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式，很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (38)

1.一种车辆外观特征的识别方法，其特征在于，所述方法包括：
从待识别图像中，获取目标车辆的多个区域分割结果；
基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取全局特征数据和多个区域特征数据，其中，所述第二神经网络具有第一处理子网和分别与所述第一处理子网的输出端连接的多个第二处理子网；
对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
2.根据权利要求1所述的方法，其特征在于，所述多个区域分割结果分别对应所述目标车辆的不同方位的区域。
3.根据权利要求2所述的方法，其特征在于，所述多个区域分割结果包括所述目标车辆的前面、后面、左面和右面的分割结果。
4.根据权利要求1～3中任意一项权利要求所述的方法，其特征在于，所述从待识别图像中，获取目标车辆的多个区域分割结果，包括：
通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果。
5.根据权利要求4所述的方法，其特征在于，所述第一神经网络具有第一特征提取层和连接在所述第一特征提取层末端的第一计算层，
其中，通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果，包括：
通过所述第一特征提取层对所述待识别图像进行特征提取，得到所述目标车辆的多个关键点；
通过所述第一计算层对所述多个关键点进行分类，得到多个关键点集群，并且分别针对每个所述关键点集群中所有关键点的特征图进行融合，获得各个所述关键点集群对应的区域分割结果。
6.根据权利要求1～3中任意一项权利要求所述的方法，其特征在于，所述第一处理子网具有第二特征提取层、第一启动模块和第一池化层，每个所述第二处理子网具有与所述第一处理子网的输出端连接的第二计算层、第二启动模块和第二池化层。
7.根据权利要求6所述的方法，其特征在于，所述基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据，包括：
通过所述第二特征提取层对所述待识别图像进行卷积操作和池化操作，获得所述目标车辆的全局特征图；
通过所述第一启动模块对所述全局特征图进行卷积操作和池化操作，获得所述目标车辆的第一特征图集合；
通过所述第一池化层对所述第一特征图集合中的所有特征图进行池化操作，获得所述目标车辆的全局特征向量。
8.根据权利要求7所述的方法，其特征在于，所述基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取所述目标车辆的全局特征数据和多个区域特征数据，还包括：
通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘，获得所述多个区域分割结果分别对应的局部特征图；
通过所述第二启动模块对各个所述区域分割结果的局部特征图进行卷积操作和池化操作，获得各个所述区域分割结果对应的第二特征图集合；
通过所述第二池化层对各个所述区域分割结果的第二特征图集合进行池化操作，获得各个所述区域分割结果对应的第一区域特征向量。
9.根据权利要求8所述的方法，其特征在于，所述通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘之前，所述方法还包括：
通过所述第二计算层将所述多个区域分割结果分别缩放到与所述全局特征图的尺寸相同的尺寸。
10.根据权利要求8所述的方法，其特征在于，所述对所述全局特征数据和多个所述区域特征数据进行融合，包括：
通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合。
11.根据权利要求10所述的方法，其特征在于，所述第三神经网络具有与所述第二神经网络的各个输出端连接的第一全连接层、第三计算层和第二全连接层，
其中，所述通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合，包括：
通过所述第一全连接层获取各个第一区域特征向量的权重值；
通过所述第三计算层根据所述权重值，对各个所述第一区域特征向量分别加权，获得相应的各个第二区域特征向量；
通过所述第二全连接层对各个所述第二区域特征向量和全局特征向量进行映射操作，获得所述目标车辆的外观特征向量。
12.根据权利要求11所述的方法，其特征在于，所述通过所述第一全连接层获取各个第一区域特征向量的权重值，包括：
对各个所述第一区域特征向量进行拼接操作，获得拼接后的第一区域特征向量；
通过所述第一全连接层对所述拼接后的第一区域特征向量进行映射操作，获得各个所述第一区域特征向量对应的标量的集合；
对所述集合中的每个标量进行归一化操作，获得各个所述第一区域特征向量的权重值。
13.根据权利要求5所述的方法，其特征在于，所述第一特征提取层为沙漏型网络结构。
14.一种车辆检索方法，其特征在于，所述方法包括：
通过根据权利要求1～13中任意一项权利要求所述的方法获取待检索图像中目标车辆的外观特征数据；
从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
15.根据权利要求14所述的方法，其特征在于，所述从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像，包括：
确定所述目标车辆的外观特征向量分别与所述待选车辆图像库中各个待选车辆图像的车辆的外观特征向量的余弦距离；
根据所述余弦距离确定与所述目标车辆匹配的目标待选车辆图像。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
获取所述待检索图像的拍摄时间和/或拍摄位置以及各个所述待选车辆图像的拍摄时间和/或拍摄位置；
根据所述拍摄时间和/或所述拍摄位置确定所述目标车辆与各个所述待选车辆图像中的车辆的时空距离；
根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像。
17.根据权利要求16所述的方法，其特征在于，所述根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像，包括：
根据所述余弦距离，在所述待选车辆图像库中获取多个所述待选车辆图像；
分别基于每个所述待选车辆图像的拍摄时间及拍摄位置，确定所述待选车辆图像与所述目标车辆的时空匹配概率；
基于所述余弦距离和所述时空匹配概率，确定与所述目标车辆匹配的目标待选车辆图像。
18.一种车辆外观特征的识别装置，其特征在于，所述装置包括：
第一获取模块，用于从待识别图像中，获取目标车辆的多个区域分割结果；
提取模块，用于基于所述多个区域分割结果，通过用于特征提取的第二神经网络从所述待识别图像中提取全局特征数据和多个区域特征数据，其中，所述第二神经网络具有第一处理子网和分别与所述第一处理子网的输出端连接的多个第二处理子网；
融合模块，用于对所述全局特征数据和多个所述区域特征数据进行融合，得到所述目标车辆的外观特征数据。
19.根据权利要求18所述的装置，其特征在于，所述多个区域分割结果分别对应所述目标车辆的不同方位的区域。
20.根据权利要求19所述的装置，其特征在于，所述多个区域分割结果包括所述目标车辆的前面、后面、左面和右面的分割结果。
21.根据权利要求18～20中任意一项权利要求所述的装置，其特征在于，所述第一获取模块，包括：
获取子模块，用于通过用于区域提取的第一神经网络从待识别图像中，获取所述目标车辆的多个区域分割结果。
22.根据权利要求21所述的装置，其特征在于，所述第一神经网络具有第一特征提取层和连接在所述第一特征提取层末端的第一计算层，
其中，所述获取子模块，具体用于：
通过所述第一特征提取层对所述待识别图像进行特征提取，得到所述目标车辆的多个关键点；
通过所述第一计算层对所述多个关键点进行分类，得到多个关键点集群，并且分别针对每个所述关键点集群中所有关键点的特征图进行融合，获得各个所述关键点集群对应的区域分割结果。
23.根据权利要求18～20中任意一项权利要求所述的装置，其特征在于
所述第一处理子网具有第二特征提取层、第一启动模块和第一池化层，每个所述第二处理子网具有与所述第一处理子网的输出端连接的第二计算层、第二启动模块和第二池化层。
24.根据权利要求23所述的装置，其特征在于，所述提取模块，包括：
第一特征提取单元，用于通过所述第二特征提取层对所述待识别图像进行卷积操作和池化操作，获得所述目标车辆的全局特征图；
第二特征提取单元，用于通过所述第一启动模块对所述全局特征图进行卷积操作和池化操作，获得所述目标车辆的第一特征图集合；
第一池化单元，用于通过所述第一池化层对所述第一特征图集合中的所有特征图进行池化操作，获得所述目标车辆的全局特征向量。
25.根据权利要求24所述的装置，其特征在于，所述提取模块，还包括：
第一计算单元，用于通过所述第二计算层将所述多个区域分割结果分别与所述全局特征图进行点乘，获得所述多个区域分割结果分别对应的局部特征图；
第三特征提取单元，用于通过所述第二启动模块对各个所述区域分割结果的局部特征图进行卷积操作和池化操作，获得各个所述区域分割结果对应的第二特征图集合；
第二池化单元，用于通过所述第二池化层对各个所述区域分割结果的第二特征图集合进行池化操作，获得各个所述区域分割结果对应的第一区域特征向量。
26.根据权利要求25所述的装置，其特征在于，所述提取模块，还包括：
第二计算单元，用于通过所述第二计算层将所述多个区域分割结果分别缩放到与所述全局特征图的尺寸相同的尺寸。
27.根据权利要求25所述的装置，其特征在于，所述融合模块，包括：
融合子模块，用于通过用于特征融合的第三神经网络对所述目标车辆的全局特征数据和多个所述区域特征数据进行融合。
28.根据权利要求27所述的装置，其特征在于，所述第三神经网络具有与所述第二神经网络的各个输出端连接的第一全连接层、第三计算层和第二全连接层，
其中，所述融合子模块，包括：
第一获取单元，用于通过所述第一全连接层获取各个第一区域特征向量的权重值；
第三计算单元，用于通过所述第三计算层根据所述权重值，对各个所述第一区域特征向量分别加权，获得相应的各个第二区域特征向量；
映射单元，用于通过所述第二全连接层对各个所述第二区域特征向量和全局特征向量进行映射操作，获得所述目标车辆的外观特征向量。
29.根据权利要求28所述的装置，其特征在于，所述第一获取单元，具体用于：
对各个所述第一区域特征向量进行拼接操作，获得拼接后的第一区域特征向量；
通过所述第一全连接层对所述拼接后的第一区域特征向量进行映射操作，获得各个所述第一区域特征向量对应的标量的集合；
对所述集合中的每个标量进行归一化操作，获得各个所述第一区域特征向量的权重值。
30.根据权利要求22所述的装置，其特征在于，所述第一特征提取层为沙漏型网络结构。
31.一种车辆检索装置，其特征在于，所述装置包括：
第二获取模块，用于通过根据权利要求18～30中任意一项权利要求所述的装置获取待检索图像中目标车辆的外观特征数据；
查找模块，用于从待选车辆图像库中查找与所述外观特征数据匹配的目标待选车辆图像。
32.根据权利要求31所述的装置，其特征在于，所述查找模块，具体用于：
确定所述目标车辆的外观特征向量分别与所述待选车辆图像库中各个待选车辆图像的车辆的外观特征向量的余弦距离；
根据所述余弦距离确定与所述目标车辆匹配的目标待选车辆图像。
33.根据权利要求32所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取所述待检索图像的拍摄时间和/或拍摄位置以及各个所述待选车辆图像的拍摄时间和/或拍摄位置；
第一确定模块，用于根据所述拍摄时间和/或所述拍摄位置确定所述目标车辆与各个所述待选车辆图像中的车辆的时空距离；
第二确定模块，用于根据所述余弦距离和所述时空距离确定所述待选车辆图像库中与所述目标车辆匹配的目标待选车辆图像。
34.根据权利要求33所述的装置，其特征在于，所述第二确定模块，具体用于：
根据所述余弦距离，在所述待选车辆图像库中获取多个所述待选车辆图像；
分别基于每个所述待选车辆图像的拍摄时间及拍摄位置，确定所述待选车辆图像与所述目标车辆的时空匹配概率；
基于所述余弦距离和所述时空匹配概率，确定与所述目标车辆匹配的目标待选车辆图像。
35.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1～13中任意一项权利要求所述的车辆外观特征的识别方法的步骤。
36.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求14～17中任意一项权利要求所述的车辆检索方法的步骤。
37.一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；
所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如权利要求1～13中任意一项权利要求所述的车辆外观特征的识别方法的步骤。
38.一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；
所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如权利要求14～17中任意一项权利要求所述的车辆检索方法的步骤。
CN201710507778.5A 2017-06-28 2017-06-28 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 Active CN108229468B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710507778.5A CN108229468B (zh) 2017-06-28 2017-06-28 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
PCT/CN2018/093165 WO2019001481A1 (zh) 2017-06-28 2018-06-27 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
JP2019562381A JP7058669B2 (ja) 2017-06-28 2018-06-27 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス
US16/678,870 US11232318B2 (en) 2017-06-28 2019-11-08 Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices
US17/533,469 US20220083801A1 (en) 2017-06-28 2021-11-23 Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices
US17/533,484 US20220083802A1 (en) 2017-06-28 2021-11-23 Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710507778.5A CN108229468B (zh) 2017-06-28 2017-06-28 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN108229468A CN108229468A (zh) 2018-06-29
CN108229468B true CN108229468B (zh) 2020-02-21

Family

ID=62658096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710507778.5A Active CN108229468B (zh) 2017-06-28 2017-06-28 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备

Country Status (4)

Country Link
US (3) US11232318B2 (zh)
JP (1) JP7058669B2 (zh)
CN (1) CN108229468B (zh)
WO (1) WO2019001481A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579805A (zh) * 2022-03-01 2022-06-03 北京赛思信安技术股份有限公司 一种基于注意力机制的卷积神经网络相似视频检索方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US11556583B2 (en) * 2017-09-04 2023-01-17 Nec Corporation Information processing system, information processing method, and storage medium
CN109086690B (zh) * 2018-07-13 2021-06-22 北京旷视科技有限公司 图像特征提取方法、目标识别方法及对应装置
CN110851640B (zh) * 2018-07-24 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像搜索方法、装置及***
CN109145777A (zh) * 2018-08-01 2019-01-04 北京旷视科技有限公司 车辆重识别方法、装置及***
EP3623996A1 (en) * 2018-09-12 2020-03-18 Aptiv Technologies Limited Method for determining a coordinate of a feature point of an object in a 3d space
CN111062400B (zh) * 2018-10-16 2024-04-30 浙江宇视科技有限公司 目标匹配方法及装置
CN109583408A (zh) * 2018-12-07 2019-04-05 高新兴科技集团股份有限公司 一种基于深度学习的车辆关键点对齐方法
CN109800321B (zh) * 2018-12-24 2020-11-10 银江股份有限公司 一种卡口图像车辆检索方法及***
CN109740541B (zh) * 2019-01-04 2020-08-04 重庆大学 一种行人重识别***与方法
CN109547843B (zh) * 2019-02-01 2022-05-17 腾讯音乐娱乐科技（深圳）有限公司 对音视频进行处理的方法和装置
CN111611414B (zh) * 2019-02-22 2023-10-24 杭州海康威视数字技术股份有限公司 车辆检索方法、装置及存储介质
US11003947B2 (en) * 2019-02-25 2021-05-11 Fair Isaac Corporation Density based confidence measures of neural networks for reliable predictions
CN110110718B (zh) * 2019-03-20 2022-11-22 安徽名德智能科技有限公司 一种人工智能图像处理装置
CN111753601B (zh) * 2019-03-29 2024-04-12 华为技术有限公司 一种图像处理的方法、装置以及存储介质
JP7253967B2 (ja) * 2019-04-23 2023-04-07 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム
CN110097108B (zh) * 2019-04-24 2021-03-02 佳都新太科技股份有限公司 非机动车的识别方法、装置、设备及存储介质
CN110222220B (zh) * 2019-05-06 2024-05-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110472656B (zh) * 2019-07-03 2023-09-05 平安科技（深圳）有限公司 车辆图像分类方法、装置、计算机设备及存储介质
CN110348463B (zh) * 2019-07-16 2021-08-24 北京百度网讯科技有限公司 用于识别车辆的方法和装置
CN112307833A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
CN110458238A (zh) * 2019-08-02 2019-11-15 南通使爱智能科技有限公司 一种证件圆弧点检测和定位的方法及***
CN110458086A (zh) * 2019-08-07 2019-11-15 北京百度网讯科技有限公司 车辆重识别方法及装置
CN110543841A (zh) * 2019-08-21 2019-12-06 中科视语(北京)科技有限公司 行人重识别方法、***、电子设备及介质
CN110659374A (zh) * 2019-09-19 2020-01-07 江苏鸿信***集成有限公司 一种基于神经网络提取车辆特征值及属性的以图搜图方法
CN110647938B (zh) * 2019-09-24 2022-07-15 北京市商汤科技开发有限公司 图像处理方法及相关装置
US11429809B2 (en) 2019-09-24 2022-08-30 Beijing Sensetime Technology Development Co., Ltd Image processing method, image processing device, and storage medium
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN113129330B (zh) * 2020-01-14 2024-05-10 北京地平线机器人技术研发有限公司 一种可移动设备的轨迹预测方法及装置
CN111192461B (zh) * 2020-01-21 2022-06-28 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及***
CN111368639B (zh) * 2020-02-10 2022-01-11 浙江大华技术股份有限公司 车辆越线判定方法、装置、计算机设备和存储介质
CN111340882B (zh) * 2020-02-20 2024-02-20 盈嘉互联（北京）科技有限公司 基于图像的室内定位方法及装置
CN111340515B (zh) * 2020-03-02 2023-09-26 北京京东振世信息技术有限公司 一种特征信息生成和物品溯源方法和装置
CN113807147B (zh) * 2020-06-15 2024-05-21 北京达佳互联信息技术有限公司 一种目标检测及其网络的训练方法、装置
CN111723768B (zh) * 2020-06-30 2023-08-11 北京百度网讯科技有限公司 车辆重识别的方法、装置、设备和存储介质
CN111931768A (zh) * 2020-08-14 2020-11-13 中国科学院重庆绿色智能技术研究院 一种自适应样本分布的车辆识别方法及***
CN112101183B (zh) * 2020-09-10 2021-08-24 深圳市商汤科技有限公司 车辆识别方法及装置、电子设备及存储介质
CN112731558B (zh) * 2020-12-16 2021-12-10 中国科学技术大学 一种地震面波与接收函数的联合反演方法及装置
CN112541463A (zh) * 2020-12-21 2021-03-23 上海眼控科技股份有限公司 模型训练方法、外观分割方法、设备及存储介质
CN112766407B (zh) * 2021-01-29 2023-12-05 北京达佳互联信息技术有限公司 一种图像识别方法、装置及存储介质
CN112905824A (zh) * 2021-02-08 2021-06-04 智慧眼科技股份有限公司 目标车辆追踪方法、装置、计算机设备及存储介质
CN113205546A (zh) * 2021-04-30 2021-08-03 四川云从天府人工智能科技有限公司 获得目标车辆运动轨迹的方法、***、介质及设备
CN113569911A (zh) * 2021-06-28 2021-10-29 北京百度网讯科技有限公司 车辆识别方法、装置、电子设备及存储介质
CN113569912A (zh) * 2021-06-28 2021-10-29 北京百度网讯科技有限公司 车辆识别方法、装置、电子设备及存储介质
CN113806576B (zh) * 2021-08-10 2023-08-18 深圳市广电信义科技有限公司 基于图像的车辆检索方法、装置、电子设备及存储介质
CN113537167B (zh) * 2021-09-15 2021-12-03 成都数联云算科技有限公司 一种车辆外观识别方法及***及装置及介质
CN114357609A (zh) * 2021-12-16 2022-04-15 东风汽车集团股份有限公司 一种汽车平台架构分析的方法、***和介质
CN115471732B (zh) * 2022-09-19 2023-04-18 温州丹悦线缆科技有限公司 电缆的智能化制备方法及其***
CN115512154A (zh) * 2022-09-21 2022-12-23 东南大学 基于深度学习神经网络的高速公路车辆图像检索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023220A (zh) * 2016-05-26 2016-10-12 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN106778867A (zh) * 2016-12-15 2017-05-31 北京旷视科技有限公司 目标检测方法和装置、神经网络训练方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107408119B (zh) * 2015-04-08 2020-11-06 株式会社日立制作所 图像检索装置、***以及方法
US9767381B2 (en) 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
CN105160333B (zh) * 2015-09-30 2018-08-17 深圳市华尊科技股份有限公司 一种车型识别方法及识别装置
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023220A (zh) * 2016-05-26 2016-10-12 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN106778867A (zh) * 2016-12-15 2017-05-31 北京旷视科技有限公司 目标检测方法和装置、神经网络训练方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579805A (zh) * 2022-03-01 2022-06-03 北京赛思信安技术股份有限公司 一种基于注意力机制的卷积神经网络相似视频检索方法

Also Published As

Publication number Publication date
JP7058669B2 (ja) 2022-04-22
US20220083801A1 (en) 2022-03-17
CN108229468A (zh) 2018-06-29
US11232318B2 (en) 2022-01-25
US20220083802A1 (en) 2022-03-17
JP2020520512A (ja) 2020-07-09
US20200074205A1 (en) 2020-03-05
WO2019001481A1 (zh) 2019-01-03

Similar Documents

Publication Publication Date Title
CN108229468B (zh) 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109993072B (zh) 基于超分辨图像生成的低分辨率行人重识别***和方法
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
Workman et al. A unified model for near and remote sensing
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN112070044B (zh) 一种视频物体分类方法及装置
CN110222718A (zh) 图像处理的方法及装置
CN112287954A (zh) 图像分类方法、图像分类模型的训练方法及其装置
CN112115805B (zh) 带双模态难挖掘三元-中心损失的行人重识别方法及***
CN116452937A (zh) 基于动态卷积与注意力机制的多模态特征目标检测方法
CN113408472A (zh) 目标重识别模型的训练方法、目标重识别方法及装置
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
Grigorev et al. Depth estimation from single monocular images using deep hybrid network
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
CN113537254A (zh) 图像特征提取方法、装置、电子设备及可读存储介质
CN115577768A (zh) 半监督模型训练方法和装置
CN115100469A (zh) 一种基于分割算法的目标属性识别方法、训练方法和装置
CN111027472A (zh) 一种基于视频光流和图像空间特征权重融合的视频识别方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN111667495A (zh) 一种图像场景解析方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 1101-1117, floor 11, No. 58, Beisihuan West Road, Haidian District, Beijing 100080

Patentee after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: 100084, room 7, floor 3, building 1, No. 710-712, Zhongguancun East Road, Beijing, Haidian District

Patentee before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.