CN113806576B - 基于图像的车辆检索方法、装置、电子设备及存储介质 - Google Patents

基于图像的车辆检索方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113806576B
CN113806576B CN202110913283.9A CN202110913283A CN113806576B CN 113806576 B CN113806576 B CN 113806576B CN 202110913283 A CN202110913283 A CN 202110913283A CN 113806576 B CN113806576 B CN 113806576B
Authority
CN
China
Prior art keywords
vehicle
queried
image
license plate
apparent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110913283.9A
Other languages
English (en)
Other versions
CN113806576A (zh
Inventor
文莉
黄宇恒
金晓峰
岳许要
张宏志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Radio & Tv Xinyi Technology Co ltd
Original Assignee
Shenzhen Radio & Tv Xinyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Radio & Tv Xinyi Technology Co ltd filed Critical Shenzhen Radio & Tv Xinyi Technology Co ltd
Priority to CN202110913283.9A priority Critical patent/CN113806576B/zh
Publication of CN113806576A publication Critical patent/CN113806576A/zh
Application granted granted Critical
Publication of CN113806576B publication Critical patent/CN113806576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于图像的车辆检索方法、装置、电子设备及存储介质，方法包括：获取待查询车辆的表观特征；获取待查询车牌的车牌特征；根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果；本发明实施例同时结合车辆的表观特征和车牌特征进行检索，提高了目标车辆的检索准确性，可广泛应用于图像处理技术领域。

Description

基于图像的车辆检索方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其是基于图像的车辆检索方法、装置、电子设备及存储介质。
背景技术
以图搜车技术是一种基于图像的车辆检索技术，其广泛应用于视频监控、智能交通以及智慧城市等领域。
随着DCNN(Deep Convolutional Neural Network)在许多应用领域，如行人重识别、人脸识别、细粒度分类等，取得巨大突破，也促进了DCNN(Deep Convolutional NeuralNetwork)在以图搜车领域的应用。目前，DCNN(Deep Convolutional Neural Network)框架用于以图搜车领域以提取车辆的全局表观特征与局部表观特征，进而使得同一目标车辆特征距离接近，不同目标车辆特征距离远离，以达到搜车时目标车辆能排序在前的目的。然而在实际应用中，同一车辆的表观特征在不同摄像机下的类内差异较大，在相同摄像机中不同车辆的表观特征的类间差异非常小，这样就导致基于表观特征的方法很难得到最优的结果。
发明内容
有鉴于此，本发明实施例提供基于图像的车辆检索方法、装置、电子设备及存储介质，以提高目标车辆的检索准确性。
本发明的一方面提供了一种基于图像的车辆检索方法，包括：
获取待查询车辆的表观特征；
获取待查询车牌的车牌特征；
根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；
根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；
根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果。
可选地，所述获取待查询车辆的表观特征，包括：
获取车辆图像集，将所述车辆图像集中属于同一车辆的图像归为同一类别，得到训练集；
建立车辆表观特征的特征提取网络；
将所述训练集输入所述特征提取网络中，得到车辆表观特征模型；
通过所述车辆表观特征模型提取所述待查询车辆的全局表观特征和局部表观特征。
可选地，所述获取待查询车辆的表观特征，还包括：
计算所述待查询车辆的表观特征之间的相似度，得到表观特征的第二相似度序列；
根据所述第二相似度序列确定第一过滤阈值；
根据所述第一过滤阈值对所述待查询车辆的表观特征进行过滤。
可选地，所述获取待查询车牌的车牌特征，包括：
获取车辆图像集，将所述车辆图像集中属于同一车辆的图像归为同一类别，得到训练集；
建立车牌验证网络；
将所述训练集输入至所述车牌验证网络，提取得到车牌特征。
可选地，所述获取待查询车牌的车牌特征，还包括：
计算所述待查询车辆的车牌特征之间的相似度，得到车牌特征的第三相似度序列；
根据所述第三相似度序列和所述第二相似度序列，确定第二过滤阈值；
根据所述第二过滤阈值，对所述车牌特征进行过滤。
可选地，所述根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离，包括：
获取所述待查询车辆的图像与车辆图像数据库中标准图像的时间戳信息；
获取所述待查询车辆的图像与所述标准图像之间最大时差；
获取所述待查询车辆的图像对应的摄像头之间的最短距离；
获取所有摄像头之间的最大距离；
根据所述时间戳信息、所述最大时差、所述最短距离以及所述最大距离，确定所述时空距离。
可选地，所述时空距离的计算公式为：
其中，Ti和Tj分别表示所述待查询车辆的图像i与车辆图像数据库中标准图像j的时间戳，Tmax表示所有待查询车辆的图像与车辆图像数据库中标准图像之间的最大时差；δ(Ci,Cj)是拍摄待查询车辆的图像i的摄像头Ci与拍摄待查询车辆的图像j的摄像头Cj之间的最短距离，Dmax是所有摄像头之间的最大距离。
本发明实施例的另一方面提供了一种基于图像的车辆检索装置，包括：
第一获取模块，用于获取待查询车辆的表观特征；
第二获取模块，用于获取待查询车牌的车牌特征；
第一计算模块，用于根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；
第二计算模块，用于根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；
确定模块，用于根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例首先获取待查询车辆的表观特征；接着获取待查询车牌的车牌特征；然后根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；再根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；最后根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果；本发明实施例同时结合车辆的表观特征和车牌特征进行检索，提高了目标车辆的检索准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像的车辆检索方法的流程图；
图2为本发明实施例提供的车辆表观特征提取、排序与过滤的流程示意图；
图3为本发明实施例提供的车牌特征提取、排序与过滤的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，本发明提供了一种基于图像的车辆检索方法，包括：
获取待查询车辆的表观特征；
获取待查询车牌的车牌特征；
根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；
根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；
根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果。
可选地，所述获取待查询车辆的表观特征，包括：
获取车辆图像集，将所述车辆图像集中属于同一车辆的图像归为同一类别，得到训练集；
建立车辆表观特征的特征提取网络；
将所述训练集输入所述特征提取网络中，得到车辆表观特征模型；
通过所述车辆表观特征模型提取所述待查询车辆的全局表观特征和局部表观特征。
可选地，所述获取待查询车辆的表观特征，还包括：
计算所述待查询车辆的表观特征之间的相似度，得到表观特征的第二相似度序列；
根据所述第二相似度序列确定第一过滤阈值；
根据所述第一过滤阈值对所述待查询车辆的表观特征进行过滤。
可选地，所述获取待查询车牌的车牌特征，包括：
获取车辆图像集，将所述车辆图像集中属于同一车辆的图像归为同一类别，得到训练集；
建立车牌验证网络；
将所述训练集输入至所述车牌验证网络，提取得到车牌特征。
可选地，所述获取待查询车牌的车牌特征，还包括：
计算所述待查询车辆的车牌特征之间的相似度，得到车牌特征的第三相似度序列；
根据所述第三相似度序列和所述第二相似度序列，确定第二过滤阈值；
根据所述第二过滤阈值，对所述车牌特征进行过滤。
可选地，所述根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离，包括：
获取所述待查询车辆的图像与车辆图像数据库中标准图像的时间戳信息；
获取所述待查询车辆的图像与所述标准图像之间最大时差；
获取所述待查询车辆的图像对应的摄像头之间的最短距离；
获取所有摄像头之间的最大距离；
根据所述时间戳信息、所述最大时差、所述最短距离以及所述最大距离，确定所述时空距离。
可选地，所述时空距离的计算公式为：
其中，Ti和Tj分别表示所述待查询车辆的图像i与车辆图像数据库中标准图像j的时间戳，Tmax表示所有待查询车辆的图像与车辆图像数据库中标准图像之间的最大时差；δ(Ci,Cj)是拍摄待查询车辆的图像i的摄像头Ci与拍摄待查询车辆的图像j的摄像头Cj之间的最短距离，Dmax是所有摄像头之间的最大距离。
下面结合说明书附图，对本发明的方法的实现过程进行详细描述。
本发明实施例提供了一种渐进式以图搜车的方法，具体采用了一种由粗到精的方式逐步改善以图搜车的效果。该方法首先在特征域内进行由粗到精的搜索，即先提取车辆的表观特征(颜色、语义属性等)进行粗筛选，再使用车牌信息进行精确匹配，其次按照由近及远的原则计算时空距离，最后利用表观特征相似度、车牌特征相似度以及时空距离的加权和进行重排序。一种渐进式以图搜车技术的整体方案如图1，具体实施方式如下：
参照图2，S1：车辆表观特征提取、排序与过滤。
S11、采集车辆图像，并把同一辆车的图像归为一类，建立训练集；
S12、采用包括但不限于卷积神经网络设计车辆表观特征提取网络结构；
S13、将S11中建立的训练集样本输入S12中的特征提取网络，得到车辆表观特征模型以提取车辆图像的全局表观特征与局部表观特征；
S14、采用包括但不限于余弦距离计算车辆的表观特征相似度并排序；
余弦距离如下所示：
其中||·||为向量的L-2范数，X和Y分别为查询图像与检索图像的特征向量,θ为两个特征向量之间的夹角。
S15、利用表观特征相似度与搜索数据库的大小自适应确定过滤阈值；
自适应的过滤阈值由下式得到，其中nt为测试集样本数目；ng为检索库中样本数量；tmax为常量，表示最大阈值，根据经验指定；ttest为常量，为在测试集中测定的最佳阈值或者根据经验指定；t为自适应阈值。
S16、根据过滤阈值过滤掉表观特征极其不相似的车辆，并保存表观特征相似的车辆图像数据、表观特征相似度。
参照图3，S2：车牌特征提取、排序与过滤。
S21、获取车牌图像，并把同一辆车的车牌归为一类，建立训练集；
S22、采用包括但不限于一种基于对偶神经网络(Siamese neural network，SNN)的车牌验证方法设计车牌验证网络结构；
S23、将S21中建立的训练集样本输入S22中构建的车牌验证网络，得到车牌验证模型以提取车牌特征；
S24、采用包括但不限于余弦距离计算车牌特征相似度并排序；
余弦距离如下所示：
其中||·||为向量的L-2范数，X和Y分别为查询图像与检索图像的特征向量,θ为两个特征向量之间的夹角。
S25、利用车牌特征相似度与表观特征相似度的加权以及搜索数据集的大小自适应确定过滤阈值；
车牌特征相似度与表观特征相似度加权得分由下式获取，splate为车牌特征相似度，sapparence为表观特征相似度，ω为加权权重，ω的值根据本方案在自建测试集合上性能表现获取。
score＝ω×splate+(1-ω)×sapparence,(0≤ω≤1.0)
自适应的过滤阈值由下式得到，其中nt为测试集样本数目；ng为检索库中样本数量；tmax为常量，表示最大阈值，根据经验指定；ttest为常量，为在测试集中测定的最佳阈值或者根据经验指定；t为自适应阈值。
S26、根据过滤阈值过滤车牌特征与表观特征相似度的加权和小于阈值的车辆，并保存车辆图像数据、表观特征相似度以及车牌特征相似度。
S3：计算时空距离。
S31、根据由近及远的原则计算时空距离，具体计算方法如下：
其中Ti和Tj分别表示查询图像i与数据库图像j的时间戳，Tmax表示所有查询图像和数据库图像之间的最大时差。δ(Ci,Cj)是摄像头Ci与摄像头Cj之间的最短距离，Dmax是所有摄像头之间的最大距离。
S4：整体相似度计算与排序。
S41、根据表观特征相似度、车牌特征相似度以及时空距离的加权确定整体的相似度大小；
S42、利用整体的相似度大小进行重新排序；
本发明实现了相似度排序不断优化的过程，且对同一角度下，两种颜色和类型相同的车辆能进行较好地区分，也能较好地把不同角度下，同一辆车给以较高的相似度。
本发明实施例的另一方面提供了一种基于图像的车辆检索装置，包括：
第一获取模块，用于获取待查询车辆的表观特征；
第二获取模块，用于获取待查询车牌的车牌特征；
第一计算模块，用于根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；
第二计算模块，用于根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；
确定模块，用于根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.基于图像的车辆检索方法，其特征在于，包括：
获取待查询车辆的表观特征；
获取待查询车牌的车牌特征；
根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；
根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；
根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果；
所述根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离，包括：
获取所述待查询车辆的图像与车辆图像数据库中标准图像的时间戳信息；
获取所述待查询车辆的图像与所述标准图像之间最大时差；
获取所述待查询车辆的图像对应的摄像头之间的最短距离；
获取所有摄像头之间的最大距离；
根据所述时间戳信息、所述最大时差、所述最短距离以及所述最大距离，确定所述时空距离；
所述时空距离的计算公式为：
其中，Ti和Tj分别表示所述待查询车辆的图像i与车辆图像数据库中标准图像j的时间戳，Tmax表示所有待查询车辆的图像与车辆图像数据库中标准图像之间的最大时差；δ(Ci,Cj)是拍摄待查询车辆的图像i的摄像头Ci与拍摄待查询车辆的图像j的摄像头Cj之间的最短距离，Dmax是所有摄像头之间的最大距离。
2.根据权利要求1所述的基于图像的车辆检索方法，其特征在于，所述获取待查询车辆的表观特征，包括：
获取车辆图像集，将所述车辆图像集中属于同一车辆的图像归为同一类别，得到训练集；
建立车辆表观特征的特征提取网络；
将所述训练集输入所述特征提取网络中，得到车辆表观特征模型；
通过所述车辆表观特征模型提取所述待查询车辆的全局表观特征和局部表观特征。
3.根据权利要求2所述的基于图像的车辆检索方法，其特征在于，所述获取待查询车辆的表观特征，还包括：
计算所述待查询车辆的表观特征之间的相似度，得到表观特征的第二相似度序列；
根据所述第二相似度序列确定第一过滤阈值；
根据所述第一过滤阈值对所述待查询车辆的表观特征进行过滤。
4.根据权利要求3所述的基于图像的车辆检索方法，其特征在于，所述获取待查询车牌的车牌特征，包括：
获取车辆图像集，将所述车辆图像集中属于同一车辆的图像归为同一类别，得到训练集；
建立车牌验证网络；
将所述训练集输入至所述车牌验证网络，提取得到车牌特征。
5.根据权利要求4所述的基于图像的车辆检索方法，其特征在于，所述获取待查询车牌的车牌特征，还包括：
计算所述待查询车辆的车牌特征之间的相似度，得到车牌特征的第三相似度序列；
根据所述第三相似度序列和所述第二相似度序列，确定第二过滤阈值；
根据所述第二过滤阈值，对所述车牌特征进行过滤。
6.基于图像的车辆检索装置，其特征在于，包括：
第一获取模块，用于获取待查询车辆的表观特征；
第二获取模块，用于获取待查询车牌的车牌特征；
第一计算模块，用于根据由近及远的原则计算所述待查询车辆与车辆图像数据库中标准图像之间的时空距离；
第二计算模块，用于根据所述表观特征、所述车牌特征以及所述时空距离，计算待查询图像与车辆图像数据库中各个标准图像之间的相似度，得到第一相似度序列；
确定模块，用于根据所述第一相似度序列确定相似度最高的标准图像，得到所述待查询车辆的检索结果；
其中，所述第一计算模块具体用于：
获取所述待查询车辆的图像与车辆图像数据库中标准图像的时间戳信息；
获取所述待查询车辆的图像与所述标准图像之间最大时差；
获取所述待查询车辆的图像对应的摄像头之间的最短距离；
获取所有摄像头之间的最大距离；
根据所述时间戳信息、所述最大时差、所述最短距离以及所述最大距离，确定所述时空距离；
所述时空距离的计算公式为：
其中，Ti和Tj分别表示所述待查询车辆的图像i与车辆图像数据库中标准图像j的时间戳，Tmax表示所有待查询车辆的图像与车辆图像数据库中标准图像之间的最大时差；δ(Ci,Cj)是拍摄待查询车辆的图像i的摄像头Ci与拍摄待查询车辆的图像j的摄像头Cj之间的最短距离，Dmax是所有摄像头之间的最大距离。
7.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-5中任一项所述的方法。
CN202110913283.9A 2021-08-10 2021-08-10 基于图像的车辆检索方法、装置、电子设备及存储介质 Active CN113806576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110913283.9A CN113806576B (zh) 2021-08-10 2021-08-10 基于图像的车辆检索方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110913283.9A CN113806576B (zh) 2021-08-10 2021-08-10 基于图像的车辆检索方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113806576A CN113806576A (zh) 2021-12-17
CN113806576B true CN113806576B (zh) 2023-08-18

Family

ID=78943010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110913283.9A Active CN113806576B (zh) 2021-08-10 2021-08-10 基于图像的车辆检索方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113806576B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599905A (zh) * 2016-11-25 2017-04-26 杭州中奥科技有限公司 一种基于深度学习的***分析方法
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法
CN110874934A (zh) * 2018-08-29 2020-03-10 北京万集科技股份有限公司 车牌的识别方法、***和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423982B2 (en) * 2014-05-19 2019-09-24 Allstate Insurance Company Content output systems using vehicle-based data
CN109686126B (zh) * 2019-01-22 2021-04-27 京东方科技集团股份有限公司 道路屏联网***、车载单元

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599905A (zh) * 2016-11-25 2017-04-26 杭州中奥科技有限公司 一种基于深度学习的***分析方法
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN110874934A (zh) * 2018-08-29 2020-03-10 北京万集科技股份有限公司 车牌的识别方法、***和装置
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向智能车的前方车辆识别技术研究及视觉感知***设计;马要娟;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第12期);C035-111 *

Also Published As

Publication number Publication date
CN113806576A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
Garcia-Fidalgo et al. Hierarchical place recognition for topological mapping
Sivic et al. Video Google: Efficient visual search of videos
US8892542B2 (en) Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval
CN110209866A (zh) 一种图像检索方法、装置、设备及计算机可读存储介质
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN113177518B (zh) 一种利用弱监督区域推荐的车辆重识别方法
Inoue et al. TokyoTechCanon at TRECVID 2012.
CN111104867A (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
Kobyshev et al. Matching features correctly through semantic understanding
Abdullah et al. Fixed partitioning and salient points with MPEG-7 cluster correlograms for image categorization
Naeem et al. Deep learned vectors’ formation using auto-correlation, scaling, and derivations with CNN for complex and huge image retrieval
CN110826415A (zh) 一种场景图像中车辆的重识别方法及设备
Yang et al. An object detection and tracking system for unmanned surface vehicles
Bashir et al. DUPL-VR: Deep unsupervised progressive learning for vehicle re-identification
Le et al. Document retrieval based on logo spotting using key-point matching
CN103136292B (zh) 一种基于图像特征的图像检索方法和装置
Kozlov et al. Development of real-time ADAS object detector for deployment on CPU
CN113806576B (zh) 基于图像的车辆检索方法、装置、电子设备及存储介质
Li et al. Evaluation of Global Descriptor Methods for Appearance‐Based Visual Place Recognition
Nguyen et al. Video instance search via spatial fusion of visual words and object proposals
Arth et al. Real-time object recognition using local features on a DSP-based embedded system
CN113408356A (zh) 基于深度学习的行人重识别方法、装置、设备及存储介质
Farkaš Object tracking and detection with YOLOv8 and StrongSORT algorithms captured by drone
Ali et al. Recognition of human action and identification based on SIFT and watermark
Konlambigue et al. Performance evaluation of state-of-the-art filtering criteria applied to sift features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant