CN106777350B - 一种基于卡口数据的以图搜图方法和装置 - Google Patents

一种基于卡口数据的以图搜图方法和装置 Download PDF

Info

Publication number
CN106777350B
CN106777350B CN201710033558.3A CN201710033558A CN106777350B CN 106777350 B CN106777350 B CN 106777350B CN 201710033558 A CN201710033558 A CN 201710033558A CN 106777350 B CN106777350 B CN 106777350B
Authority
CN
China
Prior art keywords
image
target vehicle
feature points
vehicle image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710033558.3A
Other languages
English (en)
Other versions
CN106777350A (zh
Inventor
刘兵
刘彦甲
王彬
徐文丽
魏楠楠
耿盼盼
朱慧卿
王文建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Original Assignee
Hisense TransTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense TransTech Co Ltd filed Critical Hisense TransTech Co Ltd
Priority to CN201710033558.3A priority Critical patent/CN106777350B/zh
Publication of CN106777350A publication Critical patent/CN106777350A/zh
Application granted granted Critical
Publication of CN106777350B publication Critical patent/CN106777350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于卡口数据的以图搜图方法和装置，包括：获取目标车辆图像中的车身区域，接着从车身区域中提取目标车辆图像的特征信息，特征信息包括目标车辆图像的特征点以及特征点的尺度、主方向和相对位置。然后根据目标车辆图像的特征信息查询特征数据库中存储的样本图像的特征点以及样本图像的特征点的尺度、主方向和相对位置，确定与目标车辆图像相似的图像。本发明实施例中，根据提取的目标车辆图像的多个特征点以及特征点的相关信息从卡口数据库中查找出相似图像，故在车辆的颜色、车型、品牌等固有信息出现重复或缺失时，仍可以从卡口数据库中找出相似图像，提高了从卡口数据库中查找相似车辆图像的精度。

Description

一种基于卡口数据的以图搜图方法和装置
技术领域
本发明实施例涉及智能交通领域，尤其涉及一种基于卡口数据的以图搜图方法和装置。
背景技术
随着城市的快速发展和进步，城市安全也越来越受到关注。在进行视频侦查、***查找、嫌疑车搜索时，需要根据目标车辆的图片从卡口数据库中找出同一车辆的图片。传统的卡口车辆检索***只能根据车牌信息、车辆颜色、车型、品牌年代款信息进行部分条件查询或组合条件查询。而现有的车辆数量多，车辆颜色、车型、品牌年代款信息出现重复的几率大，当车牌信息缺失时无法快速精确地搜索到目标车辆，导致根据目标车辆图像从卡口数据库中查找相似车辆图像的精度低。
发明内容
本发明实施例提供一种基于卡口数据的以图搜图方法和装置，用于解决传统卡口车辆检索***根据车辆目标车辆图像从卡口数据库中查找相似车辆图像精度低的问题。
本发明实施例提供了一种基于卡口数据的以图搜图方法，包括：
获取目标车辆图像中的车身区域；
从所述目标车辆图像中的车身区域中提取所述目标车辆图像的特征信息，所述特征信息包括所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置；
根据所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置查询特征数据库中存储的样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置，确定与所述目标车辆图像相似的图像，所述特征数据库是根据卡口数据库中的图像确定的。
可选地，所述获取目标车辆图像中的车身区域之前，还包括：
获取所述卡口数据库中的设定数量的图像作为训练图像并确定所述训练图像中的车身区域；
从所述训练图像中的车身区域中提取所述训练图像的特征点；
对所述训练图像的特征点进行聚类，并将每类特征点确定为视觉字典中的一个字，所述视觉字典中每个字对应一个字编号；
将所述字以及所述字编号保存至所述视觉字典中。
可选地，所述根据所述卡口数据库中的图像确定特征数据库，包括:
获取所述卡口数据库中的所有图像作为样本图像并确定所述样本图像的车身区域；
从所述样本图像中的车身区域中提取所述样本图像的特征信息，所述特征信息包括所述样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置；
将所述样本图像的特征点映射到所述视觉字典中的字并确定所述样本图像的特征点的字编号；
将所述样本图像的特征点的字编号以及所述样本图像的特征点的尺度、主方向和相对位置保存至所述特征数据库中。
可选地，所述根据所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置从特征数据库中确定与所述目标车辆图像相似的图像，包括：
将所述目标车辆图像的特征点映射到所述视觉字典中的字并确定所述目标车辆图像的特征点的字编号；
根据所述目标车辆图像的特征点的字编号从所述特征数据库中筛选出与所述目标车辆图像的特征点的字编号相同的特征点；
将所述特征数据库中与所述目标车辆图像的特征点的字编号相同的特征点对应的图像作为对比图像；
根据所述目标车辆图像的视觉单词编号和所述对比图像的视觉单词编号确定所述目标车辆图像和所述对比图像的匹配特征点，所述视觉单词编号是根据字编号、特征点的尺度、主方向和相对位置确定的；
根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度；
将所述相似度符合设定阈值的对比图像确定为与所述目标车辆图像相似的图像。
可选地，所述根据字编号、特征点的尺度、主方向和相对位置确定视觉单词编号符合下述公式(1)：
M＝Wid+Tw×(Pid+Tp×(Did+Td×Sid))………………………………(1)
其中，M为视觉单词编号，Wid为视觉字典中的字编号，Tw为视觉字典中字的总数，Pid为相对位置的编号，Tp为相对位置的总数，Did为主方向的编号，Td为主方向的总数，Sid为尺度的编号。
所述根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度符合下述公式(2)：
Figure BDA0001210936350000031
其中，F(A,B)为目标车辆图像和对比图像的相似度，P(A∩B)为目标车辆图像和对比图像的匹配特征点的个数，P(A)为目标车辆图像的特征点的个数，P(B)为对比图像的特征点的个数。
相应地，本发明实施例还提供了一种基于卡口数据的以图搜图装置，包括：
获取模块，用于获取目标车辆图像中的车身区域；
特征提取模块，用于从所述目标车辆图像中的车身区域中提取所述目标车辆图像的特征信息，所述特征信息包括所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置；
处理模块，用于根据所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置查询特征数据库中存储的样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置，确定与所述目标车辆图像相似的图像，所述特征数据库是根据卡口数据库中的图像确定的。
可选地，所述获取模块还用于:
获取所述卡口数据库中的设定数量的图像作为训练图像并确定所述训练图像中的车身区域；
从所述训练图像中的车身区域中提取所述训练图像的特征点；
对所述训练图像的特征点进行聚类，并将每类特征点确定为视觉字典中的一个字，所述视觉字典中每个字对应一个字编号；
将所述字以及所述字编号保存至所述视觉字典中。
可选地，所述处理模块具体用于:
获取所述卡口数据库中的所有图像作为样本图像并确定所述样本图像的车身区域；
从所述样本图像中的车身区域中提取所述样本图像的特征信息，所述特征信息包括所述样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置；
将所述样本图像的特征点映射到所述视觉字典中的字并确定所述样本图像的特征点的字编号；
将所述样本图像的特征点的字编号以及所述样本图像的特征点的尺度、主方向和相对位置保存至所述特征数据库中。
可选地，所述处理模块具体用于:
将所述目标车辆图像的特征点映射到所述视觉字典中的字并确定所述目标车辆图像的特征点的字编号；
根据所述目标车辆图像的特征点的字编号从所述特征数据库中筛选出与所述目标车辆图像的特征点的字编号相同的特征点；
将所述特征数据库中与所述目标车辆图像的特征点的字编号相同的特征点对应的图像作为对比图像；
根据所述目标车辆图像的视觉单词编号和所述对比图像的视觉单词编号确定所述目标车辆图像和所述对比图像的匹配特征点，所述视觉单词编号是根据字编号、特征点的尺度、主方向和相对位置确定的；
根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度；
将所述相似度符合设定阈值的对比图像确定为与所述目标车辆图像相似的图像。
可选地，所述处理模块具体用于:
所述根据字编号、特征点的尺度、主方向和相对位置确定视觉单词编号符合下述公式(1)：
M＝Wid+Tw×(Pid+Tp×(Did+Td×Sid))………………………………(1)
其中，M为视觉单词编号，Wid为视觉字典中的字编号，Tw为视觉字典中字的总数，Pid为相对位置的编号，Tp为相对位置的总数，Did为主方向的编号，Td为主方向的总数，Sid为尺度的编号。
所述根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度符合下述公式(2)：
Figure BDA0001210936350000051
其中，F(A,B)为目标车辆图像和对比图像的相似度，P(A∩B)为目标车辆图像和对比图像的匹配特征点的个数，P(A)为目标车辆图像的特征点的个数，P(B)为对比图像的特征点的个数。
本发明实施例表明，获取目标车辆图像中的车身区域，接着从所述目标车辆图像中的车身区域中提取所述目标车辆图像的特征信息，所述特征信息包括所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置。然后根据所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置查询特征数据库中存储的样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置，确定与所述目标车辆图像相似的图像，所述特征数据库是根据卡口数据库中的图像确定的。本发明实施例中，通过提取目标车辆图像的多个特征点以及特征点的相关信息，并根据提取的特征点及特征点相关信息从卡口数据库中查找出相似图像，而不是依靠车辆本身的车牌信息、车辆颜色、车型、品牌等固有信息，故在车辆的车牌信息、颜色、车型、品牌出现重复或车牌信息缺失时，仍可以从卡口数据库中找出相似图像，提高了从卡口数据库中查找相似车辆图像的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于卡口数据的以图搜图方法的流程示意图；
图2为本发明实施例提供的一种图像的主方向划分的示意图；
图3为本发明实施例提供的一种图像的相对位置划分的示意图；
图4为本发明实施例提供的另一种基于卡口数据的以图搜图方法的流程示意图；
图5为本发明实施例提供的一种基于卡口数据的以图搜图装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中卡口即为道路交通治安卡口监控***，该监控***采用先进的光电、计算机、图像处理、模式识别、远程数据访问等技术，对监控路段的机动车道、非机动车道进行全天候实时监控并记录相关图像数据，图像数据包括车辆的通过时间、地点、行驶方向、车牌号码、车牌颜色、车身颜色等信息，并将获取到的信息通过计算机网络传输到卡口***控制中心的数据库中进行数据存储、查询、比对等处理。
本发明实施例中以图搜图即通过输入含有目标车辆的图片从卡口数据库中检索出包含同一车辆的图片的一种技术。该技术涉及了计算机视觉、图像处理、模式识别、数据库管理、信息检索等诸多学科。
基于上述描述，图1示例性示出了本发明实施例提供的一种基于卡口数据的以图搜图方法的流程，该流程可以由基于卡口数据的以图搜图装置执行。
如图1所示，该流程的具体步骤包括：
步骤S101，获取目标车辆图像中的车身区域。
步骤S102，从目标车辆图像中的车身区域中提取目标车辆图像的特征信息。
步骤S103，根据目标车辆图像的特征点以及目标车辆图像的特征点的尺度、主方向和相对位置查询特征数据库中存储的样本图像的特征点以及样本图像的特征点的尺度、主方向和相对位置，确定与目标车辆图像相似的图像。
具体地，在步骤S101中，获取目标车辆图像中的车身区域之前，先需离线训练视觉字典，训练视觉字典的具体过程如下：
获取卡口数据库中的设定数量的图像作为训练图像并确定训练图像中的车身区域。接着从训练图像中的车身区域中提取训练图像的特征点。然后对训练图像的特征点进行聚类，并将每类特征点确定为视觉字典中的一个字，视觉字典中每个字对应一个字编号，最后将字以及字编号保存至视觉字典中。具体实施中，卡口数据库中的图像是指各卡口实时采集并上传的含有车辆的图像。在对训练图像进行特征信息提取之前，先通过人工扣取的方式确定训练图像中的车身区域。其中提取的训练图像的特征点是训练图像的车身区域的局部特征的特征点，局部特征可以是尺度不变特征转换(Scale-invariant featuretransform，简称SIFT)特征，也可以是稠密尺度不变特征转换(Dense Scale-invariantfeature transform，简称DCSift)特征，其中一个SIFT特征通常为128维，DCSift特征通常为216维。具体实施中，在训练视觉字典之前首先需指定视觉字典的大小，视觉字典的大小即视觉字典中包含的字的个数，具体数值可以根据实际情况确定，比如可以取800或1000。设定本发明实施例中视觉字典的大小指定为1000，然后采用K均值聚类算法或其他聚类算法将提取的所有训练图像的特征点进行聚类，聚类总数为1000，聚类后每类特征点对应视觉字典中的一个字，视觉字典中每个字对应一个字编号，记为Wid，视觉字典中字的总数简记为Tw。最后将所述1000个字以及对应的字编号保存至视觉字典中。
在步骤S101中，获取目标车辆图像后，需要使用精确的车身检测算法对目标车辆进行定位，确定目标车辆图像中的车身区域。具体实施中可以采用基于积分通道特征和级联提升(Cascade boosting)的车身检测算法。该车身检测算法提取了图像四个通道的特征，四个通道包括：颜色通道特征和梯度幅值特征。该车身检测算法在模型训练方面，模型采用Cascade boosting结构，通过级联多个迭代算法分类器实现强大的分类功能，级联分类器的每一层是一个迭代算法分类器，一个迭代算法分类器由多个弱分类器组成。通过多个迭代算法分类器选出最具有区分度的特征存入模型，实现最佳分类性能。该车身检测算法在定位车身区域时，采用多尺度滑动窗口扫描策略，然后进行检测区域信息融合。
在步骤S102中，特征信息包括目标车辆图像的特征点以及目标车辆图像的特征点的尺度、主方向和相对位置。需要说明的是，本发明实施例中提取的目标车辆图像的特征与训练视觉字典时提取的训练图像的特征相同。比如训练视觉字典时提取的训练图像的特征为SIFT特征，那么提取的目标车辆图像的特征也是SIFT特征。本发明实施例中除了提取目标车辆图像中的车身区域的特征点之外，还提取了特征点的尺度、主方向和相对位置。具体提取了目标车辆图像中的特征点的两个尺度，总的尺度数简计为Ts，当前特征点对应的编号为Sid，较大尺度的特征点编号记为1，较小尺度的特征点编号记为0。目标车辆图像中的特征点的主方向总共分为12个方向，主方向的总数简计为Td，各个主方向的划分如图2所示，对图2中的12个方向使用数字0～11进行编号，当前特征点的主方向对应的编号为Did，Did的取值为0～11之间的整数。目标车辆图像中的特征点的相对位置总共分为9个位置，相对位置的总数简计为Tp，各个相对位置的划分如图3所示，对图3中9个相对位置使用数字0～8进行编号，当前特征点的主方向对应的编号为Pid，Pid的取值为0～8之间的整数。
在步骤S103中，特征数据库是根据卡口数据库中的图像确定的。确定特征数据库的过程具体如下：
获取卡口数据库中的图像作为样本图像并确定样本图像的车身区域。接着从样本图像中的车身区域中提取样本图像的特征信息，特征信息包括样本图像的特征点以及样本图像的特征点的尺度、主方向和相对位置。然后将样本图像的特征点映射到视觉字典中的字并确定样本图像的特征点的字编号，将样本图像的特征点的字编号以及样本图像的特征点的尺度、主方向和相对位置保存至特征数据库中。
在具体实施中，由于各个卡口实时采集并上传含有车辆的图像至卡口数据库，所以卡口数据库中的图像在不断增加。本发明实施中获取卡口数据库中每一张图像作为样本图像。为了实现根据目标车辆图像的特征点以及目标车辆图像的特征点的尺度、主方向和相对位置从特征数据库中确定与目标车辆图像相似的图像，在建立特征数据库时提取的样本图像的特征需与提取的目标车辆图像的特征相同，比如建立特征数据库时提取的样本图像的特征为SIFT特征，那么提取的目标车辆图像的特征也必须是SIFT特征。同样的，特征点的尺度、主方向和相对位置在提取时也需要采用相同的方式。比如样本图像和目标车辆图像的特征点的尺度划分、主方向划分以及相对位置划分需一致。将样本图像的特征点映射到视觉字典中的字，这样每张样本图像中的车身区域映射成多个字的集合，之后可根据视觉字典中的字编号确定每张样本图像的特征点对应的字编号，将所有样本图像的特征点以及特征点对应的字编号组成特征数据库，最后将所有样本图像的特征点的尺度、主方向和相对位置保存至特征数据库中。
可选地，根据目标车辆图像的特征点以及目标车辆图像的特征点的尺度、主方向和相对位置查询特征数据库中存储的样本图像的特征点以及样本图像的特征点的尺度、主方向和相对位置，确定与目标车辆图像相似的图像，具体过程为：
将目标车辆图像的特征点映射到视觉字典中的字并确定目标车辆图像的特征点的字编号，根据目标车辆图像的特征点的字编号从特征数据库中筛选出与目标车辆图像的特征点的字编号相同的特征点。然后将特征数据库中与目标车辆图像的特征点的字编号相同的特征点对应的图像作为对比图像。根据目标车辆图像的视觉单词编号和对比图像的视觉单词编号确定目标车辆图像和对比图像的匹配特征点，视觉单词编号是根据字编号、特征点的尺度、主方向和相对位置确定的。然后根据目标车辆图像的特征点、对比图像的特征点以及目标车辆图像和对比图像的匹配特征点确定目标车辆图像和对比图像的相似度。最后将相似度符合设定阈值的对比图像确定为与目标车辆图像相似的图像。
具体实施中，提取目标车辆图像的特征点之后，将提取的目标车辆图像的特征点映射到视觉字典中的字，这样目标车辆图像中的车身区域映射成多个字的集合，之后根据视觉字典确定目标车辆图像的特征点对应的字编号。接着从特征数据库中查询出与目标车辆图像的特征点对应的字编号相同的特征点，将字编号相同的特征点确定为相同特征点，最后将与目标车辆图像含有相同特征点的样本图像确定为对比图像。
具体地，对比图像与目标车辆图像比较的过程为：首先根据目标车辆图像的视觉单词编号和对比图像的视觉单词编号确定目标车辆图像和对比图像的匹配特征点，其中视觉单词编号是根据字、特征点的尺度、主方向和相对位置确定的，具体符合下述公式(1)：
M＝Wid+Tw×(Pid+Tp×(Did+Td×Sid))………………………………(1)
其中M为视觉单词编号，Wid为视觉字典中字的编号，Tw为视觉字典中字的总数，Pid为相对位置的编号，Tp为相对位置的总数，Did为主方向的编号，Td为主方向的总数，Sid为尺度的编号。
接着根据目标车辆图像的特征点、对比图像的特征点以及目标车辆图像和对比图像的匹配特征点确定目标车辆图像和对比图像的相似度，具体符合下述公式(2)：
Figure BDA0001210936350000111
其中，F(A,B)为目标车辆图像和对比图像的相似度，P(A∩B)为目标车辆图像和对比图像的匹配特征点的个数，P(A)为目标车辆图像的特征点的个数，P(B)为对比图像的特征点的个数。
最后将相似度符合设定阈值的对比图像确定为与目标车辆图像相似的图像，设定阈值根据具体情况设定。
本发明实施例中，在对目标车辆图像和样本图像进行特征提取时，除了提取特征点之外还提取了特征点的尺度、主方向和相对位置，优化了特征提取算法。同时在将目标车辆图像和对比图像进行对比时，除比较特征点之外，还对特征点的尺度、主方向和相对位置进行了比较，从而提高了从卡口数据库中查找相似车辆图像的精度。另外本发明实施例中训练视觉字典并将目标车辆图像和样本图像的特征点映射到视觉字典中的字编号之后，利用视觉字典中的字编号从特征数据库中筛选出与目标车辆图像对应的对比图像，故在从卡口数据库中搜索与目标车辆图像相似的图像时，只需将筛选出的对比图像与目标车辆图像进行比较，而不需要将卡口数据库中所有图像与目标车辆图像进行比较，从而加快大规模图像检索的速度。
为了更好的解释本发明实施例，下面通过具体的实施场景描述本发明实施例提供的一种基于卡口数据的以图搜图方法的流程。
如图4所示，该方法包括以下步骤：
步骤S401，离线训练视觉字典。
步骤S402，获取卡口图像库中每张图像作为样本图像并确实样本图像的车身区域。
步骤S403，提取样本图像车身区域内的特征点及特征点的尺度、主方向和相对位置。
步骤S404，将样本图像特征点映射到视觉字典中对应的字编号。
步骤S405，将样本图像特征点对应的字编号以及特征点的尺度、主方向和相对位置组成特征数据库。
步骤S406，获取目标车辆图像并定位目标车辆图像中的车身区域。
步骤S407，提取目标车辆图像的车身区域的特征点及特征点的尺度、主方向和相对位置。
步骤S408，将目标车辆图像的特征点映射到视觉字典中对应的字编号。
步骤S409，从特征数据库中筛选出与目标车辆图像的特征点的字编号相同的特征点。
步骤S410，根据字编号将与目标车辆图像包含相同特征点的样本图像作为对比图像。
步骤S411，将目标车辆图像与对比图像进行比较确定目标车辆图像与对比图像的相似度。
步骤S412，根据相似度确定与目标车辆图像相似的对比图像。
从上述内容可以看出，本发明实施例提供一种基于卡口数据的以图搜图方法和装置，包括：获取目标车辆图像中的车身区域，接着从所述目标车辆图像中的车身区域中提取所述目标车辆图像的特征信息，所述特征信息包括所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置。然后根据所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置查询特征数据库中存储的样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置，确定与所述目标车辆图像相似的图像，所述特征数据库是根据卡口数据库中的图像确定的。本发明实施例中，通过提取目标车辆图像的多个特征点以及特征点的相关信息，并根据提取的特征点及特征点相关信息从卡口数据库中查找出相似图像，而不是依靠车辆本身的车牌信息、车辆颜色、车型、品牌等固有信息，故在车辆的车牌信息、颜色、车型、品牌出现重复或车牌信息缺失时，仍可以从卡口数据库中找出相似图像，提高了从卡口数据库中查找相似车辆图像的精度。
基于相同构思，图5示例性的示出了本发明实施例提供的一种基于卡口数据的以图搜图装置的结构，该装置可以执行基于卡口数据的以图搜图的流程。
如图5所示，该装置包括：
获取模块501，用于获取目标车辆图像中的车身区域；
特征提取模块502，用于从所述目标车辆图像中的车身区域中提取所述目标车辆图像的特征信息，所述特征信息包括所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置；
处理模块503，用于根据所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置查询特征数据库中存储的样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置，确定与所述目标车辆图像相似的图像，所述特征数据库是根据卡口数据库中的图像确定的。
可选地，所述获取模块501还用于:
获取所述卡口数据库中的设定数量的图像作为训练图像并确定所述训练图像中的车身区域；
从所述训练图像中的车身区域中提取所述训练图像的特征点；
对所述训练图像的特征点进行聚类，并将每类特征点确定为视觉字典中的一个字，所述视觉字典中每个字对应一个字编号；
将所述字以及所述字编号保存至所述视觉字典中。
可选地，所述处理模块503具体用于:
获取所述卡口数据库中的所有图像作为样本图像并确定所述样本图像的车身区域；
从所述样本图像中的车身区域中提取所述样本图像的特征信息，所述特征信息包括所述样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置；
将所述样本图像的特征点映射到所述视觉字典中的字并确定所述样本图像的特征点的字编号；
将所述样本图像的特征点的字编号以及所述样本图像的特征点的尺度、主方向和相对位置保存至所述特征数据库中。
可选地，所述处理模块503具体用于:
将所述目标车辆图像的特征点映射到所述视觉字典中的字并确定所述目标车辆图像的特征点的字编号；
根据所述目标车辆图像的特征点的字编号从所述特征数据库中筛选出与所述目标车辆图像的特征点的字编号相同的特征点；
将所述特征数据库中与所述目标车辆图像的特征点的字编号相同的特征点对应的图像作为对比图像；
根据所述目标车辆图像的视觉单词编号和所述对比图像的视觉单词编号确定所述目标车辆图像和所述对比图像的匹配特征点，所述视觉单词编号是根据字编号、特征点的尺度、主方向和相对位置确定的；
根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度；
将所述相似度符合设定阈值的对比图像确定为与所述目标车辆图像相似的图像。
可选地，所述处理模块503具体用于:
所述根据字编号、特征点的尺度、主方向和相对位置确定视觉单词编号符合下述公式(1)：
M＝Wid+Tw×(Pid+Tp×(Did+Td×Sid))………………………………(1)
其中，M为视觉单词编号，Wid为视觉字典中的字编号，Tw为视觉字典中字的总数，Pid为相对位置的编号，Tp为相对位置的总数，Did为主方向的编号，Td为主方向的总数，Sid为尺度的编号。
所述根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度符合下述公式(2)：
Figure BDA0001210936350000151
其中，F(A,B)为目标车辆图像和对比图像的相似度，P(A∩B)为目标车辆图像和对比图像的匹配特征点的个数，P(A)为目标车辆图像的特征点的个数，P(B)为对比图像的特征点的个数。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于卡口数据的以图搜图方法，其特征在于，包括：
获取目标车辆图像中的车身区域；
从所述目标车辆图像中的车身区域中提取所述目标车辆图像的特征信息，所述特征信息包括所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置；
根据所述目标车辆图像的特征点从特征数据库中获得所述目标车辆图像对应的对比图像；其中，所述特征数据库是根据卡口数据库中的图像确定的；
根据所述目标车辆图像的视觉单词编号和所述对比图像的视觉单词编号确定所述目标车辆图像和所述对比图像的匹配特征点，所述视觉单词编号是根据字编号、特征点的尺度、主方向和相对位置确定的，所述字编号将图像的特征点映射到视觉字典中获得的；
根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度；
将所述相似度符合设定阈值的对比图像确定为与所述目标车辆图像相似的图像。
2.如权利要求1所述的方法，其特征在于，所述获取目标车辆图像中的车身区域之前，还包括：
获取所述卡口数据库中的设定数量的图像作为训练图像并确定所述训练图像中的车身区域；
从所述训练图像中的车身区域中提取所述训练图像的特征点；
对所述训练图像的特征点进行聚类，并将每类特征点确定为视觉字典中的一个字，所述视觉字典中每个字对应一个字编号；
将所述字以及所述字编号保存至所述视觉字典中。
3.如权利要求2所述的方法，其特征在于，所述方法还包括:
获取所述卡口数据库中的所有图像作为样本图像并确定所述样本图像的车身区域；
从所述样本图像中的车身区域中提取所述样本图像的特征信息，所述特征信息包括所述样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置；
将所述样本图像的特征点映射到所述视觉字典中的字并确定所述样本图像的特征点的字编号；
将所述样本图像的特征点的字编号以及所述样本图像的特征点的尺度、主方向和相对位置保存至所述特征数据库中。
4.如权利要求3所述的方法，其特征在于，所述根据所述目标车辆图像的特征点从所述特征数据库中获得所述目标车辆图像对应的对比图像，包括：
将所述目标车辆图像的特征点映射到所述视觉字典中的字并确定所述目标车辆图像的特征点的字编号；
根据所述目标车辆图像的特征点的字编号从所述特征数据库中筛选出与所述目标车辆图像的特征点的字编号相同的特征点；
将所述特征数据库中与所述目标车辆图像的特征点的字编号相同的特征点对应的图像作为对比图像。
5.如权利要求4所述的方法，其特征在于，所述根据字编号、特征点的尺度、主方向和相对位置确定视觉单词编号符合下述公式(1)：
M＝Wid+Tw×(Pid+Tp×(Did+Td×Sid))………………………………(1)
其中，M为视觉单词编号，Wid为视觉字典中的字编号，Tw为视觉字典中字的总数，Pid为相对位置的编号，Tp为相对位置的总数，Did为主方向的编号，Td为主方向的总数，Sid为尺度的编号；
所述根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度符合下述公式(2)：
Figure FDA0002202471220000031
其中，F(A,B)为目标车辆图像和对比图像的相似度，P(A∩B)为目标车辆图像和对比图像的匹配特征点的个数，P(A)为目标车辆图像的特征点的个数，P(B)为对比图像的特征点的个数。
6.一种基于卡口数据的以图搜图装置，其特征在于，包括：
获取模块，用于获取目标车辆图像中的车身区域；
特征提取模块，用于从所述目标车辆图像中的车身区域中提取所述目标车辆图像的特征信息，所述特征信息包括所述目标车辆图像的特征点以及所述目标车辆图像的特征点的尺度、主方向和相对位置；
处理模块，用于根据所述目标车辆图像的特征点从特征数据库中获得所述目标车辆图像对应的对比图像；其中，所述特征数据库是根据卡口数据库中的图像确定的；根据所述目标车辆图像的视觉单词编号和所述对比图像的视觉单词编号确定所述目标车辆图像和所述对比图像的匹配特征点，所述视觉单词编号是根据字编号、特征点的尺度、主方向和相对位置确定的，所述字编号将图像的特征点映射到视觉字典中获得的；根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度；将所述相似度符合设定阈值的对比图像确定为与所述目标车辆图像相似的图像。
7.如权利要求6所述的装置，其特征在于，所述获取模块还用于:
获取所述卡口数据库中的设定数量的图像作为训练图像并确定所述训练图像中的车身区域；
从所述训练图像中的车身区域中提取所述训练图像的特征点；
对所述训练图像的特征点进行聚类，并将每类特征点确定为视觉字典中的一个字，所述视觉字典中每个字对应一个字编号；
将所述字以及所述字编号保存至所述视觉字典中。
8.如权利要求7所述的装置，其特征在于，所述处理模块具体用于:
获取所述卡口数据库中的所有图像作为样本图像并确定所述样本图像的车身区域；
从所述样本图像中的车身区域中提取所述样本图像的特征信息，所述特征信息包括所述样本图像的特征点以及所述样本图像的特征点的尺度、主方向和相对位置；
将所述样本图像的特征点映射到所述视觉字典中的字并确定所述样本图像的特征点的字编号；
将所述样本图像的特征点的字编号以及所述样本图像的特征点的尺度、主方向和相对位置保存至所述特征数据库中。
9.如权利要求8所述的装置，其特征在于，所述处理模块具体用于:
将所述目标车辆图像的特征点映射到所述视觉字典中的字并确定所述目标车辆图像的特征点的字编号；
根据所述目标车辆图像的特征点的字编号从所述特征数据库中筛选出与所述目标车辆图像的特征点的字编号相同的特征点；
将所述特征数据库中与所述目标车辆图像的特征点的字编号相同的特征点对应的图像作为对比图像。
10.如权利要求9所述的装置，其特征在于，所述处理模块具体用于:
所述根据字编号、特征点的尺度、主方向和相对位置确定视觉单词编号符合下述公式(1)：
M＝Wid+Tw×(Pid+Tp×(Did+Td×Sid))………………………………(1)
其中，M为视觉单词编号，Wid为视觉字典中的字编号，Tw为视觉字典中字的总数，Pid为相对位置的编号，Tp为相对位置的总数，Did为主方向的编号，Td为主方向的总数，Sid为尺度的编号；
所述根据所述目标车辆图像的特征点、所述对比图像的特征点以及所述目标车辆图像和所述对比图像的匹配特征点确定所述目标车辆图像和所述对比图像的相似度符合下述公式(2)：
Figure FDA0002202471220000051
其中，F(A,B)为目标车辆图像和对比图像的相似度，P(A∩B)为目标车辆图像和对比图像的匹配特征点的个数，P(A)为目标车辆图像的特征点的个数，P(B)为对比图像的特征点的个数。
CN201710033558.3A 2017-01-16 2017-01-16 一种基于卡口数据的以图搜图方法和装置 Active CN106777350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710033558.3A CN106777350B (zh) 2017-01-16 2017-01-16 一种基于卡口数据的以图搜图方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710033558.3A CN106777350B (zh) 2017-01-16 2017-01-16 一种基于卡口数据的以图搜图方法和装置

Publications (2)

Publication Number Publication Date
CN106777350A CN106777350A (zh) 2017-05-31
CN106777350B true CN106777350B (zh) 2020-02-14

Family

ID=58946246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710033558.3A Active CN106777350B (zh) 2017-01-16 2017-01-16 一种基于卡口数据的以图搜图方法和装置

Country Status (1)

Country Link
CN (1) CN106777350B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729502A (zh) * 2017-10-18 2018-02-23 公安部第三研究所 一种卡口车辆个性化特征智能检索***及方法
CN111127541B (zh) * 2018-10-12 2024-02-27 杭州海康威视数字技术股份有限公司 车辆尺寸的确定方法、装置及存储介质
CN110334763B (zh) * 2019-07-04 2021-07-23 北京字节跳动网络技术有限公司 模型数据文件生成、图像识别方法、装置、设备及介质
CN111680556B (zh) * 2020-04-29 2024-06-07 平安国际智慧城市科技股份有限公司 交通卡口车辆类型的识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199842A (zh) * 2014-08-07 2014-12-10 同济大学 一种基于局部特征邻域信息的相似图片检索方法
CN104239898A (zh) * 2014-09-05 2014-12-24 浙江捷尚视觉科技股份有限公司 一种快速卡口车辆比对和车型识别方法
CN104699726A (zh) * 2013-12-18 2015-06-10 杭州海康威视数字技术股份有限公司 一种应用于交通卡口的车辆图像检索方法和装置
CN105354533A (zh) * 2015-09-28 2016-02-24 江南大学 一种基于词袋模型的卡口无牌车辆车型识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699726A (zh) * 2013-12-18 2015-06-10 杭州海康威视数字技术股份有限公司 一种应用于交通卡口的车辆图像检索方法和装置
CN104199842A (zh) * 2014-08-07 2014-12-10 同济大学 一种基于局部特征邻域信息的相似图片检索方法
CN104239898A (zh) * 2014-09-05 2014-12-24 浙江捷尚视觉科技股份有限公司 一种快速卡口车辆比对和车型识别方法
CN105354533A (zh) * 2015-09-28 2016-02-24 江南大学 一种基于词袋模型的卡口无牌车辆车型识别方法

Also Published As

Publication number Publication date
CN106777350A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN107679078B (zh) 一种基于深度学习的卡口图像车辆快速检索方法及***
Khaliq et al. A holistic visual place recognition approach using lightweight cnns for significant viewpoint and appearance changes
CN108197538B (zh) 一种基于局部特征和深度学习的卡口车辆检索***及方法
CN106777350B (zh) 一种基于卡口数据的以图搜图方法和装置
CN102521366B (zh) 融合分类与全局索引的图像检索方法和图像检索***
CN110209866A (zh) 一种图像检索方法、装置、设备及计算机可读存储介质
Mousavian et al. Semantically guided location recognition for outdoors scenes
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN105160309A (zh) 基于图像形态学分割及区域生长的三车道检测方法
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
CN106570439B (zh) 一种车辆检测方法及装置
CN103366181A (zh) 多特征视觉码本融合的场景识别方法和装置
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111078946A (zh) 一种基于多目标区域特征聚合的卡口车辆检索方法及***
CN113177518A (zh) 一种利用弱监督区域推荐的车辆重识别方法
CN110826415A (zh) 一种场景图像中车辆的重识别方法及设备
Sikirić et al. Image representations on a budget: Traffic scene classification in a restricted bandwidth scenario
CN103279738A (zh) 车标自动识别方法及***
CN105654122A (zh) 基于核函数匹配的空间金字塔物体识别方法
CN107273889B (zh) 一种基于统计的车牌识别方法
CN108073925A (zh) 一种车牌识别方法及装置
Peng et al. Real-time illegal parking detection algorithm in urban environments
CN111860219A (zh) 一种高速占道判断方法、装置及电子设备
CN111383286A (zh) 定位方法、装置、电子设备及可读存储介质
CN116704490B (zh) 车牌识别方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant