CN110659374A - 一种基于神经网络提取车辆特征值及属性的以图搜图方法 - Google Patents
一种基于神经网络提取车辆特征值及属性的以图搜图方法 Download PDFInfo
- Publication number
- CN110659374A CN110659374A CN201910886043.7A CN201910886043A CN110659374A CN 110659374 A CN110659374 A CN 110659374A CN 201910886043 A CN201910886043 A CN 201910886043A CN 110659374 A CN110659374 A CN 110659374A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- neural network
- searching
- attributes
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络提取车辆特征值及属性的以图搜图方法,获取实时卡口抓拍图像进行图像预处理操作;从预处理后的图像中对车辆进行定位分析;对定位后的车辆图像进行全局特征值计算和提取;对定位后的车辆图像进行属性值的计算和提取;对车辆各个属性值进行权重设置和特征值搜索阀值的设置,对车辆基础库进行筛减;通过对车辆全局特征以及车辆属性在以图搜图功能中权重的设置,进行车辆搜索;对搜索结果进行排序处理,获得搜索结果。本发明特征识别速度快并且大大提高了搜索的准确率。
Description
技术领域
本发明涉及一种以图搜图方法,特别是一种基于神经网络提取车辆特征值及属性的以图搜图方法,属于信息搜索领域。
背景技术
以图搜图,是通过输入图片来检索相似图片的一种技术,为用户提供相关图形图像资料检索的功能。该技术涉及了数据库管理、计算机图形学、图像处理、模式识别、信息检索等诸多学科。其相关技术主要包括 : 特征值提取、特征值表示和相似度计算这三类关键技术。以图搜图技术在大数据图形图像检索、视频侦查、互联网购物搜索引擎等多种领域都有广泛应用。
海量车辆数据的以图搜图功能,目前主要的处理技术是通过传统的图像轮廓特征信息进行匹配分析,未考虑车辆特有的相关属性(包括车辆的车牌、颜色、车型、车标、挂饰、年检标志等相关信息)进行车辆的前期筛选,从而车辆的以图搜图正确率不是很高。
专利CN 201711393923.8 “一种多任务卡口车辆以图搜图的***及方法”侧重基于改进的边缘盒检测技术以及级联损失函数的方式训练定位网络,分别定位和特征检测卡口车辆图像中的车辆,年检标和车灯三个部位,结合了全局和局部特征,其主要检测车辆、年标和车灯从而提高检查速度。
发明内容
本发明所要解决的技术问题是提供一种基于神经网络提取车辆特征值及属性的以图搜图方法,提高车辆搜索的准确性。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于包含以下步骤:
步骤一:获取实时卡口抓拍图像进行图像预处理操作;
步骤二:从预处理后的图像中对车辆进行定位分析;
步骤三:对定位后的车辆图像进行全局特征值计算和提取;
步骤四:对定位后的车辆图像进行属性值的计算和提取;
步骤五:对车辆各个属性值进行权重设置和特征值搜索阀值的设置,对车辆基础库进行筛减;
步骤六:通过对车辆全局特征以及车辆属性在以图搜图功能中权重的设置,进行车辆搜索;
步骤七:对搜索结果进行排序处理,获得搜索结果。
进一步地,所述步骤一具体为
1.1对图片进行降噪处理,尽可能的保持原始信息完整性的同时,又能够去除信号中无用的信息,使用的方法包括基于空间域的中值滤波和基于小波域的小波阈值去噪;
1.2对图片进行尺寸大小处理。
进一步地,所述步骤二具体为
2.1对图片中的车辆进行定位,识别车辆在图片中的像素点位置;
2.2规范定位到的车辆图像样本的尺寸;
2.3对定位到车辆像素点的待检测图片进行隔离。
进一步地,所述步骤三具体为
3.1使用sift算法,计算出车辆的特征值;
3.2使用CNN卷积神经网络算法,对计算出的车辆特征值进行维度降低
3.3提取CNN神经网络的最后一层特征向量,并将其转换成一维数组,把sift特征原有的128维特征值降低到一维数组中,便于表示、存储和计算。
进一步地,所述步骤四具体为
4.1通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车牌属性;
4.2通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车型属性;
4.3通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车身颜色属性;
4.4通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车标属性;
4.5通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车辆年检标志属性;
4.6通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车辆挂饰属性;
4.7对获取到的车辆属性进行结构化处理,便于对比计算和存储。
进一步地,所述步骤五具体为
5.1对车辆各个属性值设置权重,根据各个属性值在以图搜图算法中对搜索结果的贡献程度,设置不同的属性值;
5.2对特征值设置搜索阀值;
5.3利用上诉两个步骤对车辆基础库进行筛减,减少以图搜图目标库中待搜索图片数量。
进一步地,所述步骤六具体为
6.1通过对车辆全局特征值进行相似度计算,采用采用欧式距离、马氏距离等计算方法进行计算
6.2通过对车辆属性在以图搜图功能中权重的设置,进行车辆搜索
6.3结合上述两个步骤,在已经筛选过的车辆基础图库中队待检测图片进行以图搜图操作,获取搜索结果。
进一步地,所述步骤七具体为对步骤六中搜索结果进行排序处理,获得与待搜索车辆最为相似的前10张图片进行展示。
本发明与现有技术相比,具有以下优点和效果:
1、本发明通过对图片中车辆的精准定位,进行车辆相关属性的分析及提取(包括车辆的车牌、车辆颜色、车辆车型及车辆车标),并通过对车辆属性及特征的权重设置,来实现车辆匹配度的计算,从而可使客户在获取到一张车辆图片时,从图库中搜索出与其最为相似的其他车辆图片;
2、通过使用智能算法的分析,待搜索图片中车辆的属性及特征值的提取在200ms内完成;
3、车辆以图搜图功能在千万级基础库的前提下,搜索准确率达98%。
附图说明
图1是本发明的一种基于神经网络提取车辆特征值及属性的以图搜图方法的流程图。
具体实施方式
下面通过实施例对本发明作进一步的详细说明,以下实施例是对本发明的解释而本发明并不局限于以下实施例。
如图1所示,本发明的一种基于神经网络提取车辆特征值及属性的以图搜图方法,包含以下步骤:
步骤一:获取实时卡口抓拍图像进行图像预处理操作;
1.1对图片进行降噪处理,尽可能的保持原始信息完整性的同时,又能够去除信号中无用的信息,使用的方法包括基于空间域的中值滤波和基于小波域的小波阈值去噪;
1.2对图片进行尺寸大小处理。
步骤二:从预处理后的图像中对车辆进行定位分析;
2.1对图片中的车辆进行定位,识别车辆在图片中的像素点位置;
2.2规范定位到的车辆图像样本的尺寸;
2.3对定位到车辆像素点的待检测图片进行隔离。
步骤三:对定位后的车辆图像进行全局特征值计算和提取;
3.1使用sift算法,计算出车辆的特征值;
3.2使用CNN卷积神经网络算法,对计算出的车辆特征值进行维度降低
3.3提取CNN神经网络的最后一层特征向量,并将其转换成一维数组,把sift特征原有的128维特征值降低到一维数组中,便于表示、存储和计算。
步骤四:对定位后的车辆图像进行属性值的计算和提取;
4.1通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车牌属性;
4.2通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车型属性;
4.3通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车身颜色属性;
4.4通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车标属性;
4.5通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车辆年检标志属性;
4.6通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车辆挂饰属性;
4.7对获取到的车辆属性进行结构化处理,便于对比计算和存储。
步骤五:对车辆各个属性值进行权重设置和特征值搜索阀值的设置,对车辆基础库进行筛减;
5.1对车辆各个属性值设置权重,根据各个属性值在以图搜图算法中对搜索结果的贡献程度,设置不同的属性值;
5.2对特征值设置搜索阀值;
5.3利用上诉两个步骤对车辆基础库进行筛减,减少以图搜图目标库中待搜索图片数量。
步骤六:通过对车辆全局特征以及车辆属性在以图搜图功能中权重的设置,进行车辆搜索;
6.1通过对车辆全局特征值进行相似度计算,采用采用欧式距离、马氏距离等计算方法进行计算
6.2通过对车辆属性在以图搜图功能中权重的设置,进行车辆搜索
6.3结合上述两个步骤,在已经筛选过的车辆基础图库中队待检测图片进行以图搜图操作,获取搜索结果。
步骤七:对搜索结果进行排序处理,获得搜索结果。对步骤六中搜索结果进行排序处理,获得与待搜索车辆最为相似的前10张图片进行展示。
本发明通过对图片中车辆的精准定位,进行车辆相关属性的分析及提取(包括车辆的车牌、车辆颜色、车辆车型及车辆车标),并通过对车辆属性及特征的权重设置,来实现车辆匹配度的计算,从而可使客户在获取到一张车辆图片时,从图库中搜索出与其最为相似的其他车辆图片;通过使用智能算法的分析,待搜索图片中车辆的属性及特征值的提取在200ms内完成;车辆以图搜图功能在千万级基础库的前提下,搜索准确率达98%。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质,在本发明的精神和原则之内,对以上实施例所作的任何简单的修改、等同替换与改进等,均仍属于本发明技术方案的保护范围之内。
Claims (8)
1.一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于包含以下步骤:
步骤一:获取实时卡口抓拍图像进行图像预处理操作;
步骤二:从预处理后的图像中对车辆进行定位分析;
步骤三:对定位后的车辆图像进行全局特征值计算和提取;
步骤四:对定位后的车辆图像进行属性值的计算和提取;
步骤五:对车辆各个属性值进行权重设置和特征值搜索阀值的设置,对车辆基础库进行筛减;
步骤六:通过对车辆全局特征以及车辆属性在以图搜图功能中权重的设置,进行车辆搜索;
步骤七:对搜索结果进行排序处理,获得搜索结果。
2.按照权利要求1所述的一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于:所述步骤一具体为
1.1对图片进行降噪处理,尽可能的保持原始信息完整性的同时,又能够去除信号中无用的信息,使用的方法包括基于空间域的中值滤波和基于小波域的小波阈值去噪;
1.2对图片进行尺寸大小处理。
3.按照权利要求1所述的一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于:所述步骤二具体为
2.1对图片中的车辆进行定位,识别车辆在图片中的像素点位置;
2.2规范定位到的车辆图像样本的尺寸;
2.3对定位到车辆像素点的待检测图片进行隔离。
4.按照权利要求1所述的一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于:所述步骤三具体为
3.1使用sift算法,计算出车辆的特征值;
3.2使用CNN卷积神经网络算法,对计算出的车辆特征值进行维度降低
3.3提取CNN神经网络的最后一层特征向量,并将其转换成一维数组,把sift特征原有的128维特征值降低到一维数组中,便于表示、存储和计算。
5.按照权利要求1所述的一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于:所述步骤四具体为
4.1通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车牌属性;
4.2通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车型属性;
4.3通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车身颜色属性;
4.4通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车标属性;
4.5通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车辆年检标志属性;
4.6通过深度学习神经网络、CNN卷积神经网络与SVM结合的方法对定位到的车辆图像进行识别,获取车辆挂饰属性;
4.7对获取到的车辆属性进行结构化处理,便于对比计算和存储。
6.按照权利要求1所述的一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于:所述步骤五具体为
5.1对车辆各个属性值设置权重,根据各个属性值在以图搜图算法中对搜索结果的贡献程度,设置不同的属性值;
5.2对特征值设置搜索阀值;
5.3利用上诉两个步骤对车辆基础库进行筛减,减少以图搜图目标库中待搜索图片数量。
7.按照权利要求1所述的一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于:所述步骤六具体为
6.1通过对车辆全局特征值进行相似度计算,采用采用欧式距离、马氏距离等计算方法进行计算
6.2通过对车辆属性在以图搜图功能中权重的设置,进行车辆搜索
6.3结合上述两个步骤,在已经筛选过的车辆基础图库中队待检测图片进行以图搜图操作,获取搜索结果。
8.按照权利要求1所述的一种基于神经网络提取车辆特征值及属性的以图搜图方法,其特征在于:所述步骤七具体为对步骤六中搜索结果进行排序处理,获得与待搜索车辆最为相似的前10张图片进行展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910886043.7A CN110659374A (zh) | 2019-09-19 | 2019-09-19 | 一种基于神经网络提取车辆特征值及属性的以图搜图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910886043.7A CN110659374A (zh) | 2019-09-19 | 2019-09-19 | 一种基于神经网络提取车辆特征值及属性的以图搜图方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110659374A true CN110659374A (zh) | 2020-01-07 |
Family
ID=69037277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910886043.7A Pending CN110659374A (zh) | 2019-09-19 | 2019-09-19 | 一种基于神经网络提取车辆特征值及属性的以图搜图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110659374A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814751A (zh) * | 2020-08-14 | 2020-10-23 | 深延科技(北京)有限公司 | 基于深度学习目标检测和图像识别的车辆属性分析方法及*** |
CN112818736A (zh) * | 2020-12-10 | 2021-05-18 | 西南交通大学 | 应急指挥大数据支撑平台 |
CN112990048A (zh) * | 2021-03-26 | 2021-06-18 | 中科视语(北京)科技有限公司 | 车纹识别方法及装置 |
CN113011540A (zh) * | 2021-03-01 | 2021-06-22 | 北京骑胜科技有限公司 | 识别方法、装置、可读存储介质和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106611016A (zh) * | 2015-10-27 | 2017-05-03 | 北京航空航天大学 | 一种基于可分解词包模型的图像检索方法 |
CN106776943A (zh) * | 2016-12-01 | 2017-05-31 | 中科唯实科技(北京)有限公司 | 一种基于AutoEncoder和属性标签的车辆检索方法 |
CN108229468A (zh) * | 2017-06-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
CN109558823A (zh) * | 2018-11-22 | 2019-04-02 | 北京市首都公路发展集团有限公司 | 一种以图搜图的车辆识别方法及*** |
-
2019
- 2019-09-19 CN CN201910886043.7A patent/CN110659374A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106611016A (zh) * | 2015-10-27 | 2017-05-03 | 北京航空航天大学 | 一种基于可分解词包模型的图像检索方法 |
CN106776943A (zh) * | 2016-12-01 | 2017-05-31 | 中科唯实科技(北京)有限公司 | 一种基于AutoEncoder和属性标签的车辆检索方法 |
CN108229468A (zh) * | 2017-06-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
CN109558823A (zh) * | 2018-11-22 | 2019-04-02 | 北京市首都公路发展集团有限公司 | 一种以图搜图的车辆识别方法及*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814751A (zh) * | 2020-08-14 | 2020-10-23 | 深延科技(北京)有限公司 | 基于深度学习目标检测和图像识别的车辆属性分析方法及*** |
CN112818736A (zh) * | 2020-12-10 | 2021-05-18 | 西南交通大学 | 应急指挥大数据支撑平台 |
CN113011540A (zh) * | 2021-03-01 | 2021-06-22 | 北京骑胜科技有限公司 | 识别方法、装置、可读存储介质和电子设备 |
CN112990048A (zh) * | 2021-03-26 | 2021-06-18 | 中科视语(北京)科技有限公司 | 车纹识别方法及装置 |
CN112990048B (zh) * | 2021-03-26 | 2021-11-23 | 中科视语(北京)科技有限公司 | 车纹识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107679250B (zh) | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 | |
TWI651662B (zh) | 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體 | |
Quack et al. | Efficient mining of frequent and distinctive feature configurations | |
Li et al. | Automatic text detection and tracking in digital video | |
Pan et al. | A robust system to detect and localize texts in natural scene images | |
CN110717534B (zh) | 一种基于网络监督的目标分类和定位方法 | |
CN110659374A (zh) | 一种基于神经网络提取车辆特征值及属性的以图搜图方法 | |
CN107480620B (zh) | 基于异构特征融合的遥感图像自动目标识别方法 | |
Kortylewski et al. | Unsupervised footwear impression analysis and retrieval from crime scene data | |
Alsmadi et al. | Fish recognition based on robust features extraction from color texture measurements using back-propagation classifier | |
Hussain et al. | Robust pre-processing technique based on saliency detection for content based image retrieval systems | |
CN105718552A (zh) | 基于服装手绘草图的服装图像检索方法 | |
CN103955496B (zh) | 一种快速的现场轮胎痕迹花纹检索算法 | |
US8027978B2 (en) | Image search method, apparatus, and program | |
CN102176208A (zh) | 基于三维空时特征的鲁棒视频指纹方法 | |
TR201614118A1 (tr) | Bir deniz aracı tanıma yöntemi. | |
JP2007531136A (ja) | 画像を有するデータベースからビジュアルオブジェクトカテゴリを抽出する方法及び装置 | |
Chakraborty et al. | Hand gesture recognition: A comparative study | |
Li et al. | Performance comparison of saliency detection | |
Badura et al. | Advanced scale-space, invariant, low detailed feature recognition from images-car brand recognition | |
CN101118544A (zh) | 一种图像形状轮廓描述符的构造方法 | |
CN109902690A (zh) | 图像识别技术 | |
Kavya | Feature extraction technique for robust and fast visual tracking: a typical review | |
CN110674334A (zh) | 基于一致性区域深度学习特征的近重复图像检索方法 | |
Shinde et al. | Street view text detection methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 210000 No. 268, Hanzhoung Road, Nanjing, Jiangsu Applicant after: CLP Hongxin Information Technology Co., Ltd Address before: 210000 No. 268, Hanzhoung Road, Nanjing, Jiangsu Applicant before: Jiangsu Hongxin System Integration Co., Ltd. |