CN105184301B - 一种利用四轴飞行器判别车辆方位的方法 - Google Patents

一种利用四轴飞行器判别车辆方位的方法 Download PDF

Info

Publication number
CN105184301B
CN105184301B CN201510562314.5A CN201510562314A CN105184301B CN 105184301 B CN105184301 B CN 105184301B CN 201510562314 A CN201510562314 A CN 201510562314A CN 105184301 B CN105184301 B CN 105184301B
Authority
CN
China
Prior art keywords
vehicle
wheel
aircraft
area
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510562314.5A
Other languages
English (en)
Other versions
CN105184301A (zh
Inventor
谢煊
冯辉
张鹏
胡波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201510562314.5A priority Critical patent/CN105184301B/zh
Publication of CN105184301A publication Critical patent/CN105184301A/zh
Application granted granted Critical
Publication of CN105184301B publication Critical patent/CN105184301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉与模式分析技术领域，具体为一种利用四轴飞行器判别车辆方位的方法。本发明方法首先对无人机拍摄到的视频数据进行车辆识别，再检测识别到的车辆的车轮形状和两个车轮的相对位置，并以此为根据判断车辆与飞行器的相对方位，为飞行器自主对准车牌提供控制信息。大量飞行器实际拍摄的视频流的实验结果证实了本发明方法的有效性。

Description

一种利用四轴飞行器判别车辆方位的方法
技术领域
本发明属于计算机视觉与模式分析技术领域，具体涉及一种利用四轴飞行器判别车辆方位的方法。
背景技术
随着城市的快速发展，城市交通日益发达，人们拥有的私家车数量也逐渐增加。截至2012年年底，上海注册的机动车保有量已经突破262万辆，其中私家车高达140万辆，而2013年上海私家车的保有量增幅更达到了15%左右，比去年增加22万辆，这使得交通形势更为严峻。随之而来的是车辆管理难度的加大。通过对一些人流量较大的地段观察，有些车停放在公共场所门口，有些车停在行车道上。这些车辆严重影响了交通道路的畅通，甚至可能引发交通事故。由于这种现象的分散不定，停车管理和违章检测等需要耗费较大的人力和时间成本。而我国目前车辆管理工作主要由大量交警人力完成，不仅不能保证及时性也耗费了大量人力资源，基于无人机的车辆管理就可以高效完成这项任务。管理中必不可少的步骤就是对车牌信息的记录，而无人机拍摄车牌的关键在于它能否准确的判断自身与车辆的相对位置并对准车牌。
车辆方位检测在车辆识别，车辆自动导航和智能交通***等领域都有着重要的应用。传统的基于图像序列的车辆方位检测通过块匹配方法计算相邻帧车辆的相关性来估测车辆的方位。然而这种方法是针对固定摄像头和运动车辆的场景，与我们车辆静止无人机运动的场景不符。我们需要的是从单张图片识别车辆方位的方法。文献[1]通过训练基于HOG特征的二分类器决策树识别车辆的方位，但是只能识别固定的8个方位。文献[2]在聚类的框架下基于颜色和边缘特征对车辆的方位进行了识别，但是也不能得到连续的方位角。
为了更准确的控制无人机的飞行状态，需要找到一种车辆方位识别算法来得到车辆的方位角信息。
参考文献
[1] Rybski P E, Huber D, Morris D D, et al. Visual classification ofcoarse vehicle orientation using Histogram of Oriented Gradients features[C]// Intelligent Vehicles Symposium (IV), 2010 IEEEIEEE, 2010:921-928.
[2] Wu J C, Hsieh J W, Chen Y S, et al. Vehicle Orientation DetectionUsing Vehicle Color and Normalized Cut Clustering.[J]. Vehicle OrientationDetection Using Vehicle Color and Normalized Cut Clustering. - ResearchGate,2007:457-460.
[3] Dalal N, Triggs B. Histograms of oriented gradients for humandetection[C]// Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEEComputer Society Conference onIEEE, 2005:886-893 vol. 1.
[4] Burges C J C. A tutorial on support vector machines for patternrecognition[C]// Data Mining and Knowledge Discovery1998:121--167.。
发明内容
本发明的目的在于提出一种利用四轴飞行器判别车辆方位的方法。
本发明提出的利用四轴飞行器判别车辆方位的方法，关键在于如何有效的检测到车辆、得到车辆的方位角并对无人机的行为做出指导。本发明方法的具体步骤为：
步骤1、对无人机拍摄到的视频数据进行车辆识别；
步骤2、对识别到的车辆，检测其车轮轮廓形状；
步骤3、以步骤2的结果为根据，根据两个车轮的相对位置，判断车辆与飞行器的相对方位，为飞行器自主对准车牌提供控制信息。
下面对以上三个步骤进行具体描述。
步骤1、对无人机拍摄到的视频数据进行车辆识别
车辆识别采用基于HOG特征[3]的SVM[4]分类算法实现。主要分为HOG特征提取、SVM训练和SVM检测几个步骤，具体介绍如下：
（1）HOG特征提取
HOG是通过计算和统计图像局部区域的梯度方向直方图来构成特征的。在特征提取过程中将目标图像看成一个窗口（Window），又将一个窗口分成若干个块（Block），而每一个块包含4个细胞单元（Cell）。对每一个细胞单元中的像素点，计算得到梯度的模和角度，并对此细胞单元进行直方图统计，得到一个9维向量。把一个块的特征向量联起来得到36维的特征向量，用块对窗口进行扫描，扫描步长为一个细胞单元。最后将所有块的特征串联起来，就得到了目标的特征。
（2）SVM训练
SVM训练的过程主要包括准备训练样本集（包括证样本和负样本）、提取所有正负样本的HOG特征、为正负样本赋予标签（正样本标记为1，负样本标记为0）、用线性SVM进行训练得到分类器并将其保存为文本文件。由于要在各个方向对车辆进行识别，所以训练了两个分类器，分别用于识别车辆的正背面及侧面。
（3）SVM检测
为了让飞行器在与车辆的一定距离内都能检测到车辆，采用了多尺度的检测方法。首先对原始输入图片进行HOG特征提取，并用（2）中训练好的分类器进行车辆检测。若未能检测到车辆，则对输入图片进行一定尺度的缩放再次检测，直到检测到车辆或者输入图片大小比窗口小为止。在检测过程中，首先用检测车辆正背面的分类器进行检测，若识别到车辆，则可以判断飞行器可以拍摄到车牌，不需进行车辆方位检测。若没有识别到车辆，则继续使用检测车辆侧面的分类器进行检测，若识别到车辆的侧面，则将识别到车辆的矩形窗口作为感兴趣区域，进行车辆方位检测。
步骤2、对识别到的车辆，检测其车轮轮廓形状
车轮轮廓检测主要过程为图片边缘检测，椭圆轮廓拟合，车轮轮廓筛选几个步骤。
（1）图片边缘检测
只有灰度图片才可以进行边缘提取，但是直接度灰度图片进行边缘提取由于光照，阴影等的影响，可能会使车轮轮廓残缺或丢失，所以为了更好的保留和突出车轮的边缘，针对车胎为黑色的特点在HSV色彩模型下对感兴趣区域进行了二值化。通过在HSV色彩模型下对H通道进行检测，求得图片H通道的值为h，将h≤60区域的灰度置为0，其他区域置为255。通过该方法得到的图片能够将轮胎灰度置为0，轮毂灰度置为255，有效突出轮毂轮廓。
（2）椭圆轮廓拟合
通过最小二乘拟合方法将检测到的边缘拟合成椭圆，但是由于图片中会检测到很多边缘，所以拟合到的椭圆不只有车轮的轮廓，要经过进一步筛选。
（3）车轮轮廓筛选
主要通过面积，位置和颜色三个特征对拟合到的椭圆进行筛选，最终得到代表车轮轮廓的两个椭圆。首先是面积满足下式时才判别为车轮：
Si/255≤Sw≤Si/25
其中感兴趣区域面积为Si，椭圆轮廓的外接矩形面积为Sw。
其次是位置，代表车轮的椭圆的中心坐标应该位于感兴趣区域的下端，建立高斯模型：
其中μ为感兴趣区域的归一化底边纵坐标，y为归一化椭圆中心的纵坐标，并令σ2=1。则当f(y)≥0.8时，拟合到的椭圆才有可能代表车轮的轮廓。
最后是颜色，对于经过权利1得到的二值图片，符合车轮特点的椭圆轮廓中心不变，尺度放大到1.2倍得到的新轮廓，其上的像素点灰度值应该为0；所以对其灰度值进行统计，若为0的像素个数大于总数的90%，则判定为车轮椭圆。
3、以步骤（2）的结果为根据，判断车辆与飞行器的相对方位，为飞行器自主对准车牌提供控制信息
通过计算车辆两个车轮中心的连线与水平的夹角来判断车辆与无人机之间的相对方位；当检测到两个代表车轮的椭圆边缘时，首先比较他们的大小，以较大者的中心为顶点，求得两椭圆中心连线与水平线的夹角θ0，则无人机需要较大车轮的方向旋转角度θ则可对准车牌，其中θ=90°-θ0。
本发明的主要特点在于提出了一种通过检测车轮轮毂的轮廓并根据检测到的轮廓的大小和相对位置得到车辆方位角的方式。解决了此前大部分车辆方位识别算法只能识别到车辆的几个固定方位，不能得到连续的方位角的问题。该问题的解决为四轴飞行器准确判别与车辆的相对位置最终对准车牌提供了实现的可能。
附图说明
图1为经过HSV彩色模型二值化后的图片。
图2为车轮和车辆方位检测结果。
具体实施方式
下面结合附图和实施例，对本发明做进一步说明。
本发明提出的四轴飞行器判别车辆方位的方法主要包括车辆识别，车轮识别和方向角计算，使用四轴飞行器在与车辆不同的相对位置拍摄视频并保存下来进行离线测试，视频大小为640*480。下面分别介绍具体实施方式：
1、车辆识别
车辆识别主要通过基于HOG特征的SVM训练完成。用于识别车辆正背面的训练样本大小为96*112，用于识别车辆侧面的训练样本大小为112*64。正样本选取各个角度车辆的图片，负样本为各种不包含车辆的图片，例如建筑物，树木，自行车，行人等。样本总数为正样本：13736张，负样本：8649张。
SVM训练过程中，HOG特征提取的窗口大小即为目标大小也就是训练样本大小，细胞单元的大小为8*8，块的大小为16*16。在检测过程中，检测窗口以细胞单元大小为步长在待检测图片上滑动遍历图像，直到检测到车辆或者遍历完成。
车辆识别的结果为没有车辆、车辆的正背面、车辆侧面三种。若识别到车辆，则将识别到车辆的窗口作为感兴趣区域用于车轮检测。
2、车辆方位检测
我们通过计算车辆两个车轮中心的连线与水平的夹角来判断车辆与无人机之间的相对方位。主要过程为图片边缘检测，椭圆轮廓拟合，车轮轮廓筛选和方位角计算几个步骤。能够检测的角度范围为90°~50°，当角度为50°时，可以满足拍摄到车牌的要求。

Claims (1)

1.一种利用四轴飞行器判别车辆方位的方法，其特征在于具体步骤为：
步骤1、对无人机拍摄到的视频数据进行车辆识别；
步骤2、对识别到的车辆，检测其车轮轮廓形状；
步骤3、以步骤2的结果为根据，根据两个车轮的相对位置，判断车辆与飞行器的相对方位，为飞行器自主对准车牌提供控制信息；
步骤1所述对无人机拍摄到的视频数据进行车辆识别分为HOG特征提取、SVM训练和SVM检测几个步骤，具体如下：
（1）HOG特征提取
HOG是通过计算和统计图像局部区域的梯度方向直方图来构成特征；在特征提取过程中将目标图像看成一个窗口，又将一个窗口分成若干个块，而每一个块包含4个细胞单元；对每一个细胞单元中的像素点，计算得到梯度的模和角度，并对此细胞单元进行直方图统计，得到一个9维向量；把一个块的特征向量联起来得到36维的特征向量，用块对窗口进行扫描，扫描步长为一个细胞单元；最后将所有块的特征串联起来，就得到目标的特征；
（2）SVM训练
SVM训练的过程主要包括：准备训练样本集，样本集包括证样本和负样本；提取所有正负样本的HOG特征；为正负样本赋予标签：正样本标记为1，负样本标记为0；用线性SVM进行训练得到分类器并将其保存为文本文件；由于要在各个方向对车辆进行识别，所以训练两个分类器，分别用于识别车辆的正背面及侧面；
（3）SVM检测
为了让飞行器在与车辆的一定距离内都能检测到车辆，采用多尺度的检测方法；首先对原始输入图片进行HOG特征提取，并用步骤（2）中训练好的分类器进行车辆检测；若未能检测到车辆，则对输入图片进行一定尺度的缩放再次检测，直到检测到车辆或者输入图片大小比窗口小为止；在检测过程中，首先用检测车辆正背面的分类器进行检测，若识别到车辆，则判断飞行器可以拍摄到车牌，不需进行车辆方位检测；若没有识别到车辆，则继续使用检测车辆侧面的分类器进行检测，若识别到车辆的侧面，则将识别到车辆的矩形窗口作为感兴趣区域，进行车辆方位检测；
步骤2所述对识别到的车辆，检测其车轮轮廓形状的步骤包括：
（1）图片边缘检测
针对车胎为黑色的特点，在HSV色彩模型下对感兴趣区域进行了二值化；通过在HSV色彩模型下对H通道进行检测，求得图片H通道的值为h，将h≤60区域的灰度置为0，其他区域置为255；由此得到的图片能够将轮胎灰度置为0，轮毂灰度置为255，有效突出轮毂轮廓；
（2）椭圆轮廓拟合
通过最小二乘拟合方法将检测到的边缘拟合成椭圆；
（3）车轮轮廓筛选
通过面积、位置和颜色三个特征对拟合到的椭圆进行筛选，最终得到代表车轮轮廓的两个椭圆；
首先是面积满足下式时才判别为车轮：
Si/255≤Sw≤Si/25
其中，感兴趣区域面积为Si，椭圆轮廓的外接矩形面积为Sw；
其次是位置，代表车轮的椭圆的中心坐标应该位于感兴趣区域的下端，建立高斯模型：
其中，μ为感兴趣区域的归一化底边纵坐标，y为归一化椭圆中心的纵坐标，并令σ2=1；则当f(y)≥0.8时，拟合到的椭圆才有可能代表车轮的轮廓；
最后是颜色，对于经过前述得到的二值图片，符合车轮特点的椭圆轮廓中心不变，尺度放大到1.2倍得到的新轮廓，其上的像素点灰度值应该为0；所以对其灰度值进行统计，若为0的像素个数大于总数的90%，则判定为车轮椭圆；
步骤（3）所述以步骤（2）的结果为根据，判断车辆与飞行器的相对方位，为飞行器自主对准车牌提供控制信息的做法为：
通过计算车辆两个车轮中心的连线与水平的夹角来判断车辆与无人机之间的相对方位；当检测到两个代表车轮的椭圆边缘时，首先比较他们的大小，以较大者的中心为顶点，求得两椭圆中心连线与水平线的夹角θ0，则无人机需要较大车轮的方向旋转角度θ则可对准车牌，其中θ=90°-θ0。
CN201510562314.5A 2015-09-07 2015-09-07 一种利用四轴飞行器判别车辆方位的方法 Active CN105184301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510562314.5A CN105184301B (zh) 2015-09-07 2015-09-07 一种利用四轴飞行器判别车辆方位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510562314.5A CN105184301B (zh) 2015-09-07 2015-09-07 一种利用四轴飞行器判别车辆方位的方法

Publications (2)

Publication Number Publication Date
CN105184301A CN105184301A (zh) 2015-12-23
CN105184301B true CN105184301B (zh) 2018-06-26

Family

ID=54906367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510562314.5A Active CN105184301B (zh) 2015-09-07 2015-09-07 一种利用四轴飞行器判别车辆方位的方法

Country Status (1)

Country Link
CN (1) CN105184301B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227738B (zh) * 2017-12-28 2019-07-19 湖北电鹰科技有限公司 一种无人机避障方法及***
CN108647670A (zh) * 2018-05-22 2018-10-12 哈尔滨理工大学 一种基于支持向量机的侧向车辆图像的特征识别方法
CN108765444A (zh) * 2018-05-25 2018-11-06 哈尔滨工业大学 基于单目视觉的地面t形运动目标检测与定位方法
CN111626080B (zh) * 2019-02-27 2022-06-24 魔门塔(苏州)科技有限公司 车辆检测方法及车载终端
WO2022246767A1 (zh) * 2021-05-27 2022-12-01 华为技术有限公司 一种目标车辆转向意图的确定方法及装置
CN114265499A (zh) * 2021-12-17 2022-04-01 交控科技股份有限公司 应用于客服终端的交互方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
CN103985230A (zh) * 2014-05-14 2014-08-13 深圳市大疆创新科技有限公司 一种基于图像的通知方法、装置及通知***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693617B2 (en) * 2006-09-19 2010-04-06 The Boeing Company Aircraft precision approach control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
CN103985230A (zh) * 2014-05-14 2014-08-13 深圳市大疆创新科技有限公司 一种基于图像的通知方法、装置及通知***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Autonomous target localization using quadrotor;Yun Hou 等;《Control and Decision Conference （2014 CCDC），The 26th Chinese》;20140602;864-869 *
用于违章停车车辆自动取证的四轴飞行器***;张鹏 等;《太赫兹科学与电子信息学报》;20161030;第14卷(第5期);784-788、792 *

Also Published As

Publication number Publication date
CN105184301A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN105184301B (zh) 一种利用四轴飞行器判别车辆方位的方法
CN105702048B (zh) 基于行车记录仪的高速公路前车违法占道识别***及方法
Omachi et al. Detection of traffic light using structural information
CN103279756B (zh) 基于集成分类器的车辆检测分析***及其检测分析方法
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN105335702B (zh) 一种基于统计学习的卡口车型识别方法
CN105488454A (zh) 基于单目视觉的前方车辆检测与测距
CN102915433B (zh) 基于字符组合的车牌定位和识别方法
CN105913041A (zh) 一种基于预先标定的信号灯识别方法
CN104766042A (zh) 交通标志板识别方法及装置
CA2885019A1 (en) Robust windshield detection via landmark localization
CN108090459B (zh) 一种适用于车载视觉***的交通标志检测识别方法
CN102855500A (zh) 一种基于Haar和HoG特征的前车检测方法
CN102682304A (zh) 一种融合多特征的行人检测方法及装置
CN103871077A (zh) 一种道路车辆监控视频中的关键帧提取方法
CN105160292A (zh) 一种车辆标识识别方法与***
CN107918775B (zh) 一种辅助车辆安全驾驶的斑马线检测方法及***
Wali et al. Shape matching and color segmentation based traffic sign detection system
CN106919939A (zh) 一种交通标识牌跟踪识别方法及***
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别***及方法
CN105512662A (zh) 一种无牌车辆检测方法及装置
Premachandra et al. Image based automatic road surface crack detection for achieving smooth driving on deformed roads
CN102930271A (zh) 一种视频图像的出租车实时识别方法
Suchitra et al. Detection & classification of arrow markings on roads using signed edge signatures
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant