CN112907634A - 基于无人机的车辆跟踪方法 - Google Patents
基于无人机的车辆跟踪方法 Download PDFInfo
- Publication number
- CN112907634A CN112907634A CN202110290410.4A CN202110290410A CN112907634A CN 112907634 A CN112907634 A CN 112907634A CN 202110290410 A CN202110290410 A CN 202110290410A CN 112907634 A CN112907634 A CN 112907634A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- similarity
- expressed
- target vehicle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 3
- 238000012216 screening Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于无人机的车辆跟踪方法,涉及车辆跟踪技术领域。本方法使用深度学习方式检测出视频中的车辆,对视频帧的图像中车辆信息进行提取;计算得到目标车辆所在图像位置,计算预测下一帧目标车辆所在区域。采用该区域检测得到的车辆图像与目标车辆进行相似度对比,采用感知哈希算法使用汉明距离进行相似度对比和直方图颜色特征值和局部直方图特征值使用巴氏距离公式进行相似度对比,最后采用合适权重对感知哈希、直方图颜色特征以及局部直方图特征相似度对比值进行打分,筛选出得分最高的为跟踪目标车辆。本发明能够合理准确的对无人机拍摄视频中的车辆进行跟踪,该发明的优点为减少成本、速度快、准确度高。
Description
技术领域
本发明涉及车辆跟踪技术领域,尤其涉及一种基于无人机的车辆跟踪方法。
背景技术
Yolo系类算法在视觉领域是比较流行的目标检测算法,它的创新点是将候选区域和对象识别这两个阶段融合一体,使算法的结构简单,提高目标检测速度。Yolov3算法是Yolo系类的第三个版本,它的优点采用了回归思想,输入端直接把整张图片放入网络,输出端输出回归预选框的类别和位置,使用一个神经网络就实现了端到端的目标检测。Yolov3的网络结构是借鉴了ResNet残差网络结构,它使用了多尺度特征进行目标检测、预测分类用多个Logistic loss取代了Softmax loss,可以将单标签分类改进为多标签分类。Yolo系列算法在生活、医疗和安全等方面越来越重要,它的优点是方便和计算速度快,成本较低等优点。优化Yolov3算法的中心思想是采用深度学习的方法,对无人机视角下的车辆图片进行采集,制作成数据集。使用该数据集训练出车辆模型。改进Yolov3算法的损失函数和融合卷积层和BN层,使用改进模型对车辆进行检测。使对车辆检测精度与速度提高。
车辆跟踪最早是利用激光雷达、地磁感应原理和人工干预等手段,进行周围车辆的跟踪。目前基于计算机视觉领域的车辆跟踪方法,首先是采用检测的车辆位置估算车辆接下来的行驶状态,或者采用建立模型来估算车辆接下来的位置,从而进行车辆的跟踪和预判。这样检测和跟踪的方式,大大降低了视频流中每帧车辆检测的耗时,避免了全局搜索。常用的目标生成式跟踪方法有卡尔曼滤波、粒子滤波、均值漂移跟踪等;常用的目标判别式跟踪方法有TLD、相关滤波的跟踪以及基于深度学习的跟踪方法。虽然,以上算法对车辆跟踪都具有一定的效果,但是,由于是基于无人机对车辆跟踪,车辆在视频中的形状和运动状态导致以上算法对车辆跟踪精度不高。
发明内容
针对现有技术存在的不足,本发明提出了一种基于无人机的车辆跟踪方法,针对现有的车辆跟踪算法在对无人机视角下,对车辆跟踪精度不高问题,提出了把Yolov3算法对车辆检测作为车辆跟踪的特征提取部分,融合到车辆跟踪,提高车辆跟踪的精确度。为解决上述技术问题,本发明所采取的技术方案是:
一种基于无人机的车辆跟踪方法,具体包括以下步骤:
步骤1:收集无人机视角下的车辆图像,制作数据集;
使用优化Yolov3算法对待测视频每帧中的车辆图像信息进行检测,得到视频帧中的所有车辆的图像信息制作数据集;
所述优化Yolov3算法中的损失函数Loss如下所示:
Loss=T1-T3-T4
式中:T1表示为bounding box和真实目标的box的中心坐标误差;T3表示为置信度误差;T4表示为分类误差;
优化Yolov3算法中的卷积层和BN层如下所示:
式中,xi为卷积层;wi′为合并后权值参数;β’为偏置;Xc为合并后的计算结果;i为卷积层数;m为卷积层总数;
步骤2:视频中出现目标车辆时,对目标车辆进行手动标记,根据目标车辆所在当前帧位置,使用区域搜索方式对目标车辆的下一帧所在位置进行预测,计算预测得到下一帧目标车辆所在位置,如下所示;
Wo=a'*Ws
Ho=a'*Ws
其中,a'表示为扩大框的倍数,Ws表示为前一阵矩阵框的宽度,Ho和Wo表示下一帧搜索区域的宽度和高度;
步骤3:使用目标车辆图像信息与步骤2中预测的目标车辆出现的位置中的车辆信息进行图像相似度对比,确定目标车辆;
根据步骤2中预测下一帧的目标车辆出现位置中的所有车辆,与手动标记的目标车辆图像进行相似度对比,根据图像的颜色直方图相似度、纹理相似度以及感知哈希相似度,得到相应权重,并计算相似度评分Si,相似度评分最高的车辆为目标车辆:
Si=aY(s(Hi,H0))+bY(s(Li,L0))+cY(s(pi+p0))
式中:Si为相似度评分;a为颜色直方图相似度权重系数;b为纹理相似度权重系数;c为感知哈希相似度权重系数;Hi和H0为颜色直方图特征值;Y(s(Hi,H0))表示为颜色直方图相似度的放大值;s(Hi,H0)表示为颜色直方图相似度值;Li和L0为局部纹理特征值;Y(s(Li,L0))表示为局部纹理相似度的放大值;s(Li,L0)表示为局部纹理相似度相似度值;pi和p0为感知哈希值;Y(s(pi,p0))表示为感知哈希值相似度的放大值;s(Hi,H0)表示为感知哈希相似度值。
采用上述技术方法所产生的有益效果在于:
本发明提供一种基于无人机的车辆跟踪方法,与现有的技术相比,能够在无人机对车辆进行跟踪时,对车辆跟踪精确度高,节约成本,能够在无人机在短暂时间丢失目标,后续目标车辆再出现时能够精准再次捕捉,进行跟踪。
本发明针对现有车辆跟踪算法,可能对无人机视角下的车辆车辆出现遮挡时跟踪精度不高和速度低的问题,使用深度学习的目标检测作为车辆检测器融合图像相似度对比,提出一种新的无人机对车辆跟踪方法。本方法在车辆出现遮挡时,精确度高,跟踪速度快。
附图说明
图1为本发明基于无人机对车辆跟踪方法流程图;
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
一种基于无人机对车辆跟踪方法,其流程图如图1所示,包括:
步骤1:收集无人机视角下的车辆图像,制作数据集;
使用优化Yolov3算法对待测视频每帧中的车辆图像信息进行检测,得到视频帧中的所有车辆的图像信息制作数据集;
所述优化Yolov3算法中的损失函数Loss如下所示:
Loss=T1-T3-T4
式中:T1表示为bounding box和真实目标的box的中心坐标误差;T3表示为置信度误差;T4表示为分类误差;
优化Yolov3算法中的卷积层和BN层如下所示:
式中,xi为卷积层;wi′为合并后权值参数;β’为偏置;Xc为合并后的计算结果;i为卷积层数;m为卷积层总数;
步骤2:预测下一帧目标车辆出现的区域
在视频每帧中,目标车辆的位置变化不大,通过预测下一帧目标车辆的区域,对车辆进行初步筛选,提高了跟踪方法的精度和速度。根据目标车辆所在视频帧中的位置,根据目标车辆的前后帧位置位移变化小,使用区域搜索方式对目标车辆的下一帧所在位置进行预测。计算预测下一帧目标车辆所在位置:
Wo=a'*Ws
Ho=a'*Ws
Ws表示为前一阵矩阵框的宽度;Ho和Wo表示后一帧搜索区域的宽度和高度;a'为系数;
本实施例中由于前后帧中车辆出现的位移小,故设a'等于2。
步骤3:进行图像对比得到目标车辆;
基于无人机对车辆跟踪,车辆图像主要有颜色特征,局部纹理特征明显,采用颜色直方图值和局部纹理直方图以及感知哈希值的权重,共同对相似度进行打分。
根据步骤2区域检测提取出的车辆图像信息和目标车辆图像进行相似度对比,根据图像的颜色直方图、局部纹理以及哈希值的对比,得到合适权重,筛选得到相似度最高为目标车辆。
Si=aY(s(Hi,H0))+bY(s(Li,L0))+cY(s(pi+p0))
式中:Si为相似度打分;a为直方图相似度权重系数,本实施例中由于无人机对车辆进行跟踪所以颜色直方图值占比重最大,故a等于5;b为LBP相似度权重系数,本实施例中由于局部纹理特征值占比重也非常重要,故b等于3;c为感知哈希相似度权重系数,本实施例中由于哈希值在对无人机视角下的车辆图像影响因素小,故c等于2;Hi和H0为HSV直方图特征值;Li和L0为局部纹理特征值;pi和p0为感知哈希值。
Claims (2)
1.一种基于无人机的车辆跟踪方法,其特征在于,包括以下步骤:
步骤1:收集无人机视角下的车辆图像,制作数据集;
使用优化Yolov3算法对待测视频每帧中的车辆图像信息进行检测,得到视频帧中的所有车辆的图像信息制作数据集;
所述优化Yolov3算法中的损失函数Loss如下所示:
Loss=T1-T3-T4
式中:T1表示为bounding box和真实目标的box的中心坐标误差;T3表示为置信度误差;T4表示为分类误差;
优化Yolov3算法中的卷积层和BN层如下所示:
式中,xi为卷积层;wi′为合并后权值参数;β’为偏置;Xc为合并后的计算结果;i为卷积层数;m为卷积层总数;
步骤2:视频中出现目标车辆时,对目标车辆进行手动标记,根据目标车辆所在当前帧位置,使用区域搜索方式对目标车辆的下一帧所在位置进行预测,计算预测得到下一帧目标车辆所在位置,如下所示;
Wo=a'*Ws
Ho=a'*Ws
其中,a'表示为扩大框的倍数,Ws表示为前一阵矩阵框的宽度,Ho和Wo表示下一帧搜索区域的宽度和高度;
步骤3:使用目标车辆图像信息与步骤2中预测的目标车辆出现的位置中的车辆信息进行图像相似度对比,确定目标车辆。
2.根据权利要求1所述的一种基于无人机的车辆跟踪方法,其特征在于,步骤3中所述车辆信息对比,根据步骤2中预测下一帧的目标车辆出现位置中的所有车辆,与手动标记的目标车辆图像进行相似度对比,根据图像的颜色直方图相似度、纹理相似度以及感知哈希相似度,得到相应权重,并计算相似度评分Si,相似度评分最高的车辆为目标车辆:
Si=aY(s(Hi,H0))+bY(s(Li,L0))+cY(s(pi+p0))
式中:Si为相似度评分;a为颜色直方图相似度权重系数;b为纹理相似度权重系数;c为感知哈希相似度权重系数;Hi和H0为颜色直方图特征值;Y(s(Hi,H0))表示为颜色直方图相似度的放大值;s(Hi,H0)表示为颜色直方图相似度值;Li和L0为局部纹理特征值;Y(s(Li,L0))表示为局部纹理相似度的放大值;s(Li,L0)表示为局部纹理相似度相似度值;pi和p0为感知哈希值;Y(s(pi,p0))表示为感知哈希值相似度的放大值;s(Hi,H0)表示为感知哈希相似度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110290410.4A CN112907634B (zh) | 2021-03-18 | 2021-03-18 | 基于无人机的车辆跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110290410.4A CN112907634B (zh) | 2021-03-18 | 2021-03-18 | 基于无人机的车辆跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112907634A true CN112907634A (zh) | 2021-06-04 |
CN112907634B CN112907634B (zh) | 2023-06-20 |
Family
ID=76105407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110290410.4A Active CN112907634B (zh) | 2021-03-18 | 2021-03-18 | 基于无人机的车辆跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907634B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114973033A (zh) * | 2022-05-30 | 2022-08-30 | 青岛科技大学 | 一种无人机自动检测目标和跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009494A (zh) * | 2017-11-30 | 2018-05-08 | 中山大学 | 一种基于无人机的道路交叉口车辆跟踪方法 |
US20200175311A1 (en) * | 2018-11-29 | 2020-06-04 | Element Ai Inc. | System and method for detecting and tracking objects |
CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机***及检测跟踪方法 |
WO2021012484A1 (zh) * | 2019-07-19 | 2021-01-28 | 平安科技(深圳)有限公司 | 基于深度学习的目标跟踪方法、装置及计算机可读存储介质 |
-
2021
- 2021-03-18 CN CN202110290410.4A patent/CN112907634B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009494A (zh) * | 2017-11-30 | 2018-05-08 | 中山大学 | 一种基于无人机的道路交叉口车辆跟踪方法 |
US20200175311A1 (en) * | 2018-11-29 | 2020-06-04 | Element Ai Inc. | System and method for detecting and tracking objects |
WO2021012484A1 (zh) * | 2019-07-19 | 2021-01-28 | 平安科技(深圳)有限公司 | 基于深度学习的目标跟踪方法、装置及计算机可读存储介质 |
CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机***及检测跟踪方法 |
Non-Patent Citations (1)
Title |
---|
汪辉;高尚兵;周君;周建;张莉雯;: "基于YOLOv3的多车道车流量统计及车辆跟踪方法", 国外电子测量技术, no. 02 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114973033A (zh) * | 2022-05-30 | 2022-08-30 | 青岛科技大学 | 一种无人机自动检测目标和跟踪方法 |
CN114973033B (zh) * | 2022-05-30 | 2024-03-01 | 青岛科技大学 | 一种无人机自动检测目标和跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112907634B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
CN102722698B (zh) | 多姿态人脸检测与跟踪方法及*** | |
CN111241931B (zh) | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 | |
CN102609686B (zh) | 一种行人检测方法 | |
CN110866430B (zh) | 一种车牌识别方法及装置 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN115995063A (zh) | 作业车辆检测与跟踪方法和*** | |
CN106097391A (zh) | 一种基于深度神经网络的识别辅助的多目标跟踪方法 | |
CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
CN107944354B (zh) | 一种基于深度学习的车辆检测方法 | |
CN111666871A (zh) | 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法 | |
WO2024037408A1 (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
CN111199245A (zh) | 油菜害虫识别方法 | |
CN114463619B (zh) | 基于集成融合特征的红外弱小目标检测方法 | |
CN110837769B (zh) | 一种图像处理与深度学习的嵌入式远红外行人检测方法 | |
CN116523966A (zh) | 融合场景先验知识的多模态航拍视频车辆目标跟踪方法 | |
CN109215059B (zh) | 一种航拍视频中运动车辆跟踪的局部数据关联方法 | |
CN112907634B (zh) | 基于无人机的车辆跟踪方法 | |
Xiang et al. | A real-time vehicle traffic light detection algorithm based on modified YOLOv3 | |
CN111862147B (zh) | 视频中多车辆和多行人目标的跟踪方法 | |
CN109636834A (zh) | 基于tld改进算法的视频车辆目标跟踪算法 | |
CN115457420B (zh) | 一种基于无人机拍摄夜间低对比度的车辆重检测方法 | |
CN111275733A (zh) | 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法 | |
CN116229511A (zh) | 基于金丝猴躯干特征提取的身份重识别方法 | |
CN114037737B (zh) | 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |