CN112766117A - 一种基于YOLOV4-tiny的车辆检测与测距方法 - Google Patents
一种基于YOLOV4-tiny的车辆检测与测距方法 Download PDFInfo
- Publication number
- CN112766117A CN112766117A CN202110027591.1A CN202110027591A CN112766117A CN 112766117 A CN112766117 A CN 112766117A CN 202110027591 A CN202110027591 A CN 202110027591A CN 112766117 A CN112766117 A CN 112766117A
- Authority
- CN
- China
- Prior art keywords
- tiny
- yolov4
- algorithm
- network
- distance measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于YOLOV4‑tiny的车辆检测与测距方法,涉及车辆技术领域;它的方法如下:步骤一:车辆检测算法设计:Yolov4‑tiny是在Yolov4的基础上设计的,Yolov4‑tiny算法采用CSPDarknet53‑tiny网络作为骨干网络,CSPDarknet53‑tiny网络在跨级部分网络中使用CSPBlock模块,通过跨级残差边将两部分合并;步骤二:车辆视觉测距算法设计:图像采集是将客观世界的三维场景投影到CCD摄像机的二维像平面上,其依据小孔成像模型来描述此透视变换,本发明结合深度学习目标检测技术、单目视觉测距技术,立足于车辆检测算法的优化;设计和实现实时车辆检测与测距算法。
Description
技术领域
本发明属于车辆技术领域,具体涉及一种基于YOLOV4-tiny的车辆检测与测距方法。
背景技术
交通出行是人们日常生活中的重要活动之一,随着近年来交通发展越来越迅速,汽车作为出行的一种便捷交通工具,逐渐被大众拥有。频发的汽车交通事故,给社会和人们的生活安定带来严重的威胁。总结车祸类型和原因可以发现,交通事故多发生在高速公路和一级城市道路上,其中在高速路段发生的追尾碰撞事故占总事故的40.81%,追尾碰撞产生的主要原因不利天气,地面附着条件不佳的客观因素和驾驶员注意力不集中、疲劳驾驶、操作不当的主观因素。大量的研究表明,能在发生交通事故前0.5s提醒驾驶者,可避免50%的事故,若能在事故发生前1s提醒驾驶员,可避免90%的事故,现有车辆检测与测距方式不够方便。
发明内容
为解决背景技术中的问题;本发明的目的在于提供一种基于YOLOV4-tiny的车辆检测与测距方法。
本发明的一种基于YOLOV4-tiny的车辆检测与测距方法,它的方法如下:
步骤一:车辆检测算法设计:
1.1、Yolov4-tiny是在Yolov4的基础上设计的,Yolov4-tiny算法采用CSPDarknet53-tiny网络作为骨干网络,CSPDarknet53-tiny网络在跨级部分网络中使用CSPBlock模块,通过跨级残差边将两部分合并;
1.2、在特征融合部分,Yolov4-tiny算法采用特征金字塔网络提取不同尺度的特征图来提高物体检测速度,同时,Yolov4-tiny采用13×13和26×26两种不同尺度的特征图来预测检测结果;
1.3、增加主干网络特征层提取强度,采用13×13、26×26和52×52三个特征层进行特征融合,同时,采用13×13、26×26和52×52三种不同尺度的特征图来预测检测结果;训练测试过程对公开数据集VOC和UA-DETRAC数据集进行适当调整,训练检测算法权重,在测试阶段根据测试结果进一步优化算法;
步骤二:车辆视觉测距算法设计:
图像采集是将客观世界的三维场景投影到CCD摄像机的二维像平面上,其依据小孔成像模型来描述此透视变换,
其中,f为CCD摄像机的有效焦距;α为CCD摄像机的俯仰角度;h为CCD摄像机的安装高度;(x0,y0)为光轴与像平面的焦点;(x,y)为路面上一点P在像平面上的投影坐标。此时P点就是检测出的车辆与地面相接下边沿位置的一点;根据几何关系得到P点与镜头中心的水平距离D的计算公式如下:
当已知前方物体的实际大小时,目标的实际高度H,经过摄像头之后,在摄像头成像元件中成像的长度为h,根据三角形相似的原理可以确定目标距离D的计算公式如下:
根据测距算法分析,采用基于车牌大小及车辆下边沿位置特征的测距算法,同时在两种算法根据具体测距实验情况优化设计误差补偿环节以及加权融合测距模块。
与现有技术相比,本发明的有益效果为:
一、结合深度学习目标检测技术、单目视觉测距技术,立足于车辆检测算法的优化;
二、设计和实现实时车辆检测与测距算法,稳定性高。
附图说明
为了易于说明,本发明由下述的具体实施及附图作以详细描述。
图1为本发明中Yolov4-tiny网络结构示意图;
图2为本发明中改进Yolov4-tiny网络结构示意图;
图3为本发明中几何透视变换示意图;
图4为本发明中图像坐标系和成像坐标系关系示意图;
图5为本发明中测距算法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面通过附图中示出的具体实施例来描述本发明。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
本具体实施方式采用以下技术方案:它的方法如下:
步骤一:车辆检测算法设计:Yolov4-tiny是在Yolov4的基础上设计的,使其具有更快的目标检测速度。Yolov4-tiny的检测速度在1080Ti GPU的情况下可以达到371帧/秒,精度可以满足实际应用的需求。大大提高了目标检测算法部署在嵌入式***或移动设备上的可行性。Yolov4-tiny算法采用CSPDarknet53-tiny网络作为骨干网络,CSPDarknet53-tiny网络在跨级部分网络中使用CSPBlock模块,通过跨级残差边将两部分合并。这使得梯度流可以在两个不同的网络路径中传播,增加梯度信息的相关性差异。可以提高卷积网络的学习能力。虽然增加了10%~20%的计算量,但提高了精度。
在特征融合部分,Yolov4-tiny算法采用特征金字塔网络提取不同尺度的特征图来提高物体检测速度,同时,Yolov4-tiny采用13×13和26×26两种不同尺度的特征图来预测检测结果。假设输入图的大小为416×416,Yolov4-tiny网络结构如图1所示。
在利用Yolov4-tiny自带权重对本文中车辆目标进行检测时发现,存在车辆预测框标定不精确以及车辆远距离目标较小的情况下出现漏检问题。考虑下阶段测距距离以及精度的要求,对算法进行优化,网络结构如图2所示。
增加主干网络特征层提取强度,采用13×13、26×26和52×52三个特征层进行特征融合,同时,采用13×13、26×26和52×52三种不同尺度的特征图来预测检测结果。训练测试过程对公开数据集VOC和UA-DETRAC数据集进行适当调整,训练检测算法权重,在测试阶段根据测试结果进一步优化算法,使其满足设计要求。
步骤二:车辆视觉测距算法设计:
图像采集是将客观世界的三维场景投影到CCD摄像机(采集器)的二维像平面(CCD光敏矩阵表面)上,这个投影一般采用几何透视变换来描述,其依据小孔成像模型来描述此透视变换,如图3所示。
其中,f为CCD摄像机的有效焦距;α为CCD摄像机的俯仰角度;h为CCD摄像机的安装高度;(x0,y0)为光轴与像平面的焦点;(x,y)为路面上一点P在像平面上的投影坐标。此时P点就是检测出的车辆与地面相接下边沿位置的一点。根据几何关系得到P点与镜头中心的水平距离D的计算公式如下:
当已知前方物体的实际大小时,例如车牌高度标准为140毫米,图像坐标系和成像坐标系可简化成如图4所示,目标的实际高度H,经过摄像头之后,在摄像头成像元件中成像的长度为h。根据三角形相似的原理可以确定目标距离D的计算公式如下:
根据测距算法分析,本文采用基于车牌大小及车辆下边沿位置特征的测距算法,同时在两种算法根据具体测距实验情况优化设计误差补偿环节以及加权融合测距模块。具体结构如图5所示。
本具体实施方式的算法具体研究内容如下:
1、车辆检测算法设计。研究分析Yolov4-tiny目标检测算法的设计原理、网络框架与检测流程,总结Yolov4-tiny算法在训练和检测阶段的关键技术,分析Yolov4-tiny在本文研究中的优势与缺陷。然后根据FPN网络对Yolov4-tiny网络框架进行优化,设计适用车辆目标检测的算法。
2、车辆视觉测距算法设计。使用图像传感设备采集车辆前方的图像数据,将车辆检测网络的检测到的前方目标在图像中的位置将其转换为实际三维空间中相对本车的位置。实验分析基于车牌和车辆与地面相接下边沿位置等特征单目测距算法的优点和不足,根据实际行车过程的情况,设计兼具精度和稳定性的测距算法。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (1)
1.一种基于YOLOV4-tiny的车辆检测与测距方法,其特征在于:它的方法如下:
步骤一:车辆检测算法设计:
1.1、Yolov4-tiny是在Yolov4的基础上设计的,Yolov4-tiny算法采用CSPDarknet53-tiny网络作为骨干网络,CSPDarknet53-tiny网络在跨级部分网络中使用CSPBlock模块,通过跨级残差边将两部分合并;
1.2、在特征融合部分,Yolov4-tiny算法采用特征金字塔网络提取不同尺度的特征图来提高物体检测速度,同时,Yolov4-tiny采用13×13和26×26两种不同尺度的特征图来预测检测结果;
1.3、增加主干网络特征层提取强度,采用13×13、26×26和52×52三个特征层进行特征融合,同时,采用13×13、26×26和52×52三种不同尺度的特征图来预测检测结果;训练测试过程对公开数据集VOC和UA-DETRAC数据集进行适当调整,训练检测算法权重,在测试阶段根据测试结果进一步优化算法;
步骤二:车辆视觉测距算法设计:
图像采集是将客观世界的三维场景投影到CCD摄像机的二维像平面上,其依据小孔成像模型来描述此透视变换,
其中,f为CCD摄像机的有效焦距;α为CCD摄像机的俯仰角度;h为CCD摄像机的安装高度;(x0,y0)为光轴与像平面的焦点;(x,y)为路面上一点P在像平面上的投影坐标;此时P点就是检测出的车辆与地面相接下边沿位置的一点;根据几何关系得到P点与镜头中心的水平距离D的计算公式如下:
当已知前方物体的实际大小时,目标的实际高度H,经过摄像头之后,在摄像头成像元件中成像的长度为h,根据三角形相似的原理可以确定目标距离D的计算公式如下:
根据测距算法分析,采用基于车牌大小及车辆下边沿位置特征的测距算法,同时在两种算法根据具体测距实验情况优化设计误差补偿环节以及加权融合测距模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110027591.1A CN112766117A (zh) | 2021-01-10 | 2021-01-10 | 一种基于YOLOV4-tiny的车辆检测与测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110027591.1A CN112766117A (zh) | 2021-01-10 | 2021-01-10 | 一种基于YOLOV4-tiny的车辆检测与测距方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112766117A true CN112766117A (zh) | 2021-05-07 |
Family
ID=75701164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110027591.1A Pending CN112766117A (zh) | 2021-01-10 | 2021-01-10 | 一种基于YOLOV4-tiny的车辆检测与测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112766117A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191449A (zh) * | 2021-05-18 | 2021-07-30 | 哈尔滨理工大学 | 一种基于对抗性域适应的雾天目标检测方法 |
CN113255521A (zh) * | 2021-05-26 | 2021-08-13 | 青岛以萨数据技术有限公司 | 一种面向嵌入式平台的双模目标检测方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901136A (zh) * | 2019-04-05 | 2019-06-18 | 哈尔滨理工大学 | 一种基于机器视觉的双摄像头测距*** |
CN111414857A (zh) * | 2020-03-20 | 2020-07-14 | 辽宁工业大学 | 一种基于视觉的多特征融合的前方车辆检测方法 |
CN111986512A (zh) * | 2020-07-16 | 2020-11-24 | 华为技术有限公司 | 一种目标距离确定方法及装置 |
CN112183528A (zh) * | 2020-09-23 | 2021-01-05 | 桂林电子科技大学 | 目标车辆跟踪的方法及其装置、***和计算机存储介质 |
-
2021
- 2021-01-10 CN CN202110027591.1A patent/CN112766117A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901136A (zh) * | 2019-04-05 | 2019-06-18 | 哈尔滨理工大学 | 一种基于机器视觉的双摄像头测距*** |
CN111414857A (zh) * | 2020-03-20 | 2020-07-14 | 辽宁工业大学 | 一种基于视觉的多特征融合的前方车辆检测方法 |
CN111986512A (zh) * | 2020-07-16 | 2020-11-24 | 华为技术有限公司 | 一种目标距离确定方法及装置 |
CN112183528A (zh) * | 2020-09-23 | 2021-01-05 | 桂林电子科技大学 | 目标车辆跟踪的方法及其装置、***和计算机存储介质 |
Non-Patent Citations (2)
Title |
---|
刘肯等: "改进tiny-yolo的车辆检测算法", 《计算机与数字工程》 * |
周天宇 等: "基于改进YOLOV3的载波芯片缺陷检测", 《激光与光电子学进展》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191449A (zh) * | 2021-05-18 | 2021-07-30 | 哈尔滨理工大学 | 一种基于对抗性域适应的雾天目标检测方法 |
CN113255521A (zh) * | 2021-05-26 | 2021-08-13 | 青岛以萨数据技术有限公司 | 一种面向嵌入式平台的双模目标检测方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009765B (zh) | 一种自动驾驶车辆场景数据***的场景格式转化方法 | |
WO2018153304A1 (zh) | 基于adas***的地图道路标记及道路质量采集装置及方法 | |
CN111369541B (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
CN105206109B (zh) | 一种基于红外ccd的车辆雾天识别预警***及方法 | |
US9384401B2 (en) | Method for fog detection | |
CN1223964C (zh) | 用于测量车辆队列长度的装置和方法 | |
CN105835880A (zh) | 车道追踪*** | |
CN112766117A (zh) | 一种基于YOLOV4-tiny的车辆检测与测距方法 | |
CN110378210B (zh) | 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法 | |
CN104115204B (zh) | 立体物检测装置 | |
CN111461048B (zh) | 基于视觉的停车场可行驶区域检测与局部地图构建方法 | |
CN104115203B (zh) | 立体物检测装置 | |
CN111027430A (zh) | 一种面向无人车智能评估的交通场景复杂度计算方法 | |
CN114572183A (zh) | 一种汽车路面自适应的车辆控制方法及设备 | |
CN115346177A (zh) | 一种新的路侧视角下目标检测***及方法 | |
CN102230794A (zh) | 一种基于视频的驾驶员视距动态测量方法 | |
CN111694011A (zh) | 一种摄像机和三维激光雷达数据融合的路沿检测方法 | |
CN108961313B (zh) | 二维世界坐标系的俯视行人风险量化方法 | |
Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
CN113449650A (zh) | 一种车道线检测***及方法 | |
CN103481842B (zh) | 一种车辆检测与跟踪模式的切换方法 | |
CN106627416A (zh) | 用于检测道路类型的方法、装置和*** | |
CN106991415A (zh) | 用于车载鱼眼相机的图像处理方法和装置 | |
CN116740657A (zh) | 一种基于相似三角形的目标检测以及测距方法 | |
Álvarez et al. | Perception advances in outdoor vehicle detection for automatic cruise control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210507 |
|
WD01 | Invention patent application deemed withdrawn after publication |