CN113836975A - 基于yolov3的双目视觉无人机避障方法 - Google Patents
基于yolov3的双目视觉无人机避障方法 Download PDFInfo
- Publication number
- CN113836975A CN113836975A CN202010583530.9A CN202010583530A CN113836975A CN 113836975 A CN113836975 A CN 113836975A CN 202010583530 A CN202010583530 A CN 202010583530A CN 113836975 A CN113836975 A CN 113836975A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- unmanned aerial
- aerial vehicle
- visual
- yolov3
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 206010063385 Intellectualisation Diseases 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于视觉避障领域，具体涉及一种基于YOLOV3的无人机双目视觉避障方法，利用YOLOV3深度学习网络实现障碍物目标识别与区域提取问题，通过SURF匹配算法对障碍物目标的特征点进行特征匹配，根据最小二乘法对障碍物位置的三维还原，解决视觉测距与防撞问题，从而根据双目视觉与深度学习网络针对障碍物位置坐标的提供，通过扩展到三维的Artifical Potential Field(APF)算法获取精确的避障路线。适合中小型无人机的智能化、微型化及低成本的特点，具有理论与实用价值。
Description
技术领域
本发明属于视觉避障领域，涉及一种基于YOLOV3的无人机双目视觉避障方法，特别针对小型无人机的障碍物目标检测、快速绕行障碍物的要求。
背景技术
近年来，无人机(UAV)在电力巡检上的作用日趋重要，如美国RC公司发布了DraganflyerIII，德国Microdrones公司研制了MD4-200、MD4-1000、MD4-3000，目前国际应用广泛的PIXHAWK无人机开源技术平台，基于PIX4原生固件发布了avoidance功能模块，并在“Intel RTF”小型无人机上完全实现了飞行试验，经发布该模块也被广泛用于无人机电力巡检的障碍物避障中。基于PIXHAWK飞控的avoidance模块局部避障采用3DVFH*算法，该算法以纯反应性的方式计算避障动作，不需要构建环境的全局地图。基于该功能的机载模块包括能够提供三维点云类型的相机、兼容Ubuntu16.04操作***的机载电脑、图像回传设备、一体化数据接收与传递***等。随着人工智能技术的发展，机器视觉领域的专家通过分析该避障模块的功能，发现该避障模块还有一系列改进的空间，主要针对非障碍目标的点云信息冗余、无法快速提供障碍物目标的类型、计算损耗较大，在每次巡检过程中能源***不能提供较久的能源供备。因此，相对于电力巡检的无人机，要求具有低成本、小尺寸、低功耗、高效率的特点，以便于其巡检过程的智能化、完整性和安全性。
先进的避障***是决定无人机完成巡检任务、提高避障精度的关键。随之人工智能技术的发展，无论在机器视觉SLAM、深度学***面。此外，往往不具备对复杂场景中障碍物目标的定位和识别的功能，而这些问题又是普遍存在且难以解决。在无法针对于障碍物位置提取的时候，无人机避障***中障碍物信息的获取只能依靠传感器对整个场景的地图构建，而高效的避障***依靠于障碍物目标的位置信息，这一方面增加信息冗余，一方面增加了无人机处理设备的计算损耗。另外，由于此类传感器无法获取实时的航路图像，所以必须配置机载相机进行航路图像的获取，对于中小型无人机(MUAV)，载荷重量是一个最大限制。而双目视觉传感器不仅能适用于机器学习，在实现立体测距的同时可获取实时的航路图像，且重量轻、功耗小、探测距离远、分辨率高，是中小型无人机视觉导航的优选载荷。
因此，本发明旨在研究如何利用双目视觉测距***进行防撞，提出基于YOLOV3的双目视觉避障方法研究，正是为了适合中小型无人机的高效避障、微型化及低成本的特点，具有理论与实用价值。
发明内容
本发明重点研究无人机双目视觉避障***的关键技术。解决障碍物目标识别与区域提取问题，解决视觉测距与防撞问题，实现根据双目视觉信息与深度学习针对障碍物位置坐标的提供，通过扩展到三维的Artifical Potential Field(APF)算法获取精确的避障路线。具体的研究方案如图1所示。主要内容如下：
1)基于YOLOV3检测网络实现障碍物目标的定位识别
2)基于SURF算法实现障碍物的特征点匹配
3)基于最小二乘法实现目标区域特征点的三维还原
3)设计障碍物膨胀球区域，并设置无人机航路图像的危险判定区域，采用扩展到三维的Artifical Potential Field(APF)路径规划算法，从而获取精确的避障路线。
附图说明
图1是本发明的研究方案图。
图2是本发明的基于YOLOV3针对障碍物目标检测的视觉防撞与避障原理图。
具体实施方式
主要环节的具体设计思路如下：
(1)基于YOLOV3针对障碍物目标的检测与提取
对双目相机获取的图像基于YOLOV3检测与提取障碍物通过3步完成：
a)障碍物的特征提取：将输入图像通过Darknet53卷积网络进行卷积特征提取，形成不同尺度的特征图图像，然后将13*13、26*26、52*52三个尺度的特征图输出到后续的检测层进行检测。
b)边框回归与类别预测：首先通过K-means聚类得到9个不同尺寸的AnchorBoxes，9个Anchor会大中小三种尺寸被三个输出张量平分，后通过logistic回归对Anchor包围的部分进行一个目标性评分，选择出评分最高的Anchor进行预测。
c)障碍物目标区域提取：将输入图像进行检测后，获取障碍物目标检测结果Box的坐标位置，针对于检测图像中非障碍物目标区域进行像素黑化处理，即提取出障碍物目标区域。
(2)基于障碍物目标区域SURF的特征点匹配
对障碍物目标区域基于SURF特征点匹配通过4步完成
a)构建Hessian(黑塞矩阵)
Surf算法借助积分图像，将预处理后的图像与高斯二阶微分模板的滤波转化为积分图像的加减运算，并构建Hessian矩阵生成图像稳定的边缘点，用于特征的提取。
b)构建尺度空间
Surf的尺度空间由O组L层组成，不同组间图像的尺寸都是一致的，但不同组间使用的盒式滤波器的模板尺寸逐渐增大，同一组间不同层间使用相同尺寸的滤波器，但是滤波器的模糊系数逐渐增大。
c)特征点定位
将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点。
d)特征点主方向分配
采用的是统计特征点圆形邻域内的harr小波特征。在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以一定间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。
e)生成特征点描述子
在特征点周围取一个4x4的矩形区域块，所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向。把这4个值作为每个子块区域的特征向量，所以一共有4x4x4＝64维向量作为Surf特征的描述子。
f)特征点匹配
通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。加入Hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为0，也直接予以排除。
(3)基于最小二乘法的特征点三维定位
任意障碍物目标在世界坐标系中的一点P(x，y，z)，映射到双目相机左、右相机上的像素点为Pl(ul，vl)与Pr(ur，vr)。故双目相机图像中，障碍物目标的特征点Pl与Pr是图像坐标对应空间中障碍物目标同一点P的两点，因此左右相机光心与特征点的直线O1P1与O2P2一定相交，因此使用最小二乘法对障碍物目标在世界坐标系中三维的位置进行定位。
(4)无人机危险判定区域与防撞***
获取无人机在世界坐标系中的尺寸坐标，以世界坐标系原点为中心，以无人机宽、高为长宽设定为危险判定区域在世界坐标系原点位置的矩形边框，以世界坐标系原点为中心的无人机危险判定区域，矩形边框的顶点坐标的深度信息Z＝0，将Z值设置为障碍物目标实时深度信息，最后根据双目视觉成像原理，计算出世界坐标系中危险判定区域矩形框在障碍物目标深度位置的像素坐标，并绘制在当前航拍图像中的危险判定矩形区域。通过判断危险判定矩形区域是否与当前障碍物目标位置接触，判断实际中无人机是否与障碍物发生接触碰撞，设定避障动作执行的安全距离。当无人机与障碍物目标发生接触时，并达到设定的安全距离时，执行防撞措施。
(5)障碍物目标膨胀包围球设置与APF避障***
虽然人工势场法主要应用于二维规划空间，保留期快速规划的优势。在三维空间应用也具有明显的快速性优势，可以作为离线航迹规划算法，或是局部在线航迹规划。故采用APF算法进行局部避障，首先利用最小二乘法还原匹配特征点的三维坐标，计算图像中各障碍物目标中两特征点在世界坐标系中的最长距离，将其设置为膨胀包围球体的半径，将YOLOV3检测结果的Box中心坐标位置为球心，对检测出的各障碍物目标设置膨胀包围球体。最后通过扩展到三维的APF算法进行局部路径规划，实现对各障碍物目标的避障。
本发明的优点在于，结合深度学习双目视觉避障***成本低，更具智能化，满足小型无人机的载荷、尺寸、功率、成本等方面的需要，具有良好的应用前景。
Claims (4)
1.基于YOLOV3的无人机视觉避障方法，利用YOLOV3深度学习网络实现障碍物目标识别与区域提取问题，通过SURF匹配算法对障碍物目标的特征点进行特征匹配，根据最小二乘法对障碍物位置的三维还原，解决视觉测距与防撞问题，从而根据双目视觉与深度学习网络针对障碍物位置坐标的提供，通过扩展到三维的Artifical Potential Field(APF)算法获取精确的避障路线。
2.根据权利要求1所述的基于YOLOV3的无人机视觉避障方法，其特征在于，利用YOLOV3深度学习网络实现障碍物识别与区域提取。
3.根据权利要求1所述的基于YOLOV3的无人机视觉避障方法，其特征在于，通过SURF匹配算法对障碍物目标的特征点进行特征匹配，根据最小二乘法对障碍物位置的三维还原，解决视觉测距与防撞问题。
4.根据权利要求1所述的基于YOLOV3的无人机视觉避障方法，其特征在于，根据双目视觉与深度学习网络针对障碍物位置坐标的提供，通过扩展到三维的人工势场法(APF)算法获取精确的避障路线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010583530.9A CN113836975A (zh) | 2020-06-24 | 2020-06-24 | 基于yolov3的双目视觉无人机避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010583530.9A CN113836975A (zh) | 2020-06-24 | 2020-06-24 | 基于yolov3的双目视觉无人机避障方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113836975A true CN113836975A (zh) | 2021-12-24 |
Family
ID=78964198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010583530.9A Pending CN113836975A (zh) | 2020-06-24 | 2020-06-24 | 基于yolov3的双目视觉无人机避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113836975A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
-
2020
- 2020-06-24 CN CN202010583530.9A patent/CN113836975A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
| CN114721404B (zh) * | 2022-06-08 | 2022-09-13 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110415342B (zh) | 一种基于多融合传感器的三维点云重建装置与方法 | |
| Xu et al. | Power line-guided automatic electric transmission line inspection system | |
| Liu et al. | Fast power line detection and localization using steerable filter for active UAV guidance | |
| CN114782626B (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| Lebedev et al. | Accurate autonomous uav landing using vision-based detection of aruco-marker | |
| CN114639115B (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| Kim et al. | Robotic sensing and object recognition from thermal-mapped point clouds | |
| Boroson et al. | 3D keypoint repeatability for heterogeneous multi-robot SLAM | |
| Hayton et al. | CNN-based human detection using a 3D LiDAR onboard a UAV | |
| CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与*** | |
| Narayanan et al. | A multi-purpose realistic haze benchmark with quantifiable haze levels and ground truth | |
| García-Pulido et al. | UAV landing platform recognition using cognitive computation combining geometric analysis and computer vision techniques | |
| Persson et al. | Automatic building detection from aerial images for mobile robot mapping | |
| Bi et al. | Machine vision | |
| CN113836975A (zh) | 基于yolov3的双目视觉无人机避障方法 | |
| Qayyum et al. | Deep convolutional neural network processing of aerial stereo imagery to monitor vulnerable zones near power lines | |
| Li et al. | Feature point extraction and tracking based on a local adaptive threshold | |
| Huang et al. | A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas | |
| Li et al. | Mobile robot map building based on laser ranging and kinect | |
| CN112651986B (zh) | 环境识别方法、识别装置、识别***、电子设备及介质 | |
| Ge et al. | An improved VSLAM for mobile robot localization in corridor environment | |
| Li et al. | 3D semantic map construction based on point cloud and image fusion | |
| Su | Vanishing points in road recognition: A review | |
| Dong et al. | Semantic lidar odometry and mapping for mobile robots using rangeNet++ | |
| Persson et al. | Fusion of aerial images and sensor data from a ground vehicle for improved semantic mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211224 |