CN107831777A - 一种飞行器自主避障***、方法及飞行器 - Google Patents
一种飞行器自主避障***、方法及飞行器 Download PDFInfo
- Publication number
- CN107831777A CN107831777A CN201710881514.6A CN201710881514A CN107831777A CN 107831777 A CN107831777 A CN 107831777A CN 201710881514 A CN201710881514 A CN 201710881514A CN 107831777 A CN107831777 A CN 107831777A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- barrier
- information
- automatic obstacle
- obstacle avoiding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004888 barrier function Effects 0.000 claims abstract description 103
- 244000007853 Sarothamnus scoparius Species 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims description 54
- 230000000007 visual effect Effects 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 26
- 230000008447 perception Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种飞行器自主避障***、方法及飞行器，将双目摄像机和毫米波雷达进行融合，采用推帚立体视觉算法以及先进的图像数据融合方法，对障碍物先标记，后检测，快速并准确地获得飞行器前方障碍物的位置以及形状纹理信息，为飞行器实时躲避障碍物提供准确依据，提高了飞行器自主飞行及智能化水平，增强了飞行器的环境适应性，能够在复杂环境下安全飞行完成任务。
Description
技术领域
本发明涉及无人机感知探测领域，具体涉及一种飞行器自主避障***、方法及飞行器。
背景技术
无人机市场近年来迎来了井喷式发展，在国土测绘、灾害侦查、农业植保、航拍摄影、电力巡线等领域有了广泛的应用。面对越来越复杂的应用场景和飞行环境，智能化飞行、操作简单、安全可靠成了无人机发展的主要趋势。无人机自主避障技术使用探测传感器实时感知周围飞行环境，对障碍物进行自主检测并躲避，实现了无人机在复杂环境中的自主飞行。这不仅提高了无人机的智能化水平，更降低了无人机的操作门槛，使无人机在执行任务是更加的安全可靠。
无人机自主避障技术主要基于视觉、超声波以及雷达等传感器。目前国内外很多研究机构及单位在开展相关的研究。大疆公司的“精灵4”产品就采用了立体视觉和超声波传感器作为探测***来实现无人机的自主避障，但其只适用于旋翼平台，并且对无人机的飞行速度和使用环境均有较大的限制；美国的Aerotenna公司采用基于毫米波雷达的避障***实现了旋翼无人机在简单场景下的自主避障，但其飞行环境简单并且飞行平台固定。中国专利申请(公开号：CN205049143U)提供一种基于双目视觉的无人机自主障碍物检测***，只使用了传统的双目立体视觉算法，该方法在确定障碍物距离时在视觉深度方向内进行全范围搜索定位，算法复杂，实时性不高，在诸多的探测传感器中，单一的传感器都有其缺点及不足，限制了避障效果及应用。
发明内容
有鉴于此，本发明实施例提供了一种飞行器自主避障***、方法及飞行器，实现障碍物的实时快速分析与躲避，该过程完全在飞行器上自主完成，实现了飞行器的快速自主避障。
第一方面，本发明提供一种飞行器自主避障***，包括：感知探测传感器、传感器数据处理融合***、航迹规划***、执行机构，
所述感知探测传感器用于对飞行器前方的环境进行感知探测，确定是否存在障碍物，并输出感知探测数据；
所述传感器数据处理融合***用于对感知探测传感器的感知探测数据进行处理融合和分析，判断障碍物的距离信息、大小信息，确定障碍物威胁等级，并输出分析结果；
所述航迹规划***用于根据所述传感器数据处理融合***对障碍物的分析结果进行飞机航迹规划，并输出用于对障碍物的躲避的飞控指令；
所述执行机构用于执行航迹规划***的飞控指令，引导所述飞行器进行避障。
可选地，所述感知探测***包括双目立体视觉传感器和毫米波雷达，所述双目立体视觉传感器采用推帚扫描工作方式，对前方固定的距离进行观测，获取图像信息；
所述毫米波雷达对前方可探测距离内的障碍物进行多目标检测，获得障碍物的位置、速度以及方位信息。
可选地，所述传感器数据处理融合***包括视觉图像处理单元和雷达数据融合单元，所述视觉图像处理单元用于采用推帚立体视觉算法在视觉图像上找到障碍物并对处于推帚扫描距离上的障碍物进行大小、形状以及纹理分析，获取障碍物的详细信息；
所述雷达数据融合单元用于获取雷达检测到的障碍物的坐标并存储，并根据障碍物距离飞行载体的距离对障碍物进行威胁等级分配，对于处在双目立体视觉传感器的推帚距离上的障碍物，则通过坐标变换将所述障碍物的位置转化到视觉图像上，辅助所述视觉图像处理单元在所述视觉图像上定位障碍物。
可选地，所述航迹规划***还用于根据传感器数据处理融合***输出的障碍物信息，采用航迹规划算法实时规划飞机的躲避路径，在目的地已知的情况下实时纠正航迹。
可选地，所述航迹规划***还用于在当前障碍物无法进行躲避或绕行，则规划所述飞行器在原地盘旋并向地面站发送信息，等待地面站指令。
可选地，所述执行机构还用于根据航迹规划***给出的指令，对所述飞行器的各个舵面进行控制，完成航迹飞行。
可选地，所述飞行器为无人固定翼飞机。
第二方面，本发明提供一种飞行器自主避障方法，预先根据双目立体视觉相机参数及飞行应用场景设定双目立体视觉的推帚距离，所述方法包括：
在所述双目立体视觉相机的推帚距离上获取视觉图像信息。
利用毫米波雷达在探测距离内进行扫描，对目标方向存在的障碍物位置、速度以及方位信息进行存储，标记障碍物分布情况。
对毫米波雷达检测到的障碍物位置分布进行分析，根据距离所述飞行器的距离对所述障碍物进行威胁等级分配，距离越近的威胁等级高于距离较远的威胁等级；
对所述视觉图像信息进行处理结合毫米波雷达在推帚距离上定位的障碍物位置，在所述视觉图像信息上对所述障碍物进行定位，并对障碍物的大小、形状以及纹理信息进行分析，获取所述障碍物具体信息。
利用包含障碍物位置、大小、速度以及纹理的探测信息进行实时制定躲避路线并生成相应的飞控指令；
根据飞控指令控制所述飞行器按照规划航迹飞行。
可选地，所述方法还包括：
对于处于所述预设推帚距离上的临近障碍物，对所述临近障碍物的雷达坐标进行坐标变换，将所述临近障碍物的雷达坐标映射到图像坐标上。
第三方面，本发明提供一种飞行器，所述飞行器具有如上述的飞行器自主避障***。
本发明实施例提供了一种飞行器自主避障***、方法及飞行器，将双目摄像机和毫米波雷达进行融合，采用推帚立体视觉算法以及先进的融合方法，对障碍物先标记，后检测，快速并准确地获得飞行载体前方障碍物的位置以及形状纹理信息，为飞行器实时躲避障碍物提供准确依据，提高了飞行器自主飞行及智能化水平，增强了飞行器的环境适应性，能够在复杂环境下安全飞行完成任务。
附图说明
图1为本发明实施例中的飞行器自主避障***的结构框图；
图2为本发明实施例中的飞行器自主避障***的推帚立体视觉示意图；
图3为本发明实施例中的飞行器自主避障***的工作环境示意图；
图4为本发明实施例中的飞行器自主避障的方法工作流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
结合图1所示，本发明提供一种飞行器自主避障***，包括：感知探测传感器、传感器数据处理融合***、航迹规划***、执行机构，
所述感知探测传感器用于对飞行器前方的环境进行感知探测，确定是否存在障碍物，并输出感知探测数据；
所述传感器数据处理融合***用于对感知探测传感器的感知探测数据进行处理融合和分析，判断障碍物的距离信息、大小信息，确定障碍物威胁等级，并输出分析结果；
所述航迹规划***用于根据所述传感器数据处理融合***对障碍物的分析结果进行飞机航迹规划，并输出用于对障碍物的躲避的飞控指令；
所述执行机构用于执行航迹规划***的飞控指令，引导所述飞行器进行避障。
可选地，所述感知探测***包括双目立体视觉传感器和毫米波雷达，所述双目立体视觉传感器采用推帚扫描工作方式，对前方固定的距离进行观测，获取图像信息；
所述毫米波雷达对前方可探测距离内的障碍物进行多目标检测，获得障碍物的位置、速度以及方位信息。
可选地，所述传感器数据处理融合***包括视觉图像处理单元和雷达数据融合单元，所述视觉图像处理单元用于采用推帚立体视觉算法在视觉图像上找到障碍物并对处于推帚扫描距离上的障碍物进行大小、形状以及纹理分析，获取障碍物的详细信息，可以迅速找到障碍物，实现障碍物的实时快速分析与躲避，该过程完全在飞行器上自主完成，实现了飞行器的快速自主避障；
所述雷达数据融合单元用于获取雷达检测到的障碍物的坐标并存储，并根据障碍物距离飞行载体的距离对障碍物进行威胁等级分配，对于处在双目立体视觉传感器的推帚距离上的障碍物，则通过坐标变换将所述障碍物的位置转化到视觉图像上，辅助所述视觉图像处理单元在所述视觉图像上定位障碍物。
所述航迹规划***还用于根据传感器数据处理融合***输出的障碍物信息，采用航迹规划算法实时规划飞机的躲避路径，在目的地已知的情况下实时纠正航迹，通过实时规划的躲避路径进行飞行路径调整，避过障碍物，实现自主避障。
所述航迹规划***还用于在当前障碍物无法进行躲避或绕行，则规划所述飞行器在原地盘旋并向地面站发送信息，等待地面站指令，通过紧急悬停进行危险规避，减少发生碰撞风险，提高飞行器飞行的安全性和容错性。
可选地，所述执行机构还用于根据航迹规划***给出的指令，对所述飞行器的各个舵面进行控制，完成航迹飞行，对于如何进行舵面的控制本领域普通技术人与昂应当了解，对此不做限定。
可选地，所述飞行器为无人固定翼飞机或无人四旋翼飞机，对此不做限定。
本发明实施例提供了一种飞行器自主避障***，将双目摄像机和毫米波雷达进行融合，采用推帚立体视觉算法以及先进的融合方法，对障碍物先标记，后检测，快速并准确地获得飞行载体前方障碍物的位置以及形状纹理信息，为飞行器实时躲避障碍物提供准确依据，提高了飞行器自主飞行及智能化水平，增强了飞行器的环境适应性，能够在复杂环境下安全飞行完成任务。
本发明提供一种飞行器自主避障方法，预先根据双目立体视觉相机参数及飞行应用场景设定双目立体视觉的推帚距离，所述方法包括：
S101、在所述双目立体视觉相机的推帚距离上获取视觉图像信息。
S102、利用毫米波雷达在探测距离内进行扫描，对目标方向存在的障碍物位置、速度以及方位信息进行存储，标记障碍物分布情况。
S103、对毫米波雷达检测到的障碍物位置分布进行分析，根据距离所述飞行器的距离对所述障碍物进行威胁等级分配，距离越近的威胁等级高于距离较远的威胁等级；
S104、对所述视觉图像信息进行处理结合毫米波雷达在推帚距离上定位的障碍物位置，在所述视觉图像信息上对所述障碍物进行定位，并对障碍物的大小、形状以及纹理信息进行分析，获取所述障碍物具体信息。
S105、利用包含障碍物位置、大小、速度以及纹理的探测信息进行实时制定躲避路线并生成相应的飞控指令；
S106、根据飞控指令控制所述飞行器按照规划航迹飞行。
需要说明的是，对于双目立体视觉的推帚距离，可以根据需要进行限定，此处不做限定。
可选地，所述方法还包括：
对于处于所述预设推帚距离上的临近障碍物，对所述临近障碍物的雷达坐标进行坐标变换，将所述临近障碍物的雷达坐标映射到图像坐标上，可以对处于推帚距离附近的障碍物，进行扫描，提高视野面，可以便于提前预警，这里提到的预设距离可以根据需要灵活设定，对此不做限定。
结合图2所示，具体介绍本发明提到的推帚立体视觉，推帚立体视觉采用双目立体视觉方式，双目摄像机捷联于飞行载体上，在飞行过程中只对设定好的固定距离进行检测。假设指定探测距离为Zdet，无人机只对距其Zdet的平面内的障碍物进行探测，而由于深度确定，则视差随之确定，记为ddet，一旦在主相机视场内探测到障碍物特征点(xl,yl)，则在副相机内坐标为(xl+d,yl)的邻域内进行匹配，若完成匹配则认为在世界坐标系(xl·b/ddect,yl·b/ddect,Zdect)上存在障碍物，反之则认为没有。随着无人机的向前飞行，推帚立体视觉***单位周期内探测的区域为图2中左侧的一个条形区域，能够探测到飞行方向视场内所有障碍物，这种方法类似于航空航天相机的推帚扫描过程，因此命名为推帚立体视觉。推帚立体视觉将经典立体视觉中全深度范围区间内的搜索简化成探测距离邻域内(特定视差值的对应深度)的匹配检测，因此避免了重复搜索，提高了计算效率。当无人机飞越过障碍物后，从计算机内存中删除该障碍物信息，大量节约了数据的存储空间。
结合图3所示，本发明所述的传感器数据处理融合***，感知探测由毫米波雷达和推帚立体视觉实现，在工作时，推帚立体视觉只能对设定好的推帚距离上的障碍物进行检测，如图3中的D点；而毫米波雷达负责对前方探测距离以内的所有障碍物进行探测，即图3中的ABCDE五个点。在飞行器向前飞行时，传感器数据处理融合***可以首先处理毫米波雷达数据，得到飞行器前方探测范围内的障碍物分布情况，并初步确定在推帚距离上有无障碍物，若有则将障碍物的位置记录，推帚立体视觉在检测障碍物时能够利用记录的位置减小特征点搜索范围，实现障碍物的快速检测，保证实时性。此外，对于出现在推帚立体视觉视场范围之外的障碍物，如图中的E点，毫米波雷达可以将其探测并定位，告知飞行载体进行躲避，这大大的降低了探测***的漏检率，保证飞行安全。
结合图4所示，本发明实施例中的飞行器自主避障方法的一种具体实施方式，进行具体介绍：
一、双目摄像头和毫米波雷达获得图像信息Istereo和雷达定位信息[P1,P2,...,Pi,....]，***首先对[P1,P2,...,Pi]进行分析，判断检测到的障碍物与推帚距离之间的关系并分配威胁等级[m1,m2,...,mi,...]，这里Pi包含的位置信息(xi,yi,zi)是在雷达坐标系Cr下的坐标。
二、若存在Pd在推帚距离上，则利用Pd的位置信息在Istereo上进行障碍物的搜索匹配与定位，迅速的在Istereo找到障碍物并分析障碍物的具体信息并将其送给航迹规划***指定躲避策略，毫米波雷达坐标系Cr和视觉坐标系CV之间的相对关系可由旋转矩阵R和平移矩阵T来表示，其中旋转矩阵R为：
这里
为两坐标系之间的欧拉角。
平移矩阵T为：
三、若在Pd位置Istereo上没有检测到特征纹理明显的障碍物，则表明障碍物具有透明特征，此时直接将Pi位置进行记录并传递给航迹规划***进行躲避；
四、对于在推帚距离以外的障碍物Pl，则***对障碍物Pl进行存储并标记，在每一个探测周期实时更新，跟踪障碍物的位置；对于处在视场角以外的障碍物Po,则将Po位置发送给航迹规划***进行提前预警。
本发明提供的方案充分利用两种探测传感器的优势进行互补，并采用快速处理算法实现障碍物的实时分析与躲避，处理算法完全在飞行器上自主完成，实现了飞行器自主避障。
本发明提供一种飞行器，所述飞行器具有上述的飞行器自主避障***，飞行器可以是固定翼无人飞机或者旋翼无人机，并且对其他飞行平台也具有较强适应性，采用上述的飞行器自主避障***可以实现自主避障，提高飞行的安全性。
本发明以双目立体视觉传感器和毫米波雷达作为探测***传感器，传感器数据处理融合***对传感器数据进行处理和融合，得到障碍物的分部信息，航迹规划***根据障碍物的分布情况规划躲避路线，执行机构根据飞控指令控制飞机进行躲避，完成自主避障。主要优点如下：
一、本发明采用双目立体视觉传感器和毫米波雷达作为探测传感器，有效的弥补了单一传感器在使用环境和探测精度上的限制。双目视觉传感器能够有效地对障碍物进行位置及大小形状的分辨，毫米波雷达可以扩大探测***的检测范围，并且在可见光条件不好的情况下也可以进行障碍物检测。
二、本发明传感器数据处理融合***采用推帚立体视觉算法，设定固定的推帚距离，视觉传感器只对固定的距离成像，这样有效的减小了机载处理器的计算负担，提高处理速度，保证***的实时性，实现固定翼飞行器在快速飞行时的自主避障。
三、本发明双目立体视觉和毫米波雷达数据融合上采取毫米波雷达定位辅助视觉的方式，利用毫米波雷达的定位信息在视觉图像上对障碍物进行快速定位，减小了图像上障碍物的搜索时间，进一步的加快障碍物定位与分析速度，保证了***在固定翼平台飞行速度较快的情况下的成功避障。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种飞行器自主避障***、方法及飞行器进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种飞行器自主避障***，其特征在于，包括：感知探测传感器、传感器数据处理融合***、航迹规划***、执行机构，
所述感知探测传感器用于对飞行器前方的环境进行感知探测，确定是否存在障碍物，并输出感知探测数据；
所述传感器数据处理融合***用于对感知探测传感器的感知探测数据进行处理融合和分析，判断障碍物的距离信息、大小信息，确定障碍物威胁等级，并输出分析结果；
所述航迹规划***用于根据所述传感器数据处理融合***对障碍物的分析结果进行飞机航迹规划，并输出用于对障碍物的躲避的飞控指令；
所述执行机构用于执行航迹规划***的飞控指令，引导所述飞行器进行避障。
2.根据权利要求1所述的飞行器自主避障***，其特征在于，所述感知探测***包括双目立体视觉传感器和毫米波雷达，所述双目立体视觉传感器采用推帚扫描工作方式，对前方固定的距离进行观测，获取图像信息；
所述毫米波雷达对前方可探测距离内的障碍物进行多目标检测，获得障碍物的位置、速度以及方位信息。
3.根据权利要求2所述的飞行器自主避障***，其特征在于，所述传感器数据处理融合***包括视觉图像处理单元和雷达数据融合单元，所述视觉图像处理单元用于采用推帚立体视觉算法在视觉图像上找到障碍物并对处于推帚扫描距离上的障碍物进行大小、形状以及纹理分析，获取障碍物的详细信息；
所述雷达数据融合单元用于获取雷达检测到的障碍物的坐标并存储，并根据障碍物距离飞行载体的距离对障碍物进行威胁等级分配，对于处在双目立体视觉传感器的推帚距离上的障碍物，则通过坐标变换将所述障碍物的位置转化到视觉图像上，辅助所述视觉图像处理单元在所述视觉图像上定位障碍物。
4.根据权利要求1所述的飞行器自主避障***，其特征在于，所述航迹规划***还用于根据传感器数据处理融合***输出的障碍物信息，采用航迹规划算法实时规划飞机的躲避路径，在目的地已知的情况下实时纠正航迹。
5.根据权利要求4所述的飞行器自主避障***，其特征在于，所述航迹规划***还用于在当前障碍物无法进行躲避或绕行，则规划所述飞行器在原地盘旋并向地面站发送信息，等待地面站指令。
6.根据权利要求1所述的飞行器自主避障***，其特征在于，所述执行机构还用于根据航迹规划***给出的指令，对所述飞行器的各个舵面进行控制，完成航迹飞行。
7.根据权利要求1所述的飞行器自主避障***，其特征在于，所述飞行器为无人固定翼飞机。
8.一种飞行器自主避障方法，其特征在于，预先根据双目立体视觉相机参数及飞行应用场景设定双目立体视觉的推帚距离，所述方法包括：
在所述双目立体视觉相机的推帚距离上获取视觉图像信息。
利用毫米波雷达在探测距离内进行扫描，对目标方向存在的障碍物位置、速度以及方位信息进行存储，标记障碍物分布情况。
对毫米波雷达检测到的障碍物位置分布进行分析，根据距离所述飞行器的距离对所述障碍物进行威胁等级分配，距离越近的威胁等级高于距离较远的威胁等级；
对所述视觉图像信息进行处理结合毫米波雷达在推帚距离上定位的障碍物位置，在所述视觉图像信息上对所述障碍物进行定位，并对障碍物的大小、形状以及纹理信息进行分析，获取所述障碍物具体信息。
利用包含障碍物位置、大小、速度以及纹理的探测信息进行实时制定躲避路线并生成相应的飞控指令；
根据飞控指令控制所述飞行器按照规划航迹飞行。
9.根据权利要求8所述的飞行器自主避障方法，其特征在于，所述方法还包括：
对于处于所述预设推帚距离上的临近障碍物，对所述临近障碍物的雷达坐标进行坐标变换，将所述临近障碍物的雷达坐标映射到图像坐标上。
10.一种飞行器，其特征在于，所述飞行器具有如权利要求1至7中任一项所述的飞行器自主避障***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710881514.6A CN107831777B (zh) | 2017-09-26 | 2017-09-26 | 一种飞行器自主避障***、方法及飞行器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710881514.6A CN107831777B (zh) | 2017-09-26 | 2017-09-26 | 一种飞行器自主避障***、方法及飞行器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107831777A true CN107831777A (zh) | 2018-03-23 |
| CN107831777B CN107831777B (zh) | 2020-04-10 |
Family
ID=61643519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710881514.6A Active CN107831777B (zh) | 2017-09-26 | 2017-09-26 | 一种飞行器自主避障***、方法及飞行器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107831777B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549408A (zh) * | 2018-05-29 | 2018-09-18 | 四川九洲空管科技有限责任公司 | 一种自动防撞地航迹规划方法及*** |
| CN108648345A (zh) * | 2018-05-03 | 2018-10-12 | 徐振钢 | 一种适用于景区的基于无人机的饮料售卖***及工作方法 |
| CN109031304A (zh) * | 2018-06-06 | 2018-12-18 | 上海国际汽车城（集团）有限公司 | 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法 |
| CN109298708A (zh) * | 2018-08-31 | 2019-02-01 | 中船重工鹏力（南京）大气海洋信息***有限公司 | 一种融合雷达与光电信息的无人艇自主避障方法 |
| CN109634309A (zh) * | 2019-02-21 | 2019-04-16 | 南京晓庄学院 | 一种飞行器自主避障***、方法及飞行器 |
| CN109658500A (zh) * | 2018-12-11 | 2019-04-19 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于毫米波雷达的直升机合成视景方法、***及存储介质 |
| CN109683629A (zh) * | 2019-01-09 | 2019-04-26 | 燕山大学 | 基于组合导航和计算机视觉的无人机电力架线*** |
| CN109683606A (zh) * | 2018-11-21 | 2019-04-26 | 江苏科技大学 | 一种无人驾驶汽车自主避障方法 |
| CN109919247A (zh) * | 2019-03-18 | 2019-06-21 | 北京石油化工学院 | 危化品堆垛双目测距中特征点匹配方法、***和设备 |
| CN110320931A (zh) * | 2019-06-20 | 2019-10-11 | 西安爱生技术集团公司 | 基于航向控制律的无人机避障航路规划方法 |
| CN110346799A (zh) * | 2019-07-03 | 2019-10-18 | 深兰科技（上海）有限公司 | 一种障碍物检测方法及设备 |
| WO2019238127A1 (zh) * | 2018-06-15 | 2019-12-19 | 杭州海康威视数字技术股份有限公司 | 一种测距方法、装置及*** |
| CN110751336A (zh) * | 2019-10-22 | 2020-02-04 | 深圳市道通智能航空技术有限公司 | 无人载具的避障方法、避障装置及无人载具 |
| WO2020107454A1 (zh) * | 2018-11-30 | 2020-06-04 | 深圳市大疆创新科技有限公司 | 障碍物的精准确定方法、设备及计算机可读存储介质 |
| CN111399535A (zh) * | 2020-03-24 | 2020-07-10 | 北京三快在线科技有限公司 | 一种无人机避障方法、装置、无人机及存储介质 |
| CN111781949A (zh) * | 2020-07-03 | 2020-10-16 | 江苏大学 | 一种无人机针对杆型障碍物的规避方法 |
| CN111937049A (zh) * | 2018-04-02 | 2020-11-13 | 松下电器产业株式会社 | 侵入检测***及侵入检测方法 |
| CN112001583A (zh) * | 2020-07-08 | 2020-11-27 | 中国兵器科学研究院 | 一种策略确定方法、中控设备及存储介质 |
| WO2021078663A1 (en) * | 2019-10-23 | 2021-04-29 | Airbus Operations Limited | Aerial vehicle detection |
| CN112861887A (zh) * | 2019-11-08 | 2021-05-28 | 中国科学院长春光学精密机械与物理研究所 | 一种障碍物快速检测方法、***及终端设备 |
| CN112925326A (zh) * | 2021-01-29 | 2021-06-08 | 泗阳县人民医院 | 一种基于激光雷达和深度相机数据融合的agv避障方法 |
| CN113031008A (zh) * | 2021-03-12 | 2021-06-25 | 中国电子科技集团公司第二十研究所 | 一种具有主动探测海面威胁的前视预测告警方法 |
| CN113448349A (zh) * | 2021-06-07 | 2021-09-28 | 山东省中通物联网有限公司 | 一种多维态势感知自控算法飞行控制方法及*** |
| CN113467504A (zh) * | 2021-07-26 | 2021-10-01 | 广东电网有限责任公司 | 一种飞行器飞行稳定控制方法、***、设备及存储介质 |
| WO2023272633A1 (zh) * | 2021-06-30 | 2023-01-05 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、无人机、飞行***及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060058931A1 (en) * | 2004-09-15 | 2006-03-16 | Honeywell International Inc. | Collision avoidance involving radar feedback |
| CN104537898A (zh) * | 2015-01-08 | 2015-04-22 | 西北工业大学 | 一种空地协同的无人机感知规避***及其规避方法 |
| CN104808682A (zh) * | 2015-03-10 | 2015-07-29 | 成都市优艾维机器人科技有限公司 | 小型旋翼无人机自主避障飞行控制***及控制方法 |
| US20160069994A1 (en) * | 2014-09-09 | 2016-03-10 | University Of Kansas | Sense-and-avoid systems and methods for unmanned aerial vehicles |
| CN105866779A (zh) * | 2016-04-06 | 2016-08-17 | 浙江大学 | 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法 |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机***及控制方法 |
| CN206057974U (zh) * | 2016-08-25 | 2017-03-29 | 大连楼兰科技股份有限公司 | 一种应用在旋翼无人机上的避障*** |
-
2017
- 2017-09-26 CN CN201710881514.6A patent/CN107831777B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060058931A1 (en) * | 2004-09-15 | 2006-03-16 | Honeywell International Inc. | Collision avoidance involving radar feedback |
| US20160069994A1 (en) * | 2014-09-09 | 2016-03-10 | University Of Kansas | Sense-and-avoid systems and methods for unmanned aerial vehicles |
| CN104537898A (zh) * | 2015-01-08 | 2015-04-22 | 西北工业大学 | 一种空地协同的无人机感知规避***及其规避方法 |
| CN104808682A (zh) * | 2015-03-10 | 2015-07-29 | 成都市优艾维机器人科技有限公司 | 小型旋翼无人机自主避障飞行控制***及控制方法 |
| CN105866779A (zh) * | 2016-04-06 | 2016-08-17 | 浙江大学 | 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法 |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机***及控制方法 |
| CN206057974U (zh) * | 2016-08-25 | 2017-03-29 | 大连楼兰科技股份有限公司 | 一种应用在旋翼无人机上的避障*** |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111937049A (zh) * | 2018-04-02 | 2020-11-13 | 松下电器产业株式会社 | 侵入检测***及侵入检测方法 |
| CN108648345A (zh) * | 2018-05-03 | 2018-10-12 | 徐振钢 | 一种适用于景区的基于无人机的饮料售卖***及工作方法 |
| CN108549408A (zh) * | 2018-05-29 | 2018-09-18 | 四川九洲空管科技有限责任公司 | 一种自动防撞地航迹规划方法及*** |
| CN109031304A (zh) * | 2018-06-06 | 2018-12-18 | 上海国际汽车城（集团）有限公司 | 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法 |
| WO2019238127A1 (zh) * | 2018-06-15 | 2019-12-19 | 杭州海康威视数字技术股份有限公司 | 一种测距方法、装置及*** |
| CN109298708A (zh) * | 2018-08-31 | 2019-02-01 | 中船重工鹏力（南京）大气海洋信息***有限公司 | 一种融合雷达与光电信息的无人艇自主避障方法 |
| CN109298708B (zh) * | 2018-08-31 | 2021-08-17 | 中船重工鹏力（南京）大气海洋信息***有限公司 | 一种融合雷达与光电信息的无人艇自主避障方法 |
| CN109683606A (zh) * | 2018-11-21 | 2019-04-26 | 江苏科技大学 | 一种无人驾驶汽车自主避障方法 |
| WO2020107454A1 (zh) * | 2018-11-30 | 2020-06-04 | 深圳市大疆创新科技有限公司 | 障碍物的精准确定方法、设备及计算机可读存储介质 |
| CN109658500A (zh) * | 2018-12-11 | 2019-04-19 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于毫米波雷达的直升机合成视景方法、***及存储介质 |
| CN109683629A (zh) * | 2019-01-09 | 2019-04-26 | 燕山大学 | 基于组合导航和计算机视觉的无人机电力架线*** |
| CN109634309B (zh) * | 2019-02-21 | 2024-03-26 | 南京晓庄学院 | 一种飞行器自主避障***、方法及飞行器 |
| CN109634309A (zh) * | 2019-02-21 | 2019-04-16 | 南京晓庄学院 | 一种飞行器自主避障***、方法及飞行器 |
| CN109919247A (zh) * | 2019-03-18 | 2019-06-21 | 北京石油化工学院 | 危化品堆垛双目测距中特征点匹配方法、***和设备 |
| CN110320931A (zh) * | 2019-06-20 | 2019-10-11 | 西安爱生技术集团公司 | 基于航向控制律的无人机避障航路规划方法 |
| CN110346799A (zh) * | 2019-07-03 | 2019-10-18 | 深兰科技（上海）有限公司 | 一种障碍物检测方法及设备 |
| CN110751336A (zh) * | 2019-10-22 | 2020-02-04 | 深圳市道通智能航空技术有限公司 | 无人载具的避障方法、避障装置及无人载具 |
| CN110751336B (zh) * | 2019-10-22 | 2023-04-14 | 深圳市道通智能航空技术股份有限公司 | 无人载具的避障方法、避障装置及无人载具 |
| WO2021078663A1 (en) * | 2019-10-23 | 2021-04-29 | Airbus Operations Limited | Aerial vehicle detection |
| CN112861887A (zh) * | 2019-11-08 | 2021-05-28 | 中国科学院长春光学精密机械与物理研究所 | 一种障碍物快速检测方法、***及终端设备 |
| CN111399535A (zh) * | 2020-03-24 | 2020-07-10 | 北京三快在线科技有限公司 | 一种无人机避障方法、装置、无人机及存储介质 |
| CN111781949B (zh) * | 2020-07-03 | 2022-11-18 | 江苏大学 | 一种无人机针对杆型障碍物的规避方法 |
| CN111781949A (zh) * | 2020-07-03 | 2020-10-16 | 江苏大学 | 一种无人机针对杆型障碍物的规避方法 |
| CN112001583B (zh) * | 2020-07-08 | 2021-06-22 | 中国兵器科学研究院 | 一种策略确定方法、中控设备及存储介质 |
| CN112001583A (zh) * | 2020-07-08 | 2020-11-27 | 中国兵器科学研究院 | 一种策略确定方法、中控设备及存储介质 |
| CN112925326A (zh) * | 2021-01-29 | 2021-06-08 | 泗阳县人民医院 | 一种基于激光雷达和深度相机数据融合的agv避障方法 |
| CN113031008A (zh) * | 2021-03-12 | 2021-06-25 | 中国电子科技集团公司第二十研究所 | 一种具有主动探测海面威胁的前视预测告警方法 |
| CN113448349A (zh) * | 2021-06-07 | 2021-09-28 | 山东省中通物联网有限公司 | 一种多维态势感知自控算法飞行控制方法及*** |
| WO2023272633A1 (zh) * | 2021-06-30 | 2023-01-05 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、无人机、飞行***及存储介质 |
| CN113467504A (zh) * | 2021-07-26 | 2021-10-01 | 广东电网有限责任公司 | 一种飞行器飞行稳定控制方法、***、设备及存储介质 |
| CN113467504B (zh) * | 2021-07-26 | 2023-06-02 | 广东电网有限责任公司 | 一种飞行器飞行稳定控制方法、***、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107831777B (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107831777A (zh) | 一种飞行器自主避障***、方法及飞行器 | |
| Cop et al. | Delight: An efficient descriptor for global localisation using lidar intensities | |
| CN106842231B (zh) | 一种道路边界检测及跟踪方法 | |
| Kukko et al. | Graph SLAM correction for single scanner MLS forest data under boreal forest canopy | |
| CN109034018B (zh) | 一种基于双目视觉的低空小型无人机障碍物感知方法 | |
| Shalal et al. | Orchard mapping and mobile robot localisation using on-board camera and laser scanner data fusion–Part A: Tree detection | |
| CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及*** | |
| CN106227212B (zh) | 基于栅格地图和动态校准的精度可控室内导航***及方法 | |
| Zhang et al. | Vision-based target-following guider for mobile robot | |
| CN105955258B (zh) | 基于Kinect传感器信息融合的机器人全局栅格地图构建方法 | |
| Hebel et al. | Change detection in urban areas by object-based analysis and on-the-fly comparison of multi-view ALS data | |
| CN105700525B (zh) | 基于Kinect传感器深度图机器人工作环境不确定性地图构建法 | |
| CN107966989A (zh) | 一种机器人自主导航*** | |
| Gao et al. | A spraying path planning algorithm based on colour-depth fusion segmentation in peach orchards | |
| CN108106617A (zh) | 一种无人机自动避障方法 | |
| CN107728633A (zh) | 获取目标物位置信息方法及装置、移动装置及其控制方法 | |
| CN114782626A (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| CN107229903A (zh) | 机器人避障的方法、装置及存储装置 | |
| CN111257892A (zh) | 一种用于车辆自动驾驶的障碍物检测方法 | |
| Mueller et al. | GIS-based topological robot localization through LIDAR crossroad detection | |
| Li et al. | 3D autonomous navigation line extraction for field roads based on binocular vision | |
| CN114034299A (zh) | 一种基于主动激光slam的导航*** | |
| CN106339717A (zh) | 一种基于混合多尺度特征模型的活立木快速识别方法 | |
| Hartley et al. | Using roads for autonomous air vehicle guidance | |
| Bhanu et al. | Inertial navigation sensor integrated motion analysis for obstacle detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |