CN106814744A - 一种无人机飞行控制***以及方法 - Google Patents
一种无人机飞行控制***以及方法 Download PDFInfo
- Publication number
- CN106814744A CN106814744A CN201710149342.3A CN201710149342A CN106814744A CN 106814744 A CN106814744 A CN 106814744A CN 201710149342 A CN201710149342 A CN 201710149342A CN 106814744 A CN106814744 A CN 106814744A
- Authority
- CN
- China
- Prior art keywords
- barrier
- unmanned plane
- flight control
- uav flight
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000004888 barrier function Effects 0.000 claims abstract description 57
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 230000006399 behavior Effects 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000003245 working effect Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种无人机飞行控制***，通过设置在无人机上的摄像头获取无人机当前所处环境的双目图像；对双目图像进行图像处理，生成三维重建模型；根据三维重建模型检测无人机当前所处环境中是否存在障碍物；如果是，则确定障碍物与无人机的距离；并通过无线传输获取遥控器的指令，同时根据确定得到的距离生成避障指令，以控制航姿操纵机构执行相应的避障动作。本发明所提供的无人机飞行控制***，能够在飞行过程中自动执行避障操作，协助飞行控制器可靠安全地完成失控返航、飞行路线规划等功能，具有实用性以及广阔的应用前景。此外，本发明还提供了一种具体上述技术优点的无人机飞行控制方法。
Description
技术领域
本发明涉及飞行控制器技术领域，特别是涉及一种无人机飞行控制***以及方法。
背景技术
目前装载高集成度飞行控制器(简称飞控)的无人机广泛应用于农业、军事、航模运动和消费级产品中，在农业、军事和消费级产品应用中，无人机的用途越来越广，比如农业植保、火力、敌情侦察、航拍测绘等。
就目前而言，高集成度的飞行控制器带给飞手非常大的便利，早期的旋翼无人机如直升机只有陀螺仪作为辅助来控制直升机飞行姿态，后来随着多旋翼无人机的迅速发展，各类无人机飞行控制器也如雨后春笋般涌现出来，其中各类开源飞控，如法国的开源KK飞控，MWC(MultiWii Copter)开源飞控，APM开源飞控和Pixhawk开源飞控；商业飞控，如大疆A2飞控、NAZA系列飞控，零度飞控，极飞(XAircraft)super X飞控等等。这些飞控基本都集成了加速度传感器、气压传感器、电子罗盘传感器(GPS)等，能够实现自稳飞行、定高飞行、定点飞行等控制，飞行控制过程中大大降低了操作难度和复杂性。不过随着消费级无人机的兴起，这些传统的飞行控制模式逐渐在向人性化、可靠性方向发展，比如失控返航、失控保护、飞行路线规划等等，这就要求飞行控制器不仅要在可靠性方面做出一定改进，还需要增加硬件和软件来实现一些人性化的功能来解决当前遇到的某些问题。
失控返航和飞行路线规划是目前比较流行的无人机地面站设置，但是无论哪种设置，都是基于电子罗盘传感器和气压传感器实现定点和定高飞行的，如果飞行过程中遇到障碍物，无人机是无法感知障碍物的存在而撞机坠毁的。特别在高楼林立的都市，一旦启动失控返航，无人机将会按照地面站设定高度和路线返航，很容易撞到高大的建筑物上。所以，设计一种可以实现无人机自动避障的飞行控制器，可以有效帮助无人机自动实现躲避障碍物按照设定的方向移动。
发明内容
本发明的目的是提供一种无人机飞行控制***以及方法，以解决现有无人机按照设定路线进行航行时容易撞到障碍物的问题。
为解决上述技术问题，本发明提供一种无人机飞行控制***，包括：摄像装置、遥控器、处理器以及航姿操纵机构；
其中，所述摄像装置至少包括两个设置在无人机上的摄像头，用于获取所述无人机当前所处环境的双目图像；
所述处理器与所述摄像装置相连，用于获取所述双目图像；对所述双目图像进行图像处理，生成三维重建模型；根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；并通过无线传输获取所述遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制所述航姿操纵机构执行相应的避障动作；
所述处理器与所述摄像装置相连，用于获取所述双目图像；对所述双目图像进行图像处理包括使用ORB算法提取特征，并在每个超像素块中进行融合作为该超像素块的特征；
所述处理器能够进行参数学习，采用极大似然估计方法实现求解条件随机场模型的参数问题，通过学习训练出分类模型。
可选地，所述处理器采用微控制器以及FPGA实现；所述微处理器与所述FPGA协同运行，用于对生成的图像数据进行亚像素提取后再做三维重建，并根据三维重建模型计算所述障碍物与所述无人机的距离。
可选地，所述微处理器为STM32F407ZET6微控制器，采用LQFP144封装，具有144个引脚，还具备浮点运算单元。
可选地，所述FPGA还用于对所述摄像头产生行同步HSYNC和场同步VSYNC，以使两个摄像头同步工作。
可选地，还包括：传感器模块，包含MTI姿态传感器、六轴姿态传感器、三轴磁场传感器以及气压计；其中，所述MTI姿态传感器采用MTI-300；所述六轴姿态传感器采用MPU-6000；所述三轴磁场传感器采用HMC5883L；所述气压计采用MS5611高分辨率气压传感器。
可选地，所述遥控器采用2.4GHz的FUTABA遥控器。
可选地，还包括：激光雷达探测器，用于实时探测所述无人机当前所处环境是否存在障碍物，并将获取到的障碍物信息发送至所述处理器；所述处理器用于接收所述障碍物信息，确定所述障碍物的位置。
本发明还提供了一种无人机飞行控制方法，包括：
通过设置在无人机上的摄像头获取所述无人机当前所处环境的双目图像；
获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模型；
根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；
通过无线传输获取遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制航姿操纵机构执行相应的避障动作。
可选地，所述获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模型包括：
根据第一摄像机的标定参数，获取所述第一摄像机拍摄的第一角度障碍物视频图像；
根据第二摄像机的标定参数，获取所述第二摄像机拍摄的第二角度障碍物视频图像；
对相同时刻的所述第一角度障碍物视频图像以及所述第二角度障碍物视频图像进行特征点立体匹配；
根据特征点立体匹配结果以及所述标定参数，生成包含所述障碍物的三维重建模型。
可选地，还包括：
获取雷达探测器实时探测到的所述无人机当前所处环境是否存在障碍物的障碍物信息，根据所述障碍物信息确定所述障碍物的位置。
本发明所提供的无人机飞行控制***，通过设置在无人机上的摄像头获取无人机当前所处环境的双目图像；对双目图像进行图像处理，生成三维重建模型；根据三维重建模型检测无人机当前所处环境中是否存在障碍物；如果是，则确定障碍物与无人机的距离；并通过无线传输获取遥控器的指令，同时根据确定得到的距离生成避障指令，以控制航姿操纵机构执行相应的避障动作。本发明所提供的无人机飞行控制***，能够在飞行过程中自动执行避障操作，协助飞行控制器可靠安全地完成失控返航、飞行路线规划等功能，具有实用性以及广阔的应用前景。此外，本发明还提供了一种具体上述技术优点的无人机飞行控制方法。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的无人机飞行控制***的一种具体实施方式的结构框图；
图2为本发明实施例提供的无人机飞行控制的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的无人机飞行控制***的一种具体实施方式的结构框图如图1所示，该***具体包括：摄像装置1、遥控器2、处理器3以及航姿操纵机构4；
其中，所述摄像装置1至少包括两个设置在无人机上的摄像头，用于获取所述无人机当前所处环境的双目图像；
所述处理器3与所述摄像装置1相连，用于获取所述双目图像；对所述双目图像进行图像处理，生成三维重建模型；根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；并通过无线传输获取所述遥控器2的指令，同时根据确定得到的所述距离生成避障指令，以控制所述航姿操纵机构4执行相应的避障动作。
双目避障原理是根据人眼相同的测距原理，通过双眼看到不同的图像差异，运行一些浮点运算后，计算出物体的直线距离。采用双目避障技术利用传统的视觉障碍传感器实现即可，无需增加其他硬件电路。
需要指出的是，避障动作可以为预先设置的动作，例如按照设定的方向、速度进行避障，这均不影响本发明的实现。
本发明所提供的无人机飞行控制***，通过设置在无人机上的摄像头获取无人机当前所处环境的双目图像；对双目图像进行图像处理，生成三维重建模型；根据三维重建模型检测无人机当前所处环境中是否存在障碍物；如果是，则确定障碍物与无人机的距离；并通过无线传输获取遥控器的指令，同时根据确定得到的距离生成避障指令，以控制航姿操纵机构执行相应的避障动作。本发明所提供的无人机飞行控制***，能够在飞行过程中自动执行避障操作，协助飞行控制器可靠安全地完成失控返航、飞行路线规划等功能，具有实用性以及广阔的应用前景。
除此之外，所述处理器3与所述摄像装置1相连，用于获取所述双目图像；对所述双目图像进行图像处理包括使用ORB算法提取角点特征，同时提取RGB颜色特征、纹理柱状图提取的纹理特征、灰度值等特征共同构成特征向量，并对目标内的超像素块特征进行整合构成特征向量，在每个超像素块中进行融合作为该超像素块的特征；
所述处理器3能够进行参数学习，采用极大似然估计方法实现求解条件随机场模型的参数问题，通过学习训练出分类模型。
具体的，处理器3能够处理图像为256*256的彩色图像，经过处理后得到原始图、超像素分割图、ORB特征点检测图、目标类检测图等。为分析提供具体测试数据。通过与现实场景的比对，处理器3不断进行参数学习，并调整分析数据，直到得到最优方案。
在上述实施例的基础上，本发明所提供的无人机飞行控制***中，所述处理器采用微控制器以及FPGA实现。所述微处理器与所述FPGA协同运行，用于对生成的图像数据进行亚像素提取后再做三维重建，并根据三维重建模型计算所述障碍物与所述无人机的距离。进一步，FPGA还可以用于对所述摄像头产生行同步HSYNC和场同步VSYNC，以使两个摄像头同步工作。
单飞行控制器的核心控制器无法承受巨大的运算量，弱光下避障失效，遇到镜面障碍也无法准确计算出距离(和人眼类似)。因此，本实施例中通过增加FPGA作为协处理器，采用FPGA和微控制器同时协同处理，由于FPGA的并行处理效率较高，能够实现两摄像头同步工作。对于FPGA的选型和硬件电路设计，本申请不作详细阐述。根据FPGA运算处理输出的指令，飞行控制器得到该指令后迅速做出判断和动作完成避障。
其中，作为一种具体实施方式，微处理器可以具体为STM32F407ZET6微控制器，采用LQFP144封装，具有144个引脚，还具备浮点运算单元。
本发明实施例中，可以具体采用意法半导体(ST)公司的STM32F407ZET6微控制器作为主控制核心，这是一种高性能32位微控制器，基于Cortex-M4内核，主频达到了168MHz，内部资源丰富，有512KB FLASH和192+4KB SRAM，为了便于用户外接UART外设，这种微控制器原生3个USART和2个UART，3个12位A/D转换器。
由于飞行控制器需要处理多种传感器传来的信息和大量运算各类姿态算法(如卡尔曼滤波器等)，所以STM32F407还具备浮点运算单元(Float Point Unit，FPU)实现一些DSP功能，能够胜任飞行控制器所需的浮点运算量。
STM32F407ZET6采用LQFP144封装，具有144个引脚，一般来讲，为了保障飞行控制器内部程序的安全，bootloader都存储在ROM当中，所以，在用户对其烧写内部固件到飞行控制器过程中出现错误和其他问题时，飞行控制器是不会失效的。
在上述任一实施例的基础上，本发明所提供的无人机飞行控制***还可以进一步包括：传感器模块，包含MTI姿态传感器、六轴姿态传感器、三轴磁场传感器以及气压计；其中，所述MTI姿态传感器采用MTI-300；所述六轴姿态传感器采用MPU-6000；所述三轴磁场传感器采用HMC5883L；所述气压计采用MS5611高分辨率气压传感器。
其中，MTI-300姿态传感器采用的是XSENS公司的MTI-300，具有抗机械抖动和撞击的优异性能，能直接输出高精度的3轴角度、3轴角速率和3轴加速度等数据。静态条件下，滚转角与俯仰角测量偏差在0.2°-0.25°之间；动态情况下，其测量偏差分别为0.3°-1.0°之间，偏航角测量偏差最大为1.0°。提供高达2kHz输出数据频率和低于2ms的数据延迟。
六轴姿态传感器选用美国Invensense公司生产的MPU-6000，其整合了3轴陀螺仪、3轴加速器，为全球首例整合性6轴运动处理组件。相较于多组件方案，MPU-6000免除了组合陀螺仪与加速器时之轴间差的问题，减少了大量的包装空间，具有低功耗、低成本、高性能的特点。传感器的测量数据最终可通过最高400kHz的I2C总线或最高20MHz的SPI总线输出。
三轴磁场传感器采用的是Honeywell公司的HMC5883L。该传感器能在±8高斯的磁场中实现5毫高斯分辨率，内置自检功能，能让罗盘航向精度精确到1°-2°，采用霍尼韦尔各向异性磁阻(AMR)技术，具有在轴向高灵敏度和线性高精度的特点。
气压计采用由MEAS推出的新一代高分辨率气压传感器MS5611，该传感器用来测量多旋翼飞行器绝对飞行高度。该模块包含了一个高线性度的压力传感器和一个超低功耗的24位模数转换器，提供了一个精确的24位数字压力值和温度值以及不同的操作模式，可以提高转换速度并优化电流消耗。高分辨率的温度输出无须额外传感器可实现高度计/温度计功能。工作温度范围为：-40-85℃，精确度为：在飞行高度750m时，偏差-1.5m～+1.5m。
无线传输用于实现位于地面的地面站和位于空中无人机搭载的飞控***间的数据互传。本发明实施例采用3DR Radio Telemetry数传摸块，传输频率为915MHz，最大传输距离为700m，使用UART接口输出数据。
作为一种具体实施方式，遥控器可以采用2.4GHz的FUTABA遥控器。操纵用户可以通过拨动遥控器上的一些拨杆，各拨杆所处的不同位置对应不同的行程，从而产生具有不同脉宽的各通道遥控PWM信号。
优选地，本发明还可以包括：激光雷达探测器，用于实时探测所述无人机当前所处环境是否存在障碍物，并将获取到的障碍物信息发送至所述处理器；所述处理器用于接收所述障碍物信息，确定所述障碍物的位置。本实施例可以将双目避障技术以及激光雷达探测技术结合起来，共同对障碍物的位置、障碍物的深度、障碍物与无人机的距离信息进行确定，增加了信息的全面性，提高了避障的精度，提升了无人机用户的使用体验。
下面对本发明实施例提供的无人机飞行控制方法进行介绍，下文描述的无人机飞行控制方法与上文描述的无人机飞行控制***可相互对应参照。
图2为本发明实施例提供的无人机飞行控制方法的流程图，参照图2无人机飞行控制方法可以包括：
步骤S101：通过设置在无人机上的摄像头获取所述无人机当前所处环境的双目图像；
步骤S102：获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模型；
步骤S103：根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；
步骤S104：通过无线传输获取遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制航姿操纵机构执行相应的避障动作。
本实施例的无人机飞行控制方法用于实现前述的无人机飞行控制***，因此无人机飞行控制方法中的具体实施方式可见前文中的无人机飞行控制***的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
作为一种具体实施方式，本发明实施例中上述步骤S102获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模型可以具体包括：
根据第一摄像机的标定参数，获取所述第一摄像机拍摄的第一角度障碍物视频图像；
根据第二摄像机的标定参数，获取所述第二摄像机拍摄的第二角度障碍物视频图像；
对相同时刻的所述第一角度障碍物视频图像以及所述第二角度障碍物视频图像进行特征点立体匹配；
根据特征点立体匹配结果以及所述标定参数，生成包含所述障碍物的三维重建模型。
在上述任一实施例的基础上，本发明实施例所提供的方法还可以进一步包括：
获取雷达探测器实时探测到的所述无人机当前所处环境是否存在障碍物的障碍物信息，根据所述障碍物信息确定所述障碍物的位置。
下面结合具体场景对本发明所提供的无人机飞行控制***的具体工作过程进行进一步详细阐述。
预先对无人机进行路径规划，包括飞行高度、飞行距离、航速和航向；检测记载通信设备与地面站之间的数据传输***，一切正常后执行飞行任务；无人机飞行过程中，通过传感器实时采集各项传感数据，并且通过双目摄像头实时采集无人机飞行过程中的环境图像，对所述双目图像进行图像处理，生成三维重建模型；根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；通过无线传输获取遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制航姿操纵机构执行相应的避障动作。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的无人机飞行控制***以及方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种无人机飞行控制***，其特征在于，包括：摄像装置、遥控器、处理器以及航姿操纵机构；
其中，所述摄像装置至少包括两个设置在无人机上的摄像头，用于获取所述无人机当前所处环境的双目图像；
所述处理器与所述摄像装置相连，用于获取所述双目图像；对所述双目图像进行图像处理，生成三维重建模型；根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；并通过无线传输获取所述遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制所述航姿操纵机构执行相应的避障动作；
所述处理器与所述摄像装置相连，用于获取所述双目图像；对所述双目图像进行图像处理包括使用ORB算法提取特征，并在每个超像素块中进行融合作为该超像素块的特征；
所述处理器能够进行参数学习，采用极大似然估计方法实现求解条件随机场模型的参数问题，通过学习训练出分类模型。
2.如权利要求1所述的无人机飞行控制***，其特征在于，所述处理器采用微控制器以及FPGA实现；所述微处理器与所述FPGA协同运行，用于对生成的图像数据进行亚像素提取后再做三维重建，并根据三维重建模型计算所述障碍物与所述无人机的距离。
3.如权利要求2所述的无人机飞行控制***，其特征在于，所述微处理器为STM32F407ZET6微控制器，采用LQFP144封装，具有144个引脚，还具备浮点运算单元。
4.如权利要求2所述的无人机飞行控制***，其特征在于，所述FPGA还用于对所述摄像头产生行同步HSYNC和场同步VSYNC，以使两个摄像头同步工作。
5.如权利要求1至4任一项所述的无人机飞行控制***，其特征在于，还包括：传感器模块，包含MTI姿态传感器、六轴姿态传感器、三轴磁场传感器以及气压计；其中，所述MTI姿态传感器采用MTI-300；所述六轴姿态传感器采用MPU-6000；所述三轴磁场传感器采用HMC5883L；所述气压计采用MS5611高分辨率气压传感器。
6.如权利要求5所述的无人机飞行控制***，其特征在于，所述遥控器采用2.4GHz的FUTABA遥控器。
7.如权利要求6所述的无人机飞行控制***，其特征在于，还包括：激光雷达探测器，用于实时探测所述无人机当前所处环境是否存在障碍物，并将获取到的障碍物信息发送至所述处理器；所述处理器用于接收所述障碍物信息，确定所述障碍物的位置。
8.一种无人机飞行控制方法，其特征在于，包括：
通过设置在无人机上的摄像头获取所述无人机当前所处环境的双目图像；
获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模型；
根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；
通过无线传输获取遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制航姿操纵机构执行相应的避障动作。
9.如权利要求8所述的无人机飞行控制方法，其特征在于，所述获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模型包括：
根据第一摄像机的标定参数，获取所述第一摄像机拍摄的第一角度障碍物视频图像；
根据第二摄像机的标定参数，获取所述第二摄像机拍摄的第二角度障碍物视频图像；
对相同时刻的所述第一角度障碍物视频图像以及所述第二角度障碍物视频图像进行特征点立体匹配；
根据特征点立体匹配结果以及所述标定参数，生成包含所述障碍物的三维重建模型。
10.如权利要求8或9所述的无人机飞行控制方法，其特征在于，还包括：
获取雷达探测器实时探测到的所述无人机当前所处环境是否存在障碍物的障碍物信息，根据所述障碍物信息确定所述障碍物的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710149342.3A CN106814744A (zh) | 2017-03-14 | 2017-03-14 | 一种无人机飞行控制***以及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710149342.3A CN106814744A (zh) | 2017-03-14 | 2017-03-14 | 一种无人机飞行控制***以及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106814744A true CN106814744A (zh) | 2017-06-09 |
Family
ID=59116501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710149342.3A Pending CN106814744A (zh) | 2017-03-14 | 2017-03-14 | 一种无人机飞行控制***以及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106814744A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107272739A (zh) * | 2017-07-24 | 2017-10-20 | 湘潭大学 | 一种基于子母***的喷药***及方法 |
| CN107817811A (zh) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | 基于视觉的无人机防碰撞装置及方法 |
| CN108052110A (zh) * | 2017-09-25 | 2018-05-18 | 南京航空航天大学 | 基于双目视觉的无人机编队飞行方法和*** |
| CN108313312A (zh) * | 2018-01-25 | 2018-07-24 | 芜湖应天光电科技有限责任公司 | 一种无人机防坠落*** |
| CN108803664A (zh) * | 2018-08-01 | 2018-11-13 | 辽宁壮龙无人机科技有限公司 | 一种自主飞行投物无人机及控制方法 |
| CN109085594A (zh) * | 2018-06-01 | 2018-12-25 | 北京农业智能装备技术研究中心 | 一种用于施药导引的无人机机载***及施药导引*** |
| CN110007313A (zh) * | 2019-03-08 | 2019-07-12 | 中国科学院深圳先进技术研究院 | 基于无人机的障碍物检测方法及装置 |
| CN110045750A (zh) * | 2019-05-13 | 2019-07-23 | 南京邮电大学 | 一种基于四旋翼无人机的室内场景构建***及其实现方法 |
| CN110084414A (zh) * | 2019-04-18 | 2019-08-02 | 成都蓉奥科技有限公司 | 一种基于k次控制深度强化学习的空管防冲突方法 |
| CN110113275A (zh) * | 2019-05-13 | 2019-08-09 | 北京中科飞鸿科技有限公司 | 一种智能化多通道宽带干扰信号产生装置 |
| WO2020113417A1 (zh) * | 2018-12-04 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 目标场景三维重建方法、***及无人机 |
| CN111708375A (zh) * | 2020-06-28 | 2020-09-25 | 武汉理工大学 | 一种基于激光雷达和八边形空气墙算法的无人机避障*** |
| CN112588987A (zh) * | 2020-11-27 | 2021-04-02 | 吉林化工学院 | 一种机器人折弯机取放料装置 |
| CN112639655A (zh) * | 2020-01-21 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 无人机返航的控制方法、设备、可移动平台和存储介质 |
| CN113867402A (zh) * | 2021-10-29 | 2021-12-31 | 仲恺农业工程学院 | 一种基于基准面的农田无人机避障作业方法和装置 |
| WO2022016562A1 (zh) * | 2020-07-22 | 2022-01-27 | 南京科沃信息技术有限公司 | 一种基于视觉的植保无人机避障***及其避障方法 |
| CN115586798A (zh) * | 2022-12-12 | 2023-01-10 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和*** |
| WO2023060467A1 (zh) * | 2021-10-13 | 2023-04-20 | 深圳市大疆创新科技有限公司 | 无人机的返航方法、装置、无人机及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及*** |
| CN104392228A (zh) * | 2014-12-19 | 2015-03-04 | 中国人民解放军国防科学技术大学 | 基于条件随机场模型的无人机图像目标类检测方法 |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测***及方法 |
| CN205049143U (zh) * | 2015-10-22 | 2016-02-24 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测*** |
| CN105425814A (zh) * | 2015-11-24 | 2016-03-23 | 木牛（青岛）科技有限公司 | 一种无人机控制***及控制方法 |
| CN105955303A (zh) * | 2016-07-05 | 2016-09-21 | 北京奇虎科技有限公司 | 无人机自主避障方法、装置 |
| CN106168810A (zh) * | 2016-09-18 | 2016-11-30 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种基于rtk的无人机飞行避障***和方法 |
| WO2016206107A1 (en) * | 2015-06-26 | 2016-12-29 | SZ DJI Technology Co., Ltd. | System and method for selecting an operation mode of a mobile platform |
-
2017
- 2017-03-14 CN CN201710149342.3A patent/CN106814744A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及*** |
| CN104392228A (zh) * | 2014-12-19 | 2015-03-04 | 中国人民解放军国防科学技术大学 | 基于条件随机场模型的无人机图像目标类检测方法 |
| WO2016206107A1 (en) * | 2015-06-26 | 2016-12-29 | SZ DJI Technology Co., Ltd. | System and method for selecting an operation mode of a mobile platform |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测***及方法 |
| CN205049143U (zh) * | 2015-10-22 | 2016-02-24 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测*** |
| CN105425814A (zh) * | 2015-11-24 | 2016-03-23 | 木牛（青岛）科技有限公司 | 一种无人机控制***及控制方法 |
| CN105955303A (zh) * | 2016-07-05 | 2016-09-21 | 北京奇虎科技有限公司 | 无人机自主避障方法、装置 |
| CN106168810A (zh) * | 2016-09-18 | 2016-11-30 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种基于rtk的无人机飞行避障***和方法 |
Non-Patent Citations (4)
| Title |
|---|
| XUE WAN 等: "Illumination-invariant image matching for autonomous UAV localisation based on optical sensing", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
| 李源哲 等: "基于嵌入式linux的无人机双目视觉***", 《声学与电子工程》 * |
| 王永信 等: "《逆向工程及检测技术与应用》", 31 May 2014 * |
| 韩亮: "基于极大似然估计值的双目视觉***项目的研究", 《科技经济导刊》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107272739A (zh) * | 2017-07-24 | 2017-10-20 | 湘潭大学 | 一种基于子母***的喷药***及方法 |
| CN108052110A (zh) * | 2017-09-25 | 2018-05-18 | 南京航空航天大学 | 基于双目视觉的无人机编队飞行方法和*** |
| CN107817811A (zh) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | 基于视觉的无人机防碰撞装置及方法 |
| CN108313312A (zh) * | 2018-01-25 | 2018-07-24 | 芜湖应天光电科技有限责任公司 | 一种无人机防坠落*** |
| CN109085594A (zh) * | 2018-06-01 | 2018-12-25 | 北京农业智能装备技术研究中心 | 一种用于施药导引的无人机机载***及施药导引*** |
| CN108803664A (zh) * | 2018-08-01 | 2018-11-13 | 辽宁壮龙无人机科技有限公司 | 一种自主飞行投物无人机及控制方法 |
| WO2020113417A1 (zh) * | 2018-12-04 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 目标场景三维重建方法、***及无人机 |
| CN110007313A (zh) * | 2019-03-08 | 2019-07-12 | 中国科学院深圳先进技术研究院 | 基于无人机的障碍物检测方法及装置 |
| CN110084414A (zh) * | 2019-04-18 | 2019-08-02 | 成都蓉奥科技有限公司 | 一种基于k次控制深度强化学习的空管防冲突方法 |
| CN110045750A (zh) * | 2019-05-13 | 2019-07-23 | 南京邮电大学 | 一种基于四旋翼无人机的室内场景构建***及其实现方法 |
| CN110113275A (zh) * | 2019-05-13 | 2019-08-09 | 北京中科飞鸿科技有限公司 | 一种智能化多通道宽带干扰信号产生装置 |
| CN112639655A (zh) * | 2020-01-21 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 无人机返航的控制方法、设备、可移动平台和存储介质 |
| CN111708375A (zh) * | 2020-06-28 | 2020-09-25 | 武汉理工大学 | 一种基于激光雷达和八边形空气墙算法的无人机避障*** |
| WO2022016562A1 (zh) * | 2020-07-22 | 2022-01-27 | 南京科沃信息技术有限公司 | 一种基于视觉的植保无人机避障***及其避障方法 |
| CN112588987A (zh) * | 2020-11-27 | 2021-04-02 | 吉林化工学院 | 一种机器人折弯机取放料装置 |
| WO2023060467A1 (zh) * | 2021-10-13 | 2023-04-20 | 深圳市大疆创新科技有限公司 | 无人机的返航方法、装置、无人机及存储介质 |
| CN113867402A (zh) * | 2021-10-29 | 2021-12-31 | 仲恺农业工程学院 | 一种基于基准面的农田无人机避障作业方法和装置 |
| CN113867402B (zh) * | 2021-10-29 | 2022-12-20 | 仲恺农业工程学院 | 一种基于基准面的农田无人机避障作业方法和装置 |
| CN115586798A (zh) * | 2022-12-12 | 2023-01-10 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和*** |
| CN115586798B (zh) * | 2022-12-12 | 2023-03-24 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106814744A (zh) | 一种无人机飞行控制***以及方法 | |
| CN113485392B (zh) | 基于数字孪生的虚拟现实交互方法 | |
| CN103940442B (zh) | 一种采用加速收敛算法的定位方法及装置 | |
| CN110556012A (zh) | 车道定位方法及车辆定位*** | |
| CN104280022A (zh) | 视觉辅助惯性测量单元的数字头盔显示设备跟踪*** | |
| CN107688184A (zh) | 一种定位方法以及*** | |
| US10139493B1 (en) | Rotor safety system | |
| CN103712598B (zh) | 一种小型无人机姿态确定方法 | |
| CN102592007A (zh) | 用于飞行控制律设计调参的无人机对象模型建模方法 | |
| CN108496121A (zh) | 无人机仿真飞行***、方法、设备及机器可读存储介质 | |
| CN110455301A (zh) | 一种基于惯性测量单元的动态场景slam方法 | |
| CN106125769A (zh) | 一种无线头部运动随动***设计方法 | |
| CN110018691A (zh) | 小型多旋翼无人机飞行状态估计***和方法 | |
| CN114088087B (zh) | 无人机gps-denied下高可靠高精度导航定位方法和*** | |
| CN107831776A (zh) | 基于九轴惯性传感器的无人机自主返航方法 | |
| CN106767785A (zh) | 一种双回路无人机的导航方法及装置 | |
| CN116700070B (zh) | 一种无人机飞行状态的***方法及*** | |
| CN113218389A (zh) | 一种车辆定位方法、装置、存储介质及计算机程序产品 | |
| Høglund | Autonomous inspection of wind turbines and buildings using an UAV | |
| Ha et al. | Vision-based Obstacle Avoidance Based on Monocular SLAM and Image Segmentation for UAVs. | |
| CN113656918B (zh) | 一种应用于成品高架库场景的四旋翼仿真测试方法 | |
| CN110136168A (zh) | 一种基于特征点匹配和光流法的多旋翼速度测量方法 | |
| Awed et al. | Towards realizing a visual UAV flying environment: A novel approach based aerial imagery to construct a dataset for visual servoing | |
| Lei et al. | A high performance altitude navigation system for small rotorcraft unmanned aircraft | |
| CN110412632A (zh) | 无人驾驶设备的航向的确定方法及装置、*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170609 |