CN106647814A - 一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法 - Google Patents
一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法 Download PDFInfo
- Publication number
- CN106647814A CN106647814A CN201611092540.2A CN201611092540A CN106647814A CN 106647814 A CN106647814 A CN 106647814A CN 201611092540 A CN201611092540 A CN 201611092540A CN 106647814 A CN106647814 A CN 106647814A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- module
- unmanned plane
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 85
- 230000004044 response Effects 0.000 claims description 66
- 230000033001 locomotion Effects 0.000 claims description 51
- 238000001914 filtration Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 7
- 239000003550 marker Substances 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000007704 transition Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法，该***包括无人机本体、传感器模块、跟踪轨迹生成模块、视觉处理模块、传感器更新模块、飞行控制模块、视觉辅助控制切换模块、指令输出模块以及摄像头，通过对航线特定位置上布置的二维码标志物进行视觉提取，融合惯性导航***进行精确位置和姿态信息的计算，进而辅助和提高传统GPS组合导航***的精度，同时通过二维码编码信息为无人机提供多元化信息指引，拓展飞行任务的多样性，另外，提出一种基于偏差的自适应补偿控制的级联飞行控制***，实现标志物识别状态和未识别状态的平滑过渡，提高飞行控制的稳定性，进而提高识别的精准度和快速性。
Description
技术领域
本发明属于无人飞行器技术领域，更具体地，涉及一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法。
背景技术
近年来随着智能科学与控制科学的发展，无人机成为了当前比较热门的一个研究话题。目前无人机广泛应用于航拍、大地测绘、地质救援、火灾救援、交通监控等领域。无人机不但具有实际的社会应用价值，在工程和学术也有重要的研究意义，例如农业植保、电力巡检、森林防火、检灾等领域，具有广阔的发展前景。
在无人机的自动飞行中，传统的组合导航技术受限于GPS精度问题，在位置精度上约为±2m左右，在对航线飞行、悬停精度要求比较高的场合，例如快递物流投送，救灾支援，上舰作战，自动返回充电等应用，往往需要采用其他设备来辅助以提高飞行时抵达目标点的精度，具有一定的局限性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于二维码地标精准识别的无人机视觉辅助定位与飞控***，在航线的特定位置上布置若干个以二维码形式的标志物作为关键点，通过对二维码标志物进行视觉提取，融合惯性导航***进行精确位置和姿态信息的计算，进而辅助和提高传统GPS组合导航***的精度，同时通过二维码的编码信息为无人机提供多元化信息指引，拓展飞行任务的多样性。另外，提出一种基于偏差的自适应补偿控制的级联飞行控制***，实现标志物识别状态和未识别状态的平滑过渡，提高飞行控制的稳定性，进而提高识别的精准度和快速性，由此解决现有技术中传统组合导航技术受限于GPS精度问题，位置精度较低，需要采用其他设备来辅助以提高飞行时抵达目标点的精度的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于二维码地标识别的无人机视觉辅助定位与飞控***，其特征在于，包括：无人机本体、传感器模块、跟踪轨迹生成模块、视觉处理模块、传感器更新模块、飞行控制模块、指令输出模块、视觉辅助控制切换模块以及摄像头：
所述传感器模块用于获取所述无人机本体的位置信息以及所述无人机本体的第一运动速度矢量；
所述跟踪轨迹生成模块用于根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；
所述视觉处理模块用于根据所述摄像头获取得到的二维码标志物的图像获取所述二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量；
所述传感器更新模块用于利用所述无人机本体的位置信息、所述第一运动速度矢量、所述偏离距离矢量以及所述第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机本体的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量；
所述飞行控制模块用于利用目标期望航点的期望位置、目标期望航点的期望速度矢量、所述目标位置信息、所述目标第一运动速度矢量、所述目标偏离距离矢量以及所述目标第二运动速度矢量通过偏差自适应补偿生成制导指令，将所述制导指令发送给所述指令输出模块，其中，所述目标期望航点为无人机当前正在前往的航点，所述制导指令包括横滚角和俯仰角；
所述视觉辅助控制切换模块，用于在所述二维码标志物处于识别状态时，控制所述飞行控制模块根据所述传感器模块和所述视觉处理模块得到的信息计算制导指令，在所述二维码标志物处于未识别状态时，控制所述飞行控制模块仅根据所述传感器模块得到的信息计算制导指令；
所述指令输出模块用于输出所述制导指令。
优选地，所述摄像头位于所述无人机本体的底部，并且所述摄像头的视场方向垂直朝下。
优选地，所述视觉处理模块包括图像灰度化模块、图像二值化模块、二值图处理模块、二维码信息提取模块以及位置姿态获取模块，
所述图像灰度化模块用于将所述二维码标志物的图像转化为单通道灰度图；
所述图像二值化模块用于根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；
所述二值图处理模块用于对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
所述二维码信息提取模块用于按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；
所述位置姿态获取模块用于根据提取的二进制编码信息和角点信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量。
按照本发明的另一方面，提供了一种基于二维码地标识别的无人机视觉辅助定位与飞控方法，其特征在于，包括：
S1：获取无人机的位置信息以及无人机的第一运动速度矢量；
S2：根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；
S3：根据摄像头获取得到的二维码标志物的图像获取所述二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量；
S4：利用所述无人机的位置信息、所述第一运动速度矢量、所述偏离距离矢量以及所述第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量；
S5：利用目标期望航点的期望位置、目标期望航点的期望速度矢量、所述目标位置信息、所述目标第一运动速度矢量、所述目标偏离距离矢量以及所述目标第二运动速度矢量通过偏差自适应补偿生成制导指令，其中，所述目标期望航点为无人机当前正在前往的航点，所述制导指令包括横滚角和俯仰角；
S6：输出所述制导指令。
优选地，所述摄像头位于所述无人机的底部，并且所述摄像头的视场方向垂直朝下。
优选地，步骤S3具体包括以下子步骤：
S301：将所述二维码标志物的图像转化为单通道灰度图；
S302：根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；
S303：对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
S304：按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；
S305：根据提取的二进制编码信息和角点信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要有以下的技术优点：
(1)通过对地面特定位置上布置的二维码标志物进行识别，利用二维码的编码技术获取地标信息，并融合多种传感器信息，来提高无人机的定位精度，从而辅助和提高传统GPS组合导航***的精度，同时由于二维编码能够提供丰富的地标信息且具有加密能力，能够为无人机提供多元化信息指引，进而扩展飞行任务的多样性；
(2)在标志物识别状态和未识别状态采用同一个级联的飞行控制***，并提出了一种基于偏差的自适应补偿控方法，在标志物目标识别状态下对获取到的额外位置信息进行补偿，能够实现标志物识别状态和未识别状态的平滑过渡，提高飞行控制的稳定性，保证旋翼无人机在各种干扰环境下都能实现快速精准识别。
附图说明
图1为本发明实施例公开的一种无人机高精度自主飞行的硬件结构图；
图2为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控***的结构示意图；
图3为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控***各模块的信息交互图；
图4为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控方法的流程示意图；
图5为本发明实施例公开的一种无人机高精度自主飞行的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1所示为本发明实施例公开的一种无人机高精度自主飞行的硬件结构图，在图1所示的硬件结构图中，图1左上部分为导航传感器集合，可以包括加速度计、陀螺仪、超声波传感器、气压计、磁力计以及GPS模块等，其中各传感器可以通过IIC和SPI接口与图1左下部分的飞行控制主板通讯，图1右下部分为无人机上的摄像头，可以通过USB2.0接口与图1右上部分的视觉处理主板通讯，视觉处理主板可以通过TTL串口与飞行控制主板通讯。
其中，飞行控制主板可以采用STM32F407嵌入式处理器，运行主频为168Mhz。导航传感器具体可以包括：MPU6050陀螺仪和加速度计，MS5611高精度气压计，M8NGPS接收机，US100超声波测距仪。视觉处理主板可以采用S5P4418高性能处理器，运行主频为1.4Ghz，具有1GB DDR3运行内存。摄像头可以为KS2A17，与视觉处理主板通信方式可以为USB2.0，在640×480分辨率下，最大帧率为120fps。视觉处理主板与飞行控制主板可以用TTL串口连接的方式进行数据通信。
图2为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控***的结构示意图，图3为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控***各模块的信息交互图。如图2和图3所示，本发明所述***包括无人机本体、传感器模块、跟踪轨迹生成模块、视觉处理模块、传感器更新模块、飞行控制模块、指令输出模块、视觉辅助控制切换模块以及摄像头。
其中，上述传感器模块用于获取无人机本体的位置信息以及无人机本体的第一运动速度矢量；
上述跟踪轨迹生成模块用于根据预设的任务航点信息生成航线跟踪轨迹，并对上述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；
上述视觉处理模块用于根据摄像头获取得到的二维码标志物的图像获取该二维码标志物的位置信息、姿态信息以及编码信息，由上述位置信息、姿态信息以及编码信息得到摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量；
其中，摄像头位于无人机本体的底部，并且摄像头的视场方向垂直朝下。
其中，视觉处理模块包括图像灰度化模块、图像二值化模块、二值图处理模块、二维码信息提取模块以及位置姿态获取模块，
上述图像灰度化模块用于将二维码标志物的图像转化为单通道灰度图；
上述图像二值化模块用于根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；
上述二值图处理模块用于对二值图进行轮廓检测，遍历二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
上述二维码信息提取模块用于按照预设的编码信息规则提取正方形图像中的二进制编码信息和角点信息；
上述位置姿态获取模块用于根据提取的二进制编码信息和角点信息得到摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量。
其中，二维码标志物的尺寸为m厘米×m厘米，得到的二维码标志物的角点信息表示在摄像头的图像坐标下的位置信息，由于后续主要是对航点飞行误差进行补偿，因此统一规定二维码标志物的四个角点现实世界坐标分别为(m,m,0)，(m,0,0)，(0,m,0)，(0,0,0)，摄像机成像原理：s·m'＝A·[R|T]·M，其中A为摄像头内参矩阵，可以通过实验标定得到，m＇为摄像头在摄像头坐标系下的位置，M为摄像头在现实世界坐标系下的位置，[R|T]为旋转平移矩阵，也就是摄像头在现实世界坐标系下相对于某一个点的位置和姿态，即可求出摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量。
上述传感器更新模块用于利用无人机本体的位置信息、第一运动速度矢量、偏离距离矢量以及第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机本体的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量。
其中，可以通过设计卡尔曼滤波器对多传感器信息进行融合，来提高测量精度。卡尔曼滤波器的状态更新公式为：
其中，θ、γ为旋转矩阵R中的俯仰角和横滚角，V是现实世界坐标下的无人机速度矢量，a是现实世界坐标下的无人机加速度矢量，ab是无人机坐标下的加速度矢量，可以由无人机中的加速度计测量得到，wb是无人机坐标下的角速度矢量，可以由无人机中的陀螺仪测量得到，Δt为滤波器更新间隔时间。
上述飞行控制模块用于利用目标期望航点的期望位置、目标期望航点的期望速度矢量、目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量通过偏差自适应补偿生成制导指令，将该制导指令发送给指令输出模块，其中，目标期望航点为无人机当前正在前往的航点，制导指令包括横滚角和俯仰角；
其中，高精度飞行的控制目标就是使得无人机的位置收敛到目标期望航点集合的足够小的邻域内。在有视觉辅助的高精度飞行阶段时，由于视觉设备测量的精度优于传统导航设备，此时需要对控制器中的输入量进行补偿：
Verr(t)＝[Vd(t)-w3·V(t)]-w4·Vvision(t)
其中，Pd(t)，Vd(t)分别为无人机的期望位置和期望速度输入矢量，Perr(t)，Verr(t)分别为位置外环控制器和速度内环控制器的误差输入向量，P(t)，V(t)分别为传统GPS组合导航***计算得到的无人机的位置向量和运动速度向量，T(t)，Vvision(t)分别为视觉处理模块计算得到的无人机相对目标二维码标志物的偏离距离向量和运动速度向量，w1，w2，w3，w4为补偿权重系数，一般可取w1＝w2，w3＝w4，补偿权重系数可以取固定值，也可以采用自适应的方式确定：
w2＝1-w1
在无人机飞行过程中，受到摄像头视场范围限制和实际飞行环境干扰影响，会对无人机的标志物提取信息精准度带来影响，传统无人机控制***在地面标志物未识别过程和识别成功后的控制中分别采用不同的控制策略，因此，飞行控制模块会在地面标志物识别和未识别两种状态下频繁切换，造成控制不稳定。本发明在地面标志物识别状态和未识别状态采用同一个级联的飞行控制模块，即采用一个飞行控制模块，并提出了一种基于偏差的自适应补偿控制方法，在地面标志物识别状态下对获取到的额外位置和运动速度信息进行补偿。能够实现地面标志物识别状态和未识别状态平滑过渡，提高飞行控制的稳定性，保证无人机在各种环境下都能实现高精准度飞行。
上述指令输出模块用于输出上述制导指令。
图4为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控方法的流程示意图，其中，图4所示的方法包括以下步骤：
S1：获取无人机的位置信息以及无人机的第一运动速度矢量；
S2：根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；
S3：根据摄像头获取到的预先布置的二维码标志物的图像进行精准识别；
其中，步骤S3的实现方式为：根据摄像头获取到的预先布置的二维码标志物的图像获取该二维码标志物的位置信息、姿态信息以及编码信息，由上述位置信息、姿态信息以及编码信息得到摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量；
S4：利用识别的二维码标志物的信息、无人机的位置信息以及第一运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合；
其中，步骤S4的具体实现方式为：利用无人机的位置信息、第一运动速度矢量、偏离距离矢量以及第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量。
S5：利用卡尔曼滤波后得到的信息生成制导指令，其中制导指令中包括横滚角和俯仰角；
其中，步骤S5的具体实现方式为：利用目标期望航点的期望位置、目标期望航点的期望速度矢量、目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量通过偏差自适应补偿生成制导指令，其中，目标期望航点为无人机当前正在前往的航点，制导指令包括横滚角和俯仰角。
S6：输出上述制导指令。
图5为本发明实施例公开的一种无人机高精度自主飞行的流程示意图。在图5中有三个任务航点，其中任务航点(n)和(n+1)为关键航点，并在地面布设有标志物：二维码1和二维码2。无人机在飞经航点(n-1)时，仅采用传统的GPS组合导航***。在飞经任务航点(n)和(n+1)时，会对地面标志物的位置、姿态和编码信息进行提取，以辅助传统的GPS组合导航***。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于二维码地标识别的无人机视觉辅助定位与飞控***，其特征在于，包括：无人机本体、传感器模块、跟踪轨迹生成模块、视觉处理模块、传感器更新模块、飞行控制模块、指令输出模块、视觉辅助控制切换模块以及摄像头：
所述传感器模块用于获取所述无人机本体的位置信息以及所述无人机本体的第一运动速度矢量；
所述跟踪轨迹生成模块用于根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；
所述视觉处理模块用于根据所述摄像头获取得到的二维码标志物的图像获取所述二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量；
所述传感器更新模块用于利用所述无人机本体的位置信息、所述第一运动速度矢量、所述偏离距离矢量以及所述第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机本体的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量；
所述飞行控制模块用于利用目标期望航点的期望位置、目标期望航点的期望速度矢量、所述目标位置信息、所述目标第一运动速度矢量、所述目标偏离距离矢量以及所述目标第二运动速度矢量通过偏差自适应补偿生成制导指令，将所述制导指令发送给所述指令输出模块，其中，所述目标期望航点为无人机当前正在前往的航点，所述制导指令包括横滚角和俯仰角；
所述视觉辅助控制切换模块，用于在所述二维码标志物处于识别状态时，控制所述飞行控制模块根据所述传感器模块和所述视觉处理模块得到的信息计算制导指令，在所述二维码标志物处于未识别状态时，控制所述飞行控制模块仅根据所述传感器模块得到的信息计算制导指令；
所述指令输出模块用于输出所述制导指令。
2.根据权利要求1所述的***，其特征在于，所述摄像头位于所述无人机本体的底部，并且所述摄像头的视场方向垂直朝下。
3.根据权利要求1所述的***，其特征在于，所述视觉处理模块包括图像灰度化模块、图像二值化模块、二值图处理模块、二维码信息提取模块以及位置姿态获取模块，
所述图像灰度化模块用于将所述二维码标志物的图像转化为单通道灰度图；
所述图像二值化模块用于根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；
所述二值图处理模块用于对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
所述二维码信息提取模块用于按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；
所述位置姿态获取模块用于根据提取的二进制编码信息和角点信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量。
4.一种基于二维码地标识别的无人机视觉辅助定位与飞控方法，其特征在于，包括：
S1：获取无人机的位置信息以及无人机的第一运动速度矢量；
S2：根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；
S3：根据摄像头获取得到的二维码标志物的图像获取所述二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量；
S4：利用所述无人机的位置信息、所述第一运动速度矢量、所述偏离距离矢量以及所述第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量；
S5：利用目标期望航点的期望位置、目标期望航点的期望速度矢量、所述目标位置信息、所述目标第一运动速度矢量、所述目标偏离距离矢量以及所述目标第二运动速度矢量通过偏差自适应补偿生成制导指令，其中，所述目标期望航点为无人机当前正在前往的航点，所述制导指令包括横滚角和俯仰角；
S6：输出所述制导指令。
5.根据权利要求4所述的方法，其特征在于，所述摄像头位于所述无人机的底部，并且所述摄像头的视场方向垂直朝下。
6.根据权利要求4所述的方法，其特征在于，步骤S3具体包括以下子步骤：
S301：将所述二维码标志物的图像转化为单通道灰度图；
S302：根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；
S303：对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
S304：按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；
S305：根据提取的二进制编码信息和角点信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611092540.2A CN106647814B (zh) | 2016-12-01 | 2016-12-01 | 一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611092540.2A CN106647814B (zh) | 2016-12-01 | 2016-12-01 | 一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106647814A true CN106647814A (zh) | 2017-05-10 |
| CN106647814B CN106647814B (zh) | 2019-08-13 |
Family
ID=58814148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611092540.2A Active CN106647814B (zh) | 2016-12-01 | 2016-12-01 | 一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106647814B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194399A (zh) * | 2017-07-14 | 2017-09-22 | 广东工业大学 | 一种视觉定标的方法、***及无人机 |
| CN107703973A (zh) * | 2017-09-11 | 2018-02-16 | 广州视源电子科技股份有限公司 | 轨迹跟踪方法、装置 |
| CN108305291A (zh) * | 2018-01-08 | 2018-07-20 | 武汉大学 | 利用包含定位二维码的墙体广告的单目视觉定位定姿方法 |
| CN108803668A (zh) * | 2018-06-22 | 2018-11-13 | 航天图景（北京）科技有限公司 | 一种静态目标监测的智能巡检无人机吊舱*** |
| WO2019006767A1 (zh) * | 2017-07-06 | 2019-01-10 | 杨顺伟 | 一种无人机的景点导航方法及装置 |
| CN109521781A (zh) * | 2018-10-30 | 2019-03-26 | 普宙飞行器科技（深圳）有限公司 | 无人机定位***、无人机以及无人机定位方法 |
| WO2019056982A1 (zh) * | 2017-09-21 | 2019-03-28 | 索尼公司 | 无线通信***中的装置和方法、计算机可读存储介质 |
| CN110325940A (zh) * | 2018-06-29 | 2019-10-11 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、设备、***及存储介质 |
| CN110375747A (zh) * | 2019-08-26 | 2019-10-25 | 华东师范大学 | 一种室内无人机的惯导*** |
| CN110446159A (zh) * | 2019-08-12 | 2019-11-12 | 上海工程技术大学 | 一种室内无人机精确定位与自主导航的***及方法 |
| CN110543989A (zh) * | 2019-08-29 | 2019-12-06 | 中国南方电网有限责任公司 | 输电线路机巡作业安全预警方法、装置和计算机设备 |
| CN110673619A (zh) * | 2019-10-21 | 2020-01-10 | 深圳市道通智能航空技术有限公司 | 一种飞行姿态的控制方法、装置、无人机和存储介质 |
| CN111121744A (zh) * | 2018-10-30 | 2020-05-08 | 千寻位置网络有限公司 | 基于传感单元的定位方法及装置、定位***及移动终端 |
| CN111323789A (zh) * | 2020-03-19 | 2020-06-23 | 苏州思维慧信息科技有限公司 | 一种基于无人机和固态雷达的地面形貌扫描装置及方法 |
| CN111580551A (zh) * | 2020-05-06 | 2020-08-25 | 杭州电子科技大学 | 一种基于视觉定位的导航***与方法 |
| CN111930133A (zh) * | 2020-07-20 | 2020-11-13 | 贵州电网有限责任公司 | 一种基于旋翼无人机的变电站二次屏柜巡检方法 |
| CN112040175A (zh) * | 2020-07-31 | 2020-12-04 | 深圳供电局有限公司 | 无人机巡检方法、装置、计算机设备和可读存储介质 |
| CN112147995A (zh) * | 2019-06-28 | 2020-12-29 | 深圳市创客工场科技有限公司 | 机器人的运动控制方法及装置、机器人、存储介质 |
| CN112381464A (zh) * | 2020-12-07 | 2021-02-19 | 北京小米松果电子有限公司 | 共享交通工具的调度方法、装置及存储介质 |
| CN112859923A (zh) * | 2021-01-25 | 2021-05-28 | 西北工业大学 | 一种无人机视觉编队飞行控制*** |
| CN113238580A (zh) * | 2021-06-03 | 2021-08-10 | 一飞智控(天津)科技有限公司 | 一种无人机静态摆放偏差和动态飞行偏差切换方法及*** |
| CN113657256A (zh) * | 2021-08-16 | 2021-11-16 | 大连海事大学 | 一种无人艇载无人机海空协同视觉跟踪与自主回收方法 |
| TWI746973B (zh) * | 2018-05-09 | 2021-11-21 | 大陸商北京外號信息技術有限公司 | 通過光通信裝置對能夠自主移動的機器進行導引的方法 |
| CN113776523A (zh) * | 2021-08-24 | 2021-12-10 | 武汉第二船舶设计研究所 | 一种机器人低成本导航定位方法、***及应用 |
| CN114104310A (zh) * | 2021-12-31 | 2022-03-01 | 重庆高新区飞马创新研究院 | 一种基于GPS和AprilTag的视觉辅助无人机降落的设备与方法 |
| CN114237262A (zh) * | 2021-12-24 | 2022-03-25 | 陕西欧卡电子智能科技有限公司 | 一种水面无人船自动停泊方法及*** |
| CN114326766A (zh) * | 2021-12-03 | 2022-04-12 | 深圳先进技术研究院 | 一种车机协同自主跟踪与降落方法 |
| CN114489102A (zh) * | 2022-01-19 | 2022-05-13 | 上海复亚智能科技有限公司 | 一种电力杆塔自巡检方法、装置、无人机及存储介质 |
| CN115586798A (zh) * | 2022-12-12 | 2023-01-10 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184776A (zh) * | 2015-08-17 | 2015-12-23 | 中国测绘科学研究院 | 目标跟踪方法 |
| CN105388905A (zh) * | 2015-10-30 | 2016-03-09 | 深圳一电航空技术有限公司 | 无人机飞行控制方法及装置 |
| US20160209850A1 (en) * | 2014-12-09 | 2016-07-21 | Embry-Riddle Aeronautical University, Inc. | System and method for robust nonlinear regulation control of unmanned aerial vehicles syntetic jet actuators |
-
2016
- 2016-12-01 CN CN201611092540.2A patent/CN106647814B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160209850A1 (en) * | 2014-12-09 | 2016-07-21 | Embry-Riddle Aeronautical University, Inc. | System and method for robust nonlinear regulation control of unmanned aerial vehicles syntetic jet actuators |
| CN105184776A (zh) * | 2015-08-17 | 2015-12-23 | 中国测绘科学研究院 | 目标跟踪方法 |
| CN105388905A (zh) * | 2015-10-30 | 2016-03-09 | 深圳一电航空技术有限公司 | 无人机飞行控制方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 姚瑶，刘磊，王永骥: "基于耦合补偿和自抗扰的飞行器姿态控制", 《第34届中国控制会议》 * |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019006767A1 (zh) * | 2017-07-06 | 2019-01-10 | 杨顺伟 | 一种无人机的景点导航方法及装置 |
| CN107194399A (zh) * | 2017-07-14 | 2017-09-22 | 广东工业大学 | 一种视觉定标的方法、***及无人机 |
| CN107194399B (zh) * | 2017-07-14 | 2023-05-09 | 广东工业大学 | 一种视觉定标的方法、***及无人机 |
| CN107703973A (zh) * | 2017-09-11 | 2018-02-16 | 广州视源电子科技股份有限公司 | 轨迹跟踪方法、装置 |
| US11076328B2 (en) | 2017-09-21 | 2021-07-27 | Sony Corporation | Apparatus and method in wireless communication system and computer readable storage medium |
| WO2019056982A1 (zh) * | 2017-09-21 | 2019-03-28 | 索尼公司 | 无线通信***中的装置和方法、计算机可读存储介质 |
| US11653276B2 (en) | 2017-09-21 | 2023-05-16 | Sony Group Corporation | Apparatus and method in wireless communication system and computer readable storage medium |
| CN108305291A (zh) * | 2018-01-08 | 2018-07-20 | 武汉大学 | 利用包含定位二维码的墙体广告的单目视觉定位定姿方法 |
| CN108305291B (zh) * | 2018-01-08 | 2022-02-01 | 武汉大学 | 利用包含定位二维码的墙体广告的单目视觉定位定姿方法 |
| US11338920B2 (en) | 2018-05-09 | 2022-05-24 | Beijing Whyhow Information Technology Co., Ltd. | Method for guiding autonomously movable machine by means of optical communication device |
| TWI746973B (zh) * | 2018-05-09 | 2021-11-21 | 大陸商北京外號信息技術有限公司 | 通過光通信裝置對能夠自主移動的機器進行導引的方法 |
| CN108803668A (zh) * | 2018-06-22 | 2018-11-13 | 航天图景（北京）科技有限公司 | 一种静态目标监测的智能巡检无人机吊舱*** |
| CN108803668B (zh) * | 2018-06-22 | 2021-08-24 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种静态目标监测的智能巡检无人机吊舱*** |
| CN110325940A (zh) * | 2018-06-29 | 2019-10-11 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、设备、***及存储介质 |
| CN111121744A (zh) * | 2018-10-30 | 2020-05-08 | 千寻位置网络有限公司 | 基于传感单元的定位方法及装置、定位***及移动终端 |
| CN109521781A (zh) * | 2018-10-30 | 2019-03-26 | 普宙飞行器科技（深圳）有限公司 | 无人机定位***、无人机以及无人机定位方法 |
| CN112147995B (zh) * | 2019-06-28 | 2024-02-27 | 深圳市创客工场科技有限公司 | 机器人的运动控制方法及装置、机器人、存储介质 |
| CN112147995A (zh) * | 2019-06-28 | 2020-12-29 | 深圳市创客工场科技有限公司 | 机器人的运动控制方法及装置、机器人、存储介质 |
| CN110446159A (zh) * | 2019-08-12 | 2019-11-12 | 上海工程技术大学 | 一种室内无人机精确定位与自主导航的***及方法 |
| CN110375747A (zh) * | 2019-08-26 | 2019-10-25 | 华东师范大学 | 一种室内无人机的惯导*** |
| CN110543989A (zh) * | 2019-08-29 | 2019-12-06 | 中国南方电网有限责任公司 | 输电线路机巡作业安全预警方法、装置和计算机设备 |
| CN110673619B (zh) * | 2019-10-21 | 2022-06-17 | 深圳市道通智能航空技术股份有限公司 | 一种飞行姿态的控制方法、装置、无人机和存储介质 |
| CN110673619A (zh) * | 2019-10-21 | 2020-01-10 | 深圳市道通智能航空技术有限公司 | 一种飞行姿态的控制方法、装置、无人机和存储介质 |
| CN111323789B (zh) * | 2020-03-19 | 2023-11-03 | 陕西思地三维科技有限公司 | 一种基于无人机和固态雷达的地面形貌扫描装置及方法 |
| CN111323789A (zh) * | 2020-03-19 | 2020-06-23 | 苏州思维慧信息科技有限公司 | 一种基于无人机和固态雷达的地面形貌扫描装置及方法 |
| CN111580551A (zh) * | 2020-05-06 | 2020-08-25 | 杭州电子科技大学 | 一种基于视觉定位的导航***与方法 |
| CN111930133A (zh) * | 2020-07-20 | 2020-11-13 | 贵州电网有限责任公司 | 一种基于旋翼无人机的变电站二次屏柜巡检方法 |
| CN112040175A (zh) * | 2020-07-31 | 2020-12-04 | 深圳供电局有限公司 | 无人机巡检方法、装置、计算机设备和可读存储介质 |
| CN112381464A (zh) * | 2020-12-07 | 2021-02-19 | 北京小米松果电子有限公司 | 共享交通工具的调度方法、装置及存储介质 |
| CN112859923A (zh) * | 2021-01-25 | 2021-05-28 | 西北工业大学 | 一种无人机视觉编队飞行控制*** |
| CN113238580A (zh) * | 2021-06-03 | 2021-08-10 | 一飞智控(天津)科技有限公司 | 一种无人机静态摆放偏差和动态飞行偏差切换方法及*** |
| CN113657256B (zh) * | 2021-08-16 | 2023-09-26 | 大连海事大学 | 一种无人艇载无人机海空协同视觉跟踪与自主回收方法 |
| CN113657256A (zh) * | 2021-08-16 | 2021-11-16 | 大连海事大学 | 一种无人艇载无人机海空协同视觉跟踪与自主回收方法 |
| CN113776523B (zh) * | 2021-08-24 | 2024-03-19 | 武汉第二船舶设计研究所 | 一种机器人低成本导航定位方法、***及应用 |
| CN113776523A (zh) * | 2021-08-24 | 2021-12-10 | 武汉第二船舶设计研究所 | 一种机器人低成本导航定位方法、***及应用 |
| CN114326766A (zh) * | 2021-12-03 | 2022-04-12 | 深圳先进技术研究院 | 一种车机协同自主跟踪与降落方法 |
| CN114237262B (zh) * | 2021-12-24 | 2024-01-19 | 陕西欧卡电子智能科技有限公司 | 一种水面无人船自动停泊方法及*** |
| CN114237262A (zh) * | 2021-12-24 | 2022-03-25 | 陕西欧卡电子智能科技有限公司 | 一种水面无人船自动停泊方法及*** |
| CN114104310A (zh) * | 2021-12-31 | 2022-03-01 | 重庆高新区飞马创新研究院 | 一种基于GPS和AprilTag的视觉辅助无人机降落的设备与方法 |
| CN114489102A (zh) * | 2022-01-19 | 2022-05-13 | 上海复亚智能科技有限公司 | 一种电力杆塔自巡检方法、装置、无人机及存储介质 |
| CN115586798B (zh) * | 2022-12-12 | 2023-03-24 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和*** |
| CN115586798A (zh) * | 2022-12-12 | 2023-01-10 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106647814B (zh) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106647814B (zh) | 一种基于二维码地标识别的无人机视觉辅助定位与飞控***及方法 | |
| AU2022291653B2 (en) | A backup navigation system for unmanned aerial vehicles | |
| US11693428B2 (en) | Methods and system for autonomous landing | |
| CN109270953B (zh) | 一种基于同心圆视觉标识的多旋翼无人机自主降落方法 | |
| CN105759829A (zh) | 基于激光雷达的微型无人机操控方法及*** | |
| Oleynikova et al. | Reactive avoidance using embedded stereo vision for MAV flight | |
| CN105352495B (zh) | 加速度与光流传感器数据融合无人机水平速度控制方法 | |
| De Marina et al. | Guidance algorithm for smooth trajectory tracking of a fixed wing UAV flying in wind flows | |
| CN110058602A (zh) | 基于深度视觉的多旋翼无人机自主定位方法 | |
| CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
| CN107389968B (zh) | 一种基于光流传感器和加速度传感器的无人机定点实现方法和装置 | |
| CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| Li et al. | UAV autonomous landing technology based on AprilTags vision positioning algorithm | |
| Zhao et al. | Homography-based vision-aided inertial navigation of UAVs in unknown environments | |
| Bi et al. | A lightweight autonomous MAV for indoor search and rescue | |
| Schofield et al. | Autonomous power line detection and tracking system using UAVs | |
| Deng et al. | Visual–inertial estimation of velocity for multicopters based on vision motion constraint | |
| Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
| Subramanian et al. | Integrating computer vision and photogrammetry for autonomous aerial vehicle landing in static environment | |
| Cui et al. | Landmark extraction and state estimation for UAV operation in forest | |
| Agarwal et al. | Monocular vision based navigation and localisation in indoor environments | |
| Ready et al. | Inertially aided visual odometry for miniature air vehicles in gps-denied environments | |
| Yigit et al. | Visual attitude stabilization of a unmanned helicopter in unknown environments with an embedded single-board computer | |
| Lei et al. | A high performance altitude navigation system for small rotorcraft unmanned aircraft | |
| CN111309048A (zh) | 一种多旋翼无人机结合道路检测沿路自主飞行的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |