CN110595476A - 一种基于gps和图像视觉融合的无人机降落导航方法及装置 - Google Patents
一种基于gps和图像视觉融合的无人机降落导航方法及装置 Download PDFInfo
- Publication number
- CN110595476A CN110595476A CN201910815367.1A CN201910815367A CN110595476A CN 110595476 A CN110595476 A CN 110595476A CN 201910815367 A CN201910815367 A CN 201910815367A CN 110595476 A CN110595476 A CN 110595476A
- Authority
- CN
- China
- Prior art keywords
- gps
- unmanned aerial
- aerial vehicle
- image
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000002093 peripheral effect Effects 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 1
- 230000000295 complement effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
- G01S19/15—Aircraft landing systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明创造提供了一种基于GPS和图像视觉融合的无人机降落导航方法及装置，包括将地面端水平放置在地面上，利用无线链路将地面端的方位角度ω和位置坐标G0反馈至机载端；通过记录最近一定时间间隔内地面端GPS值，形成点云，用圆形曲线拟合点云***轮廓，记拟合圆心坐标值为G0，拟合半径为R。本发明创造实现了信号源级的图像视觉信号与GPS信号融合，直接输出“类GPS信号”即融合GPS信标值，模块移植性、通用性、普适性更强；借助于图像标识本身的透视变换及若干倾角传感器反馈信号，实现双重校正与互补纠偏，大大提高了导航的精准度。
Description
技术领域
本发明创造属于无人机导航领域，尤其是涉及一种基于GPS和图像视觉融合的无人机降落导航方法及装置。
背景技术
GPS在无人机导航领域被广泛应用，但是随着无人机高度智能化、自主化的发展，仅依靠普通GPS已经不能完全满足高精度定位需求，尤其对于精准降落***，比如专利号201810517860.0所述智能停机坪，降落精度要求厘米级，而一般普通GPS导航精度仅米级或分米级，并且容易受到高楼、大树等环境障碍物影响。与GPS导航相比，图像视觉导航则具有明显的独立性强、精确度高等优点，但同时也存在普适性差、导航范围有限、抗干扰能力不足等缺点，单一图像视觉导航往往包含因摄像头姿态引起的偏差，实际应用中需要纠偏和补偿，而目前缺乏一个简洁、高效且精确可靠的解决方案。
目前设计GPS与图像视觉相结合的无人机精准降落导航方案，以用户端(飞控***)进行信号融合为主，需要用户端软硬件均作出相应改动，增加视觉信号接口，而缺少信号源级GPS与图像视觉深度融合的精准导航方案；
并且目前基于图像的无人机视觉辅助降落导航技术中，合作标识检测通常以基本图形拟合、匹配，或者若干普通角点检测为关键，因此要求标识图形完整可见，部分遮挡或者个别特征点丢失，均会导致检测失败，比如H形、二维码形合作标识等；为了便于图像视觉检测结果与GPS信号融合，通常要求地面端合作标识按一定方向固定且不可以任意移动，该方式在一定程度限制了应用场景，比如不适用车载多旋翼无人机精准降落停靠***，同时现有合作标识往往还存在较大距离的近地点视觉盲区。
发明内容
有鉴于此，本发明创造旨在克服上述现有技术中存在的缺陷，提出一种基于GPS和图像视觉融合的无人机降落导航方法及装置。
为达到上述目的，本发明创造的技术方案是这样实现的：
一种基于GPS和图像视觉融合的无人机降落导航方法，包括：
S1、将地面端水平放置在地面上，利用无线链路将地面端的方位角度ω和位置坐标G0反馈至机载端；通过记录最近一定时间间隔内地面端GPS值，形成点云，用圆形曲线拟合点云***轮廓，记拟合圆心坐标值为G0，拟合半径为R；
S2、机载端通过摄像头对地面端上的合作标识进行视觉检测，实时获取无人机与地面合作标识中心的水平偏移量D、机体高度H、地面标识正方向与无人机航向夹角θ1、以及目标偏离无人机航向角度θ2；
S3、当机载端GPS实时信标值与地面端位置G0偏差大于一定阈值δ时，输出为机载端GPS传感器原始值；
S4、当机载端GPS实时信标值收敛于地面端位置G0一定阈值δ且持续一定时间间隔时，通过计算公式得到融合GPS和视觉检测数据的融合GPS信标值，最终输出融合GPS信标值。
进一步的，所述步骤S1的具体步骤如下：当地面端GPS实时信标值与G0的距离小于εR时，ε∈[1，2]，G0保持不变，当存在距离大于εR的信标时，用同样方法拟合新的圆心，更新G0。
进一步的，所述步骤S2中视觉检测的方法为：
S201、实时捕获摄像头数据流中一帧图像，转换或提取灰度信号；
S202、扫描或者预测目标存在区域；预测以目标中心点在预想中的历史运动轨迹和尺寸为依据；
S203、对目标区域图像进行预处理，确定特征点掩模尺寸N，取某一像素点邻域N×N个灰度值构成特征矩阵A，按照如下公式计算该像素点特征值IC：
依次计算每个像素点的特征值，构成特征图像；
S204、以一定粒度搜索特征图像中所有局部最大值点，构成候选特征点序列，根据特征点中心对称性，剔除非特征点，对其余候选特征点进行亚像素级精确定位，确定准特征点队列；
S205、根据相邻准特征点间的距离关系，剔除假特征点，保留最终数目不多于16个的特征点；对最后筛选到的特征点，按照4×4矩阵进行重新排序和补全，对于检测到的特征点存放于矩阵对应脚标位置，对于未检测到的缺失点根据其所在行列直线方程补全，最后得4×4规则表征矩阵S，各元素为对应特征点像素坐标；
S206、检索与图形中心块相邻的四个矩形块灰度分布直方图，即矩形S[1，1]S[1，2]S[2，2]S[2，1]，找到标识正方向，结合S矩阵中纵横直线的斜率，确定地面标识正方向和无人机航向间的夹角θ1；
S207、根据对称性及S[1，1]、S[1，2]、S[2，1]、S[2，2]四点坐标，计算标识图形中心点像素坐标O1(x，y)，求取该点与图像中心像素点的偏移矢量Id(x，y)；
Id(x，y)＝O1(x，y)-O0(x，y)
其中O0(x，y)为视频图像中心点像素坐标；
S208、根据S[1，1]、S[1，2]、S[2，1]、S[2，2]四点所围成的区域灰度直方图，确定当前S所表征标识类型，再根据图像检测所得图形像素尺寸Is(x，y)，计算目标中心物理偏移矢量D(x，y)和高度H：
其中wx、wy分别为地面标识的实际物理尺寸，即标识矩形在东西方向和南北方向的宽度，实践中通常相等，计W，则高度计算：
其中f为摄像头固定焦距；
S209、对S[0，0]、S[0，3]、S[3，3]、S[3，0]所围成四边形经过平移、旋转、反透视变换得到正四边形，从而得机体的相对姿态参数，利用姿态参数对步骤S208中所检测偏移量进行纠偏，并求得地面标识中心与无人机间的精确水平偏移量D和航向偏离角度θ2。
进一步的，所述步骤S209的具体方法如下：
S2091、对S[0，0]、S[0，3]、S[3，3]、S[3，0]所围成四边形经过平移、旋转、反透视变换得到正四边形，从而得机体的横滚角和俯仰角，用于对水平偏移检测值进行校正；
S2092、计算校正矩阵M，首先将原S0点平移Id(x，y)，并旋转θ1到S1，转化公式如下：
S2093、根据S1估计得到正四边形，计为S2，则通过S1到S2的空间旋转变换，估计出摄像头对应的横滚角α和俯仰角β，S1到S2的空间旋转变换公式如下：
其中Z和z均为0，通过多个特征点则可以解算得到α和β；
S2094、结合步骤S2093所估计的摄像头横滚角α和俯仰角β、以及机载端倾角传感器所测量横滚角α′和俯仰角β′，滤波确定可信的横滚角α″和俯仰角β″，然后对检测偏移量进行纠偏，纠偏公式如下：
S2095、求地面标识中心与无人机间的精确水平偏移量D和航向偏离角度θ2：
其中Dx和Dy为步骤S2094中得到的检测偏移量。
进一步的，所述步骤S4中融合GPS信标值的计算方法为：
融合GPS信标值计算如下：
其中G表示融合GPS信标值，GO表示地面端合作标识中心位置GPS值，D为标识水平偏移距离视觉检测量。
一种基于GPS和图像视觉融合的无人机降落导航装置，包括无人机上设置的机载端、以及地面上水平设置的与机载端配对的地面端；
所述机载端上设有倾角传感器、主摄像头、以及GPS传感器；
所述地面端上设有GPS模块、罗盘传感器、以及便于机载端侦查的合作标识；所述合作标识设置在地面端的中心，合作标识由主图形、以及照主图形缩小的副图形组成，所述主图形上设有用于标识方向的标记点，副图形设置在主图形的中心。
进一步的，所述主图形由5×5个尺寸大小完全形同的白色和黑色矩形块组成，相邻两个矩形块的颜色不同。
进一步的，所述标记点设置在矩形块上，且标记点与该矩形块的颜色不同。
进一步的，所述地面端为圆盘结构，罗盘安装在地面端径向位置上。
进一步的，所述GPS模块设置在地面端中心位置。
相对于现有技术，本发明创造具有以下优势：
本发明创造实现了信号源级的图像视觉信号与GPS信号融合，直接输出“类GPS信号”即融合GPS信标值，模块移植性、通用性、普适性更强；借助于图像标识本身的透视变换及若干倾角传感器反馈信号，实现双重校正与互补纠偏，大大提高了导航的精准度；同时通过在地面端集成GPS模块和罗盘装置，实现机载端与地面端的实时信息互联，使方案不仅适用于固定站平台，也适用于移动平台，大大提高了本发明的适用性。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：
图1为本发明创造实施例中导航装置的结构示意图；
图2为本发明创造实施例中机载端的工作原理图；
图3为本发明创造实施例中地面端的结构示意图；
图4为本发明创造实施例中合作标识的结构示意图；
图5为本发明创造实施例中副图形的结构示意图；
图6为本发明创造实施例中GPS和视觉信号融合的原理示意图。
附图标记说明：
1-罗盘；2-地面端；3-合作标识；4-GPS模块。
具体实施方式
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。
下面将参考附图并结合实施例来详细说明本发明创造。
一种基于GPS和图像视觉融合的无人机降落导航装置，如图1至图6所示，该装置实现了普通GPS的高精度导航，即GPS信号粗定位，图像视觉信号实现精确定位，可以很好地适用于复杂环境背景下固定站或车载站的多旋翼无人机精准降落停靠***；
具体实施方式为：如图1所示，由地面端2(即地面合作标识端)和机载端2(即机载信号采集融合处理端)组成，地面端2和机载端成对使用；
如图2所示，所述机载端由微型嵌入式处理器、倾角传感器、摄像头和GPS传感器组成，其中倾角传感器和GPS传感器直接与处理器相连，摄像头通过视频接口与处理器相连；另外机载端可以集成散热风扇，预留网口、飞控交互接口、视频输出端口等接口。
如图3所示，所述地面端2由合作标识3、罗盘1和GPS模块4构成。其中合作标识3平铺于圆盘结构的地面端2中央位置，罗盘1嵌入安装于地面端2径向位置，GPS模块4嵌入安装于地面端2中心位置；地面端2上的合作标识3是由较大尺寸主图形、以及照主图形等比例缩小的副图形嵌套组成，嵌套小图形位于大图形中心位置，并填充其中心方块。
如图4和图5所示，较大尺寸主图形与较小尺寸副图形几何特征完全一致，均由5×5个尺寸完全相同的白色和黑色矩形块拼成，且(线)相邻的矩形块颜色不相同，因此内部构成4×4个规则的特征点，每个构造特征点由(点)相邻的四个小矩形块顶点构成，具有灰度分布中心对称性。其中主图形和副图形中小矩形块长宽均已知，并且在特定位置的小矩形块中嵌入若干实心标记点，标记点尺寸不大于矩形块边长的1/3，以指示标识正方向等特定信息；如图4中黑色的标记点用于标记图标正方向，即罗盘0°方向。
适用以上所述装置的一种基于GPS和图像视觉融合的无人机降落导航方法主要步骤包括：
S1、将地面端水平放置在地面上，使合作标识中心与降落控制点重合；机载端与无人机底盘固连，摄像头对地，正方向与机头方向一致，利用无线链路将地面端的方位角度ω和位置坐标G0(GPS数据)反馈至机载端；通过记录最近一定时间间隔内地面端GPS值，形成点云，用圆形曲线拟合点云***轮廓，记拟合圆心坐标值为G0，拟合半径为R；当地面端GPS实时信标值与G0的距离小于εR时，ε∈[1，2]，G0保持不变，当存在距离大于εR的信标时，用同样方法拟合新的圆心，更新G0。
S2、机载端通过摄像头对地面端上的合作标识进行视觉检测，实时获取无人机与地面合作标识中心的水平偏移量D、机体高度H、地面标识正方向与无人机航向夹角θ1、以及目标偏离无人机航向角度θ2，各测量值如图6所示；
S3、当机载端GPS实时信标值与地面端位置G0偏差大于一定阈值δ时，输出为机载端GPS传感器原始值；
S4、当机载端GPS实时信标值收敛于地面端位置G0一定阈值δ且持续一定时间间隔时，通过计算公式得到融合GPS和视觉检测数据的融合GPS信标值，最终输出融合GPS信标值。
所述步骤S2中视觉检测的方法为：
S201、实时捕获摄像头数据流中一帧图像，转换或提取灰度信号；
S202、扫描或者预测目标存在区域；预测以目标中心点在预想中的历史运动轨迹和尺寸为依据；
S203、对目标区域图像进行预处理，确定特征点掩模尺寸N，取某一像素点邻域N×N个灰度值构成特征矩阵A，按照如下公式计算该像素点特征值IC：
依次计算每个像素点的特征值，构成特征图像；
S204、以一定粒度搜索特征图像中所有局部最大值点，构成候选特征点序列，根据特征点中心对称性，剔除非特征点，对其余候选特征点进行亚像素级精确定位，确定准特征点队列；
S205、根据相邻准特征点间的距离关系，剔除假特征点，保留最终数目不多于16个的特征点；对最后筛选到的特征点，按照4×4矩阵进行重新排序和补全，对于检测到的特征点存放于矩阵对应脚标位置，对于未检测到的缺失点根据其所在行列直线方程补全，最后得4×4规则表征矩阵S，各元素为对应特征点像素坐标；
S206、检索与图形中心块相邻的四个矩形块灰度分布直方图，即矩形S[1，1]S[1，2]S[2，2]S[2，1]，找到标识正方向，结合S矩阵中纵横直线的斜率，确定地面标识正方向和无人机航向间的夹角θ1；
S207、根据对称性及S[1，1]、S[1，2]、S[2，1]、S[2，2]四点坐标，计算标识图形中心点像素坐标O1(x，y)，求取该点与图像中心像素点的偏移矢量Id(x，y)；
Id(x，y)＝O1(x，y)-O0(x，y)
其中O0(x，y)为视频图像中心点像素坐标；
S208、根据S[1，1]、S[1，2]、S[2，1]、S[2，2]四点所围成的区域灰度直方图，确定当前S所表征标识类型，再根据图像检测所得图形像素尺寸Is(x，y)，计算目标中心物理偏移矢量D(x，y)和高度H：
其中wx、wy分别为地面标识的实际物理尺寸，即标识矩形在东西方向和南北方向的宽度，实践中通常相等，计W，则高度计算：
其中f为摄像头固定焦距；
S209、对S[0，0]、S[0，3]、S[3，3]、S[3，0]所围成四边形经过平移、旋转、反透视变换得到正四边形，从而得机体的相对姿态参数，利用姿态参数对步骤S208中所检测偏移量进行纠偏，并求得地面标识中心与无人机间的精确水平偏移量D和航向偏离角度θ2。
所述步骤S209的具体方法如下：
S2091、对S[0，0]、S[0，3]、S[3，3]、S[3，0]所围成四边形经过平移、旋转、反透视变换得到正四边形，从而得机体的横滚角和俯仰角，用于对水平偏移检测值进行校正；
S2092、计算校正矩阵M，首先将原S0点平移Id(x，y)，并旋转θ1到S1，转化公式如下：
S2093、根据S1估计得到正四边形，计为S2，则通过S1到S2的空间旋转变换，估计出摄像头对应的横滚角α和俯仰角β，S1到S2的空间旋转变换公式如下：
其中Z和z均为0，通过多个特征点则可以解算得到α和β；
S2094、结合步骤S2093所估计的摄像头横滚角α和俯仰角β、以及机载端倾角传感器所测量横滚角α′和俯仰角β′，滤波确定可信的横滚角α″和俯仰角β″，然后对检测偏移量进行纠偏，纠偏公式如下：
S2095、求地面标识中心与无人机间的精确水平偏移量D和航向偏离角度θ2：
其中Dx和Dy为步骤S2094中得到的检测偏移量。
进一步的，所述步骤S4中融合GPS信标值的计算方法为：
融合GPS信标值计算如下：
其中G表示融合GPS信标值，GO表示地面端合作标识中心位置GPS值，D为标识水平偏移距离视觉检测量。
本发明提供了一种基于GPS与图像视觉相融合的无人机精准降落导航方法及装置，具体解决技术问题主要如下：
1、针对传统组合型精准导航，用户端软硬件必须作出相应改动，并完成视觉信号与GPS信号融合。本发明实现了信号源级的图像视觉信号与GPS信号融合，直接输出“类GPS信号”即融合GPS信标值，模块移植性、通用性、普适性更强；
2、针对传统合作标识或者在真实复杂环境下适应能力差，或者机载嵌入式平台实现困难，本发明还涉及了一种合作标识，该新型合作标识的构造特征须具备旋转、透视、光照不变性，特征检测具备稳定、可靠、强抗干扰性，且算法复杂度较低；
3、针对传统合作标识检测，基于基本图形拟合、匹配，或者若干普通角点检测，容易因部分遮挡或者个别特征点丢失导致检测失败，本发明在合作标识中构造阵列化特征点，以相邻特征点之间的共线、等距特征消除部分遮挡或者个别特征点丢失的影响；
4、针对直接图像检测所得水平偏移量，因摄像头安装或姿态校正产生的偏差，缺乏一个简洁、高效且精确可靠的纠偏和补偿方案；本发明借助于图像标识本身的透视变换及若干倾角传感器反馈信号，实现双重校正与互补纠偏；
5、针对传统基于合作标识的视觉辅助降落导航技术方案要求地面端合作标识固定，不能移动；本发明地面端借助于自身集成的GPS模块和罗盘装置，实现机载端与地面端的实时信息互联，该方案不仅适用于固定站平台，也适用于移动平台；
6、针对传统视觉辅助降落系存在较大距离的近地点视觉盲区，本发明通过变尺寸的图形中心区域嵌套方式，采用实际物理尺寸结合标识中心区域灰度分布直方图，且不同尺寸标识检测方式完全相同。
将本发明可应用于多旋翼无人机精准降落停靠***，优势在于：
a)信号源级的图像视觉与GPS信号融合解决方案，可直接替换无人机现有普通GPS设备，提供精准降落导航，易于推广和使用；
b)新型合作标识主要以5×5个明暗交错的矩形块拼接而成，内部构造出4×4个关键特征点，各构造特征点灰度分布关于中心对称，且具有旋转、透视、光照等不变性，检测容易，且精确可靠；
c)标识中4×4个构造特征点呈阵列分布，相邻特征点之间具有共线、等距特性，一般不多于半数特征点的遮挡或丢失不会影响检测结果；
d)机载端以倾角传感器的反馈姿态为主，再以图像标识本身的反透视变换估计姿态作为补充，通过双重校正、互补作用保证了视觉检测结果的精度与可靠度；
e)地面端集成的GPS模块和罗盘装置，直接或间接通过无线链路，将标识物方位角度和位置信息反馈至机载端，实现机载端与地面端的实时信息互联，允许了地面端的任意移动，尤其适合车载精准降落。
f)成比例中心嵌套的新型合作标识，在几乎不增加算法复杂度的情况下，实现不同高度下对图像的有效检测，消除了近地点视觉盲区。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。
Claims (10)
1.一种基于GPS和图像视觉融合的无人机降落导航方法，其特征在于，包括：
S1、将地面端水平放置在地面上，利用无线链路将地面端的方位角度ω和位置坐标G0反馈至机载端；通过记录最近一定时间间隔内地面端GPS值，形成点云，用圆形曲线拟合点云***轮廓，记拟合圆心坐标值为G0，拟合半径为R；
S2、机载端通过摄像头对地面端上的合作标识进行视觉检测，实时获取无人机与地面合作标识中心的水平偏移量D、机体高度H、地面标识正方向与无人机航向夹角θ1、以及目标偏离无人机航向角度θ2；
S3、当机载端GPS实时信标值与地面端位置G0偏差大于一定阈值δ时，输出为机载端GPS传感器原始值；
S4、当机载端GPS实时信标值收敛于地面端位置G0一定阈值δ且持续一定时间间隔时，通过计算公式得到融合GPS和视觉检测数据的融合GPS信标值，最终输出融合GPS信标值。
2.根据权利要求1所述的一种基于GPS和图像视觉融合的无人机降落导航方法，其特征在于，所述步骤S1的具体步骤如下：当地面端GPS实时信标值与G0的距离小于εR时，ε∈[1，2]，G0保持不变，当存在距离大于εR的信标时，用同样方法拟合新的圆心，更新G0。
3.根据权利要求1所述的一种基于GPS和图像视觉融合的无人机降落导航方法，其特征在于，所述步骤S2中视觉检测的方法为：
S201、实时捕获摄像头数据流中一帧图像，转换或提取灰度信号；
S202、扫描或者预测目标存在区域；预测以目标中心点在预想中的历史运动轨迹和尺寸为依据；
S203、对目标区域图像进行预处理，确定特征点掩模尺寸N，取某一像素点邻域N×N个灰度值构成特征矩阵A,按照如下公式计算该像素点特征值IC：
依次计算每个像素点的特征值，构成特征图像；
S204、以一定粒度搜索特征图像中所有局部最大值点，构成候选特征点序列，根据特征点中心对称性，剔除非特征点，对其余候选特征点进行亚像素级精确定位，确定准特征点队列；
S205、根据相邻准特征点间的距离关系，剔除假特征点，保留最终数目不多于16个的特征点；对最后筛选到的特征点，按照4×4矩阵进行重新排序和补全，对于检测到的特征点存放于矩阵对应脚标位置，对于未检测到的缺失点根据其所在行列直线方程补全，最后得4×4规则表征矩阵S，各元素为对应特征点像素坐标；
S206、检索与图形中心块相邻的四个矩形块灰度分布直方图，即矩形S[1，1]S[1，2]S[2，2]S[2，1]，找到标识正方向，结合S矩阵中纵横直线的斜率，确定地面标识正方向和无人机航向间的夹角θ1；
S207、根据对称性及S[1，1]、S[1，2]、S[2，1]、S[2，2]四点坐标，计算标识图形中心点像素坐标O1(x，y)，求取该点与图像中心像素点的偏移矢量Id(x，y)；
Id(x，y)＝O1(x，y)-O0(x，y)
其中O0(x，y)为视频图像中心点像素坐标；
S208、根据S[1，1]、S[1，2]、S[2，1]、S[2，2]四点所围成的区域灰度直方图，确定当前S所表征标识类型，再根据图像检测所得图形像素尺寸Is(x，y)，计算目标中心物理偏移矢量D(x，y)和高度H：
其中wx、wy分别为地面标识的实际物理尺寸，即标识矩形在东西方向和南北方向的宽度，实践中通常相等，计W，则高度计算：
其中f为摄像头固定焦距；
S209、对S[0，0]、S[0，3]、S[3，3]、S[3，0]所围成四边形经过平移、旋转、反透视变换得到正四边形，从而得机体的相对姿态参数，利用姿态参数对步骤S208中所检测偏移量进行纠偏，并求得地面标识中心与无人机间的精确水平偏移量D和航向偏离角度θ2。
4.根据权利要求3所述的一种基于GPS和图像视觉融合的无人机降落导航方法及装置，其特征在于，所述步骤S209的具体方法如下：
S2091、对S[0，0]、S[0，3]、S[3，3]、S[3，0]所围成四边形经过平移、旋转、反透视变换得到正四边形，从而得机体的横滚角和俯仰角，用于对水平偏移检测值进行校正；
S2092、计算校正矩阵M，首先将原S0点平移Id(x，y)，并旋转θ1到S1，转化公式如下：
S2093、根据S1估计得到正四边形，计为S2，则通过S1到S2的空间旋转变换，估计出摄像头对应的横滚角α和俯仰角β，S1到S2的空间旋转变换公式如下：
其中Z和z均为0，通过多个特征点则可以解算得到α和β；
S2094、结合步骤S2093所估计的摄像头横滚角α和俯仰角β、以及机载端倾角传感器所测量横滚角α′和俯仰角β′，滤波确定可信的横滚角α″和俯仰角β″，然后对检测偏移量进行纠偏，纠偏公式如下：
S2095、求地面标识中心与无人机间的精确水平偏移量D和航向偏离角度θ2：
其中Dx和Dy为步骤S2094中得到的检测偏移量。
5.根据权利要求1所述的一种基于GPS和图像视觉融合的无人机降落导航方法，其特征在于，所述步骤S4中融合GPS信标值的计算方法为：
融合GPS信标值计算如下：
其中G表示融合GPS信标值，GO表示地面端合作标识中心位置GPS值，D为标识水平偏移距离视觉检测量。
6.一种应用权利要求1所述基于GPS和图像视觉融合的无人机降落导航方法的装置，其特征在于：包括无人机上设置的机载端、以及地面上水平设置的与机载端配对的地面端；
所述机载端上设有倾角传感器、主摄像头、以及GPS传感器；
所述地面端上设有GPS模块、罗盘传感器、以及便于机载端侦查的合作标识；所述合作标识设置在地面端的中心，合作标识由主图形、以及照主图形缩小的副图形组成，所述主图形上设有用于标识方向的标记点，副图形设置在主图形的中心。
7.根据权利要求6所述的一种基于GPS和图像视觉融合的无人机降落导航装置，其特征在于：所述主图形由5×5个尺寸大小完全形同的白色和黑色矩形块组成，相邻两个矩形块的颜色不同。
8.根据权利要求7所述的一种基于GPS和图像视觉融合的无人机降落导航装置，其特征在于：所述标记点设置在矩形块上，且标记点与该矩形块的颜色不同。
9.根据权利要求6所述的一种基于GPS和图像视觉融合的无人机降落导航装置，其特征在于：所述地面端为圆盘结构，罗盘安装在地面端径向位置上。
10.根据权利要求6所述的一种基于GPS和图像视觉融合的无人机降落导航装置，其特征在于：所述GPS模块设置在地面端中心位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910815367.1A CN110595476B (zh) | 2019-08-30 | 2019-08-30 | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910815367.1A CN110595476B (zh) | 2019-08-30 | 2019-08-30 | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110595476A true CN110595476A (zh) | 2019-12-20 |
| CN110595476B CN110595476B (zh) | 2021-07-06 |
Family
ID=68856956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910815367.1A Active CN110595476B (zh) | 2019-08-30 | 2019-08-30 | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110595476B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111722179A (zh) * | 2020-06-29 | 2020-09-29 | 河南天安润信信息技术有限公司 | 一种多点布设的无人机信号测向方法 |
| CN111897366A (zh) * | 2020-07-16 | 2020-11-06 | 清华大学 | 多尺度、多手段融合的无人机轨迹规划方法 |
| CN111959767A (zh) * | 2020-08-12 | 2020-11-20 | 中航空管***装备有限公司 | 一种多旋翼飞行器用翼展控制***和多旋翼飞行器 |
| CN111959766A (zh) * | 2020-08-12 | 2020-11-20 | 中航空管***装备有限公司 | 一种多旋翼飞行器的最大翼展控制方法 |
| CN112184765A (zh) * | 2020-09-18 | 2021-01-05 | 西北工业大学 | 一种基于视觉的水下航行器自主跟踪方法 |
| CN112859927A (zh) * | 2021-02-03 | 2021-05-28 | 华南理工大学 | 多旋翼无人机在移动平台降落过程中的轨迹生成方法 |
| CN112937633A (zh) * | 2021-02-02 | 2021-06-11 | 常州路航轨道交通科技有限公司 | 一种便携式轮对参数检测仪 |
| CN113537430A (zh) * | 2021-07-02 | 2021-10-22 | 北京三快在线科技有限公司 | 信标、信标生成方法、信标生成装置和设备 |
| CN113537089A (zh) * | 2021-07-20 | 2021-10-22 | 浙江点创信息科技有限公司 | 一种基于无人机航拍原片的松材线虫病疫木识别定位方法 |
| CN113917934A (zh) * | 2021-11-22 | 2022-01-11 | 江苏科技大学 | 一种基于激光雷达的无人机精准降落方法 |
| CN114460970A (zh) * | 2022-02-22 | 2022-05-10 | 四川通信科研规划设计有限责任公司 | 一种无人机库定位标识显示方法及无人机降落方法 |
| CN114740900A (zh) * | 2022-06-09 | 2022-07-12 | 南京理工大学 | 基于容错控制的四旋翼无人机精准降落***及方法 |
| CN115610694A (zh) * | 2022-11-02 | 2023-01-17 | 山东大学 | 一种基于目标检测的无人机精准降落方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226356A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于图像处理的无人机精确位置降落方法 |
| CN104166854A (zh) * | 2014-08-03 | 2014-11-26 | 浙江大学 | 针对小型无人机自主降落的视觉分级地标定位识别方法 |
| CN107458619A (zh) * | 2017-06-27 | 2017-12-12 | 西安电子科技大学 | 一种全自动化微小型四旋翼自主降落与充电的方法及*** |
| WO2018204552A1 (en) * | 2017-05-04 | 2018-11-08 | Loveland Innovations, LLC | Gps offset calibration for uavs |
| CN109753079A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机精准降落于移动平台方法 |
-
2019
- 2019-08-30 CN CN201910815367.1A patent/CN110595476B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226356A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于图像处理的无人机精确位置降落方法 |
| CN104166854A (zh) * | 2014-08-03 | 2014-11-26 | 浙江大学 | 针对小型无人机自主降落的视觉分级地标定位识别方法 |
| WO2018204552A1 (en) * | 2017-05-04 | 2018-11-08 | Loveland Innovations, LLC | Gps offset calibration for uavs |
| CN107458619A (zh) * | 2017-06-27 | 2017-12-12 | 西安电子科技大学 | 一种全自动化微小型四旋翼自主降落与充电的方法及*** |
| CN109753079A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机精准降落于移动平台方法 |
Non-Patent Citations (1)
| Title |
|---|
| 姚少灿等: "多旋翼无人机无人值守的多功能停机坪***设计", 《单片机与嵌入式***应用》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111722179A (zh) * | 2020-06-29 | 2020-09-29 | 河南天安润信信息技术有限公司 | 一种多点布设的无人机信号测向方法 |
| CN111897366A (zh) * | 2020-07-16 | 2020-11-06 | 清华大学 | 多尺度、多手段融合的无人机轨迹规划方法 |
| CN111959767A (zh) * | 2020-08-12 | 2020-11-20 | 中航空管***装备有限公司 | 一种多旋翼飞行器用翼展控制***和多旋翼飞行器 |
| CN111959766A (zh) * | 2020-08-12 | 2020-11-20 | 中航空管***装备有限公司 | 一种多旋翼飞行器的最大翼展控制方法 |
| CN111959766B (zh) * | 2020-08-12 | 2023-08-29 | 中航空管***装备有限公司 | 一种多旋翼飞行器的最大翼展控制方法 |
| CN111959767B (zh) * | 2020-08-12 | 2023-08-29 | 中航空管***装备有限公司 | 一种多旋翼飞行器用翼展控制***和多旋翼飞行器 |
| CN112184765B (zh) * | 2020-09-18 | 2022-08-23 | 西北工业大学 | 一种用于水下航行器的自主跟踪方法 |
| CN112184765A (zh) * | 2020-09-18 | 2021-01-05 | 西北工业大学 | 一种基于视觉的水下航行器自主跟踪方法 |
| CN112937633A (zh) * | 2021-02-02 | 2021-06-11 | 常州路航轨道交通科技有限公司 | 一种便携式轮对参数检测仪 |
| CN112859927A (zh) * | 2021-02-03 | 2021-05-28 | 华南理工大学 | 多旋翼无人机在移动平台降落过程中的轨迹生成方法 |
| CN113537430A (zh) * | 2021-07-02 | 2021-10-22 | 北京三快在线科技有限公司 | 信标、信标生成方法、信标生成装置和设备 |
| CN113537430B (zh) * | 2021-07-02 | 2022-06-07 | 北京三快在线科技有限公司 | 信标、信标生成方法、信标生成装置和设备 |
| CN113537089A (zh) * | 2021-07-20 | 2021-10-22 | 浙江点创信息科技有限公司 | 一种基于无人机航拍原片的松材线虫病疫木识别定位方法 |
| CN113917934A (zh) * | 2021-11-22 | 2022-01-11 | 江苏科技大学 | 一种基于激光雷达的无人机精准降落方法 |
| CN113917934B (zh) * | 2021-11-22 | 2024-05-28 | 江苏科技大学 | 一种基于激光雷达的无人机精准降落方法 |
| CN114460970A (zh) * | 2022-02-22 | 2022-05-10 | 四川通信科研规划设计有限责任公司 | 一种无人机库定位标识显示方法及无人机降落方法 |
| CN114740900A (zh) * | 2022-06-09 | 2022-07-12 | 南京理工大学 | 基于容错控制的四旋翼无人机精准降落***及方法 |
| CN114740900B (zh) * | 2022-06-09 | 2022-09-06 | 南京理工大学 | 基于容错控制的四旋翼无人机精准降落***及方法 |
| CN115610694A (zh) * | 2022-11-02 | 2023-01-17 | 山东大学 | 一种基于目标检测的无人机精准降落方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110595476B (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110595476B (zh) | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 | |
| CN108571971B (zh) | 一种agv视觉定位***及方法 | |
| CN108873943B (zh) | 一种无人机厘米级精准降落的图像处理方法 | |
| US20220292720A1 (en) | Method and system for calibrating multiple cameras | |
| US10060739B2 (en) | Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device | |
| CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
| CN103065323B (zh) | 一种基于单应性变换矩阵的分段空间对准方法 | |
| CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
| CN109212545A (zh) | 基于主动视觉的多信源目标跟踪测量***及跟踪方法 | |
| US20210342620A1 (en) | Geographic object detection apparatus and geographic object detection method | |
| CN110569861B (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
| CN112161567B (zh) | 一种综采工作面的定位方法及*** | |
| KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
| CN112396656B (zh) | 一种视觉与激光雷达融合的室外移动机器人位姿估计方法 | |
| Gerke | Using horizontal and vertical building structure to constrain indirect sensor orientation | |
| CN103411587B (zh) | 定位定姿方法及*** | |
| CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
| CN111598952A (zh) | 一种多尺度合作靶标设计与在线检测识别方法及*** | |
| Liu et al. | A novel adjustment model for mosaicking low-overlap sweeping images | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN116385420A (zh) | 区域尺寸的确定方法、***、设备及存储介质 | |
| Liu et al. | A new approach to fast mosaic UAV images | |
| CN110160503B (zh) | 一种顾及高程的无人机景观匹配定位方法 | |
| CN103456027B (zh) | 一种机场空间关系约束下的时敏目标检测定位方法 | |
| CN117173601B (zh) | 光伏电站阵列热斑识别方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |