CN108844538A - 一种基于视觉/惯导的无人机避障航点生成方法 - Google Patents

一种基于视觉/惯导的无人机避障航点生成方法 Download PDF

Info

Publication number
CN108844538A
CN108844538A CN201810424144.8A CN201810424144A CN108844538A CN 108844538 A CN108844538 A CN 108844538A CN 201810424144 A CN201810424144 A CN 201810424144A CN 108844538 A CN108844538 A CN 108844538A
Authority
CN
China
Prior art keywords
destination
unmanned plane
point
coordinate system
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810424144.8A
Other languages
English (en)
Other versions
CN108844538B (zh
Inventor
方强
周勇
赵框
唐邓清
周正元
周晗
高平海
曹正江
王树源
胡天江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810424144.8A priority Critical patent/CN108844538B/zh
Publication of CN108844538A publication Critical patent/CN108844538A/zh
Application granted granted Critical
Publication of CN108844538B publication Critical patent/CN108844538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种基于视觉/惯导的无人机避障航点生成方法。首先基于导航信息对图像进行校正；然后判断无人机正前方是否有障碍物；如果前方有障碍物，则基于导航信息和视觉信息生成和选择下一个避障飞行航点，整个过程中并不需要了解图像中每个场景的信息，而只需要对感兴趣区域进行分析，一定程度上降低了障碍检测的难度，同时提高了障碍检测的实时性。

Description

一种基于视觉/惯导的无人机避障航点生成方法
技术领域
本发明涉及无人机壁障技术领域，特别是涉及一种视觉/惯导的无人机避障航点生成方法。
背景技术
小型无人机在执行低空飞行任务时，要求具备规避障碍的能力。目前常用的障碍检测方法中，超声波、红外传感器、雷达测距等均有较明显的缺点，视觉传感器(摄像机)由于重量轻、体积小、成本低、高自主性、具有较好的隐蔽性和抗干扰能力以及丰富的信息量等优点，受到了许多研究者的重视，是很多领域发展的新方向。
然而目前视觉避障也存在挑战，比如基于视觉通过特征识别/匹配等手段对障碍物识别和匹配的算法要求较高，且实时性依赖于硬件平台处理能力；根据图像序列和导航数据将图像中所有像素点对应的深度信息描述出来的方法需要对每个像素进行描述，实时性和精度不高。
因此亟需解决视觉避障过程中快速准确生成航点的问题。
发明内容
针对现有技术存在的缺陷，本发明的目的是提供一种基于视觉/惯导的无人机避障航点生成方法。
考虑到无人机在飞行避障过程中，前方飞行区域会不会碰到障碍物是无人机首先关心的，事实上很多场合它并不关心障碍物到底是什么，而是关心什么时候会碰上(碰撞时间)，这与自然界中很多动物(包括人)在运动过程中通过感知障碍物在视野中的大小变化估计碰撞可能而进行规避是一样的。因此很大程度上，无人机在避障飞行过程中并不需要了解图像中每个场景的信息，而只需要了解对感兴趣区域的碰撞时间，考虑到仅基于视觉信息估计碰撞时间要求前后图像之间不存在旋转(或可忽略)，另外从飞行避障的全局角度出发，感兴趣的区域(飞行航点)应该在世界坐标系中选择，而仅基于视觉信息无法确定感兴趣区域在成像平面中的投影。实际上摄像机成像几何与无人机的导航信息相关联，可以利用导航信息对图像进行校正，以便于求解碰撞时间，同样可以利用导航信息，将感兴趣区域映射到图像中，便于仅求解图像中部分区域的碰撞时间。因此从降低障碍检测难度和提高障碍检测实时性的角度出发，本发明结合视觉信息，通过估计无人机前方感兴趣区域的碰撞时间，选择无人机下一个飞行的航点。
本发明的具体实施步骤如下：
(1)基于导航信息对图像进行校正
由于导航信息能提供载体的旋转和位移增量，结合空间固定点在图像平面成像的关系，利用导航信息对前后成像平面进行校正的方法，使得前后成像信息统一在同一个参考成像平面上。
(2)给定前方安全碰撞区域的最小像素门限(umin,vmin)
如图2所示，根据无人机的导航飞行速度V和无人机的最小反应时间T，计算最大允许的碰撞距离L，结合摄像机的参数(焦距f和成像分辨率(u,v))以及无人机宽和高的的实际物理尺寸(xu,yv)，前方安全碰撞区域的最小像素门限(umin,vmin)可以计算如下:
(3)判断无人机正前方是否有障碍物；
两幅图像之间代表相同目标的点为两幅图片之间的匹配特征点(一般是通过相关特征点匹配的方法，比如SIFT、SIFT+RANSAC等算法等来获取)。假设两张连续图片It和It-dt之间的时间间隔为dt，且两幅图片之间的存在N对匹配特征点和其中i＝1,…,N；，则可以计算图片It-dt中的N个匹配特征点的碰撞时间ti如下：
其中(u0,v0)为图像的中心点，即主点坐标。根据公式(2)的结果，在图片It中考虑在最小像素门限范围(umin,vmin)内的特征点，选择其中特征点中碰撞时间最小的值tmin，如果tmin＜T，则判定前方有障碍物，则转入步骤(4)，重新选择飞行航点；否则不需要更改生成航点。
(4)生成新的飞行航点。
如图3所示，以主点坐标(u0,v0)为中心，以滑动步长为最小像素门限滑动窗(umin,vmin)在当前获取的整个图像中遍历，每次判断其中是否有匹配特征点，如果有匹配特征点，选择匹配特征点中碰撞时间最小的值tmin，如果tmin≥T，则以该窗口的中心点为航点成像点；如果tmin＜T，则继续滑动，直到找到航点成像点为止。
已知新的航点在图像中的航点成像点后，需要反推出世界坐标系中的航点。由于航点的尺度未知，考虑到误匹配等因素，这里我们定义航点的尺度不小于最大允许的碰撞距离L。
假设当前时刻无人机的空间位置坐标Pos为(xw,yw,zw)，则航点在无人机正前方D米的位置，飞行姿态欧拉角为(ψ,θ,φ)，分别为偏航角、俯仰角和滚转角，对应的从无人机载体坐标系到世界坐标系的方向余弦矩阵为摄像机和无人机捷联安装，且安装角为(ψ1,θ1,φ1)，对应的从摄像机坐标系到无人机载体坐标系的方向余弦矩阵为而且摄像机的参数已知(摄像机焦距f,主点坐标(u0,v0)，摄像机成像分辨率(u,v))，因此可以获取新的航点在世界坐标系中的投影如下：
与现有技术相比，本发明能够产生以下技术效果：
本发明首先基于导航信息对图像进行校正；然后判断无人机正前方是否有障碍物；如果前方有障碍物，则基于导航信息和视觉信息生成和选择下一个避障飞行航点，整个过程中并不需要了解图像中每个场景的信息，而只需要对感兴趣区域进行分析，一定程度上降低了障碍检测的难度，同时提高了障碍检测的实时性。
附图说明
图1是本发明的流程图。
图2是碰撞门限示意图。
图3是航点选择示意图。
图4是实施案例中航点判断选择示意图。
具体实施方式
下面对本发明的进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参照图1，本发明提供一种基于视觉/惯导的无人机避障航点生成方法。首先基于导航信息的对图像进行校正；然后判断无人机正前方是否有障碍物；如果前方有障碍物，则基于导航信息和视觉信息生成和选择下一个避障飞行航点。
下面给出一具体实施例：
案例：已知无人机的宽为1米，高为0.2米，当前空间位置(xw,yw,zw)＝(10m,10m,10m)，运动速度V＝5m/s，最小反应时间T＝2s；方向余弦矩阵为三维的单位矩阵，摄像机的焦距为1000，分辨率为1280×720；如图4所示，假设前后图像有4对匹配的特征点(事实上可以有更多对，这里只是为了说明过程和效果)。且当前图像中的特征点的像素为 和前一时刻(dt＝0.1s)图像中的特征点的的像素为 和
采用本发明的方法判断是否有障碍，如果有障碍则生成新的航点。具体流程如下：
1)根据已知条件和公式(1)可以计算最小像素门限值(umin,vmin)
2)根据已知条件和公式(2)可以计算第一个匹配特征点的最小碰撞时间
同理可以求得其他三个特征点的最小碰撞时间为t2＝2s,t3＝0.09s,t4＝0.02s
3)由于t1＜T，因此需要重新选择航点，通过遍历发现，当在区域2(包含特征点时，满足t2≥T，因此选择的航点在图像中的投影
4)利用公式(3)可以计算新的航点在摄像机坐标系中的投影标
zc＝10,xc＝0.5,yc＝0
进而可以计算航点在世界坐标系中的坐标值
因此可以获得航点坐标为
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于视觉/惯导的无人机避障航点生成方法，其特征在于：包括以下步骤：
(1)基于导航信息对图像进行校正；
(2)给定前方安全碰撞区域的最小像素门限(umin,vmin)；
(3)判断无人机正前方是否有障碍物；
两幅图像之间代表相同目标的点为两幅图片之间的匹配特征点，假设两张连续图片It和It-dt之间的时间间隔为dt，且两幅图片之间的存在N对匹配特征点和其中i＝1,…,N；，则可以计算图片It-dt中的N个匹配特征点的碰撞时间ti如下：
其中(u0,v0)为图像的中心点，即主点坐标；
根据公式(2)的结果，在图片It中考虑在最小像素门限范围(umin,vmin)内的特征点，选择其中特征点中碰撞时间最小的值tmin，如果tmin＜T，T为无人机的最小反应时间，则判定前方有障碍物，则转入步骤(4)，重新选择飞行航点；否则不需要更改生成航点；
(4)生成新的飞行航点；
以主点坐标(u0,v0)为中心，以滑动步长为最小像素门限滑动窗(umin,vmin)在当前获取的整个图像中遍历，每次判断其中是否有匹配特征点，如果有匹配特征点，选择匹配特征点中碰撞时间最小的值tmin，如果tmin≥T，则以该窗口的中心点为航点成像点；如果tmin＜T，则继续滑动，直到找到航点成像点为止；
已知新的航点在图像中的航点成像点后，反推出世界坐标系中的飞行航点即新的航点在世界坐标系中的投影
2.根据权利要求1所述的基于视觉/惯导的无人机避障航点生成方法，其特征在于：步骤(1)中，由于导航信息能提供载体的旋转和位移增量，结合空间固定点在图像平面成像的关系，利用导航信息对前后成像平面进行校正的方法，使得前后成像信息统一在同一个参考成像平面上。
3.根据权利要求1所述的基于视觉/惯导的无人机避障航点生成方法，其特征在于：步骤(2)中，
根据无人机的导航飞行速度V和无人机的最小反应时间T，计算最大允许的碰撞距离L，前方安全碰撞区域的最小像素门限(umin,vmin)计算如下:
其中：f为摄像机的焦距，(u,v)为摄像机的成像分辨率；(xu,yv)为无人机宽和高的的实际物理尺寸。
4.根据权利要求3所述的基于视觉/惯导的无人机避障航点生成方法，其特征在于：步骤(4)中新的航点在世界坐标系中的投影的获取方法如下：
定义航点的尺度不小于最大允许的碰撞距离L；
假设当前时刻无人机的空间位置坐标Pos为(xw,yw,zw)，则航点在无人机正前方D米的位置，飞行姿态欧拉角为(ψ,θ,φ)，分别为偏航角、俯仰角和滚转角，对应的从无人机载体坐标系到世界坐标系的方向余弦矩阵为摄像机和无人机捷联安装，且安装角为(ψ1,θ1,φ1)，对应的从摄像机坐标系到无人机载体坐标系的方向余弦矩阵为而且摄像机的参数已知包括摄像机焦距f，主点坐标(u0,v0)和摄像机成像分辨率(u,v)，因此可以获取新的航点在世界坐标系中的投影如下：
CN201810424144.8A 2018-05-07 2018-05-07 一种基于视觉/惯导的无人机避障航点生成方法 Active CN108844538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810424144.8A CN108844538B (zh) 2018-05-07 2018-05-07 一种基于视觉/惯导的无人机避障航点生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810424144.8A CN108844538B (zh) 2018-05-07 2018-05-07 一种基于视觉/惯导的无人机避障航点生成方法

Publications (2)

Publication Number Publication Date
CN108844538A true CN108844538A (zh) 2018-11-20
CN108844538B CN108844538B (zh) 2021-01-19

Family

ID=64212675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810424144.8A Active CN108844538B (zh) 2018-05-07 2018-05-07 一种基于视觉/惯导的无人机避障航点生成方法

Country Status (1)

Country Link
CN (1) CN108844538B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947123A (zh) * 2019-02-27 2019-06-28 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法
CN113390410A (zh) * 2021-08-04 2021-09-14 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航方法
CN113465598A (zh) * 2021-08-04 2021-10-01 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航***
CN113900443A (zh) * 2021-09-28 2022-01-07 合肥工业大学 一种基于双目视觉的无人机避障预警方法及装置
CN117170411A (zh) * 2023-11-02 2023-12-05 山东环维游乐设备有限公司 基于视觉辅助的竞速无人机辅助避障方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及***
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测***及方法
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及***
CN106933243A (zh) * 2015-12-30 2017-07-07 湖南基石信息技术有限公司 一种基于双目视觉的无人机实时避障***及方法
CN107329490A (zh) * 2017-07-21 2017-11-07 歌尔科技有限公司 无人机避障方法及无人机
US20170341776A1 (en) * 2016-05-25 2017-11-30 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
CN107885224A (zh) * 2017-11-06 2018-04-06 北京韦加无人机科技股份有限公司 基于三目立体视觉的无人机避障方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及***
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测***及方法
CN106933243A (zh) * 2015-12-30 2017-07-07 湖南基石信息技术有限公司 一种基于双目视觉的无人机实时避障***及方法
US20170341776A1 (en) * 2016-05-25 2017-11-30 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及***
CN107329490A (zh) * 2017-07-21 2017-11-07 歌尔科技有限公司 无人机避障方法及无人机
CN107885224A (zh) * 2017-11-06 2018-04-06 北京韦加无人机科技股份有限公司 基于三目立体视觉的无人机避障方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王淏等: "基于双目视觉的无人机避障之研究", 《自动化与仪表》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947123A (zh) * 2019-02-27 2019-06-28 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法
CN113390410A (zh) * 2021-08-04 2021-09-14 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航方法
CN113465598A (zh) * 2021-08-04 2021-10-01 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航***
CN113465598B (zh) * 2021-08-04 2024-02-09 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航***
CN113900443A (zh) * 2021-09-28 2022-01-07 合肥工业大学 一种基于双目视觉的无人机避障预警方法及装置
CN113900443B (zh) * 2021-09-28 2023-07-18 合肥工业大学 一种基于双目视觉的无人机避障预警方法及装置
CN117170411A (zh) * 2023-11-02 2023-12-05 山东环维游乐设备有限公司 基于视觉辅助的竞速无人机辅助避障方法
CN117170411B (zh) * 2023-11-02 2024-02-02 山东环维游乐设备有限公司 基于视觉辅助的竞速无人机辅助避障方法

Also Published As

Publication number Publication date
CN108844538B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN108844538A (zh) 一种基于视觉/惯导的无人机避障航点生成方法
CN112292711B (zh) 关联lidar数据和图像数据
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及***
EP2948927B1 (en) A method of detecting structural parts of a scene
Jung et al. Detecting moving objects using a single camera on a mobile robot in an outdoor environment
US7884849B2 (en) Video surveillance system with omni-directional camera
US20220024549A1 (en) System and method for measuring the distance to an object in water
US20110178658A1 (en) Systems and methods for monocular airborne object detection
US20190387209A1 (en) Deep Virtual Stereo Odometry
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
US9336446B2 (en) Detecting moving vehicles
US11430199B2 (en) Feature recognition assisted super-resolution method
EP3346445A1 (en) Methods and devices for extracting an object from a video sequence
US20210122367A1 (en) Methods, devices, media, and apparatuses of detecting moving object, and of intelligent driving control
CN108364304A (zh) 一种用于单目机载目标检测的***和方法
CN107543539B (zh) 一种无人机的位置信息获取方法及无人机
Bovcon et al. Improving vision-based obstacle detection on USV using inertial sensor
Sorial et al. Towards a real time obstacle detection system for unmanned surface vehicles
EP2850454B1 (en) Motion detection through stereo rectification
Han et al. Geolocation of multiple targets from airborne video without terrain data
Zuehlke et al. Vision-based object detection and proportional navigation for UAS collision avoidance
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
Roberts et al. Inertial navigation sensor integrated motion analysis for autonomous vehicle navigation
Martínez et al. Driving assistance system based on the detection of head-on collisions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant