CN109324337B - 无人飞行器的航线生成及定位方法、装置及无人飞行器 - Google Patents
无人飞行器的航线生成及定位方法、装置及无人飞行器 Download PDFInfo
- Publication number
- CN109324337B CN109324337B CN201710641017.9A CN201710641017A CN109324337B CN 109324337 B CN109324337 B CN 109324337B CN 201710641017 A CN201710641017 A CN 201710641017A CN 109324337 B CN109324337 B CN 109324337B
- Authority
- CN
- China
- Prior art keywords
- feature
- information
- aerial vehicle
- unmanned aerial
- map data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005259 measurement Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 230000006870 function Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明实施例提供了一种无人飞行器的航线生成及定位方法、装置及无人飞行器,其中所述航线生成方法可以包括:获取地图数据;从所述地图数据中提取待作业的作业区域地图数据;从所述作业区域地图数据中获取第一特征信息;基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息。本发明实施例的航线规划的过程无需GPS的参与,使得无人飞行器能够在无GPS信号或者GPS信号有遮挡的情况下仍然可以进行航线规划,降低了无人飞行器对GPS的依赖程度,丰富了无人飞行器的航线规划以及导航功能。
Description
技术领域
本发明涉及无人飞行器技术领域,特别是涉及一种无人飞行器的航线生成方法、一种定位的方法、一种无人飞行器的航线生成装置、一种无人飞行器、一种飞行器以及一种计算机可读存储介质。
背景技术
无人驾驶飞机简称无人机(Unmanned Aerial Vehicle,简称UAV),是一种不载人飞机。无人机的用途广泛,经常被应用于植保、城市管理、地质、气象、电力、抢险救灾、视频拍摄等行业。
无人机所要进行作业的航线任务,是对作业区域中的作业对象根据一定规则进行航线规划后得到的航线信息,该作业区域可以为一系列的GPS(Global PositioningSystem,全球定位***)坐标所构成的闭合区域。
无人机获得航线信息后,在执行作业的过程中,也需要通过定位来获得自身的位置,在现有技术中,可以基于GPS或者更高精度的RTK(Real-time kinematic,实时动态差分法)-GPS给无人机提供一个位置参考。
可见,现有技术的航线规划以及作业过程,都是基于GPS而工作的,极大的依赖于GPS,一旦在无GPS信号或者有遮挡的情况下,无人机将无法正常工作。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种无人飞行器的航线生成方法、一种定位的方法和相应的一种无人飞行器的航线生成装置、一种无人飞行器、一种飞行器以及一种计算机可读存储介质。
为了解决上述问题,本发明实施例公开了一种无人飞行器的航线生成方法,所述方法包括:
获取地图数据;
从所述地图数据中提取待作业的作业区域地图数据;
从所述作业区域地图数据中获取第一特征信息;
基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息。
优选地,所述从所述地图数据中提取待作业的作业区域地图数据的步骤包括:
获取在所述地图数据中标记的多个测量点;
将所述多个测量点围成的闭合区域进行图像切割,得到作业区域地图数据。
优选地,所述第一特征信息至少包括特征点、特征点对应的特征描述子以及特征点对应的特征字典,所述从所述作业区域地图数据中获取第一特征信息的步骤包括:
将所述作业区域地图数据切分成多个区块数据;
分别从每个区块数据中提取预设数量的特征点;
生成所述特征点对应的特征描述子;
生成所述特征点对应的特征字典。
优选地,所述无人飞行器包括机载相机,所述航迹信息包括航点以及航点的属性信息;所述基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息的步骤包括:
对所述作业区域地图数据进行航线规划,获得多个航点;
分别获取所述航点的三维坐标数据;
针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及特征字典,生成特征集合;
将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
优选地,在所述航迹信息中,两个航点间的间距由机载相机连续采集的两张图像的重叠度确定。
优选地,所述分别获取所述航点的三维坐标数据的步骤包括:
获取所述航点对应的像素的地理位置坐标,作为平面坐标;
获取所述航点对应的像素的高度;
获取规划时所述无人飞行器相对于地面的对地高度;
将所述高度以及所述对地高度的和,作为高度坐标。
本发明实施例还公开了一种定位的方法,应用于无人飞行器中,所述无人飞行器包括机载相机,所述方法包括:
获取航迹信息,所述航迹信息包括多个航点的属性信息;
获取所述机载相机按照预设间隔采集的实时图像数据;
基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息。
优选地,所述基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息的步骤包括:
基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线;
若所述无人飞行器没有偏离所述航线,则获取所述无人飞行器的临时定位信息;
基于所述临时定位信息,确定所述无人飞行器当前的位置信息。
优选地,所述属性信息包括所述航点关联的特征集合,所述特征集合包括多个特征点以及每个特征点对应的第一特征字典;
所述基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线的步骤包括:
从所述实时图像数据中提取第二特征信息,所述第二特征信息包括第二特征字典;
计算所述第二特征字典与所述特征集合中每个第一特征字典的匹配度;
若不存在匹配度大于预设阈值的第一特征字典,则判定所述无人飞行器偏离所述航迹信息对应的航线。
优选地,所述获取所述无人飞行器的临时定位信息的步骤包括:
若存在匹配度大于预设阈值的第一特征字典,则获取所述匹配度大于预设阈值的第一特征字典对应的特征点,并将所述特征点确定的区域,作为所述无人飞行器的临时定位信息。
优选地,所述特征集合还包括每个特征点对应的第一特征描述子,所述第二特征信息包括第二特征描述子,所述基于所述临时定位信息,确定所述无人飞行器当前的位置信息的步骤包括:
基于所述临时定位信息确定邻域航点,并获取所述邻域航点关联的第一特征描述子;
将所述第二特征描述子与所述第一特征描述子进行匹配,确定匹配的特征点序列;
基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息。
优选地,所述基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息的步骤包括:
采用预设的定位算法对所述匹配的特征点序列进行计算,确定所述无人飞行器当前的位置信息。
优选地,所述方法还包括:
确定所述当前的位置信息与所述航迹信息的位置偏移量;
基于所述位置偏移量对所述当前的位置信息进行修正。
本发明实施例还公开了一种无人飞行器的航线生成装置,所述装置包括:
地图数据获取模块,用于获取地图数据;
作业区域地图数据获取模块,用于从所述地图数据中提取待作业的作业区域地图数据;
第一特征信息获取模块,用于从所述作业区域地图数据中获取第一特征信息;
航线规划模块,用于基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息。
优选地,所述作业区域地图数据获取模块包括:
测量点标记子模块,用于获取在所述地图数据中标记的多个测量点;
图像切割子模块,用于将所述多个测量点围成的闭合区域进行图像切割,得到作业区域地图数据。
优选地,所述第一特征信息至少包括特征点、特征点对应的特征描述子以及特征点对应的特征字典,所述第一特征信息获取模块包括:
地图切分子模块,用于将所述作业区域地图数据切分成多个区块数据;
特征点提取子模块,用于分别从每个区块数据中提取预设数量的特征点;
特征描述子生成子模块,用于生成所述特征点对应的特征描述子;
特征字典生成子模块,用于生成所述特征点对应的特征字典。
优选地,所述无人飞行器包括机载相机,所述航迹信息包括航点以及航点的属性信息;所述航线规划模块包括:
规划子模块,用于对所述作业区域地图数据进行航线规划,获得多个航点;
三维坐标数据获取子模块,用于分别获取所述航点的三维坐标数据;
特征集合获取子模块,用于针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及特征字典,生成特征集合;
组织子模块,用于将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
优选地,在所述航迹信息中,两个航点间的间距由机载相机连续采集的两张图像的重叠度确定。
优选地,所述三维坐标数据获取子模块包括:
平面坐标获取单元,用于获取所述航点对应的像素的地理位置坐标,作为平面坐标;
高度坐标获取单元,用于获取所述航点对应的像素的高度;获取规划时所述无人飞行器相对于地面的对地高度;将所述高度以及所述对地高度的和,作为高度坐标。
本发明实施例还公开了一种无人飞行器,所述无人飞行器包括机载相机,所述无人飞行器还包括:
航迹信息获取模块,用于获取航迹信息,所述航迹信息包括多个航点的属性信息;
实时图像获取模块,用于获取所述机载相机按照预设间隔采集的实时图像数据;
定位模块,用于基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息。
优选地,所述定位模块包括:
航线偏离判断子模块,用于基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线;
临时定位信息获取子模块,用于若所述无人飞行器没有偏离所述航线,则获取所述无人飞行器的临时定位信息;
当前位置信息获取子模块,用于基于所述临时定位信息,确定所述无人飞行器当前的位置信息。
优选地,所述属性信息包括所述航点关联的特征集合,所述特征集合包括多个特征点以及每个特征点对应的第一特征字典;
所述航线偏离判断子模块包括:
第二特征信息提取单元,用于从所述实时图像数据中提取第二特征信息,所述第二特征信息包括第二特征字典;
匹配度计算单元,用于计算所述第二特征字典与所述特征集合中每个第一特征字典的匹配度;
偏离单元,用于若不存在匹配度大于预设阈值的第一特征字典,则判定所述无人飞行器偏离所述航迹信息对应的航线。
优选地,所述临时定位信息获取子模块还用于:
若存在匹配度大于预设阈值的第一特征字典,则获取所述匹配度大于预设阈值的第一特征字典对应的特征点,并将所述特征点确定的区域,作为所述无人飞行器的临时定位信息。
优选地,所述特征集合还包括每个特征点对应的第一特征描述子,所述第二特征信息包括第二特征描述子,所述当前位置信息获取子模块包括:
邻域航点确定单元,用于基于所述临时定位信息确定邻域航点,并获取所述邻域航点关联的第一特征描述子;
匹配单元,用于将所述第二特征描述子与所述第一特征描述子进行匹配,确定匹配的特征点序列;
位置确定单元,用于基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息。
优选地,所述位置确定单元还用于:
采用预设的定位算法对所述匹配的特征点序列进行计算,确定所述无人飞行器当前的位置信息。
优选地,所述无人飞行器还包括:
位置偏移量确定模块,用于确定所述当前的位置信息与所述航迹信息的位置偏移量;
偏移修正模块,用于基于所述位置偏移量对所述当前的位置信息进行修正。
本发明实施例还公开了一种飞行器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述方法的步骤。
本发明实施例还公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。
本发明实施例包括以下优点:
在本发明实施例中,可以根据获取的地图数据进行航线规划,并结合机载相机获取的图像数据进行特征匹配,以在没有GPS的情况下或者收不到GPS信号的情况下进行无人机的精确定位。
附图说明
图1是本发明的一种无人飞行器的航线生成方法实施例的步骤流程图;
图2是本发明的一种定位的方法实施例的步骤流程图;
图3是本发明的一种无人飞行器的航线生成装置实施例的结构框图;
图4是本发明的一种无人飞行器实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
在无人飞行器植保作业过程中,可以通过飞行控制***(简称飞控)控制无人机完成起飞、空中飞行、执行作业任务和返航等整个飞行过程,飞控对于无人机相当于驾驶员对于有人机的作用,是无人机最核心的技术之一。
在无人飞行器中可以安装有机载相机,在无人机启动后,飞行控制***可以控制机载相机拍摄图像。
在本发明实施例中,可以根据获取的地图数据进行航线规划,并结合机载相机获取的图像数据进行特征匹配,以在没有GPS的情况下或者收不到GPS信号的情况下进行无人机的精确定位。
参照图1,示出了本发明的一种无人飞行器的航线生成方法实施例的步骤流程图,可以包括如下步骤:
步骤101,获取地图数据;
在本发明实施例,可以预先采集地图数据,该地图数据可以是一种包含地理位置信息(三维坐标数据)的数据,其表现方式可以包括瓦片(Tile)或者TIFF(Tagged ImageFile Format,标签图像文件格式)等。
在实现中,该地图数据可以通过航空摄影测量并拼接处理获得,该地图数据可以存储在云端的服务器、无人飞行器的数据库、地面站、遥控器等位置。
因此,无人飞行器可以从云端的服务器请求地图数据,也可以在本地的数据库中提取地图数据,还可以接收地面站或遥控器发送的地图数据,等等。
在一种实施方式中,该地图数据可以包括高清地图数据,其中,高清地图数据是指分辨率达到1:500,或者在高于1:1000以内的地图数据。在实际中,地图数据的分辨率可以影响无人飞行器进行定位的精度,定位精度越高则需要越高地图分辨率。例如,若地图数据的分辨率是1:500,则定位精度会大于5cm。
步骤102,从所述地图数据中提取待作业的作业区域地图数据;
在本发明实施例中,得到地图数据以后,可以根据实际作业需求,从地图数据中提取待作业的作业区域地图数据。
在本发明实施例的一种优选实施例中,步骤102进一步可以包括如下子步骤:
子步骤S11,获取在所述地图数据中标记的多个测量点;
在一种实现方式中,当确定作业任务以后,操作人员可以根据作业需求,通过测绘装置在作业任务对应的作业地块进行打点,以确定多个测量点(s1,s2,s3,…,sn),并将该多个测量点在地图数据中进行标记。
在另一种实现方式中,操作人员还可以使用肉眼结合实际需求直接在地图数据中标记多个测量点(s1,s2,s3,…,sn)。
例如,若待作业区域是一片农田,则可以按照农作物的分布边缘来标记多个测量点。
该多个测量点是离散的顺序坐标点,可以将该坐标点序列记为点集合S={s1,s2,s3,…,Sn}。
子步骤S12,将所述多个测量点围成的闭合区域进行图像切割,得到作业区域地图数据。
具体的,将点集合S中的测量点按照预设顺序依次连接,可以获得一个闭合的区域,将该闭合区域的图像切割出来,则可以得到作业区域地图数据。
需要说明的是,本发明实施例并不限于上述确定闭合区域的方式,本领域技术人员采用其他方式来确定均是可以的,例如,可以从测量点中选择多个目标位置,依次连接目标位置得到闭合区域。
当然,在作业区域中也可以针对树、电线杆等障碍物定位测量点,连接之后生成禁飞区域,本发明实施例对此不加以限制。
在实现中,由于地图数据的每一个像素点均带有坐标,因此,作业区域地图数据的描述可以使用按照一定顺序的二维坐标来描述。其中,该顺序可以为顺时针顺序,也可以为逆时针顺序,本发明实施例对此不作限定。
步骤103,从所述作业区域地图数据中获取第一特征信息;
得到作业区域地图数据以后,可以对该作业区域地图数据进行特征提取,得到第一特征信息。
作为本发明实施例的一种优选示例,该第一特征信息至少可以包括特征点、特征点对应的特征描述子以及特征点对应的特征字典等。
在本发明实施例的一种优选实施例中,步骤103可以包括如下子步骤:
子步骤S21,将所述作业区域地图数据切分成多个区块数据;
例如,可以采用图像切割的方法,将作业区域地图数据切割成N*M个区块数据。
子步骤S22,分别从每个区块数据中提取预设数量的特征点;
具体的,得到N*M个区块数据以后,可以分别从每个区块数据中提取t个特征点,以保证特征点在作业区域地图数据中均匀分布。
在实际中,上述N、M、t可以满足如下条件:预设数量的像素对应一个特征点,例如,100个像素对应一个特征点。
当然,除了分块之外,也可以按照预设的特征提取方式直接从作业区域地图数据中提取特征点,本发明实施例对此不加以限制。
特征点可以指位置本身具有常规的属性意义的点,比如角点(Fast角点、Herries角点等)、交叉点等等。
在具体实现中,可以采用计算机视觉的方法来从每个区块数据中提取特征点,例如,针对Fast角点,其提取方式可以包括如下过程:遍历区块数据中各个像素点,以当前像素点为中心,3为半径选择16个周围像素,依次进行比较,灰度差异值大于预设阈值的则进行标记,若标记的数量大于12,则当前点为特征点。
子步骤S23,生成所述特征点对应的特征描述子;
得到特征点后,为这些特征点建立特征描述,这种特征描述可以称为特征描述子。
作为一种示例,特征描述子可以包括SURF(speed up robust feature,快速鲁棒特征)描述子、ORB(Oriented FAST and Rotated BRIEF)描述子等。
在实现中,可以结合特征描述子、该特征点的像素坐标以及该特征点的地理位置坐标来描述该特征点,即,特征点的描述可以记为xi={di,ci,fi},其中,di为第i个特征点的特征描述子,其为n维向量;ci为第i个特征点的像素坐标;fi为第i个特征点的地理位置坐标,可以用三维向量表示,即三维位置数据。
作业区域地图数据中所有的特征点和对应的特征描述子的集合记可以为:X={x1,x2,x3,…,xn}。
子步骤S24,生成所述特征点对应的特征字典。
得到特征点以及对应的特征描述子以后,还可以创建每个特征点对应的特征字典,特征字典的作用是用于快速检测无人飞行器当前的大致位置,进而进行高精度的图像匹配和无人飞行器的定位。
在具体实现中,可以采用回环检测算法来确定每个特征点对应的特征字典,例如,一种回环检测算法可以包括DBOW2的词袋模型(bag of words)。
步骤104,基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息。
通过步骤101-步骤103,待作业区域可以包括一张作业区域地图数据、特征点和对应的特征描述子的集合、以及每个特征点对应的特征字典。随后,可以对该待作业区域进行航线规划。
在具体实现中,可以根据作业需求,选取对应的规划方案,直接在作业区域地图数据上进行航线规划。例如,作业需求是要求无人飞行器的作业完全覆盖待作业区域,则可以采用蛇形规划法进行航线规划。
需要说明的是,本发明实施例并不限于航线的规划方法,不管采用何种规划方法,都可以采用一系列离散的三维坐标点(即航点)以及对应的属性信息来描述规划的结果,即航迹信息。
在本发明实施例的一种优选实施例中,步骤104进一步可以包括如下如下子步骤:
子步骤S31,对所述作业区域地图数据进行航线规划,获得多个航点;
在对作业区域进行航线规划后,可以得到多个航点,多个航点连接起来可以得到该作业区域的航线。
该航线的起飞点可以在待作业区域根据任意需求指定,本发明实施例对起飞点的确定方式不作限制。
子步骤S32,分别获取所述航点的三维坐标数据;
每个航点可以描述为一个三维坐标数据,记为fi。
作为一种示例,该三维坐标数据可以包括平面坐标以及高度坐标。
在本发明实施例的一种优选实施例中,子步骤S32进一步可以包括如下子步骤:获取所述航点对应的像素的地理位置坐标,作为平面坐标;获取所述航点对应的像素的高度;获取规划时所述无人飞行器相对于地面的对地高度;将所述高度以及所述对地高度的和,作为高度坐标。
为了实现定位和导航功能功能,在所述航迹信息中,两个航点间的间距不能过于稀疏,在一种实现方式中,两个航点间的间距可以由机载相机连续采集的两张图像的重叠度确定。
在实际中,上述重叠度可以设置为大于30%。
在具体实现中,重叠度与无人飞行器的对地高度、机载相机的属性关系可以表示如下:
J=Hwpnp(1-p)/f
其中,J是机载相机拍摄两张图像的时间间距,H是无人飞行器的对地高度,Wp是像素的大小,np是像素数量,P是重叠度,f是机载相机的焦距。
上述像素大小和像素数量是指平行于飞行方向的传感器的像素大小和纵横坐标的像素数量。
子步骤S33,针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及特征字典,生成特征集合;
在本发明实施例中,为了满足无人飞行器的导航需求,还可以确定航点的特征集合。
具体的,针对每个航点,可以以航点的像素坐标为中心,搜集机载相机的视场角FOV所能够覆盖的区域的特征描述子和特征字典,记该搜集到的特征描述子和特征字典的集合为特征集合为di={xij,tij},其中,xij为航点i对应的第j个特征点的特征描述子,tij为航点i对应的第j个特征点的特征字典。
子步骤S34,将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
得到每个航点的三维坐标数据以及特征集合以后,可以将该三维坐标数据以及特征集合组织成该航点的属性信息,即,航点的描述为hi={di,fi}。
根据步骤104得到的航迹信息可以描述为H={h1,h2,h3,…,hn}。
在本发明实施例中,可以根据从地图数据中提取的待作业的作业区域地图数据,以及从作业区域地图数据中获取的第一特征信息,来对作业区域进行航线规划,获得航迹信息,这个过程无需GPS的参与,使得无人飞行器能够在无GPS信号或者GPS信号有遮挡的情况下仍然可以进行航线规划,降低了无人飞行器对GPS的依赖程度,丰富了无人飞行器的航线规划以及导航功能。
参照图2,示出了本发明的一种定位的方法实施例的步骤流程图,当该方法应用于上述无人飞行器中时,本发明实施例可以包括如下步骤:
步骤201,获取航迹信息,所述航迹信息包括多个航点的属性信息;
作为本发明实施例的一种优选示例,航点的属性信息可以包括但不限于:航点关联的特征集合以及每个航点的三维坐标数据,其中,该特征集合可以包括多个特征点以及每个特征点对应的第一特征字典。
对于航迹信息的生成方式可以参照图1实施例的方法,在此不再赘述了。
在实现中,根据图1的实施例生成航迹信息以后,可以将该航迹信息存储在云端的服务器、无人飞行器的数据库、地面站、遥控器等位置。
因此,无人飞行器可以从云端的服务器请求航迹信息,也可以在本地的数据库中提取航迹信息,还可以接收地面站或遥控器发送的航迹信息等,本发明实施例对此不作限制。
步骤202,获取所述机载相机按照预设间隔采集的实时图像数据;
在本发明实施例中,无人飞行器启动以后,可以开启机载相机,并控制机载相机按照预设间隔不断采集实时图像数据。
步骤203,基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息。
针对无人飞行器每次获取的实时图像数据,无人飞行器都可以与航迹信息进行比较,以根据该航迹信息以及实时图像数据,确定无人飞行器实时的位置信息。
在本发明实施例的一种优选实施例中,步骤203进一步可以包括如下子步骤:
子步骤S41,基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线;
首先,无人飞行器可以根据航迹信息以及当前获取的实时图像数据,判断当前无人飞行器是否在规划的航线附近,即判断当前无人飞行器是否偏离该航迹信息对应的航线。
在本发明实施例的一种优选实施例中,子步骤S41进一步可以包括如下子步骤:
子步骤S411,从所述实时图像数据中提取第二特征信息;
作为本发明实施例的一种优选实施例,该第二特征信息可以包括多个第二特征点、每个第二特征点对应的第二特征字典以及第二特征描述子等。
关于从实时图像数据中提取第二特征信息的过程可以参考上述图1实施例中的步骤103中提取第一特征信息的过程,此处不再赘述了。
子步骤S412,计算所述第二特征字典与所述特征集合中每个第一特征字典的匹配度;
得到实时图像数据中多个第二特征点对应的第二特征字典以后,可以分别将每个第二特征字典与特征集合中每个第一特征字典进行匹配,以计算每个第二特征字典与每个特征集合中每个第一特征字典进行匹配度。
在本发明实施例中,并不限于匹配度的计算方法,例如,可以采用相似度的计算方法计算第一特征字典与第二特征字典的匹配度。
子步骤S413,若不存在匹配度大于预设阈值的第一特征字典,则判定所述无人飞行器偏离所述航迹信息对应的航线。
当计算所有第二特征字典与特征集合中每个第一特征字典的匹配度以后,若不存在大于预设阈值的匹配度时,则可以判定无人飞行器偏离航迹信息对应的航线,其中,偏离航线是指至少偏离了一条航带。
子步骤S42,若所述无人飞行器没有偏离所述航线,则获取所述无人飞行器的临时定位信息;
在本发明实施例的一种优选实施例中,子步骤S42进一步可以包括如下子步骤:
若存在匹配度大于预设阈值的第一特征字典,则获取所述匹配度大于预设阈值的第一特征字典对应的特征点,并将所述特征点确定的区域,作为所述无人飞行器的临时定位信息。
若存在大于预设阈值的匹配度时,则可以判定无人飞行器在航迹信息对应的航线上,即判定无人飞行器没有偏离该航迹信息对应的航线。此时,可以确定匹配度大于预设阈值的第一特征字典对应的特征点,作为匹配特征点,并将这些匹配特征点所确定的区域,作为无人飞行器的临时定位信息,该临时定位信息是指无人飞行器的粗略飞行位置。
需要说明的是,如果无人飞行器是按照航线依次飞行的,因为待匹配的相邻航点是确定的,此时可以不需要使用特征字典,按照已经飞行的航点来确定无人飞行器粗略飞行位置。
子步骤S43,基于所述临时定位信息,确定所述无人飞行器当前的位置信息。
得到无人飞行器的临时定位信息以后,可以根据这个粗略的定位信息,获取无人飞行器的精确的位置信息。
在本发明实施例的一种优选实施例中,子步骤S43进一步可以包括如下子步骤:
子步骤S431,基于所述临时定位信息确定邻域航点,并获取所述邻域航点关联的第一特征描述子;
子步骤S432,将所述第二特征描述子与所述第一特征描述子进行匹配,确定匹配的特征点序列;
得到无人飞行器的临时定位信息以后,可以根据该临时定位信息,确定相邻的航点,即邻域航点,并获得与该邻域航点所关联的第一特征描述子。
随后,可以分别将实时图像数据对应的第二特征描述子分别与该邻域航点所关联的第一特征描述子进行匹配,匹配完成后得到一组特征点序列。
在一种实施方式中,该特征点序列可以包括实时图像数据的匹配的特征点的二维坐标,以及,对应的匹配上的作业区域地图数据的特征点的三维坐标。
子步骤S433,基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息。
在本发明实施例的一种优选实施例中,子步骤S433进一步可以包括:采用预设的定位算法对所述匹配的特征点序列进行计算,确定所述无人飞行器当前的位置信息。
在一种实施方式中,预设的定位算法可以包括但不限于PNP(相机姿态估计)算法。
在本发明实施例的一种优选实施例中,得到无人飞行器当前的位置信息以后,还可以包括如下步骤:
确定所述当前的位置信息与所述航迹信息的位置偏移量;基于所述位置偏移量对所述当前的位置信息进行修正。
在具体实现中,可以计算当前的位置信息与航迹信息的预定航点位置的位置差,作为位置偏移量,并将该位置偏移量输入给飞行控制器来修正当前偏差。
在本发明实施例中,通过使用特征字典给无人飞行器进行粗略定位,为后面的特征描述子匹配、PNP算法获得更精准的当前的位置信息,从而实现无人飞行器在无GPS信号或者GPS信号被覆盖时的定位和导航,降低无人飞行器对GPS的依赖。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了本发明的一种无人飞行器的航线生成装置实施例的结构框图,可以包括如下模块:
地图数据获取模块301,用于获取地图数据;
作业区域地图数据获取模块302,用于从所述地图数据中提取待作业的作业区域地图数据;
第一特征信息获取模块303,用于从所述作业区域地图数据中获取第一特征信息;
航线规划模块304,用于基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息。
在本发明实施例的一种优选实施例中,所述作业区域地图数据获取模块302进一步可以包括如下子模块:
测量点标记子模块,用于获取在所述地图数据中标记的多个测量点;
图像切割子模块,用于将所述多个测量点围成的闭合区域进行图像切割,得到作业区域地图数据。
在本发明实施例的一种优选实施例中,所述第一特征信息至少包括特征点、特征点对应的特征描述子以及特征点对应的特征字典,所述第一特征信息获取模块303进一步可以包括如下子模块:
地图切分子模块,用于将所述作业区域地图数据切分成多个区块数据;
特征点提取子模块,用于分别从每个区块数据中提取预设数量的特征点;
特征描述子生成子模块,用于生成所述特征点对应的特征描述子;
特征字典生成子模块,用于生成所述特征点对应的特征字典。
在本发明实施例的一种优选实施例中,所述无人飞行器包括机载相机,所述航迹信息包括航点以及航点的属性信息;所述航线规划模块304进一步可以包括如下子模块:
规划子模块,用于对所述作业区域地图数据进行航线规划,获得多个航点;
三维坐标数据获取子模块,用于分别获取所述航点的三维坐标数据;
特征集合获取子模块,用于针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及特征字典,生成特征集合;
组织子模块,用于将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
在本发明实施例的一种优选实施例中,在所述航迹信息中,两个航点间的间距由机载相机连续采集的两张图像的重叠度确定。
在本发明实施例的一种优选实施例中,所述三维坐标数据获取子模块进一步可以包括如下单元:
平面坐标获取单元,用于获取所述航点对应的像素的地理位置坐标,作为平面坐标;
高度坐标获取单元,用于获取所述航点对应的像素的高度;获取规划时所述无人飞行器相对于地面的对地高度;将所述高度以及所述对地高度的和,作为高度坐标。
对于图3的装置实施例而言,由于其与上述的方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图4,示出了本发明的一种无人飞行器实施例的结构框图,所述无人飞行器可以包括机载相机,在本发明实施例中,所述无人飞行器还可以包括如下模块:
航迹信息获取模块401,用于获取航迹信息,所述航迹信息包括多个航点的属性信息;
实时图像获取模块402,用于获取所述机载相机按照预设间隔采集的实时图像数据;
定位模块403,用于基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息。
在本发明实施例的一种优选实施例中,所述定位模块403可以包括如下子模块:
航线偏离判断子模块,用于基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线;
临时定位信息获取子模块,用于若所述无人飞行器没有偏离所述航线,则获取所述无人飞行器的临时定位信息;
当前位置信息获取子模块,用于基于所述临时定位信息,确定所述无人飞行器当前的位置信息。
在本发明实施例的一种优选实施例中,所述属性信息包括所述航点关联的特征集合,所述特征集合包括多个特征点以及每个特征点对应的第一特征字典;
所述航线偏离判断子模块进一步可以包括如下单元:
第二特征信息提取单元,用于从所述实时图像数据中提取第二特征信息,所述第二特征信息包括第二特征字典;
匹配度计算单元,用于计算所述第二特征字典与所述特征集合中每个第一特征字典的匹配度;
偏离单元,用于若不存在匹配度大于预设阈值的第一特征字典,则判定所述无人飞行器偏离所述航迹信息对应的航线。
在本发明实施例的一种优选实施例中,所述临时定位信息获取子模块还用于:
若存在匹配度大于预设阈值的第一特征字典,则获取所述匹配度大于预设阈值的第一特征字典对应的特征点,并将所述特征点确定的区域,作为所述无人飞行器的临时定位信息。
在本发明实施例的一种优选实施例中,所述特征集合还包括每个特征点对应的第一特征描述子,所述第二特征信息包括第二特征描述子,所述当前位置信息获取子模块进一步可以包括如下单元:
邻域航点确定单元,用于基于所述临时定位信息确定邻域航点,并获取所述邻域航点关联的第一特征描述子;
匹配单元,用于将所述第二特征描述子与所述第一特征描述子进行匹配,确定匹配的特征点序列;
位置确定单元,用于基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息。
在本发明实施例的一种优选实施例中,所述位置确定单元还用于:
采用预设的定位算法对所述匹配的特征点序列进行计算,确定所述无人飞行器当前的位置信息。
在本发明实施例的一种优选实施例中,所述无人飞行器还包括如下模块:
位置偏移量确定模块,用于确定所述当前的位置信息与所述航迹信息的位置偏移量;
偏移修正模块,用于基于所述位置偏移量对所述当前的位置信息进行修正。
对于图4的飞行器实施例而言,由于其与上述的方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
另外,本发明实施例还公开了一种飞行器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例所述方法的步骤,该步骤包括:
获取航迹信息,所述航迹信息包括多个航点的属性信息;
获取所述机载相机按照预设间隔采集的实时图像数据;
基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息。
另外,本发明实施例还公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种无人飞行器的航线生成及定位方法、装置及无人飞行器进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (26)
1.一种无人飞行器的航线生成方法,其特征在于,所述无人飞行器包括机载相机,所述方法包括:
获取地图数据;
从所述地图数据中提取待作业的作业区域地图数据;
从所述作业区域地图数据中获取第一特征信息;所述第一特征信息至少包括特征点、特征点对应的特征描述子以及特征点对应的特征字典;
基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息,所述航迹信息包括航点以及航点的属性信息;
其中,所述基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息,包括:
对所述作业区域地图数据进行航线规划,获得多个航点;
分别获取所述航点的三维坐标数据;
针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及特征字典,生成特征集合;
将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
2.根据权利要求1所述的方法,其特征在于,所述从所述地图数据中提取待作业的作业区域地图数据的步骤包括:
获取在所述地图数据中标记的多个测量点;
将所述多个测量点围成的闭合区域进行图像切割,得到作业区域地图数据。
3.根据权利要求1或2所述的方法,其特征在于,所述从所述作业区域地图数据中获取第一特征信息的步骤包括:
将所述作业区域地图数据切分成多个区块数据;
分别从每个区块数据中提取预设数量的特征点;
生成所述特征点对应的特征描述子;
生成所述特征点对应的特征字典。
4.根据权利要求1所述的方法,其特征在于,在所述航迹信息中,两个航点间的间距由机载相机连续采集的两张图像的重叠度确定。
5.根据权利要求1或4所述的方法,其特征在于,所述分别获取所述航点的三维坐标数据的步骤包括:
获取所述航点对应的像素的地理位置坐标,作为平面坐标;
获取所述航点对应的像素的高度;
获取规划时所述无人飞行器相对于地面的对地高度;
将所述高度以及所述对地高度的和,作为高度坐标。
6.一种定位的方法,应用于无人飞行器中,其特征在于,所述无人飞行器包括机载相机,所述方法包括:
获取航迹信息,所述航迹信息包括多个航点的属性信息;
获取所述机载相机按照预设间隔采集的实时图像数据;
基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息;
其中,所述航迹信息生成的步骤包括:
获取地图数据;
从所述地图数据中提取待作业的作业区域地图数据;
从所述作业区域地图数据中获取第一特征信息,所述第一特征信息至少包括特征点、特征点对应的特征描述子以及特征点对应的第一特征字典;
对所述作业区域地图数据进行航线规划,获得多个航点;
分别获取所述航点的三维坐标数据;
针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及第一特征字典,生成特征集合;
将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
7.根据权利要求6所述的方法,其特征在于,所述基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息的步骤包括:
基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线;
若所述无人飞行器没有偏离所述航线,则获取所述无人飞行器的临时定位信息;
基于所述临时定位信息,确定所述无人飞行器当前的位置信息。
8.根据权利要求7所述的方法,其特征在于,所述基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线的步骤包括:
从所述实时图像数据中提取第二特征信息,所述第二特征信息包括第二特征字典;
计算所述第二特征字典与所述特征集合中每个第一特征字典的匹配度;
若不存在匹配度大于预设阈值的第一特征字典,则判定所述无人飞行器偏离所述航迹信息对应的航线。
9.根据权利要求8所述的方法,其特征在于,所述获取所述无人飞行器的临时定位信息的步骤包括:
若存在匹配度大于预设阈值的第一特征字典,则获取所述匹配度大于预设阈值的第一特征字典对应的特征点,并将所述特征点确定的区域,作为所述无人飞行器的临时定位信息。
10.根据权利要求8或9所述的方法,其特征在于,所述特征集合还包括每个特征点对应的第一特征描述子,所述第二特征信息包括第二特征描述子,所述基于所述临时定位信息,确定所述无人飞行器当前的位置信息的步骤包括:
基于所述临时定位信息确定邻域航点,并获取所述邻域航点关联的第一特征描述子;
将所述第二特征描述子与所述第一特征描述子进行匹配,确定匹配的特征点序列;
基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息。
11.根据权利要求10所述的方法,其特征在于,所述基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息的步骤包括:
采用预设的定位算法对所述匹配的特征点序列进行计算,确定所述无人飞行器当前的位置信息。
12.根据权利要求6-11中任意一项所述的方法,其特征在于,所述方法还包括:
确定所述当前的位置信息与所述航迹信息的位置偏移量;
基于所述位置偏移量对所述当前的位置信息进行修正。
13.一种无人飞行器的航线生成装置,其特征在于,所述无人飞行器包括机载相机,所述装置包括:
地图数据获取模块,用于获取地图数据;
作业区域地图数据获取模块,用于从所述地图数据中提取待作业的作业区域地图数据;
第一特征信息获取模块,用于从所述作业区域地图数据中获取第一特征信息;所述第一特征信息至少包括特征点、特征点对应的特征描述子以及特征点对应的特征字典;
航线规划模块,用于基于所述第一特征信息,对所述作业区域地图数据进行航线规划,获得航迹信息,所述航迹信息包括航点以及航点的属性信息;
其中,所述航线规划模块包括:
规划子模块,用于对所述作业区域地图数据进行航线规划,获得多个航点;
三维坐标数据获取子模块,用于分别获取所述航点的三维坐标数据;
特征集合获取子模块,用于针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及特征字典,生成特征集合;
组织子模块,用于将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
14.根据权利要求13所述的装置,其特征在于,所述作业区域地图数据获取模块包括:
测量点标记子模块,用于获取在所述地图数据中标记的多个测量点;
图像切割子模块,用于将所述多个测量点围成的闭合区域进行图像切割,得到作业区域地图数据。
15.根据权利要求13或14所述的装置,其特征在于,所述第一特征信息获取模块包括:
地图切分子模块,用于将所述作业区域地图数据切分成多个区块数据;
特征点提取子模块,用于分别从每个区块数据中提取预设数量的特征点;
特征描述子生成子模块,用于生成所述特征点对应的特征描述子;
特征字典生成子模块,用于生成所述特征点对应的特征字典。
16.根据权利要求13所述的装置,其特征在于,在所述航迹信息中,两个航点间的间距由机载相机连续采集的两张图像的重叠度确定。
17.根据权利要求13或16所述的装置,其特征在于,所述三维坐标数据获取子模块包括:
平面坐标获取单元,用于获取所述航点对应的像素的地理位置坐标,作为平面坐标;
高度坐标获取单元,用于获取所述航点对应的像素的高度;获取规划时所述无人飞行器相对于地面的对地高度;将所述高度以及所述对地高度的和,作为高度坐标。
18.一种无人飞行器,其特征在于,所述无人飞行器包括机载相机,所述无人飞行器还包括:
航迹信息获取模块,用于获取航迹信息,所述航迹信息包括多个航点的属性信息;
实时图像获取模块,用于获取所述机载相机按照预设间隔采集的实时图像数据;
定位模块,用于基于所述航迹信息以及所述实时图像数据,确定所述无人飞行器当前的位置信息;
地图数据获取模块,用于获取地图数据;
作业区域地图数据获取模块,用于从所述地图数据中提取待作业的作业区域地图数据;
第一特征信息获取模块,用于从所述作业区域地图数据中获取第一特征信息;所述第一特征信息至少包括特征点、特征点对应的特征描述子以及特征点对应的第一特征字典;
航线规划模块,包括规划子模块、三维坐标数据获取子模块、特征集合获取子模块和组织子模块,其中,
所述规划子模块,用于对所述作业区域地图数据进行航线规划,获得多个航点;
所述三维坐标数据获取子模块,用于分别获取所述航点的三维坐标数据;
所述特征集合获取子模块,用于针对每个航点,以所述航点的像素坐标为中心,采集所述机载相机的视场角所能覆盖的区域的特征描述子以及第一特征字典,生成特征集合;
所述组织子模块,用于将所述三维坐标数据以及所述特征集合组织成所述航点的属性信息。
19.根据权利要求18所述的无人飞行器,其特征在于,所述定位模块包括:
航线偏离判断子模块,用于基于所述航迹信息以及所述实时图像数据,判断所述无人飞行器是否偏离所述航迹信息对应的航线;
临时定位信息获取子模块,用于若所述无人飞行器没有偏离所述航线,则获取所述无人飞行器的临时定位信息;
当前位置信息获取子模块,用于基于所述临时定位信息,确定所述无人飞行器当前的位置信息。
20.根据权利要求19所述的无人飞行器,其特征在于,所述属性信息包括所述航点关联的特征集合,所述特征集合包括多个特征点以及每个特征点对应的第一特征字典;
所述航线偏离判断子模块包括:
第二特征信息提取单元,用于从所述实时图像数据中提取第二特征信息,所述第二特征信息包括第二特征字典;
匹配度计算单元,用于计算所述第二特征字典与所述特征集合中每个第一特征字典的匹配度;
偏离单元,用于若不存在匹配度大于预设阈值的第一特征字典,则判定所述无人飞行器偏离所述航迹信息对应的航线。
21.根据权利要求20所述的无人飞行器,其特征在于,所述临时定位信息获取子模块还用于:
若存在匹配度大于预设阈值的第一特征字典,则获取所述匹配度大于预设阈值的第一特征字典对应的特征点,并将所述特征点确定的区域,作为所述无人飞行器的临时定位信息。
22.根据权利要求20或21所述的无人飞行器,其特征在于,所述特征集合还包括每个特征点对应的第一特征描述子,所述第二特征信息包括第二特征描述子,所述当前位置信息获取子模块包括:
邻域航点确定单元,用于基于所述临时定位信息确定邻域航点,并获取所述邻域航点关联的第一特征描述子;
匹配单元,用于将所述第二特征描述子与所述第一特征描述子进行匹配,确定匹配的特征点序列;
位置确定单元,用于基于所述匹配的特征点序列,确定所述无人飞行器当前的位置信息。
23.根据权利要求22所述的无人飞行器,其特征在于,所述位置确定单元还用于:
采用预设的定位算法对所述匹配的特征点序列进行计算,确定所述无人飞行器当前的位置信息。
24.根据权利要求18-23中任意一项所述的无人飞行器,其特征在于,所述无人飞行器还包括:
位置偏移量确定模块,用于确定所述当前的位置信息与所述航迹信息的位置偏移量;
偏移修正模块,用于基于所述位置偏移量对所述当前的位置信息进行修正。
25.一种飞行器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至5和/或6-12任一项所述方法的步骤。
26.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至5和/或6-12任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710641017.9A CN109324337B (zh) | 2017-07-31 | 2017-07-31 | 无人飞行器的航线生成及定位方法、装置及无人飞行器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710641017.9A CN109324337B (zh) | 2017-07-31 | 2017-07-31 | 无人飞行器的航线生成及定位方法、装置及无人飞行器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109324337A CN109324337A (zh) | 2019-02-12 |
CN109324337B true CN109324337B (zh) | 2022-01-14 |
Family
ID=65245026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710641017.9A Active CN109324337B (zh) | 2017-07-31 | 2017-07-31 | 无人飞行器的航线生成及定位方法、装置及无人飞行器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109324337B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111982096B (zh) * | 2019-05-23 | 2022-09-13 | 广州极飞科技股份有限公司 | 一种作业路径生成方法、装置及无人飞行器 |
WO2020237471A1 (zh) * | 2019-05-27 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 飞行航线生成方法、终端和无人机 |
CN110244765B (zh) * | 2019-06-27 | 2023-02-28 | 深圳市道通智能航空技术股份有限公司 | 一种飞行器航线轨迹生成方法、装置、无人机及存储介质 |
CN110262556A (zh) * | 2019-07-12 | 2019-09-20 | 黑梭智慧技术(北京)有限公司 | 快递物流无人飞行器航线设计方法和装置 |
CN110362102B (zh) * | 2019-07-25 | 2022-07-29 | 深圳市道通智能航空技术股份有限公司 | 一种无人机航线生成的方法、装置和*** |
CN110428451B (zh) * | 2019-08-15 | 2021-09-24 | 中国地质大学(北京) | 利用gps航迹将地形图与gps设备进行匹配的操作方法 |
CN112106009A (zh) * | 2019-08-29 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 一种喷洒作业的路径规划方法及路径规划设备 |
CN110515393B (zh) * | 2019-10-24 | 2020-03-31 | 南京国器智能装备有限公司 | 无人机农林喷洒实时防漂移修正的方法、装置和*** |
CN112313476A (zh) * | 2019-11-05 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 无人飞行器的航线规划方法和装置 |
CN110716586A (zh) * | 2019-11-14 | 2020-01-21 | 广州极飞科技有限公司 | 无人机的拍照控制方法、装置、无人机和存储介质 |
WO2021127941A1 (zh) * | 2019-12-23 | 2021-07-01 | 深圳市大疆创新科技有限公司 | 航线规划方法、无人机、控制终端及计算机可读存储介质 |
CN113448340B (zh) * | 2020-03-27 | 2022-12-16 | 北京三快在线科技有限公司 | 一种无人机的路径规划方法、装置、无人机及存储介质 |
CN113741413B (zh) * | 2020-05-29 | 2022-11-08 | 广州极飞科技股份有限公司 | 一种无人设备的作业方法、无人设备及存储介质 |
CN113741507A (zh) * | 2020-05-29 | 2021-12-03 | 广州极飞科技股份有限公司 | 无人机的全局路径轨迹规划方法、装置、无人机及设备 |
WO2021253269A1 (zh) * | 2020-06-17 | 2021-12-23 | 深圳市大疆创新科技有限公司 | 信息处理方法、装置、程序、存储介质及计算处理设备 |
CN112509381B (zh) * | 2020-10-16 | 2022-03-11 | 广州飞图信息科技有限公司 | 一种无人机航线信号盲区的可视化显示方法及装置 |
CN112362065B (zh) * | 2020-11-19 | 2022-08-16 | 广州极飞科技股份有限公司 | 绕障轨迹规划方法、装置、存储介质、控制单元和设备 |
CN112822741B (zh) * | 2020-12-30 | 2023-02-10 | 广州极飞科技股份有限公司 | 通信方式切换方法、装置、电子设备及存储介质 |
CN113917939B (zh) * | 2021-10-09 | 2022-09-06 | 广东汇天航空航天科技有限公司 | 飞行器的定位导航方法、***及计算设备 |
CN114320862A (zh) * | 2021-11-23 | 2022-04-12 | 国网浙江省电力有限公司嘉兴供电公司 | 一种空压机节能优化方法 |
CN117111641B (zh) * | 2023-10-25 | 2024-01-19 | 天津云圣智能科技有限责任公司 | 无人机航线纠偏方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102582826A (zh) * | 2011-01-06 | 2012-07-18 | 佛山市安尔康姆航拍科技有限公司 | 一种四旋翼无人飞行器的驾驶方法和*** |
CN107690840B (zh) * | 2009-06-24 | 2013-07-31 | 中国科学院自动化研究所 | 无人机视觉辅助导航方法及*** |
CN103411609A (zh) * | 2013-07-18 | 2013-11-27 | 北京航天自动控制研究所 | 一种基于在线构图的飞行器返航路线规划方法 |
CN104615146A (zh) * | 2015-02-05 | 2015-05-13 | 广州快飞计算机科技有限公司 | 一种无需外部导航信号的无人机喷药作业自动导航方法 |
CN104679011A (zh) * | 2015-01-30 | 2015-06-03 | 南京航空航天大学 | 基于稳定分支特征点的图像匹配导航方法 |
CN106502265A (zh) * | 2016-10-26 | 2017-03-15 | 广州极飞科技有限公司 | 一种无人飞行器的航线生成方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105222788B (zh) * | 2015-09-30 | 2018-07-06 | 清华大学 | 基于特征匹配的飞行器航路偏移误差的自校正方法 |
CN105843223B (zh) * | 2016-03-23 | 2018-11-20 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
-
2017
- 2017-07-31 CN CN201710641017.9A patent/CN109324337B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107690840B (zh) * | 2009-06-24 | 2013-07-31 | 中国科学院自动化研究所 | 无人机视觉辅助导航方法及*** |
CN102582826A (zh) * | 2011-01-06 | 2012-07-18 | 佛山市安尔康姆航拍科技有限公司 | 一种四旋翼无人飞行器的驾驶方法和*** |
CN103411609A (zh) * | 2013-07-18 | 2013-11-27 | 北京航天自动控制研究所 | 一种基于在线构图的飞行器返航路线规划方法 |
CN104679011A (zh) * | 2015-01-30 | 2015-06-03 | 南京航空航天大学 | 基于稳定分支特征点的图像匹配导航方法 |
CN104615146A (zh) * | 2015-02-05 | 2015-05-13 | 广州快飞计算机科技有限公司 | 一种无需外部导航信号的无人机喷药作业自动导航方法 |
CN106502265A (zh) * | 2016-10-26 | 2017-03-15 | 广州极飞科技有限公司 | 一种无人飞行器的航线生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109324337A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109324337B (zh) | 无人飞行器的航线生成及定位方法、装置及无人飞行器 | |
KR102273559B1 (ko) | 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체 | |
US20210012520A1 (en) | Distance measuring method and device | |
CN106774431B (zh) | 一种测绘无人机航线规划方法及装置 | |
CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
CN103411609B (zh) | 一种基于在线构图的飞行器返航路线规划方法 | |
US10970924B2 (en) | Reconstruction of a scene from a moving camera | |
JP2022520019A (ja) | 画像処理方法、装置、移動可能なプラットフォーム、プログラム | |
CN110617821B (zh) | 定位方法、装置及存储介质 | |
EP3106832B1 (en) | Cross spectral feature correlation for navigational adjustment | |
US9857178B2 (en) | Method for position and location detection by means of virtual reference images | |
KR102664900B1 (ko) | 드론을 이용한 지상기준점 측량장치 및 그 방법 | |
US9721158B2 (en) | 3D terrain mapping system and method | |
EP2503510A1 (en) | Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints | |
CN111829532B (zh) | 一种飞行器重定位***和重定位方法 | |
KR101444685B1 (ko) | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 | |
JP6828448B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム | |
Schleiss et al. | VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments | |
CN111104861B (zh) | 用于确定电线位置的方法和设备以及存储介质 | |
CN116824457A (zh) | 基于全景视频中移动目标自动挂牌方法及相关装置 | |
CN113312435A (zh) | 高精度地图更新方法和设备 | |
WO2020118623A1 (en) | Method and system for generating an environment model for positioning | |
US11461944B2 (en) | Region clipping method and recording medium storing region clipping program | |
CN109901589B (zh) | 移动机器人控制方法和装置 | |
KR20200032776A (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant after: XAG Co., Ltd. Address before: No.3a01, No.1 Sicheng Road, Gaotang Software Park, Tianhe District, Guangzhou, Guangdong 510000 Applicant before: Guangzhou Xaircraft Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |