CN111932622B - 一种无人机的飞行高度的确定装置、方法及*** - Google Patents

一种无人机的飞行高度的确定装置、方法及*** Download PDF

Info

Publication number
CN111932622B
CN111932622B CN202010794874.4A CN202010794874A CN111932622B CN 111932622 B CN111932622 B CN 111932622B CN 202010794874 A CN202010794874 A CN 202010794874A CN 111932622 B CN111932622 B CN 111932622B
Authority
CN
China
Prior art keywords
determining
unmanned aerial
aerial vehicle
ground
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010794874.4A
Other languages
English (en)
Other versions
CN111932622A (zh
Inventor
何勇
何立文
楚秉泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Huanan Industrial Technology Research Institute of Zhejiang University
Original Assignee
Zhejiang University ZJU
Huanan Industrial Technology Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Huanan Industrial Technology Research Institute of Zhejiang University filed Critical Zhejiang University ZJU
Priority to CN202010794874.4A priority Critical patent/CN111932622B/zh
Publication of CN111932622A publication Critical patent/CN111932622A/zh
Priority to NL2027359A priority patent/NL2027359B1/en
Priority to US17/159,676 priority patent/US11568556B2/en
Application granted granted Critical
Publication of CN111932622B publication Critical patent/CN111932622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/02—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels involving automatic stabilisation of the line of sight
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0646—Rate of change of altitude or depth specially adapted for aircraft to follow the profile of undulating ground
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种无人机的飞行高度的确定装置、方法及***。所述确定装置包括无人机的底部的相机搭载在三轴自稳云台上；载波相位差分卫星定位***、图形处理计算机以及供电***均设置在无人机的顶部；图形处理计算机分别与载波相位差分卫星定位***、供电***以及相机连接；航姿参考***设置在三轴自稳云台的底部，航姿参考***与图形处理计算机连接；图形处理计算机用于根据载波相位差分卫星定位***采集的位置信息和航姿参考***采集的姿态信息以及相机获取的地面正射影图像确定无人机距离农田地表作物冠层的相对高度，并根据相对高度确定所述无人机的飞行高度。本发明实现了对飞行高度确定的精准性和数据的稳定性。

Description

一种无人机的飞行高度的确定装置、方法及***
技术领域
本发明涉及无人机领域，特别是涉及一种无人机的飞行高度的确定装置、方法及***。
背景技术
在使用无人机对农林作物信息获取作业时，由于光学成像任务设备有焦距和对焦点的要求，所以无人机在飞行时需要尽可能的与被拍摄作物保持一个相对稳定的距离。若不能保持相对高度的稳定，往往会出现“失焦”的情况，导致图像模糊，得不到所学的信息。在平原地区作业时，特别是在平整后的标准农田作业时，无人机在一个固定的高度保持这个高度飞行即可。但是在梯田或者丘陵地带，无人机需要根据地形数据或其它机载设备做仿地飞行。目前常用地理信息数据精度在1米左右，而且所表达的并不是作物冠层的高度，常用的机载设备如激光测距仪、超声波测距仪均采用测几个点取平均的方法来计算相对高度，这里的问题就比较多，由于受到冠层密度、土壤含水量、空气湿度、太阳辐射等干扰，并不能很稳定的监测无人机与作物冠层的相对高度。
发明内容
本发明的目的是提供一种无人机的飞行高度的确定装置、方法及***，能够稳定地监测无人机与作物冠层的相对高度，进而实现对飞行高度确定的精准性和数据的稳定性。
为实现上述目的，本发明提供了如下方案：
一种无人机的飞行高度的确定装置，包括：无人机、三轴自稳云台、载波相位差分卫星定位***、航姿参考***、图形处理计算机以及供电***；
所述无人机的底部的相机搭载在所述三轴自稳云台上，所述三轴自稳云台用于维持所述相机的光轴；
所述载波相位差分卫星定位***、图形处理计算机以及供电***均设置在所述无人机的顶部；
所述图形处理计算机分别与所述载波相位差分卫星定位***、供电***以及所述相机连接；
所述航姿参考***设置在所述三轴自稳云台的底部，所述航姿参考***与所述图形处理计算机连接；
所述图形处理计算机用于根据所述载波相位差分卫星定位***采集的位置信息和所述航姿参考***采集的姿态信息以及所述相机获取的地面正射影图像确定所述无人机距离农田地表作物冠层的相对高度，并根据所述相对高度确定所述无人机的飞行高度。
可选的，所述相机为高分辨率可见光相机。
一种无人机的飞行高度的确定方法，所述确定方法应用于的一种无人机的飞行高度的确定装置，所述确定方法包括：
在农业作业区域中获取多张地面正射影图像以及获取多张地面正射影图像时刻的无人机的位置数据和姿态数据；
根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔；
根据所述高斯差分金字塔确定任意两张相邻的地面正射影图像中的特征点；
对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对；
根据所述匹配特征点对确定所述匹配特征点对在空间中的位置；
根据所述无人机的位置数据和姿态数据确定无人机在空间中的位置；
根据所述无人机在空间中的位置和所述匹配特征点对在空间中的位置确定所述无人机距离农田地表作物冠层的相对高度；
根据所述相对高度确定所述无人机的飞行高度。
可选的，所述根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔，之前还包括：
利用公式xcorrected＝x(1+k1r2+k2r4+k3r6)、ycorrected＝y(1+k1r2+k2r4+k3r6)、xcorrected＝x+[2p1xy+p2(r2+2x2)]和ycorrected＝y+[p1(r2+2y2)+2p2xy]对所述地面正射影图像中的像素点进行校准；其中，k1、k2以及k3为径向畸变因子，p1和p2为切向畸变因子，x与y为像素点坐标，xcorrected和ycorrected为校准后的像素点的坐标，r为像素点距离图像中心点的距离。
可选的，所述对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对，具体包括：
根据所述地面正射影图像中的特征点构建每一特征点对应的特征描述向量；
根据每一特征点对应的特征描述向量确定一张地面正射影图像中的特征点与另一张地面正射影图像中的特征点之间的欧式距离；
将欧式距离小于距离阈值的特征点对作为匹配特征点对；所述匹配特征点对包括两个特征点；且位于不同的地面正射影图像中。
一种无人机的飞行高度的确定***，包括：
数据获取模块，用于在农业作业区域中获取多张地面正射影图像以及获取多张地面正射影图像时刻的无人机的位置数据和姿态数据；
高斯差分金字塔构建模块，用于根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔；
特征点确定模块，用于根据所述高斯差分金字塔确定任意两张相邻的地面正射影图像中的特征点；
匹配特征点对确定模块，用于对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对；
匹配特征点对在空间中的位置确定模块，用于根据所述匹配特征点对确定所述匹配特征点对在空间中的位置；
无人机在空间中的位置确定模块，用于根据所述无人机的位置数据和姿态数据确定无人机在空间中的位置；
相对高度确定模块，用于根据所述无人机在空间中的位置和所述匹配特征点对在空间中的位置确定所述无人机距离农田地表作物冠层的相对高度；
飞行高度确定模块，用于根据所述相对高度确定所述无人机的飞行高度。
可选的，还包括：
像素点校准模块，用于利用公式xcorrected＝x(1+k1r2+k2r4+k3r6)、ycorrected＝y(1+k1r2+k2r4+k3r6)、xcorrected＝x+[2p1xy+p2(r2+2x2)]和ycorrected＝y+[p1(r2+2y2)+2p2xy]对所述地面正射影图像中的像素点进行校准；其中，k1、k2以及k3为径向畸变因子，p1和p2为切向畸变因子，x与y为像素点坐标，xcorrected和ycorrected为校准后的像素点的坐标，r为像素点距离图像中心点的距离。
可选的，所述匹配特征点对确定模块具体包括：
特征描述向量构建单元，用于根据所述地面正射影图像中的特征点构建每一特征点对应的特征描述向量；
欧式距离确定单元，用于根据每一特征点对应的特征描述向量确定一张地面正射影图像中的特征点与另一张地面正射影图像中的特征点之间的欧式距离；
匹配特征点对确定单元，用于将欧式距离小于距离阈值的特征点对作为匹配特征点对；所述匹配特征点对包括两个特征点；且位于不同的地面正射影图像中。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种无人机的飞行高度的确定装置、方法及***，通过在无人机在飞行过程中，实时获取当前无人机的经纬度坐标、相机的姿态信息以及地面正射影图像，计算得到当前无人机距离农田地表作物冠层的相对高度，并根据所述相对高度确定所述无人机的飞行高度。在相对高度的指导下无人机做“仿地”飞行时，能比较客观的依照作物冠层来控制飞行高度，以达到对信息获取的精准性和数据的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种无人机的飞行高度的确定装置结构示意图；
图2为本发明所提供的一种无人机的飞行高度的确定方法流程示意图；
图3为本发明所提供的黑白棋盘格定标板示意图；
图4为本发明所提供的一种无人机的飞行高度的确定***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种无人机的飞行高度的确定装置、方法及***，
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种无人机的飞行高度的确定装置结构示意图，如图1所示，本发明所提供的一种无人机的飞行高度的确定装置，包括：无人机1、三轴自稳云台2、载波相位差分卫星定位***3、航姿参考***4、图形处理计算机5以及供电***6。
所述无人机1底部的相机7搭载在所述三轴自稳云台2上，所述三轴自稳云台2用于维持所述相机7的光轴。所述相机7为高分辨率可见光相机。
所述载波相位差分卫星定位***3、图形处理计算机5以及供电***6均设置在所述无人机1的顶部。
所述图形处理计算机5分别与所述载波相位差分卫星定位***3、供电***6以及所述相机7连接。
所述航姿参考***4设置在所述三轴自稳云台2的底部，所述航姿参考***4与所述图形处理计算机5连接。
所述图形处理计算机5用于根据所述载波相位差分卫星定位***3采集的位置信息和所述航姿参考***4采集的姿态信息以及所述相机7获取的地面正射影图像确定所述无人机1距离农田地表作物冠层的相对高度，并根据所述相对高度确定所述无人机的飞行高度。
所提供的一种无人机的飞行高度的确定装置的具体的工作过程为：
无人机1在地形复杂的农业作业区域飞行的过程中，图形处理计算机5可根据当前测得的经纬度坐标数据连续发出触发指令，控制搭载在三轴自稳云台2上的高分辨率可见光相机7以竖直向下的姿态持续完成多张图像采集，同时控制载波相位差分卫星定位***3以及航姿参考***4采集高分辨率可见光相机7当前所处的位置信息与姿态信息。上述信息通过数据线传送至高性能图形处理计算机5进行处理。
图2为本发明所提供的一种无人机的飞行高度的确定方法流程示意图，如图2所示，本发明所提供的一种无人机的飞行高度的确定方法，所述确定方法应用于上述的一种无人机的飞行高度的确定装置，所述确定方法包括：
S201，在农业作业区域中获取多张地面正射影图像以及获取多张地面正射影图像时刻的无人机的位置数据和姿态数据。使用相机前，利用每格间隔为25mm的黑白棋盘格定标板，如图3所示，对可见光相机进行内部参数的标定，需要采集8张以上不同角度的定标板图像，输入opencv运行库中利用Complete CameraToolboxofCalibration工具包对校准参数进行自动计算。
S202，根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔。
S202之前还包括：
利用公式xcorrected＝x(1+k1r2+k2r4+k3r6)、ycorrected＝y(1+k1r2+k2r4+k3r6)、xcorrected＝x+[2p1xy+p2(r2+2x2)]和ycorrected＝y+[p1(r2+2y2)+2p2xy]对所述地面正射影图像中的像素点进行校准；其中，k1、k2以及k3为径向畸变因子，p1和p2为切向畸变因子，x与y为像素点坐标，xcorrected和ycorrected为校准后的像素点的坐标，r为像素点距离图像中心点的距离。
构建高斯差分金字塔的过程具体为：
高斯金字塔中，共分为O组，每组分为S层。每组内图像的分辨率相同。随金字塔高度的增加，图像更加模糊。金字塔层数S取4层。其原始图像分辨率决定了高斯金字塔的组数。公式计算如下：
Figure BDA0002625205590000071
其中，X和Y代表原始图像的长和宽，
Figure BDA0002625205590000072
表示向下取整。
要构造高斯差分金字塔，需要对原始图进行模糊平滑处理，逐层生成图像，形成L(x,y,σ)的LOG(LaplaceofGaussians)尺度空间。它是由高斯函数G(x,y,σ)与图像I(x,y)进行卷积计算得到的。其公式为
Figure BDA0002625205590000073
其中x和y代表像素点在图像上的横轴与纵轴坐标值，
Figure BDA0002625205590000074
代表卷积计算，而G(x,y,σ)的计算公式如下所示：
Figure BDA0002625205590000075
其中，σ为尺度空间因子，σ的值越大，图像处理范围越大，图像较为平滑，x,y为像素点坐标。令原始图像的尺度空间因子为0.5。即高斯金字塔0组0层的图像尺度σ(0,0)为0.5，则第p组，第q层的尺度空间因子计算公式如下所示：
σ(p,q)＝2p+q*σ(0,0)。
联立上述公式即可计算LOG尺度空间L(x,y,σ)。将每一组内相邻的下层图像与上层图像做差，即可计算得出DOG(Differience of Gaussians)差分高斯金字塔。例如，LOG空间中第p组，第q+1层与第p组，第q层相减即可得到DOG差分高斯金字塔的第p组，第q层图像。
构建完DOG差分高斯金字塔后，在当前尺度空间以及相邻的尺度空间中的相邻像素点的范围内综合判定该像素点是否为极值点，进而可以得出特征点的位置。
S203，根据所述高斯差分金字塔确定任意两张相邻的地面正射影图像中的特征点。
S204，对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对。
S204具体包括：
根据所述地面正射影图像中的特征点构建每一特征点对应的特征描述向量。
根据每一特征点对应的特征描述向量确定一张地面正射影图像中的特征点与另一张地面正射影图像中的特征点之间的欧式距离。
将欧式距离小于距离阈值的特征点对作为匹配特征点对；所述匹配特征点对包括两个特征点；且位于不同的地面正射影图像中。
作为一个具体的实施例，特征点具体的匹配过程为：
根据特征点的位置信息可知该特征点的尺度值σ，根据这一尺度值，可以得到该尺度值的高斯图像。在3*1.5σ为半径的区域内计算图像内各个点的像素梯度的幅角和幅值。计算公式如下：
Figure BDA0002625205590000081
Figure BDA0002625205590000082
完成幅角和幅值的计算后，将幅角0～360°分为36个区间，每个区间10°，统计各个落在各个幅角区间的点的幅值之和，幅值和最大的方向即为该特征点的主方向。
将特征点为中心，将特征点附近
Figure BDA0002625205590000083
区域内的像素点的位置和方向旋转直到特征点主方向与x轴重合。旋转后以特征点为中心在旋转后的图像中取一个12σ*12σ的区域，并将它等间隔分割成4*4的子区域，每个区域大小为3σ。在每个子区域内将0°～360°按照45°的范围划分为8个角度区间，计算每个角度区间的幅值累加值，按照各点相对于特征点的距离进行高斯加权处理，形成128维SIFT特征矢量，作为该特征点的描述子。
将两张图片中的其中一张图片的特征点的特征向量与另外一张图的所有特征点的特征向量计算两个向量的欧式距离。如果距离最近的特征点的距离与距离次近的特征点的距离的比例小于0.79，则该特征点与另外一张图片上距离最近的特征点即可认为配对成一对特征点。
通过筛选匹配的特征点，获得匹配的特征点在以图片左上角为原点,自左往右为x轴正方向，自上往下为轴正方向的直角坐标系(此后称为：图像坐标系)中的像素点位置(单位：pixel)：(wn,hn)以及(wn+1,hn+1)。
S205，根据所述匹配特征点对确定所述匹配特征点对在空间中的位置。
所述匹配特征点对在空间中的位置为(xt,yt,zt),
Figure BDA0002625205590000091
其中，I与J均为矩阵。IT代表矩阵的转置。I与J具体如下：
Figure BDA0002625205590000092
Figure BDA0002625205590000093
其中，
Figure BDA0002625205590000094
代表了第n张图片中可以计算得到的图片特征矩阵Mn中第p行，第q列元素。
Mn的计算公式如下所示(Mn+1同理)：
Figure BDA0002625205590000095
其中，ox与oy分别代表了第n张图像中，中心像素点在图像坐标系中在x轴与y轴上的坐标值(单位：pixel)。参数gx与gy以及矩阵Tn按照如下的公式计算：
Figure BDA0002625205590000101
Figure BDA0002625205590000102
Tn＝[xn yn zn]。
在上述公式中，f代表可见光相机镜头焦距(单位：mm)，ex与ey为相机感光元件上每个像素在x轴和y轴上所对应的长度，单位为mm/pixel。
根据上述公式计算得出特征点的在现实地图坐标系中的坐标信息(xt，yt，zt)。
S206，根据所述无人机的位置数据和姿态数据确定无人机在空间中的位置。
以第n张图片与第n+1张图片为例，基于步骤2中的数据，可以获得的相机在拍摄第n张图片时在以RTK-GPS***基准站为原点，东向为x轴正向，北向为y轴正向，竖直向上为z轴正向的三维空间坐标系(此后称为：现实地图坐标系)中的三维空间坐标(xn，yn，zn)以及第n+1张照片时的三维空间坐标(xn+1，yn+1，zn+1)，单位为m；
从航姿参考***可以获得图片拍摄时，以相机为原点的坐标系(此后称为：相机坐标系)旋转到现实地图坐标系分别绕x轴、y轴、z轴旋转的角度为α、β、γ(单位：°)。形成如下的旋转矩阵：
Figure BDA0002625205590000103
S207，根据所述无人机在空间中的位置和所述匹配特征点对在空间中的位置确定所述无人机距离农田地表作物冠层的相对高度。
特征点所在的地表位置与飞行器在垂直方向上的高度差以及无人机当前的三维空间坐标进行插值计算，得出了无人机相对于地表作物冠层表面的高度。
S208，根据所述相对高度确定所述无人机的飞行高度。
图4为本发明所提供的一种无人机的飞行高度的确定***结构示意图，如图4所示，本发明所提供的一种无人机的飞行高度的确定***，包括：数据获取模块401、高斯差分金字塔构建模块402、特征点确定模块403、匹配特征点对确定模块404、匹配特征点对在空间中的位置确定模块405、无人机在空间中的位置确定模块406、相对高度确定模块407和飞行高度确定模块408。
数据获取模块401用于在农业作业区域中获取多张地面正射影图像以及获取多张地面正射影图像时刻的无人机的位置数据和姿态数据。
高斯差分金字塔构建模块402用于根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔。
特征点确定模块403用于根据所述高斯差分金字塔确定任意两张相邻的地面正射影图像中的特征点。
匹配特征点对确定模块404用于对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对。
匹配特征点对在空间中的位置确定模块405用于根据所述匹配特征点对确定所述匹配特征点对在空间中的位置。
无人机在空间中的位置确定模块406用于根据所述无人机的位置数据和姿态数据确定无人机在空间中的位置。
相对高度确定模块407用于根据所述无人机在空间中的位置和所述匹配特征点对在空间中的位置确定所述无人机距离农田地表作物冠层的相对高度。
飞行高度确定模块408用于根据所述相对高度确定所述无人机的飞行高度。
本发明所提供的一种无人机的飞行高度的确定***，还包括：像素点校准模块。
像素点校准模块用于利用公式xcorrected＝x(1+k1r2+k2r4+k3r6)、ycorrected＝y(1+k1r2+k2r4+k3r6)、xcorrected＝x+[2p1xy+p2(r2+2x2)]和ycorrected＝y+[p1(r2+2y2)+2p2xy]对所述地面正射影图像中的像素点进行校准；其中，k1、k2以及k3为径向畸变因子，p1和p2为切向畸变因子，x与y为像素点坐标，xcorrected和ycorrected为校准后的像素点的坐标，r为像素点距离图像中心点的距离。
所述匹配特征点对确定模块具体包括：特征描述向量构建单元、欧式距离确定单元和匹配特征点对确定单元。
特征描述向量构建单元用于根据所述地面正射影图像中的特征点构建每一特征点对应的特征描述向量。
欧式距离确定单元用于根据每一特征点对应的特征描述向量确定一张地面正射影图像中的特征点与另一张地面正射影图像中的特征点之间的欧式距离。
匹配特征点对确定单元用于将欧式距离小于距离阈值的特征点对作为匹配特征点对；所述匹配特征点对包括两个特征点；且位于不同的地面正射影图像中。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种无人机的飞行高度的确定方法，其特征在于，所述确定方法应用于一种无人机的飞行高度的确定装置，所述确定装置包括：无人机、三轴自稳云台、载波相位差分卫星定位***、航姿参考***、图形处理计算机以及供电***；所述无人机底部的相机搭载在所述三轴自稳云台上，所述三轴自稳云台用于维持所述相机的光轴；所述载波相位差分卫星定位***、图形处理计算机以及供电***均设置在所述无人机的顶部；所述图形处理计算机分别与所述载波相位差分卫星定位***、供电***以及所述相机连接；所述航姿参考***设置在所述三轴自稳云台的底部，所述航姿参考***与所述图形处理计算机连接；所述图形处理计算机用于根据所述载波相位差分卫星定位***采集的位置信息和所述航姿参考***采集的姿态信息以及所述相机获取的地面正射影图像确定所述无人机距离农田地表作物冠层的相对高度，并根据所述相对高度确定所述无人机的飞行高度；所述相机为高分辨率可见光相机；所述确定方法包括：
在农业作业区域中获取多张地面正射影图像以及获取多张地面正射影图像时刻的无人机的位置数据和姿态数据；
根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔；
根据所述高斯差分金字塔确定任意两张相邻的地面正射影图像中的特征点；
对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对；
根据所述匹配特征点对确定所述匹配特征点对在空间中的位置；
根据所述无人机的位置数据和姿态数据确定无人机在空间中的位置；
根据所述无人机在空间中的位置和所述匹配特征点对在空间中的位置确定所述无人机距离农田地表作物冠层的相对高度；
根据所述相对高度确定所述无人机的飞行高度。
2.根据权利要求1所述的一种无人机的飞行高度的确定方法，其特征在于，所述根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔，之前还包括：
利用公式xcorrected＝x(1+k1r2+k2r4+k3r6)、ycorrected＝y(1+k1r2+k2r4+k3r6)、xcorrected＝x+[2p1xy+p2(r2+2x2)]和ycorrected＝y+[p1(r2+2y2)+2p2xy]对所述地面正射影图像中的像素点进行校准；其中，k1、k2以及k3为径向畸变因子，p1和p2为切向畸变因子，x与y为像素点坐标，xcorrected和ycorrected为校准后的像素点的坐标，r为像素点距离图像中心点的距离。
3.根据权利要求1所述的一种无人机的飞行高度的确定方法，其特征在于，所述对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对，具体包括：
根据所述地面正射影图像中的特征点构建每一特征点对应的特征描述向量；
根据每一特征点对应的特征描述向量确定一张地面正射影图像中的特征点与另一张地面正射影图像中的特征点之间的欧式距离；
将欧式距离小于距离阈值的特征点对作为匹配特征点对；所述匹配特征点对包括两个特征点；且位于不同的地面正射影图像中。
4.一种无人机的飞行高度的确定***，其特征在于，包括：
数据获取模块，用于在农业作业区域中获取多张地面正射影图像以及获取多张地面正射影图像时刻的无人机的位置数据和姿态数据；
高斯差分金字塔构建模块，用于根据任意两张相邻的地面正射影图像中的像素点构建高斯差分金字塔；
特征点确定模块，用于根据所述高斯差分金字塔确定任意两张相邻的地面正射影图像中的特征点；
匹配特征点对确定模块，用于对所述两张相邻的地面正射影图像中的特征点进行匹配，确定匹配特征点对；
匹配特征点对在空间中的位置确定模块，用于根据所述匹配特征点对确定所述匹配特征点对在空间中的位置；
无人机在空间中的位置确定模块，用于根据所述无人机的位置数据和姿态数据确定无人机在空间中的位置；
相对高度确定模块，用于根据所述无人机在空间中的位置和所述匹配特征点对在空间中的位置确定所述无人机距离农田地表作物冠层的相对高度；
飞行高度确定模块，用于根据所述相对高度确定所述无人机的飞行高度。
5.根据权利要求4所述的一种无人机的飞行高度的确定***，其特征在于，还包括：
像素点校准模块，用于利用公式xcorrected＝x(1+k1r2+k2r4+k3r6)、ycorrected＝y(1+k1r2+k2r4+k3r6)、xcorrected＝x+[2p1xy+p2(r2+2x2)]和ycorrected＝y+[p1(r2+2y2)+2p2xy]对所述地面正射影图像中的像素点进行校准；其中，k1、k2以及k3为径向畸变因子，p1和p2为切向畸变因子，x与y为像素点坐标，xcorrected和ycorrected为校准后的像素点的坐标，r为像素点距离图像中心点的距离。
6.根据权利要求4所述的一种无人机的飞行高度的确定***，其特征在于，所述匹配特征点对确定模块具体包括：
特征描述向量构建单元，用于根据所述地面正射影图像中的特征点构建每一特征点对应的特征描述向量；
欧式距离确定单元，用于根据每一特征点对应的特征描述向量确定一张地面正射影图像中的特征点与另一张地面正射影图像中的特征点之间的欧式距离；
匹配特征点对确定单元，用于将欧式距离小于距离阈值的特征点对作为匹配特征点对；所述匹配特征点对包括两个特征点；且位于不同的地面正射影图像中。
CN202010794874.4A 2020-08-10 2020-08-10 一种无人机的飞行高度的确定装置、方法及*** Active CN111932622B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010794874.4A CN111932622B (zh) 2020-08-10 2020-08-10 一种无人机的飞行高度的确定装置、方法及***
NL2027359A NL2027359B1 (en) 2020-08-10 2021-01-21 Device, method and system for determining flight height of unmanned aerial vehicle
US17/159,676 US11568556B2 (en) 2020-08-10 2021-01-27 Device, method and system for determining flight height of unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010794874.4A CN111932622B (zh) 2020-08-10 2020-08-10 一种无人机的飞行高度的确定装置、方法及***

Publications (2)

Publication Number Publication Date
CN111932622A CN111932622A (zh) 2020-11-13
CN111932622B true CN111932622B (zh) 2022-06-28

Family

ID=73308224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010794874.4A Active CN111932622B (zh) 2020-08-10 2020-08-10 一种无人机的飞行高度的确定装置、方法及***

Country Status (3)

Country Link
US (1) US11568556B2 (zh)
CN (1) CN111932622B (zh)
NL (1) NL2027359B1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109987226B (zh) * 2014-12-23 2021-01-22 深圳市大疆灵眸科技有限公司 Uav全景成像
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备
US20180178911A1 (en) * 2016-12-28 2018-06-28 Autel Robotics Co., Ltd. Unmanned aerial vehicle positioning method and apparatus
CN107202982B (zh) * 2017-05-22 2018-08-07 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN110276734B (zh) * 2019-06-24 2021-03-23 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN110542407A (zh) * 2019-07-23 2019-12-06 中国科学院长春光学精密机械与物理研究所 一种航拍图像任意像素点定位信息获取方法
CN111080709B (zh) * 2019-11-22 2023-05-05 大连理工大学 基于轨迹特征配准的多光谱立体相机自标定算法
US11555703B2 (en) * 2020-04-22 2023-01-17 Honeywell International Inc. Adaptive gaussian derivative sigma systems and methods

Also Published As

Publication number Publication date
CN111932622A (zh) 2020-11-13
US20220044434A1 (en) 2022-02-10
US11568556B2 (en) 2023-01-31
NL2027359A (en) 2021-03-25
NL2027359B1 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
Tahar An evaluation on different number of ground control points in unmanned aerial vehicle photogrammetric block
Pérez et al. Low cost surveying using an unmanned aerial vehicle
CN101598556B (zh) 一种未知环境下无人机视觉/惯性组合导航方法
Madawalagama et al. Low cost aerial mapping with consumer-grade drones
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合***及方法
Nagendran et al. Accuracy assessment on low altitude UAV-borne photogrammetry outputs influenced by ground control point at different altitude
CN112710311B (zh) 一种地形自适应无人机三维实景重建航摄点自动规划方法
Mouget et al. Photogrammetric archaeological survey with UAV
CN110986888A (zh) 一种航空摄影一体化方法
CN108007437B (zh) 一种基于多旋翼飞行器测量农田边界与内部障碍的方法
Lo et al. The direct georeferencing application and performance analysis of uav helicopter in gcp-free area
CN113415433A (zh) 基于三维场景模型的吊舱姿态修正方法、装置和无人机
Szabó et al. Zooming on aerial survey
Dinkov et al. Advantages, disadvantages and applicability of GNSS post-processing kinematic (PPK) method for direct georeferencing of UAV images
Nasrullah Systematic analysis of unmanned aerial vehicle (UAV) derived product quality
Alves Júnior et al. High accuracy mapping with cartographic assessment for a fixed-wing remotely piloted aircraft system
Meyer et al. Utility of low-cost drones to generate 3D models of archaeological sites from multisensor data
El-Ashmawy A comparison study between collinearity condition, coplanarity condition, and direct linear transformation (DLT) method for camera exterior orientation parameters determination
CN111932622B (zh) 一种无人机的飞行高度的确定装置、方法及***
Barna et al. Mathematical analysis of drone flight path
CN115752468A (zh) 一种基于手眼协调的无人机避障方法
Guntel et al. Accuracy analysis of control point distribution for different terrain types on photogrammetric block
Zainuddin et al. The feasibility of using low-cost commercial unmanned aerial vehicle for small area topographic mapping
Kwoczyńska et al. Integration of data obtained from laser scanning and UAV used to develop a 3D model of the building object
Grejner-Brzezinska et al. On sensor georeferencing and point cloud generation with sUAS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210524

Address after: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Applicant after: ZHEJIANG University

Applicant after: HUANAN INDUSTRIAL TECHNOLOGY RESEARCH INSTITUTE OF ZHEJIANG University

Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Applicant before: ZHEJIANG University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant