CN112116651B - 一种基于无人机单目视觉的地面目标定位方法和*** - Google Patents

一种基于无人机单目视觉的地面目标定位方法和*** Download PDF

Info

Publication number
CN112116651B
CN112116651B CN202010807215.XA CN202010807215A CN112116651B CN 112116651 B CN112116651 B CN 112116651B CN 202010807215 A CN202010807215 A CN 202010807215A CN 112116651 B CN112116651 B CN 112116651B
Authority
CN
China
Prior art keywords
image
ground target
unmanned aerial
aerial vehicle
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010807215.XA
Other languages
English (en)
Other versions
CN112116651A (zh
Inventor
康颖
王宁
史殿习
张拥军
秦伟
崔玉宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN202010807215.XA priority Critical patent/CN112116651B/zh
Publication of CN112116651A publication Critical patent/CN112116651A/zh
Application granted granted Critical
Publication of CN112116651B publication Critical patent/CN112116651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于无人机单目视觉的地面目标定位方法和***，包括：获取地面目标在每帧无人机单目视觉图像中的位置；基于图像中的位置，采用视场角计算地面目标的真实坐标；将地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息。针对当前基于无人机机载相机的地面目标定位都需要使用已经标定好的相机焦距参数来进行计算，如果相机无法准确的标定，定位结果会产生很大的误差。本发明可以针对标定条件不足的场景进行问题解决，不使用需要标定的相机焦距，而是采用相机视场角参数进行定位计算，只需要获知相机的额定视场角即可，无需事先标定。这样可以提高定位算法在条件短缺的情况下的可用性和准确性。

Description

一种基于无人机单目视觉的地面目标定位方法和***
技术领域
本发明属于计算机视觉与无人机传感器技术领域，具体涉及一种基于无人机单目视觉的地面目标定位方法和***。
背景技术
近年来无人机(Unmanned Aerial Vehicle,UAV)在各种场景中都扮演着重要的角色，比如无人机搜救与侦察、环境监控、交通管理等。在这些应用场景中，无人机的一个非常重要的任务就是检测和跟踪感兴趣的目标。比如搜救任务中，无人机的任务是盘旋在受灾区域上空，准确检测到需要搜救的受灾人员并提供人员方位，方便救援人员实施救援。在无人机检测并跟踪目标的任务中，对目标的真实坐标定位是必不可少的。在目标定位方面，研究人员做了大量的研究工作，方法涉及基于视觉的定位、无源雷达定位、声纳***定位和红外定位等，每种定位方法都依赖于特定的传感器支持。在这些定位方法中，基于视觉的定位不仅简单易用，而且视觉相机的价格也更加亲民。因此随着计算机视觉技术的飞速发展，大量的视觉定位***应运而生并在各个领域得到了广泛的应用。
基于视觉的目标定位是计算机视觉的研究热点之一，因为它有十分重要的实际应用价值。目标定位的任务是在确定目标在图像中的位置的前提下，准确估计出目标在真实世界中与无人机的相对位置坐标。其中目标在图像中的位置可由人工手动框出、目标检测算法和目标跟踪算法得到的目标边界框来获取。一个无人机上搭载单个相机的定位被称作单目视觉定位。目前无人机单目视觉定位分为单无人机定位和多无人机定位两个分支。单机定位需以地面为水平面，通过全球定位***(Global Positioning System,GPS)传感器测量无人机与地面之间的相对高度，然后无人机根据自身飞行高度和目标在相机图像中的位置来完成目标定位。多机定位是使用多架无人机同时持续观测同一个目标，每架无人机都可以使用单机定位算法获得一个目标的定位，随后将每架无人机获取的目标定位坐标使用融合算法进行融合，来得到最终的目标定位。多机定位实际上是多个单机定位的有效融合，所以其基础还是单机定位。目前的单机单目视觉定位算法最有效的方法是使用相机标定+空间维度变换，利用事先标定好的相机内部参数和外部参数，对目标图像进行2D到3D空间的变换，完成地面目标的空间坐标定位。这种方法依赖于精确的相机参数标定，如果标定不准确，会使定位结果出现较大误差。标定需要特定的设备和环境，并且容易受到光照、棋盘格是否标准等因素的影响，所以在一些标定条件不足的场景中难以实施。如何在标定条件不足的场景下进行地面目标的精确定位，已经成为一个亟需解决的问题。
在无人机飞行过程中，无人机运动会导致其机载相机的位姿角度发生变化，从而改变了目标定位中2D到3D的坐标映射关系，使定位出错。这样的错误在目标跟踪定位过程中是致命的，很可能直接影响到无人机跟踪目标的飞行航线，使无人机跟丢目标。所以无人机运动时如何保证持续准确的目标定位，是一个需要解决的问题.
现有的无人机单目视觉目标定位算法还不能有效满足在标定条件不足和无人机飞行中持续定位的需要，研究一种持续准确、且不依赖于精确相机标定的定位算法尤为重要。
发明内容
为克服上述现有技术的不足，本发明提出一种基于无人机单目视觉的地面目标定位方法，包括：
获取地面目标在每帧无人机单目视觉图像中的位置；
基于所述图像中的位置，采用视场角计算地面目标的真实坐标；
将所述地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息。
优选的，所述获取地面目标在每帧无人机单目视觉图像中的位置，包括：
当地面目标首次出现在无人机单目视觉图像的图像帧中时，框出包含地面目标的初始目标框；
根据所述初始目标框初始化目标跟踪算法，并采用所述目标跟踪算法对地面目标首次出现后的每一帧图像进行目标跟踪，实时框出地面目标，得到地面目标在每帧无人机单目视觉图像中的位置。
优选的，所述基于所述图像中的位置，采用视场角计算地面目标的真实坐标，包括：
以机载相机的位置为世界坐标系原点，建立世界坐标系；
计算图像帧上地面目标与图像中心点间的图像坐标偏移量；
根据所述图像坐标偏移量并结合视场角，计算地面目标在图像帧上的位置点在世界坐标系上的坐标；
根据所述位置点在世界坐标系上的坐标，计算地面目标的真实坐标。
优选的，所述根据所图像坐标偏移量并结合视场角，计算地面目标在图像帧上的位置点在世界坐标系上的坐标，包括：
根据图像中心点到图像边界的图像上距离，并结合视场角，计算图像中心点到图像边界的真实世界上的距离；
根据图像中心点到图像边界的图像上距离、真实世界上的距离以及所述图像坐标偏移量，计算地面目标在图像帧上的位置点与图像中心点间在真实世界的坐标偏移量；
以所述真实世界的坐标偏移量并结合焦距，得到不考虑相机旋转和无人机飞行高度的所述位置点在真实世界中的初始坐标；
将所述初始坐标依次叠加相机的旋转矩阵和无人机飞行高度，得到地面目标在图像帧上的位置点在世界坐标系上的坐标。
优选的，所述图像中心点到图像边界的真实世界上的距离的计算式如下：
Figure BDA0002629582460000031
其中，Lw/2表示水平方向上图像中心点到图像边界的真实世界上的距离，Lh/2表示垂直方向上图像中心点到图像边界的真实世界上的距离，fc表示相机的焦距，Fhor表示相机的水平视场角，Fver表示相机的垂直视场角。
优选的，所述真实世界的坐标偏移量的计算式如下：
Figure BDA0002629582460000032
Figure BDA0002629582460000033
式中，LΔw表示水平方向上真实世界的坐标偏移量，Δw表示水平方向上的图像坐标偏移量，w表示图像宽度，LΔh表示垂直方向上真实世界的坐标偏移量，Δh表示水平垂直方向上的图像坐标偏移量，h表示图像高度。
优选的，所述根据所述位置点在世界坐标系上的坐标，计算地面目标的真实坐标，包括：
根据所述位置点在世界坐标系上的坐标，计算相机坐标点与所述位置点在真实世界中的连线函数方程；
以地面高度为0，采用所述连线函数方程消除焦距，计算地面目标的真实坐标。
优选的，所述将所述地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息，包括：
通过惯性测量单元获取无人机位姿信息，并基于所述位姿信息计算无人机旋转矩阵；
将所述无人机旋转矩阵叠加到所述相机的旋转矩阵上，通过计算得到无人机飞行的过程中地面目标的定位信息。
优选的，所述基于所述图像中的位置，采用视场角计算地面目标的真实坐标之后，且将所述地面目标的真实坐标叠加无人机的位姿信息之前，还包括：
采用卡尔曼滤波的方法对无人机位姿信息进行滤波去噪。
基于同一发明构思，本申请还提供了一种基于无人机单目视觉的地面目标定位***，其特征在于，包括：位置获取模块、坐标计算模块和定位模块；
所述位置获取模块，用于获取地面目标在每帧无人机单目视觉图像中的位置；
所述坐标计算模块，用于基于所述图像中的位置，采用视场角计算地面目标的真实坐标；
所述定位模块，用于将所述地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息。
与最接近的现有技术相比，本发明具有的有益效果如下：
本发明提供了一种基于无人机单目视觉的地面目标定位方法和***，包括：获取地面目标在每帧无人机单目视觉图像中的位置；基于图像中的位置，采用视场角计算地面目标的真实坐标；将地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息。针对当前基于无人机机载相机的地面目标定位都需要使用已经标定好的相机焦距参数来进行计算，如果相机无法准确的标定，定位结果会产生很大的误差。本发明可以针对标定条件不足的场景进行问题解决，不使用需要标定的相机焦距，而是采用相机视场角参数进行定位计算，只需要获知相机的额定视场角即可，无需事先标定。这样可以提高定位算法在条件短缺的情况下的可用性和准确性。
附图说明
图1为本发明提供的一种基于无人机单目视觉的地面目标定位方法流程示意图；
图2为本发明提供的一种基于无人机单目视觉的地面目标定位方法总体流程图；
图3为本发明提供的***框架图；
图4为本发明提供的一种基于无人机单目视觉的地面目标定位基本结构示意图；
图5为本发明提供的一种基于无人机单目视觉的地面目标定位详细结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的详细说明。
本发明要解决的技术问题是提供一种基于相机视场角(Field of View,FOV)的无人机单目视觉的地面目标定位方法，该方法不依赖于精确的相机焦距标定，可以不进行严格的相机标定，实现对视觉图像中的目标的真实物理坐标定位，提高定位方法的实时性和易用性。同时将惯性测量单元(Inertial measurement unit,IMU)，测量的位姿数据应用到定位算法中，使得上述方法在无人机发生位姿变化时也能进行精确目标定位。
实施例1：
本发明提供的一种基于无人机单目视觉的地面目标定位方法流程示意图如图1所示，包括：
S1：获取地面目标在每帧无人机单目视觉图像中的位置；
S2：基于图像中的位置，采用视场角计算地面目标的真实坐标；
S3：将地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息。
本发明的具体技术方案如图2所示，包括：
第一步，实现基于相机的视场角(FOV)地面目标定位算法，在无人机飞行过程中计算地面目标的真实坐标。
具体方法为：
1.1以机载相机的位置为世界坐标系原点O(0,0,0)，建立世界坐标系(x,y,Z)。
1.2机载相机由万向节来控制，可以自由旋转，计算每一时刻相机相对于初始角度的旋转角度，具体方法如下：
1.2.1实时获取机载相机相对于初始角度的旋转角度，这个旋转角度可由连接机载相机与无人机的万向节来获取到。旋转角度以欧拉角的形式来表示，即翻滚角(Roll)、俯仰角(Pitch)和偏航角(Yaw)，分别使用φ,β,γ来表示Roll，Pitch和Yaw。
1.2.2根据φ,β,γ这三个旋转角度，使用旋转矩阵的计算方法来求出对应的三个旋转矩阵Rφ,Rβ,Rγ，计算公式为公式(1)–公式(3)
Figure BDA0002629582460000051
Figure BDA0002629582460000052
Figure BDA0002629582460000061
由此可计算出合旋转矩阵Rφβγ＝RγRβRφ。
1.3计算目标的位置坐标即位置点T与图像中心点C的图像坐标偏移量(Δw,Δh)。T的坐标值可由包含地面目标的目标框来计算，计算公式为公式(4)
Figure BDA0002629582460000062
式中，uT为T的水平坐标，vT为T的垂直坐标，rx为目标框左上角顶点在图像u方向即水平方向的坐标，ry为目标框左上角顶点在图像v方向即垂直方向的坐标，rw为目标框的长度，rh为目标框的宽度。
C的坐标值为
Figure BDA0002629582460000063
因此坐标偏移量可由T和C的坐标值相减求得：
Figure BDA0002629582460000064
Figure BDA0002629582460000065
其中，w表示图像宽度，h表示图像高度。
1.4已知图像中心点C到图像边界的图像坐标系距离
Figure BDA0002629582460000066
计算其在真实世界中的距离(Lw/2,Lh/2)，计算公式为公式(5)
Figure BDA0002629582460000067
其中fc表示相机的焦距(以米为单位)，Fhor和Fver分别表示相机的水平和垂直视场角。其中，水平和垂直视场角为相机的额定参数。
1.5计算目标在图像中的位置T点在真实世界坐标系中的坐标，具体方法如下：
1.5.1根据C的图像坐标系距离
Figure BDA0002629582460000068
与其在真实世界中的距离(Lw/2,Lh/2)、目标的位置坐标T的中心偏移量即图像坐标偏移量(Δw,Δh)与其在真实世界中的偏移量(LΔw,LΔh)去计算图像坐标系与真实坐标系的比例关系，
Figure BDA0002629582460000069
可求得LΔw和LΔh的值。
1.5.2图像平面到相机位置的真实距离即为焦距fc，则可得T点在真实世界中的坐标
Figure BDA00026295824600000610
1.6计算在相机旋转后，目标在图像中的位置T点在真实世界坐标系中的坐标，即将相机的旋转矩阵Rφ,Rβ,Rγ叠加到T点初始的真实世界坐标TW上，计算公式为公式(6)
Figure BDA0002629582460000071
1.7将无人机飞行高度应用到
Figure BDA0002629582460000072
的计算中，得到无人机飞行中，目标点的真实世界坐标
Figure BDA0002629582460000073
Figure BDA0002629582460000074
其中hu为无人机真实飞行高度，可由GPS传感器获得。
1.8定义地面平面为z＝0，计算地面目标的真实坐标TR，具体方法如下：
1.8.1计算相机坐标点与目标在图像中的成像点在真实世界中的连线函数方程，当无人机起飞后，相机真实世界坐标为(0,0,hu)，则根据直线两点式可得连线方程为：
Figure BDA0002629582460000075
1.8.2将z＝0代入连线方程，即可得地面目标真实坐标
Figure BDA0002629582460000076
在这个计算过程中，
Figure BDA0002629582460000077
都包含同样的fc，所以可以消去，实现无fc的定位。
第二步，实现在目标定位中叠加无人机的位姿信息，相机受到万向节的控制发生旋转，可以得到旋转矩阵Rφβγ。在无人机飞行过程中，位姿不断变化的情况下，可由IMU获取位姿信息，并解算出无人机旋转矩阵RU。RU叠加到相机的旋转矩阵上，实现无人机飞行的过程中，也能准确跟踪目标。
具体方法如下：
2.1通过IMU获取无人机位姿信息，并计算无人机旋转矩阵RU。
2.1.1IMU获取到的数据是四元数的格式，四元数是一种超复数，由一个实部合三个虚部组成。单位四元数可以表示三维平面的一个旋转操作。定义uR为三维空间的一个旋转轴，则IMU获取到的四元数信息可定义为公式(8)
Figure BDA0002629582460000078
其中α为绕uR旋转的旋转角度。
2.1.2另一个四元数
Figure BDA0002629582460000079
被
Figure BDA00026295824600000710
旋转后得到
Figure BDA00026295824600000711
旋转公式为
Figure BDA00026295824600000712
(
Figure BDA00026295824600000713
表示四元数的乘积)，进一步求解可得公式(9)
Figure BDA0002629582460000081
其中
Figure BDA0002629582460000082
是
Figure BDA0002629582460000083
的标量，v和vR分别是
Figure BDA0002629582460000084
和
Figure BDA0002629582460000085
的向量部分。由此可以解得无人机旋转矩阵RU。
2.2将无人机旋转矩阵RU叠加到目标定位即地面目标的真实坐标中，无人机的旋转和相机万向节的旋转可以看作是一种叠加关系：即相机先进行万向节的旋转，再在万向节旋转的基础上执行无人机的旋转，因此相机整体旋转矩阵可定义为RU_φβγ＝RURφβγ。使用RU_φβγ替换第二步中的Rφβγ，实现定位过程中无人机位姿矩阵的叠加。
将无人机的运动位姿数据实时地叠加到目标定位算法中，实现了无论无人机如何运动，角度如何变化，都能够准确定位地面目标。这样真正实现了全时刻的定位。
以第一步到第二步的方法为基础建立的***框架图如图3所示，图中的RPY角即视场角。
第三步，基于IMU观测到的无人机角速度信息，使用卡尔曼滤波器对无人机位姿信息进行滤波去噪。
具体方法为：
3.1定义四元数
Figure BDA00026295824600000817
关于时间t的导数为
Figure BDA0002629582460000086
其中uR表示一个固定的旋转轴，故有duR＝0，α为旋转角。
3.2求解旋转角α关于时间t的导数，
Figure BDA0002629582460000087
ωE即为绕uR轴旋转的瞬时角速度，其在uR三个分轴上的分速度为
Figure BDA0002629582460000088
3.3求解
Figure BDA0002629582460000089
关于
Figure BDA00026295824600000810
的更新公式。
3.3.1将3.1中的公式提取出一个
Figure BDA00026295824600000811
将3.2中的ωE代入得：
Figure BDA00026295824600000812
Ω(t)是由ωE组成的4×4的矩阵。
3.3.2在3.3.1中的
Figure BDA00026295824600000813
公式是一个齐次线性方程，可求得其通解的离散形式：
Figure BDA00026295824600000814
Figure BDA00026295824600000815
3.3.3将上式进行泰勒展开，并提取前两项，可得公式(10)
Figure BDA00026295824600000816
3.4利用IMU对角速度的采样数据计算瞬时角速度，并构建卡尔曼滤波器对位姿信息进行去噪。
3.4.1定义fG为IMU的角速度采样频率，则有
Figure BDA0002629582460000091
其中
Figure BDA0002629582460000092
表示Δt时间内的角度变化，当Δt足够小时其表示瞬时角速度。
3.4.2根据3.3.3的更新公式以及所有已知量，构建卡尔曼滤波器完成位姿的去噪。结束。
在进行目标定位的实际过程中，可以在持续定位过程中，第二步之后执行第三步，也可以在第二步获取四元数之后，且将地面目标的真实坐标叠加无人机的位姿信息前，执行步骤三。
采用了卡尔曼滤波的方法对观测数据进行滤波去噪，充分利用了IMU的观测角速度对无人机位姿进行预测并去噪。这样实现了最终定位结果的平稳，并使定位结果更加准确。
实施例2：
下面给出另外一个基于无人机单目视觉的地面目标定位方法的实施例。
该实施例包括以下步骤：
第a1步，获取目标在每帧图像中的位置。在无人机起飞、相机开启并且地面目标就位后，采用手工框出目标或目标检测算法来初始化目标位置，并用目标跟踪的方法来不断获取目标在图像中的位置。手工框出目标即在相机拍摄到目标后，在包含目标的这帧图像上使用手工画矩形框的方式将目标框出，初始化目标在图像中的位置；使用目标检测算法即当相机拍摄到目标后，检测算法会自动检测到目标并使用矩形框框出目标。随后使用初始目标框以及初始帧来初始化目标跟踪算法，使跟踪算法在随后的每帧中能够跟踪并框出目标。
具体方法为：
a1.1无人机起飞并开启摄像头对地进行拍摄，将摄像头捕获到的每一帧图像传回地面站，由地面站进行处理。
a1.2当目标出现在某帧图像I中，使用手工或目标检测的方法框出图像I中的目标，方法是：
a1.2.1手工的方法即使用OpenCV等图像处理框架编写框取程序，由工程师执行该程序，在图像I上使用鼠标画出目标框。目标框包含四个数值{rx,ry,rw,rh}，令(u,v)表示图像坐标系的两个坐标轴，则rx和ry分别表示目标框左上角顶点在图像I的u方向和v方向上的坐标，rw和rh分别表示目标框的长和宽。
a1.2.2目标检测的方法即调用目标检测算法处理图像I，直接得到目标框。常用的目标检测算法有：YOLO、Faster-RCNN、SSD等。得到的目标框数据形式同a1.2.1中所述。
a1.3使用图像I的目标框数据初始化目标跟踪算法，然后使用跟踪算法对随后的每一帧图像进行目标跟踪，实时框出目标。常用的目标跟踪算法有：KCF、TLD、SiamFC等。
第a2步，实现基于相机的视场角(FOV)地面目标定位算法，在无人机飞行过程中计算地面目标的真实坐标。
具体方法为：
a2.1以机载相机的位置为世界坐标系原点O(0,0,0)，建立世界坐标系(x,y,z)。
a2.2机载相机由万向节来控制，可以自由旋转，计算每一时刻相机相对于初始角度的旋转角度，具体方法如下：
a2.2.1实时获取机载相机相对于初始角度的旋转角度，这个旋转角度可由连接机载相机与无人机的万向节来获取到。旋转角度以欧拉角的形式来表示，即翻滚角(Roll)、俯仰角(Pitch)和偏航角(Yaw)，分别使用φ,β,γ来表示Roll，Pitch和Yaw。
a2.2.2根据φ,β,γ这三个旋转角度，使用旋转矩阵的计算方法来求出对应的三个旋转矩阵Rφ,Rβ,Rγ。
a2.3计算目标的位置坐标T与图像中心点C的坐标偏移量(Δw,Δh)。T的坐标值可由a1.2.1中得到的目标框来计算，计算公式为
Figure BDA0002629582460000101
C的坐标值为
Figure BDA0002629582460000102
因此坐标偏移量可由T和C的坐标值相减求得：
Figure BDA0002629582460000103
其中，w和h分别为图像的宽度和高度。
a2.4已知图像中心点C到图像边界的图像坐标系距离
Figure BDA0002629582460000104
计算其在真实世界中的距离
Figure BDA0002629582460000105
其中fc表示相机的焦距(以米为单位)，Fhor和Fver分别表示相机的水平和垂直视场角。
a2.5计算目标在图像中的位置T点在真实世界坐标系中的坐标，具体方法如下：
a2.5.1根据图像坐标系距离
Figure BDA0002629582460000106
与其在真实世界中的距离(Lw/2,Lh/2)、目标的位置坐标T的中心偏移量(Δw,Δh)与其在真实世界中的偏移量(LΔw,LΔh)去计算图像坐标系与真实坐标系的比例关系，
Figure BDA0002629582460000107
可求得LΔw和LΔh的值。
a2.5.2图像平面到相机位置的真实距离即为焦距fc，则根据2.5.2可解得T点在真实世界中的坐标
Figure BDA0002629582460000111
a2.6计算在相机旋转后，目标在图像中的位置T点在真实世界坐标系中的坐标，即将相机的旋转矩阵Rφ,Rβ,Rγ叠加到T点初始的真实世界坐标TW上，计算公式为：
Figure BDA0002629582460000112
Figure BDA0002629582460000113
a2.7将无人机飞行高度计算到
Figure BDA0002629582460000114
中，得到无人机飞行中，目标点的真实世界坐标
Figure BDA0002629582460000115
Figure BDA0002629582460000116
其中hu为无人机真实飞行高度，可由GPS传感器获得。
a2.8定义地面平面为z＝0，计算地面目标的真实坐标TR，具体方法如下：
a2.8.1计算相机坐标点与目标在图像中的成像点在真实世界中的连线函数方程，当无人机起飞后，相机真实世界坐标为(0,0,hu)，则根据直线两点式可得连线方程为：
Figure BDA0002629582460000117
Figure BDA0002629582460000118
a2.8.2将z＝0代入连线方程，即可得地面目标真实坐标
Figure BDA0002629582460000119
在这个计算过程中，
Figure BDA00026295824600001110
都包含同样的fc，所以可以消去，实现无fc的定位。
第a3步，实现在目标定位中叠加无人机的位姿信息，相机受到万向节的控制发生旋转，可以得到旋转矩阵Rφβγ。在无人机飞行过程中，位姿不断变化的情况下，可由IMU获取位姿信息，并解算出无人机旋转矩阵RU。RU叠加到相机的旋转矩阵上，实现无人机飞行的过程中，也能准确跟踪目标。
具体方法如下：
a3.1通过IMU获取无人机位姿信息，并计算无人机旋转矩阵RU。
a3.1.1定义IMU获取到的四元数信息为
Figure BDA00026295824600001111
a3.1.2另一个四元数
Figure BDA00026295824600001112
被
Figure BDA00026295824600001113
旋转后得到
Figure BDA00026295824600001114
旋转公式为
Figure BDA00026295824600001115
进一步求解可得
Figure BDA0002629582460000121
其中
Figure BDA0002629582460000122
是
Figure BDA0002629582460000123
的标量，v和vR分别是
Figure BDA0002629582460000124
和
Figure BDA0002629582460000125
的向量部分。由此可以解得无人机旋转矩阵RU。
a3.2将无人机旋转矩阵RU叠加到目标定位中，无人机的旋转和相机万向节的旋转可以看作是一种叠加关系：即相机先进行万向节的旋转，再在万向节旋转的基础上执行无人机的旋转，因此相机整体旋转矩阵可定义为RU_φβγ＝RURφβγ。使用RU_φβγ替换第a2步中的Rφβγ，实现定位过程中无人机位姿矩阵的叠加。
第a4步，基于IMU观测到的无人机角速度信息，使用卡尔曼滤波器对无人机位姿信息进行滤波去噪。
具体方法为：
a4.1定义四元数
Figure BDA0002629582460000126
关于时间t的导数为
Figure BDA0002629582460000127
其中uR表示一个固定的旋转轴，故有duRu0，α为旋转角。
a4.2求解旋转角α关于时间t的导数，
Figure BDA0002629582460000128
ωE即为绕uR轴旋转的瞬时角速度，其在uR三个分轴上的分速度为
Figure BDA0002629582460000129
a4.3求解
Figure BDA00026295824600001210
关于
Figure BDA00026295824600001211
的更新公式。
a4.3.1将a4.1中的公式提取出一个
Figure BDA00026295824600001212
并将4.2中的ωE代入得：
Figure BDA00026295824600001213
Ω(t)是由ωE组成的4×4的矩阵。
a4.3.2在a4.3.1中的
Figure BDA00026295824600001214
公式是一个齐次线性方程，可求得其通解的离散形式：
Figure BDA00026295824600001215
Figure BDA00026295824600001216
a4.3.3将上式进行泰勒展开，并提取前两项，可得：
Figure BDA00026295824600001217
a4.4利用IMU对角速度的采样数据计算瞬时角速度，并构建kalman滤波器对位姿信息进行去噪。
a4.4.1定义fG为IMU的角速度采样频率，则有
Figure BDA00026295824600001218
其中
Figure BDA0002629582460000131
表示Δt时间内的角度变化，当Δt足够小时其表示瞬时角速度。
a4.4.2根据a4.3.3的更新公式以及所有已知量，构建kalman滤波器完成无人机位姿信息的去噪。结束。
实施例3：
基于同一发明构思，本发明还提供了一种基于无人机单目视觉的地面目标定位***，由于这些设备解决技术问题的原理与基于无人机单目视觉的地面目标定位方法相似，重复之处不再赘述。
该***基本结构如图4所示，包括：位置获取模块、坐标计算模块和定位模块；
位置获取模块，用于获取地面目标在每帧无人机单目视觉图像中的位置；
坐标计算模块，用于基于图像中的位置，采用视场角计算地面目标的真实坐标；
定位模块，用于将地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息。
基于无人机单目视觉的地面目标定位***详细结构如图5所示。
其中，位置获取模块包括：初始目标框单元和跟踪单元；
初始目标框单元，用于当地面目标首次出现在无人机单目视觉图像的图像帧中时，框出包含地面目标的初始目标框；
跟踪单元，用于根据初始目标框初始化目标跟踪算法，并采用目标跟踪算法对地面目标首次出现后的每一帧图像进行目标跟踪，实时框出地面目标，得到地面目标在每帧无人机单目视觉图像中的位置。
其中，坐标计算模块包括：坐标系单元、图像坐标偏移量单元、位置点坐标单元和目标坐标单元；
坐标系单元，用于以机载相机的位置为世界坐标系原点，建立世界坐标系；
图像坐标偏移量单元，用于计算图像帧上地面目标与图像中心点间的图像坐标偏移量；
位置点坐标单元，用于根据图像坐标偏移量并结合视场角，计算地面目标在图像帧上的位置点在世界坐标系上的坐标；
目标坐标单元，用于根据位置点在世界坐标系上的坐标，计算地面目标的真实坐标。
其中，位置点坐标单元包括：中心点距离子单元、坐标偏移量子单元、初始坐标子单元和位置点坐标子单元；
中心点距离子单元，用于根据图像中心点到图像边界的图像上距离，并结合视场角，计算图像中心点到图像边界的真实世界上的距离；
坐标偏移量子单元，用于根据图像中心点到图像边界的图像上距离、真实世界上的距离以及图像坐标偏移量，计算地面目标在图像帧上的位置点与图像中心点间在真实世界的坐标偏移量；
初始坐标子单元，用于以真实世界的坐标偏移量并结合焦距，得到不考虑相机旋转和无人机飞行高度的位置点在真实世界中的初始坐标；
位置点坐标子单元，用于将初始坐标依次叠加相机的旋转矩阵和无人机飞行高度，得到地面目标在图像帧上的位置点在世界坐标系上的坐标。
其中，目标坐标单元包括：连线函数子单元和真实坐标子单元；
连线函数子单元，用于根据位置点在世界坐标系上的坐标，计算相机坐标点与位置点在真实世界中的连线函数方程；
真实坐标子单元，用于以地面高度为0，采用连线函数方程消除焦距，计算地面目标的真实坐标。
其中，定位模块包括：无人机旋转矩阵单元和定位单元；
无人机旋转矩阵单元，用于通过惯性测量单元获取无人机位姿信息，并基于位姿信息计算无人机旋转矩阵；
定位单元，用于将无人机旋转矩阵叠加到相机的旋转矩阵上，通过计算得到无人机飞行的过程中地面目标的定位信息。
其中，基于无人机单目视觉的地面目标定位***还包括滤波模块；
滤波模块，用于采用卡尔曼滤波的方法对无人机位姿信息进行滤波去噪。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用于说明本申请的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。

Claims (7)

1.一种基于无人机单目视觉的地面目标定位方法，其特征在于，包括：
获取地面目标在每帧无人机单目视觉图像中的位置；
基于所述图像中的位置，采用视场角计算地面目标的真实坐标；
将所述地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息；
所述基于所述图像中的位置，采用视场角计算地面目标的真实坐标，包括：
以机载相机的位置为世界坐标系原点，建立世界坐标系；
计算图像帧上地面目标与图像中心点间的图像坐标偏移量；
根据所述图像坐标偏移量并结合视场角，计算地面目标在图像帧上的位置点在世界坐标系上的坐标；
根据所述位置点在世界坐标系上的坐标，计算地面目标的真实坐标；
所述根据所述图像坐标偏移量并结合视场角，计算地面目标在图像帧上的位置点在世界坐标系上的坐标，包括：
根据相机的焦距并结合视场角，计算图像中心点到图像边界的真实世界上的距离；
根据图像中心点到图像边界的图像上距离、根据图像中心点到图像边界的真实世界上的距离以及所述图像坐标偏移量，计算地面目标在图像帧上的位置点与图像中心点间在真实世界的坐标偏移量；
以所述真实世界的坐标偏移量并结合焦距，得到不考虑相机旋转和无人机飞行高度的所述位置点在真实世界中的初始坐标；
将所述初始坐标依次叠加相机的旋转矩阵和无人机飞行高度，得到地面目标在图像帧上的位置点在世界坐标系上的坐标；
所述根据所述位置点在世界坐标系上的坐标，计算地面目标的真实坐标，包括：
根据所述位置点在世界坐标系上的坐标，计算相机坐标点与所述位置点在真实世界中的连线函数方程；
以地面高度为0，采用所述连线函数方程消除焦距，计算地面目标的真实坐标。
2.如权利要求1所述的方法，其特征在于，所述获取地面目标在每帧无人机单目视觉图像中的位置，包括：
当地面目标首次出现在无人机单目视觉图像的图像帧中时，框出包含地面目标的初始目标框；
根据所述初始目标框初始化目标跟踪算法，并采用所述目标跟踪算法对地面目标首次出现后的每一帧图像进行目标跟踪，实时框出地面目标，得到地面目标在每帧无人机单目视觉图像中的位置。
3.如权利要求1所述的方法，所述图像中心点到图像边界的真实世界上的距离的计算式如下：
Figure FDA0004043679530000021
其中，Lw/2表示水平方向上图像中心点到图像边界的真实世界上的距离，Lh/2表示垂直方向上图像中心点到图像边界的真实世界上的距离，fc表示相机的焦距，Fhor表示相机的水平视场角，Fver表示相机的垂直视场角。
4.如权利要求3所述的方法，其特征在于，所述真实世界的坐标偏移量的计算式如下：
Figure FDA0004043679530000022
Figure FDA0004043679530000023
式中，LΔw表示水平方向上真实世界的坐标偏移量，Δw表示水平方向上的图像坐标偏移量，w表示图像宽度，LΔh表示垂直方向上真实世界的坐标偏移量，Δh表示水平垂直方向上的图像坐标偏移量，h表示图像高度。
5.如权利要求1所述的方法，其特征在于，所述将所述地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息，包括：
通过惯性测量单元获取无人机位姿信息，并基于所述位姿信息计算无人机旋转矩阵；
将所述无人机旋转矩阵叠加到所述相机的旋转矩阵上，通过计算得到无人机飞行的过程中地面目标的定位信息。
6.如权利要求1所述的方法，其特征在于，所述基于所述图像中的位置，采用视场角计算地面目标的真实坐标之后，且将所述地面目标的真实坐标叠加无人机的位姿信息之前，还包括：
采用卡尔曼滤波的方法对无人机位姿信息进行滤波去噪。
7.一种基于无人机单目视觉的地面目标定位***，其特征在于，包括：位置获取模块、坐标计算模块和定位模块；
所述位置获取模块，用于获取地面目标在每帧无人机单目视觉图像中的位置；
所述坐标计算模块，用于基于所述图像中的位置，采用视场角计算地面目标的真实坐标；
所述定位模块，用于将所述地面目标的真实坐标叠加无人机的位姿信息，得到无人机飞行的过程中地面目标的定位信息；
所述基于所述图像中的位置，采用视场角计算地面目标的真实坐标，包括：
以机载相机的位置为世界坐标系原点，建立世界坐标系；
计算图像帧上地面目标与图像中心点间的图像坐标偏移量；
根据所述图像坐标偏移量并结合视场角，计算地面目标在图像帧上的位置点在世界坐标系上的坐标；
根据所述位置点在世界坐标系上的坐标，计算地面目标的真实坐标；
所述根据所述图像坐标偏移量并结合视场角，计算地面目标在图像帧上的位置点在世界坐标系上的坐标，包括：
根据相机的焦距并结合视场角，计算图像中心点到图像边界的真实世界上的距离；
根据图像中心点到图像边界的图像上距离、根据图像中心点到图像边界的真实世界上的距离以及所述图像坐标偏移量，计算地面目标在图像帧上的位置点与图像中心点间在真实世界的坐标偏移量；
以所述真实世界的坐标偏移量并结合焦距，得到不考虑相机旋转和无人机飞行高度的所述位置点在真实世界中的初始坐标；
将所述初始坐标依次叠加相机的旋转矩阵和无人机飞行高度，得到地面目标在图像帧上的位置点在世界坐标系上的坐标；
所述根据所述位置点在世界坐标系上的坐标，计算地面目标的真实坐标，包括：
根据所述位置点在世界坐标系上的坐标，计算相机坐标点与所述位置点在真实世界中的连线函数方程；
以地面高度为0，采用所述连线函数方程消除焦距，计算地面目标的真实坐标。
CN202010807215.XA 2020-08-12 2020-08-12 一种基于无人机单目视觉的地面目标定位方法和*** Active CN112116651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010807215.XA CN112116651B (zh) 2020-08-12 2020-08-12 一种基于无人机单目视觉的地面目标定位方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010807215.XA CN112116651B (zh) 2020-08-12 2020-08-12 一种基于无人机单目视觉的地面目标定位方法和***

Publications (2)

Publication Number Publication Date
CN112116651A CN112116651A (zh) 2020-12-22
CN112116651B true CN112116651B (zh) 2023-04-07

Family

ID=73804085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010807215.XA Active CN112116651B (zh) 2020-08-12 2020-08-12 一种基于无人机单目视觉的地面目标定位方法和***

Country Status (1)

Country Link
CN (1) CN112116651B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808195B (zh) * 2021-08-26 2024-04-12 领翌技术(横琴)有限公司 视觉定位方法、装置及存储介质
CN113821052A (zh) * 2021-09-22 2021-12-21 一飞智控(天津)科技有限公司 集群无人机协同目标定位方法、***、协同目标定位终端
CN113804165B (zh) * 2021-09-30 2023-12-22 北京欧比邻科技有限公司 一种无人机模拟gps信号定位方法和装置
CN114326765B (zh) * 2021-12-01 2024-02-09 爱笛无人机技术(南京)有限责任公司 一种用于无人机视觉着陆的地标跟踪控制***及方法
CN114964245B (zh) * 2022-02-25 2023-08-11 珠海紫燕无人飞行器有限公司 一种无人机视觉侦察定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014204548A1 (en) * 2013-06-19 2014-12-24 The Boeing Company Systems and methods for tracking location of movable target object
CN104732518A (zh) * 2015-01-19 2015-06-24 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN107247458A (zh) * 2017-05-24 2017-10-13 中国电子科技集团公司第二十八研究所 无人机视频图像目标定位***、定位方法及云台控制方法
CN107727079A (zh) * 2017-11-30 2018-02-23 湖北航天飞行器研究所 一种微小型无人机全捷联下视相机的目标定位方法
CN109598794A (zh) * 2018-11-30 2019-04-09 苏州维众数据技术有限公司 三维gis动态模型的构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014204548A1 (en) * 2013-06-19 2014-12-24 The Boeing Company Systems and methods for tracking location of movable target object
CN104732518A (zh) * 2015-01-19 2015-06-24 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN107247458A (zh) * 2017-05-24 2017-10-13 中国电子科技集团公司第二十八研究所 无人机视频图像目标定位***、定位方法及云台控制方法
CN107727079A (zh) * 2017-11-30 2018-02-23 湖北航天飞行器研究所 一种微小型无人机全捷联下视相机的目标定位方法
CN109598794A (zh) * 2018-11-30 2019-04-09 苏州维众数据技术有限公司 三维gis动态模型的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于高程数据的无人机视频实时定位方法;郭乔进等;《计算机与数字工程》;20181231;全文 *

Also Published As

Publication number Publication date
CN112116651A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112116651B (zh) 一种基于无人机单目视觉的地面目标定位方法和***
CN109084732B (zh) 定位与导航方法、装置及处理设备
CN109887057B (zh) 生成高精度地图的方法和装置
CN109506642B (zh) 一种机器人多相机视觉惯性实时定位方法及装置
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及***
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN111968228B (zh) 一种基于航空装配的增强现实自定位方法
CN114088087B (zh) 无人机gps-denied下高可靠高精度导航定位方法和***
CN111791235B (zh) 一种机器人多相机视觉惯性点线特征定位方法及装置
CN109978954A (zh) 基于箱体的雷达和相机联合标定的方法和装置
CN112200869A (zh) 一种基于点线特征的机器人全局最优视觉定位方法及装置
CN114419109B (zh) 一种基于视觉和气压信息融合的飞行器定位方法
CN110108894B (zh) 一种基于相位相关和光流法的多旋翼速度测量方法
CN114638897A (zh) 基于无重叠视域的多相机***的初始化方法、***及装置
CN112862818B (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
CN110598370A (zh) 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN116721166B (zh) 双目相机和imu旋转外参在线标定方法、装置及存储介质
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN116952229A (zh) 无人机定位方法、装置、***和存储介质
CN116182855B (zh) 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及***
Wang et al. Pose and velocity estimation algorithm for UAV in visual landing
CN116659490A (zh) 低成本视觉-惯性融合的slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant