CN106570820B - 一种基于四旋翼无人机的单目视觉三维特征提取方法 - Google Patents
一种基于四旋翼无人机的单目视觉三维特征提取方法 Download PDFInfo
- Publication number
- CN106570820B CN106570820B CN201610901957.2A CN201610901957A CN106570820B CN 106570820 B CN106570820 B CN 106570820B CN 201610901957 A CN201610901957 A CN 201610901957A CN 106570820 B CN106570820 B CN 106570820B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- coordinate system
- camera
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000000284 extract Substances 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 229910002056 binary alloy Inorganic materials 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000004927 fusion Effects 0.000 claims 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 1
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005183 dynamical system Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于四旋翼无人机的单目视觉三维特征提取方法，包括以下步骤：1)获取图像并且对图像进行预处理；2)提取二维图像特征点并且建立特征描述符；3)获取机载GPS坐标、高度数据和IMU传感器参数；4)根据机体参数对二维特征描述符进行坐标系建立，获得三维坐标信息。本发明提出一种针对四旋翼飞行器的运动跟踪问题的简单且运算量低的单目摄像机三维特征提取方法，大大简化了四旋翼飞行器运动跟踪的实现过程。
Description
技术领域
本发明涉及四旋翼无人机的单目视觉领域，尤其是一种针对四旋翼无人机的单目视觉运动物体识别跟踪的场景来实现的三维物体特征提取方法。
背景技术
近年来，随着计算机技术，自动控制理论，嵌入式开发，芯片设计以及传感器技术的迅速发展，让无人飞行器能够在更加小型化的同时，拥有更强的处理能力，无人机上的相关技术也受到越来越多的关注；小型无人机拥有操控灵活，续航能力强等优势，从而能够在狭小环境中处理复杂任务，在军事上能够执行军事打击，恶劣环境下搜索，情报收集，等高风险环境下替代士兵的工作；在民用上，为各行各业从业人员提供航拍，远程设备巡检，环境监测，抢险救灾等等功能；
四旋翼为常见旋翼无人飞行器，通过调节电机转速实现飞行器的俯仰，横滚以及偏航动作；相对于固定翼无人机，旋翼无人机拥有明显的优势：首先，机身结构简单、体积小，单位体积可产生更大升力；其次，动力***简单，只需调整各旋翼驱动电机转速即可完成空中姿态的控制，可实现垂直起降、空中悬停等多种特有的飞行模式，且***智能度高，飞行器空中姿态保持能力强；
在无人机上搭载高清摄像头，实时运行机器视觉算法已经成为近年来热点研究领域，无人机拥有灵活的视角，能帮助人们捕获一些地面移动摄像机难以捕捉到的图像，如果将轻量级摄像头嵌入到小型四旋翼无人机上，还能提供丰富并廉价的信息；目标跟踪是指在低空飞行的无人机，通过计算相机获得的视觉信息来得到目标与无人机间的相对位移，进而自动调整无人机的姿态和位置，使被跟踪的地面移动目标保持在相机视野中心附近，实现无人机跟随目标运动完成跟踪任务，但是由于单目摄像机的技术限制，想要得到移动物体的三维坐标信息是非常困难的，因此，想要实现运动目标的跟踪需要有一种简单高效的三维特征提取方法。
发明内容
为了克服现有的四旋翼无人机平台单目视觉特征提取方法的无法有效提取三维特征的不足，为了能够在单目摄像机上实现地面运动目标的跟踪，可以将飞行器的运动简化为在某一高度下的二维平面运动，单目摄像机所获取到的二维特征平面可以看作垂直于运动平面，因此还需要得到二维特征平面和飞行器之间的相对距离才能够实现飞行器的运动跟踪即需要得到特征平面的景深信息，而加入了景深信息的二维特征可以近似为三维特征信息，基于这样的思路，本发明提出一种基于四旋翼无人机平台的单目视觉三维特征提取方法。
本发明解决其技术问题所采用的技术方案是：
一种基于四旋翼无人机的单目视觉三维特征提取方法，包括以下步骤：
1)获取图像并且对图像进行预处理；
2)提取二维图像特征点并且建立特征描述符；
3)获取机载GPS坐标、高度数据和IMU传感器参数；
4)根据机体参数对二维特征描述符进行坐标系建立，获得三维坐标信息，过程如下：
首先，根据相机参数建立内参数矩阵，根据该矩阵将步骤3)中获取到的二维特征坐标信息转换到像平面坐标系I，根据已知的焦距信息转换到相机坐标系C；其次，根据相机和机体的安装误差角与相对位置进一步转换坐标系到机体坐标系B；最终，根据IMU姿态角度并且融合飞行器GPS坐标信息和高度信息得到世界坐标系E中的带有景深信息的二维特征描述符。
进一步，所述步骤4)中，根据机体参数获得二维特征的三维坐标信息，包括以下步骤：
4.1)图像坐标系与像平面坐标系的转换
图像坐标系是以左上角为原点的图像像素坐标系[u,v]T，该坐标系没有物理单位，因此引入原点OI在光轴上的像平面坐标系I＝[xI,yI]T，像平面是相机根据小孔成像模型构建出来的具有物理意义的平面，假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，其含义是感光芯片上像素的实际大小，是连接图像坐标系和真实尺寸坐标系的桥梁，dx和dy与摄像机焦距f有关，则像平面坐标系上的点(x1,y1)与像素坐标系中点(u1,v1)对应关系如下：
其中，(u0,v0)为图像坐标系中的中心点，即像平面坐标系的原点所对应的像素点，令包含四个与相机内部结构有关的参数，称为相机的内参矩阵；
4.2)像平面坐标系与相机坐标系的转换
假设相机坐标系中一点PC1＝(xC,yC,zC)，连接光心在图像坐标系中的投影点为PI1＝(xI,yI)，则这两点之间的坐标转换关系如下：
转换成矩阵形式如下：
其中f为相机焦距；
4.3)相机坐标系与世界坐标系的转换
首先，由于飞行器与相机存在安装误差，这里用[α,β,γ]T表示安装固定的三维误差角，用[xe,ye,ze]T表示摄像机到机身坐标原点的空间距离，则相机坐标系和机体坐标系的关系用T＝来表示，即
C＝TB (4)
其中C表示相机坐标系，B表示机体坐标系；
其次，对于空间中一点PE＝(xE,yE,zE)，其对应的摄像机坐标系和摄像机的姿态角和所在位置有关，而无人机在飞行过程中，姿态角和位置信息实时获取，四旋翼无人机是一种具有6自由度的***，其姿态角分为俯仰角，横滚角θ和偏航角，其旋转轴分别定义为X、Y、Z轴，坐标系原点为飞行器的重心，分别得到三轴的旋转矩阵后相乘即得到机体的旋转矩阵：
可由四旋翼机身上的IMU传感器测得的x，y，z轴三个加速度分量与陀螺仪分量经四元数解算得到；令其中(x,y,z)为无人机在空间中的位置信息，z即为无人机飞行高度，无人机位置(x,y,z)可以由GPS和气压计获得，那么PE对应的相机坐标系下的点(xC,yC,zC)可由以下关系式计算出：
其中T为相机坐标系和机体坐标系变换矩阵，R为机体旋转矩阵，M为飞行器的世界坐标点，[xE,yE,zE]T即为所求的特征点的三维坐标。
再进一步，所述步骤1)中，获取图像并且预处理的步骤如下：
1.1)采集图像
基于四旋翼飞行器平台的Linux开发环境，使用机器人操作***ROS订阅图像主题的方式获取图像的，相机驱动由ROS和openCV实现；
1.2)图像预处理
采集到的彩色图像首先要进行灰度化，去除无用的图像彩色信息，这里使用的方法是求出每个像素点的R、G、B三个分量的加权平均值即为这个像素点的灰度值，这里不同通道的权值根据运行效率进行优化，避免浮点运算计算公式为：
Gray＝(R×30+G×59+B×11+50)/100 (7)
其中Gray为像素点的灰度值，R、G、B分别为红、绿、蓝色通道的数值。
更进一步，所述步骤2)中，提取二维图像特征点并且建立特征描述符的过程为：
2.1)ORB提取特征点
ORB首先利用Harris角点检测方法检测角点，之后利用亮度中心来测量旋转方向；假设一个角点的亮度从其中心偏移而来，则合成周围点的方向强度，计算角点的方向，定义如下强度矩阵：
mpq＝∑x,y xpyqI(x,y) (8)
其中x,y为图像块的中心坐标，I(x,y)表示中心的灰度，xp,yq代表点到中心的偏移，则角点的方向表示为：
从角点中心构建这个向量，则这个图像块的方向角θ可以表示为：
θ＝tan-1(m01,m10) (10)
由于ORB提取的关键点具有方向，因此利用ORB提取的特征点具有旋转不变性；
2.2)LDB特征描述符建立
在得到图像的关键点后，就利用LDB来建立图像的特征描述符；LDB的处理过程依次是构建高斯金字塔、构建积分图、二进制测试，位选择和串联；
为了让LDB拥有尺度不变性，构建高斯金字塔，并计算特征点在相应金字塔层级上对应的LDB描述符：
其中，I(x,y)为给定图像，G(x,y,σi)为高斯滤波器，σi逐渐增大，用于构建1到L层高斯金字塔Pyri；对于像ORB这样没有显著尺度估计的特征提取，需要对每个特征点都计算金字塔各层的LDB描述；
LDB计算旋转坐标，并使用最邻近插值法，即时生成一个有向图块；
建立好垂直积分图或旋转积分图并提取出光强和梯度信息后，在成对网格间进行τ二进制检测，检测方法如下式：
其中Func(·)＝{Iavg,dx,dy}，用于提取出每个网格的描述信息；
给定一个图像块，LDB先将这个图像块平均分成n×n个等大小的网格单元，提取出每个网格单元的平均光强度和梯度信息，在成对网格单元间分别比较光强度和梯度信息，将结果大于0的相应位置1；在不同的网格单元中平均光强和沿x或y方向的梯度能够有效地区分图像，因此，定义Func(i)如下：
Func(i)∈{IIntensity(i),dx(i),dy(i)} (13)
其中为网格单元i的平均光强，dx(i)＝Gradientx(i)，dy(i)＝Gradienty(i)，m是网格单元i中的总像素数，由于LDB使用的是等大小的而网格，m在同一层高斯金字塔上保持一致；Gradientx(i)和Gradienty(i)分别是网格单元i沿x或y方向的梯度；
2.3)特征描述符的匹配
当得到两幅图像的LDB描述符后，对两幅图像的描述符进行匹配；采用K最临近法来对两个描述符进行匹配；对于目标模板图像中的每个特征点，在输入图像中查找该点的最近邻的两个匹配，比较这两个匹配之间的距离，如果模板图像中一点的匹配距离小于0.8倍输入图像的匹配距离，认为模板中的点和输入图像对应的点为有效匹配，记录下相应的坐标值，当两幅图像间的匹配点多于4个，认为在输入图像中找到了目标物体，对应的坐标信息即为二维特征信息。
更进一步，所述步骤3)中，获取机载GPS坐标、高度数据和IMU传感器参数的过程为：
MAVROS为第三方团队针对MAVLink开发的ROS包，当启动MAVROS并且和飞行器飞控连接后，该节点就会开始发布飞行器的传感器参数和飞行数据，这里订阅飞行器的GPS坐标主题、GPS高度主题、IMU姿态角主题的消息，就可以获取到对应的数据。
本发明的技术构思为：随着四旋翼飞行器技术的成熟与稳定并且大量地在民用市场上推广，越来越多的人着眼于四旋翼飞行器上可以搭载的视觉***，本发明就是在四旋翼飞行器实现运动目标跟踪的研究背景下提出的。
四旋翼飞行器若要实现运动目标的跟踪，首先需要提取目标的三维特征信息，而三维特征信息在使用单目摄像机的情况下是很难提取得到的，但是，如果将飞行器的追踪运动简化为某一高度下的二维平面运动就可以将所需的三维特征信息简化为具有景深信息的二维特征信息，因此，本发明提出根据飞行器的空间坐标为二维特征加入景深信息，以实现近似的三维特征信息提取。
基于四旋翼无人机的单目视觉三维特征提取方法主要包括：获取图像并且灰度化，进一步将提取图像中的二维特征信息，获取飞行器的空间坐标和IMU角度信息，最终根据机体参数对二维特征进行坐标系建立，获取三维特征信息。
本方法的有益效果主要表现在：针对四旋翼飞行器的运动跟踪问题提出了一种简单且运算量低的单目摄像机三维特征提取方法，大大简化了四旋翼飞行器运动跟踪的实现过程。
附图说明
图1为一种基于四旋翼无人机的单目视觉三维特征提取方法流程图；
图2为三维特征提取过程中的各坐标系间的关系，其中[xc,yc,zc]T是摄像机坐标系，[xI,yI,zI]T是像平面坐标系，[xE,yE,zE]T是世界坐标系。
具体实施方式
下面结合附图对本发明做进一步描述：
参照图1和图2，一种基于四旋翼无人机的单目视觉三维特征提取方法，包含以下步骤：
1)获取图像并且预处理：
1.1)采集图像
一般而言，采集图像的方法有非常多中，本发明是基于四旋翼飞行器平台的Linux开发环境，使用机器人操作***ROS订阅图像主题的方式获取图像的，相机驱动由ROS和openCV实现；
1.2)图像预处理
由于本发明所使用的特征提取方法基于的是图像的纹理光强以及梯度信息，因此采集到的彩色图像首先要进行灰度化，去除无用的图像彩色信息，这里使用的方法是求出每个像素点的R、G、B三个分量的加权平均值即为这个像素点的灰度值，这里不同通道的权值可以根据运行效率进行优化，这里避免浮点运算计算公式为：
Gray＝(R×30+G×59+B×11+50)/100 (7)
其中Gray为像素点的灰度值，R、G、B分别为红、绿、蓝色通道的数值。
2)提取二维图像特征点并且建立特征描述符：
2.1)ORB提取特征点
ORB也称为rBRIEF，提取出局部不变的特征，是对BRIEF算法的改进，BRIEF运算速度快，然而没有旋转不变性，并且对噪声比较敏感，ORB解决了BRIEF的这两个缺点；为了让算法能有旋转不变性，ORB首先利用Harris角点检测方法检测角点，之后利用亮度中心(Intensity Centroid)来测量旋转方向；假设一个角点的亮度从其中心偏移而来，则合成周围点的方向强度，可以计算角点的方向，定义如下强度矩阵：
mpq＝Σx,y xpyqI(x,y) (8)
其中x,y为图像块的中心坐标，I(x,y)表示中心的灰度，xp,yq代表点到中心的偏移，则角点的方向可以表示为：
从角点中心构建这个向量，则这个图像块的方向角θ可以表示为：
θ＝tan-1(m01,m10) (10)
由于ORB提取的关键点具有方向，因此利用ORB提取的特征点具有旋转不变性；
2.2)LDB特征描述符建立
在得到图像的关键点后，就可以利用LDB来建立图像的特征描述符；LDB有5个主要步骤，依次是构建高斯金字塔、主方向估计、构建积分图、二进制测试，位选择和串联，由于本文选用了ORB来提取特征点，本身已经带有方向性，因此可以省去主方向估计；
为了让LDB拥有尺度不变性，构建高斯金字塔，并计算特征点在相应金字塔层级上对应的LDB描述符：
其中，I(x,y)为给定图像，G(x,y,σi)为高斯滤波器，σi逐渐增大，用于构建1到L层高斯金字塔Pyri；对于像ORB这样没有显著尺度估计的特征提取，需要对每个特征点都计算金字塔各层的LDB描述；
LDB利用积分图技术来有效的计算网格单元的平均光强和梯度信息，如果图像有旋转，不能简单的使用垂直积分图，而需要建立旋转积分图，图像块的旋转积分图通过累加主方向上的像素点来构建，生成旋转积分图的两大主要计算开销在计算旋转坐标和有向图像块的插值，为了减少这两部分计算开销，可以量化方位信息，并提前建立旋转坐标查找表，然而，精细的方位量化需要建立较大的查找表，低速的内存读取反过来会导致更长的运行时间，因此，LDB计算旋转坐标，并使用最邻近插值法，即时生成一个有向图块；
建立好垂直积分图或旋转积分图并提取出光强和梯度信息后，就可以在成对网格间进行τ二进制检测，检测方法如下式：
其中Func(·)＝{Iavg,dx,dy}，用于提取出每个网格的描述信息；
给定一个图像块，LDB先将这个图像块平均分成n×n个等大小的网格单元，提取出每个网格单元的平均光强度和梯度信息，在成对网格单元间分别比较光强度和梯度信息，将结果大于0的相应位置1，结合光强和梯度的匹配方法大大高了匹配准确率；在不同的网格单元中平均光强和沿x或y方向的梯度能够有效地区分图像，因此，定义Func(i)如下：
Func(i)∈{IIntensity(i),dx(i),dy(i)} (13)
其中为网格单元i的平均光强，dx(i)＝Gradientx(i)，dy(i)＝Gradienty(i)，m是网格单元i中的总像素数，由于LDB使用的是等大小的而网格，m在同一层高斯金字塔上保持一致；Gradientx(i)和Gradienty(i)分别是网格单元i沿x或y方向的梯度；
2.3)特征描述符的匹配
当得到两幅图像的LDB描述符后，就可以对两幅图像的描述符进行匹配；本发明采用了K最临近法(k Nearest Neighbors)来对两个描述符进行匹配；KNN的思想是假设每一个类包含多个样本数据，而且每个数据都有一个唯一的类标记表示这些样本是属于哪个分类，计算每个样本数据到待分类数据的距离，取和待分类数据最近的K个样本数据，这K个样本数据中哪个类别的样本数据占多数，则待分类数据就属于该类别；对于目标模板图像中的每个特征点，在输入图像中查找该点的最近邻的两个匹配，比较这两个匹配之间的距离，如果模板图像中一点的匹配距离小于0.8倍输入图像的匹配距离，认为模板中的点和输入图像对应的点为有效匹配，记录下相应的坐标值，当两幅图像间的匹配点多于4个，本文认为在输入图像中找到了目标物体，对应的坐标信息即为二维特征信息。
3)获取机载GPS坐标、高度数据和IMU传感器参数的过程为：
MAVROS为第三方团队针对MAVLink开发的ROS包，当启动MAVROS并且和飞行器飞控连接后，该节点就会开始发布飞行器的传感器参数和飞行数据，这里订阅飞行器的GPS坐标主题、GPS高度主题、IMU姿态角主题的消息，就可以获取到对应的数据。
4)根据机体参数获得二维特征的三维坐标信息，过程如下：
4.1)图像坐标系与像平面坐标系的转换
图像坐标系是以左上角为原点的图像像素坐标系[u,v]T，该坐标系没有物理单位，因此引入原点OI在光轴上的像平面坐标系I＝[xI,yI]T，像平面是相机根据小孔成像模型构建出来的具有物理意义的平面，假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，其含义是感光芯片上像素的实际大小，是连接图像坐标系和真实尺寸坐标系的桥梁，dx和dy与摄像机焦距f有关，则像平面坐标系上的点(x1,y1)与像素坐标系中点(u1,v1)对应关系如下：
其中，(u0,v0)为图像坐标系中的中心点，即像平面坐标系的原点所对应的像素点，令包含四个与相机内部结构有关的参数，称为相机的内参矩阵；
4.2)像平面坐标系与相机坐标系的转换
假设相机坐标系中一点PC1＝(xC,yC,zC)，连接光心在图像坐标系中的投影点为PI1＝(xI,yI)，则这两点之间的坐标转换关系如下：
可以转换成矩阵形式如下：
其中f为相机焦距；
4.3)相机坐标系与世界坐标系的转换
首先，由于飞行器与相机存在安装误差，这里用[α,β,γ]T表示安装固定的三维误差角，用[xe,ye,ze]T表示摄像机到机身坐标原点的空间距离，则相机坐标系和机体坐标系的关系可以用来表示，即
C＝TB (4)
其中C表示相机坐标系，B表示机体坐标系；
其次，对于空间中一点PE＝(xE,yE,zE)，其对应的摄像机坐标系和摄像机的姿态角和所在位置有关，而无人机在飞行过程中，姿态角和位置信息可以实时获取，四旋翼无人机是一种具有6自由度的***，其姿态角可以分为俯仰角横滚角θ和偏航角其旋转轴分别定义为X、Y、Z轴，坐标系原点为飞行器的重心，分别得到三轴的旋转矩阵后相乘即可得到机体的旋转矩阵：
可由四旋翼机身上的IMU传感器测得的x，y，z轴三个加速度分量与陀螺仪分量经四元数解算得到；令其中(x,y,z)为无人机在空间中的位置信息，z即为无人机飞行高度，无人机位置(x,y,z)可以由GPS和气压计获得，那么PE对应的相机坐标系下的点(xC,yC,zC)可由以下关系式计算出：
其中T为相机坐标系和机体坐标系变换矩阵，R为机体旋转矩阵，M为飞行器的世界坐标点，[xE,yE,zE]T即为所求的特征点的三维坐标。
Claims (5)
1.一种基于四旋翼无人机的单目视觉三维特征提取方法，其特征在于：所述方法包括以下步骤：
1)获取图像并且对图像进行预处理；
2)提取二维图像特征点并且建立特征描述符；
3)获取机载GPS坐标、高度数据和IMU传感器参数；
4)根据机体参数对二维特征描述符进行坐标系建立，获得三维坐标信息，过程如下：
首先，根据相机参数建立内参数矩阵，根据该矩阵将步骤3)中获取到的机载GPS坐标信息转换到像平面坐标系I，根据已知的焦距信息转换到相机坐标系C；其次，根据相机和机体的安装误差角与相对位置进一步转换坐标系到机体坐标系B；最终，根据IMU姿态角度并且融合飞行器GPS坐标信息和高度信息得到世界坐标系E中的带有景深信息的二维特征描述符。
2.如权利要求1所述的一种基于四旋翼无人机的单目视觉三维特征提取方法，其特征在于：所述步骤4)中，根据机体参数获得二维特征的三维坐标信息，包括以下步骤：
4.1)图像坐标系与像平面坐标系的转换
图像坐标系是以左上角为原点的图像像素坐标系[u，v]T，该坐标系没有物理单位，因此引入原点OI在光轴上的像平面坐标系I＝[xI，yI]T，像平面是相机根据小孔成像模型构建出来的具有物理意义的平面，假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，其含义是感光芯片上像素的实际大小，是连接图像坐标系和真实尺寸坐标系的桥梁，dx和dy与摄像机焦距f有关，则像平面坐标系上的点(x1，y1)与像素坐标系中点(u1，v1)对应关系如下：
其中，(u0，v0)为图像坐标系中的中心点，即像平面坐标系的原点所对应的像素点，令包含四个与相机内部结构有关的参数，称为相机的内参矩阵；
4.2)像平面坐标系与相机坐标系的转换
假设相机坐标系中一点PC1＝(xC，yC，zC)，连接光心在图像坐标系中的投影点为PI1＝(xI，yI)，则这两点之间的坐标转换关系如下：
转换成矩阵形式如下：
其中f为相机焦距；
4.3)相机坐标系与世界坐标系的转换
首先，由于飞行器与相机存在安装误差，这里用[α、β、γ]T表示安装固定的三维误差角，用[xe，ye，ze]T表示摄像机到机身坐标原点的空间距离，则相机坐标系和机体坐标系的关系用 来表示，即
C＝TB (4)
其中C表示相机坐标系，B表示机体坐标系；
其次，对于空间中一点PE＝(xE，yE，zE)，其对应的摄像机坐标系和摄像机的姿态角和所在位置有关，而无人机在飞行过程中，姿态角和位置信息实时获取，四旋翼无人机是一种具有6自由度的***，其姿态角分为俯仰角横滚角θ和偏航角其旋转轴分别定义为X、Y、Z轴，坐标系原点为飞行器的重心，分别得到三轴的旋转矩阵后相乘即得到机体的旋转矩阵：
可由四旋翼机身上的IMU传感器测得的x，y，z轴三个加速度分量与陀螺仪分量经四元数解算得到；令其中(x，y，z)为无人机在空间中的位置信息，z即为无人机飞行高度，无人机位置(x，y，z)可以由GPS和气压计获得，那么PE对应的相机坐标系下的点(xC，yC，zC)可由以下关系式计算出：
其中T为相机坐标系和机体坐标系变换矩阵，R为机体旋转矩阵，M为飞行器的世界坐标点，[xE，yE，zE]T即为所求的特征点的三维坐标。
3.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法，其特征在于：所述步骤1)中，获取图像并且预处理的步骤如下：
1.1)采集图像
基于四旋翼飞行器平台的Linux开发环境，使用机器人操作***ROS订阅图像主题的方式获取图像的，相机驱动由ROS和openCV实现；
1.2)图像预处理
采集到的彩色图像首先要进行灰度化，去除无用的图像彩色信息，这里使用的方法是求出每个像素点的R、G、B三个分量的加权平均值即为这个像素点的灰度值，这里不同通道的权值根据运行效率进行优化，避免浮点运算计算公式为：
Gray＝(R×30+G×59+B×11+50)/100 (7)
其中Gray为像素点的灰度值，R、G、B分别为红、绿、蓝色通道的数值。
4.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法，其特征在于：所述步骤2)中，提取二维图像特征点并且建立特征描述符的过程为：
2.1)ORB提取特征点
ORB首先利用Harris角点检测方法检测角点，之后利用亮度中心来测量旋转方向；假设一个角点的亮度从其中心偏移而来，则合成周围点的方向强度，计算角点的方向，定义如下强度矩阵：
mpq＝∑x，yxpyqI(x，y) (8)
其中x，y为图像块的中心坐标，I(x，y)表示中心的灰度，xp，yq代表点到中心的偏移，则角点的方向表示为：
从角点中心构建这个向量，则这个图像块的方向角θ可以表示为：
θ＝tan-1(m01，m10) (10)
由于ORB提取的关键点具有方向，因此利用ORB提取的特征点具有旋转不变性；
2.2)LDB特征描述符建立
在得到图像的关键点后，利用LDB来建立图像的特征描述符；LDB的处理过程依次是构建高斯金字塔、构建积分图、二进制测试，位选择和串联；
为了让LDB拥有尺度不变性，构建高斯金字塔，并计算特征点在相应金字塔层级上对应的LDB描述符：
其中，Img(x，y)为给定图像，G(x，y，σi)为高斯滤波器，σi逐渐增大，用于构建1到L层高斯金字塔Pyri；对于像ORB这样没有显著尺度估计的特征提取，需要对每个特征点都计算金字塔各层的LDB描述；
LDB计算旋转坐标，并使用最邻近插值法，即时生成一个有向图块；
建立好垂直积分图或旋转积分图并提取出光强和梯度信息后，就在成对网格间进行τ二进制检测，检测方法如下式：
其中Func(·)用于提取出每个网格的描述信息；
给定一个图像块，LDB先将这个图像块平均分成n×n个等大小的网格单元，提取出每个网格单元的平均光强度和梯度信息，在成对网格单元间分别比较光强度和梯度信息，将结果大于0的相应位置1；在不同的网格单元中平均光强和沿x或y方向的梯度能够有效地区分图像，因此，定义Func(i)如下：
Func(i)∈{IIntensity(i)，dx(i)，dy(i)} (13)
其中为网格单元i的平均光强，dx(i)＝Gradientx(i)，dy(i)＝Gradienty(i)，m是网格单元i中的总像素数，由于LDB使用的是等大小的网格，m在同一层高斯金字塔上保持一致；Gradientx(i)和Gradienty(i)分别是网格单元i沿x或y方向的梯度；
2.3)特征描述符的匹配
当得到两幅图像的LDB描述符后，对两幅图像的描述符进行匹配；采用K最临近法来对两个描述符进行匹配；对于目标模板图像中的每个特征点，在输入图像中查找该点的最近邻的两个匹配，比较这两个匹配之间的距离，如果模板图像中一点的匹配距离小于0.8倍输入图像的匹配距离，认为模板中的点和输入图像对应的点为有效匹配，记录下相应的坐标值，当两幅图像间的匹配点多于4个，认为在输入图像中找到了目标物体，对应的坐标信息即为二维特征信息。
5.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法，其特征在于：所述步骤3)中，获取机载GPS坐标、高度数据和IMU传感器参数的方法为：
MAVROS为第三方团队针对MAVLink开发的ROS包，当启动MAVROS并且和飞行器飞控连接后，MAVROS就会开始发布飞行器的传感器参数和飞行数据，这里订阅飞行器的GPS坐标主题、GPS高度主题、IMU姿态角主题的消息，获取到对应的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610901957.2A CN106570820B (zh) | 2016-10-18 | 2016-10-18 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610901957.2A CN106570820B (zh) | 2016-10-18 | 2016-10-18 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106570820A CN106570820A (zh) | 2017-04-19 |
| CN106570820B true CN106570820B (zh) | 2019-12-03 |
Family
ID=58532962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610901957.2A Active CN106570820B (zh) | 2016-10-18 | 2016-10-18 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106570820B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117690A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 可行驶区域检测方法、装置、设备及存储介质 |
| CN109709977B (zh) * | 2017-10-26 | 2022-08-16 | 广州极飞科技股份有限公司 | 移动轨迹规划的方法、装置及移动物体 |
| CN109753076B (zh) * | 2017-11-03 | 2022-01-11 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
| CN109753079A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机精准降落于移动平台方法 |
| CN109839945B (zh) * | 2017-11-27 | 2022-04-26 | 北京京东乾石科技有限公司 | 无人机降落方法、无人机降落装置及计算机可读存储介质 |
| CN107966112A (zh) * | 2017-12-03 | 2018-04-27 | 中国直升机设计研究所 | 一种大尺寸旋翼运动参数测量方法 |
| CN108335329B (zh) * | 2017-12-06 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 应用于飞行器中的位置检测方法和装置、飞行器 |
| CN108255187A (zh) * | 2018-01-04 | 2018-07-06 | 北京科技大学 | 一种微型扑翼飞行器视觉反馈控制方法 |
| CN108759826B (zh) * | 2018-04-12 | 2020-10-27 | 浙江工业大学 | 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法 |
| CN108711166B (zh) * | 2018-04-12 | 2022-05-03 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
| CN108681324A (zh) * | 2018-05-14 | 2018-10-19 | 西北工业大学 | 基于全局视觉的移动机器人轨迹跟踪控制方法 |
| WO2020014909A1 (zh) * | 2018-07-18 | 2020-01-23 | 深圳市大疆创新科技有限公司 | 拍摄方法、装置和无人机 |
| CN109242779B (zh) * | 2018-07-25 | 2023-07-18 | 北京中科慧眼科技有限公司 | 一种相机成像模型的构建方法、装置及汽车自动驾驶*** |
| CN109344846B (zh) * | 2018-09-26 | 2022-03-25 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
| CN109754420B (zh) * | 2018-12-24 | 2021-11-12 | 深圳市道通智能航空技术股份有限公司 | 一种目标距离估计方法、装置及无人机 |
| CN109895099B (zh) * | 2019-03-28 | 2020-10-02 | 哈尔滨工业大学（深圳） | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
| CN110032983B (zh) * | 2019-04-22 | 2023-02-17 | 扬州哈工科创机器人研究院有限公司 | 一种基于orb特征提取和flann快速匹配的轨迹识别方法 |
| CN110254258B (zh) * | 2019-06-13 | 2021-04-02 | 暨南大学 | 一种无人机无线充电***及方法 |
| CN110297498B (zh) * | 2019-06-13 | 2022-04-26 | 暨南大学 | 一种基于无线充电无人机的轨道巡检方法及*** |
| CN110516531B (zh) * | 2019-07-11 | 2023-04-11 | 广东工业大学 | 一种基于模板匹配的危险品标志的识别方法 |
| CN111126450B (zh) * | 2019-11-29 | 2024-03-19 | 上海宇航***工程研究所 | 一种基于九线构型的长方体空间飞行器的建模方法及装置 |
| CN110942473A (zh) * | 2019-12-02 | 2020-03-31 | 哈尔滨工程大学 | 一种基于特征点网格化匹配的运动目标跟踪检测方法 |
| CN111583093B (zh) * | 2020-04-27 | 2023-12-22 | 西安交通大学 | 一种实时性好的orb特征点提取的硬件实现方法 |
| CN111524182B (zh) * | 2020-04-29 | 2023-11-10 | 杭州电子科技大学 | 一种基于视觉情报分析的数学建模方法 |
| CN111784731A (zh) * | 2020-06-19 | 2020-10-16 | 哈尔滨工业大学 | 一种基于深度学习的目标姿态估计方法 |
| CN111754603B (zh) * | 2020-06-23 | 2024-02-13 | 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) | 一种无人机影像连接图构建方法及*** |
| CN112116651B (zh) * | 2020-08-12 | 2023-04-07 | 天津(滨海)人工智能军民融合创新中心 | 一种基于无人机单目视觉的地面目标定位方法和*** |
| CN112197766B (zh) * | 2020-09-29 | 2023-04-28 | 西安应用光学研究所 | 一种针对系留旋翼平台的视觉测姿装置 |
| CN112797912B (zh) * | 2020-12-24 | 2023-04-07 | 中国航天空气动力技术研究院 | 一种基于双目视觉的大柔性无人机机翼翼尖变形测量方法 |
| CN112907662B (zh) * | 2021-01-28 | 2022-11-04 | 北京三快在线科技有限公司 | 特征提取方法、装置、电子设备及存储介质 |
| CN113403942B (zh) * | 2021-07-07 | 2022-11-15 | 西北工业大学 | 一种基于标签辅助的桥梁检测无人机视觉导航方法 |
| CN114281096A (zh) * | 2021-11-09 | 2022-04-05 | 中时讯通信建设有限公司 | 基于目标检测算法的无人机追踪控制方法、设备及介质 |
| CN117032276B (zh) * | 2023-07-04 | 2024-06-25 | 长沙理工大学 | 基于双目视觉和惯导融合无人机的桥梁检测方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2849150A1 (en) * | 2013-09-17 | 2015-03-18 | Thomson Licensing | Method for capturing the 3D motion of an object, unmanned aerial vehicle and motion capture system |
| CN105809687A (zh) * | 2016-03-08 | 2016-07-27 | 清华大学 | 一种基于图像中边沿点信息的单目视觉测程方法 |
| CN105928493A (zh) * | 2016-04-05 | 2016-09-07 | 王建立 | 基于无人机的双目视觉三维测绘***和方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
-
2016
- 2016-10-18 CN CN201610901957.2A patent/CN106570820B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2849150A1 (en) * | 2013-09-17 | 2015-03-18 | Thomson Licensing | Method for capturing the 3D motion of an object, unmanned aerial vehicle and motion capture system |
| CN105809687A (zh) * | 2016-03-08 | 2016-07-27 | 清华大学 | 一种基于图像中边沿点信息的单目视觉测程方法 |
| CN105928493A (zh) * | 2016-04-05 | 2016-09-07 | 王建立 | 基于无人机的双目视觉三维测绘***和方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106570820A (zh) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570820B (zh) | 一种基于四旋翼无人机的单目视觉三维特征提取方法 | |
| CN108711166A (zh) | 一种基于四旋翼无人机的单目相机尺度估计方法 | |
| US11748898B2 (en) | Methods and system for infrared tracking | |
| Xu et al. | Power line-guided automatic electric transmission line inspection system | |
| Patruno et al. | A vision-based approach for unmanned aerial vehicle landing | |
| CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN110058602A (zh) | 基于深度视觉的多旋翼无人机自主定位方法 | |
| CN108759826A (zh) | 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法 | |
| CN108428255A (zh) | 一种基于无人机的实时三维重建方法 | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN111527463A (zh) | 用于多目标跟踪的方法和*** | |
| WO2021223124A1 (zh) | 位置信息获取方法、设备及存储介质 | |
| CN104021538B (zh) | 物体定位方法和装置 | |
| CN110443898A (zh) | 一种基于深度学习的ar智能终端目标识别***及方法 | |
| Štěpán et al. | Vision techniques for on‐board detection, following, and mapping of moving targets | |
| CN109857144A (zh) | 无人机、无人机控制***及控制方法 | |
| WO2019127518A1 (zh) | 避障方法、装置及可移动平台 | |
| Wang et al. | An overview of 3d object detection | |
| CN110264530A (zh) | 一种相机标定方法、装置和无人机 | |
| WO2023239955A1 (en) | Localization processing service and observed scene reconstruction service | |
| CN105930766A (zh) | 无人机 | |
| Montanari et al. | Ground vehicle detection and classification by an unmanned aerial vehicle | |
| Pu et al. | Aerial face recognition and absolute distance estimation using drone and deep learning | |
| Xiao-Hong et al. | UAV's automatic landing in all weather based on the cooperative object and computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |